四个月的宝宝发烧37.5°C属于低烧，可采取以下物理方法降温。
1.减少衣物：发烧时，宝宝的衣物不宜过多过厚，以免影响身体散热。
2.温水擦拭：用温水擦拭宝宝的手心、腋窝、腹股沟等部位，帮助散热。
3.多喝水：多喝水可以促进宝宝排尿，帮助降温。
4.使用退热贴：在宝宝额头贴上退热贴，也可以帮助降温。
5.注意观察：密切观察宝宝的体温变化，如果体温持续升高或出现其他异常症状，应及时就医。
需要注意的是，以上方法仅适用于低烧，如果宝宝体温超过38.5°C，或出现精神萎靡、呼吸急促等异常症状，应及时就医。同时，在宝宝发烧期间，要注意保持室内空气流通，给宝宝提供舒适的环境。