4个月宝宝体温37.5°C属于低烧，可采取以下物理方法降温。
1.减少衣物：宝宝发烧时，穿着过多的衣物会影响身体散热，导致体温不降。因此，需要适当减少宝宝的衣物，以帮助身体散热。
2.温水擦拭：用温水擦拭宝宝的手心、腋窝、腹股沟等部位，也可以用温水洗澡，但要注意水温不要过高，以免烫伤宝宝。
3.多喝水：发烧会导致宝宝体内水分流失，因此需要多喝水，以补充水分，防止脱水。
4.保持室内空气流通：保持室内空气流通，可以让宝宝感到舒适，也有利于体温的降低。
5.注意观察：需要密切观察宝宝的体温变化，如果体温持续升高或出现其他异常症状，应及时就医。
需要注意的是，以上方法仅适用于低烧的宝宝，如果宝宝体温超过38.5°C，或出现精神萎靡、呼吸急促等异常症状，应及时就医。