4个月大的宝宝体温为37.5°C时，可采取以下措施。
1.观察宝宝的状态：宝宝的精神状态、食欲、活动力等。如果宝宝看起来很活泼，没有其他异常症状，可以先观察一段时间，每隔1-2小时测量一次体温。
2.减少衣物和包裹：适当减少宝宝的衣物和包裹，以帮助散热。确保宝宝的房间通风良好，但避免让宝宝直接吹风。
3.多喝水：鼓励宝宝多喝水，有助于调节体温和补充水分。如果宝宝不愿意喝白开水，可以尝试给宝宝喝一些稀释的果汁或口服补液盐。
4.温水擦拭：用温水擦拭宝宝的额头、颈部、腋窝、腹股沟等部位，帮助散热。但要注意水温不宜过高，避免烫伤宝宝。
5.注意环境温度：保持宝宝所处环境的温度适宜，避免过度炎热或寒冷。
6.避免捂热：不要给宝宝穿过多的衣物或使用过厚的被子，以免影响散热。
7.密切观察体温变化：每1-2小时测量一次体温，注意观察体温的趋势。如果体温持续升高或宝宝出现其他异常症状，如呼吸急促、咳嗽、哭闹不止等，应及时就医。
8.就医咨询：如果宝宝的体温持续超过38.5°C，或出现其他异常症状，建议及时就医。医生会根据宝宝的具体情况进行评估，并给予相应的治疗建议。
需要注意的是，每个宝宝的情况可能不同，如果对宝宝的健康状况有任何疑虑，最好咨询医生的意见。此外，不建议自行给宝宝使用退烧药，除非医生建议。同时，要保持良好的卫生习惯，经常洗手，以预防感染。