25天大的婴儿发烧37.5°C时，可采取以下措施：
1.减少衣物：适当减少婴儿的衣物，以帮助散热。
2.物理降温：用温水擦拭婴儿的颈部、腋窝、肘窝、腹股沟等部位，或使用退热贴。
3.多喝水：鼓励婴儿多喝水，以补充因发烧而流失的水分。
4.观察病情：密切观察婴儿的体温变化、精神状态、呼吸情况等，如有异常应及时就医。
5.就医：如果婴儿的体温持续升高或出现其他不适症状，应及时就医，以便明确病因并进行治疗。
需要注意的是，对于25天大的婴儿，发烧可能是由多种原因引起的，如感染、免疫接种反应、环境温度过高等。在处理婴儿发烧时，应遵循医生的建议，并注意保持婴儿的舒适和安全。同时，如果对婴儿的健康有任何疑虑，应及时咨询医生。