6个月小孩发烧37.5°C，可采取以下措施：
1.观察小孩的精神状态和身体状况，包括是否有咳嗽、流鼻涕、腹泻等症状。如果小孩精神状态良好，能吃能玩，可先在家观察，多喝水，注意保持室内通风。
2.给小孩松解衣物，以利于散热。切勿“捂汗”，否则可能导致体温进一步升高，甚至诱发热性惊厥。
3.用温水擦拭小孩的手心、腋窝、腹股沟等部位，帮助散热。但要注意避免过度擦拭，以免引起小孩不适。
4.每30分钟到1小时测量一次体温，密切关注体温变化。如果体温持续升高或出现高热（超过38.5°C），或小孩出现精神萎靡、呼吸急促、哭闹不止等异常情况，应及时就医。
5.就医前，可先在家给小孩服用退烧药，如布洛芬或对乙酰氨基酚。但要注意按照药品说明书的剂量和使用方法服用，避免过量使用。
6.就医时，应如实告知医生小孩的症状、体温、用药情况等，以便医生进行准确的诊断和治疗。医生可能会根据小孩的具体情况，进行血常规、C反应蛋白等检查，以明确病因，并给予相应的治疗。
需要注意的是，以上措施仅适用于6个月大的婴儿发烧至37.5°C的情况。如果小孩发烧持续不退或出现其他异常情况，应及时就医。同时，在疫情期间，就医时应做好个人防护，避免交叉感染。