6个月大的宝宝发烧到37.5°C时，可以采取以下措施：
1.观察宝宝的情况：宝宝发烧37.5°C时，需要密切观察宝宝的情况，包括精神状态、食欲、呼吸等。如果宝宝精神状态良好，食欲正常，呼吸平稳，可以先在家观察，不必过于紧张。
2.给宝宝多喝水：发烧会导致宝宝体内水分流失，因此需要给宝宝多喝水，以补充水分。可以给宝宝喝白开水、果汁、母乳或配方奶等。
3.给宝宝松解衣物：如果宝宝发烧时穿着过多的衣物，会影响散热，导致体温升高。因此，可以给宝宝松解衣物，保持室内通风。
4.给宝宝温水擦浴：用温水给宝宝擦浴，可以帮助宝宝散热，降低体温。可以用温水擦拭宝宝的额头、颈部、腋窝、腹股沟等部位。
5.避免捂汗：有些家长认为宝宝发烧需要捂汗，其实这是不正确的。捂汗会导致宝宝体温过高，甚至引起热性惊厥。因此，不要给宝宝捂汗。
6.服用退烧药：如果宝宝的体温超过38.5°C，或者出现精神萎靡、食欲不振等症状，需要给宝宝服用退烧药。可以服用布洛芬或对乙酰氨基酚等退烧药。需要注意的是，退烧药只能缓解症状，不能治疗病因，因此需要及时就医，明确病因。
7.及时就医：如果宝宝发烧持续时间较长，或者出现其他异常症状，需要及时就医。可以带宝宝去医院看儿科医生，进行相关检查和治疗。
需要注意的是，以上措施仅供参考，如果宝宝的症状持续不缓解或者出现加重，需要及时就医。同时，在给宝宝使用退烧药时，需要按照医生的建议使用，不要自行增减剂量。