小孩发烧37.5度，先不要过于担心，可以采取以下措施。
1.观察孩子的状态：注意孩子的精神状态、饮食情况、睡眠质量等，如果孩子状态良好，可以先在家观察。
2.给孩子多喝水：发烧会导致身体水分流失，多喝水可以帮助补充水分，防止脱水。
3.松解衣物：不要给孩子穿过多的衣物，以免影响散热。
4.温水擦拭：用温水擦拭孩子的手心、脚心、腋窝、腹股沟等部位，帮助散热。
5.贴退热贴：如果孩子觉得不舒服，可以贴退热贴来缓解症状。
6.及时就医：如果孩子的体温持续升高，或者出现其他不适症状，如咳嗽、呕吐、腹泻等，应及时就医。
需要注意的是，对于3个月以下的婴儿，发烧应及时就医。同时，如果孩子有高热惊厥史，或者发烧伴有精神萎靡、呼吸急促等症状，也应及时就医。在就医过程中，应如实告知医生孩子的症状和病史，以便医生做出准确的诊断和治疗。