小孩发烧37.5℃属于低热范围，通常无需服用退烧药，但需依据小孩病情判断是否用药。具体情况如下：
一、小孩体温调节中枢较差，易受外界因素影响。若小孩衣服穿得多，散热功能可能受影响致体温升高，此时发烧37.5℃由外界因素引起，一般不用吃退烧药。这种情况下，建议家长给小孩喝温开水或洗温水澡。
二、若小孩发烧37.5℃且持续不退烧或体温继续升高，可能是病毒感染引起的上呼吸道感染，通常会伴有咳嗽、流涕、打喷嚏、发热等症状。此时，可使用盐酸苯海拉明软胶囊、马来酸氯苯那敏片等药物治疗。同时，建议家长带小孩参加一些户外运动，以提高机体免疫力。
总之，小孩发烧37.5℃是否吃退烧药要综合考虑，并且对于持续发烧或伴有其他症状的情况要及时进行相应治疗和采取提高免疫力的措施。