小孩发烧37.5℃属于低热范围，一般可不服用退烧药，但需依小孩病情决定。具体情况如下：
一、小孩体温调节中枢较差，易受外界因素影响。若衣服穿得多，散热可能受影响致体温增高，此时发烧37.5℃因外界因素引起，则通常无需吃退烧药。这种情况下，建议家长给小孩喝温开水或洗温水澡。
二、若小孩发烧37.5℃且持续不退烧或体温继续升高，可能是病毒感染引起的上呼吸道感染，一般会出现咳嗽、流涕、打喷嚏、发热等症状。此时，可使用盐酸苯海拉明软胶囊、马来酸氯苯那敏片等药物治疗。同时，建议家长带小孩参与一些户外运动，以提高机体免疫力。
总之，小孩发烧37.5℃时是否吃退烧药要具体分析，还需关注是否有其他症状并采取相应治疗措施，同时要注重增强小孩体质。