小孩发烧37.5℃算是发烧，但通常不需要使用药物进行治疗，可以先尝试物理降温的方法。
发烧是指体温超过正常范围高限，是小儿十分常见的一种症状。正常小儿腋表体温为36℃～37℃，腋表如超过37.4℃可认为是发热。在正常情况下，小儿的体温可以波动于一定范围。体温在37.5℃～38.4℃为低热，38.5℃以上为高热。如果体温达到38.5℃，但精神状况还可以，没有特别的哭闹、呕吐等情况，可以先在家观察。如果精神状态差，或体温持续升高，或出现咳嗽、呕吐、腹泻等其他症状，就需要及时就医。
以下是一些物理降温的方法：
1.减少衣物：如果孩子发烧时穿着过多的衣物，会影响身体散热，导致体温升高。因此，可以适当减少孩子的衣物，让身体能够自然散热。
2.降低环境温度：保持室内空气流通，可适当开空调或风扇，但应避免直接对着孩子吹风。
3.温水擦浴：用温水擦拭孩子的颈部、腋窝、肘窝、腹股沟等部位，促进散热。
4.多喝水：发烧会导致身体水分流失，多喝水可以补充水分，防止脱水。
需要注意的是，如果孩子发烧持续时间较长或体温较高，或出现其他异常症状，应及时就医，以便明确病因，并进行针对性治疗。同时，在孩子发烧期间，应密切观察孩子的精神状态、饮食情况等，如有异常应及时就医。