小孩低烧37.5°C时，可以采取以下物理降温方法：
1.多喝水：让孩子多喝水，有助于补充体液，防止脱水。
2.注意休息：保证孩子充足的睡眠，有助于身体恢复。
3.保持室内通风：保持室内空气流通，可降低室内温度，缓解孩子不适。
4.温水擦浴：用温水擦拭孩子的手心、腋窝、腹股沟等部位，帮助散热。
5.贴退热贴：在孩子额头贴上退热贴，也可以起到一定的降温作用。
需要注意的是，如果孩子体温持续升高或出现其他不适症状，如咳嗽、呕吐、腹泻等，应及时就医。同时，家长在照顾孩子时，要密切观察孩子的情况，如有异常应及时就医。