宝宝腋下体温37.4°C属于低烧，需要引起重视。以下是一些应对建议：
1.观察宝宝的状态：除了测量体温，还要注意观察宝宝的精神状态、饮食情况、睡眠质量等。如果宝宝精神状态良好，饮食正常，睡眠安稳，那么可以先在家中观察，不必急着去医院。
2.给宝宝多喝水：低烧时，宝宝体内的水分会流失，多喝水可以帮助补充水分，防止脱水。同时，多喝水也有助于降低体温。
3.松解衣物：不要给宝宝穿过多的衣物，以免影响散热。可以适当松解衣物，保持宝宝的皮肤透气。
4.温水擦拭：用温水擦拭宝宝的手心、脚心、腋窝、腹股沟等部位，有助于降温。但要注意水温不宜过高，以免烫伤宝宝。
5.贴退热贴：如果宝宝不愿意用温水擦拭，可以在额头贴上退热贴，帮助降低体温。
6.及时就医：如果宝宝的体温持续升高，或者出现精神萎靡、食欲不振、呼吸急促等异常症状，应及时就医。医生会根据宝宝的具体情况进行诊断和治疗。
需要注意的是，由于宝宝的体温调节功能尚未完全发育成熟，体温容易受到外界环境的影响。因此，在测量体温时，应选择正确的测量方法，并在安静、舒适的环境中进行。同时，要注意保持宝宝的皮肤清洁卫生，避免感染。如果对宝宝的健康状况有任何疑问，应及时咨询医生的意见。