宝宝体温38.4°C时，可以先不吃退烧药，可采取以下物理降温措施，并密切观察宝宝情况，分析如下：
1.减少衣物：宝宝发烧时，穿着过多的衣物会影响身体散热，导致体温不降。因此，需要适当减少宝宝的衣物，以帮助身体散热。
2.温水擦拭：用温水擦拭宝宝的手心、腋窝、腹股沟等部位，也可以用温水洗澡，但要注意水温不要过低，以免引起宝宝寒战。
3.多喝水：发烧会导致宝宝体内水分流失，因此需要多喝水，以补充水分，防止脱水。
4.保持室内通风：保持室内通风良好，可以让宝宝感到舒适，但要避免对流风直吹宝宝。
5.密切观察宝宝情况：需要密切观察宝宝的体温、精神状态、呼吸等情况，如果宝宝体温持续升高、精神状态不佳、呼吸急促等，应及时就医。
需要注意的是，对于3个月以下的宝宝，体温超过38°C时，应及时就医。同时，如果宝宝有高热惊厥史，体温超过38°C时，也应及时就医。在给宝宝使用退烧药时，应按照医生的建议使用，不要自行增减剂量。