乳腺纤维瘤是否可以不做手术，需要根据具体情况来决定。以下是一些可能的情况：
1.较小的纤维瘤且无明显症状：如果纤维瘤较小（一般小于3厘米），且没有引起任何症状，如肿块、疼痛或乳头溢液等，医生可能会建议定期复查乳腺超声，以监测肿瘤的生长情况。这种情况下，手术并不是必需的。
2.怀孕或哺乳期：在怀孕期间，乳腺纤维瘤可能会增大，但通常在哺乳期结束后会逐渐缩小。在怀孕期间，手术可能会带来一些风险，因此医生可能会选择观察和监测。
3.患者拒绝手术：有些患者可能因为各种原因（如恐惧手术、担心手术风险或个人偏好等）而选择不进行手术。在这种情况下，医生会与患者充分沟通，讨论其他治疗选项，如定期复查、药物治疗或其他非手术干预方法。
4.特殊情况：对于一些特殊情况，如纤维瘤位于乳腺深部、与周围组织粘连紧密、患者有其他健康问题等，手术可能是更合适的选择。
需要注意的是，不做手术并不意味着可以忽视乳腺纤维瘤。定期进行乳腺检查非常重要，包括乳腺超声、乳腺X线摄影（钼靶）等，以便及时发现肿瘤的变化。此外，保持健康的生活方式，如均衡饮食、适量运动、减少咖啡因摄入等，也有助于预防乳腺疾病的发生。
如果对乳腺纤维瘤的治疗有疑问，建议咨询乳腺外科医生。医生会根据具体情况进行详细的评估，并提供个性化的治疗建议。