乳腺纤维瘤在很多情况下并非一定要手术。具体如下：
一、若肿瘤较小，没有临床症状，且边界清晰，则可先不手术。
1.肿瘤较小：较小的肿瘤通常不会对周围组织产生明显的压迫和影响。
2.没有临床症状：比如没有疼痛、肿胀等不适感觉。
3.边界清楚：说明其形态规则，一般良性的可能性较大。
二、但出现以下情况时则要尽快就诊。
1.体积较大，超过两厘米，就必须进行手术治疗。较大的肿瘤可能会有恶变风险，也可能对周围组织造成更多影响。
2.短期内肿瘤增长迅速，这可能提示其性质发生变化。
3.边缘不光整有血流信号或伴有可疑钙化，这些都是不太好的表现，需要重视。
4.备孕、怀孕或哺乳期的妈妈，肿瘤经常增长较快，建议尽快手术治疗，以免在特殊时期带来更复杂的情况。
5.有乳腺癌和卵巢癌家族史的，由于存在遗传因素的影响，也需要特别关注。
总之，对于乳腺纤维瘤要根据具体情况来判断是否手术，当出现特定情况时应及时就医并采取相应措施。