乳腺肿块的切除与否不应仅仅取决于大小，还需要综合考虑其他因素，如肿块的性质、患者的年龄、健康状况等。以下是一些需要考虑的因素：
1.肿块的大小：一般来说，直径大于3厘米的肿块更可能是恶性的，但较小的肿块也可能是恶性的。因此，医生会综合考虑肿块的大小、形态、边界、质地等特征来判断其性质。
2.肿块的性质：医生会通过触诊、超声、磁共振成像（MRI）等检查来评估肿块的性质，如是否有钙化、血流信号等。如果肿块的性质可疑，即使直径较小，也可能需要切除活检。
3.患者的年龄和健康状况：年轻患者的恶性肿瘤风险相对较低，而年龄较大、有乳腺癌家族史、有其他健康问题的患者，恶性肿瘤的风险可能较高。医生会根据患者的具体情况来决定是否需要切除肿块。
4.肿块的增长速度：如果肿块在短时间内迅速增大，医生会更加关注其性质，并可能建议切除活检。
5.其他因素：患者的个人意愿、心理因素等也可能影响医生的决策。
综上所述，乳腺肿块的切除与否需要综合考虑多个因素，而不仅仅取决于肿块的大小。患者应该与医生充分沟通，了解自己的病情和治疗选择，并根据医生的建议做出决策。如果对乳腺肿块的处理有任何疑问，建议咨询专业的乳腺外科医生。