纤维瘤不做手术是否要紧，需要根据纤维瘤的大小、位置、症状以及患者的年龄、健康状况等因素来综合判断。一般来说，以下情况需要考虑手术治疗：
纤维瘤较大：如果纤维瘤较大，可能会影响外观或功能，或者有恶变的风险，需要手术切除。
纤维瘤位置特殊：如果纤维瘤位于重要的部位，如颈部、腋窝、腹股沟等，手术切除可能更为安全。
纤维瘤症状明显：如果纤维瘤引起疼痛、瘙痒、出血等症状，影响生活质量，需要手术治疗。
患者年龄较大或健康状况较差：对于年龄较大或健康状况较差的患者，手术风险可能较高，需要谨慎评估手术的利弊。
在某些情况下，医生可能会建议观察纤维瘤的生长情况，而不需要立即手术。例如：
纤维瘤较小且无明显症状：如果纤维瘤较小，且没有明显的增长或症状，可以定期复查，密切观察其变化。
患者拒绝手术：如果患者因为各种原因拒绝手术，医生可能会根据具体情况选择其他治疗方法，如药物治疗、物理治疗等。
需要注意的是，即使医生建议观察纤维瘤的生长情况，患者也需要定期复查，以便及时发现任何变化。此外，对于一些特殊类型的纤维瘤，如乳腺纤维瘤，手术治疗可能更为常见。
总之，纤维瘤是否需要手术治疗需要根据具体情况进行综合评估。患者应该与医生充分沟通，了解手术的风险和益处，并根据自己的情况做出决策。如果对纤维瘤的治疗有任何疑问，建议咨询专业的医生。