患有肉芽肿性乳腺炎时，在饮食方面需要注意以下禁忌：
1.避免食用辛辣刺激性食物：如辣椒、花椒、生姜等，以免加重炎症反应。
2.避免食用油腻食物：如油炸食品、动物脂肪等，以免增加血液中脂肪的含量，影响身体的代谢功能。
3.避免食用海鲜类食物：如鱼、虾、蟹等，以免引起过敏反应，加重病情。
4.避免食用发物：如羊肉、狗肉、韭菜等，以免加重病情。
5.避免饮酒：酒精会刺激乳腺组织，加重炎症反应。
6.避免饮用咖啡和浓茶：咖啡和浓茶中的咖啡因和茶碱等成分会刺激乳腺组织，加重病情。
需要注意的是，饮食禁忌只是辅助治疗的一部分，患者还需要在医生的指导下进行规范的治疗，同时保持良好的生活习惯和心态，才能更好地控制病情。