灵芝孢子粉虽好，但以下人群需谨慎或避免食用：对灵芝孢子粉过敏者、手术前后一周内或正在大出血者、患有出血性疾病者、孕妇及哺乳期妇女、儿童、正在接受免疫抑制治疗者、糖尿病患者、过敏体质者以及与西药同服者。
以下这些人不能吃灵芝孢子粉：
1.对灵芝孢子粉过敏的人不能吃。
2.手术前后一周内，或正在大出血的病人不能吃。
3.灵芝孢子粉具有抑制血小板凝结、抗血栓形成的作用，因此患有出血性疾病的人在出血期间不宜食用。
4.孕妇、哺乳期妇女不建议吃灵芝孢子粉。
5.儿童吃灵芝孢子粉的效果和安全性尚未确定，因此不建议儿童食用。
6.灵芝孢子粉具有调节免疫的作用，因此正在接受免疫抑制治疗的病人不建议食用。
7.灵芝孢子粉可能会影响血糖水平，因此糖尿病患者在服用降糖药物或胰岛素期间，需要谨慎食用。
8.灵芝孢子粉具有一定的镇静作用，因此过敏体质的人在服用后可能会出现嗜睡、乏力等症状，因此过敏体质的人需要谨慎食用。
9.灵芝孢子粉不能与西药同时服用，两者服用最好间隔2小时以上。