红豆薏米茶虽好，但并非所有人都适合饮用。一般来说，以下几类人群需要注意避免或谨慎饮用红豆薏米茶。
脾胃虚寒人群
脾胃虚寒者饮用需谨慎： 红豆和薏米都属于偏寒凉的食材，脾胃虚寒的人本身就容易出现腹泻、腹痛等症状，饮用红豆薏米茶可能会加重脾胃虚寒的情况，导致不适症状加重。比如一些经常感觉肚子冷、吃凉东西就容易拉肚子的人，就不太适合多喝红豆薏米茶。阳虚体质者要留意： 阳虚体质的人通常怕冷、手脚冰凉，体内阳气不足，而红豆薏米茶的寒凉性质可能会进一步损伤阳气，使阳虚的症状更加明显，这类人群饮用时要格外小心。
尿频人群
尿频者需控制饮用量： 红豆薏米茶有利尿的作用，对于本身就尿频的人来说，饮用后可能会使尿频的症状加重，影响生活质量。例如晚上经常起夜上厕所的人，就不适合大量饮用红豆薏米茶。泌尿系统有问题者要慎重： 如果本身有泌尿系统疾病，如尿道炎等，饮用红豆薏米茶可能会对泌尿系统产生一定刺激，不利于病情的恢复，这类人群最好在医生指导下决定是否饮用。
孕妇及经期女性
孕妇不宜随意饮用： 孕妇的身体处于特殊状态，红豆薏米茶的寒凉属性可能会对子宫产生一定影响，有引发宫缩的潜在风险，所以孕妇一般不建议饮用红豆薏米茶，以免对胎儿造成不利影响。经期女性要谨慎： 经期女性的身体比较敏感，饮用红豆薏米茶可能会导致气血凝滞，出现痛经等不适症状，所以经期女性也要根据自身情况，谨慎选择是否饮用红豆薏米茶。