生物学因素
遗传因素：有研究表明，遗传因素可能在异性恐惧症的发生中起到一定作用。例如，某些基因的突变或多态性可能影响大脑中与社交、情感相关的神经递质系统功能，进而增加个体出现异性恐惧症的易感性。从家族聚集性角度来看，如果家族中有成员存在类似的社交焦虑相关障碍，那么其他家庭成员患异性恐惧症的风险可能会相对较高。
大脑神经递质：大脑中的神经递质如5-羟色胺、多巴胺等与情绪调节、社交行为等密切相关。当这些神经递质的平衡被打破时，可能会影响个体对异性交往情境的情绪反应和认知加工。例如，5-羟色胺水平降低可能与社交焦虑包括异性恐惧症的发生有关，它会影响大脑对恐惧情绪的调控以及社交相关的神经回路活动。
心理因素
早期经历：儿童时期如果有不良的社交经历，尤其是与异性交往方面的创伤性经历，可能会导致异性恐惧症的形成。比如，在童年时期遭受过异性的嘲笑、欺负或者不恰当的对待，这种负面的早期异性交往体验会在心理上留下阴影，使得个体在日后面对异性时产生恐惧和回避心理。
认知偏差：个体存在的一些不合理的认知模式也可能引发异性恐惧症。例如，过度夸大与异性交往时出现尴尬、出丑等情况的可能性，或者持有极端化的对异性的认知观念，认为与异性交往充满危险、不可控等。这种不合理的认知会不断强化个体对异性交往的恐惧情绪，形成恶性循环。
社会环境因素
文化因素：不同的文化背景对异性交往有不同的规范和期望。在一些比较保守、传统的文化环境中，对异性交往的限制较多，可能会让个体在面对异性时产生更多的心理压力和恐惧。例如，某些文化中对于男女之间的接触有较为严格的规定，这可能会导致个体在与异性正常交往时感到不适应和恐惧。
家庭环境：家庭环境对个体的社交心理发展有着重要影响。如果家庭氛围过于严肃、缺乏温暖和良好的沟通，或者父母在子女的异性交往教育方面存在不当方式，如过度严厉禁止与异性交往等，都可能促使异性恐惧症的发生。例如，父母对子女与异性交往的过度干涉和批评，会让子女对异性交往产生恐惧和逃避心理。