网络钓鱼攻击仍然利用着研究人员近二十年前发现的相同的人类认知弱点。在他们的开创性研究中，Dhamija、Tygar和Hearst（2006年）解释了“为什么网络钓鱼有效”以及这些攻击是如何利用人类认知弱点的。不幸的是，网络钓鱼仍然是一个强大的攻击手段，随着人工智能（AI）的快速发展，其有效性 only 增强了（Begou, Vinoy, Duda, Korczynski, 2023; Roy, Thota, Naragam, Nilizadeh, 2024; Schmitt, Flechais, 2024）。现在，攻击者正在利用AI的进步，而人类的认知缺陷仍然可以被利用（Hadnagy, 2018; Vishwanath, 2022）。生成式AI模型，如语言模型，能够以最低的成本生成高质量、有说服力的文本（Alammar, Grootendorst, 2024; Raschka, 2024），这些模型在日常活动中变得越来越普遍（Breum, Egdal, Mortensen, Aiello, 2024; Karinshak, Liu, Park, Hancock, 2023; Pauli, Augenstein, Assent, 2024）。到2023年1月，ChatGPT成为历史上增长最快的消费者软件应用，在两个月内用户数超过了1亿（Hu, 2023）。据报道，截至2025年底，ChatGPT的每周活跃用户数约为8亿（Techcrunch, 2025），这反映了自2022年11月发布以来的爆炸性增长。与此同时，Google Gemini的用户数从2025年7月的4.5亿迅速增长到2025年10月的6.5亿以上（Pichai, 2025），并在包括搜索、Gmail和Android在内的Google服务中得到了广泛集成。这种广泛的采用表明，基于LLM的助手正在成为日常数字工具的一部分。
网络钓鱼攻击和其他类型的社会工程攻击对国家安全构成了重大威胁（国家安全局，2023年），FBI报告称从2019年到2023年网络钓鱼事件增加了200%以上（联邦调查局，2020年；2024a年，IC3）。由于网络钓鱼非常适合AI自动化，因此预计其威胁性将进一步加剧。
在这项研究中，我们通过比较四种类型电子邮件的成功率来评估大型语言模型（LLMs）进行个性化网络钓鱼攻击的能力：对照组诈骗邮件、人工制作的网络钓鱼邮件、完全由AI生成的网络钓鱼邮件以及有人类协助的AI生成的邮件。我们使用一个定制的AI驱动工具向101名参与者发送了这些邮件，该工具通过抓取数字足迹来创建和评估个性化网络钓鱼邮件。结果显示，AI生成的邮件和人类专家制作的邮件的表现相当。对照组的点击率为12%，人类专家制作的邮件达到了54%，完全由AI自动化的邮件达到了54%，而AI与人类协同工作的邮件达到了56%。
我们还评估了五种流行的LLMs（Claude 3.5 Sonnet、GPT-4o、Mistral、LLama 3.1和Gemini）在网络钓鱼检测方面的能力。Claude 3.5 Sonnet在初步测试中达到了100%的检测率，在更大的数据集中达到了97.25%的检测率，且没有误报。我们发现，当要求模型判断邮件是否可疑时，它们的表现显著更好。这种预处理并没有增加误报率，这为未来的应用提供了一种有前景的策略。
最后，我们进行了经济分析，表明AI自动化可以将网络钓鱼攻击的利润提高50倍，这突显了需要新的防御策略。我们的发现强调了由AI增强的网络钓鱼所带来的日益增长的威胁，以及在技术、组织和政策层面采取更强有力对策的紧迫性。
我们的研究旨在全面评估LLMs在网络钓鱼中的双重用途能力：既作为发起攻击的攻击性工具，也作为检测攻击的防御性工具。这种双重视角至关重要，因为仅了解攻击性能力将无法全面了解AI对网络安全领域的影响。如果AI仅增强攻击者的能力而提供的防御价值很低，组织将面临不对称的威胁。相反，如果LLMs在攻击和防御方面都表现出色，这表明可能会出现一场“AI军备竞赛”，其中防御系统有可能与AI增强的威胁保持平衡。
我们的研究解决了两个互补的问题：
1.攻击能力：完全自动化的AI生成的网络钓鱼活动在有效性、个性化和经济效率方面与人工制作和AI辅助的活动相比如何？
2.防御能力：LLMs能否有效检测复杂的网络钓鱼邮件，包括那些由AI系统生成的邮件，同时保持低误报率？
在攻击性背景下，“完全自动化”意味着AI模型从信息收集到邮件制作和交付优化，完全独立地生成、执行和调整网络钓鱼活动。我们通过人类受试者测试、经济分析和与先前基准的比较来评估这些能力，以追踪AI欺骗能力的演变。
