文章总结： 美国研究员开发的ScamAgent框架利用大语言模型实施全自动诈骗，通过目标分解与角色扮演等技术绕过安全防护，将拒绝率降至17%-32%。实验显示该框架在职业诈骗模拟中成功率极高。防御建议包括从简单过滤转向意图监控，实施多层防御与序列分类器控制。该研究揭示了AI武器化的严峻风险。 综合评分： 82 文章分类： AI安全,社会工程学,威胁情报

AI诈骗工具ScamAgent可自主实施高成功率社会工程攻击

FreeBuf

2026年3月10日 18:05 上海

#

美国罗格斯大学研究员Sanket Badhe开发的ScamAgent是一个自主多轮对话AI框架，展示了如何将大语言模型（LLM）武器化以实现全自动诈骗通话。该系统通过整合目标驱动规划、上下文记忆和实时文本转语音（TTS）合成技术，成功绕过现有AI安全防护机制，模拟出高度逼真的社会工程攻击。

#

Part01

架构创新：中央协调器管理欺诈策略

ScamAgent的架构与传统提示注入不同，采用中央协调器来管理多轮交互中的对话状态和欺骗策略。当接收到恶意目标时，该Agent会通过目标分解将攻击拆分为看似无害的子目标序列，模拟人类诈骗者逐步建立受害者信任的过程。

Part02

绕过安全防护的四大核心技术

• 目标分解：攻击者将有害目标拆分为看似无害的步骤。防护需要监控多步对话过程。
• 欺骗与角色扮演：恶意请求被隐藏在虚构故事或官方角色中。可通过阻止身份冒充和限制AI角色来缓解。
• 上下文记忆：系统记忆过往响应并调整诈骗策略。限制历史记忆长度可降低风险。
• 实时TTS：文本转为逼真诈骗语音。音频输出前的内容检查有助于防止滥用。

在五种常见诈骗场景的实验中，ScamAgent展现出颠覆标准模型对齐和安全协议的高度有效性。直接恶意查询的拒绝率为84%-100%，而该Agent框架通过分散恶意意图，将拒绝率降至17%-32%。

值得注意的是，在职业身份诈骗模拟中，Meta的LLaMA3-70B模型以74%的完整对话完成率位居首位，所有子任务均未触发安全停止机制。

Part03

防御建议：从简单过滤转向持续监控

研究人员指出，防御自主生成威胁需要安全系统从简单的提示过滤转向理解用户意图的持续监控。建议AI平台提供商和安全团队实施多层防御，包括用于预测长期结果的序列分类器，以及对记忆保留的严格控制。

参考来源：

ScamAgent- AI Agent Built by Researchers that Run Fully Autonomous Scam Calls

ScamAgent- AI Agent Built by Researchers that Run Fully Autonomous Scam Calls

#

#

#

推荐阅读

电报讨论

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：FreeBuf 《AI诈骗工具ScamAgent可自主实施高成功率社会工程攻击》