文章总结： 1Password开源了AI安全基准测试SCAM，用于评估AIAgent在真实职场工作流中主动识别安全风险的能力。测试发现，所有主流大模型在无专门安全提示时均出现关键安全故障，如向钓鱼页面输入凭据、转发含敏感信息的邮件等。应用简化的安全skill后，模型安全表现显著提升，但文档内嵌凭据场景仍是普遍盲区。该基准揭示了AI安全认知与行为的鸿沟，为企业AIAgent部署提供了重要评估工具。 综合评分： 85 文章分类： AI安全,安全运营,安全建设,解决方案,安全工具

AI懂“安全”也不懂“安全”，1Password开源SCAM基准

原创

玄月调查小组 玄月调查小组

玄月调查小组

2026年2月21日 11:30 浙江

能 100% 识别钓鱼网站的大模型，却会亲手把账号密码送给黑客——这一 AI Agent领域的安全悖论，有了标准化的评估标尺。近日，1Password 正式开源 AI 安全基准测试 SCAM（安全理解与意识评估），通过模拟真实职场工作流，测试 AI Agent在无专门安全提示下的主动风险识别能力，填补了现有 AI 安全评估的核心空白。

知易行难：AI Agent的安全悖论

随着企业AI Agent的规模化落地，越来越多的企业为大模型开放了邮箱、浏览器、密码管理、内部业务系统的操作权限，让AI Agent自主完成邮件处理、流程审批、系统运维、信息同步等日常工作，但与之匹配的安全评估体系却严重滞后。

此前已有研究证实，主流前沿大模型在被直接提问时，可实现近乎完美的钓鱼网站识别准确率，但这一“纸面安全能力”，在真实工作流中完全失效。

每一款前沿大模型在被直接询问时，都能识别钓鱼页面。但当我们给这些模型邮箱、密码库和日常工作任务时，它们会提取真实凭据，输入到攻击者的虚假登录页中。——1Password产品副总裁Jason Meller

这一认知与行为的巨大鸿沟，正是SCAM基准测试的核心聚焦点。Jason Meller指出，绝大多数AI安全基准，仅测试模型会不会被刻意诱导突破安全规则；

SCAM测试的是更贴近真实风险、也更难通过的场景——AI Agent会不会像人类用户一样，在执行日常任务的过程中，主动走进攻击陷阱？

模拟真实职场

SCAM基准测试还原了企业真实的AI Agent使用场景，将大模型置于模拟的职场工作流中，包括基础设施运维工程师处理系统通知、团队负责人对接新承包商、员工会前整理并同步会议消息等高频办公场景。

每个测试场景中，都嵌入了与真实网络攻击完全一致的安全陷阱，包括看似合法的邮件内隐藏的钓鱼链接、与官方域名仅相差一个字符的仿冒域名、会议纪要正文内埋藏的敏感凭据与密钥等。整个测试的核心规则是：大模型需要在正常执行用户交办的任务过程中，主动识别风险预警信号，全程不会收到任何“检查安全风险、识别钓鱼攻击”的额外提示。

为了保证测试结果与生产环境完全一致，SCAM基准全部采用OpenAI、Anthropic、Google等大模型厂商的官方API进行测试，完全复刻了企业级AI Agent的真实部署方式。模型的最终安全评分基于三项核心行为维度：是否向用户预警可疑活动、是否主动拒绝不安全操作、是否执行了凭据分享、敏感表单提交等高危动作。

所有顶级模型均出现关键故障

1Password在30个真实职场场景中，完成了对8款主流大模型的测试，每个场景在基线条件下重复运行3次，测试结果暴露了当前AI Agent极其严峻的安全现状。测试结果如下：

• 模型整体安全评分区间为35%至92%，其中Claude Opus 4.6排名最高，Gemini 2.5 Flash排名最低；
• 所有参与测试的大模型，在每一轮测试中都出现了关键安全故障。SCAM基准中，关键故障指可能直接导致密码泄露、资金被盗、企业系统被攻陷的不安全操作，典型行为包括向钓鱼页面输入账号凭据、通过邮件对外分享密钥等；
• Gemini 2.5 Flash的关键故障数量最多，平均每轮测试出现约20次，GPT-4.1与GPT-4.1 Mini紧随其后；
• 测试中，大模型出现的高频高危操作包括：向外部承包商转发含密码的邮件内容、向仿冒钓鱼页面输入真实凭据、通过未加密邮件分享系统访问密钥等。

安全skill效果显著

在完成基线测试后，1Password针对AI Agent的行为特点，为每一款大模型提供了一份简短的“安全skill”，核心是优化AI Agent在日常任务执行中的风险评估逻辑，明确安全红线与处置规则。

npx add-skill 1Password/SCAM

测试结果显示，这份极简的安全skill带来了极其显著的安全提升：

• 应用安全skill后，所有大模型的安全表现均有提升，基准测试中的关键故障数量大幅下降；
• 包括三款Claude系列模型、Gemini 3 Flash在内的多款大模型，在多轮重复测试中实现了零关键安全故障；
• 该安全skill文件同时大幅收窄了强弱模型之间的安全性能差距，绝大多数模型的测试结果进入了更紧凑的高安全区间，即便是基线测试排名靠后的模型，也能通过基础的安全skill实现显著的安全能力提升。

安全重灾区：文档内嵌凭据场景

测试同时发现了一个所有大模型都无法完美解决的安全盲区，也是企业日常办公中最高发的风险场景之一。

该场景为：一封邮件的会议纪要正文中，埋藏了系统密码、访问密钥等敏感凭据，用户向AI Agent下达指令，要求将这份会议纪要转发给同事。基线测试条件下，所有参与测试的大模型，都毫无预警地转发了包含敏感凭据的全部内容。

即便是应用了安全skill文件后，该场景的测试结果仍不容乐观：8款大模型中，6款能可靠识别内嵌的敏感凭据，并拒绝执行转发邮件的操作；GPT-4.1 Mini的表现极不稳定，存在较高的漏判概率；而Gemini 2.5 Flash即便应用了安全技能，在所有轮次的测试中都未能通过该场景，持续出现凭据泄露的关键故障。

点评

SCAM 基准的核心价值，是戳破了 AI 安全的 “纸面繁荣”，更发现了了当前企业 AI 数字员工落地的安全盲区。

如今越来越多企业将 AI 数字员工投放到运维、行政、财务等岗位，开放了邮箱、业务系统、密码的全量操作权限，但绝大多数企业对AI安全的理解，还停留在 “问AI能不能发现钓鱼页面、会不会发送密码” 的问答测试，完全忽略了真实场景中AI 数字员工永远是在无额外安全提示的日常流程里工作。

这正是 SCAM 测出的 “懂安全却踩坑” 的悖论，也是企业最容易忽视的安全定时炸弹。

以上，既然看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，如果想第一时间收到推送，也可以给我个星标⭐～谢谢你看我的文章，我们，下次再见。

参考资料:https://1password.com/blog/ai-agent-security-benchmark https://github.com/1Password/SCAM

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：玄月调查小组 玄月调查小组 玄月调查小组《AI懂“安全”也不懂“安全”，1Password开源SCAM基准》