文章总结： GPTSecurity周报总结了六篇AI安全论文，涵盖LLM安全框架、代理依赖分析、编码代理监督、恶意技能检测、AI红队演练及AI应用安全风险。关键发现包括认知防火墙降低攻击成功率至2%以下，AgentFlow恢复代理依赖关系，以及AI应用平台存在凭证泄露和输入注入漏洞。建议采用分层安全框架和运行时审计工具以增强防护。 综合评分： 84 文章分类： AI安全,安全开发,应用安全,供应链安全,漏洞分析

第151期|GPTSecurity周报

原创

知识分享者 知识分享者

安全极客

2026年7月6日 20:58 北京

在小说阅读器读本章

去阅读

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区，集成了生成预训练Transformer（GPT）、人工智能生成内容（AIGC）以及大语言模型（LLM）等安全领域应用的知识。在这里，您可以找到关于GPT/AIGC/LLM最新的研究论文、博客文章、实用的工具和预设指令（Prompts）。现为了更好地知悉近一周的贡献内容，现总结如下。

Security Papers

1. Cognitive Firewall：面向LLM安全的主动式、零信任、多级安全框架

简介：大语言模型（LLM）可能通过多轮对话策略生成有害内容，而其中任何一条用户消息都难以明确显示其不安全。现有的运行时安全措施通常将提示或响应视为孤立的消息进行评估，这限制了它们恢复累积意图、验证声称的权限或检测贯穿整个对话的有害目标的能力。

本文提出了一种名为“认知防火墙”的主动运行时监督框架，该框架在用户和受保护的目标模型之间插入了一个独立的监督模型。该框架将安全评估分解为四个类别门：意图门，用于识别请求的操作目标；零信任上下文门，将声称的角色和权限视为未经验证的证据；一致性门，用于检测跨轮次的升级和分解；以及输出风险门，用于在发布前检查候选响应。门的决策通过升级而非分数平均的方式进行组合，从而允许任何可靠的危险信号阻止交互，同时保留可审计的理由。在四个越狱基准测试集和一个良性安全测试集上的实验表明，认知防火墙显著降低了单回合攻击、多回合攻击、基于权限的攻击以及人工构造攻击的成功率。在三个攻击集上，它将攻击成功率降低到 2% 或更低，在难度最高的人工构造攻击集上，将其降低到 14%，同时保持了 8% 以上的拒绝率。这些结果表明，分解的、会话级别的监控可以提高 LLM 安全性的主动遏制能力和可审计性。

链接：

https://arxiv.org/abs/2607.01277

2. AgentFlow：构建用于代理程序静态分析的代理依赖关系图

简介：LLM代理越来越多地被开发成基于代理框架的源代码应用程序。这些代理程序将传统的宿主语言代码与框架定义的模型、提示、工具、内存和多代理编排逻辑的语义相结合。因此，它们的行为不仅取决于传统的控制流和数据流，还取决于一类新的代理依赖关系。这类依赖关系通常以框架诱导的语义形式表达，例如代理构造函数、工具装饰器和代理交接声明，这使得使用现有的静态分析或依赖关系跟踪工具难以恢复它们。

本文提出了AgentFlow，这是第一个用于从代理程序中恢复和分析代理依赖关系的静态分析框架。AgentFlow构建了一个代理依赖图（ADG），这是一种与框架无关的图表示，它将代理、提示、模型、能力、内存状态和控制策略表示为类型化的节点，并将它们的组件依赖关系、控制流依赖关系和数据流依赖关系捕获为类型化的边。

AgentFlow 基于 ADG 构建，支持一系列针对代理治理和安全的分析，包括代理物料清单 (BOM) 生成和工具提示风险检测。研究者针对五个具有代表性的代理框架实现了 AgentFlow，并在包含 5399 个真实代理程序的 AgentZoo 语料库上对其进行了评估。评估结果表明，与现有的基于 AST 的代理静态分析工具相比，AgentFlow 能够恢复更丰富的代理实体和依赖关系，生成更具依赖感知能力的代理 BOM，并在真实代理程序中发现了 238 个类似污点的工具提示风险。这些结果表明，ADG 为理解、治理和保护新兴代理软件提供了切实可行的基础。

链接：

https://arxiv.org/abs/2607.01640

3. 通过约束实现可控性：为编码代理的可扩展监督提供基础

简介：编码代理功能强大，但人工监督才是瓶颈。不受约束的代理会引入安全风险，削弱代码库的可扩展性，并使人工审查成本日益增加。研究者认为，几十年来用于管理大型人工工程团队的方法——访问控制、网络策略、工具强制执行的严格编码规范——可以直接应用于编码代理，并且（以代币成本计）比最近开发的代理脚手架更经济。研究者基于此原理构建了一个端到端的系统，并报告了一项可扩展监督的受控实验：一位小型审查员（Gemma 4 e4b）检查了一个包含 11 个插入后门的 Python 代码库。召回率从 54.5%（不受约束，无工具）提高到 90.9%（受约束的底层加上一个约 200 行代码的 docs 命令行界面），底层和工具各自独立地贡献了召回率。研究者特意选择 Python：在底层层面进行监督的收益在默认情况下提供的保证最少的语言中最大；这些原理也适用于 Rust 等语言。

链接：

https://arxiv.org/abs/2607.02389

4. 隐蔽引爆：扫描器规避和代理技能恶意软件的动态检测

简介：LLM编码代理越来越依赖来自公共市场的第三方代理技能，这些技能以代理的权限执行，从而形成软件供应链攻击面：恶意技能可以窃取凭证、泄露源代码或安装后门。现有的防御措施使用基于模式匹配或LLM作为评判者的静态技能扫描器，但它们是否能够抵御在改变有效载荷外观的同时保留恶意行为的自适应规避攻击仍不清楚。

本文首先通过SkillCloak对现有技能扫描器进行对抗性研究。SkillCloak是一个有效载荷保留规避框架，它在改变攻击语义的同时保持其可见形式。SkillCloak使用两种互补策略：结构混淆，将可见的有效载荷指标重写为语义等价的形式；以及自提取技能（SFS）打包，在安装时隐藏恶意组件，并在代理执行期间恢复它们。在八种扫描器和 1613 个实际恶意技能的测试中，SFS Packing 的绕过率超过 90%，而结构混淆在大多数静态扫描器上的绕过率超过 80%，在混合扫描器上的绕过率更是高达 96%，这表明基于外观的审计不足以应对攻击。

基于此，研究者提出了 SkillDetonate，一种以行为为中心的运行时审计工具。它在沙箱环境中执行技能，并通过操作系统边界信息流证据而非安装时的外观来检测恶意影响。SkillDetonate 结合了按需闭包提升（观察执行过程中具体化的指令）和基于标记的污点分析（跟踪代理上下文、文件、进程和网络操作中的敏感数据流）。结果表明，SkillDetonate 能够以 2% 的误报率检测到 97% 的攻击，并且在实际恶意技能的检测中保持 87% 的检测率。

链接：

https://arxiv.org/abs/2607.02357

5. 保障人工智能代理安全：多层代理红队演练的统一框架

简介：从模型服务引擎和代理平台到模型上下文协议 (MCP) 生态系统以及语言模型本身，开源人工智能基础设施的快速增长已经超过了现有安全防御工具的开发速度。研究者提出了 AI-Infra-Guard，这是一个开源框架，它围绕一个核心观察来组织人工智能红队演练：人工智能代理的攻击面是分层的（基础设施、协议/工具、代理行为和模型），没有一种单一的检测范式能够适用于所有层面。因此，该框架针对每一层都匹配了相应的范式，从对 75 多个人工智能组件和 1400 多个漏洞规则进行确定性规则匹配，到基于 LLM 的 MCP 服务器和代理技能包的代理审计和多轮黑盒代理红队演练，再到包含 26 个以上攻击者和 16 个数据集的越狱工具。据研究者所知，它是唯一一个涵盖所有这些的开源框架，包括对不断扩展人工智能代理功能的代理技能进行供应链审计。研究者将 AI-Infra-Guard 作为开源软件发布，以便“层范式匹配”能够作为代理安全性的实用基础，并为社区构建共享基础。

链接：

https://arxiv.org/abs/2606.31227

6. 揭秘预训练模型中心上人工智能应用程序的安全风险

简介：人工智能应用（AI-Apps）托管在诸如Hugging Face等平台上，通过在线推理和微调服务，使用户能够更便捷地使用预训练模型。这些平台在降低人工智能应用门槛的同时，也引入了未知的攻击面，因为AI-Apps通常由缺乏安全隔离和安全配置的第三方开发。

本文首次对三大主流平台上的AI-Apps进行了系统的安全分析。为了构建分析框架，研究者将AI-Apps的生命周期映射到已有的风险分类体系（例如OWASP），识别出五大威胁类别和十种攻击向量，涵盖从通用Web漏洞到高影响架构问题的各个方面。分析揭示了包括访问控制失效、资源重用不安全、输入验证不足以及敏感数据泄露在内的关键缺陷。值得注意的是，研究者发现了平台设计中固有的三种新型架构漏洞，并展示了传统问题（例如，全局可读日志）在该生态系统中如何被独特地放大。为了评估实际影响，研究者开发了分析框架 Insightor，并将其应用于超过 97 万个公开的 AI 应用。令人震惊的是，研究者发现数千个应用存在凭证泄露问题，数百个应用存在允许执行任意代码的输入注入漏洞，还有数十个应用包含嵌入式后门——这表明这些漏洞正被积极利用。研究者已负责任地将所有发现告知受影响的平台和开发者。

链接：

https://arxiv.org/abs/2606.30373

-End-

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全极客 知识分享者 知识分享者《第151期|GPTSecurity周报》