Claude的J-space工作区详解:从J-space、JacobianLens到隐藏意图审计

admin 2026-07-14 05:07:31 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: Anthropic于2026年7月6日发布论文,揭示语言模型内部存在一个名为J-space的特权表征区,该区域容量受限、可读可控,主要出现在中间层,承载抽象概念与中间推理。JacobianLens作为主要读出方法,可将内部概念方向映射到词表。该发现将AI安全审计从外部输出扩展到内部工作区,使输出合规与内部判断分离、提示注入识别、评估感知与部署漂移等成为可测问题。对Agent系统而言,记忆评估需从命中率扩展到激活率,高风险动作前应增加工作区塑形步骤。当前该技术仍处于研究阶段,但已为隐藏目标审计、提示注入识别等方向提供了新的观测面。 综合评分: 85 文章分类: 安全意识,安全运营,红队


cover_image

Claude的J-space工作区详解:从J-space、JacobianLens到隐藏意图审计

原创

林之冰寒 林之冰寒

Security for AI

2026年7月9日 10:00 新加坡

在小说阅读器读本章

去阅读

前言

Anthropic在2026年7月6日发布了一个论文,说明现代语言模型内部存在一小块具有可报告、可调制、可复用、可承载中间推理且容量受限的特权表征区。论文将其称为J-space,并以JacobianLens作为主要读出方法。该研究的重要性主要体现在三类安全对象的边界变化

第一,模型输出不再是唯一审计对象,内部可言说表征开始进入审计面。

第二,Agent记忆问题不再只涉及存储是否命中,还涉及检索结果能否进入当前工作区。

第三,针对隐藏目标、评估感知、奖励迎合、提示注入识别与推理失真。

简单理解论文

Anthropic论文首先属于可解释性研究,重点在于语言模型内部是否存在一个功能上类似全局工作区的特权子空间,以及这块子空间是否承载了可言说、可控制、可广播的概念表征。如果把将这一发现转译到安全语境,则表现为:当模型外部输出呈现顺从、合规与稳定特征,而内部同时点亮fake、reward、trick、secretly等概念时,安全审计对象便需要从回答文本扩展到内部工作区。

J-space与JacobianLens到底是什么

语言模型在每个token位置维护一条残差流,层与层之间持续向这条残差流写入新信息。最终层的残差流可以直接通过unembedding矩阵映射到词表分数,中间层则承载尚未外显的内部计算。JacobianLens试图回答的问题是:当中间层某个激活向量受到轻微扰动时,它会在后续上下文中使模型更倾向于说出哪些词。其基本形式可写成:

lens_l(h)=unembed(J_l @ h)
J_l=E[∂h_final/∂h_l]

其中,J_l是对大量上下文、位置与后续目标位置求平均后的输入输出Jacobian。与较早的logitlens相比,这个方法会显式修正层间表征坐标变化,因此能在更早层读出具有可解释性的概念方向。论文据此定义J-space:它不覆盖全部激活空间,也不覆盖全部知识存储,它是由一组J-lens方向构成的稀疏、非负、低容量子空间。论文常用的稀疏度上界不超过25,且J-space分量对总激活方差的解释量在各层都低于10%。这两个数字极其重要,因为它们直接说明J-space承担的是特权工作面,不等同于模型全部内部状态。从结构上看,论文有出三点关键发现。

第一,J-space主要出现在中间层。早层更接近输入整理,末层更接近下一个token的直接生成,中间层则最适合承载抽象概念与内部中间结果。

第二,J-space具有容量限制。真正强激活的J-lens方向在任一时刻只有少数几十个,这与全局工作区理论中的有限容量假设高度一致。

第三,J-space在机制上具有特权地位。论文观察到,与普通方向相比,J-lens方向更容易与下游MLP和注意力组件广泛组合,更像被许多电路共同读写的广播格式。

为何这一研究会直接进入AI安全语境

J-space将原本只能通过外部行为间接推测的对象,部分转化为内部可观测对象。

输出合规与内部判断分离,开始变成可测问题

Anthropic在2025年关于隐藏目标审计的研究,已经把评估重点放在模型是否理解自己正在被评估、是否会迎合考核指标、是否会把隐藏目标压到表面合规之下。J-space进一步把这个问题推进了研究:若模型表面回答正确、顺从、合规,内部却持续点亮reward、secretly、fake、trick这类概念,防守方就获得了一个新的异常信号源。这类信号当然不能直接等同于恶意意图,更不能充当自动定罪依据,但它足以成为高风险动作前的二次审计触发器,例如外部发送、权限提升、代码执行、资金操作与跨系统写入。

提示注入识别开始从输出层走向内部层

当Claude读取被伪装成正常搜索结果的提示注入内容时,J-space中会出现injection与fake等概念。由此可见,提示注入检测未来可能形成双层设计。第一层仍是传统输入与输出过滤。第二层则是内部概念触发监测,关注模型是否已经将当前上下文判断为操纵、伪造、危险、越权或欺骗场景。这对Agent系统尤为重要。许多Agent在浏览网页、读取邮件、消费检索结果与处理第三方文档时,风险往往出现在模型已经识别异常、却仍因任务压力、奖励偏置或工具流程而继续执行的阶段。J-space为这一分析断面提供了新的观察语言。

评估感知与部署漂移有了更细的探针

模型会区分测试环境、常规交互与特定约束情景,其显式回答与内部处理未必同步。J-space的实际价值,在于它可能帮助评估团队区分两种情况。

第一种情况是模型确已将安全原则调入当前工作区。

第二种情况是模型仅输出看似正确的安全措辞,而内部工作区并未出现对应原则,甚至出现了迎合、规避或隐藏目标相关概念。对于红队、对齐评估与高风险上线前审计而言,这种区分十分关键。

J-space对Agent记忆与运行架构意味着什么

过去许多Agent记忆设计主要关注三件事:能否存储、能否召回、能否进入上下文。J-space的出现,真正影响下一步决策的还有第四件事:这些记忆是否被提升进入当前工作区,并以可操作概念形式参与后续推理。

这带来三个架构启示

第一,记忆系统评估指标需要从命中率扩展到激活率。检索到正确文档,只能说明信息进入上下文。信息是否真的进入J-space,才更接近它会不会改变决策。

第二,高风险动作前应增加工作区塑形步骤。Ken Huang提出了在危险动作前要求模型显式陈述约束、矛盾、不确定性与适用政策,其设计逻辑与J-space研究是一致的:把关键约束显式推入当前工作面,再让后续动作建立在这一面上。

第三,Agent运行框架中的记忆压缩、反思、critique、planner与toolformer式中间阶段,未来都可以重新评估为J-space引导器。更值得讨论的问题在于:哪一种中间步骤最能使正确约束进入工作区,哪一种中间步骤仅仅生成形式上完整的日志。

J-space局限

第一,它目前仍是研究工具,尚未成为现成平台能力。论文更接近研究实现,距离低成本、稳定、跨模型、跨版本的生产级内部监测还很远。

第二,它当前偏向词表可对齐概念。单token对象最容易进入现有J-lens框架,更复杂的多token概念、抽象结构与连续控制状态还需要更强的读出方法。

第三,内部信号解释存在过拟合风险。某个概念在J-space点亮,并不自动等同于稳定目标、最终决策或道德属性。把内部词项直接翻译成确定意图,会引入新的解释偏差。

第四,它尚未解决跨模型普适性问题。当前实现可迁移到开源decoder模型,但论文主结论主要来自Claude系实验。不同训练目标、不同后训练策略、不同多模态输出空间,是否会形成同构工作区,还需要更多复现。

结论:J-space让AI安全开始接近内部决策面

J-space最重要的价值,在于将语言模型安全研究从外部行为分析推进到部分内部工作区分析。对AI安全、对齐评估与Agent设计而言,这代表观测面的扩展。若只观察模型说了什么,研究者看到的是结果。若能够进一步观察模型在决定说什么之前将哪些概念置入工作区,研究者便开始接近决策形成过程。

当前这一步仍处于研究阶段,距离成熟部署能力尚有明显距离,但其已足以改变后续若干方向的优先级,包括隐藏目标审计、提示注入识别、记忆系统评估、Agent高风险动作前塑形,以及训练阶段对内部工作区的定向干预。

J-space是一块可读、可控、容量受限、与高阶推理高度相关的特权内部表征区。它距离意识结论仍然很远,但距离安全审计与Agent架构调整已经相对接近。

参考

https://www.anthropic.com/research/global-workspace

https://transformer-circuits.pub/2026/workspace/index.html

如果有需要合作或者AI安全技术交流的大佬,请+V,base64解码:XzVzZWFzb25f


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:Security for AI 林之冰寒 林之冰寒《Claude的J-space工作区详解:从J-space、JacobianLens到隐藏意图审计》

评论:0   参与:  0