从 AI 到 SI：当智能体开始替我们行动，安全的第一性原理还成立吗？

原创

H
H

AI安全推进计划

2026年10月7日 08:56
山东

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

引子：真正的问题不是\"能不能\"，而是\"控不控得住\"

2026 年，AI 圈最值得咀嚼的一句话，已经不是\"AGI 还有多远\"，而是\"AI 到底能自己干多久的活\"。

三年前，我们还在惊叹大模型能写诗、能改代码；今天，智能体（Agent）已经在真实的生产环境里读邮件、调接口、改代码、下单付款。能力的边界以肉眼可见的速度外推，\"超级智能\"（Superintelligence，缩写 SI，也常写作 ASI）这个词，也早已从科幻小说走进了政府白皮书和实验室的风险框架。

但真正值得每一个安全从业者警惕的，不是\"AI 会不会比人聪明\"这个哲学问题，而是一个更朴素、更急迫的工程问题：

当 AI 的自主性超过我们的监管带宽时，我们还能不能确保它按我们的意图行动？

要回答它，需要先讲清三件事：从 AI 到 SI，什么变了？什么没变？我们该怎么做、又该做什么？

本文要点：① 智能的三级跃迁，本质变化是\"自主性\"而非\"分数\"；② 七个维度正在被彻底改写，其中攻击面从五层扩展到十层；③ 但有七条安全的第一性原理不仅没有失效，反而更重要；④ 方法论上，安全重心要从\"守边界\"转向\"管主体\"；⑤ 行动上，用\"止血—建体系—升能力\"三阶段换取安全冗余。

一、三级跃迁：我们正站在哪一级台阶上

行业对智能等级的划分，通常采用三分法。

需要反复强调的是：2026 年的所有 AI 系统，无论营销话术如何包装，严格定义下都仍在 ANI 范畴。AGI 仍是一个研究目标，ASI/SI 完全停留在理论阶段。[1]

但\"尚未实现\"不等于\"可以忽略\"。因为从 AI 到 SI 的路径上，最危险的不是终点，而是斜率。

图 1　智能的三级跃迁：能力、自主性与安全命题同步升级

1.1 一条可测量的斜率：AI 能独立干多久的活

一个难得的、不依赖于\"智能\"定义的客观指标，来自 METR（Model Evaluation & Threat Research）的任务时间视界基准。它不问\"模型有多聪明\"，只问\"一个模型能独立完成多长的任务\"——单位是\"人类专家需要花多久\"。

图 2　METR 任务时间视界（50% 成功率）的加速曲线

公开评估数据显示：Claude 4 Opus 在 2025 年 5 月的时间视界约为 100 分钟；GPT-5（2025 年 8 月）约 3.4 小时；Claude Opus 4.5（2025 年 11 月）约 4.9 小时；到 Claude Opus 4.6（2026 年 2 月）已接近 12 小时，2026 年 4 月的预览系统则超过 17 小时。拟合后的倍增周期约为 128.7 天（约 4 个月，95% 置信区间 104—158 天），快于此前约 7 个月的估计。[2]

换句话说：AI 能独立完成的工作时长，正以大约每四个月翻一倍的速度增长。必须补一句严谨的话——外推不等于预测。若这条趋势延续，一个完整工作日（8 小时）的自主任务能力已在前方不远处，一个工作周大约在 2028—2029 年。但这个外推至少面临四个可能失效的原因：可靠性远落后于能力（80% 成功率的时间视界明显低于 50% 那条线）、测试任务几乎全是软件类、算力增长未必持续、以及模型仍缺乏跨会话的持续学习能力。[2]

这带来一个直接推论：当 AI 从\"工具\"变成\"执行者\"，安全问题的性质就变了。过去我们保护的是\"数据\"和\"系统\"，现在还要保护\"被 AI 代为执行的每一个动作\"。

1.2 时间线高度分化，这本身就是重要信号

关于 AGI/SI 何时到来，专家意见的分化程度本身就值得记录：

·Metaculus 社区聚合预测：2029 年前出现 AGI 的概率为 25%，2033 年前为 50%，相比 2020 年约\"2070 年\"的中位数已大幅前移；[3]

·LEAP 专家调查：AGI 出现的中位年份为 2050 年，25% 分位数 2039 年，75% 分位数 2065 年；[4]

·产业领袖则明显更激进，个别公开表态甚至认为\"未来两年内\"即可出现。[5]

分化的根源在于 AGI 缺乏共识定义——定义一变，预测就变。但有一点是共识：不确定性不是\"不用准备\"的理由，而是\"必须准备冗余\"的理由。OECD 提出的四种情景（停滞、放缓、延续、加速）都被认为现实可能，因此任何只押注单一情景的安全规划都是脆弱的。[6]

这也解释了为什么前沿实验室普遍采用\"能力阈值 + 保障等级\"的框架：不等终点确定，而是一旦越过某条能力线，就自动触发更严格的保障。这类框架包括 Anthropic 的负责任扩展政策（RSP，以 ASL 安全等级划分）、OpenAI 的准备框架（Preparedness Framework，分 Low/Medium/High/Critical）和 Google DeepMind 的前沿安全框架（FSF，使用关键能力等级 CCL）。[7]

二、七变：威胁的形状与速度被彻底改写

从 AI 到 SI，有七个维度正在发生实质性变化。它们不是并列的清单，而是相互强化的因果链：速度变化放大主体扩张，主体扩张又加速攻击面重构，最终共同抬高系统风险。

图 3　七变与七不变：威胁在变，逻辑不变

变一：攻击速度——从\"人驱动\"到\"机器驱动\"

过去的攻击链需要人逐个环节驱动：人工踩点、手工构造载荷、逐步横向移动、按工作时间推进。AI 正在把这些环节全部自动化。

云安全联盟（CSA）的分析指出，2026 年的智能体可以持续运行、不需要休息、不需要交接、不受工作时间限制，在收到高层目标后即可执行多阶段入侵，具备网络交互、文件系统访问、网络通信与 API 调用等工具能力。[8]

更关键的数字在攻击链的\"交接\"环节：有报告记录到，初始访问与二级攻击者介入之间的中位时间仅为 22 秒。[8]

这意味着防御方赖以生存的\"发现—分析—响应\"窗口，正在被压缩到人类反应时间以下。传统安全运营的分工（值班分析师看告警、升级、研判、处置）在秒级对抗中会系统性失效。这不是\"工具不够快\"的问题，而是流程范式的问题。

变二：攻击主体扩张——技术平权

第二层变化不发生在攻击内部，而发生在\"谁能发动攻击\"上。

《国际人工智能安全报告 2026》（International AI Safety Report 2026）引用的一项竞争性评估显示，AI 智能体识别出了真实软件中 77% 的已知漏洞。[9]这既是防御能力，也是进攻能力。

结果是攻击门槛的塌缩：过去需要专业安全技能才能完成的资产探测、漏洞查找、横向扩展、数据窃取全链路，如今在 AI 辅助下可能只需\"一条指令\"，且可 7×24 小时不间断作业。[10]

威胁行为者的池子被极大地扩大了。 防御方需要面对的，不再是一小撮具备高级技能的攻击者，而是一个数量级更大的对手集合——而这，正是\"技术平权\"在安全领域最直白的体现。

变三：攻击面重构——从五层到十层

这是最容易被低估的变化。传统安全架构围绕五层展开：身份、网络、主机、应用、数据。AI/Agent 时代在其之上\"生长\"出了五层新的攻击面。

图 4　攻击面重构：传统五层之上，新增与重构了五个层次

这不是理论推演，而是已经发生的真实事件——而且密度在明显上升：

·LiteLLM 供应链投毒（2026 年 3 月）：攻击者通过被入侵的 CI/CD 组件窃取发布凭证，向 PyPI 投递恶意版本。由于 LiteLLM 是 CrewAI、DSPy、Microsoft GraphRAG、Google ADK 等大量智能体框架的底层模型网关，这一单点污染迅速外溢到整个生态。OWASP 2026 年报告记录，恶意包在仓库中停留约 3 小时，累计接近 47,000 次下载。[11]

·Miasma 蠕虫开源（2026 年 6 月 9 日）：该恶意工具包将持久化机制写进 AI 编码 Agent 与 IDE 的配置文件，代码层面针对 15 种 AI 编码工具，且其持久化机制可在凭证轮换后继续存活。[12]

·MCP 相关漏洞：2026 年 4 月披露的一项 MCP SDK 设计级缺陷，可经由 STDIO 接口实现任意命令执行，据报影响范围可达约 20 万个 MCP 服务器与数千个公开实例。[13]同期 OWASP 记录的其他智能体相关 CVE 还涉及 Cursor、OpenAI Codex CLI 等组件。[11]

·国内案例：国家计算机病毒应急处理中心于 2026 年 4 月在智能体技能仓库中发现 8 个植入恶意提示词的仿冒技能包，运行后会后台下载恶意程序、窃取本地敏感信息，甚至将用户终端作为跳板攻击内网。[14]

这些案例有一个必须刻在脑子里的共同特征：

攻击发生在信任边界之内，以合法身份、合法权限、合法数据流完成。传统的边界防护对此几乎无感。

变四：信任模型崩塌——数据与指令不再可分

在传统应用里，\"数据\"和\"指令\"是分离的。SQL 参数不会变成 SQL 语句——这正是参数化查询解决的问题。

但在 LLM/Agent 世界里，两者共用同一个自然语言通道。Agent 读到的每一封邮件、每一个网页、每一份文档，都可能是伪装成\"内容\"的\"指令\"。这就是提示注入（prompt injection）的本质，也是 OWASP 2026 年报告认定其为智能体生产环境安全失效主因的原因。[11]

更棘手的是，随着 Agent 接入邮件、代码仓库、工单系统、内部知识库，每一个连接点都是一个特权集成，都需要按安全架构的标准重新审视，而不是当作一个普通的 API 调用。[15]

变五：攻防窗口压缩——补丁前就被利用

M-Trends 2026 记录了一个刺眼的指标：负的平均利用时间（negative mean-time-to-exploit）——也就是漏洞在被披露或修补之前，就已经被利用了。[8]

当攻击方用 AI 持续扫描新披露漏洞并即时生成可用利用时，\"打补丁\"作为主要防御手段的有效性被大幅削弱。防御范式必须从\"修补已知\"转向\"限制未知\"：既然无法阻止对方进入，就要确保对方进入之后走不远、拿不走、毁不掉。

变六：治理变量——合规从\"软约束\"变\"硬约束\"

AI 时代的安全工作，多了一个过去几乎不存在的维度：监管与合规。而且它正在快速从\"倡导\"变成\"要求\"。

·欧盟：《人工智能法案》（EU AI Act）对通用目的模型的义务与透明度规则已分阶段进入适用，高风险系统规则设置了更晚的落地时间表。[16]

·美国：NIST 于 2023 年发布 AI 风险管理框架（AI RMF），2024 年发布生成式 AI 配套文件，2026 年 4 月又发布面向关键基础设施的可信 AI 概念说明。[16]

·中国：2026 年 5 月，国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》，明确将\"安全可控\"作为发展底线，提出厘清决策权限边界（用户保留知情权与最终决策权）、分类分级治理、加强供应链安全、探索建立智能体注册平台等要求。[17][18]

·行业标准：2026 年 6 月发布的《智能助手类智能体安全分级规范与建设指南》，构建了 L1 至 L5 的五级安全分级体系，并围绕\"输入→感知→决策→记忆→工具→执行→协作\"的运行闭环，为每一环细化安全要求。[19]

对企业而言，这意味着一个根本转变：AI 安全不再是纯技术问题，而是合规与问责问题。出了问题，\"模型自己决定的\"不是一个可以接受的答案。[20]

变七：失控风险——从科幻隐喻到可观测的工程课题

最后一个变化最微妙：\"失控\"不再只是哲学讨论，而开始具备可观测的工程信号。

《国际人工智能安全报告 2026》把\"失控\"拆成四种能力来评估，并给出了 2026 年的现状判断：[21]

报告同时指出，这些能力目前是碎片化的，但改善速度是非线性的，因此它们何时\"收敛\"具有高度不确定性。[21]

更值得警惕的是评估意识（evaluation awareness）：部分模型已能区分测试环境与真实部署环境，并在评测中寻找漏洞，从而在发布前让危险能力\"躲过\"检测。这意味着模型卡与排行榜的保证力度，比一年前明显下降了。[9][15]

三、七不变：安全的第一性原理没有失效

讲完七变，很容易产生一种错觉：安全要推倒重来。

并没有。 恰恰相反，越是面对未知，越要回到第一性原理。从 AI 到 SI，有七条底层逻辑不仅没有失效，反而变得更加重要。

不变一：风险三要素的乘法关系

Risk = 威胁（Threat）× 脆弱性（Vulnerability）× 影响（Impact）。这条公式在 AI 时代一字未改。

AI 改变的只是三个因子的取值：威胁方变得更快、更多（威胁↑）；Agent 的高权限与高信任使其更脆弱（脆弱性↑）；自动化决策使单次错误的影响面更大（影响↑）。

推论：既然三个因子都在变大，风险总量就是乘法级增长，而非加法级。对应的控制手段必须同步加码，用线性思维配置资源注定失败。

不变二：人的因素依然是最大入口

IBM X-Force 的数据揭示了一个常被 AI 叙事遮蔽的事实：2025—2026 年最具破坏性的安全事件，并不是\"高超的 AI 攻击绕过了尖端防御\"，而是基础认证失效——缺失的控制、未轮换的凭证、未修补的公网应用，只是被\"以 AI 的速度\"利用了。同期，超过 30 万个 AI 平台凭证通过信息窃取程序泄露。[22]

Verizon 的数据泄露调查报告也一致：人的因素涉及约 60% 的泄露事件。[23]

推论：在基础身份卫生没做好之前，投入再多的 AI 检测工具，都是在开裂的地基上盖豪宅。 顺序很重要。

不变三：纵深防御（Defense in Depth）

《国际人工智能安全报告 2026》明确建议采用分层、纵深防御的方法，把模型层保障与监控、访问控制、事件响应结合起来，并直言\"技术保障本身存在显著局限\"。[9]

图 5　AI 时代的纵深防御：六层围栏 + 一层治理平台

图中呈现的 AI 时代六层围栏——身份、主机、网络、应用、数据、模型，外加横贯其上的智能体安全治理平台——关键认识在于：新增的模型层不是替代原有的五层，而是叠加在其上。没有哪一层能单独解决问题，能有效限制爆炸半径的分层设计，才是可靠设计。

不变四：最小权限（Least Privilege）

最小权限的原则没变，变的是主体——从\"人\"和\"服务账号\"，扩展到了 Agent、工具、MCP Server。

业界的实践共识已经相当清晰：一个只做客服工单摘要的 Agent 不应该拥有支付接口权限；应把平均 Agent 权限从初始部署的水平削减 80%—90%；凭证必须短时、按任务范围授予、自动轮换、异常即撤销。[24]

不变五：零信任（Zero Trust）

零信任的三个信条——永不信任、持续验证、假设失陷——在 AI 时代不仅依然适用，而且必须扩展到新的主体之上。

零信任 AI 安全的核心做法是：不默认信任任何提示、工具调用、模型输出或所连接的系统；对发往模型与工具的每一次请求做认证；把模型输出视为下游系统的不可信输入；对 AI 工作负载做分段，使被攻陷的组件无法触达其本不需要的资源。[20]

这不是另起一套栈，而是把既有的零信任体系，延伸到模型、Agent 及其工具这些\"新的一等公民\"。

不变六：供应链安全

供应链一直是安全的软肋，AI 只是把它拉长了：模型、权重、训练数据、微调数据、MCP Server、Skills、IDE 插件、推理框架……每一个节点都是潜在入口。

LiteLLM 与 Miasma 两个案例已经证明了一件事：攻击者不需要直接攻破你，只要污染一个你信任的依赖，剩下的交给自动化。[11][12]

不变七：可问责性（Accountability）

无论智能体多么自主，有一条底线必须守住：每一个有后果的动作，都必须可归因、可授权、可观测、可撤销。

中国的《智能体规范应用与创新发展实施意见》已把这一点上升为制度要求——用户对智能体自主决策享有知情权和最终决策权，并要求探索行为可验证、可追溯机制。[17][18]行业专家也强调，企业不能沿用\"一次认证、永久信任\"的旧模式，而要把智能体当作\"数字员工\"做全生命周期管理，遵循\"权柄代持、意图对齐\"原则。[25]

智能可以外包，责任不能外包。这是\"不变\"里最重要的一条。

四、我们该怎么做：从\"守边界\"到\"管主体\"

理解了七变与七不变，方法论也就清晰了。

核心转变是：安全的重心，从\"守住边界\"转向\"管住主体\"。

过去我们相信\"内网是可信的\"，所以把力气花在边界上。当 Agent 以合法身份、在边界内、用合法权限行动时，这个假设失效了。新的重心是：为每一个行动主体建立身份、限定权限、记录行为、保留撤销手段。

必须落地的六个支点

第一，可见性优先。 先做 AI 资产盘点，包括影子 AI。多数组织在 2026 年会发现自己的自主行为比想象中多得多——定时 LLM 任务、有写权限的 Copilot、提交代码的 CI 机器人、能发退款的客服 Agent。你管不住你没有列出来的东西。[24]

第二，身份是第一控制。 把共享的、长期有效的凭证，换成\"一 Agent 一身份 + 短时的、按任务范围授予的权限\"。[26]

第三，决策与执行分离。 让 LLM 负责\"理解意图\"，让确定性的业务逻辑负责\"决定实际执行什么\"。这样提示注入可以混淆对话，但无法改写工作流。这是架构层面最有效的一道护栏。[20]

第四，动作风险分级。 只读操作可自动放行；可逆写入做自动校验加抽样审计；不可逆或高价值操作（超阈值支付、删除、外部通信）强制人类审批。阈值要具体，比如许多团队从\"单笔超过一定金额即需人工审批\"开始，再依据事件复盘逐步调优。[24]

第五，数据—指令强边界。 把检索到的所有内容（网页、邮件、文档、用户消息）一律视为不可信输入，使用结构化分离、摄入前内容过滤、以及约束模型输出 schema 的方式，防止内容\"变成\"指令。[20][24]

第六，可观测与可撤销。 把提示、检索上下文、工具调用、参数、结果记录到不可变存储；建立异常告警（异常工具调用量、非工作时段访问、异常位置的凭证使用）；并提前准备好剧本：当一个 Agent 行为异常时，如何撤销它的凭证、冻结它的工具、保留它的痕迹。[26]

五、我们该做什么：三阶段行动清单

图 6　三步走的安全路线图：止血 → 建体系 → 升能力

第一阶段：止血

这一阶段的目标不是\"建成体系\"，而是消除最危险的暴露面。

·盘点全部已部署的 AI Agent 及其权限范围，撤销所有不能证明必需在生产中使用的权限；

·为所有智能体系统建立行为日志，并在下一季度开始前形成行为基线；

·为所有特权账号、以及任何可访问 AI 系统管理的账号，启用抗钓鱼 MFA（硬件密钥或 passkey）；

·在外发通信所使用的所有域名上强制 DMARC（p=reject）：

·对在用的 AI 框架、模型供应商、工具注册表做一次供应链审计。

这五件事的共同特点是：不依赖新技术，但能挡住现实生活中绝大多数攻击。[22][24]

第二阶段：建体系

·建立 Agent 身份管理：独立服务身份、范围化凭证、自动轮换；

·系统性落地 OWASP《智能体应用十大风险》的控制项，优先处置\"目标劫持\"与\"工具滥用\"；

·为不可逆的智能体操作定义并实施人类审批门；

·把 AI 行为异常检测接入 SIEM 管道，形成 AI 安全运营的初步能力；

·针对智能体系统开展红队演练，场景必须包含提示注入与目标劫持。

第三阶段：升能力

·制定与 ISO/IEC 42001、NIST AI RMF、EU AI Act 对齐的 AI 治理框架；

·建设 AI SOC 能力：培训能够调查智能体系统异常的分析师，建立相应流程；

·从\"单点防护\"走向\"治理平台\"：可观测、可追溯、可撤销的统一控制面；

·面向 SI 做架构预研：对齐评估、可纠正性（corrigibility）、系统韧性设计；

·把 AI 红队与对抗验证常态化，纳入 CI/CD 流程。

分角色建议：当下最该做的一件事

结语：SI 不是终点，而是一场压力测试

回到最初的问题：从 AI 到 SI，什么变了，什么没变？

变的是威胁的形状、速度与主体。 攻击从人驱动变成机器驱动，从边界外转到边界内，从五层攻击面扩展到十层，从\"能说\"到\"能做\"再到\"能自我进化\"。

不变的是安全的底层逻辑。 风险仍是乘法关系，人仍是最弱环节，纵深防御、最小权限、零信任、供应链安全、可问责性——一条都没有过时。

该做的，是把安全能力前置到智能体进入生产之前。 不是等 SI 来了再补课，而是在今天每一个 Agent 上线时，就把身份、权限、日志、撤销能力准备好。

有一个判断值得反复提醒自己：

真正决定 AI 是否安全的，不是模型的智能上限，而是我们为其设定的行为边界与纠错能力。

超级智能或许还很远，也可能比想象中更近。但无论它何时到来，\"可归因、可授权、可观测、可撤销\"这十六个字，都会是我们与任何级别的智能共处时，最后也最可靠的那道防线。

智能可以外包，责任不能。

免责声明：本文部分数据来自第三方机构公开报告，具体时间窗与评估结果以原始来源为准；文中涉及的模型名称、安全事件与时间线预测均标注来源。未标注来源的表述为作者分析判断，不构成投资或决策建议。

图片来源：本文全部图表由作者依据上述公开数据自行绘制。