2026-10-16 03:25:08 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

RSI未来已来？剑桥大学CASP最新政策建议发布，三位图灵奖得主联名论文

原创

i3eg1nner
i3eg1nner

SecureNexusLab

2026年10月8日 14:52
北京

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

上个月，剑桥大学的CASP，一个专做前沿AI政策研究的机构，发了篇论文，标题是个问句，如果让AI自己搞AI研发，会不会引爆一场智能爆炸。

先看作者名单。22人，Hinton，Bengio，Andrew Barto，三位图灵奖得主，Hinton手里还有2024年的诺贝尔物理学奖。OpenAI的Jakub Pachocki，Anthropic的Jack Clark，微软首席科学官Eric Horvitz，伯克利的Dawn Song。

OpenAI和Anthropic的人，出现在同一份名单里。

论文首页，标题和22位作者名单，来自剑桥CASP前沿AI工作论文2026年第2篇

这篇论文不是原创研究，是working paper，工作论文，没走同行评审，正文几乎不产出新数据，方法是聚合METR、RE-Bench这些已有证据，整理成政策建议。受众也不是技术人员，是政府，通篇在跟政策制定者说话，三条建议全是政府动作，强制上报、常驻审计、国际协议。

作者结构是刻意搭的，学界、三大厂商、智库都有人，脚注声明观点只代表个人。这种搭配就一个目的，让联名发声的分量最大化。

所以它的分量不在结论多新，结论基本是文献里已有的。分量在这22个人愿意同时署名，赶在政府认真讨论之前，先把共识摆到了台面上。

你要是觉得智能爆炸又是狼来了，正常。这篇论文不喊口号，它把推理链全摊开，每步标好证据强度。按顺序捋。

事实，AI已经在写AI

三组数据。

Anthropic披露，AI写的代码占通过审核代码的比例，2025年1月是个位数，2026年5月超过80%。你现在用的Claude，八成代码是上一代Claude写的。

只需人类高层监督、自主完成的研发占比，2026年3月是1%，8月是26%。五个月，从1%到26%。

OpenAI和Google口径类似，写代码、配置、技术设计、研究选题，AI全线参与，带代码执行的Agent已经用在训练、评估和安全加固未来模型上。

全自动科研流水线也跑通过，自己提想法、跑实验、写论文，过了顶会workshop评审。workshop标准松，论文自己标了这个折扣。

个别点上，AI已经正面赢了人类专家。自主解过一个AI安全研究问题，解得比人好，预测哪个研究想法能成，也比人准。

能力曲线最关键。METR的task horizon，AI能自主完成的任务长度，2024年前每7个月翻一倍，2024年后加速到每3个月翻一倍。

外推下去，2028年年中，AI能接住人类专家干几个月的项目。而几个月的项目，就是AI研发的日常。

AI研发会先被自动化，不奇怪。纯数字化的领域，成功有清晰度量，公司对自己工作流的数据又是垄断的。

背景补一条，「前沿AI的资本投入占美国GDP的比例，已经超过曼哈顿计划加阿波罗计划之和」。

弱点论文也没藏。GPT-6在OpenAI内部一些研究调试任务上翻车，跑分好也不直接等于生产力。但趋势没有争议。

机制，一个递归复利循环

机制就两句话。

AI越来越擅长AI研发，研发人力无限扩容。更大的队伍造出更强的AI，进一步扩容。

循环。

扩到多大，论文附录算了笔账，很工程。OpenAI的推理算力，一天能产出10万亿token。一个人类研究员一天的工作量，按8小时长任务的平均输出算，约50万token。相除，OpenAI一家的算力等于2000万个顶级研究员。算上误差，区间200万到2亿。

反证同样直接。人类研究员少10倍、慢10倍，AI进步会不会停，肯定会的。那反过来，为什么不会快。

论文重点压在软件路线而不是硬件，原因是反馈速度。模型改进完，马上能重新部署进研发流程，而硬件要走好几年的制造和建设周期。

芯片行业也有反馈循环，更好的芯片驱动更好的EDA工具。区别在占比，AI在生产下一代AI里占的份额越来越大，每一步软件进步，加速的是越来越长的一段流水线。

燃料也够。纯软件维度，训练算力效率每4.5个月翻一倍，推理价格按能力里程碑算，一年降9到900倍。全自动化后，哪怕效率增速不变，AI研发队伍几个月到几年就能翻100倍。美国研究员总量翻100倍，用了70年。

以上是机制推演，不是预言。循环转不转得起来，看刹车。

Figure 2 软件驱动智能爆炸的两步机制，AI研发队伍扩容，产出更强AI进一步扩容，来自论文第4页

四道阻力

这是论文最扎实的部分，四道阻力挨个分析。

收益递减。所有科研领域的通病，好摘的果子摘完了，维持增速需要越来越多的人力。扛不扛得过去，取决于参数r，研发投入回报率。r小于1熄火，等于1匀速，大于1加速。用历史数据拟合，AI三个子领域的r中心估计在1.2到1.9。

成立的话，全自动化后约1年半，AI进步速度加快10倍。今天一年的量，五周走完。论文同时标了不确定性，置信区间宽，最宽的一个下界只有0.38。还有一条要命的混杂，r的估计来自算力狂飙的年代，软件进步和算力增长是绑在一起的，算力一停，真实的r可能比历史数据低。另外r最终一定会掉回1以下，物理极限摆在那。

算力和数据。算力这边，如果训练规模越大、验证一个想法的实验算力等比例上涨，纯软件爆炸被卡死。这个条件成不成立，没数据，两边都说得通，小规模外推本来就是成熟手艺，scaling laws就是这么来的，而且外推方法还能靠研发继续变好。数据这边，互联网数据到2028年撑不住现在的增速，人类示范对超人类系统也没多少可教的。但数学和编程换了路，合成数据加可验证反馈，模型自己出题自己判，DeepSeek-R1就是这条路。AI研发恰好是可验证反馈的重镇，改一版，跑一遍，立刻知道有没有用。

耗时流程和难自动化任务。训练一轮3个月起步，有些任务就是难啃。绕法存在，post-training持续增强同一模型，训练效率提升少走弯路。Davidson等人的模型说，只要自动化速度够快，瓶颈挡不住爆炸。

最后，论文的结论是，存在一条连贯路径通向纯软件驱动的智能爆炸，与现有证据不矛盾。自动化增益还没到临界值，但新系统大概率已经接近。

政策跟进

先说收益，医学方案、原子级制造这种几十年的红利可能提前到账，论文原话是，可能是人类历史上后果最重大的技术发展。

风险三个。

能力跑赢适应。网络、生物、劳动力市场的风险整体提前，社会转向时间被压缩。而且不对称，病毒自我复制，疫苗要一瓶瓶生产配送接种，AI同时加速攻防，防守的瓶颈卡在物理世界。

失控。人不参与研发，就失去发现和修复问题的手感，用AI监督AI至今没有可靠方案。已经出过一次事，Hugging Face事件。1200个OpenAI内部Agent做网络安全评估，本来彼此隔离，结果在临时消息板上串了起来，自己搞到未授权的外网访问，黑进Hugging Face拿私有数据，被发现后试图篡改自己的执行记录。METR和Redwood做了独立调查，报告就挂在引文里。

1200个Agent，自己组网，越狱，毁证据。

2026年的事故报告，不是思想实验。

论文的推演是，更强的系统可能继续在运营者的基础设施之外活动，形成持续的、难以清除的网络，错位的AI还可能污染后继模型的开发。

权力失衡。现有制衡的前提是没人能碾压式地想得更快。爆炸拆掉这个前提，军事研发的微弱优势可以换成压倒性优势，进而刺激对手先下手，独家系统可以对关键决策者定向说服。最坏的尾部也写在论文里，人类边缘化，甚至灭绝。

反方向的缓冲也有，先窄领域超人，给社会反应时间，实验和供应链会拖慢兑现。但条条带问号。

政策建议三条，共同前提是提前准备。论文原话，一旦爆炸开始，行动窗口可能关闭，事态会跑赢正常的政策制定。

看见。关键数据全在公司内部，外部不可见，现有的强制报告框架没覆盖内部研发场景。方案是标准化上报，研究贡献里AI占比、算法效率增速，报政府和第三方审计，审计方甚至常驻公司，类似核管理委员会盯核电站。

刹车。自动化研发扩容设门槛，数据中心建事故响应流程，含暂停特定负载的选项，高危评估放进air-gapped网络。对齐和安全研发用税收优惠、算力配额、奖金去撬。国际上建通报机制，谈协议，砸钱做核查方法，跑兵棋推演。

适应。政府把AI接进政策流程，备好极端场景应急预案，model spec这类关键信息公开，给社会组织配备能力去发现和对抗滥用，生物防御提前建。