AI不会“造反”,但人会——103位AI研究者揭示的安全真相

admin 2026-11-13 11:15:58 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

AI不会“造反”,但人会——103位AI研究者揭示的安全真相

管窥蠡测
管窥蠡测

安在

2026年11月10日 18:23
上海

去阅读

近一年来,AI舆论场出现了一种奇特的“双簧”:头部AI企业一边高调宣布“超级智能即将到来”,一边不遗余力地渲染“AI毁灭人类”的末日风险,甚至主动呼吁行业自我监管。仿佛人类正站在一场智能革命的悬崖边,稍有不慎,机器就会掀翻棋盘。

耐人寻味的是,这些末日警告的“署名者”,往往正是最急于扩张算力规模、抬高估值的那批公司——危机叙事与商业利益之间,存在一条并不隐晦的利益线。

但真正在一线写论文、跑模型、做安全研究的人,并不这么看。

Cybernews在2026年10月1日至9日,对103位AI与机器学习研究者做了一次线上调研。受访者全部发表过AI或机器学习相关论文(含预印本),其中39.2%从事AI对齐与应用AI研究,27.5%聚焦机器学习方法与能力,26.5%深耕推理、规划与智能体AI;地域分布上,43.7%来自欧洲、26.2%来自亚洲、21.4%来自北美。这份样本的构成决定了它的分量——它来自学术共同体内部,而不是商业公司的公关部门。这些研究者不卖模型、不靠讲故事融资,他们的判断只与数据、实验和论文同行评议有关;当营销话术与一线判断出现分歧时,后者往往更接近事实。

调研的核心结论,与舆论场的“末日叙事”形成了巨大落差:接近七成(66.1%)的研究者认为,未来十年AI最大的危害来源,是人类滥用与结构性效应——权力集中、经济冲击、制度侵蚀;只有20.4%把“AI对齐或目标偏离”列为头号风险。换句话说:我们聊了这么久的“AI失控”,可能一直聊错了重点。

基线澄清:AGI与超级智能,远没有炒作的那么“近”

要判断AI风险的优先级,先得搞清楚一个基本问题:业界天天挂在嘴边的AGI,到底有多近?

调研给出的答案是“并不近”。按照“能在广泛智力任务上达到熟练人类水平”的定义,只有22.3%的研究者认为AGI已经存在;24.3%预计两年内到来,19.4%认为需要3到5年,仅3.9%断言它永远不可能。更值得注意的是,52.4%的受访者明确表示:实现AGI需要基础性的技术突破,而不是靠继续堆算力、堆参数、堆数据就能达成。所谓“大力出奇迹”的规模神话,在一线研究者眼中并没有那么牢靠。

超级智能(ASI)的预期更加冷静。仅5.9%的研究者认为,能全面超越人类顶尖专家的ASI已经出现;40.2%认为实现它“绝对需要”基础性突破,29.4%认为“很可能需要”全新的技术路径。时间上,20.6%预计需要6到10年,12.7%认为超过25年,还有6.9%的研究者直截了当地表示:超级智能根本不可能实现。

两组数据放在一起,能读出两层对网络安全行业尤为关键的信息。

观点一:“AGI已到来”是营销话术,而非技术事实。就在调研前后,英伟达CEO黄仁勋高调宣布“AGI已经到来”,理由是OpenAI基于其GPU训练的新模型表现惊人。然而,行业对AGI的最初预测曾指向2026年,这个期限却一推再推,连AGI的定义都越包装越模糊。对网络安全行业而言,这种话术的直接代价是注意力与资源错配:当舆论被“AGI安全元年”之类的概念牵着走,真正紧迫的当下AI攻击检测与防御投入,反而容易被晾在一边。更麻烦的是,定义漂移让“AGI安全”根本无从评估——一个连内涵都在随时改写的概念,无法被纳入任何可审计的安全标准,监管部门即便想立规,也找不到稳定的靶子。

观点二:“末日风险叙事”本质上是监管套利。Anthropic研究员Jacob Coxon公开辞职,直言实验室员工“真的相信AI会在本十年内毁灭人类”;但批评者一针见血:末日讨论正是为了让AI公司获得“自我监管”通行证而设计的烟雾弹。典型例证是Anthropic提出的法案建议——只有当AI构成“可预见的、紧迫的、导致50人以上死亡或10亿美元以上损失”的风险时,政府才应介入。用“末日大命题”给真实的安全追责设置高门槛,这与网络安全领域“谁运营、谁负责”的底线原则完全相悖:真正的安全责任,从来不因威胁“还不够大”而免除。如果“足够大的灾难”才值得被管,那么所有“还不够大”的滥用——每一次AI钓鱼、每一宗深度伪造诈骗——都将沦为监管的漏网之鱼,这正是网络安全行业最不愿看到的局面。

核心结论:AI安全的第一战场,是人类滥用带来的攻防失衡

37.9%的研究者将“人类滥用”列为未来十年AI最大的危害来源,占比第一。具体场景指向三类:网络攻击、生物武器、虚假信息——这几乎是一份给网络安全行业的“风险点名”。

  1. AI赋能网络攻击:门槛骤降的“攻防平权”危机。大模型正在把攻击能力“平民化”:过去需要多年逆向功底才能写出的恶意代码,如今一个脚本小子用AI对话就能生成;钓鱼邮件从“一眼假”升级为“量身定制”;漏洞挖掘、自动化渗透,甚至具备自我迭代能力的攻击蠕虫,都有了AI驱动的版本。过去只属于国家级黑客的高级持续性威胁(APT),现在普通犯罪团伙借助AI即可复刻。攻击的数量、复杂度与隐蔽性都在指数级上升,攻防天平进一步向攻击方倾斜——这是当下正在发生、无需等待任何“超级智能”的风险。对企业而言,这意味着“买一套防火墙就安全”的传统思路正在失效,安全建设必须切换到与AI对手对抗的新范式。更致命的是,AI把攻防的不对称性进一步放大:攻击者只需成功一次,防御者却必须每一次都成功;AI既能帮助攻击快速规模化,也能让载荷持续变异、绕过检测,传统基于已知特征的安全产品正在加速失效。

  2. AI深度伪造与认知战:数据安全之外的公信力崩塌。AI生成的深度伪造语音、视频与文本,正在成为社会工程学攻击的核心武器。冒充高管下达转账指令、冒充监管部门发布虚假通知、针对政企单位炮制舆情谣言——每一类攻击都在同时打击机构的经济利益与公信力。当“眼见为实”在技术上失效,信任体系本身就成了最脆弱的信息基础设施,这是非传统网络安全的核心战场。当一条伪造的高管语音就能让财务人员按下转账键,当一段AI合成的“现场视频”就能掀起舆论风暴,公信力的崩塌往往比数据泄露更难修复。应对方向同样明确:AI生成内容检测、数字水印与来源溯源,以及面向财务、人事等关键岗位的“人+流程”双重核验机制,缺一不可。

  3. 跨领域滥用:AI放大的非传统安全威胁。AI辅助合成生物学、漏洞武器化等场景,正在大幅降低生物威胁与网络武器的研发门槛。一旦这类能力被黑客组织、极端势力掌握,危害将从网络空间直接传导至物理世界,触及关键信息基础设施安全与公共安全底线——AI滥用从来不只是“网络问题”。这也意味着,依据《数据安全法》《关键信息基础设施安全保护条例》建立的数据安全评估与关基保护机制,必须把“AI放大风险”作为一个变量纳入考量,而不能沿用只盯传统漏洞与接口的思路。

被低估的深层风险:权力集中与结构失衡,正在侵蚀安全治理根基

28.2%的研究者将“结构性效应”列为最大风险,占比第二。相比“人类滥用”的显性攻击,这类风险更隐蔽,对安全治理根基的侵蚀也更深远。

  1. 算力与数据垄断,等于攻击能力垄断。头部AI企业掌握着全球最顶尖的模型与算力资源,本质上也是全球最强的“AI攻击能力”持有者。一旦模型权重泄露、内部人员滥用,其生成零日漏洞、发起规模化攻击的破坏力,将远超任何传统黑客组织。算力越集中,安全风险的单点爆破危害就越大——这是“权力集中”给网络安全带来的最直接映射。对下游企业而言,这还意味着安全基线被少数上游供应商决定:算力、模型与数据托管的集中,让供应链上的单点故障随时可能演变成全网级别的安全事件。

  2. 安全鸿沟持续扩大:中小企业与个人正在“裸奔”。南佛罗里达大学贝尔尼尼AI、网络安全与计算学院副教授John Licato在调研中指出,最大的风险在于AI收益分配不均:“我不确定只有一部分人负担得起的优势,会自动、公平地惠及其他人。”放到网络安全语境下,这句话更加直白:顶尖AI防御能力价格高昂,只有大型企业与发达国家负担得起;而AI赋能的攻击却越来越便宜。中小企业、普通用户买不起“盾”,却要直面铺天盖地的“矛”,“越弱越容易被攻击”的恶性循环正在形成。要打破这个循环,除了推动AI防御工具普及降价,更需要监管在安全基础设施的公共供给上兜底,而不是把“数字裸奔”的代价全部转嫁给弱者。

  3. 制度侵蚀:AI正在动摇网安治理的地基。AI自动化攻击正在让传统的溯源与追责机制失效——攻击由谁发起、代码由谁生成、责任如何界定?AI生成的海量虚假信息,正在冲击内容治理体系;当监管节奏跟不上技术迭代,现有的网络安全、数据安全制度框架将出现大量治理真空。AI生成内容标识制度尚未全面落地,自动化处置流程可以被对抗性输入绕过,跨平台、跨境的AI攻击责任又难以划分——这些缝隙,正是安全事件高发的地带。调研中,39.2%的研究者呼吁放缓前沿AI研发速度、15.7%支持暂时暂停,背后正是对“制度追不上技术”的普遍忧虑。

客观看待对齐风险:

不是不存在,而是不能本末倒置

将“AI对齐/目标偏离”列为最大风险的研究者仅占20.4%,但这不意味着研究者轻视它。恰恰相反,63.7%的受访者认为,未来五年内自我改进的AI对人类构成重大风险“很可能”或“有些可能”;26.2%认为具备递归自我改进能力的AI已经存在,21.4%预计两年内到来。与此同时,48.5%的研究者对AI的长期影响持乐观态度,认为“坏或极坏”的只有29.1%。

把这些数据拼在一起,最合理的解读是:对齐风险真实存在,但它的触发点与人类如何使用AI高度相关,与“AI自主觉醒、突然反叛”的末日剧本并不完全一致——11.8%的研究者甚至认为,本世纪AI自主行动导致全球10%人口死亡的概率是零。

对网络安全行业而言,这里的启示是一个“排序”问题:对齐是远期的、底层的技术风险,值得长期投入研究,但不应该占据当下AI安全叙事的全部C位。当前行业存在明显的资源错配——大量资金与话题涌向“远期对齐”,而针对当下AI滥用的检测、防御与治理投入严重不足。试想,如果检测、溯源、取证这些基础能力长期缺位,即便有朝一日真正的前沿风险降临,我们也未曾积累应对当下攻击的经验与体系,那才是真正的措手不及。先守住“人类用AI干坏事”的底线,才是应对未来一切AI风险的基础。反过来看,对齐研究也并非与滥用防御毫无交集——可解释性、行为监控、红队测试这些方法论,恰恰也是检测AI滥用所需的基础能力,两者不该被视为零和博弈。

行业启示:网安领域该如何应对真实的AI风险

给监管层面:锚定当下风险,拒绝叙事误导。建议把AI安全全面纳入现有网络安全、数据安全监管框架,优先落地可执行规则:AI生成内容强制标识、AI工具上线前安全评估、AI滥用追责机制。监管讨论应聚焦“当下就能发生的风险”,而不是被末日叙事带进虚无缥缈的远期议题——以“50人死亡、10亿美元损失”这类门槛为模板的监管设计,恰恰是行业最需要警惕的逆向示范。规则能否落地,最终取决于检测能力:没有AI滥用检测的技术储备与取证标准,任何监管条款都只能停留在纸面。

给网安产业:回归攻防本质,布局滥用防御赛道。网安厂商不应只蹭AGI热点,而要聚焦真实攻防场景:AI钓鱼邮件检测、深度伪造内容识别、AI生成恶意代码查杀、AI攻击行为分析……这些是用户当下就能遇到的真实问题,也是AI时代确定性最强的安全需求。在技术路线上,从基于大模型微调的安全检测器、深度伪造鉴别的多模态特征工程,到AI攻击行为基线分析,都是投入产出比最高的方向。谁先补齐这些能力,谁就握住了下一代攻防对抗的入场券。

给企业与从业者:建立务实的AI安全认知。企业不必为“超级智能毁灭人类”焦虑,但必须立刻补齐AI攻击防御体系——从员工AI钓鱼演练、深度伪造核验流程,到供应链AI风险排查,一件都不能少。网安从业者则应主动补上AI技术课,理解AI攻击的底层逻辑,才能在AI时代的新型攻防对抗中占据主动。

结尾:AI的风险,终究是人的风险

AI从来不是独立的风险主体,它只是放大人类能力的工具——善用,它能成为安全防御的倍增器;滥用,它就能制造空前的网络灾难。

网络安全的本质,永远是人与人的对抗。比起担心遥远的超级智能失控,我们更该警惕的,是当下网络空间里那些拿着AI武器、游走在规则边缘的攻击者,以及试图用叙事逃避安全责任的权力主体。

毕竟,103位研究者给出的答案已经足够清晰:AI不会“造反”,人会。

END

**

点击这里阅读原文**

AI不会“造反”,但人会——103位AI研究者揭示的安全真相 网络安全文章

AI不会“造反”,但人会——103位AI研究者揭示的安全真相

103位AI研究者指出,AI滥用和结构性效应是未来十年AI的最大危害来源,而非AI失控。他们警告,AI赋能网络攻击、深度伪造和认知战、跨领域滥用等问题将成为网络安全行业的重点风险。同时,结构性效应如算力与数据垄断、安全鸿沟扩大和制度侵蚀也正侵蚀安全治理根基。研究者呼吁行业关注当下风险,建立AI攻击防御体系,并建议监管层面将AI安全纳入现有框架,制定可执行规则。
评论:0   参与:  0