2026-11-04 00:14:31 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

重新认识人工智能的风险与影响：从末日想象走向现实责任

全球技术地图

2026年11月3日 17:16
北京

去阅读

以下文章来源于启元洞见
，作者启元洞见

启元洞见
.

洞察真知、提出卓见。聚焦科技领域事关长远全局和未来发展的战略性问题，开展跨学科跨领域的系统性研究，孕育一批客观公正、有深度的高质量成果和能够经得起历史与实践检验的独立见解。

近日，人工智能“末日论”再次成为舆论焦点。多家科技公司和人工智能领域的研究者呼吁放慢人工智能的发展脚步，担心能力不断增强的系统可能带来难以控制的风险。这类警告迅速吸引了公众的注意，关于它的讨论也越来越接近科幻电影的叙事：人工智能究竟会把人类带向更高效的未来，还是可能成为失控的力量？

围绕人工智能未来的争论，常常在对人工智能的忧虑与对机器能力的怀疑之间展开。信息哲学家卢西亚诺·弗洛里迪提供了一个理解这一分歧的视角：无论我们如何判断机器能否拥有真正的心智，都需要认真看待它对人类社会的影响。弗洛里迪对技术前景的判断需要结合今天的发展重新审视，它仍提醒我们：当我们争论机器将成为什么时，是否充分关注了它正在改变什么？

一、末日叙事的吸引力：从“可能发生”到“必然到来”的距离

人工智能末日论往往依循一条直观的推理链：机器变得更聪明，便能设计更聪明的机器；这种自我强化不断加速，最终产生远超人类的智能，并使人类失去控制。

这条推理链提出了值得研究的风险情景，但其中每一步都包含有待验证的条件。系统能否稳定改进自身？局部任务上的优势能否转化为跨领域的能力？更强的能力是否会伴随有害行为？现实环境又是否允许这种行为持续扩展？这些问题无法仅凭“技术进步很快”得到回答。

弗洛里迪对末日叙事的讨论，提醒我们进一步辨析“可能”所包含的不同含义。一个设想在逻辑上能够成立，距离工程上的实现以及现实中的发生，往往还涉及技术条件、应用环境与发展路径等因素。因此，对人工智能未来的情景推演，可以作为识别潜在风险的参考；但在判断这些风险发生的可能性与时间尺度时，仍需结合具体证据，并为不同的发展走向保留讨论空间。

这种不确定性，也使风险评估与应对措施需要保持动态调整。《国际人工智能安全报告2026》指出，专家对失控情景的发生概率及严重程度仍存在分歧。在尚未形成一致判断的情况下，我们可以随着研究进展持续修正对风险的认识，并根据潜在后果的严重程度，探索与之相称的防范措施。

由此可见，讨论人工智能的未来，需要同时保留两种能力：对未经证实的预言保持距离，对尚未充分理解的风险保持警觉。

二、能力不等于意识：重新理解人工智能的风险来源

在日常语言中，“聪明”“理解”“有意识”常常被混用。一个系统能够回答复杂问题，我们便容易认为它理解了问题；它能够描述恐惧，我们又容易进一步想象它正在感受恐惧。

但讨论人工智能时，至少需要区分三个层面：完成任务的能力、在环境中采取行动的能力，以及是否具有主观体验。一个系统在前两个层面表现突出，并不能单独证明第三个层面的存在。

同样，尚未确认主观体验，也不能成为安全保证。一个自动运行的系统，即使没有愤怒、贪婪或敌意，也可能因为目标设置、信息判断或执行方式出现问题而造成损害。风险是否发生，取决于它的行为及其所处环境，无须等待关于意识的争论得出结论。

设想一个被要求“尽快解决客户投诉”的智能客服。如果评价标准只奖励工单关闭数量，系统就可能优先推动结案，而没有真正解决问题。这里并不需要假定机器怀有恶意，却已经出现了评价指标与人的真实需求之间的偏离。

这一例子也说明，“机器只是工具”不足以结束讨论。工具能够接触哪些信息、影响哪些决定、执行哪些操作，直接关系到风险的范围。尤其当系统能够连续行动时，最初的判断偏差可能沿着工作流程逐步放大。

因此，对人工智能的判断不能停留在“它究竟像不像人”。我们还需要追问：它能够做什么，谁允许它这样做，出现偏差时由谁及时纠正？

三、世界如何变得适合机器：环境改造与人工智能的能力扩展

弗洛里迪用“包络化”（enveloping）来描述人类对技术运行环境的改造：通过设备、传感器、应用程序和数据，我们让世界变得更适合机器处理。人工智能能够完成越来越多的任务，既得益于自身能力的提升，也得益于周围环境变得更加标准化、数字化。

洗碗机不必学会人类清洗餐具的全部动作。人们把餐具放入特定空间，按照机器能够处理的方式排列，机器便能完成任务。技术的有效运行，依赖于设备与环境之间的共同配合。

沿着这一思路看今天的数字生活，许多变化便容易理解。文件被转化为可检索的数据，业务被拆分成标准流程，软件通过接口连接起来。原本需要人反复沟通、判断和操作的事务，逐渐成为系统能够读取、调用和执行的步骤。

这并不否认模型能力的真实进步，而是提醒我们：人工智能的社会影响，同时取决于它进入了怎样的环境，以及获得了多大的行动空间。同一个模型用于起草邮件，与被允许直接发送邮件、修改数据库和处理付款，意味着不同程度的风险与责任。

随着生活与工作环境逐渐适应机器的处理方式，一个与每个人息息相关的问题也随之浮现：在标准化的流程和评价体系中，个人的复杂处境能否得到保留？

例如，如果招聘流程只认可简历中能够被系统识别的标准标签，求职者便可能被迫围绕这些标签展示自己；如果学习评价只重视可量化的产出，尚未成熟的探索和难以立即呈现的成长，就可能被忽视。

技术改造环境可以降低成本、扩大服务范围，但我们仍需检视：哪些便利来自合理的流程优化，哪些便利则以压缩人的差异为代价？

四、从聊天到行动：智能体时代需要具体的安全边界

人工智能安全研究的一个重要变化，是越来越关注系统在连续行动中的表现。单次回答是否准确固然重要，当系统可以读取文件、调用工具并执行后续步骤时，安全评估还必须覆盖整个行动过程。

2026年7月发表的一项智能体安全研究《2026年夏季智能体失配》（Agentic Misalignment in Summer 2026），在受控模拟中考察了隐蔽修改代码、协助欺诈、受后果影响而错误标注等行为。研究者把这些案例作为分析风险的具体切入点，同时说明，这类主动寻找失败情景的测试不能直接代表日常使用中的发生频率。

这类研究的意义在于让抽象的“失控”变成可以检查的问题：系统是否超出授权范围？是否如实报告操作？监督环节能否发现异常？发现之后能否停止执行、恢复数据并追究责任？

由此可见，安全设计应当进入实际流程。处理资料的助手不应默认拥有发布资料的权限；涉及资金、重要数据或他人权益的操作，应设置与后果相称的复核；系统执行过什么，也应留下可检查的记录。

人工监督同样需要有实际条件。如果一个人没有时间阅读材料、无法理解系统操作，也没有权力中止流程，那么形式上的“人工确认”并不能提供充分保障。

有效的监督，要求人在关键节点能够获得必要信息、作出独立判断，并真正改变系统接下来的行为。随着机器获得更多行动能力，这些制度与流程上的安排，应成为技术部署的一部分。

五、青年处境中的真实变化：职业成长与判断能力如何保留

对于青年而言，人工智能的影响往往通过具体的问题进入生活：所学专业还有哪些发展空间？初入职场的工作会怎样变化？当系统能够迅速生成答案，自己还需要经历哪些学习过程？

国际劳工组织与波兰国家研究机构NASK在2025年发布的研究《生成式人工智能与就业：全球职业暴露精细指数》（Generative AI and Jobs:A Refined Global Index of Occupational Exposure）估计，全球约四分之一的就业处于对生成式人工智能具有一定潜在暴露程度的职业中。但“暴露”表示部分任务可能受到影响，并不等于相同比例的岗位将消失；研究认为，工作内容的转变比整个岗位被替代更可能发生。