文章总结： OpenAICEO萨姆·奥特曼在联合国安全理事会上强调人工智能的安全风险，讨论人工智能的潜在利益与风险，并倡导国际间在人工智能安全领域的合作，提出人工智能应服务于人类、保持人类价值观的中心地位，并强调科技进步的民主化与可问责性。 综合评分： 80 文章分类： AI安全,政策法规,国际关系

---

OpenAI CEO 奥特曼：全球不能忽视的 6 大 AI 安全风险（附演讲双语全文）

数世咨询等 数世咨询等

内生安全联盟

2026年10月5日 11:00 江苏

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

近日，OpenAI 首席执行官萨姆·奥特曼（Sam Altman）在联合国安全理事会上发表了关于人工智能的讲话。他讨论了人工智能扩大机会的潜力、确保强大的人工智能系统处于人类控制之下的重要性，以及在人工智能安全领域开展国际合作的必要性。

以下为现场讲话全文：

#

Thank you, Mr. President and your Excellencies. I’m honored to be here and to be able to speak with you all at this important time.

感谢主席先生，各位阁下。很荣幸能够来到这里，在这个重要时刻与各位交流。

We have been talking about artificial intelligence for years, but it feels different in recent weeks and months. Rapid model progress has made the timeline feel more compressed, the upside more tangible, but also the stakes and the risks more immediate.

我们已经讨论人工智能多年，但最近几周和几个月的情况感觉有所不同。模型快速发展让时间表显得更加紧迫，让人工智能带来的积极潜力更加具体，同时也让相关风险和影响更加迫近。

We have a choice in front of us. AI can either be more like a new Renaissance of creativity and discovery, or more like a new Industrial Revolution of upheaval and disarray.

我们面临一个选择。人工智能可能成为一场新的创造力和发现的“文艺复兴”，也可能更像一场带来剧烈变化和混乱的新“工业革命”。

The Renaissance was a time when new tools, new ideas, and new institutions expanded what people believed they could do. AI can play that role for our time. I believe that people are much more capable than they imagine themselves to be, but have been held back by limited technology that was meant to empower but instead distracts and often steals attention.

文艺复兴时期，新工具、新思想和新制度拓展了人们对自身能力的认知。人工智能也可以在我们的时代发挥类似作用。我相信，人类拥有远超自身想象的能力，但过去受到有限技术的限制——这些技术本应赋能人类，却常常让人分心，甚至占据人们的注意力。

The best version of AI is not about making people cogs in a giant machine, or optimizing every part of life until the human parts disappear. It is about giving people more agency in an ever more complex world: more ability to learn, to create, discover, build, participate. There are many things that AI cannot—and should not—automate.

最好的人工智能版本，不是把人变成巨大机器中的齿轮，也不是优化生活的每一个环节，直到人的因素消失。它应该是在一个日益复杂的世界中赋予人们更多自主能力：让人们拥有更多学习、创造、发现、建设和参与的能力。有许多事情人工智能无法——也不应该——自动化。

AI should be built for people, not simply to turn the crank of the machines faster for their own sake. Some of the things people working to build AI have said are so dystopian that they sound like the plot of bad science fiction movies.

人工智能应该是为人服务的，而不是仅仅为了让机器自身运转得更快。一些参与人工智能建设的人所描述的未来过于反乌托邦，听起来甚至像糟糕科幻电影中的情节。

Anything this powerful is also intimidating. This moment is complicated as we feel both tremendous potential and very understandable anxiety at the same time.

任何如此强大的技术都会令人敬畏甚至产生担忧。当前这个时代很复杂，因为我们同时感受到巨大的潜力，也感受到完全可以理解的焦虑。

These models can help people discover new knowledge: new medicines, better health care, stronger education, and build more productive economies. They can be new tools for people to pursue dreams and ambition that today feel out of reach. The complexity of life has increased so dramatically for the average person. AI can be a defensive tool against this complexity as much as it can be this tool of unprecedented discovery and innovation.

这些模型可以帮助人类发现新知识：开发新药、改善医疗、加强教育，并建立更高效的经济体系。它们可以成为人们追求如今看似遥不可及的梦想和目标的新工具。对于普通人来说，生活的复杂程度已经大幅增加。人工智能既可以成为应对这种复杂性的防护工具，也可以成为推动前所未有发现和创新的工具。

On the other hand, as AI systems become more capable and more autonomous, they could move faster than our institutions, concentrate power in too few hands, or make decisions that people no longer understand or control.

另一方面，随着人工智能系统能力越来越强、自主程度越来越高，它们可能发展速度超过现有制度应对能力，使权力集中在少数人手中，或者作出人们无法理解或控制的决定。

That concern becomes especially important as we approach systems that can improve themselves and future versions of themselves, often called recursive self-improvement. As the process of building AI becomes more automated, the pace of AI progress could accelerate rapidly. This moment calls for extreme care.

当我们接近能够自我改进以及改进未来版本自身的系统时，这种担忧尤其重要，这通常被称为“递归式自我改进”。随着人工智能开发过程越来越自动化，人工智能进步速度可能会快速加快。当前时刻需要极度谨慎。

I largely agree with Professor Bengio. Although I’ll say two instead of three—I believe there are two ways that AI progress could go very badly that we have to avoid.

我基本同意本吉奥教授（Professor Bengio）的观点。不过我认为有两种，而不是三种情况，是人工智能发展可能严重失控的方向，需要避免。

First, we could lose control of the future to AI. The risk is that it moves so fast that people can no longer follow what’s happening or intervene when needed. This would obviously be terrible.

第一，我们可能会把未来的控制权交给人工智能。风险在于，人工智能发展速度太快，以至于人类无法跟上变化，也无法在必要时进行干预。这显然会造成严重后果。

The industry must not accept too much technological risk just because the benefits are too great and that they feel too important to slow down. Beating companies in a competitive pace is not a reason to make rash decisions. Nor do we believe we are locked in a race where we are unable to do that. We have unilaterally slowed down in the past. We will do so in the future. We do not want to build systems—we think it’s important that everyone avoids building systems—where we cannot make the alignment, monitorability, and safety guarantees that we must.

整个行业不能因为人工智能收益巨大、感觉太重要而拒绝放慢速度，从而接受过高的技术风险。在竞争中领先其他公司，并不是做出鲁莽决定的理由。我们也不认为自己陷入了一场无法放慢脚步的竞赛。过去我们曾主动放慢发展速度，未来也会这样做。我们不希望构建这样的系统——我们认为所有人都应该避免构建这样的系统——即无法确保其符合人类意图、可被监控，并达到必要安全标准的系统。

We need to understand what these systems are doing and have strong evidence that they will do what people intend, even as they get very, very smart. Actually especially as they get very very smart. It doesn’t matter whether people put the risk of catastrophe at 10%, or 1%, or 12%, or .1%. None of these levels are remotely acceptable.

我们需要理解这些系统正在做什么，并拥有充分证据证明，即使它们变得非常非常聪明，它们仍会按照人类意图行动。事实上，越是强大的系统，这一点越重要。无论人们认为灾难风险是10%、1%、12%还是0.1%，这些风险水平都完全不可接受。

And we should not train models that we cannot make an extremely strong case that we will be able to keep under human control.

我们不应该训练那些无法有充分理由证明能够保持在人类控制之下的模型。

So that’s one way things can go wrong. In the other direction, these systems could concentrate too much power in too few hands. No one person or company or country should be able to use the most powerful AI models to impose their worldview on everyone else.

这是一种可能出问题的方向。另一个方向是，这些系统可能让过多权力集中在太少的人手中。任何个人、公司或国家，都不应该利用最强大的人工智能模型将自己的世界观强加给其他所有人。

A company or country that believes only it can be trusted with this technology can use that belief to justify almost anything else. We have to reject that logic, even when it’s convenient for any one actor.

一个认为只有自己值得被信任掌握这项技术的公司或国家，可能会利用这种观念为几乎任何行为辩护。我们必须拒绝这种逻辑，即使这种逻辑对某些参与者很有利。

I believe there is a pragmatic path through both of these.

我相信，我们可以找到一条务实道路，同时应对这两方面的问题。

For us, that means three principles.

对我们而言，这意味着三项原则。

First, as AI becomes more capable, people must remain at the center of AI decision-making. Alignment is not an abstract research question. It is the work of ensuring that these systems reliably remain under human control, reflect human values, and help people guide the next stages of development. We are not trying to, and must not, automate human judgment, or human values.

第一，随着人工智能能力不断增强，人类必须始终处于人工智能决策的中心。“对齐”（alignment）并不是一个抽象的研究问题，而是确保这些系统能够可靠地保持在人类控制之下、体现人类价值观，并帮助人类指导下一阶段发展的工作。我们并不是要，也绝不能，将人类判断或人类价值观自动化。

Second, the benefits of scientific progress and economic growth must be by people and for people. AI should help researchers make discoveries, doctors treat patients, teachers teach students, entrepreneurs start companies, communities solve problems that felt out of reach, and much more.

第二，科学进步和经济增长带来的收益必须属于人类，并服务于人类。人工智能应该帮助科研人员取得发现，帮助医生治疗患者，帮助教师教育学生，帮助创业者创建企业，帮助社区解决过去看似无法解决的问题，以及更多其他领域。

The continuous story of human progress is not that tools replace human agency. It is that the right tools make people more capable, and I believe this is going to go much further than we believe possible.

人类进步的持续历程，并不是工具取代人的自主能力，而是合适的工具让人类变得更有能力。我相信，人工智能带来的这种提升将远远超过我们目前认为可能达到的程度。

Third, this technology must empower people individually. A great future will come from people realizing their potential and building value for themselves, their communities, their countries, and the broader world.

第三，这项技术必须赋予每个人力量。美好的未来将来自人们实现自身潜力，并为自己、所在社区、国家以及更广阔的世界创造价值。

We might be one of the builders of this technology, but we are not the heroes of this story. Our role is to enable people all over the world and to trust in the magic of humanity’s skill and faculties.

我们可能是这项技术的建设者之一，但我们并不是这个故事中的英雄。我们的角色是赋能全世界的人，并相信人类自身能力和智慧所具有的奇迹。

We now have models capable of discovering knowledge that we have never had before. Consider the progress we’ve seen in math.

如今，我们已经拥有能够发现前所未有知识的模型。以数学领域取得的进展为例。

Three summers ago, our models were okay at grade-school math. Two summers ago, they were pretty good at high-school math competitions. Last summer, we reached a gold-medal level in the most prestigious international math competition.

三个夏天以前，我们的模型只能较好地完成小学数学问题。两个夏天以前，它们已经能够较好地应对高中数学竞赛问题。去年夏天，我们达到了世界最顶尖国际数学竞赛金牌水平。

And just a few weeks ago this summer, one of our models solved one of the Millennium Prize Problems, the Navier-Stokes equations.

而就在今年夏天几周前，我们的一个模型解决了千禧年大奖难题之一——纳维–斯托克斯方程（Navier-Stokes equations）。

These equations are used for aircraft design, weather forecasting, and the study of blood flow.

这些方程被用于飞机设计、天气预测以及血液流动研究。

We are not solving math problems for their own sake, but to empower people to discover new knowledge and to use it to improve healthcare, raise standards of living, and expand everyone’s potential around the world.

我们解决数学问题并不是为了数学本身，而是为了帮助人类发现新的知识，并利用这些知识改善医疗、提高生活水平，并扩大世界各地每个人的发展潜力。

There remains so much to be discovered.

仍然有大量未知领域等待探索。

But it’s very important that companies not substitute for the democratic process.

但非常重要的一点是，企业不能取代民主程序。

If AI is to be democratic, the most important decisions cannot be made by labs in San Francisco alone. They must be shaped through democratic processes, and by governments accountable to the people that they serve.

如果人工智能要实现民主化，那么最重要的决定不能仅由旧金山的人工智能实验室作出。这些决定必须通过民主程序形成，并由对人民负责的政府参与塑造。

At the international level, this will require cooperation. In our history, there have been times where countries who compete and don’t always like each other very much still come together for shared interests and the collective good in the face of a powerful new technology.

在国际层面，这需要合作。在历史上，曾有一些时期，彼此竞争甚至关系并不友好的国家，仍然会因为共同利益和整体福祉，在面对强大新技术时走到一起。

We believe this must be one of those times.

我们认为，现在也必须成为这样的时刻。

We need a mechanism for complementary national and international frontier AI standards: standards for measuring capabilities, assessing risks, determining whether safeguards are sufficient, and preserving meaningful human oversight as systems become more autonomous.

我们需要建立一个国家和国际层面相互补充的前沿人工智能标准机制，包括衡量人工智能能力的标准、评估风险的标准、判断安全措施是否充分的标准，以及在系统越来越自主的情况下保持有效人类监督的标准。

We need common standards so countries can compare evidence, verify compliance, and have a shared language and understanding about what is happening.

我们需要共同标准，使各国能够比较证据、验证合规情况，并对正在发生的事情拥有共同语言和共同理解。

We need accurate and speedy incident reporting, classification and reporting protocols, so the world can learn from failures before they become catastrophes.

我们需要准确且快速的事件报告机制、事件分类机制和报告流程，使世界能够在问题演变为灾难之前，从失败中吸取教训。

And we need secure channels among governments, critical infrastructure operators, and technical experts to share emerging vulnerabilities and new threats.

我们还需要政府、关键基础设施运营者以及技术专家之间建立安全沟通渠道，用于共享新出现的漏洞和新的威胁。

Obviously, these standards should not lock in incumbents or favor one business model over another.

显然，这些标准不应固化现有企业的优势，也不应偏袒某一种商业模式。

They must support open and closed model developers, new entrants and established labs, national authority and international cooperation.

它们必须同时支持开放模型开发者和封闭模型开发者，支持新进入者和已有人工智能实验室，也要兼顾国家权力和国际合作。

Each government should decide how to incorporate standards into its own legal system.

每个政府都应该决定如何将这些标准纳入自己的法律体系。

But we will all be better off if we can agree on what good evidence, good safeguards, and good oversight look like on the global stage.

但如果我们能够在全球层面就什么是可靠证据、有效安全措施以及良好监督达成共识，那么所有人都会因此受益。

We do not have all the answers and we are very open to any better ideas. We are ready to work with you all and try our hardest to figure out the path forward.

我们并没有所有答案，也非常愿意接受任何更好的想法。我们愿意与各位合作，并尽最大努力寻找未来的发展道路。

We are at a crossroads.

我们正处于一个十字路口。

One path leads to a world where power is concentrated, decisions are opaque, and people feel that the most important technology of their lifetime is something being done to them.

一条道路通向这样的世界：权力高度集中，决策过程不透明，人们感觉自己一生中最重要的技术并不是为他们服务的工具，而是某种强加于他们的东西。

The other path leads to a world where AI works for people because people, through democratic institutions, help decide how it should develop and guide it; where scientific progress improves real lives; where more people can participate in the future; and where this technology continues to give individuals and communities greater power to live life as they choose.

另一条道路则通向这样的世界：人工智能为人类服务，因为人们通过民主制度参与决定人工智能应该如何发展，并引导它的发展方向；科学进步能够改善真实生活；更多人能够参与未来的发展；这项技术持续赋予个人和社区更大的力量，让人们按照自己的意愿生活。

This is a future of realized potential, excitement, and wonder.

这是一个能够释放人类潜力、充满期待与奇迹的未来。

And it is the future we believe is worth building.

这也是我们认为值得共同建设的未来。

Thank you very much.

非常感谢大家。

▍以下正文内容来源数世咨询，基于英文原文编译，可能存在语义偏差，请以原文为准。

人工智能系统正变得越来越强大、越来越自主，这也带来了新的问题：人类该如何监控、控制并保障这些系统的安全？

OpenAI 首席执行官 Sam Altman （萨姆·奥特曼）在联合国安全理事会发表讲话时称，AI 发展的速度非常快，如果系统能力提升的速度超过各类机构的应对能力，就可能带来重大的 AI 安全风险。

Altman 提到的风险包括人类控制能力下降、自主 AI、不断出现的新漏洞、技术能力过度集中，以及建立国际 AI 事件报告机制的必要性。他还呼吁政府、关键基础设施运营商与技术专家加强合作，共同应对正在出现的 AI 威胁。

1. 人类可能失去对高级 AI 的控制

Altman 最关注的问题之一，是随着 AI 系统能力不断增强，人类可能逐渐失去对它们的控制。

他警告称，AI 的发展速度可能快到人们无法再充分理解系统正在做什么，也无法在必要时及时进行干预。

他认为，开发者不应训练那些无法有力证明仍能保持在人类控制之下的 AI 系统。

随着 AI 开始处理越来越复杂的任务，并在更少人工干预的情况下作出决策，这一问题将变得更加重要。

2. AI 系统变得更加自主

AI 系统自主性的不断增强，也给网络安全带来了新的挑战。

Altman 提到，未来 AI 系统可能具备改进自身以及后续版本的能力，这一过程被称为递归式自我改进（Recursive Self-improvement）。

随着 AI 开发过程本身越来越自动化，技术进步的速度也可能进一步加快。

对于安全团队和政策制定者而言，系统自主性越高，持续监控、安全测试以及必要时的人工干预就可能越困难。

3. 新型漏洞和未知威胁不断出现

能力更强的 AI 系统还可能引入企业和政府目前尚未充分理解的新型漏洞与安全威胁。

Altman 呼吁，在政府、关键基础设施运营商以及技术专家之间建立安全的信息共享渠道，用于交流新出现的漏洞和威胁信息。

随着 AI 越来越深入地融入重要系统和关键基础设施，信息共享将成为应对 AI 漏洞和安全风险的重要基础。

4. AI 能力过度集中在少数主体手中

Altman 还警告称，先进 AI 能力可能过度集中在少数公司、个人或国家手中。

他认为，任何单一公司或国家都不应该利用最强大的 AI 系统，将自身的世界观强加给其他人。

从安全角度来看，如果少数主体掌握远超其他参与者的先进 AI 能力，就可能形成系统性风险。

5. 全球需要建立 AI 事件报告与威胁共享机制

Altman 呼吁建立准确、快速的 AI 安全事件报告机制，包括统一的事件分类和报告流程，使各国能够在局部问题演变为更大风险之前，从已有失败案例中吸取经验。

他还呼吁建立覆盖 AI 能力、风险评估、安全保障措施以及人工监督的通用标准。

Altman 表示，这些标准可以帮助各国比较相关证据，并形成对有效安全保障和监督机制的共同认识。

6. AI 发展速度可能超过现有安全措施

AI 自身的发展速度，也可能成为一种安全挑战。

Altman 警告称，AI 技术进步的速度可能超过现有机构的准备和应对能力。他认为，公司之间的竞争不应该成为接受过高技术风险的理由。

随着 AI 系统能力不断增强，对齐（Alignment）、持续监控以及安全保障也将变得更加重要。

对于 AI 安全而言，这意味着安全措施和监督机制必须与 AI 能力同步发展，而不是等问题发生之后再进行补救。

来源：数世咨询、英语咖啡屋

【征稿启事】2026 IEEE网络韧性与内生安全国际会议（IEEE CRESS 2026）相约南京，诚邀投稿！

报名启动，全球网安精英集结！第九届“强网”拟态防御国际精英挑战赛

第九届“强网”拟态防御国际精英挑战赛设计安全大赛报名启动！

征集令 | 第二批 “人工智能+制造” 场景应用水平评价（AIQ）企业开始申报！

欢迎报名！“联盟货架” 征集工作正式启动

聚力协同发展 | 中国质量认证中心有限公司南京分公司正式加入联盟，成为副理事长单位

2026-06-17

携手共建产业生态 | 紫光恒越正式升级联盟副理事长单位

2026-06-18

| 往期回顾

AI4E如何重构数字生态系统网络发展范式？

资料下载 | 十五五规划建议全文及说明

《科技日报》整版访谈邬江兴院士：将“安全基因”植入人工智能系统

里程碑时刻：智己LS9 Hyper搭载原创内生安全技术

邬江兴院士：构建内生安全质量检测体系，筑牢人类可控可信 AI 根基

人工智能内生安全让“千里马”跑得快又跑得稳——邬江兴院士解读AI安全应对新思路

重磅发布 | 行业首部《智能网联汽车内生安全白皮书》，智己LS9 Hyper全球首搭中国原创内生安全系统

---

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：内生安全联盟 数世咨询等 数世咨询等《OpenAI CEO 奥特曼：全球不能忽视的 6 大 AI 安全风险（附演讲双语全文）》