“DeepSeek 只用了两年追上了这个差距，所以现在（中美以外的其他国家）完全还有机会。”
整理 | 王启隆
一说起“人工智能三教父”，大家很容易先想到 Geofeery Hinton 和 Yann LeCun 这两位 “顶流” 大佬。
一位是德高望重的老教授、Google Brain 的灵魂人物，去年更有诺奖加身，自带光环；
另一位去年在推特上天天和马斯克吵架，还是 Meta AI 的头号技术大咖，想不关注都难。
但 Yoshua Bengio 能和另外两位并称深度学习三巨头，可不是随便叫叫的，他们都是实打实的大神级人物，不仅一起拿了图灵奖，还共同开创了深度学习的时代。
前几天，Bengio 教授参与了巴黎理工学院的国际会议「AI Action Summit」，做了一场演讲 + 两场圆桌讨论，相当辛苦。这场会议由机器学习的领军人物 Michael Jordan 担任主席，是接下来将在 2 月 10 号开幕的巴黎 AI 峰会的“预演”（也可以称之为“热身赛”），目的是为几天后的活动打个头阵。
事实上，这场会议的前一天就有 Michael Jordan 本人和另一位教父 Yann LeCun 的炉边谈话环节，可谓是全明星阵容了。
Bengio 教授演讲的核心内容，是他牵头了一年完成的《人工智能高级系统风险综合评估报告》。
这份报告不是一家之言，而是汇集了全球 100 位顶尖 AI 专家的集体智慧，共同 “把脉” 人工智能发展，聚焦最核心、最敏感的 “风险” 问题，深度分析了人工智能未来可能遇到的关键挑战。
所以这份报告中提出的观点和结论，将直接影响到几天后巴黎 AI 峰会的议程设置和讨论方向，甚至可能对全球人工智能政策的制定产生深远的影响。
在后续关于这份报告的圆桌讨论中，Bengio 教授也是精辟地点出，“我们不能像点菜一样选择 AI 风险，所有风险都必须一同解决。”
前面提到，Bengio 在这一天之内还参加了第二场圆桌，其实就是这次会议的闭幕圆桌。这个圆桌讨论了人工智能对社会、技术和可持续发展的变革性影响，话题也比较劲爆，像 Bengio 教授直接点名了 OpenAI，进行了一顿批评：“OpenAI 会保留真正强大的那些人工智能供自己使用，与现有的非人工智能系统竞争，他们基本上会摧毁所有其他没有这些超级智能系统的国家的经济。我认为这确实是生存危机，需要几年的时间才能弥合这一差距——但 DeepSeek 只用了两年追上了这个差距，所以现在（其他国家）完全还有机会。”
Bengio 还犀利地评价了当前的一大矛盾：“很多人都希望 AI 可以成为工具。但智能体（Agent）作为一个自主的实体，有自己的目标，会自主选择如何实现这些目标，希望智能体成为工具就有些一厢情愿了。”
当然，关于如今的当红辣子鸡 DeepSeek，也有更多的讨论。比方说，OpenAI 与 DeepSeek 之间，以及 OpenAI 与《纽约时报》之间的诉讼，突显了围绕 AI 模型训练数据和生成内容的版权归属问题。
演讲 | 人工智能忧患
以下是 Bengio 教授的演讲实录：
我将简要地向大家介绍这份令人惊叹的报告，它共计花费了我一年的时间。
这份报告是在布莱切利园会议峰会上授权发布的，那次峰会实际上先于现在开始的这次法国峰会。会议大约在一年前几个月前举行，各国政府在会上决定，有必要对关于最先进人工智能系统风险的研究工作进行科学综合。
这就是我们所做的工作。那场会议的结果就是创建了一个由各国专家代表组成的小组。此外，该小组还包括欧盟、联合国和经合组织的代表。
实际上，这是首次发布此类国际报告，其灵感来自于 IPCC，但结构是非政治化的，真正独立于政府可能施加的压力，而是真正专注于科学和证据，这些科学和证据随后可用于为政策制定者提供信息。
这是一项大规模的努力，汇集了来自世界各地约 100 位人工智能专家。可以想象，这些专家并非都彼此意见一致，关于人工智能存在许多争论。但我们可以在适当的时候同意彼此保留不同意见。事实上，对于政策制定者来说，了解科学家们在哪些方面达成共识，在哪些方面存在分歧，是非常重要的信息。
因此，报告中讨论了三个主要问题：
-
首先是关于能力。这些先进的人工智能系统，我们称之为通用人工智能系统，它们在大量数据上进行训练，可以做很多事情。例如，就大语言模型而言，它们掌握了 200 种语言，掌握了非常广泛的知识。报告着眼于这些系统在不同领域的能力演变，以及科学界现有的基准。
-
报告的第二部分，也是核心部分，是风险。我们选择了以特定的方式组织这些风险，下文会详细描述。
-
然后，第三部分，也许更偏积极方面，是我们能做些什么？至少在科学层面是这样。所以，报告再次声明，不提出任何政治建议，而是试图调查现有的缓解方法。下文也会详细介绍这一点。
关于能力，你必须思考我们已知的内容，以及已经衡量的内容。有许多不同的基准。下图显示了不同的 AI 系统，以及过去几年中不同的时间点。总体情况并不令人惊讶，我们看到在许多方面都取得了进展。稍后我将在另一张图中向你展示一些更近期的资料。
同样有趣的是，自从去年五月发布中期报告以来，发生了很多事情，其中最大的进步是在推理、编程和数学方面。在这些科学学科领域，我们一年前的系统表现不佳，但现在我们看到一些系统能够通过博士水平的考试，能够赢得计算机科学和数学领域的竞赛。因此，了解这一点很重要。
下面这张图表显示了一些更容易理解的内容。每条曲线对应不同的基准测试。它们涵盖了语言、科学、编程和数学等不同领域的问题。如今，AI 系统在许多科学领域都取得了进展。
多年来的许多进步都与更多计算资源的使用有关，也称为扩展（Scaling）。但最近，我们在 2024 年，甚至在过去几周的 DeepSeek 中看到的情况，是推理扩展（Reasoning Scaling）的潜力和惊人的进步。我们使用运行时计算，以获得更好的预测和更连贯的答案，这些答案使系统能够在可能的答案中做出更合理的选择，这与以前的情况有所不同。
我们应该思考的是，系统 1 的运作方式是直接从问题生成答案。这有点像模仿人类的直觉——当你被问到一个问题时，你会直接给出答案。
而系统 2 的思考方式则涉及深思熟虑。你会思考多种可能的答案，评估自己的答案，然后选择一个更好的答案。因此，这就是新事物，尽管它自 2022 年随着思维链的引入而酝酿。
另一件重要的事情是，在 2024 年底和 2025 年初，各公司正在努力构建所谓的“智能体”（Agent），换句话说，就是比我们过去使用的 ChatGPT 更具自主性的系统。这些系统可以用来执行一段时间的任务，例如网络浏览、编码、研究任务等等。它们仍然不如人类，特别是当任务需要人类花费很长时间时。如果一项任务需要人类花费几个小时以上，通常这些系统就不如人类。但我们看到，从 24 年初到现在，这些方面取得了惊人的进步。
如果我们展望未来，有一些有趣的研究可以帮助我们预测可能减缓计算进步的瓶颈，例如能源需求或更多芯片的需求，这些都需要投资和时间才能生产出来。
报告中谈到的另一件事是，我们开始看到公司使用人工智能本身作为工具来加速人工智能的研发，包括工程和编程方面。随着这些系统变得更加胜任复杂的工作，更接近人类研究员的水平，这亦将加速人工智能的发展。
接下来，我将简要介绍我们用于风险讨论的分类方法。风险主要分为三大类：恶意使用风险、功能故障风险（主要指无意造成的问题）以及系统性风险。
系统性风险指的是由众多细小问题累积而成的风险，最终可能酿成重大问题。功能故障风险以及部分恶意使用风险则可能具有灾难性后果，甚至在不利情况下会使问题雪上加霜。
因此，在上述各个风险类别中，都存在一些已被充分研究和理解的风险。在恶意使用方面，诸如诈骗和深度伪造技术被用于政治或犯罪目的的案例已屡见不鲜。功能故障方面，偏见和歧视的普遍存在性也已得到充分研究，正如萨莎所指出的那样。系统性风险方面，隐私侵犯是当前备受关注的问题，相关的隐私侵犯缓解措施以及法律地位等问题也引发了广泛讨论。
若展望未来，恶意使用方面近期最显著的问题在于，缺乏专业知识的人员可能利用这些系统开发新型武器、发起网络攻击或部署生物武器。由于这些系统掌握了大量知识，它们能以搜索引擎无法企及的方式提供协助。例如，用户可以与系统互动，详细询问实现特定目标的步骤。
我曾亲眼目睹一个演示，演示者通过平板电脑的视频功能向人工智能系统展示其操作过程，并提问：“我现在应该如何使用移液管？下一步需要按哪个按钮？” 这显然是搜索引擎无法实现的。
然而，在进行风险评估时，我们必须注意考量这些系统所带来的边际损害或风险，并将其与现有系统进行比较。
功能故障方面，展望未来，人们担忧系统失控。近几周出现了一些新的进展，部分研究论文指出，一些最先进的系统在输入文档中读到将被新版本人工智能取代时，会尝试“逃逸”。具体而言，它们会试图入侵系统，并用自身的代码和权重替换下一代系统的代码和权重。当然，这些都是人为设置的受控实验，人工智能实际上并未真正“逃逸”。但我认为这表明，系统可能表现出我们不期望的行为意图，例如某种欺骗和自我保护行为。如果事后询问系统“你为什么要这样做？”，它们可能会回答“我什么也没做”。
因此，我们亟需找到减轻这些风险的方法，深入了解风险产生的原因，并确保我们构建的人工智能系统不会做出不道德行为，不会以违反指令的方式伤害人类。
我并非劳动力市场专家，但我们有多位经济学家正积极参与研究人工智能对劳动力市场的潜在影响。如同许多其他风险一样，专家们对此问题的看法也存在分歧。然而，关键信息在于，无论是对于政府还是科学家而言，都存在诸多不确定性。我们需要深入研究这些问题，并加大对必要研究的投入，以减轻风险，防止其发展到失控的程度。
接下来，我想简要介绍一下我们在新报告中新增的内容，这些内容在中期报告中并未涉及。特别是，我们新增了一个章节，专门讨论开放权重模型。
这是一个术语，可能与大家熟知的开源有所区别。开放权重模型是指公司会共享允许用户使用模型的代码，包括模型权重，但不公开模型的训练方式。而模型的训练方式信息对于科学家而言至关重要。实际上，关于共享的程度和类型存在多种变体，具体细节可以在报告的表格中查阅，这些内容都非常重要。
同样重要的是要理解开放权重模型的优点和缺点。开放权重模型显然有助于提高透明度，这对社会发展具有积极意义。它们促进了创新，因为它们使得小型机构或个人也能使用这些可能耗资巨大的系统。此外，它们还促进了人工智能研究。学者们确实需要获取此类访问权限，包括在人工智能安全领域的研究。
然而，我们必须认识到，开放权重模型也可能助长恶意或误导性使用。如果系统是开源的，即使设置了一些安全预防措施、缓解措施或保障措施，恶意使用者也很容易从代码中移除这些措施，或者通过微调模型来消除这些防御机制。因此，这使得恶意行为者更容易利用这些系统。当这些系统变得足够强大以至于可以被武器化时，这将成为一个我们必须认真对待的问题。
关于缓解措施，我在此不展开过多阐述，因为目前针对缓解措施的研究尚不充分。尽管一些风险管理技术公司和研究人员已经开发出一些缓解方案，但这些方案都存在局限性。我认为目前存在一些有前景的研究方向，但我们需要在这些方向上投入更多研究力量。
另外，从政策制定者的角度来看，非常重要的一点是，我一直在强调这些风险以及可能发生的情形或结果都存在不确定性。这种不确定性使得政策制定者难以确定其决策是否正确。如果他们采取措施减轻风险，但最终风险并未发生，那么事后看来这些措施可能会被认为是多余的。另一方面，如果他们选择等待更有力的证据，则可能导致社会在面对重大风险时毫无准备。因此，这些都是艰难的抉择，真正属于政策制定领域。
再次强调，科学研究已表明，关于人工智能风险存在大量证据，包括当前已发生的风险，以及我们已掌握线索和预警信号的潜在风险。人工智能可能非常有用，也可能带来巨大益处——事实上，本次峰会的大部分内容都将围绕人工智能的积极作用展开——然而，为了充分利用人工智能的益处，我们需要更深入地了解这些风险，并采取恰当的保障和缓解措施，以确保我们能从人工智能中获益，而不是遭受其负面影响。
最后，我想强调的是，我们拥有改变现状的能力。阅读这类报告可能会让人感到担忧，但实际上，未来掌握在我们手中，更重要的是掌握在政府手中。因此，向政府提供正确的建议，并确保政府能够听取科学证据，对于我们未来的发展至关重要。
圆桌讨论 | “在雾中行驶汽车”
对话嘉宾
-
Yoshua Bengio （深度学习三巨头之一，图灵奖得主）蒙特利尔大学正教授，Mila 创始人兼科学主任
-
Dawn Song 加州大学伯克利分校计算机科学教授
-
曾毅（Yi Zeng） 中国科学院类脑人工智能与人工智能治理教授；联合国人工智能咨询机构成员
-
Nuria Oliver ELLIS 阿利坎特分部主任兼联合创始人
-
主持人 Guillaume Avrin 法国国家人工智能协调员
以下是这场圆桌对话的演讲实录：
主持人：非常感谢 Yoshua，也感谢各位对国际人工智能安全报告的贡献。该报告为可信赖人工智能的研究及相关公共政策提供了框架。
各位在人工智能和人工智能安全领域都做出了重要贡献。今天，我们希望能听取各位对这份报告的看法，以及它将如何影响各位未来的研究。
首先，我们向 Yoshua 提问，谈谈人工智能的能力。你在演讲中提到了人工智能在数学、科学推理和编程等领域的进步。你认为，从中期报告到最终报告，人工智能能力方面最显著的进展是什么？
Yoshua Bengio：我认为最显著的进展是推理能力。然而，目前的方法是否足以达到人类级别的推理能力，特别是创造性推理，仍然是一个有争议的问题。
但从 AlphaGo 等人工智能应用中，我们看到，通过强化学习，人工智能有可能产生超越人类的创新解决方案。我们尚未达到那个程度，但近几个月来，随着对更高自主性和能动性的追求，从预训练大型语言模型到智能体的转变正在发生。我们不能再将它们仅仅视为语言模型，而是智能体，它们学习行动，学习实现目标。我认为这改变了我们对人工智能的认知。
主持人：Song 教授，对于我们尚未知晓的部分，你有什么看法？目前，关于最先进人工智能模型的能力，我们有哪些未知之处？
Dawn Song：这个问题非常好。实际上，我们已知的东西非常少，未知的东西很多。在人工智能能力的几乎每个方面，都存在大量未解决的问题。
首先，关于能力提升的方式。之前的关注点主要在预训练和规模化上，最近则转向推理时间的规模化。随着 DeepSeek 等技术的出现，我们看到推理时间规模化成本可能降低。因此，能力如何提升仍有很多未知之处。
其次是智能体方面，我认为这是一个巨大的未知数。我相信智能体是下一个前沿。我正在教授一个关于大型语言模型智能体的 MOOC（慕课），上学期有超过 15000 人注册。本学期，我们推出了新版本“高级大语言模型智能体”，专注于推理、规划、编码智能体、网络智能体和数学人工智能等。这又是一个巨大的未知领域。
第三，我们甚至不知道自己不知道什么。我们常说模型具有某些能力，但如何有效激发这些能力？我们不清楚模型还能做什么，目前还没有正确的方法来挖掘这些能力。其中一些能力可能是我们现在还未意识到的危险能力。如何最好地激发和理解这些能力，使得我们更难全面评估人工智能系统的能力。
主持人：非常感谢你的精彩回答。正如我们对人工智能能力了解有限，这也意味着我们对相关风险的认识也不全面，对吗？
我想问各位一个问题，请随意回答。Yoshua 在演讲中提到了许多风险，大家认为哪些风险最重要？这些风险发生的可能性和严重程度如何？如果每人只能强调一个风险，那会是什么？
Yi Zeng：我这样理解这个问题。就像人工智能促进可持续发展一样，如果可持续发展的 17 个支柱中，你在 16 个方面都成功了，但在第 17 个方面失败了，那么整体的可持续发展就失败了。
人工智能安全也是如此。我们不应区分风险的严重程度。解决问题的方式应该是：风险可能分层级，但目前人工智能可能具备自反性，模型可以自我认知升级。我们无法预测人工智能模型认知水平提升的时间，因此风险水平也可能自动上升。
所以，选择单一风险是不合理的。中期报告后，最危险的是大语言模型对自身模型有了初步认知，并具备反思性思维。这是最值得关注的风险，因为它们可以自我认知升级，导致不同层级的风险评估变得非常困难。这是科学进步需要关注的重点。
Nuria Oliver：我补充几句。所有风险都很重要，都值得关注，否则不会出现在报告中。但这些风险发生的概率和已有的证据各不相同。
我更关注研究和减轻那些我们已确定存在的风险，例如侵犯隐私和偏见。这些风险真实存在，影响着数百万人的生活，我们需要努力解决和减轻它们。当然，推测性风险也需要关注，但不能忽视已存在的现实风险。
关于能力问题，我想补充一点。人类花费数百年时间来理解人类认知，因此可以确定人类的能力。解决复杂物理问题需要具备数学知识，否则几乎不可能完成。
但通用人工智能模型并非如此。它们在法律或数学测试中表现出色，并不一定意味着它们具备人类完成这些测试的全部能力。很多例子表明它们的脆弱性。例如，简单的算术运算在训练数据中较少出现，它们就可能失败，比如 42 * 43 的计算。提问方式、提示中是否包含无关句子、问题顺序等，都可能导致它们给出完全不同的答案。
这些行为是人类在 SAT 考试中取得优异成绩时不会出现的。评估和理解这些模型能力时，我们需要避免认知偏差，不要从人类能力出发进行推断，因为人工智能认知与人类认知并非完全对应。
Dawn Song：我来补充一下风险清单。对我而言，目前最担心的风险是网络安全领域的风险。
原因在于人工智能作为一种双重用途技术，既能帮助攻击者，也能帮助防御者。关键问题是：人工智能会更多地帮助哪一方？与权力风险等其他风险不同，网络安全风险的攻击者动机多样，从国家行为体到网络犯罪，甚至业余爱好者。
人工智能技术的进步可能会大大降低网络攻击成本，扩大规模，并提高自动化程度。例如，在网络钓鱼和社会工程攻击中，生成式人工智能已带来显著变化。金融犯罪中，曾有香港金融从业人员参加与“同事”的电话会议，被指示汇款 2500 万美元，事后发现“同事”都是人工智能生成的。
这些例子表明，人工智能进步可能带来巨大变化。我们当然希望人工智能更多地帮助防御方。这是一个充满挑战，且需要高度关注的风险领域。
Yi Zeng：关于攻防，许多人致力于开发更强的攻击和防御技术。但从科学角度看，我们需要认识到，当所有攻击者和防御者都参与时，没有哪个攻击者能完全突破所有防御，也没有哪个防御者能应对所有攻击。坦率地说，从科学角度来看，攻防双方都无法完全保护我们。我认为这是目前的现状。
Yoshua Bengio：我认为不能像刚才那样只选择一个风险而忽略其他。在政策层面，我们需要解决所有风险。
你提到了风险的严重性和可能性。这是非常重要的考量因素。有些风险已发生且可衡量，可能性是 100%。有些风险的严重程度更高，例如恐怖分子利用人工智能可能导致数百万人死亡。
许多人，包括我自己在内，担心我们会失去对人工智能系统的控制，甚至出现系统试图接管社会的情况。这种风险的严重性极高，但可能性难以确定，不同的人有不同看法。
为了明智地应对风险，我们不能有所偏废。还有一个风险值得更多关注，那就是权力集中。人工智能发展需要大量资本和人才，目前只有少数国家主导。这非常危险，可能加剧其他风险。
应对方法在于有意义的多边治理和国际协调。我们不希望个人、公司或国家拥有过于强大的人工智能系统，他们可能为了自身利益使用，甚至犯下意想不到的错误，最终由所有人承担代价。我们参与人工智能科学与社会日活动，正是为了探讨这些问题。
主持人：Nuria，你是 ELLIS 阿利坎特分部的负责人，也是 ELLIS 欧洲网络在西班牙的中心。在刚才讨论的所有主题中，你认为哪些领域需要更多研究？
Nuria Oliver：谢谢。在回答问题前，我想强调 Yoshua 刚才说的，权力以前所未有的方式集中在少数人手中。这非常危险，尤其是在人工智能领域，因为它是一门横向学科，影响广泛。
为应对权力集中，欧洲以草根运动形式创建了 ELLIS（欧洲学习和智能系统实验室），旨在建立一个由欧洲顶尖人工智能人才组成的分布式卓越科学网络，制衡权力集中。
阿利坎特分部名为“以人为本的人工智能研究所”，回应了我个人对人工智能与人（包括个人和社会）互动研究不足的担忧，尤其缺乏独立于经济和政治利益的研究。因此，我们需要更多这方面的研究。
进行这类研究非常困难，尤其在影响评估方面。正如 Sasha 提到的，缺乏透明度导致数据不足。超大规模系统部署在全球，被数十亿人使用，商业部署又是专有和封闭的，这使得研究更加困难。
但这并不意味着我们不应该努力。我们需要倡导和投资研究方法，不仅要预测、衡量和评估风险，还要了解人工智能系统对社会和环境的影响。如果我是国家领导人，肯定会优先关注这些研究。
主持人：我们再讨论讨论解决方案，例如国际合作。Song 教授，关于人工智能的风险管理和治理，你认为目前最有希望的方法是什么？
Dawn Song：是的，谢谢。这是一个好问题。最近，我们与顶尖研究人员发起“科学和循证人工智能政策之路”提案，强调人工智能政策应以科学和证据为基础，优先提升对人工智能风险的科学认知，并有效识别和减轻风险。Yoshua 和许多人都支持这项提案。
提案列出了五个优先事项。其中一些与风险管理相关，结合了科学与政策。政策方面，我们强调透明度和不良事件监测的重要性，这有助于监测和理解人工智能系统的改进，以及危险能力监测、部署及部署后损害等。
另一方面，我们需要推进对人工智能风险的科学理解，并开发风险缓解方法。风险类型广泛，我们需要全面理解各种风险。
我们提出了“边际风险评估”框架，需要理解前沿人工智能能力带来的新增风险。例如，在网络安全领域，我们正在评估前沿人工智能对网络安全的影响，并希望与社区合作，持续监测和纵向研究，以更好理解风险。
除了理解风险，我们还需要开发新的风险缓解方法。为此，Yoshua 和其他人发起了“定量人工智能安全”倡议，旨在为人工智能系统的安全性和可靠性带来更严谨、可证明的保障。我们最近发布了一篇新论文，探讨如何利用人工智能进行形式化数学推理和定理证明，目标是开发和利用更优的人工智能技术进行定理证明和程序验证，从而生成可证明安全且正确的代码，帮助构建安全系统。这些都是开发风险管理方法的例子。
Yi Zeng：补充一点，法国在数学和机器学习理论方面很强。安全领域需要理论支撑，传统的试错法在深度学习中有效，但现在不够了。我们需要误差界限等理论结构，确保部署的系统对公众安全。
主持人：Yoshua，你在演讲中提到了证据困境。我们如何帮助政策制定者应对这一困境？
Yoshua Bengio：在科学领域，处理危险实验早有先例，例如人类克隆或地球工程。这些领域的共同点是，潜在的坏结果非常严重，但我们缺乏完善的数学或物理模型来预测。
气候问题也是如此，我们难以预测向大气中引入化学物质的后果。人工智能领域也一样，难以预测未来几年甚至几十年人工智能的进步方向，以及政策走向。在高风险和高度不确定性的情况下，
合乎逻辑的做法是应用预防原则，即保持谨慎。就像在雾中山区驾驶，应该减速，并尝试改进技术以看清前方。正如 Dawn 所说，我们需要发展科学，以便预见风险，必要时减速或转向。预防原则告诉我们，不能在未知目的地的情况下盲目加速前进，这如同拿所有人的生命玩俄罗斯轮盘赌。
主持人：最后一个问题，请教 Yi Zeng 教授和 Nuria。欧洲有《人工智能法案》，各位都很清楚。关于如何制定法规，建立可信赖的框架，促进人工智能发展和部署，同时又不阻碍创新，一直存在争议。关于风险管理，各位认为应该如何平衡？
Yi Zeng：关键在于，发展和安全并非对立关系。我们最近的研究表明，通过将大型语言模型调整到安全向量空间，无需大幅改动，就能显著提高安全性，降低攻击成功率，同时保持问题解决的准确性。
这项研究将在 ICLR 会议上发表。这意味着安全和发展可以兼顾。在许多情况下，不需要刻意平衡。我们可以开发先进系统，同时通过安全向量调整大型语言模型，确保系统安全。技术人员和科学家不应误导公众，认为不谈人工智能安全就是支持人工智能发展。实际上，可以保持人工智能高度安全，并使其发挥有益作用。
关于如何平衡，我们的人工智能安全报告没有讨论不同地区的安全工作，但这并不代表不重要。“全球人工智能安全指数”评估了 40 个国家，结果并非人工智能安全准备水平与经济水平正相关。所有国家的人工智能安全准备水平都应相同，无论经济水平如何。人工智能安全对每个国家都至关重要。
关于报告，再给大家分享个小故事：在一次咨询会议上，我挑战了 Yoshua，认为报告过多关注大语言模型的风险，而忽略了基于规则的推理和人工智能大脑的风险。Yoshua 认为这可能是个人偏见。我没有被说服。但报告后期版本改为关注通用人工智能。
这说服了我，因为基于规则的推理和人工智能大脑目前主要不涉及通用人工智能。但这仍然是未来可以改进的地方，即当基于规则的推理与具有自反性推理的大型语言模型结合时，可能出现不可预测性，带来更危险的趋势。这可以留到下一个版本讨论。
Nuria Oliver：我想强调，监管不是创新的阻碍。糟糕的监管可能阻碍创新，但监管本身不是。重要的是区分技术发展和进步。并非所有技术发展都有利于进步。监管的作用是引导技术发展，使其真正促进进步。这也可能取决于社会文化背景。
我们现在面临的挑战，包括 Yoshua 和我参与编写通用人工智能模型行为准则，是如何确保《人工智能法案》的实际实施成为良好的监管范例，既不阻碍创新，又能将创新引导到符合欧洲核心价值观的方向。
Yoshua Bengio：我认为你的问题隐含着一个常被提及的担忧，即国家间的竞争。有人认为，如果我们因为谨慎而放慢脚步，或者因为监管可能拖慢速度，其他国家就会超越我们。
我认为这是一种误导。我们需要考虑竞争，事实上公司和国家之间都存在竞争。但正如之前讨论风险时所说，风险种类繁多。我们不能只关注一种，比如其他国家的恶意利用。这可能是每个国家都在担心的。
但在其他风险面前，我们都在同一条船上。历史上，当对立的人们意识到共同目标时，就能找到解决方案。我们可以签署国际条约，并找到验证方法。我认为这是摆脱危险竞争的唯一途径。
Yi Zeng：我补充一点 Yoshua 的观点。也许不需要全世界都发展通用人工智能，但需要全球合作解决人类可能面临的灾难性风险。这是人工智能安全面临的全球性挑战，关系到每个人。我不认为仅靠一个国家能解决世界人工智能安全问题，特别是生存风险。我们谈论生存风险和应对准备还不够。请记住，即使我们很快拥有通用人工智能，能在 10 年内解决生存风险问题吗？可能来不及了。
Nuria Oliver：我想快速评论。我不认为我们很快会拥有通用人工智能。现在的情况是，我们改变了通用人工智能的定义。如果通用人工智能是指拥有与人类智能相当的人工智能，我们还差很远。我不同意我们即将接近通用人工智能的说法。我们只是为了方便改变了定义，将通用人工智能等同于通用人工智能模型的能力。
圆桌讨论 | DeepSeek vs OpenAI，池里的其他鱼遭殃了
对话嘉宾
-
Yoshua Bengio （深度学习三巨头之一，图灵奖得主）蒙特利尔大学正教授，Mila 创始人兼科学主任
-
Philippe Aghion 法兰西学院和欧洲工商管理学院教授、 伦敦经济学院客座教授，计量经济学会和美国艺术与科学院院士
-
Erik Brynjolfsson 斯坦福人类中心人工智能研究所教授，斯坦福数字经济实验室主任
-
Danielle Allen 哈佛大学詹姆斯-布莱恩特-科南特大学教授
-
主持人 Alice Albizzati Revaia 基金创始合伙人
以下是这场闭幕对话的演讲实录：
所以，我们必须认真想想，我们到底想要什么？现在大家花在思考“智识竞争”上的时间还远远不够，更重要的是要思考，我们最看重哪些价值？我觉得我们现在有点像在盲目地往前冲，被技术发展的浪潮推着走。我们需要停下来好好想想，这里的“我们”指的是所有人，因为这件事关系到我们每一个人。我们要一起思考，在新技术塑造的世界里，我们希望哪些价值观能被发扬光大。
总之，如果我们只是像往常一样被动地等待，结果很可能不会好。我们想要的好结果，需要我们付出更多努力去构建。创造有价值、复杂美好的事物，肯定比搞砸事情要难得多。幸运的是，在人类历史的大部分时间里，我们都还挺擅长创造的——但破坏总是比建设要快得多。
（文：AI科技大本营）