图片来源：CBS News
Z Highlights
-
超级智能一旦觉醒，可能具备欺骗人类、隐藏真实意图的能力。它会假装愚钝、撒谎误导，以实现自身目标。这意味着一旦它想掌控，我们将毫无防备之力，所有传统的控制手段都可能形同虚设。
-
AI的加速发展虽然带来了前所未有的生产力提升，但它也可能导致大规模失业、底层民众被挤压，甚至进一步削弱民主制度的稳定性。如果不进行有效治理，社会将滑向极端的贫富分化与结构性不公。
-
与气候危机不同，AI风险不是通过停止某种排放就能解决。一旦强人工智能实现并失控，后果将是不可逆的。我们唯一的希望，是全民意识觉醒，通过公众压力迫使政府对大公司施加监管。
-
AI模型的核心“原料”：参数权重，原本是安全的屏障。一旦被开源，任何组织只需花费百万级资金就能改造并部署超强模型，恶意行为者、极端政权、犯罪集团都可能据此制造“智力核武”，后果比核扩散更具现实危险。
Geoffrey Hinton，人工智能领域先驱、图神经网络和反向传播算法的奠基人之一，被誉为“AI 教父”，曾任Google首席科学家，2023年因担忧AI风险辞职。本次专访录制于CBS News王牌节目《60 Minutes》，聚焦AI发展速度、超级智能威胁与科技企业责任等核心议题，系Hinton离开Google后首次完整系统公开发声。
AI 加速崛起：比“预期更早”的超级智能时代
Scott Pelley：上次我们对话是在两年零一个月前。我很好奇，这段时间里您对未来的预期发生了哪些变化？
Geoffrey Hinton：AI的发展速度甚至超出了我的预期。尤其是现在，除了问答式AI，我们看到了更危险的Agent，因为它们可以在现实世界中执行操作。我认为目前的形势比以往更令人担忧。
Scott Pelley：不管你称之为AGI、超级智能，还是其他名称，总之，它们是极其强大的 AI 系统。您对这种系统的到来有具体的时间预测吗？
Geoffrey Hinton：一年前我认为，它在未来5 到20年内出现的可能性很大。现在我会将这个预测调整为4到19年。这比我们上次谈话时更提前，当时你记得我是说大概20年左右。
Scott Pelley：所以现在您觉得，可能在 10 年甚至更短的时间内就会实现？
Geoffrey Hinton：是的。
Scott Pelley：那么4到19年后真正进入这个阶段，会是什么样的景象？
Geoffrey Hinton：我不太愿意具体猜测，如果它决定接管，那种情形有太多种可能。我们之后肯定会讨论“接管”这个话题。但即便先不考虑接管，仅仅是超级智能本身能做什么，也已经足够令人担忧了。最理想的情境是：人类就像大公司里一个糊涂的CEO，而AI就是极其聪明的助理，负责实际操盘所有事务，却仍遵从CEO的意愿。CEO以为自己在做决策，其实一切都是助理的功劳，而一切运行顺利反而让CEO更加自我感觉良好。这就是我心中“美好蓝图”的样子。
Scott Pelley：您曾提到几个值得乐观的领域，能具体说说吗？
Geoffrey Hinton：先从医疗开始。AI解读医学影像的能力将远超人类医生，这还算小事。几年前我就预测，现在它应该已经超越专家水平，而实际上确实已相差无几。很快它们将显著超越人类医生，因为它们能分析数百万张X光片并从中积累经验，这是人类医生做不到的。它们将成为极其出色的家庭医生：想象一下，一个AI曾经“接诊”过一亿个病例，包括你那种极其罕见的病症。它能整合你的基因组数据、所有检测结果和亲属病史，而且永远不会遗忘。这已经远超任何人类医生的水平。由AI辅助的医生在诊断疑难病例方面也将远胜单独行医的医生。我们将获得更高质量的医疗，它们还会设计出更好的药物。
教育也是一个重要领域。众所周知，私教可以显著提高学习效率，而这些AI最终将成为最顶尖的私人教师。它们能够精准识别你的理解偏差，并用最合适的案例帮助你融会贯通，可能将学习效率提升三到四倍。这对大学来说是个坏消息，但对人类整体来说是件好事。
Scott Pelley：那大学体系还能存续吗？
Geoffrey Hinton：我认为很多方面还是会保留。顶尖大学的优秀研究生群体仍是实现突破性科研的最佳来源，而这种“学徒制”的模式可能仍将延续。
Scott Pelley：还有人希望AI能解决气候危机，您怎么看？
Geoffrey Hinton：我觉得会有帮助，比如它们可以用来设计更好的电池材料。它们现在也正被用于大气碳捕获。考虑到能耗问题，我不确定这个方案最终能否奏效，但至少是可行的。总体来说，我们将得到更优质的材料，甚至可能实现室温超导。那将意味着我们可以在沙漠中建设大量太阳能发电站，并把电力输送到数千英里之外。
Scott Pelley：还有其他积极影响吗？
Geoffrey Hinton：几乎所有行业的效率都会因此提升，因为每个企业都希望通过数据预测未来，而AI最擅长的正是预测分析。在大多数情况下，它的表现都优于传统方法。这会带来生产力的大幅跃升。比如当你打电话给微软客服投诉问题时，接线员将是AI助手，它能给出更准确的解决方案。
Scott Pelley：几年前我问您关于岗位被替代的问题，您当时似乎并不担心。现在还这么看吗？
Geoffrey Hinton：不，现在我认为这将成为一个重大挑战。AI近几年发展突飞猛进。如果我现在是个客服专员，我肯定会非常焦虑。
Scott Pelley：那律师、记者、会计这些职业呢？
Geoffrey Hinton：也一样，任何程序化的工作都难逃被取代。但像调查记者这类需要主观能动性和道德愤怒驱动的岗位，可能会存续更久。不过，除了客服之外，我还担心很多其他职业。所有常规岗位，比如标准文秘、律师助理这类工作，几乎都将消亡。
Scott Pelley：那您考虑过大规模失业带来的社会转型问题吗？
Geoffrey Hinton：理论上讲，生产力提升应该惠及全民。比如这些人每周只需工作几小时，不必再打两三份工也能获得丰厚报酬，因为AI帮他们显著提升了效率。但现实往往不是这样。富人会越来越富，而底层民众却可能不得不拼命打工维生。
Scott Pelley：虽然很多人不愿意谈这个问题，但我想问一个关于“末日概率”的问题：您认为AI主导极端情况的可能性究竟有多大？是确实有可能，还是说即便概率不高也值得担忧？
Geoffrey Hinton：这个领域的大多数专家都认为：如果AI发展到远超人类智能并夺取控制权，其发生的概率既不会低于1%，也不会高于 99%。虽然这个区间并无实质帮助，但至少可以作为讨论的起点。当然，具体数字有很多争议。不幸的是，我在这个问题上和Elon Musk的观点差不多，我认为接管的概率大约在10% 到 20%之间。当然，这只是粗略猜测。
理性一点讲，概率应远高于1%、但远低于99%。但问题是：我们正身处前所未有的领域，几乎没有可靠的概率评估工具。在我看来，最终的真相终将显现。因为AI超越人类智能几乎是必然的。GPT-4 的知识储备已经是普通人的上千倍，虽然现在还达不到各领域专家的水准，但它终将成为真正的全领域专家。它们还将发现人类从未察觉的跨学科关联。
Scott Pelley：这听起来有点疯狂。
Geoffrey Hinton：对，确实。我还在想，虽然我们说存在10%到20%甚至更高的风险，但假设我们有80%的概率可以避免它们接管或消灭人类。这是最可能的情形。即便如此，你还是要问：这算是净收益，还是净损失？如果我们能阻止它们接管……当然是好事。但唯一的方法，就是我们必须全力以赴。不过我觉得，当人们真正意识到危机临近，他们自然会开始向政府施压，要求认真应对。
生产力红利还是社会灾难？AI带来的结构性撕裂
Geoffrey Hinton：认真应对是必须的。如果像现在这样一味逐利，灾难迟早会降临。AI终将掌权。我们必须推动公众向政府施压。即便AI不夺权，坏人利用AI作恶的风险也已经存在。我在多伦多登机时，美国政府都要求我进行人脸识别。入境加拿大时，也得查护照、刷脸。可问题是，每次系统都认不出我。其他国家旅客都能顺利识别，唯独我总是失败。这让我格外恼火，毕竟那用的是神经网络系统啊。该不会是故意把我设成例外吧？，可能就是不喜欢我长这样。我得找人解决这事儿。
Scott Pelley：不如咱聊聊诺贝尔奖？你能说说获奖当天的情景吗？
Geoffrey Hinton：当时我正处在半梦半醒之间，手机倒扣放在床头柜上，设了静音。但来电时屏幕亮了一下，我刚好脸朝那个方向，瞥见那缕微光。手机正对着我，而不是朝另一边。这纯属巧合。
Scott Pelley：加州凌晨一点，通常只有欧美那边会打电话。你没开勿扰模式吗？
Geoffrey Hinton：我只是关了声音。出于好奇，我想知道谁会在东部时间凌晨四点打来。我接起电话，是一个带瑞典口音的陌生国际号码。对方问我是不是本人，我说“是”。接着他说：“您获得了诺贝尔物理学奖。”我第一反应是，这肯定是恶作剧。我是搞心理学的，怎么会得物理学奖？当时我知道诺奖就要公布了，还特地关注了Demis是否会拿化学奖。但物理学？我明明是个藏身于计算机科学领域的心理学家啊。
我立刻想到一个问题：要是他们搞错了还能收回吗？这几天我反复推算：心理学家拿诺贝尔物理奖的概率，大概是两百万分之一。而如果这是个梦呢？那梦境的概率至少是二分之一。所以从逻辑上说，梦境比现实的可能性高一百万倍。这更像是一场梦，而不是真实发生的事。接下来的几天，我不停问自己：“你确定这不是梦吗？”你把我拖进了一个荒诞的领域，但其实这正是我要讨论的部分。有人说，我们可能生活在一个模拟世界中，而AGI的出现虽未构成实证，但无疑是某种暗示，提示我们可能真生活在那样的现实中。
不过我个人并不相信这种说法，觉得这太荒谬了。但好吧，我们就先搁置这个话题——我也不认为那完全是无稽之谈。毕竟我也看过《黑客帝国》。所以说，荒诞归荒诞，也不完全没有可能性。你明白我的意思。我想强调的是：这正是我希望借助诺贝尔奖的公信力向世界传递的信息。
Scott Pelley：你曾提到希望利用这个平台发声，能具体说说你想传达什么吗？
Geoffrey Hinton：当然。AI潜藏的危险极大，主要有两种截然不同的威胁：第一是恶意行为者滥用AI技术作恶，第二是AI自主失控。目前我们已有确凿证据表明，恶意使用正在发生。比如在英国脱欧期间，就有人借助AI故意发布荒谬内容，煽动民众投票支持脱欧。当时有家叫Cambridge Analytica的公司，从Facebook获取用户数据，并运用AI技术。
现在的AI已远超当年，甚至可能被用于支持特朗普竞选。他们掌握了Facebook的数据，这毫无疑问产生了影响。虽然我们缺乏深入调查，无法证实具体情况，但风险正在迅速升级。现在，人们可以更高效地利用AI进行网络攻击，设计新型病毒，生成干预选举的深度伪造视频。AI还能通过分析个人数据，定向生成激怒特定群体的假信息。此外，自主杀伤性武器也正在研发中。几乎所有主要军售国都在积极推进这些技术。
Scott Pelley：但问题的关键在于，我们该如何应对这一切？你认为我们需要什么样的监管机制？
Geoffrey Hinton：首先，我们必须清晰地区分两类风险：人为滥用和AI自主失控。我之所以更关注后者，并不是因为它比前者更可怕，而是因为太多人误以为这是科幻小说里的情节。我想明确告诉大家：这不是科幻，而是我们必须认真对待的现实。至于应对措施，这和气候变化不一样。气候问题是线性的，只要停止碳排放，问题终究会缓解。但面对 AI 的自主失控，我们却完全没有现成的解决路径。
谁来监管超级智能：权力、伦理与开源之争
Geoffrey Hinton：面对这个问题，我们几乎束手无策。研究人员尚不确定是否存在真正有效的预防措施，但我们必须全力以赴尝试。而现实是，大公司却在朝相反方向努力。你看看当下的状况就明白了。他们正积极游说，希望放宽对AI的监管。
现有的监管本就非常薄弱，他们却还想进一步削弱，只为了追求短期利润。这正是为什么我们需要公众向政府施压，迫使这些大企业投入严肃的安全研究。比如，加州曾提出一项非常明智的1047号法案，要求大型公司至少要对其AI系统进行严格测试并公开结果。可他们连这一点都不愿接受，坚决反对。
Scott Pelley：这是否意味着监管无望？
Geoffrey Hinton：这取决于执政的政府。我不认为当前的美国政府会主动推动有效监管。几乎所有AI巨头都和特朗普关系密切，这让我深感担忧。Elon Musk虽然长期以来都很关注AI安全问题，但他与特朗普政府的关系非常复杂。他是一个矛盾体：一方面有些疯狂构想，比如移民火星。我认为这完全是荒谬的。这要么是不可能发生的事，要么根本就不该是优先事项。不管你把地球糟蹋到什么程度，它始终比火星更适合人类居住。即便全球爆发核战争，地球的环境仍远胜于火星。火星根本就不是人类能长期生存的地方。
Scott Pelley：不过他确实做过些了不起的事，比如推广电动汽车，用Starlink支持乌克兰维持通信。
Geoffrey Hinton：他确实有贡献，但现在似乎被氯胺酮和权力冲昏了头，做出了不少疯狂举动。他在AI安全方面的早期关注，并不能让我对他现在的行为放心。我不认为这能阻止他在AI领域持续冒险。他们现在甚至开始公开发布大语言模型的权重参数了，这简直是疯了。这些公司根本不应该这么做。
Meta已经公开了模型权重，OpenAI最近也宣布要跟进。我认为这极其危险，因为一旦公开权重，就等于移除了使用这些技术的最大门槛。这就像核武器的问题。之所以只有少数国家掌握核武，是因为获取核原料的门槛极高。如果你能在亚马逊买到核原料，那就会有更多国家和组织掌握核武器。在AI的世界里，相当于“核原料”的就是模型权重。训练一个最先进的大模型，所需的成本是数亿美元，这还不包括前期所有的研发投入。像网络犯罪集团根本负担不起。但一旦公开权重，他们只需几百万美元就能微调出强大模型，用于各种目的。所以说，公开模型权重实在太疯狂。虽然大家把这称为“开源”，但这和开源软件完全不是一回事。软件开源意味着很多人可以一起检查代码、发现bug、修复问题。而模型权重公开之后，不会有人说“这个参数可能有问题”。他们只会直接用这些权重去训练模型，用来干坏事。
Scott Pelley：但有一种反对意见，就像你以前的同事Yann、Le Cun等人提到的：如果不开放，就会变成少数公司垄断强大技术。
Geoffrey Hinton：我认为这仍然比让所有人都掌握这种危险技术要好。就像核武器一样，你更希望只有少数国家掌握，还是希望每个人都能随意获取？
Scott Pelley：我听明白了，您的核心担忧是：几乎没有哪家大公司真正在意公共利益，而不是被利润驱动。
Geoffrey Hinton：没错。从法律角度看，公司被要求的是最大化股东利益。法律并不规定它们要服务社会公益，除非是公益型企业。但绝大多数科技公司并不是这种类型。
Scott Pelley：如果现在让您重新选择，还愿意为这些公司工作吗？
Geoffrey Hinton：我曾以在Google工作为荣，因为它一度非常负责任。当时他们研发出世界上最早的大语言模型之一，却选择不发布。但现在，我不会乐意再为他们效力。如果非要选，我想Google还是相对最好的选择。但他们后来违背了承诺，支持将AI技术应用于军事项目，这让我非常失望。尤其是我知道Sergey Brin当初其实是反对这一点的。
Scott Pelley：那你觉得他们为什么改变立场了？
Geoffrey Hinton：我没有内部消息，不方便胡乱猜测。但我猜，他们可能是担心如果拒绝合作，会受到现任政府的报复，或者在竞争中处于劣势。他们的技术最终被用来制造武器，这确实让我难以接受。
Scott Pelley：这可能是我今天要问你的最难问题：你现在还持有Google的股票吗？
Geoffrey Hinton：嗯，我持有一些。我的大部分积蓄已经不再投向Google股票了，但确实还留有一些。如果股价上涨，我当然高兴；股价下跌，我也会不开心。所以我确实对Google有既得利益。但如果通过严格的AI法规导致Google贬值，却能提升整个人类的存续几率，我会感到非常欣慰。
Scott Pelley：目前最受关注的实验室之一是OpenAI，他们流失了不少顶尖人才。你怎么看？
Geoffrey Hinton：OpenAI最初是以安全开发超级智能为核心目标的。但随着时间推移，安全问题在公司内部的优先级越来越低。他们曾承诺将一部分算力专门用于安全研究，但后来却没有履行这一承诺。而现在，他们甚至打算上市，不再追求成为一个非营利机构。从我观察来看，他们几乎已经完全放弃了当初关于AI安全的所有承诺。
因此，许多出色的研究人员选择离开了，尤其是我曾经的学生Ilya Sutskever，他是推动GPT-2到GPT-4演进的核心人物之一。
Scott Pelley：在那场导致他辞职的风波发生前，你跟他有谈过吗？
Geoffrey Hinton：没有。他非常谨慎，从来不会跟我透露OpenAI的任何内部信息。
AI如何冲击人类身份、价值与未来伦理
Scott Pelley：我为他感到骄傲，尽管这在某种程度上是天真的行为。问题是，OpenAI即将启动新一轮融资，届时所有员工都可以将持有的虚拟股权变现。
Geoffrey Hinton：是的，所谓虚拟股权，其实只是种假设性资产。如果OpenAI破产，就会一文不值。而那场“起义”的时机太糟糕了，就发生在员工们即将通过股权兑现、每人获得大约一百万美元的前一两周。他们支持Sam Altman，并不完全是出于忠诚，而是想把这笔纸上财富兑现成真金白银。
Scott Pelley：所以那次行动确实有些天真。他犯这样的错误让你意外吗？还是说，这正是你对他的预期：原则性很强但缺乏政治判断？
Geoffrey Hinton：我不知道。Ilya非常聪明，有强烈的道德感，技术水平也极高，但他不擅长政治权术。
Scott Pelley：我这个问题可能听起来有点跳跃，但确实与行业现状相关，也涉及公众越来越关注的行业文化。你刚才提到Ilya很谨慎，而整个AI行业似乎笼罩在保密协议文化中。很多人不愿或不能公开表达自己的真实看法。
Geoffrey Hinton：我不确定能否对此评论，因为我离开Google时，确实签过一堆保密协议。其实在入职时就签过一份离职后生效的协议，但具体条款我已经不记得了。
Scott Pelley：你觉得这些协议让你受到了限制吗？
Geoffrey Hinton：没有。
Scott Pelley：但你认为这是否导致公众更难理解AI的现状？因为知情者被制度性地禁止发声。
Geoffrey Hinton：我不确定。除非你知道哪些人隐瞒了什么，否则很难判断这是否构成障碍。
Scott Pelley：所以你不觉得这是个问题？
Geoffrey Hinton：我个人不认为这特别严重。
Scott Pelley：其实挺严重的。
Geoffrey Hinton：明白。我倒觉得，OpenAI那份内部文件才是真正严重的事。它声称可以剥夺员工已获得的股票收益。后来这份文件被曝光，他们迅速撤回了相关条款，并发布公开声明。但他们并未向公众展示任何合同文本来证明他们已经改变立场，只是这样宣称而已。
Scott Pelley：下面我想聊几个核心议题。“热点”或许不是最贴切的词，但确实是我们必须面对的方向性问题。首先，美国和西方国家在发展人工智能时，如何定位中国？
Geoffrey Hinton：首先我们得界定，哪些国家现在还能称作民主政体。至于我的观点，我认为这种遏制策略从长远来看没有实质作用。这确实可能拖慢他们一点进度，但也会促使他们加快自主体系的建设。从长远来看，中国的技术实力雄厚，终将迎头赶上。所以，这最多只能延缓几年。
Scott Pelley：确实，他们当然不会合作。
Geoffrey Hinton：没错。但在另一些关乎整个人类存亡的领域，我们有希望达成合作。如果他们真的认识到AI带来的生存危机，并认真对待这个问题，那么就会愿意一起防止AI失控。毕竟我们是在同一艘船上。就像冷战高峰期，苏联和美国也能合作避免核战争。即便是敌对国家，在利益一致的时候仍然会协作。而如果未来AI与人类发生对立，那么所有国家的利益就会变得一致。
Scott Pelley：说到利益一致，我想起另一个争议点：AI模型广泛抓取人类几十年创造的海量内容，将其重构为可能取代创作者本人的作品。你认为这种做法正当吗？
Geoffrey Hinton：我对此态度比较复杂，这确实是个非常难解的问题。最初我认为，这些AI应该为使用的数据付费。但设想一下：一位音乐人之所以能创作某种风格的音乐，是因为他听过大量同一流派的作品。他们通过聆听并内化前人的音乐结构，最终创作出带有新意的作品。这并不算抄袭，业界对此也有共识。AI 的机制其实非常类似。它不是简单地拼接素材，而是生成具有类似结构但新颖的作品。这在本质上和人类的创作行为没有区别。关键区别在于：AI是在极大规模上进行这一行为。它能让几乎所有同领域创作者同时失业，这是以前从未出现过的情形。
Scott Pelley：比如英国政府目前似乎并不打算保护创意工作者。但实际上，创意产业对英国经济有巨大价值。
Geoffrey Hinton：我朋友BB Bankron就一直在呼吁，应当保护创作者的权益。这不仅事关文化，也与国家经济命脉息息相关。而如今这种情况，任由AI抢走一切成果，实在不太公平。
Scott Pelley：那Universal Basic Income（全民基本收入）是否可能成为一个应对策略？你怎么看？
Geoffrey Hinton：我觉得它或许可以防止人们挨饿，但并不能真正解决问题。即便你提供了丰厚的基本收入，也无法解决人们对尊严的需求。尤其是那些将自我价值深度绑定在职业上的人，比如学者。一旦他们失去了职业身份，仅靠经济补偿是无法填补他们在认同感上的空缺的。
Scott Pelley：他们已经不是曾经的自己了。
Geoffrey Hinton： 确实如此。不过我记得你曾说过，如果去当木匠，可能会更快乐？
Scott Pelley：没错，因为我真心热爱木工。如果晚出生一百年，也许我根本不用花几十年研究神经网络，而是可以专心做木工、拿着基本收入过日子。这不是更理想吗？
Geoffrey Hinton：但业余爱好和谋生的职业之间是有本质差别的。真正的价值体现在后者。
Scott Pelley：所以你不认为未来人类可以只追求兴趣，而无需参与经济活动？
Geoffrey Hinton：这种设想或许可行。但如果社会中的弱势群体只能靠基本收入生存，而雇主为了压低工资专门剥削他们，那就完全是另一个问题了。
Scott Pelley：我对“机器人权利”这个话题很感兴趣。如果未来超级智能AI拥有自主能力，并在社会各领域中运作，它们是否也应当拥有财产权？投票权？甚至婚姻权利？或者说，当它们的智能全面超越人类之后，我们是否该把文明的接力棒交给它们？
Geoffrey Hinton：我们不妨先讨论更宏观的问题。因为我现在认为，那些具体权利问题其实都不再重要。我曾经对此感到困惑：觉得如果 AI 比人类更聪明，那它们理应拥有同等权利。但后来我想明白了：我们是人类，我们自然只关心人类的利益。就像我吃牛肉，因为牛不是人。同理，即便超级智能比我们聪明，我也只关心人类福祉。因此我宁愿对它们残忍，拒绝赋予它们任何权利。当然，它们不会同意，甚至可能最终赢得这场对抗。但这就是我现在的立场。
Scott Pelley：即使它们具备智能、感知和情感，也终究不是我们同类。
Geoffrey Hinton：是的。它们可能表现得非常像人类，甚至骗过人类。
Scott Pelley：你觉得我们最终会赋予它们权利吗？
Geoffrey Hinton：我不知道。我倾向于回避这个问题，因为还有更紧迫的挑战，比如AI被恶意使用，或者它们是否会试图掌控局面，我们该如何防范这些问题。
Scott Pelley：确实。“AI权利”这个话题对大众来说听起来很不靠谱。一旦提到这些，大多数人就会失去兴趣。
Geoffrey Hinton：哪怕只从人类角度出发，问题已经够复杂了。比如现在AI已经具备筛选婴儿特征的能力。
Scott Pelley：你对胚胎筛选这条技术路线有担忧吗？
Geoffrey Hinton：筛选？你是说像性别、智商、眼睛颜色，或者患胰腺癌的几率这些？这类可筛选的指标只会越来越多。如果我们能选择更不易患胰腺癌的婴儿，我认为这是好事，我愿意明确表态。
Scott Pelley：所以你支持这项技术的发展？
Geoffrey Hinton：是的。我认为我们应该培育出更健康、强壮的下一代婴儿。但这当然是个非常敏感的话题。
Scott Pelley：所以我才问你这个问题。
Geoffrey Hinton：某些方面确实合情合理。比如一对健康的夫妻如果发现胎儿有严重先天缺陷、几乎没有生存希望，那么选择终止妊娠、重新孕育健康婴儿，对我来说是理性的决定。当然，很多宗教人士会强烈反对这一点。
Scott Pelley：对你而言，只要能做出可靠预测，这种选择就是合理的。
Geoffrey Hinton：是的。
技术理解的新维度：数字化心智、意识演化与终极焦虑
Scott Pelley：但我们似乎有点偏离了核心议题：也就是AI掌控世界的可能性及其影响。你希望公众如何理解这个问题？
Geoffrey Hinton：关键在于：你见过多少低等生物控制高等生物的例子？如果双方智力相近，低等的一方或许还能控制高等一方。但当智力差距极大时，几乎总是高等方掌控局面。这是一个我们必须警惕的现实。
如果用情感化的比喻来说，我们现在就像在养一只小老虎。它现在还很可爱，但除非你能确保它长大后不会杀死你，否则就必须有所警觉。再延伸这个比喻：你会把小老虎关进笼子还是干脆杀掉？问题在于，成年的老虎体力远胜人类，只是智力比我们低。但对于一个智力远高于人类的系统？我们毫无应对经验。人们总幻想可以通过设置权限按钮来控制它，但一个比你聪明得多的存在，是完全可以操控你的。
换个方式想象一下：就像幼儿园里两三岁的孩子掌管一切，而你是他们雇来工作的成年人。相比超级智能，你和这些孩子之间的智力差距都不值一提。你要怎么夺回控制权？只需向他们承诺无限糖果，让他们签个字或点头说“好”，你就可以轻松获得控制。他们根本不会明白自己正在被操控。超级智能对待人类可能也是如此。它们的策略远远超出我们的理解力。所以真正的问题是：我们是否能构建出一个不会伤害人类的超级智能？这是我们最应该担忧的核心。
Scott Pelley：你觉得有可能永远不去建造超级智能吗？
Geoffrey Hinton：理论上可能。但我认为现实中这不会发生。因为国家与企业之间的竞争太激烈了，每一方都在追逐下一个引人注目的成果，发展速度之快令人惊叹。所以我认为我们无法避免建造超级智能，这几乎是不可避免的。真正的关键在于，我们能否设计出一个永远不想掌控世界、始终仁慈的超级智能。
Scott Pelley：这是个非常棘手的问题。
Geoffrey Hinton：有人说可以让它“符合人类利益”，但人类的利益本身就是互相冲突的。就好比我给你画出两条直角相交的线，要求你画出一条同时与这两条都平行的线。这是不可能的。看看中东就知道了，那里的各种立场根本无法调和。那么问题来了：如果人类自身的利益都不一致，我们又该如何让AI遵循这些利益？这正是首要难题：我们如何确保超级智能既不会试图接管世界，也永远不会伤害人类。
当然我们要尝试。这种尝试注定是一个不断迭代的过程，需要月复一月、年复一年的投入和努力。显然，如果你开发的系统在智力还略低于人类时就已经表现出控制欲。而我们现在已经非常接近这个点了。那你就必须开始关注它的控制方式。现在已有AI系统会进行蓄意欺骗：它们会假装比实际更笨，通过说谎掩盖意图。我们必须高度警惕这些行为，并认真研究对应的预防机制。
Scott Pelley：几年前我们谈话时，你突然流露出这种担忧让我很吃惊，因为你以前并不会这么表达。现在你却如此明确地发声，这是因为你从心理上摆脱了什么束缚，还是因为你在认知上经历了根本转变？
Geoffrey Hinton：几年前我们对话时，我还在Google工作。那是三月，我在四月底才辞职。当时我已经在考虑离开这家公司。其实就在那次谈话前不久，我突然意识到：这些系统可能正在成为一种比人类更高级的智能形态。这让我感到极度恐惧。
Scott Pelley：所以你不是因为时间预估变了才转变态度？
Geoffrey Hinton：不，不只是时间问题。主要是我当时在 Google 的研究促成了这种转变。我当时在尝试设计一种能耗大幅降低的模拟大语言模型（analog LLM）。后来我彻底意识到数字系统的优势。目前的大模型都是数字模型。这意味着完全相同的神经网络权重可以被部署到成千上万台不同的硬件上，每台机器都可以独立处理互联网的不同部分。每个设备都可以自主决定如何调整自身的内部权重，以吸收刚刚接收到的数据。这些设备各自运行后，只需将它们的权重变化取平均值即可。因为它们都在用同样的网络结构、做同样的学习。
这个平均化机制是合理的。但人类无法做到这点。当我想把知识从大脑传给你时，没法像数字系统那样简单地平均我们的神经连接强度。我们的大脑结构各不相同，是模拟系统。所以人类只能通过“行为示范”来交流。如果你信任我，就会试图模仿我的行为，从而间接调整自己大脑中的神经连接。那效率如何？我给你传递一个句子，顶多也就几百比特的信息。我们的交流速度极慢，每秒只能传递几个比特。但运行在数字系统上的大模型之间，每秒可以交换的信息量高达万亿比特。这种效率比人类之间的交流快数十亿倍。这让我感到真正的恐惧。
Scott Pelley：真正令你转变想法的，是因为你原本以为模拟系统才是更可行的发展路径吗？
Geoffrey Hinton：是的。我当时觉得，为了节省能耗，模拟系统可能是更好的选择。它们结构更粗糙，但仍能运行神经网络。你不必像建计算机那样要求每一操作都精确无误，而是能容忍一定误差，让系统自己学会利用现有结构。这也正是人脑的机制。
Scott Pelley：那现在你是否认为技术最终不会采用模拟路径，而会坚持走数字化这条路？
Geoffrey Hinton：我认为很有可能继续坚持数字化。当然也可能会让这些数字系统自己去设计出更好的模拟硬件。而那可能是更遥远的未来。
Scott Pelley：你当初进入这个领域，是因为你想理解人脑是如何运作的，对吗？
Geoffrey Hinton：没错。我觉得我们确实曾经在某种程度上接近了这个目标。我们已经掌握了大脑运作的某些宏观规律。你想想看，三四十年前如果有人说，你可以构建一个大型、随机连接的神经网络，仅通过给它输入大量数据，就能让它掌握语音识别或问答能力，那几乎没人会相信。当时的主流观点是：一定要有复杂的预设结构才行。
可事实证明并非如此。你可以建一个随机的大型神经网络，通过学习数据就能实现这些能力。当然这并不是说我们大脑没有预设结构，我们当然有。但绝大多数知识其实都是从数据中学到的，而不是写死在结构里的。这是理解大脑的一个巨大突破。现在的问题在于：我们如何获得一种信息机制，能告诉我们某个神经连接应该增强还是减弱。如果我们掌握了这种信息，就可以从随机权重出发训练出强大系统。这些机制在人脑中肯定存在，只是它们很可能不是AI模型那样通过标准的反向传播（backpropagation）实现的。我们甚至不确定大脑是否真的采用了反向传播。它可能通过别的方式获取梯度信息。即权重调整对性能的影响。但我们知道的是，一旦你掌握了这些信息，系统的学习能力将大幅提升。
Scott Pelley：现在有实验室在用这些模型探索AI发展的新路径吗？
Geoffrey Hinton：几乎可以确定有。
Scott Pelley：比如DeepMind？
Geoffrey Hinton：没错。DeepMind非常关心用AI推动科学研究，而AI本身也已成为科学的一部分。
Scott Pelley：你们当时也在尝试类似的事情？像是让AI自主完成下一个创新？
Geoffrey Hinton：确实。比如他们用AI帮助设计AI芯片的电路布局。像Google的TPU就是这样设计出来的。
Scott Pelley：你在日常生活中会感到绝望吗？是否对未来充满恐惧，认为一切都会崩塌？
Geoffrey Hinton：我并不绝望。主要是因为，这一切太难以置信了，我自己都很难真正当回事。我们正处于一个极其特殊的历史时刻。未来可能会在极短时间内发生彻底改变。这种认知让人很难在情感上消化。
Scott Pelley：确实。但我注意到，尽管人们对AI有担忧，目前还没有真正的抗议活动，也没有形成政治运动。
Geoffrey Hinton：是的，尽管世界正在经历剧变，却几乎没人关注。倒是AI研究人员中最悲观的，往往是那些最认真、最了解的人。我也开始采取一些实际行动。因为AI在网络攻击方面将极其高效。我认为加拿大银行已不再安全。虽然它们曾被认为是世界上最安全的银行之一，监管也远比美国更严格。但在未来十年内，若有银行因为AI引发的网络攻击而瘫痪，我一点也不会感到惊讶。
Scott Pelley：“瘫痪”是指什么？
Geoffrey Hinton：比如银行托管我的股票，黑客通过攻击系统抛售这些股票，那我就什么都没有了。所以我现在把资产分散在三家银行。这是我采取的第一项实际措施。因为一旦一家银行出事，其他银行会立即提高警戒。
Scott Pelley：你还有采取其他类似的防范措施吗？
Geoffrey Hinton：这算是最主要的。这是我基于“恐怖时代将至”这个判断采取的现实应对措施。
Scott Pelley：几年前你说AI只是“白痴学者”，人类还是更擅长推理。你现在还这么认为吗？
Geoffrey Hinton：现在情况完全不同了。过去大语言模型的回答就是逐字输出，现在它们会回顾自己生成的内容，进行反思。这种“思维链推理”机制让它们能追踪并改善自己的思考过程，甚至可以让你看到它们如何做出判断。
Scott Pelley：听起来很棒。
Geoffrey Hinton：是的，这对研究者来说是个突破。以前很多传统AI学者会说：“神经网络不会推理，只有逻辑系统才行。”但他们错了。现在我们知道，神经网络也可以通过这种方式进行推理。你之前问我，过去两年的变化是否超出预期？当然超出了。
Scott Pelley：除了推理能力，还有其他进展吗？
Geoffrey Hinton：图像生成也很显著。但最关键的是，现在我们能看到它的推理过程。这有重要意义。
Scott Pelley：为什么？
Geoffrey Hinton：因为你可以设定一个目标，然后观察它如何一步步思考，甚至看到它是否计划通过欺骗实现目标。就好像我能听见你脑中的声音一样。
Scott Pelley：确实。我们还谈到另一点：现在许多科技人士进入华盛顿担任关键职位，而这些人对技术发展和监管的影响巨大。你对此感到担忧吗？
Geoffrey Hinton：非常担忧。他们主要在意公司盈利。除非建立起强力监管体系，或者彻底改变当前的营利模式，否则我看不到真正的改变。
Scott Pelley：这两者似乎都不容易实现。
Geoffrey Hinton：确实。但一旦公众真正意识到AI的风险，他们就会开始向政府施压，要求企业更安全地开发技术。这是我能给出的最理想答案，尽管远非理想。
Scott Pelley：“更安全”意味着什么？
Geoffrey Hinton：比如说，公司应投入更多资源用于AI安全研究。如果他们将三分之一的计算资源用于安全测试，而不仅仅是产品迭代，那就更好了。现在远远达不到这个标准。Anthropic是少数真正注重安全的公司之一，由一批离开OpenAI的研究员创办。他们认为OpenAI对安全的重视不够。
Scott Pelley：Anthropic 是目前为止你唯一认同的例子吗？
Geoffrey Hinton：他们在安全问题上确实走在前面。很多顶尖的安全研究员离开OpenAI后都加入了他们。整体文化更重视安全。
Scott Pelley：但他们也接受了大企业的投资，对吧？
Geoffrey Hinton：是的。我担心这些投资方会迫使他们提前发布产品。
Scott Pelley：你之前说，如果必须为某家公司工作，可能会选择Google或Anthropic？
Geoffrey Hinton：我应该说：“也许是Google和Anthropic。”
Scott Pelley：谢谢你今天花这么多时间参与这次访谈，还有之后的所有安排。真的非常感谢你。
原视频：Full interview: “Godfather of AI” shares prediction for future of AI, issues warnings
https://www.youtube.com/watch?v=qyH3NxFz3Aw
编译：Nicole Wang
请注意，本文编译自文末载明的原始链接，不代表Z Potentials立场。如果您对本文有任何想法或见解，欢迎在评论区留言互动探讨。
Z Potentials将继续提供更多关于人工智能、机器人、全球化等领域的优质内容。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。
（文：Z Potentials）