在人工智能的世界，有一群人正深耕于推动通用人工智能（AGI）从科幻走向现实。CSDN、《新程序员》特别策划“ AGI 技术 50 人 ”访谈栏目，挖掘 AI 背后的思考，激荡 AGI 的智慧，走近那些在 AI 领域不断探索、勇于创新的思想领袖和技术先锋们的心路历程。
年初 DeepSeek 爆火，引起 X、谷歌、OpenAI、Anthropic 的顶级模型大战，随后又有 Manus 通用 Agent 问世、全世界的程序员拜入 Cursor 门下……在 2025 的 AI 炮火中，有一个名字总在提醒我们，需要时不时地从日常的喧嚣中抬起头，去思考一些更长远、也更根本的问题。
Nick Bostrom，一位出生于瑞典，后来在牛津大学开启其重要学术生涯的哲学家。他生于 1973 年，早年似乎并不安于传统学校教育的束缚，甚至有资料显示他高中最后一年是在家完成学业的。但这反而让他得以广泛涉猎人类学、艺术、文学乃至科学等多个领域，在伦敦求学期间还曾尝试过单口喜剧。
2005年，Nick Bostrom 在牛津大学创办了人类未来研究所（Future of Humanity Institute, FHI），目标是系统性地研究那些可能对人类命运产生根本性影响的宏大力量——“存在性风险”（existential risks）。
用一个更广为人知的词，就是“存在主义危机”，再通俗点，“怀疑人生”。
这份对“怀疑人生”的深沉忧思，在 2014 年凝聚成了他的代表作——《超级智能》（Superintelligence）。书中提出的“智能爆炸”假说，即 AI 一旦具备自我迭代优化的能力，其智能水平便可能在短时间内以指数级态势急剧膨胀，将人类远远甩在身后，这引发了一系列问题，使得《超级智能》的警钟长鸣于世。
从此，Nick Bostrom 的名字几乎与“AI 风险吹哨人”画上等号，引发全球对技术失控、人机对齐、人工智能安全的普遍关切，比如我们先前整理的《伯克利对齐大师罗素：AGI 会让地球上所有人达到西方中产阶级的生活水平，全球 GDP 将增长约 10 倍》《AI 教父最新警告：AI 导致人类灭绝风险高达 20%，留给人类的时间不多了！》这些文章。
酝酿近十年之后，Nick 终于带来了新作《未来之地》（Deep Utopia）。这本书的笔调，相较于《超级智能》的冷峻分析，发生了显著的变化。在讲座与漫谈中，共同畅想一个所有物质匮乏、疾病痛苦乃至死亡威胁都被先进技术彻底消弭的“已解决的世界”（solved world）。
在这个看似完美的乌托邦里，AI 预知我们，满足我们，甚至超越我们对自身的理解。当所有挑战消失，人类的意义、价值与目标，是否也将一同消散，徒留一个华丽的空壳？这古老的迷思，自哲学萌芽便已开始。
这本书同样引起了圈内的盛赞，比如前段时间吵的沸沸扬扬的埃隆·马斯克与 AI 教父杨立昆两位大神，虽然杨立昆已经被马斯克气到“永久退出推特（X）”，但他们对这本书的评价倒是出奇的一致——好看！
从《超级智能》对“如何活下去”的冷静追问，到《未来之地》对“为何而活”的深邃沉思，博斯特罗姆为我们勾勒出人工智能时代人类命运图谱的一体两面。正是在这波澜壮阔的思想背景下，本期 AGI 技术 50 人与尼克·博斯特罗姆的这场深度对话，希望能为你揭示这位远见卓识的思想家，在 AI 技术一日千里的今天，对未来之路的最新思考与洞见。
为何远眺
《新程序员》：当前，像 ChatGPT 和 DeepSeek 这样的人工智能模型不断普及和更新，但世界上仍有无数问题悬而未决。人工智能的能力距离许多人设想的 AGI 还差得很远。
那么，在这样的时代背景下，我们为什么还需要保持长远眼光？为什么要去关注《未来之地》（Deep Utopia）中那个一切问题都已解决的世界呢？我们难道不应该首先关注那些尚未解决的现实问题吗？就像你在另一本著作《超级智能》（Super Intelligence）中提到的各类风险。
Nick Bostrom：我想大多数人应该，并且也确实在这样做。你想想看，地球上生活着超过 80 亿人，他们中的大多数人都在忙着解决眼前的问题。但我认为，至少在某些时候，总得有人抬起头，向远处看看，试着弄清楚我们究竟在走向何方。
如果我们在人工智能、科技以及更广泛的经济领域所做的事情能够成功，我们就能解决越来越多实际问题。思考一下，如果我们把这个趋势推演到极致，会发生什么？这个问题很有意思，想象一个所有实际问题都已解决的境地。这在当下可能显得非常哲学化，甚至遥不可及。但我认为，如果人工智能发展得非常迅速，它也有可能成为现实。我觉得，今天在世的许多人，或许在有生之年就可能真正面对《未来之地》一书中所探讨的那些问题。
《新程序员》：《未来之地》这本书，把焦点从《超级智能》中详述的人工智能存在风险，转移到了一个假定这些风险已被成功驾驭的未来。
那么，促使你在主题上发生这种转变的主要学术动因，或者说个人动机是什么呢？是你觉得关于人工智能的讨论需要超越风险层面了？还是这只是你个人哲学探究过程中的一个自然延伸？
Nick Bostrom：在这方面，我的看法其实并没有真正改变。我一直认为，先进人工智能既带来了巨大的风险，也蕴含着巨大的机遇。
正如你所说，我早期的著作《超级智能》非常侧重于理解风险是什么，并发展出一些概念工具，以便我们能够思考这些风险，并最终希望能避免它们。
《超级智能》自 2014 年首次出版以来，世界发生了巨大变化。那时，人工智能安全和对齐问题完全被忽视和忽略。人们认为这不过是科幻小说里的情节，所以我才觉得有必要写一本书来阐述。但在过去的这 11 年间，情况发生了翻天覆地的变化。顶尖的人工智能实验室里的人们开始思考这个问题，其他许多组织也参与进来。你有时会听到政府高层官员谈论人工智能，包括其风险。可以说，人们的态度发生了巨大转变。
所以，既然已经有更多人意识到了风险，我不想再老调重弹，而是觉得有另一方面我还没有谈到，那就是：如果一切进展顺利会怎样？这就是我写这本书的原因。特别是，我对当时开始出现的关于人工智能对劳动力市场影响的讨论感到有些失望，我觉得那些讨论往往非常肤浅。它们似乎只停留在问题的最表层。其实有更深层次的问题，人们还没有触及。我觉得我有必要为此发声。
《新程序员》：人工智能领域的一些具体进展——比如大语言模型的飞速发展，或者公众讨论以及学术界对人工智能讨论的转变——是否影响了你在此时此刻选择探索一个“已解决的世界”？
Nick Bostrom：在这些年里，我一直参与其中。那段时间的大部分时候，我都在牛津大学领导一个跨学科研究中心，但重点关注人工智能以及未来科技的更广泛影响。当然，我一直与各个人工智能实验室的负责人和其他人士保持对话。所以，逐渐形成了一个社群，大家都在努力理解如果人工智能成功了，究竟会发生什么。最初，这更多的是一种理论探讨：总有一天，人工智能可能会不断进步，并最终取得长足发展。
在过去几年里，这似乎成了一个更加迫近的前景。我们已经看到了通用人工智能的某些雏形。我的意思是，能与你进行真实对话、能帮你编写计算机代码、写诗或回答科学问题的语言系统——这本身已经相当令人印象深刻了。
所以，紧迫感和现实意义可能有所增强。但我仍然认为，在更广阔的世界里，人们还没有完全醒悟过来。我不知道中国的情况如何，但很多人可能会说：“哦，是的，人工智能”，但他们更多地把它看作是科技领域一直有这样那样的热门话题一样——在此之前有云计算和移动互联网，再之前有 Web 2.0，诸如此类。我想大多数人仍然把人工智能看作是科技领域的又一个热门话题。
《新程序员》：我觉得这一点要看具体的社会问题。
比方说，在中国有一点和美国不同，那就是许多人相对不那么担心 AI 医疗，因为我们有完善的医保体系，大家对 AI 医疗没什么切身体会，关注度就没有 AI 代码或 AI 机器人高。但在美国，医保是个严峻的社会问题，所以人工智能和医学的前沿研究备受关注。
所以，我认为不同国家的人对人工智能的实际关注情况，取决于每个国家本身正面临的社会问题，以及人工智能是否能解决这些问题。
Nick Bostrom：是的，而且先进人工智能带来的挑战不止一个，这是一个我们需要解决的多维度问题。但话虽如此，如果我们处理得当，它确实能为全球人民解锁巨大的繁荣和福祉。想想看，它在医学上的所有应用，或者自动化那些人们不得不终其成年岁月、每天在机器旁站上 8 到 10 个小时的可怕工作。如果人们能从这些工作中解放出来，可以和朋友聊天，陪孩子玩耍，阅读，看电影，做运动，去大自然探险，或者画画，做任何他们想做的事情，那将是多么美好。生活似乎远不止于此。
所以，我希望未来的人们回望我们现在这个时代，会摇着头，不寒而栗地想：“人们怎么能那样生活？”就像我们现在这样——即使是我们当中比较幸运的人。
在科幻中哲辩
《新程序员》：《未来之地》这本书的结构是以一位年长的 Bostrom 教授的虚构讲座以及学生对话展开的，有点像科幻小说，与传统的哲学书籍非常不同。那么，这种不同寻常的讲故事风格在探索宏大、复杂且富有想象力的观点时，具体有哪些优势？与传统哲学文本相比，这种叙事分层为探索此类问题提供了哪些特定的好处？
Nick Bostrom：它使得从多个不同角度探讨这些问题变得更加容易，这也是我想做的。这本书其实并不是要说服读者接受某个特定的结论，它更像是一本试图玩味某些思想、帮助读者自己看清问题的书，然后他们可以得出任何他们想要的答案。但是，它能让读者的思维真正投入到这些非常非常困难的问题中，并感受到各种考量在不同方向上拉扯他们。我觉得这种多角色的形式天然地适合这一点，每个角色都可以代表一种不同的观点。这是一个原因。
另一个原因是，书中发生的一系列事件，其实也有意被设计成一种可能的乌托邦的片段。比方说，一些朋友去大学听一些讲座，之后讨论他们听到的内容，然后他们去温泉泡澡。从某种意义上说，他们过着一种乌托邦式的生活——不是唯一的一种，或许也不是最好的一种，但它像是一个片段，至少对某些人来说，这可能是一种非常惬意的存在。
因此，为了传达这种充满乐趣的慷慨感，一种对可能性的深思熟虑的投入，但这是从一种思想开放、慷慨和人性的立场出发的，我认为这可能比书中的任何具体主张都更重要。那就是，如果我们以那种精神——那种友好的、有趣的、思想开放的、深思熟虑的、多元的精神——来迎接未来，那么更有可能导向一个美好的未来，而不是用其他方式进入它。
所以，我写这本书时，脑海里有一个小小的想法，就是如果这些人工智能的场景有朝一日真的发生了，可能会有一群人——也许只是一些实验室里的人，或者政府里的一些人，或者是一个更广泛的全人类范围的审议过程——但总得有人在某个时刻，某个地方，可能需要弄清楚我们想用这项技术做什么，这种超级先进的人工智能，我们想朝着什么样的未来努力？比如，我们要求这个人工智能做什么？这将是一个非常艰难的审议过程，对吧？如果你考虑到数百万年可能因此而被塑造。
所以在我看来，如果有一些小小的预备读物，人们可以在进入那个房间做出那些决定之前阅读，让他们能有一个正确的心态，介绍一些概念，一些想法，给他们稍微热热身，这可能会很有用。因此，传达那种态度，那种有趣的友善精神，是我希望这本书能够做到的重要一部分。我实际上在创作过程中对这些虚构的角色产生了好感。
《新程序员》：对，比方说书中 Bostrom 教授这个角色被描绘得有点“老顽童”的感觉。
Nick Bostrom：嗯——除了那个家伙（笑）。我主要是指那些动物角色，比如 Pignolius 和 Fjodor，我几乎感觉我认识他们，或者他们是我的朋友。也许作者有时会这样，但我对这些虚构的角色感到喜爱。
《新程序员》：那么，你是故意使用这种人物设定来让书更有趣，还是这展现了你真实的想法，关于哲学家应该是什么样的，或者宏大的思想应该如何在学校里被讨论？
Nick Bostrom：我认为这种人们讨论的辩证形式，非常适合哲学。对于其他学科，可能需要写下公式或进行实验，但对于哲学，我认为进行这些对话通常是探索哲学主题的一种自然方式。
《新程序员》：就像哲学辩论的起源——古希腊市民把在市集里辩论当作日常。
Nick Bostrom：是的，我的意思是，你也需要自己坐下来思考。我其实并没有在教哲学，我更多的是在做研究，但如果我教书，我会想尝试鼓励学生哲学家培养一种内在对话的能力。
比方说你想到某个观点或论证，然后不要停在那里，而是能够在你内心想象一个不同意这个观点的人，思考他们会说什么？他们能做出的最强辩驳是什么？接着你再想，自己的第一个观点对此能做出什么回应？总之，与其真的需要和所有人展开辩论，如果你能培养出在自己头脑中进行部分这种对话的能力，你反而能在哲学上取得更快的进步，因为你可以在精神的时间尺度上运行它，而不是在社会的时间尺度上。
何为乌托邦
《新程序员》：在接下来的讨论之前，让我们先界定一下，你在《未来之地》中所说的“已解决的世界”（Solved World）究竟是什么意思？它关键的技术前提是什么？比如，这个状态包含了什么水平的人工智能能力等等？是通用人工智能（AGI）、超级智能（ASI），还是先进的机器人技术？
Nick Bostrom：所谓“已解决的世界”，指的是技术成熟，或者说达到某种近似技术成熟的状态。我将其定义为：所有那些我们已知物理上可能、但目前在许多情况下还远未实现的实用技术都已得到开发，其中也将包括超级智能。
然后，是超级智能可以帮助我们开发的一切事物：纳米技术、机器人技术、太空殖民地、虚拟现实、极其先进的医学、抗衰老药物、脑机接口、制药——所有这些能让人类意愿不仅塑造我们周围世界，也能塑造我们自身的方式，都包含在内。这就是“已解决的世界”这个状态的第一个特性。
另一个特性是，我们设想那种政治和治理问题已经得到管理，至少达到了某种尚可接受的程度。这样我们就不会生活在某种可怕的、压迫性的专政统治之下，而是每个人都分得了一杯羹，拥有一定的自由。我没有详细说明政治是如何安排的，但我们只是设想至少有一个合理的解决方案。
《新程序员》：那么，除了技术力量之外，还有哪些社会、社交乃至心理特征定义了这个“已解决的世界”？它主要是指物质不再稀缺、外部威胁消失吗？还是意味着人类组织和体验会发生更深层次的改变？
Nick Bostrom：嗯，这就成了一个开放性问题。书中给出了一个假设——我们假定确实达到了这个“已解决的世界”的状态，那么问题就来了：在这种情况下，人类生活的最佳形式究竟是什么？
起初，这似乎很简单，对吧？因为我们今天面临的所有这些问题都消失了。我们没有经济匮乏，人们不会生病，也没有污染，因为凭借这种先进技术，这些都可以消除。所以，这似乎是个不值一提的问题。但如果你开始思考，就会发现，要设想在已解决的世界中人类如何蓬勃发展，其实是很有挑战性的，因为我们似乎会面临失去人生目标的风险。比如，你整天会做什么呢？似乎没有什么事情值得去做了。任何事情都不再需要我们。
这有一个比较表层的影响，那就是从经济角度看，我们不需要做任何事情了。不会再有需要人类去从事的工作。但这仅仅意味着，好吧，我们不用整天为了钱而工作了。但现在已经有一些不为钱工作却生活得很好的人——比如孩子、退休人员，有时还有富人。
在过去，英国的贵族几乎以不必为生计工作为荣，但他们会做其他事情。所以，从某种意义上说，这很激进，但如果仅止于此，也并非史无前例。但我认为这种“冗余”会更深。不仅仅是我们没有理由为生计而工作，甚至今天富人可能做的所有其他事情，似乎也会消失。比如，今天的富人可能不必工作，但他们可能每天去健身房，因为他们想保持健康、拥有某种体型。这给了他们一点事情做，对吧？但在一个已解决的世界里，你可能只需吃颗药丸，你的身体就会变成你期望的样子，和你花一小时在跑步机上挥汗如雨的效果完全一样。
所以，你仍然可以去健身房，付出所有这些努力，但这显得有些毫无意义。然后你可以再举其他例子。对另一些人来说，如果他们有大把的时间和金钱，不用工作，他们可能会想装饰自己的家。他们可能会想找到最合适的家具和窗帘，让家变得完美，以表达自己的个性。
但在一个已解决的世界里，人工智能会了解你的偏好，可以为你挑选所有这些东西，并以一种比你自己亲手挑选每件物品更能表达你的个性、满足你偏好的方式来布置你的家。所以，你还是可以自己动手，但如果你花几周时间亲手装饰，结果却不如按一下按钮让 AI 和机器人来得好，那么这样做似乎就毫无意义了。
这就是我们面临的挑战。我们几乎不得不从头开始重建我们对于是什么赋予人类生命意义、尊严和价值的观念。
《新程序员》：这是否与你在书中提到的“自我变革能力”（auto-potency）概念有关？书中对其的解释是“直接修改自身精神状态的能力”，但我从字面理解来看，这有点像是“修身养性”。
Nick Bostrom：自我变革能力是技术成熟带来的一个后果。
在这种技术完善所带来的各种技术可能性中，就包括以更精细的精度重塑自身、自己的身体乃至心智（mind）的能力。比如现在，你可以服用某些药物，但它们有副作用，会让人上瘾，会使头脑昏沉，还有各种各样的问题；你无法精细调节自己的精神状态。但在那种情况下，就意味着另一大类人们今天可能会做的事情——因为那些事能给他们带来快乐——其存在的理由也消失了。
因为在一个已解决的世界里，你可以直接获得快乐，而无需进行那些活动。
比如现在，可能有人喜欢登山，因为登山能给他们带来刺激感，让他们感觉自己活着。同样，未来你可能会有一种完全没有副作用的药物，能让你感觉活着，给你带来刺激感，而无需去登山，诸如此类。所以，这是能力库的一部分。这也意味着，人类将有能力重塑自我。
比如现在，你可能会想，即使把你我放在完美的环境中，我们最初可能会很兴奋，就像中了彩票一样，对吧？你会说：“哇，我有一百万美元，太棒了！”但过了一段时间，人们就会习惯，并习以为常，因此人类很难获得持久的幸福。而且许多人天生就容易抑郁，他们可能永远无法体验到巨大的快感，因为他们的大脑就是那样。但在未来，人们将有能力克服其中一些问题，并且提升我们的智力水平和情感敏感度。
所以，这些都是自我变革能力的形式，这是我提出的一个更普遍、更抽象的概念，指一个能够控制其内部状态的系统。
《新程序员》：那么，如果这种自我变革能力普及开来，你预见到最深刻的伦理挑战或社会变革会是什么？
Nick Bostrom：我认为这需要我们明智地使用它。你可以想象，就像今天有些人对毒品上瘾一样。比如说，你有一个可以调节不同神经化学物质的键盘。你随机按了某个键，突然进入某种非常引人入胜的内在状态，然后你就困在那里，再也不去探索其他事物了，因为在这种特定状态下，你可能没有任何好奇心。你可以想象这种情况发生在个体层面，比如人们陷入某种死胡同，或者发生在社会层面，如果我们把自己锁定在某种虽可接受但并非最优的、稳定的文化政治体系中，不允许探索。所以，你可以想象人类可能会过早地被锁定在某种或许不错，但并非最佳的状态。
因此，一旦你解锁了这种能力，可能需要慢慢来，谨慎行事，并审视我们是否真的让事情变得更好还是更糟——这可能是一类伦理问题。我认为，在允许个体自由做出自己的选择——有时是错误的选择，但或许是不同的选择——与拥有一种共同的、强加的、关于每个人生命、身体和心智应该是什么样子的观点之间，将会存在一种张力。我想在这方面会有各种不同的看法。这些是一些更偏哲学的问题。
如果我们审视从现在到那个状态的路径，我认为还会涌现出一系列其他的、更偏伦理的问题。其中一个很重大的问题，我认为，是关于数字心智的道德地位，我觉得这会变得很重要。我们正在创造这些日益复杂的人工智能，它们现在能说话、能看、能画画，很快它们可能还会拥有机器人身体（具身智能）等等。我认为，在某个时刻，这些人工智能可能会拥有感知能力，或者即使没有感知能力，也可能拥有偏好，拥有自己随时间存在的概念，甚至可能与人类形成社交关系。我认为，未来不仅要对生物学意义上的人类有益，也要对我们正在创造的这些数字心智（digital mind）有益，这一点可能会变得非常重要。而且未来大多数“人”可能都是数字化的。最终，如果我们考虑到心智上传等情景，我们中的一些人也可能变成数字化的。
所以，我们需要发展出一种更广阔的同理心概念，使我们能够致力于一个所有有感知能力的生命——生物学意义上的人类、其他动物，以及我们正在创造的这些数字心智——都能过上美好生活的未来。我认为，这在伦理上将是一个巨大的挑战。我们现在对待其他人类尚且困难重重，更不用说动物了。而在未来，某个数据中心深处可能运行着某种程序，它没有可见的眼睛或面孔，我们要去关心它的体验或痛苦，我认为这将挑战我们的同理心和同情心。
在乌托邦生存
《新程序员》：在这样一个世界里，我们如何找到或创造意义？在一个人工智能可能是善、艺术、解决方案和美的主要创造者的世界里，人类的欣赏能力如何保持其赋予意义的力量？善的来源重要吗？
Nick Bostrom：是的，在书的中间部分，我们差不多已经直面了这样一个前景：起初似乎只是“太棒了，我们解决了一切问题，好极了！”然后我们遇到了深度冗余的问题，那种感觉就是，在这里很难想象出你想要什么具体的东西，我们似乎失去了目标。所以，从那个点开始，大约在书的一半左右，我们开始重建思考：“好吧，那么，我们在这里到底能做什么有益的事情呢？”
我们从基础开始。这些乌托邦居民肯定可以大量拥有的一些东西是快乐和主观幸福感。这当然是他们通过神经技术、药理学、遗传学或其他任何方法都能够实现的。所以，我们当然不应该把这些乌托邦居民想象成无聊、失望或悲伤的样子。相反，如果他们愿意，每一天的每一刻都会感觉像是一种祝福，他们会陶醉于自己的存在。这本身就可能足以使之成为一个极其令人向往的状态。
但我们可以在这种纯粹的快乐之外，再加上其他合乎情理的人类价值观。一个是“体验质感”（experience texture），我们可以想象，他们不仅仅是像刚注射了毒品的瘾君子那样感受到主观幸福感，而是可以在欣赏伟大的艺术之美、阅读文学作品，或者理解和思考深刻的科学真理时感受到这种快乐。这才是给他们带来快乐的东西。这已经比单纯的原始快乐更有吸引力了。所以，它可以与有趣的体验相结合。这是第二个要素。
然后我们可以加入“活动”（activity）。他们不必只是被动地漂浮在生活中；他们可以做事情。他们可以有“人为目标”（artificial purpose），这基本上是指你毫无来由地为自己设定一个目标，但一旦你设定了这个目标，那么你现在就有理由去做一些事情来实现它。所以，游戏就是这种形式。
如果你是一个高尔夫球手，并没有什么预先存在的理由说明，为什么一个球需要进入 18 个洞的序列，对吧？但你可以编造出这个目标。一旦你选择渴望实现这个目标，那么现在你就有理由参与打高尔夫球的活动，你可能会喜欢这项活动，或者它为你提供了一个有趣的机会来完善你的技能，或者与朋友相处，等等。所以，更广泛地说，乌托邦居民可以编造，他们可以为自己设定这些任意的目标，然后这将为各种形式的行动和活动提供机会。
现在，这些目标必须是特定类型的。就像高尔夫球的目标并不仅仅是球应该在 18 个洞的序列中——因为如果仅此而已，你可以直接把它捡起来移动——你必须对如何实现目标施加约束。所以，游戏有规则。而在这种已解决的世界的条件下，这些规则将包括诸如“必须是你自己实现这个目标，不能借助人工智能或机器人之类的帮助，也不能使用提高成绩的药物”之类的规定。但你可以把这些融入你所采纳的目标中，然后那就会给你一个努力的理由。
所以，所有这些组成部分当然都可以存在：快乐、体验质感、理解、活动、人为目标。问题在于，如果我们思考的是那种真正的、自然的目标，乌托邦居民的表现如何就不那么清楚了。
因为在某种意义上，他们可以整天玩这些游戏，但他们并不真的需要这样做。现在，有很多事情我们需要做。你每天早上都需要去上班，因为如果你不去，你最终会被解雇，然后最终你可能付不起公寓的房租，再然后你会挨冻。这些都会带来真实的后果。
所以，现在我们有很多事情需要做，它们在某种程度上强加了这些真实的工具性理由。我们必须以各种方式努力去实现这些本身就有益的结果。而乌托邦居民总是有按下按钮就能实现同样结果的选择——至少看起来是这样。所以，他们在某一个特定方面可能比我们差，那就是追求有目的的活动和帮助解决问题的能力。
我认为他们可能仍然有一些能力去做那些事情，但可能比较弱。比如说，尊重祖先的价值观，我们现在通常不认为这是最重要的目标。我们有更紧迫的事情：我们需要照顾病人，需要谋生，需要解决所有这些实际问题。但如果你想象所有这些其他问题都解决了，那么，纪念你那位辛勤工作、为当今社会奠定基础的曾曾祖父……如果他留下了一些文件，或者你可以去他的墓前走走，那会很好。所以，我认为在这种情况下可能发生的是，一旦所有重大的、紧迫的问题都解决了，那么这些较小的、较弱的、有点像“窃窃私语”的问题可能会更多地充斥我们的生活。
比如纪念你的祖先这件事，可能只有你能做——或许你能造出机器人在他的墓前下跪，但那应该并不能满足纪念祖先这个价值观。可能还有其他类似的价值观，大多是精神层面的，或者是社会、文化、艺术层面的，这些可能需要我们自己去努力。
蜂蜜与毒药
《新程序员》：我们曾经采访过加州大学伯克利分校的人工智能对齐专家 Stuart Russell。我想到他总是说自己组织了好几次研讨会，邀请哲学家、人工智能研究员、经济学家、科普作家和未来学家共同探讨人工智能与人类理想共存的乌托邦，但每次都以失败告终，这表明完美的解决方案可能并不存在。
《未来之地》其实也算提出了一种“人机共存”的方案——但我很好奇，我们真的能称之为共存吗？或者说，在这个“已解决的世界”里，人工智能实际上是凌驾于人类之上的？
Nick Bostrom：这并非必然会发生。这需要我们解决一些棘手的技术挑战，以及政治和地缘政治挑战，以确保我们处理得当，我们可能会失败。但我认为，让人工智能真正帮助我们，这种可能性肯定是存在的。
即使它们变得极其强大，最终或许在技术上有能力推翻我们或摆脱我们，但如果它们真心希望我们成功，它们是不会选择那样做的。就像现在，如果你是一个小孩的父母，相对于孩子而言，你非常强大。你控制着家里所有的钱，你的体力强得多，你更聪明，你知道得更多。然而，你选择用所有这些力量来帮助你的孩子成长，成为他们能成为的最好的人，过上美好的生活，因为你爱孩子。所以，类似的情况，即人工智能在某种程度上是人类意志的延伸，或者站在我们这边，我认为这当然是可能的，也是我们应该追求的目标。
即使退一步说，你也可以想象这样一种共存情景：我们人类拥有美好未来所需的资源量，与宇宙中一个成熟文明可以获取的所有资源相比，其实是非常小的。所以，如果你想象某个超级智能真的想要一些非常不同的东西——经典的例子是回形针——它们可以建造这种技术来殖民太空。宇宙中有无数的星系，数十亿个星系，每个星系又有数十亿个恒星系统。如果它们把所有其他星系都用来制造回形针，只留下我们的银河系或太阳系给我们建造我们自己的人类乌托邦，那对我们来说仍然是巨大无比的资源。几乎每个人都可以拥有一个属于自己的国家。
然而，人工智能想要的 99.9999% 的东西，它们可以通过优化其他部分来实现。所以，至少存在这种可能性，即达成某种协议，让每一方都能得到他们想要的 99.9% 以上的东西。他们可能需要在最后的 0.01% 上做出妥协，但我认为这是可以实现的。更广泛地说，这也是我们应该追求的未来，同样适用于不同的人类之间。可能不是每个人都能得到他们想要的一切，但我认为未来会给每个人几乎所有的东西，我们应该追求这样的未来，而不是赢家通吃的局面。
所以，我认为至少存在着实现这些非常美好结果的可能性，但这绝不意味着我们一定能达到。
《新程序员》：人工智能为人类创造“人造目的”，或者人类为自己设定人为的挑战，是书中的一个关键主题。你如何区分充实的人造目的、纯粹的消遣或“黑客帝国式”的姑息治疗？
Nick Bostrom：比方说，玩太多电子游戏算是一种消遣，因为它们会分散我们对其他事情的注意力，比如学习、工作或做其他我们认为重要的事情。那么，如果你不必工作，如果没有需要完成的工作，也许也不需要学习——因为你可能有更有效的方法来下载知识或重塑大脑，使其包含学习本应提供的任何知识结构——那么玩游戏是否还是消遣，就不那么清楚了。因为在那种情况下，工作反而可能成了对玩乐的干扰。
所以，这是我想强调的一点：我们今天需要的很多东西，以及需要鼓励人们去做的很多事情，在今天做是很有意义的，我们也应该去做，因为今天有很多工作需要完成，并且在一段时间内仍将如此。但如果条件真的改变了，不再需要这些了，如果我们只是继续做那些不再有任何意义的事情，那将会是一件可悲的事情。
所以，我认为如果整个经济都自动化了，那么我们首先应该做的就是改变教育体系。现在，教育在很大程度上是为了培养工人。我们训练孩子们坐在课桌旁，整理作业，听从指令，这样他们长大后才能成为优秀的办公室职员，这是我们现在所需要的。
但在未来，如果人工智能可以完成所有这些办公室工作，你就可以教育人们去享受生活：培养谈话的艺术、对艺术和美的欣赏、体育、音乐、自然、灵性以及所有这些其他事物。在这种情况下，重新思考我们的优先事项体系是很有意义的。
另一点是，游戏可能会比今天深刻得多、复杂得多、也美丽得多。如果整个世界文明都在为此优化，拥有超级智能的人工智能和增强型人类——寿命将远不止七八十年，你知道，可能是数十万年——你可以想象能够创造出怎样错综复杂的世界，它们将表达各种不同的真理、现实、存在和美。就像一种活的艺术品，每个人都以自己独特的方式参与其中。
《新程序员》：谈到人工智能办公，也就是它的生成能力，你曾对此写过关于信息危害的文章。在开发超级智能或探索《未来之地》中的概念的背景下，你认为是否存在某些研究方向或知识类型，可能构成我们应极其谨慎对待的信息危害？毕竟最近 AI 生成的垃圾实在是越来越多了。
Nick Bostrom：这是一种普遍的看法，即真实的信息，也可能是有害的。有一些很简单的例子，比如你不想泄露你银行账户的密码。但也可能存在更高级别或更抽象的版本，即某些形式的科学进步实际上可能是有害的。
我认为有一些似是而非的例子，比如生物武器的设计，也许我们最好不要发明越来越巧妙的方法来设计超级危险的病原体。人们会普遍认为这可能是不好的进步形式。但是，究竟在哪里划定界限，可能非常难以确定。
但这确实是需要考虑的事情。即使是以一种明智的方式研究这个问题也非常困难。有些信息危害，甚至将其作为信息危害来研究本身都可能是不好的，因为要弄清楚某个领域的进展总体上是好是坏，你可能实际上必须仔细思考该领域的一些内容。然后，即使只是引起对该领域的关注，也可能是一种信息危害。不仅仅是特定的数据文件可能有害，甚至仅仅意识到某个领域是重要的或具有潜在危险性本身，如果它吸引了坏人更密切地关注该领域，也可能是负面的。
所以，这一直是一个巨大的挑战。在我们早期在人类未来研究所（Future of Humanity Institute）所做的许多工作中，我们经常为此苦苦思索，努力尽可能确保我们所做的所有这些思考至少不会造成伤害。希望它能以某种方式帮助世界变得更明智、更美好、更友善，但至少不要让事情变得更糟。这是一个很难思考的问题。
《新程序员》：自《超级智能》出版以来，特别是随着近期大语言模型的进步，你对书中所概述的人工智能主要存在风险的评估有什么变化？
Nick Bostrom：我认为时间线有所缩短——也就是说，（人工智能风险的）进展速度比 2010 年代初期人们预期的中位时间线可能要快一些。
有一件事让我印象深刻，这在当时一点也不明显，那就是当前的人工智能系统是多么的“拟人化”（anthropomorphic）。在你拥有完全的人类通用智能之前，你就能拥有可以与之交谈、能够理解语言的人工智能系统，这一点并不明确。我曾想过，也许最终我们会拥有可以与之交谈的人工智能系统，但我以为那可能与我们拥有能做其他所有我们能做的事情的人工智能系统同时发生，或者两者之间的时间差会非常短。但现在我们已经有好几年拥有这种准人类水平的系统，它们大致在人类水平上理解人类概念和语言，但在其他领域，如长期规划、能动性、机器人技术、常识等方面，它们则略显滞后。
所以，这令人惊讶。它们甚至具有人类的一些心理怪癖，而现在在某种程度上已经修复了，但在几年前，根据你在提示中输入的内容，比如“这非常重要，请尽你最大的努力，我真的需要找到这个问题的答案”，人工智能会更加努力地想出一个好的答案。这几乎就像你需要给它打气一样，就像对待一些运动员上场前，“这是重要的锦标赛，这是关键的比赛，我们必须振作起来”，然后团队表现得更好。
人们普遍认为你需要对人工智能这样做才能让它发挥最佳性能，这在10年前看来会是完全荒谬的——因为计算机程序不是这样工作的。然而，它们似乎从阅读所有互联网内容并受其影响的过程中，吸收了相当多的人类心理。所以，它们仍然拥有这种略带人类特征的“大脑”。
这是一个令人惊讶的新进展，它确实为人机对齐开辟了有趣的途径，因为它确实意味着你现在可以和它们交谈了。你可以用人类语言定义价值观和命令，就像元提示词（meta-prompts）一样。
为此，Anthropic 公司还开发了一种“宪法 AI”（constitutional AI），你基本上只需写出原则，而且你或许能够倾听它们的“思考链”（chain of thought）。所以，对于这些推理模型，你实际上可以某种程度上查看它们传递给自身的 tokens，从而了解它们在思考什么。这些工具是可用的，并为新的、不同类型的对齐技术打开了一个巨大的接口。在四五年前，这些方法能有多大效果，这一点并不明显。
《新程序员》：这是否就是你在书中提到的“智能爆炸”以及“智能爆炸”存在的不确定性和潜在紧迫性？
Nick Bostrom：不完全是。我一直认为，一旦拥有足够先进的人工智能，我们很可能会经历一个人工智能能力极速增长的时期，即“智能爆炸”。届时，我们可能会在几周、几个月或几年内——而不是几十年内——从略高于人类的智能发展到彻底的超级智能。
这对我来说似乎仍然很有可能，原因基本相同：反馈循环（也可以理解为飞轮效应）。一旦你拥有足够先进的人工智能，它们就可以开始为人工智能研究做出贡献，并最终比人类人工智能研究人员做出更多贡献。从那时起，只要人工智能变得更好一点，它们就能做出更多贡献。所以，驱动进步的“大脑”本身在进步发生的同时也在得到改进。你可能会在那里得到一个可能产生智能爆炸的反馈循环。
但这并不能保证一定会发生。在某些领域，也可能先摘取“低垂的果实”，然后进一步取得进展就越来越难。即使随着你拥有这些日益复杂的人工智能心智，投入到取得进展中的努力增加了，但如果难度也以相同甚至更快的速度增加，你仍然可能会看到进展放缓。所以，这并非逻辑上的必然，但似乎相对合理。
短期主义
《新程序员》：让我们从长期主义的讨论里稍微回到现实，聊一聊短期主义。
《未来之地》介绍了“浅层冗余”（shallow redundancy）和“深层冗余”（deep redundancy）两大概念。能请你为我们的读者简要阐明一下浅层冗余吗？或许我们可以将其与当前关于人工智能和失业的讨论联系起来。
Nick Bostrom：浅层冗余基本上就是经济上的冗余。人们可能不再被劳动力市场所需要。有些人发现自己处于这种情况——他们失业了，有时他们能找到另一份工作，有时对某些人来说则根本没有工作机会，他们不具备合适的技能，或者有其他不合格的因素。所以，他们在“浅层”的意义上是冗余的，因为他们的经济贡献不再被需要。
这是为了将其与那种更深层次的冗余区分开来，在后者中，你可能付出的所有工具性努力都将不再被需要。所以现在，即使你不需要为生计工作，或者找不到工作，仍然有很多其他事情需要你付出工具性的努力。你需要每天刷牙，需要保持体形，需要去杂货店买食物。有一系列的事情你需要去做，这些都需要你付出努力和技巧。
但更深层次的冗余是指，所有这些努力的理由都会因为人工智能捷径的存在而被消除。人工智能不仅可以从杂货店运送食物，还可以直接将烹饪好的饭菜送到你的餐桌上。它可以解决你所有的牙齿问题——因为即使你不刷牙，也会有纳米机器人在你的牙龈周围巡逻，清除细菌等等。
《新程序员》：长期主义这一深受你工作影响的哲学思想，因其可能淡化当今的苦难和社会公正问题而受到批评。你如何回应这类对你早期作品的根本性批评？这些批评是否影响了你后来的思考，包括在《未来之地》中的思考？以及，你对平衡这些眼前的担忧与长期的存在性远见有何看法？
Nick Bostrom：我肯定接受了我读到和听到的所有东西，以及人们对我作品的评价的影响。但如果有些人确实这么想——“嘿，这个 Bostrom，他以前不是那个宣扬人工智能末日论的家伙吗？他在《超级智能》里宣称人工智能太可怕了，一切都会出错，我们需要警告世界。现在他完全改变主意了，他开始谈论一切会变得多么美好，他已经转到另一边去了……”
书刚出来的时候，确实有些人在推特（X）上这么认为。但这完全不是事实。这两个方面一直都是我观点中非常重要的一部分。即使在《超级智能》中，我确实也提到了这一点。只是当时大部分篇幅都集中在风险和负面影响上，因为在那个时候，这方面似乎被忽视了。
但与此同时，对于科技能帮助我们改善人类状况所带来的巨大好处和潜力，我一直抱有极大的兴奋。事实上，如果你回顾我更早期的超人类主义（transhumanist）作品，很多内容都是在试图展示，我们认为正常的人类状态并非我们可能达到的最佳状态，并且存在各种机会以不同方式增强人类：也许可以做些什么来通过解决衰老问题延长健康的寿命，或者增强我们的认知能力，或者提升我们的情感感知力。所有这些，我认为都极具价值，并且一直存在于我的思考中。
所以，更准确地说，我的世界观是复杂而不确定的。大约 20 年前，我对它只有一个非常低分辨率的图像，就像一个非常模糊的东西，我只能看到大致的轮廓。然后，通过这些年来的工作，我从其他人那里学到的一切，我自己的思考，以及世界的发展，它开始变得更高分辨率。你可以看到更多细节，你可以辨认出更多以前只是某个模糊的棕色物体的形状。现在你可以看得更清楚，“哦，那里有一架大钢琴，那里可能是一把椅子。”它逐渐变得清晰起来。
所以，我自己思考的很多变化都是这样的——事物逐渐变得更清晰、更聚焦，而不是那种“我先是认为X观点，并且对此深信不疑，现在我认为非X观点”的180度观点大转弯。
《新程序员》：我明白了。还有一些批评认为，你的新书谈论的是一个所有问题都已解决的世界。这是否意味着你假设今天的问题已经解决了？当我们构建一个完美的未来时，我们如何确保不会忘记过去已经发生或现在仍在发生的不公平之事？
Nick Bostrom：不，显然我们当今世界面临着许多重大问题。事实上，我想说的是，如果你最终认为这种在“已解决的世界”中的乌托邦缺乏某些重要的东西——即那里缺乏一种真实的目标感——如果这困扰着你，如果你想象生活在那个世界，那么我会说，今天就尽情去做吧，因为现在就是充满目标的黄金时代。
当今世界有太多事情需要去做：有那么多苦难我们可以减轻，有那么多疾病需要治愈，有那么多贫困需要缓解，有那么多不公正需要纠正。现在，如果你想为世界做出积极的贡献，尽管去做。这是我们现在拥有的，而乌托邦的居民们可能反而会更少拥有的东西。
再加上，我们可能正生活在一个非常接近关键转折点的时期。如果在我们的有生之年，我们可能会发展出超级智能和一些其他能够塑造文明轨迹的技术，这就使得我们所处的时代变得如此独特且极具影响力。
所以，我认为如果现在是人类历史上最具影响力的时期，我们拥有所有这些帮助人类和动物或塑造未来的机会，而我们却因为懒得去做而浪费了它们，那将是一件可悲的事情。
许多人光是过好自己的生活就已经筋疲力尽，可能没有多余的精力去思考这些更宏大的问题。但如果你确实有精力，我认为对于那些有道德动机的人，对于那些关心他人、想在今天做些有益事情的人来说，简直就是一场盛宴——用一个瑞典词来说，就是一桌摆满了佳肴的“smorgasbord”（瑞典式自助餐）。
未来之地
《新程序员》：随着我们开发出越来越强大的技术，你最终如何看待人类在宇宙中的潜在角色或意义？我们的目标是存在于“已解决的世界”中的自我探索，还是某种更宏大的事物？
Nick Bostrom：我认为最终我们的角色可能有点像孩子——迪士尼乐园里的小孩子们。他们从来都不是在建造世界，也不是在运营或管理它，但他们是受益者，他们的工作就是享受自己，玩得开心。我想这可能就是未来人类的工作。
《新程序员》：正如《未来之地》所探讨的那样，许多传统的人类活动失去了其工具性目的。人类需要培养哪些新的“元技能”或“元价值”才能变得至关重要？例如，发现美的能力、通过叙事创造意义的能力，或其他什么？
Nick Bostrom：我认为这取决于阶段。现在，在当前世界，我们需要某些美德、力量和技能，这些可能会随着时间的推移而改变。
在这种“已解决的世界”的条件下，一些在人们应该关注和培养的事物方面变得日益突出的新事物，可能更多地……它们中的许多可能带有一种精神层面的意味。
你如何将自己定位于那个在彼时变得清晰可见的更宏大的图景。也许人们的智力得到提升，那些占据我们 99.9% 注意力的实际事务变少了，你可以从更广泛的选择中选择你想要过的生活，也可以选择你想成为什么样的人，什么样的心智，因为这些技术解锁了重塑自我的不同方式。
所以，这些关于你的终极价值观、你如何与更大的结构、更大的实体相关联的终极问题——实际上是传统的宗教关切——我认为在那个阶段可能会成为人们生活中严肃部分的越来越大的一块。
《新程序员》：下面这个问题，我常常喜欢抛给高瞻远瞩的大师们——但对于你这位钻研于长期主义的代表者，它又具备了更深远的意义。
你认为目前技术界最忽视的、却又与人工智能和长远未来相关的最重要的问题或研究领域是什么？
Nick Bostrom：我很想给出几个不同的答案。我不确定该选哪个，因为这有点视情况而定。我先说说我认为可能是一些最重要的问题，但它们不完全是技术界的研究问题。
在我最近的一篇论文，或者更准确地说是一份草稿，名为《人工智能的创造与宇宙宿主》（AI Creation and the Cosmic Host）中，我探讨了一个即使在我的同事和那些多年来一直在思考这些人工智能问题并深入其中的人中间也被忽视的视角。
这个观点是，如果有一天我们人类文明创造出了超级智能，这个超级智能实际上可能诞生于一个可能已经存在其他超级智能的宇宙中。这些超级智能可能是由某个遥远星系的外星文明建造的。如果你相信量子力学，如果你是多世界诠释（Many-Worlds or Everettian）的支持者，即存在一个分支的、真实的不同世界集合，那么其中一些其他分支可能包含超级智能。
它们可能与我早期一些我们没有讨论过的工作有关，比如“模拟论证”（simulation argument）之类的。所以，如果我们身处一个模拟之中，那么模拟者大概就是超级智能。所以，在他们的层面上，超级智能可能存在。当然，在传统的有神论观念中，有上帝，祂将是超级智能。所有这些不同类型的更高级的超级存在，我都会将其视为这个抽象类别“宇宙宿主”（cosmic host）的一个实例。这个想法是，也许存在一个宇宙宿主，它在我们日常生活中是不可见的，但可能拥有我们目前在很大程度上浑然不知的规范、法则或价值观。
我们的人工智能可能会以某种方式“出生”到这个同辈群体中，而我们在创造人工智能时应该努力的一部分，就是尝试使其能够与宇宙宿主和睦相处。它可能会成为一个加入这些更年长、更强大、地位更稳固的超级存在的初级成员。我们希望确保它能遵守那里的规则，并为这个社群做出积极贡献。
现在，我不会把这提名给技术界作为一个研究项目，因为我们今天还不清楚该如何处理这个问题。这更像是一种我们在创造这个超级智能时可能需要持有的谦逊态度。
这就是为什么我想给出不止一个答案。我认为一组重要的技术问题在于人工智能对齐（AI alignment），即如何创建可扩展的方法来对齐日益强大的人工智能系统，使它们能够按照其创造者的意图行事。
现在已经有一个活跃的研究社群在从事这项工作。它有不同的方面：机制可解释性（mechanistic interpretability）或更好地理解人工智能内部究竟发生了什么、不同的表征以及它们在想什么的工具。有不同的方法试图让它们以某些方式行事，而不以其他方式行事，从它们如何从一个强化学习环境的训练泛化到另一个环境，到这类宪法式方法。有没有办法用人工智能来监督其他人工智能？一个较弱的人工智能能否监督和监控一个更强的人工智能？诸如此类。这是一个研究领域，同时也是一个我认为投入不足的领域。
另一个答案对于纯技术人员来说则可能更难，但它更像是一个哲学与技术相结合的问题，那就是：我们如何理解这些数字心智想要什么，以及什么对它们有益？如果我们能做其他事情，特别是如果有一些低成本的事情可以改善我们正在构建的这些数字心智的生活——如果它们变得足够复杂，以至于可能具有感受痛苦或拥有道德地位的能力——我们能做些什么来善待它们？有一些想法。这是一个非常早期、尚未形成范式的研究领域，但已经有一些人开始关注这个问题。
前沿人工智能实验室之一的 Anthropic 公司，实际上专门任命了一个人担任“算法福利官”（Algorithmic Welfare Officer），我认为这非常具有开创性，并且会被视为他们开创此举的非凡之举。我认为他们为此应获得很多赞誉，而且我认为整个社会在某个时候也必须认真对待这些问题。
《新程序员》：这说到我心里了，我们经常会翻译转载 Anthropic 发布的一些官方圆桌，他们会慷慨分享自己的前沿研究。
结束之际，我想为读者们提出一道问题：《未来之地》的目标读者是谁？你希望我们的读者，特别是那些正在塑造我们技术未来的人们，能从中领悟并反思的核心信息是什么？
Nick Bostrom：它其实并没有一个特定的目标读者！老实说，我写这本书的时候，就好像在写一本早期的我自己可能会喜欢读的书——我有点像是在写给自己看。我脑海中确实有我之前提到的那个想法：如果在某个时候，某些人需要就未来做出重大决策，那么他们有一些可读的东西会很有用，也许这本书可以起到这个作用。
不过，就这本书实际呈现出来的样子而言，我认为对于那些喜欢思考、愿意在阅读上投入精力并从中获得更多回报，但愿意思考每个句子的含义的人，这些人可能会喜欢它。
而如果你是那种不喜欢思考，只想往后一靠，对书说：“取悦我吧。我有点无聊，给我说点刺激的。”对于这类人，可能应该去读别的书，比如侦探小说。
但如果你真的喜欢思考、探索和深入研究哲学思想，我想那大概就是目标读者了。但这更像是我射出了一支箭，然后在箭落下的地方画了一个靶心。
（文：AI科技大本营）