机器之心PRO · 会员通讯 Week 25
— 本周为您解读 ② 个值得细品的 AI & Robotics 业内要事 —
1. 概率统计机制下，LLM 推理真的「理解世界了」吗？
简单复读 vs 显性路径，CoT 在推理中担任何种角色？Next Token Prediction 是一种动态建模过程，CoT 或许并非简单的复读？基于概率统计的 LLM 推理能力是简单的模式匹配，还是另一种对因果理解的表达？「实践出真知」，强化学习后训练是否有可能打破禁锢 LLM 的「知识幻觉」？…
企业增加生成式人工智能支出的原因是什么？在生产用例中使用多个模型的动机是什么？AI 采购为何逐渐呈现传统软件采购的特征？为何从自行构建转向购买第三方 AI 应用？在选择 AI 模型时的评估框架包括哪些关键因素？…
要事解读① 概率统计机制下，LLM 推理真的「理解世界了」吗？
引言：6 月上旬，许久不「露面」的苹果发表论文，称目前的推理模型全都没有真正思考，所谓的推理都只是另一种形式的「模式匹配」，这一研究再次引发业界对 LLM 推理能力的热议。苹果的观点在此前就有不少支持者，但也有研究者认为 Next Token Prediction 其实是是一种动态建模的过程，且某种程度上 CoT 也显性触发了推理路径。Reid Hoffman 在近期的访谈中则从「知识幻觉」的视角提出了不一样的看法，提醒人类要重新认识 LLM 的推理方式。
目前 LLM 表现出的推理只是一种模式匹配？
1、目前学术界和业界对 AI 推理的经典定义可总结为：推理是 AI 系统基于已有知识或模型，通过逻辑推导、符号操作或统计关联生成新结论的计算过程。[1-1]
2、佛罗里达人类与机器认知研究所 （IHMC） 研究科学家 Lucian Galescu 于 24 年 10 月指出，推理即「从前提或证据中有条理地得出结论」，而推理步骤如果正确，结论就更有可能成立。他明确认为当下主流大模型（LLMs）尚未真正具备这种严格推理能力[1-2]
3、2011 年图灵奖得主 Pearl 的经典因果推理理论表明，真正的推理不仅仅是从数据中寻找模式，而是要理解「如果……那么……」的因果关系，这使得推理成为预测、解释和决策的基石。[1-3]
① 人工智能领域普遍认为，真正的智能推理必须包含因果理解能力。
② 因果推理还涉及理解变量之间的干预和反事实推断，这些都是统计推理无法涵盖的复杂认知能力。LLM 尚未建立因果框架，因此难以具备人类那样的推理深度和灵活性。[1-3]
③ 圣塔菲研究所教授 Melanie Mitchell 也在 2023 年发表的《Commonsense Reasoning and LLMs》一文中指出，GPT-4 尽管能够复述类比题型，但并未发展出如儿童一般的因果归纳能力，印证模型学会的是语言形式，而非理解结构。[1-4][1-5]
4、与其相反，普林斯顿荣誉教授 Philip Johnson-Laird 在上世纪则提出过另一定义，即推理是一种基于心智模型的认知活动，即人们通过构建内在的心理表征，进行逻辑演绎或归纳推断。[1-6]
① 2018 年图灵奖得主 Geoffrey Hinton 在今年 4 月末的一次视频访谈中也有类似的表示，即认同人类的认知更接近于模式匹配而非问题解决，其思维更倾向于类比推理。[1-7][1-8]
② Geoffrey Hinton 认为人类的认知优势并非源于严格的理性，而是一种模糊、流动的智能形式，即更接近于模式匹配而非问题解决。
③ 他强调当人类做决定、解决问题，甚至形成记忆时，并非通过僵化的逻辑树，而是通过与过去经验的共鸣。同时人类将新信息映射到熟悉的事物上，更倾向于类比推理。
④ 同时，Hinton 认为目前 LLM 展现出的模式拟合能力，已经达到了准认知的水平。
⑤ 来自 UCLA 的 Webb 等研究者早在 24 年 11 月也发现，LLM 在零试条件下，具有通过类比推理解决新问题的能力，类似 GPT-3 和 GPT-4 的模型在抽象模式归纳方面表现出色，大多数情况下匹配甚至超过了人类的能力。[1-9]
Next Token Prediction 是一种动态建模过程，CoT 或许并非简单的「复读」？
1、无论是何种推理，如何将模型的推理变得可用一直是研究工作的重点。因此一些研究者提出了思维链是推理的核心。
（文：机器之心）