苹果公司最近发布的一篇论文《思考的幻觉》（Illusion of Thinking）引发了关于大语言模型（LLM）推理能力的大讨论。该论文通过设计精巧的实验，挑战了现有基准测试的有效性，并指出LLM在特定任务上的“成功”可能仅仅是一种幻觉，而非真正的通用智能。本文将深入解读这篇论文的核心观点，并探讨其对人工智能领域未来发展的深远影响。
苹果研究：对现有基准测试的质疑
苹果的研究人员对现有的推理基准测试提出了严厉的批评，认为它们缺乏实验控制和可重复性，存在数据污染问题，并且无法准确反映LLM的真实推理过程。例如，仅仅解决了一个数学问题并不意味着LLM具备智能，尤其是当它花费了大量算力尝试错误的答案，即使之前已经回忆起一些正确的答案。
传统的基准测试，如数学题解答、逻辑推理题等，往往只关注结果的正确性，而忽略了LLM的推理过程。这意味着LLM可以通过记忆训练数据中的模式，直接给出答案，而无需进行真正的逻辑思考。这种现象被称为“模式匹配”，它会导致我们高估LLM的推理能力。
苹果的研究团队通过设计新的实验，试图克服这些缺陷。他们控制了LLM的算力预算，并要求模型在超出其训练分布的任务中进行推理。通过这种方式，研究人员能够更准确地评估LLM的泛化能力和真实的推理水平。
算力限制下的“过思考”与“放弃”
苹果的研究揭示了一个有趣的现象：在低复杂度任务中，LLM会表现出“过思考”（Overthinking）的问题，即虽然能够迅速找到正确的答案，但却会浪费大量算力去探索错误的解决方案。这表明LLM可能缺乏有效的推理策略，无法在众多可能性中快速找到最优解。
而在高复杂度任务中，LLM则会表现出“放弃”（Giving up）的倾向，即在耗尽算力之前就停止推理，无法找到正确的答案。这可能是因为LLM无法有效地利用算力来处理复杂问题，或者是因为它们缺乏足够的推理能力来应对挑战。
例如，在“汉诺塔”问题中，研究人员发现即使给LLM提供了解决该问题的算法，模型也无法得出正确答案。这表明LLM不仅缺乏执行指令的推理能力，甚至可能不理解指令的含义。这个结果与许多年前就已存在的基础程序形成鲜明对比，进一步突显了LLM在真正的逻辑推理方面的不足。
从“鹦鹉学舌”到“思考幻觉”：通用智能的缺失
苹果的研究结果引发了关于LLM是否具备真正的通用智能的质疑。一些评论家认为，LLM仅仅是“鹦鹉学舌”，它们能够模仿人类的语言和思维模式，但却缺乏真正的理解和推理能力。
文章中举了一个生动的例子：一只乌鸦可以准确地模仿人类语言的语法，甚至可以说出语法正确的短语或句子，但这并不意味着它具备进行微积分运算的能力。同样，一个画家可以完美地复制蒙娜丽莎，但这并不意味着他是一位伟大的艺术家。
这些例子表明，仅仅具备模仿能力并不等同于具备真正的智能。LLM的“成功”可能仅仅是一种“思考幻觉”，即它们能够通过模式匹配和统计学习，生成看似合理的答案，但却缺乏真正的逻辑推理和通用智能。
理论框架的缺失与对立观点的挑战
苹果的研究虽然提出了重要的质疑，但并没有提供一个更具说服力的理论框架来解释LLM的局限性。文章指出，苹果的研究人员甚至在论文的“局限性”部分承认，一些反对意见具有概念上的价值。
一个常见的反对意见是，推理能力可以被无限地分解为各种子能力，例如数学推理、语言推理、空间推理等等。如果LLM在某些子能力上表现出不足，这仅仅表明语言模型面临着一个复杂的项目。毕竟，人类花了2000年时间将语言逻辑浓缩成更狭窄和正式的系统。
然而，这种观点的问题在于，它将通用智能分解为孤立的子能力，忽略了它们之间的联系和整合。如果我们采纳这种观点，那么我们将无法理解为什么一个五岁的孩子，即使无法证明欧拉定理，仍然能够利用通用推理来解决汉诺塔问题。
重构基准测试：迈向真正的通用智能评估
为了更准确地评估LLM的推理能力，我们需要重新思考基准测试的设计。文章建议，我们应该将LLM的输出或问题解决能力分为“智能型”和“非智能型”两种类型，并避免将输出的结构与推理过程直接联系起来。
例如，如果我们只关注乌鸦句子的语法，我们可能会错误地认为它们是智能的。但是，如果我们尝试与乌鸦进行对话，或者测量它们的智力水平，我们就会发现它们与人类儿童相比存在明显的差距。
类似地，我们可以对LLM进行类似的实验。如果我们将LLM解决数学问题的能力与其他推理任务隔离开来，我们可能会高估它们的通用智能。但是，如果我们将LLM的输出与人类儿童的能力进行比较，我们就会发现即使一个五岁的孩子也具备LLM所缺乏的通用推理能力。
结论：超越幻觉，追求真正的智能
苹果的研究揭示了大语言模型（LLM）在推理能力方面的局限性，并引发了对现有基准测试有效性的质疑。虽然LLM在特定任务上表现出色，但这可能仅仅是一种“思考幻觉”，而非真正的通用智能。
为了更准确地评估LLM的推理能力，我们需要重新思考基准测试的设计，并建立一个更具说服力的理论框架来解释通用智能。我们需要超越“思考幻觉”，追求真正具备通用推理能力的人工智能系统。只有这样，我们才能充分利用人工智能的潜力，解决现实世界中的复杂问题。