人工智能（AI）领域一直在探索如何衡量机器的“智能”。仅仅通过在特定任务上的表现来评估AI，例如围棋或视频游戏，是远远不够的。正如原文作者指出的，技能很大程度上受到先验知识和经验的影响，无限的先验或训练数据可以让实验者“购买”任意水平的技能，从而掩盖了系统自身的泛化能力。本文将深入探讨ARC基准测试，它不同于传统的技能评估，而是试图衡量AI的通用智能。ARC基准测试提供了一个独特的视角，揭示了当前大模型在抽象、推理和泛化能力上的局限性，并指明了通往通用人工智能（AGI）的道路。

ARC基准测试：跳出“记忆”的陷阱

传统的AI评估往往侧重于模型在特定任务上的技能。例如，我们可以通过模型在ImageNet图像分类任务上的准确率来衡量其图像识别能力。然而，这种评估方式存在一个根本问题：模型可能只是记住了训练数据中的模式，而没有真正理解图像的内容。这就是“记忆”的陷阱。

ARC基准测试的目标是克服这一问题。它采用类似于人类智商测试的方式，要求模型在少量样本上学习，并在完全不同的、未见过的任务上进行测试。ARC挑战中的每个任务都包含几个输入-输出示例，模型需要从中学习规律，并生成新的输出。关键在于，测试集中的任务与训练集中的任务类型完全不同，这使得模型难以通过简单的记忆来解决问题。

一个典型的ARC挑战可能涉及几何形状的变换。例如，模型可能需要学习如何将一个图形沿某个轴线镜像翻转，或者如何填充图形中的特定区域。这些任务看似简单，但却需要模型具备抽象、推理和泛化能力，而不仅仅是记忆大量的数据。

大模型在ARC上的困境：知识与智能的鸿沟

当前主流的大模型，如GPT和Claude，在各种NLP任务上都取得了令人瞩目的成就。然而，在ARC基准测试中，它们的表现却差强人意。尽管一些模型的得分超过了60%，但与人类的表现相比，仍然存在很大的差距。更令人担忧的是，为了提升这些模型的表现，需要付出巨大的计算成本，例如，o3-preview(Low)的计算成本高达200美元/task，但其性能提升却并不明显。

Francois Chollet（ARC基准测试的提出者）在Kaggle上发起了一项百万美元奖金的竞赛，希望有人能够突破85%的得分，但最终最高的成绩仅为53.5%。这充分说明了当前大模型在ARC挑战上的困境。

为什么大模型在ARC基准测试中表现不佳？原因在于，大模型本质上是统计模型，它们通过学习大量的文本数据来预测下一个词。它们擅长发现数据中的模式，但缺乏真正的理解和推理能力。

举例来说，假设你给一个大模型一个简单的数学题：“班级里有30个学生，18个喜欢数学，16个喜欢文学，那么有多少人既喜欢数学又喜欢文学？” 大模型很可能会快速给出答案，因为它在训练数据中已经见过类似的题目。然而，如果你给它一个全新的、需要创造性思维的数学题，它可能就束手无策了。

大模型缺乏系统性。人类智能是系统性的——如果我们在一个上下文中学习了一条规则，我们就可以将它应用到另一个上下文中。例如，如果我们知道如何将形状沿着轴线镜像翻转，那么无论形状是星星还是正方形，我们都可以这样做。然而，大模型并不具备这种可靠的泛化能力。它们可能学会了镜像翻转星星的模式，但如果之前没有明确地看到过正方形，它们可能无法将同样的规则应用到正方形上。

ARC基准测试正是利用了这一弱点，它抛出了前所未见的任务，这些任务需要这种概念性的迁移。

LLM的局限：具身认知与抽象能力

ARC基准测试的另一个重要特征是它要求模型具备具身认知。具身认知指的是智能与身体和环境之间的互动密不可分。在ARC挑战中，模型需要处理像素网格、空间关系等感知输入，并进行推理。

大模型运行在一个脱离肉身的、符号化的世界中。它们无法像人类一样“看到”形状移动、颜色变化或翻转，也无法理解2D视觉变换。这种缺乏具身认知的局限性阻碍了大模型在ARC基准测试中的表现。

想象一下，你正在玩一个积木游戏。你可以通过触摸、移动和旋转积木来理解它们的属性和关系。然而，如果只能通过文字描述来了解积木，你可能很难想象它们的样子，更难以完成复杂的搭建任务。大模型就像后者，它们缺乏与世界的直接互动，因此难以理解ARC挑战中蕴含的物理规律和空间关系。

ARC的启示：智能的本质是快速学习

ARC基准测试迫使我们重新思考智能的本质。传统的AI研究往往侧重于提高模型在特定任务上的准确率。然而，ARC挑战表明，仅仅依靠大量的训练数据和计算资源并不能带来真正的智能。

通用智能是一种能够在任何问题、任何技能面前，使用极少的数据迅速掌握的能力。我可以处理困难的事情，即使你只告诉了我基本知识，而大模型却不能，除非它在训练数据中遇到过同样的情况。

人类的智能在于我们能够快速地学习和适应新的环境。我们能够从少量的经验中提取出普遍的规律，并将这些规律应用到新的问题上。而大模型的“智能”更多地依赖于记忆和模式匹配。

ARC基准测试提醒我们，真正的智能不仅仅是知道更多，而是要更好地学习。

通往AGI之路：抽象、推理与泛化

ARC基准测试为我们指明了通往通用人工智能（AGI）的道路。为了构建真正的智能机器，我们需要克服大模型在抽象、推理和泛化能力上的局限性。

这意味着我们需要开发新的AI架构和算法，这些架构和算法能够：

• 从少量数据中学习： 减少对大量训练数据的依赖，提高模型的学习效率。
• 进行抽象推理： 能够从具体的事物中提取出抽象的概念和规则。
• 进行概念迁移： 能够将已学习的知识应用到新的、未见过的任务上。
• 具备具身认知： 能够与物理世界互动，并从中学习。

这些都是目前人工智能研究面临的重大挑战，但也是通往AGI的必经之路。

结论：ARC不仅仅是一个测试，更是对AI未来的展望

ARC基准测试不仅仅是一个测试，更是一种对AI未来的展望。它提醒我们，仅仅依靠扩大语言模型的规模并不能让我们更接近通用智能。虽然大模型可以以前所未有的规模记忆、模仿和匹配模式，但当面对需要真正的抽象、逻辑和概念转移的任务时，它们就会失败——而这些事情人类毫不费力地就能做到，即使接触很少。

ARC不仅仅测试技能，它还测试适应性、泛化能力以及基于感知的推理——这些品质定义了真正的智能。在AI系统能够解决这些挑战，而不依赖于记忆模式或蛮力规模之前，通用人工智能仍然遥不可及。

ARC基准测试如同一个清醒的闹钟，提醒着我们，真正的智能并非存储信息的多少，而是学习和适应的能力。未来的AI研究应该更加关注如何提升机器的抽象、推理和泛化能力，而不是仅仅追求在特定任务上的高准确率。只有这样，我们才能真正构建出具有通用智能的机器，并实现AGI的愿景。ARC是一份蓝图，也是一个挑战，等待着AI领域的探索者们去征服。