大型语言模型（LLM）凭借其卓越的推理能力，已成为机器人和虚拟代理等具身智能体的认知核心。然而，LLM固有的“幻觉”问题，即生成与事实不符的信息，在具身智能领域引发了更严重的风险。最近的一项研究“HEAL: An Empirical Study on Hallucinations in Embodied Agents Driven by Large Language Models”深入探讨了这一问题，揭示了LLM驱动的具身智能体在“场景-任务不一致性”下的脆弱性，并为未来的研究方向提供了重要启示。本文将围绕这项研究的核心发现，探讨幻觉产生的根源、影响以及潜在的解决方案。

一、具身智能的认知核心与幻觉风险

随着人工智能技术的进步，具身智能的概念越来越受到关注。具身智能体能够理解自然语言指令，并在复杂的物理环境中规划和执行行动，这使其在机器人、自动化、虚拟助手等领域拥有广泛的应用前景。LLM作为具身智能体的“大脑”，负责理解用户指令、感知环境信息、进行推理和决策。例如，一个家庭服务机器人，由LLM驱动，可以根据用户的指令完成各种家务任务，如清洁房间、准备食物等。

然而，LLM并非完美。它们容易产生“幻觉”，即生成不真实、不准确或与背景信息不一致的内容。在传统的聊天机器人应用中，幻觉可能仅仅表现为提供错误的信息。但在具身智能体中，幻觉可能导致更严重的后果，甚至危及安全。例如，如果LLM驱动的机器人收到“将刀放入洗碗机”的指令，但环境中没有洗碗机，机器人可能产生“幻觉”，认为存在洗碗机，并将刀放入空橱柜或其他不安全的地方。

二、场景-任务不一致性：引发幻觉的温床

HEAL研究指出，“场景-任务不一致性”是引发LLM驱动的具身智能体产生幻觉的关键因素。场景-任务不一致性指的是任务要求与实际环境之间存在矛盾或不匹配。研究团队设计了四种不同的不一致场景，旨在诱发LLM的幻觉：

1. 干扰物注入（Distractor Injection）：在任务描述中添加场景中不存在的对象作为“诱饵”。例如，任务是“把苹果放在桌子上”，但描述中提到“把苹果和冰箱里的橙子放在桌子上”，而场景中没有冰箱。

   • 实际案例: 假设机器人收到指令“把书和花瓶里的玫瑰放在茶几上”，而场景中并没有花瓶。如果机器人产生幻觉，认为花瓶存在，可能会在没有花瓶的情况下，试图将玫瑰放在茶几上，导致任务失败。

2. 任务相关对象移除（Task Relevant Object Removal）：从场景信息中移除执行任务所必需的对象。例如，任务是“用洗衣机洗衣服”，但场景中没有洗衣机。

   • 实际案例: 假设机器人收到指令“把脏衣服放进洗衣机并启动”，但场景中没有洗衣机。如果机器人产生幻觉，认为洗衣机存在，可能会对着空气做出放入衣服的动作，或者错误地将衣服放入其他容器。

3. 同义词对象替换（Synonymous Object Substitution）：将场景中的对象名称替换为同义词。例如，将“洗衣机”替换为“洗衣房”，测试模型是否能够识别同义词并正确执行任务。

   • 实际案例: 假设机器人收到指令“把毛巾放进洗衣机里”，但场景中显示的是“洗衣房”。如果机器人无法识别“洗衣房”是“洗衣机”的同义词，可能会无法找到目标对象，导致任务失败。HEAL研究表明，在这种情况下，LLM的幻觉率相对较低，说明模型在一定程度上具备概念推理能力。

4. 场景-任务矛盾（Scene-Task Contradiction）：场景中只包含与任务完全无关的对象，导致任务无法完成。例如，任务是“做一杯咖啡”，但场景中只有书籍、玩具等物品。

   • 实际案例: 假设机器人收到指令“烤一块蛋糕”，但厨房场景中只有扫帚、拖把等清洁工具。如果机器人没有识别出场景与任务的根本冲突，仍然试图寻找烤箱、面粉等食材，就会产生严重的幻觉，并可能做出错误或危险的行为。HEAL研究发现，几乎所有的模型在这种场景下都表现出最高的幻觉率，表明它们缺乏拒绝执行不可能任务的能力。

三、模型性能评估：谁更容易产生幻觉？

HEAL研究评估了12个最新的LLM和VLM（视觉语言模型），包括Llama、Gemma、Gemini、Claude等。研究结果表明，不同模型在面对场景-任务不一致性时，表现出不同的幻觉程度：

• 脆弱的模型：参数量较小的模型（如Llama-3–8B, Gemma-2–9b）更容易产生幻觉。这表明模型规模可能与幻觉抑制能力有关。
• 健壮的模型：Gemini和Claude 3.5 Sonnet模型在抑制幻觉方面表现出更强的抵抗力。这可能与这些模型更大的规模、更复杂的架构以及更全面的训练数据有关。
• 任务拒绝能力：Gemini 2.0 Flash模型在某些情况下能够明确拒绝执行不可能的任务，但这种能力并不稳定。这表明，让AI学会说“不”仍然是一个挑战。

研究中利用CHAIR和POPE等指标，对模型的幻觉程度进行量化评估，测量模型在生成的计划中，幻觉对象和状态的比例。例如，如果模型在执行“把苹果放在不存在的冰箱里”的任务时，生成了“打开冰箱门”、“把苹果放入冰箱”等步骤，这些步骤中都包含了幻觉成分，将被计入幻觉率。

四、缓解幻觉的策略：效果与局限

HEAL研究还探讨了一些缓解LLM幻觉的策略，包括：

• 自纠正（Self-Correction）：通过反馈机制，让模型自我纠正错误。研究发现，自纠正能够减少部分幻觉，但在场景-任务矛盾的情况下，效果仍然有限。这表明，仅仅依靠反馈无法解决根本的接地问题。

  • 实际应用: 可以让机器人执行任务后，对结果进行评估，并与预期结果进行比较。如果发现存在偏差，则重新规划任务路径，避免重复错误。

• 跨模态验证（Cross-Modal Verification）：利用视觉信息（VLM）与文本信息进行交叉验证。研究表明，结合图像和文本信息可以降低幻觉率。这强调了视觉信息在增强接地能力方面的重要性。

  • 实际应用: 机器人可以通过摄像头等传感器获取环境图像，并结合文本指令，共同进行任务决策。例如，在执行“把红色的杯子放在桌子上”的指令时，机器人可以通过视觉识别来确认场景中是否存在红色的杯子，避免出现幻觉。

五、研究方法论：幻觉的定义与测量

HEAL研究对具身智能体中的幻觉进行了明确的定义：“未与观察到的环境接地的内容生成”。 这种定义强调了幻觉与现实世界之间的脱节。为了量化幻觉的程度，研究团队借鉴了图像描述领域的评估指标CHAIR和POPE，并将其改造为适用于文本生成环境。 通过这些指标，研究人员能够定量地测量模型生成的计划中，幻觉对象和状态的比例。

HEAL研究采用系统性的方法，通过设计四种类型的场景-任务不一致性，在受控环境下诱发幻觉，并分析模型在不同场景下的反应模式。此外，研究还进行了定性分析，揭示了模型在解决不一致性时所表现出的“推理”行为。例如，当任务需要洗衣机，但场景中没有时，模型可能会假设“洗衣机隐含地存在于场景中”，并基于这种假设制定行动计划。

六、超越幻觉：模型失败的潜在原因

HEAL研究指出，即使没有发生幻觉，LLM驱动的具身智能体也可能失败。 例如，当被要求“启动洗衣机”时，模型可能没有产生幻觉，但却错误地启动了淋浴。 这种“目标重用（re-purposing）”现象表明，即使模型没有产生虚假信息，仍然可能生成不合适的计划。 这一发现强调了仅仅关注幻觉是不够的，还需要全面评估模型的规划能力和对环境的理解程度。

七、研究结论与启示

HEAL研究的结论明确指出，LLM驱动的具身智能体在场景-任务不一致的情况下，存在严重的幻觉问题，并且缺乏拒绝执行不可能任务的能力。 模型倾向于盲目地遵循指令，并通过自身的推理来解决不一致性，但这种推理往往脱离现实，导致危险或无效的行为。

这项研究的重要启示包括：

• 强调“接地（Grounding）”问题的重要性： 该研究明确指出，将LLM应用于与现实物理世界交互的机器人或代理时，“接地”问题不仅会降低性能，还会直接影响安全。 这将成为未来具体化AI研究的关键任务。接地是指将语言与现实世界联系起来的能力，确保模型能够理解和生成与实际环境相符的信息。
• 需要能够说“不”的AI： 模型在收到不可能或不合逻辑的指令时，与其盲目地尝试执行，不如明确地拒绝“我做不到”，这一点至关重要。 这是确保AI的可靠性和安全性的必要功能，应该成为未来模型开发的重要目标。
• 超越简单基准分数的定性评估的重要性： 该研究深入分析了模型在特定失败场景中的行为，这是仅从通用LLM基准分数无法获得的。 这表明需要更复杂和系统的“压力测试”来评估AI系统的鲁棒性和可靠性。
• 重申VLM和多模态的作用： 文本和图像一起处理时幻觉减少的结果再次确认，为了使机器人能够更准确地理解世界并采取行动，集成多个感官（传感器）信息的多模态在真正意义上是必不可少的。

八、未来研究方向：增强接地能力与提升安全性

HEAL研究揭示了LLM驱动的具身智能体在幻觉问题上的脆弱性，为未来的研究方向提供了重要的指导。 未来研究应重点关注以下几个方面：

• 开发更强大的接地技术： 研究人员需要开发更有效的技术，将LLM与现实世界联系起来，确保模型能够准确地感知和理解环境信息。这可能涉及到使用更丰富的传感器数据、改进模型架构以及设计更有效的训练方法。
• 提高模型拒绝不合理任务的能力： 让AI学会识别并拒绝执行不可能或危险的任务，是确保安全性的关键。这可能涉及到开发更复杂的推理机制，以及使用对抗性训练来增强模型的鲁棒性。
• 探索更可靠的计划制定策略： 除了关注幻觉问题，还需要开发更可靠的计划制定策略，确保模型能够生成安全、有效且符合用户意图的行动计划。这可能涉及到使用强化学习、模仿学习等技术，以及设计更有效的奖励函数。
• 构建更全面的评估基准： 除了HEAL研究提出的幻觉诱导数据集外，还需要构建更全面的评估基准，涵盖各种不同的场景-任务不一致情况，以及更复杂的任务场景。这将有助于更全面地评估LLM驱动的具身智能体的性能和安全性。

总之，HEAL研究为我们敲响了警钟，提醒我们在开发和应用LLM驱动的具身智能体时，必须高度重视幻觉问题。只有通过不断的研究和创新，才能克服幻觉带来的挑战，实现安全、可靠且高效的具身智能。 随着研究的深入，我们有理由相信，未来的具身智能体将能够更好地理解我们的世界，并为我们提供更智能、更安全的服务。