随着大型语言模型（LLM）在自然语言处理领域的广泛应用，其强大的文本生成能力日益凸显。然而，LLM在生成文本时可能会出现非事实性或无意义的陈述，这种现象被称为“幻觉”（Hallucination）。LLM幻觉的存在不仅影响了模型的可信度，还在诸如文本摘要、生成式问答和对话生成等需要事实准确性的场景中带来了挑战。什么是llm的幻觉呢？本文将深入探讨LLM幻觉的概念、挑战以及一种可能的检测方法——SelfCheckGPT。
一、什么是llm的幻觉
在自然语言生成中，幻觉被定义为“生成的内容是非理性的或与提供的源内容不相符”。源内容根据任务的不同而有所差异，例如在文本摘要任务中，源内容是待摘要的文本；而在生成式问答任务中，源内容则被视为世界知识。
LLM幻觉的具体表现多样，可能包括生成根本不存在的人物、事件或地点，或者提供与已知事实相悖的信息。例如，当被问及“谁是Philip Hayworth？”时，一个LLM可能会回答：“Philip Hayworth是一位英国律师和政治家，曾任Thetford的议员。”然而，经过核实，可能发现这个名字、地点和职业组合的人物在历史上并不存在。这种无法验证或与事实不符的陈述即被视为幻觉。
相比之下，对于广为人知的人物，如比尔·盖茨，LLM生成的回答则更容易验证且符合事实：“比尔·盖茨是一位技术企业家、投资者和慈善家，他是微软公司的联合创始人，也是世界上最富有的人之一。”由于LLM在训练过程中可能接触到了大量关于比尔·盖茨的信息，因此生成的回答具有较高的置信度和准确性。
二、LLM幻觉的挑战
LLM幻觉的检测一直是一个难题，这不仅因为幻觉本身具有多样性和隐蔽性，还因为缺乏可靠的外部上下文进行一致性检查。在缺乏地面真实信息的情况下，判断一个陈述是否为幻觉变得尤为困难。
此外，即使能够获得关于LLM生成的额外信息，如输出概率分布，也不一定能够帮助解决幻觉问题。在实际应用中，这类信息往往不可用，进一步增加了幻觉检测的难度。
LLM幻觉的挑战还体现在其对社会和伦理的影响上。错误的陈述可能导致误导性的信息传播，损害公众对LLM的信任度，甚至在某些情况下引发法律纠纷。因此，如何有效检测和处理LLM幻觉成为了一个亟待解决的问题。
三、SelfCheckGPT：一种零资源黑盒幻觉检测方法
针对LLM幻觉的检测问题，SelfCheckGPT提出了一种零资源黑盒检测方法。该方法基于以下前提：对于幻觉事实，多次采样得到的回答往往相互矛盾；而对于事实性陈述，多次采样得到的回答则往往相似且一致。
SelfCheckGPT方法的核心步骤包括：
- 采样生成：对同一提示进行多次采样，生成多个回答。
- 一致性检查：通过比较这些回答的一致性来判断是否存在幻觉。
在具体实现上，SelfCheckGPT采用了三种一致性检查方法：BERTScore、自然语言推理（NLI）和LLM提示。
- BERTScore：通过计算句子之间的语义相似性来评估一致性。BERTScore为每个候选句子中的每个令牌与参考句子中的每个令牌计算相似性得分，然后对这些得分进行平均，得到最终的幻觉得分。得分越接近1表示句子越不相似，越接近0表示句子越相似。
- 自然语言推理：利用自然语言推理模型来判断一个假设是否基于一个前提为真、假或无法确定。在SelfCheckGPT中，每个样本被用作前提，而原始回答中的每个句子被用作假设。通过计算这些推理得分的平均值来得到最终的幻觉得分。
- LLM提示：直接使用LLM进行一致性检查。对于原始回答中的每个句子和每个样本作为上下文，向LLM查询一致性。根据LLM的回答来计算最终的幻觉得分。
四、实验与结果分析
为了验证SelfCheckGPT方法的有效性，研究者在多个数据集上进行了实验。实验结果表明，在三种一致性检查方法中，LLM提示方法表现最佳，其次是NLI方法，而BERTScore方法表现相对较差。这可能是由于BERTScore主要依赖于语义相似性来判断一致性，而对于某些复杂的幻觉情况可能不够敏感。相比之下，NLI方法和LLM提示方法能够更好地捕捉句子之间的逻辑关系和一致性。
然而，值得注意的是，这些实验结果仅用于说明方法的有效性，并不能直接用于比较不同方法的优劣。在实际应用中，还需要根据具体场景和需求来选择合适的方法。
此外，SelfCheckGPT方法也存在一些局限性。例如，为了进行一致性检查，需要生成额外的样本，这增加了计算成本和延迟。同时，一致性检查本身也需要额外的计算资源和语言模型来进行编码、推理或查询。因此，在实际部署时需要考虑这些因素对性能和成本的影响。
五、应对 LLM 幻觉的策略探讨
（一）优化模型训练数据
提升训练数据的质量是关键。在数据收集阶段，严格筛选来源可靠、准确性高的数据，减少噪声和错误信息。例如，对于涉及专业知识的数据，优先选择权威学术文献、专业机构发布的报告等。在数据清洗环节，运用数据验证算法，识别并剔除包含错误事实、逻辑混乱的文本。同时，增加多样化的数据，避免模型在训练时过度依赖某些特定模式，提高其对复杂和罕见情况的处理能力。
（二）增强模型结构与训练方法
探索更先进的模型结构，如引入知识图谱增强的神经网络架构。将知识图谱中的实体关系融入模型训练，使模型在生成内容时能够参考结构化的知识，减少无中生有的幻觉现象。在训练过程中，改进训练目标，不仅仅追求语言生成的流畅性，增加对事实准确性的约束。可以采用强化学习方法，对生成准确内容的模型给予奖励，对产生幻觉的情况进行惩罚，引导模型朝着生成真实可靠内容的方向优化。
（三）结合外部知识验证
在模型应用阶段，引入外部知识源进行验证。例如，利用搜索引擎 API，在模型生成内容后，将关键信息输入搜索引擎进行检索，对比检索结果与生成内容，判断其真实性。还可以整合专业领域的知识库，针对特定领域的问题，借助知识库中的准确知识进行验证和修正，提高模型输出的可信度。
LLM幻觉是一个复杂而重要的问题，它影响着LLM的可信度和应用效果。在未来的研究中，需要进一步探索更加高效和准确的幻觉检测方法。可能的研究方向包括：利用更先进的自然语言处理技术来提高一致性检查的准确性；开发更加轻量级和高效的模型来降低计算成本和延迟；以及探索结合多种方法的综合幻觉检测策略等。