在自然语言处理（NLP）领域，大型语言模型（LLM）的发展一直是研究的热点。近年来，随着深度学习技术的不断进步，LLM在各种语言任务中展现出了卓越的性能。然而，传统的自回归模型（ARM）在处理长序列和复杂任务时存在一定的局限性。为了突破这些限制，研究者们开始探索新的模型架构，其中之一就是基于扩散模型的大型语言模型，LLaDA。
LLaDA模型简介
LLaDA是一种新型的大型语言模型，它采用了类似于扩散模型的训练方式。这种模型通过一个前向的数据掩蔽过程和一个反向的过程来建模数据分布，使用Transformer来预测被掩蔽的标记。通过优化一个似然界限，LLaDA能够实现原则性的贝叶斯推断。
模型性能
LLaDA在多个基准测试中展现出了强大的可扩展性，超越了自建的ARM基线。特别是在上下文学习（in-context learning）和指令遵循（instruction-following）方面，LLaDA 8B与LLaMA3 8B相比具有竞争力。经过监督式微调后，LLaDA在指令遵循任务上表现出色，甚至在反转诗歌补全任务中超过了GPT-4o，解决了所谓的“反转诅咒”。
模型方法
概率公式化
LLaDA通过前向和反向过程来建模数据分布，这与自回归模型不同。在前向过程中，模型逐步掩蔽序列中的标记，直到完全掩蔽；而在反向过程中，模型通过预测被掩蔽的元素来恢复标记。掩蔽预测器基于部分掩蔽的输入预测所有被掩蔽的标记，并使用仅应用于被掩蔽标记的交叉熵损失进行训练。
LLaDA的训练目标是负对数似然的上界，使其成为一个原则性的生成模型。与使用固定掩蔽比率的掩蔽语言模型不同，LLaDA应用随机掩蔽比率，提高了可扩展性，并使得上下文学习更加自然。其生成公式确保了费舍尔一致性，预示着在大规模应用中的潜力。
预训练
LLaDA使用了与现有LLM相似的基于Transformer的架构，但没有因果掩蔽，允许模型在预测时看到整个输入。与标准LLM不同，LLaDA不支持KV缓存，因此使用了普通的多头注意力和降低的FFN维度来平衡参数数量。
LLaDA在2.3万亿个标记上进行了预训练，固定序列长度为4096个标记，并使用了0.13百万H800 GPU小时。训练中使用了蒙特卡洛采样来估计目标函数。为了更好地处理可变长度数据，1%的预训练样本具有1到4096标记之间的随机序列长度。
监督式微调
LLaDA通过使用450万个提示-响应对进行监督式微调（SFT），提高了指令遵循能力。SFT训练模型根据提示预测响应，通过建模条件分布。提示保持未掩蔽，而响应标记被掩蔽并预测。
推理
LLaDA支持文本生成和似然评估。在生成方面，它通过离散化反向过程来采样响应，从完全掩蔽的响应开始，并迭代预测标记。采样步骤的数量控制了效率和质量之间的权衡。
为了提高采样精度，预测的标记在每一步中被重新掩蔽，以与前向过程对齐。作者探索了两种重新掩蔽策略：用最低置信度分数替换预测的标记（低置信度重新掩蔽）和在微调后从左到右逐块生成文本（半自回归重新掩蔽）。
对于似然评估，LLaDA利用损失函数的低方差重构，以实现更稳定的的概率估计。此外，它还使用无监督的分类器自由引导来提高评估质量。
实验结果
实验表明，LLaDA在与ARM的竞争中展现出了强大的可扩展性，在MMLU和GSM8K上超越了它们，并在更大规模的一些任务上缩小了差距。
LLaDA 8B在15个基准测试中与类似规模的现有LLM进行了上下文学习和指令遵循的评估，涵盖了一般任务、数学、代码和中文。在2.3T标记的预训练后，LLaDA 8B在几乎所有任务上都超越了LLaMA2 7B，并与LLaMA3 8B竞争，在数学和中文任务上显示出优势。数据质量和分布的差异可能解释了性能上的差异。
SFT在大多数任务上提高了性能，尽管像MMLU这样的一些任务得分较低，可能是由于SFT数据质量不佳。没有RL对齐，LLaDA 8B Instruct的表现略低于LLaMA3 8B Instruct。
LLaDA在反转推理方面进行了测试，使用了496对著名中文诗歌句子对的数据集，模型需要在没有微调的情况下生成下一句（正向）或上一句（反转）。与GPT-4o和Qwen 2.5在正向和反转任务之间显示出性能差距不同，LLaDA在两个方面都表现出色，有效地克服了反转诅咒。这一成功是在没有任务特定修改的情况下实现的，可能归功于LLaDA的统一标记处理，避免了自回归模型的归纳偏差。
此外，还分析了重新掩蔽策略和采样步骤对性能的影响。案例研究展示了LLaDA 8B Instruct生成流畅、扩展文本的能力，参与多轮对话，保留对话历史，并支持多种语言，标志着与传统ARM的重大转变。
LLaDA模型的创新点
LLaDA模型的创新之处在于其独特的训练方法和架构设计。与传统的自回归模型相比，LLaDA通过扩散模型的方式进行训练，这使得模型在处理长序列和复杂任务时更加有效。以下是LLaDA模型的几个关键创新点：
- 概率公式化：LLaDA通过前向和反向过程来建模数据分布，这种概率公式化的方法使得模型能够进行原则性的贝叶斯推断。
- 随机掩蔽比率：与传统的掩蔽语言模型不同，LLaDA应用随机掩蔽比率，这提高了模型的可扩展性，并使得上下文学习更加自然。
- 无因果掩蔽的Transformer架构：LLaDA使用了与现有LLM相似的基于Transformer的架构，但没有因果掩蔽，允许模型在预测时看到整个输入。
- 监督式微调（SFT）：LLaDA通过SFT提高了指令遵循能力，这使得模型能够更好地理解和执行复杂的指令。
- 文本生成和似然评估：LLaDA支持文本生成和似然评估，这为模型的应用提供了更多的灵活性。
- 反转诅咒的克服：LLaDA在反转诗歌补全任务中表现出色，有效地克服了反转诅咒，这表明模型在处理复杂语言任务时具有强大的能力。
LLaDA模型的应用前景
LLaDA模型的出现为大型语言模型的发展提供了新的方向。其独特的训练方法和架构设计使得模型在处理长序列和复杂任务时更加有效。以下是LLaDA模型的几个潜在应用前景：
- 自然语言理解：LLaDA模型可以用于提高自然语言理解任务的性能，如情感分析、文本分类等。
- 机器翻译：由于LLaDA模型支持多种语言，它可以用于提高机器翻译的准确性和流畅性。
- 文本生成：LLaDA模型可以用于生成流畅、扩展的文本，这在内容创作、自动摘要等领域具有广泛的应用。
- 对话系统：LLaDA模型能够参与多轮对话并保留对话历史，这使得它在构建智能对话系统方面具有潜力。
- 教育和研究：LLaDA模型在数学和中文任务上展现出优势，这表明它可以在教育和研究领域发挥作用，如辅助教学、研究分析等。
- 多模态应用：LLaDA模型的统一标记处理和强大的语言理解能力，使其在多模态应用中具有潜力，如图像描述、视频字幕生成等。
总之，LLaDA模型作为一种新型的大型语言扩散模型，其独特的训练方法和架构设计使其在处理长序列和复杂任务时展现出了强大的性能。随着研究的深入，LLaDA模型有望在自然语言处理领域的多个应用中发挥重要作用。