你是否曾好奇，像GPT或BERT这样的大型语言模型（LLM）是如何理解语句中词语顺序的？如果没有位置编码，它们将无法区分“猫坐在垫子上”和“垫子坐在猫上”这两句话，因为它们会丧失对词语顺序的感知能力。本文将深入探讨位置编码的作用、原理以及在大模型中的重要性。
Transformer 模型的局限性：缺乏对顺序的感知
Transformer架构是现代语言模型的核心，它以并行的方式处理输入的token，而不是像循环神经网络（RNN）那样按顺序逐字读取。虽然这种并行处理方式大大提高了速度，但也带来了一个问题：Transformer模型本身不具备理解词语顺序的能力。对于Transformer而言，“我爱AI”和“AI爱我”没有任何区别，这显然与人类的认知相悖，因为词语的顺序是表达意义的关键。
例如，在机器翻译任务中，如果模型无法正确理解词语顺序，那么翻译结果将会非常糟糕。考虑以下两个句子：“约翰打了比尔”和“比尔打了约翰”。如果模型忽略词语顺序，它可能会将两者都翻译成相同的结果，从而导致完全错误的理解。
词嵌入：语义表示的基础
在深入研究位置编码之前，我们需要了解什么是词嵌入。词嵌入是一种将离散数据（如单词、token或整个句子）表示为高维空间中的稠密、连续向量的方法。之所以需要词嵌入，是因为神经网络无法直接理解文本，它们只能处理数字。因此，我们需要将每个单词转化为一个向量，这个向量能够捕捉其含义、上下文以及与其他单词的关系。
一个好的词嵌入空间应该具有以下特性：
- 语义相似性： 语义相似的词语在向量空间中的距离应该较近。例如，“国王”的向量减去“男人”的向量加上“女人”的向量，应该接近“女王”的向量。
- 关系表示： 词嵌入应该能够捕捉词语之间的关系。例如，“巴黎”和“法国”的向量应该彼此接近，就像“东京”和“日本”一样。
这些词嵌入允许模型推理关系、类比以及超越原始文本的含义。例如，利用词嵌入，模型可以理解“苹果”和“梨”都属于“水果”的类别，即使训练数据中没有明确说明这一点。
位置编码：为 Transformer 注入顺序信息
为了让Transformer模型感知词语的顺序，我们需要向输入中注入一些额外的信息：位置编码。想象一下，我们将一个句子输入到模型中。每个单词都被转换为一个向量（通过词嵌入），但我们还需要告诉模型：“这是第一个词，这是第二个词，这是第三个词……”
位置编码正是为此而生。它们是可以学习的（或有时是固定的）向量，被添加到词嵌入中。这种词语含义和词语位置的结合，就是模型用来理解句子的关键。可以用以下公式简单表示：
最终输入 = 词嵌入 + 位置编码
这个简单的加法给模型提供了一个强大的线索：不仅每个词的意思，还有它在句子中的位置。
为什么不能让模型自己学习顺序？
一个很自然的问题是：模型是否可以通过检查模式来自己学习位置信息？理论上，一个足够大的模型可能尝试仅通过检查模式来学习位置。然而，在实践中，这种方法效率低下且容易出错。位置编码提供了一个有用的快捷方式，从一开始就赋予模型位置意识。
如果没有位置编码，模型就像在读一本所有页面都被打乱的书一样，只能猜测顺序。
位置编码的两种主要类型
有两种主要的位置编码：
-
正弦位置编码（Sinusoidal Positional Embeddings）： 这是原始Transformer论文中使用的编码方式。这些编码是固定的，在训练过程中不会被学习。它们使用不同频率的正弦和余弦函数来为每个token创建一个唯一的位置向量。使用正弦函数的原因是，它们允许模型推广到它以前没有见过的更长的序列。它们优雅且在数学上很巧妙。正弦位置编码的公式如下：
PE(pos, 2i) = sin(pos / (10000^(2i/d_model))) PE(pos, 2i+1) = cos(pos / (10000^(2i/d_model)))其中，
pos是词语在句子中的位置，i是向量的维度，d_model是词嵌入的维度。这种编码方式的优点在于，它能够生成相对位置信息，即模型可以根据位置向量的差异来判断两个词语之间的距离。
-
学习的位置编码（Learned Positional Embeddings）： 在像BERT这样的模型中，位置向量在训练期间被学习，就像学习词义一样。这提供了灵活性，但也意味着模型可能难以处理比训练期间看到的序列更长的序列。学习的位置编码通过神经网络的训练直接学习每个位置的向量表示。
例如，BERT 使用的就是学习的位置编码，它将位置信息也当作模型需要学习的参数，通过大量的语料进行训练，从而使得模型能够更好地理解序列中不同位置的词语之间的关系。
这种编码方式的优点在于，它可以更好地适应特定的任务和数据集，因为它能够学习到更加适合这些任务和数据的位置编码。
现实世界的例子：位置编码的重要性
假设我们给模型以下两个句子：
- “狗追逐猫。”
- “猫追逐狗。”
它们有相同的词，但顺序完全改变了含义。如果您从模型中删除位置编码，它将难以区分它们。每个词看起来都一样，序列变得模糊。
有了位置编码，模型就知道“狗”在“追逐”之前出现，“猫”在“追逐”之后出现。这个微小的改变对模型的输出产生了巨大的影响。
在情感分析任务中，位置编码也起着至关重要的作用。例如，考虑以下两个句子：
- “我喜欢这部电影，但不喜欢它的结局。”
- “我不喜欢这部电影，但喜欢它的结局。”
这两个句子只差一个“不”字的位置，但它们表达的情感却完全相反。如果没有位置编码，模型可能无法正确识别这种细微的差别，从而导致错误的情感判断。
新技术：旋转位置编码（RoPE）
近年来，这个领域涌现出了许多创新技术。例如，旋转位置编码（RoPE）被用于像DeepSeek和LLaMA这样的模型中。这些编码将位置信息直接嵌入到注意力机制中，特别适用于长上下文场景。
RoPE方法旨在解决传统位置编码的某些局限性，尤其是在处理长序列或跨语言理解方面。旋转位置编码（RoPE）的核心思想是利用旋转矩阵来表示位置信息。通过将位置信息编码成旋转角度，RoPE能够更好地处理长序列，并且具有良好的外推性，即能够处理比训练时更长的序列。
RoPE通过将位置信息与词嵌入向量进行旋转操作，使得模型能够更好地捕捉词语之间的相对位置关系。这种方法不仅能够提高模型的性能，还能够降低计算复杂度。
结论：位置编码是理解语言的关键
在讨论AI模型时，很容易忽略位置编码，但它们绝对是必不可少的。没有它们，Transformer就像一个没有方向感的GPS，拥有大量信息，但不知道任何东西的位置。
因此，下次您使用一个感觉像魔法的模型时，请记住：部分魔法来自于教导模型不仅单词的意思，还有它们所属的位置。位置编码是让大模型理解语义的关键组成部分，它们赋予模型理解词语顺序的能力，从而使其能够更准确地处理各种自然语言处理任务。
最后，如果你正在寻找一个强大的工具来处理你所有的生成式AI工作流程，从代码生成到文档编写，多代理协调等等，请查看IdeaWeaver。