注意力机制是现代大模型的核心组件，而 DeepSeek 提出的原生稀疏注意力 (Native Sparse Attention, NSA) 正是针对现有注意力机制在长文本处理上的瓶颈而设计的一种全新方案。本文将深入剖析 NSA 的原理、优势以及它对未来大模型发展的潜在影响。
全注意力机制的挑战：算力与效率的瓶颈
Transformer 模型依赖于全注意力机制，该机制允许每个 token 都关注序列中的所有其他 token，从而捕捉 token 之间的复杂关系。正如 “Attention is all you need” 一文所描述的，全注意力机制在很多任务上取得了显著的成功。然而，其计算复杂度为 O(n²)，其中 n 是序列长度。这意味着随着文本长度的增加，所需的计算资源呈平方级增长，导致在处理长文本时面临严重的算力挑战和效率问题。例如，处理一篇几万字的文档，或者一部电影的字幕，全注意力机制所需的 GPU 资源和时间成本将非常高昂。现有的 KV cache虽然优化了推理速度，但对于超长文本依然捉襟见肘。
稀疏注意力：打破算力瓶颈的尝试
为了解决全注意力机制的挑战，研究人员提出了稀疏注意力机制。稀疏注意力旨在减少每个 token 需要关注的其他 token 的数量，从而降低计算复杂度。现有的稀疏注意力方法通常是在训练完成后进行稀疏化，然而，这种事后稀疏化往往会导致性能下降，无法与全注意力机制相媲美。这就像是给一个运动员强行增加限制，虽然可以降低能耗，但同时也限制了他的发挥。
DeepSeek NSA：原生稀疏，为长文本而生
DeepSeek 的 原生稀疏注意力 (NSA) 与现有稀疏注意力方法的关键区别在于，NSA 从一开始就以稀疏的方式进行训练。这意味着模型在训练过程中就学习如何选择性地关注重要的信息，而不是在训练完成后再进行强制稀疏化。NSA 采用了硬件友好的设计，旨在充分利用 GPU 的计算能力。同时，NSA 专门针对长文本处理进行了优化，使其能够高效地处理长篇文章、书籍甚至视频转录等数据。
NSA 的核心组件：压缩、选择与滑动窗口
NSA 采用了三种不同的稀疏注意力机制：压缩注意力、选择注意力和滑动窗口注意力。每种机制都提供了不同的视角，使模型能够从不同的角度关注输入文本。
- 压缩注意力 (Compression Attention)：压缩注意力将输入向量划分为多个块，并对每个块进行压缩，生成一个代表该块的向量。这相当于对文本进行概要，提取最重要的信息。例如，在一个描述新闻事件的长段落中，压缩注意力可能会将重点放在事件的发生时间、地点和主要参与者上。通过对压缩后的向量应用注意力机制，可以降低计算复杂度，并提高模型的全局理解能力。如下图所示，压缩注意力对输入Key和Value向量进行分块压缩，大幅减少后续计算量：
[Image adapted from DeepSeek’s Native Sparse Attention paper (2024)]
- 选择注意力 (Selection Attention)：选择注意力利用压缩注意力计算出的重要性得分，选择最重要的 top-k 个块。然后，模型只关注这些选定的块，从而进一步降低计算复杂度。这就像是优先关注最重要的线索，从而更快地找到问题的答案。例如，在一个包含多个观点的文章中，选择注意力可能会选择那些最能代表作者立场或最受关注的观点。压缩注意力计算出的alpha值，在此处用于筛选top-k块，如下图所示：
[Image adapted from DeepSeek’s Native Sparse Attention paper (2024)]
- 滑动窗口注意力 (Sliding Window Attention)：滑动窗口注意力使用一个固定大小的窗口在输入文本上滑动，并只关注窗口内的 token。这种机制类似于卷积神经网络中的卷积操作，可以捕捉局部信息和上下文关系。例如，在处理语音信号时，滑动窗口注意力可以关注相邻音素之间的关系，从而提高语音识别的准确性。如下图所示，滑动窗口在原始的 Key和Value向量上滑动计算注意力：
[Image adapted from DeepSeek’s Native Sparse Attention paper (2024)]
门控融合：动态组合，各取所长
为了将这三种注意力机制的优势结合起来，NSA 采用了一种门控融合机制。该机制使用一个多层感知机 (MLP) 来学习每种注意力机制的权重。然后，模型根据这些权重对每种注意力机制的输出进行加权求和，生成最终的注意力输出。这种动态组合的方式可以使模型根据不同的输入自适应地调整每种注意力机制的贡献，从而实现最佳的性能。这种门控融合，克服了简单加权平均的弊端，通过神经网络的学习能力，动态调整不同注意力方法的权重，如下图所示：
[Image adapted from DeepSeek’s Native Sparse Attention paper (2024)]
NSA 的未来：长文本理解与大模型进化
原生稀疏注意力 (NSA) 不仅仅是一种新的注意力机制，它更是一种新的设计理念。NSA 强调在训练过程中学习稀疏性，并针对硬件进行优化。这种设计理念有望推动大模型在长文本处理和算力效率方面取得更大的突破。随着上下文长度的持续增长，从文档到完整的书籍和视频文字记录，NSA 为构建高效、准确和上下文感知的大模型提供了一个有希望的方向，而不会陷入计算成本的泥潭。
设想一下，如果能够将 NSA 应用于医学领域，模型就可以高效地处理大量的医学文献，从而加速新药的研发和疾病的诊断。如果能够将 NSA 应用于法律领域，模型就可以快速地分析大量的法律文件，从而提高法律服务的效率和质量。如果能够将 NSA 应用于教育领域，模型就可以根据学生的学习情况，个性化地推荐学习资源，从而提高学生的学习效果。
结论：扬长避短，未来可期
并非所有信息都值得完全关注，有些信息注定会被忽略。DeepSeek 的 原生稀疏注意力(NSA) 提供了一种全新的视角，它重新思考了稀疏性应该如何学习。NSA 训练时就考虑稀疏性，允许模型学习何时应该关注局部信息，何时应该关注全局信息，以及何时应该依赖压缩的全局摘要。这种 GPU 友好的、可扩展的方式，为下一代注意力机制提供了一个引人注目的基准。无论 NSA 是否会成为新的默认选择，或者启发混合方法，它都预示着大模型更智能，更高效的未来。
References
[1] Vaswani et al., “Attention Is All You Need”, NeurIPS 2017.
[2] DeepSeek Research, “Native Sparse Attention”, arXiv:2502.11089