在 2025 年，借助大模型技术的飞速发展，特别是新一代 Embedding 模型 的出现，曾经繁琐的 RAG (Retrieval-Augmented Generation，检索增强生成)流程正在经历一场深刻的变革。过去，为了让 RAG 系统能够理解和处理文档，我们不得不投入大量时间进行文档的 预处理。现在，许多过去必需的步骤已经变得不再必要。那么，未来的 RAG 究竟会是什么样子？我们是否真的可以告别耗时的预处理，直接拥抱高效便捷的文档问答体验？
RAG 的演进：从繁琐的预处理到智能的 Embedding 模型
回顾过去，构建一个智能的问答应用，意味着需要首先解决数据质量问题。这通常涉及一系列复杂的 预处理 步骤，包括：
- 文本分割：将长文本分割成便于检索的较小块。
- 格式清理：移除格式混乱和特殊字符。
- 语言翻译：将非英文内容翻译成目标语言。
- OCR 处理：修复扫描 PDF 中的 OCR 错误。
- 文本摘要：对过长的文本块进行摘要。
例如，想象一下，你需要处理一份复杂的法律 PDF 文件。在传统的 RAG 流程中，你需要首先运行 OCR 识别，然后进行文本清理，再将文本分割成小节，最后才能生成 Embedding。仅仅是数据准备，就需要花费大量的时间和精力。
然而，随着大模型的进步，特别是新一代 Embedding 模型 的出现，情况发生了根本性的改变。这些模型，如 Xenova/multilingual-e5-large、OpenAI text-embedding-3B 和 GE-M3，已经在大量的、真实的、充满噪声的文本数据上进行了训练。它们能够自然地处理：
- 混合语言
- 拼写错误和 OCR 噪声
- 长段落
- 无需过度分块
这意味着，你可以直接将 messy 的法律 PDF 文件上传到系统中，Embedding 模型 会自动处理这些问题，生成高质量、可用的 Embedding。无需繁琐的预处理，即可直接进行问答。
新一代 Embedding 模型：RAG 的核心驱动力
Embedding 模型 的核心作用是将文本信息转化为向量表示，使得计算机能够理解文本的语义信息。传统的 Embedding 模型可能无法很好地处理真实世界中文档的复杂性，例如多语言、噪声、长文本等。而新一代 Embedding 模型 通过以下方式克服了这些挑战：
- 大规模预训练：这些模型通常在大规模的文本数据集上进行预训练，学习了丰富的语言知识和上下文信息。例如，OpenAI 的 text-embedding-3 模型在海量数据上进行了训练，可以生成高质量的 Embedding，能够捕捉文本的细微语义差异。
- 多语言支持：许多新一代 Embedding 模型 具有多语言支持能力，可以直接处理不同语言的文本，无需额外的翻译步骤。这对于处理多语言文档的 RAG 系统至关重要。Xenova/multilingual-e5-large 就是一个很好的例子，它支持多种语言，并能生成高质量的多语言 Embedding。
- 噪声鲁棒性：这些模型对噪声具有更强的鲁棒性，可以容忍拼写错误、OCR 错误等。这意味着，即使文档质量不高，仍然可以生成有效的 Embedding。GE-M3 模型在这方面表现出色，能够处理包含大量噪声的文本数据。
- 长文本处理能力：一些 Embedding 模型 具有处理长文本的能力，无需将文本过度分割成小块。这可以减少文本分割带来的信息损失，提高 RAG 系统的性能。
例如，一个真实案例是，某公司需要构建一个基于大量法律文件的智能问答系统。这些法律文件包含扫描件、不同语言的合同、以及大量的专业术语。使用传统的 RAG 流程，需要花费大量时间进行文档预处理，包括 OCR 识别、语言翻译、术语标准化等。而使用新一代 Embedding 模型，可以直接将这些文件上传到系统中，Embedding 模型 会自动处理这些复杂性，生成高质量的 Embedding，极大地提高了开发效率和系统性能。
预处理的未来：必要性的重新评估
尽管新一代 Embedding 模型 已经可以处理许多过去需要 预处理 才能解决的问题，但这并不意味着预处理完全没有必要。在某些情况下，适度的预处理仍然可以提高 RAG 系统的性能：
- 移除大型表格/图片：大型表格和图片可能包含大量无关信息，影响 Embedding 的质量。
- 将大型文档分割成较小部分：即使 Embedding 模型 能够处理长文本，但将大型文档分割成较小部分仍然可以提高检索效率。
- 修剪不相关的内容：移除与问答无关的内容，可以减少噪声，提高 Embedding 的质量。
然而，与过去相比，预处理 的重要性已经大大降低。我们不再需要花费大量时间编写复杂的清理脚本，而是可以将更多的精力放在模型选择、参数调优等方面。
例如，一个典型的场景是，你需要处理一份包含大量图片的 PDF 文档。在这种情况下，你可以先将图片移除，然后再将文本上传到 RAG 系统。这样做可以减少图片带来的噪声，提高 Embedding 的质量。另一个例子是，你需要处理一份非常长的研究报告。在这种情况下，你可以将报告分割成章节，然后分别生成 Embedding。这样做可以提高检索效率，减少响应时间。
RAG 的未来：拥抱智能、高效的文档问答体验
新一代 Embedding 模型 正在推动 RAG 技术走向智能化、高效化。我们可以预见，在未来，构建一个智能的文档问答系统将变得更加容易：
- 更快的开发速度：由于减少了 预处理 的工作量，开发人员可以更快地构建 RAG 系统，并更快地迭代。
- 更高的系统性能：新一代 Embedding 模型 可以生成更高质量的 Embedding，提高 RAG 系统的检索准确性和问答质量。
- 更广泛的应用场景：RAG 技术将可以应用于更广泛的场景，例如法律、金融、医疗等领域。
正如文章作者 Faraaz Khan 所说，他正在使用最新的 RAG 技术重建 asktopdf，利用更智能、多语言的 Embedding 模型。这意味着：
- 不再有脆弱的脚本
- 不再有奇怪的格式错误
- 不再需要花费大量时间仅仅为了 “使其工作”
相反，他正在创建一个快速、智能、即插即用的文档问答体验，该体验可以真正理解您的文档，即使它们是扫描的、混乱的或使用多种语言编写的。
总结：拥抱 RAG 的未来
2025 年的 RAG，不再需要繁琐的 预处理。新一代 Embedding 模型 正在改变游戏规则，让我们可以更轻松地构建智能的文档问答系统。尽管适度的预处理仍然有其价值，但我们应该将重点放在模型选择、参数调优等方面，拥抱智能、高效的文档问答体验。现在是时候告别过去，迎接 RAG 的未来了。 通过利用强大的 Embedding 模型，我们可以节省时间，减少错误，并更快地构建强大的问答系统。拥抱 RAG 的未来，从拥抱新一代 Embedding 模型 开始。