你是否曾经渴望过一个能够准确回答问题，避免胡编乱造的主题公园助手？本文将带你了解如何利用 LangChain、FAISS 和 Hugging Face 构建一个基于 RAG (Retrieval-Augmented Generation) 的智能助手，打造一个没有“幻觉”的可靠问答系统。通过本文，你将了解到如何结合这些强大的工具，创建一个能够自信地说“我不知道”，而不是给出错误信息的智能助手。
RAG：提升大模型回答准确性的关键
RAG (Retrieval-Augmented Generation) 是本文的核心概念。它是一种将信息检索与文本生成相结合的技术，旨在提升大型语言模型（LLM）回答问题的准确性和可靠性。传统的 LLM 可能会在没有足够信息的情况下“幻觉”，即编造答案。而 RAG 通过在生成答案之前，先从一个可靠的信息源中检索相关信息，从而有效避免了这个问题。
具体来说，RAG 的工作流程如下：
- 信息检索： 当用户提出问题时，系统首先在预先构建的知识库中检索与问题相关的文档或段落。
- 信息融合： 将检索到的信息与原始问题一起输入到 LLM 中。
- 答案生成： LLM 根据检索到的信息和问题，生成最终的答案。
RAG 相当于给 LLM 在回答问题前做了“功课”，确保其答案是基于可靠的知识的。如果知识库中没有相关信息，模型会直接表示“我不知道”，避免给出错误的回答。
技术栈：LangChain、FAISS 和 Hugging Face 的完美结合
构建智能主题公园助手需要多种技术的协同工作。以下是文章中使用的关键技术栈：
- LangChain: 这是一个用于开发由语言模型驱动的应用程序的框架。它简化了与 LLM 的交互，并提供了各种工具和模块，例如文档加载、文本分割、检索和生成等。 在本文的案例中，LangChain 负责将搜索和生成过程连接在一起，构建整个 RAG 流程。
- FAISS: 这是一个由 Facebook AI Research 开发的高效相似性搜索库。它可以快速地在大规模向量数据集中查找与查询向量最相似的向量。在本文中，FAISS 用于存储和快速检索文本嵌入向量，从而实现高效的信息检索。
- Hugging Face Transformers: 这是一个提供了预训练语言模型和相关工具的库。它包含了各种各样的 LLM，例如 BERT、GPT、T5 等。在本文中，使用了 Hugging Face 的
flan-t5-base模型，它是一个轻量级的、经过指令调优的语言模型。此外，还使用了 Sentence Transformers 将文本嵌入为可搜索的向量。
Markdown：构建易于维护的知识库
文章选择 Markdown 格式来存储主题公园的信息，例如游乐设施开放时间、表演时间表、餐厅菜单等。
选择 Markdown 的原因如下：
- 易于阅读和编辑： Markdown 的语法简洁明了，即使非技术人员也能轻松阅读和编辑。
- 版本控制： Markdown 文件可以使用 Git 进行版本控制，方便团队协作和历史记录管理。
- 易于解析和分块： Markdown 文件可以方便地使用各种工具进行解析和分块，以便于 RAG 系统的处理。
实际应用中，可以根据主题公园的信息组织方式，将 Markdown 文件组织成不同的目录结构。例如，可以按照游乐设施、表演、餐饮等类别分别创建 Markdown 文件。
案例：
## 飞跃地平线
**开放时间：** 早上 9:00 - 晚上 9:00
**地点：** 探险世界
**描述：** 沉浸式飞行体验，带您环游世界。
文档分块：确保上下文完整性
为了更好地利用 Markdown 文件中的信息，需要将其分割成更小的块（chunks）。文章采用基于标题级别（#，##）的递归字符分割器，并且在块之间设置一定的重叠。
这种分块方式的优点在于：
- 保留上下文信息： 块之间的重叠确保了即使问题涉及多个部分，助手也能理解完整的上下文。
- 提高检索效率： 将文档分割成更小的块，可以提高检索的准确性和效率。
例如，如果一个问题的答案跨越了两个标题，重叠部分可以确保两个标题的内容都被检索到，从而提供更完整的答案。
文本嵌入：利用 Sentence Transformers 构建语义索引
为了实现高效的语义搜索，需要将文本转换为向量表示，即文本嵌入。文章使用了 Hugging Face 的 all-MiniLM-L6-v2 模型来生成文本嵌入。
from langchain.vectorstores import FAISS
from langchain.embeddings import HuggingFaceEmbeddings
embedding_model = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")
vectorstore = FAISS.from_documents(chunks, embedding_model)
vectorstore.save_local("vector_index")
这段代码首先加载 all-MiniLM-L6-v2 模型，然后使用该模型将文档块转换为向量表示，并将这些向量存储在 FAISS 索引中。
all-MiniLM-L6-v2 模型是一个轻量级的、高性能的 Sentence Transformers 模型，它能够将文本映射到低维向量空间，并且保持文本的语义信息。这使得 FAISS 能够快速地找到与查询向量最相似的文档块。
语言模型：选择 flan-t5-base 的考量
文章选择了 Hugging Face 的 flan-t5-base 模型作为语言模型。选择该模型的原因在于：
- 轻量级：
flan-t5-base模型相对较小，可以在本地运行，无需依赖外部 API。 - 指令调优： 该模型经过指令调优，能够更好地理解和执行用户指令。
- 一致性输出： 通过设置
do_sample=False，可以确保模型输出一致的答案。
from transformers import pipeline
llm_pipeline = pipeline(
"text2text-generation",
model="google/flan-t5-base",
tokenizer="google/flan-t5-base",
max_length=512,
max_new_tokens=200,
do_sample=False
)
这段代码创建了一个 pipeline 对象，用于与 flan-t5-base 模型进行交互。
Prompt 工程：防止模型幻觉的关键
Prompt 工程 在 RAG 系统中至关重要，它可以引导语言模型按照预期的方式生成答案。为了防止模型幻觉，文章设计了一个定制的 Prompt，明确指示模型只使用上下文中提供的信息来回答问题，并且在无法找到答案时，明确表示“我不知道基于可用的信息”。
You are a helpful assistant for a theme park.
Use ONLY the information provided in the context below to answer the question.
If the answer cannot be found in the context, respond with:
"I don't know based on the available information."
这个 Prompt 简单明了，有效地限制了模型的输出范围，避免了模型生成不准确或不相关的答案。
案例：
假设用户提问：“明日世界的太空山何时开放？”
如果知识库中包含以下信息：
## 太空山
**地点：** 明日世界
**开放时间：** 早上 10:00 - 晚上 8:00
模型会根据 Prompt 和检索到的信息，生成以下答案：
“明日世界的太空山早上 10:00 开放，晚上 8:00 关闭。”
如果知识库中没有关于太空山的信息，模型会回答：
“我不知道基于可用的信息。”
LangChain 集成：构建完整的 RAG 流程
LangChain 将上述所有组件整合在一起，构建了一个完整的 RAG 流程。
from langchain.chains import RetrievalQA
qa_chain = RetrievalQA.from_chain_type(
llm=llm_pipeline,
retriever=retriever,
chain_type="stuff",
chain_type_kwargs={"prompt": custom_prompt},
return_source_documents=True
)
这段代码创建了一个 RetrievalQA 对象，它将语言模型、检索器和 Prompt 组合在一起。
RetrievalQA 类提供了一种便捷的方式来构建 RAG 系统。它可以自动地检索相关信息，将其传递给语言模型，并生成最终的答案。
实战测试：验证助手的可靠性
文章使用了一系列问题来测试智能主题公园助手的可靠性。这些问题包括：
- “有哪些纯素餐饮选择？”
- “晚上有烟花表演吗？”
- “丛林探险现场秀在哪里？”
测试结果表明，如果知识库中存在相关信息，助手能够准确地回答问题。如果知识库中没有相关信息，助手能够礼貌地回答“我不知道基于可用的信息”。
实际应用：打造无幻觉的智能助手
通过以上步骤，我们成功构建了一个基于 RAG 的智能主题公园助手，有效地避免了模型幻觉，并提供了可靠的答案。
这种 RAG 方法具有广泛的应用前景，可以应用于各种场景，例如：
- 博物馆： 为游客提供关于展品的详细信息。
- 博览会： 回答关于参展商和产品的问题。
- 节日： 提供关于活动日程和地点的信息。
更进一步，可以结合语音识别技术，构建一个真正的语音助手，让用户可以通过语音提问，获得即时答案。例如，游客可以通过语音询问“最近的洗手间在哪里？”，助手可以根据位置信息，给出准确的指引。
结合 LLM 的生成能力，还能提供更加个性化的服务。 例如，根据用户的偏好，推荐适合他们的游乐设施或表演。
总结：RAG 的优势与未来展望
总而言之，使用 LangChain、FAISS 和 Hugging Face 构建的 RAG 系统具有以下优势：
- 避免幻觉： 答案仅基于可靠的文档。
- 易于维护： 只需更新 Markdown 文件即可更新知识库。
- 快速高效： 本地运行，无需依赖外部 API。
- 通用性强： 可应用于各种场景。
随着大模型技术的不断发展，RAG 将会变得越来越重要。它不仅可以提高 LLM 的准确性和可靠性，还可以扩展 LLM 的应用范围。未来，我们可以期待更多基于 RAG 的创新应用，为人们的生活带来更多便利。
感谢阅读，祝您旅途愉快！