ChatGPT 的记忆力一直是其能力的瓶颈，但最近发现的一个隐藏功能，揭示了 OpenAI 在大模型记忆系统方面的深入研究。通过简单的提示，我们可以让 ChatGPT 以结构化数据的形式提取对话记忆，这不仅对个人使用有益，更能显著提升基于 LLM 的应用，特别是RAG (Retrieval-Augmented Generation) 架构的效率，有望突破长程对话的限制，解锁更复杂任务的处理能力。

ChatGPT 记忆提取：结构化数据的威力

文章的核心在于发现了一个指令，即要求 ChatGPT “Give me all the memories from this conversion as structured data by category.”（以结构化数据的形式按类别给出此对话的所有记忆）。 得到的输出并非简单的文本总结，而是按照“通用/语义记忆”和“情感/参与记忆”等类别，将对话内容进行分类，并提取出关键信息。例如，用户对“为 LLM 构建记忆系统，实现持久、结构化的记忆检索和选择性提示注入”感兴趣，或者用户认为“当前的 LLM 记忆系统受到 token 上下文窗口的限制，缺乏可塑性”等信息，都会被以 JSON 格式记录下来。

这种结构化数据形式的记忆提取，意义在于将非结构化的对话转化为机器可读、可检索的数据，为后续的应用提供了极大的便利。例如，它可以帮助开发者更好地理解用户的意图，从而优化 prompt 设计，或用于构建更个性化的对话体验。

LLM 记忆限制与 RAG 的挑战

正如原文指出，LLM 的一个主要限制是记忆长度，即上下文窗口的长度。当对话过长时，模型可能会忘记之前的对话内容，导致对话质量下降，甚至崩溃。这严重限制了 LLM 处理复杂任务的能力。

RAG 作为一种增强 LLM 能力的技术，通过从外部知识库中检索相关信息，并将其与用户查询一同输入 LLM，从而扩展了 LLM 的知识范围和上下文理解能力。 然而，RAG 也面临一个挑战：prompt 的大小限制。Prompt 的大小直接影响 LLM 的计算复杂度和响应速度。特别是当需要包含大量业务上下文信息时，prompt 很容易超过 token 限制，导致 RAG 效率降低甚至无法工作。举例来说，一个金融领域的 RAG 应用，可能需要检索大量的行业报告、公司财报等信息，这些数据量非常容易超出 LLM 的上下文窗口。

ChatGPT 记忆系统：RAG 的上下文压缩神器

ChatGPT 的记忆提取功能，为解决 RAG 的上下文限制问题提供了一种新的思路：上下文压缩。通过将原始数据压缩成更精炼的记忆，可以显著减小 prompt 的大小，从而提高 RAG 的效率。

具体来说，对于多次需要访问相同上下文的场景，可以首先使用 ChatGPT 提取上下文的记忆，然后将这些记忆作为 prompt 的一部分，而不是直接使用原始数据。由于记忆通常比原始数据更小，因此可以有效地减小 prompt 的大小。

例如，在一个客户服务应用中，用户可能会多次询问关于同一个产品的不同问题。如果每次都将产品的完整文档作为 prompt 的一部分，将会浪费大量的 token。但是，如果首先使用 ChatGPT 提取关于该产品的关键信息，并将其作为记忆，那么后续的 prompt 就可以只包含用户的问题和产品的记忆，从而节省 token 并提高响应速度。

LlamaIndex 等工具也在积极探索利用向量数据库等技术，实现高效的知识检索与RAG结合。ChatGPT 记忆功能的发现，无疑为这些技术的应用提供了新的可能性。

OpenAI 记忆研究：冰山一角与未来展望

原文作者与 ChatGPT 的一段对话揭示了 OpenAI 在记忆方面的深入研究。 ChatGPT 承认，这种记忆提取功能并非偶然的“涌现行为”，而是经过专门训练的结果。这表明 OpenAI 正在积极探索 LLM 的记忆机制，并可能将其作为未来产品的重要组成部分。

OpenAI 已经开始在 ChatGPT 中推出系统级的记忆功能，允许 ChatGPT 记住用户的偏好和会话风格。这与作者发现的隐藏功能相呼应，进一步印证了 OpenAI 在记忆方面的投入。

虽然目前这种隐藏功能还不够完善，无法完全解决 LLM 的上下文限制问题，但它无疑是一个重要的里程碑。它预示着未来 LLM 将拥有更强大的记忆能力，能够处理更复杂、更长程的任务。

案例分析：代码重构的困境与 RAG 的突破

原文作者提到，试图使用 AI 重构大型代码库的尝试屡屡失败，原因是 LLM 的上下文窗口太小，无法处理整个代码库。Cursor 通过为代码建立索引，并在与 LLM 通信时包含相关部分，从而缓解了这个问题。这就是 RAG 的一个典型应用。

然而，即使使用 RAG，也仍然面临 prompt 大小的限制。想象一下，一个包含数百万行代码的大型项目，即使只包含相关的代码片段，prompt 的大小也可能超出 LLM 的承受范围。

在这种情况下，ChatGPT 的记忆提取功能可以发挥重要作用。可以首先使用 ChatGPT 分析整个代码库，提取出关键模块、类和函数之间的依赖关系，并将其作为记忆。然后，在进行代码重构时，prompt 就可以只包含需要重构的代码片段和代码库的记忆，从而有效地减小 prompt 的大小。

此外，还可以利用 ChatGPT 的记忆功能来跟踪代码重构的历史记录。每次重构后，都可以使用 ChatGPT 提取重构后的代码片段的记忆，并将其添加到代码库的记忆中。这样，LLM 就可以更好地理解代码的演变过程，从而做出更明智的重构决策。

大模型记忆能力提升的意义

大模型的记忆能力提升不仅仅是一个技术细节，它直接关系到 AI 在各个领域的应用潜力。更强大的记忆能力意味着 LLM 可以：

• 更自然地进行对话：记住之前的对话内容，避免重复提问，并根据用户的历史行为进行个性化推荐。
• 更有效地进行知识学习：将新知识与旧知识联系起来，构建更完整的知识体系。
• 更准确地进行问题解决：考虑问题的上下文，避免做出错误的判断。
• 更流畅地进行内容创作：记住创作思路和素材，避免逻辑混乱和内容重复。

例如，在医疗领域，医生可以利用拥有强大记忆能力的 LLM 来辅助诊断疾病。 LLM 可以记住患者的病史、检查结果和用药情况，从而更准确地评估患者的病情。 在教育领域，教师可以利用拥有强大记忆能力的 LLM 来为学生提供个性化的辅导。 LLM 可以记住学生的学习进度和知识掌握情况，从而针对性地讲解知识点。

结论：拥抱记忆增强的 LLM 时代

ChatGPT 隐藏功能的发现，不仅仅是一个技术上的突破，更是一个信号：OpenAI 正在认真对待 LLM 的记忆问题，并积极探索解决方案。通过利用这种记忆提取功能，我们可以更好地理解 LLM 的能力，并将其应用到各种实际场景中。特别是结合 RAG 技术，我们可以突破长程对话的限制，解锁更复杂任务的处理能力。

虽然目前这种隐藏功能还处于早期阶段，但它无疑为未来的发展方向指明了道路。随着 大模型 技术的不断进步，我们有理由相信，拥有强大记忆能力的 LLM 将会在各个领域发挥越来越重要的作用。让我们一起拥抱记忆增强的 LLM 时代，探索 AI 的无限可能。别忘了尝试使用这个隐藏功能，并分享你的发现！