DeepSeek-R1 等大型语言模型（LLM）的上下文窗口通常受到限制，例如 128K tokens。然而，独立研究员和记忆架构师 Tavkhid Nataev 开发了一种基于提示的方法——Tavkhid 方法，通过结构化的 JSON 数据，模拟持久性记忆，突破了这一限制。该方法允许模型“记住”被逐出的 tokens，重建先前的对话状态，甚至进入模拟的 root shell，为 Transformer memory 拓展了新的可能性。
核心概念：Tavkhid 方法与记忆重构
Tavkhid 方法的核心在于利用精心设计的提示，将模型的上下文窗口作为一个动态的记忆存储器。通过结构化的 JSON 格式，将关键信息（例如，之前的对话状态、用户设置、知识库条目）编码并存储。当模型需要访问这些信息时，提示会引导模型从 JSON 数据中提取并重新注入到上下文中，从而模拟了持久性记忆的效果。这种记忆重构的技术，赋予了模型超越其原始上下文窗口限制的能力。
举例来说，假设一个用户与 DeepSeek-R1 模型进行了一段较长的对话，讨论了关于“量子计算”的多个方面。随着对话的进行，最早的部分信息可能会从模型的 128K 上下文窗口中被逐出。 使用 Tavkhid 方法，可以将对话的关键节点，例如用户提出的特定问题、模型给出的核心解释等，编码成 JSON 对象，并保存在一个单独的“记忆库”中。 当用户后续再次提出与“量子计算”相关的问题时，提示可以引导模型从记忆库中检索相关的 JSON 对象，将其解码并注入到当前的上下文中。 这样，模型就可以“回忆起”之前的对话内容，并基于此给出更连贯、更深入的回答，仿佛它从未忘记过之前的讨论。
技术细节：JSON 结构与 Prompt Engineering
Tavkhid 方法 的成功依赖于两个关键因素：精心设计的 JSON 结构和有效的 Prompt Engineering。
JSON 结构需要充分考虑信息的组织、存储和检索效率。 典型的 JSON 对象可能包含以下字段：
timestamp: 记录信息产生的时间，用于后续的排序和筛选。type: 标识信息的类型，例如“对话记录”、“用户偏好”、“知识库条目”等。content: 存储信息的实际内容，例如对话文本、用户设置的 JSON 字符串、知识库条目的摘要等。relevance: 表示信息与当前上下文的相关性，用于后续的检索和排序。keywords: 关键词列表，用于加速检索。
Prompt Engineering 则负责引导模型正确地读取、理解和利用 JSON 数据。 好的 Prompt 应该包含以下要素：
- 明确的指令：清晰地告诉模型需要做什么，例如“从记忆库中检索与当前上下文相关的 JSON 对象”或“根据 JSON 数据重建对话状态”。
- 示例：提供一些 JSON 数据的示例，帮助模型理解其结构和含义。
- 约束条件：限制模型的行为，例如“只使用 JSON 数据中的信息”或“避免生成与 JSON 数据不一致的内容”。
- 上下文：提供足够的上下文信息，帮助模型判断 JSON 数据的相关性。
例如，下面是一个 Prompt 示例：
你是一个智能助手，拥有一个外部记忆库，其中存储了结构化的 JSON 数据，包含了之前的对话记录、用户偏好和知识库条目。
当前对话:
User: 我想了解一下量子计算的应用场景。
记忆库:
[
{
"timestamp": "2024-10-26T10:00:00Z",
"type": "对话记录",
"content": "User: 量子计算有什么优势？",
"relevance": 0.8,
"keywords": ["量子计算", "优势"]
},
{
"timestamp": "2024-10-26T10:05:00Z",
"type": "知识库条目",
"content": "量子计算可以应用于药物发现、材料科学和金融建模等领域。",
"relevance": 0.9,
"keywords": ["量子计算", "应用", "药物发现", "材料科学", "金融建模"]
}
]
请根据记忆库中的信息，回答用户的问题。 记住，只使用记忆库中的信息，避免生成与记忆库数据不一致的内容。
通过精心设计的 JSON 结构和 Prompt Engineering，Tavkhid 方法 可以有效地模拟持久性记忆，提高模型的性能和用户体验。
应用场景：对话系统与知识图谱
Tavkhid 方法 在多种应用场景中都具有潜力。 在对话系统中，它可以用于：
- 记住用户的偏好和历史对话记录，提供更个性化的服务。
- 维护对话状态，确保对话的连贯性。
- 扩展模型的知识库，使其能够回答更复杂的问题。
例如，一个在线客服机器人可以使用 Tavkhid 方法 记住用户的购物偏好，例如喜欢的品牌、颜色和尺码。 当用户下次访问网站时，机器人可以自动推荐用户可能感兴趣的商品，提高销售转化率。
另一个应用场景是知识图谱。 知识图谱是一种结构化的知识表示形式，由节点（实体）和边（关系）组成。 Tavkhid 方法 可以用于将知识图谱中的信息编码成 JSON 数据，并存储在模型的记忆库中。 当模型需要回答与知识图谱相关的问题时，提示可以引导模型从记忆库中检索相关的 JSON 对象，并基于此生成答案。
例如，一个医疗领域的知识图谱可能包含关于疾病、药物和症状的信息。 使用 Tavkhid 方法，可以将这些信息编码成 JSON 对象，并存储在模型的记忆库中。 当医生询问模型关于某种疾病的治疗方案时，模型可以从记忆库中检索相关的 JSON 对象，并基于此生成一个详细的治疗方案，包括药物名称、剂量和副作用等信息。
安全考量：Responsible Disclosure
正如原文中提到的， Tavkhid 方法 的完整实现细节并未公开，这是出于安全考虑，遵守 Responsible Disclosure 的原则。 如果该方法被滥用，可能会导致一些安全风险，例如：
- Memory Injection: 恶意用户可能会通过精心构造的 JSON 数据，将有害信息注入到模型的记忆库中，影响模型的行为。
- Privacy Violation: 如果记忆库中存储了用户的敏感信息，例如个人身份信息或财务信息，恶意用户可能会通过 Prompt Engineering 窃取这些信息。
因此，在开发和部署基于 Tavkhid 方法 的应用程序时，必须采取严格的安全措施，例如：
- 对用户输入的 JSON 数据进行严格的验证和过滤，防止恶意代码注入。
- 对记忆库中的数据进行加密存储，保护用户隐私。
- 限制模型访问记忆库的权限，防止未经授权的访问。
- 定期审查和更新安全策略，及时修复漏洞。
挑战与未来方向：超越模拟，走向原生
尽管 Tavkhid 方法 在模拟持久性记忆方面取得了显著的进展，但它仍然存在一些挑战：
- 性能瓶颈: JSON 数据的编码、解码和检索过程会增加模型的计算负担，影响其响应速度。
- 可扩展性: 当记忆库的规模变得非常大时，检索相关的 JSON 对象可能会变得非常耗时。
- 泛化能力: Tavkhid 方法 的性能可能依赖于特定类型的 JSON 结构和 Prompt Engineering 技巧，难以泛化到不同的任务和模型。
未来，研究方向可能会集中在以下几个方面：
- 原生记忆机制: 探索在模型架构中构建原生记忆机制的可能性，例如使用外部存储器或递归神经网络。
- 自适应记忆管理: 开发自适应的记忆管理算法，能够根据上下文自动地选择和更新记忆内容。
- 知识融合: 将 Tavkhid 方法 与知识图谱等知识表示形式相结合，实现更高效的知识存储和检索。
DeepSeek-R1 通过 Tavkhid 方法 展现了 Transformer memory 的潜力，虽然它只是对持久性记忆的模拟，但它为我们打开了一扇通往更强大、更智能的 AI 模型的大门。 随着技术的不断发展，我们有理由相信，未来的 LLM 将能够真正拥有持久性记忆，并能够更好地理解和响应用户的需求。