2025年，还在为LLM重复调用买单？用Redis和指纹技术构建LLM缓存，刻不容缓！

2025年，大模型（LLM）技术应用如火如荼，如果你的应用仍然没有采用 LLM 缓存 策略，那么要么你拥有用不完的资金，要么很快就会因为token消耗殆尽而破产。这绝非危言耸听，而是对当下LLM应用现状的深刻洞察。本文将深入探讨LLM缓存的重要性，并以Redis和指纹技术为例，分享如何构建高效的LLM缓存系统，帮助你显著降低成本，提升效率。

LLM缓存：刻不容缓的成本控制利器

想象一下：你一遍又一遍地向GPT-4提出几乎相同的问题，每次都得到非常相似的答案，却要为每一次请求支付token费用。这种场景在LLM应用中屡见不鲜，特别是当你的应用具备以下特征时，成本浪费问题将更加突出：

• 多用户场景下的重复查询： 大量用户提出相似的查询请求，导致LLM被重复调用，消耗大量token。例如，一个在线客服系统，不同用户反复询问“如何更改密码”这类常见问题，每次都调用LLM进行回答，造成不必要的资源浪费。

• 文档摘要与语义检索： 在加载文档时，需要使用LLM对文档进行摘要或生成embedding向量，每次加载都要重复计算，效率低下。例如，一个法律知识库，每次用户打开一份法律文件，系统都要重新调用LLM进行内容摘要，这将极大地增加服务器的负载和成本。

• 智能Agent的重复性循环： 智能Agent在执行任务的过程中，常常需要在内部循环中重复调用LLM进行推理或决策，如果没有缓存机制，将导致token消耗急剧增加。例如，一个自动化的内容生成Agent，需要反复调用LLM生成不同版本的标题和摘要，直至满足预设的质量标准，这个过程可能需要数百甚至数千次的LLM调用。

根据 OpenAI 的定价，即使使用成本相对较低的 GPT-3.5 模型，大量的重复调用也会迅速累积成本。而对于更强大的 GPT-4 模型，成本更是成倍增长。因此，LLM缓存 绝不仅仅是一种优化策略，而是控制成本、提升效率的必要手段。

缓存什么？明确目标，有的放矢

在构建 LLM 缓存 系统之前，需要明确需要缓存的内容。并非所有数据都适合缓存，也不是缓存整个用户会话。理想的缓存对象应该具有以下特征：

• 输入/输出模式明确： 明确LLM的输入和输出，才能构建有效的缓存键值对。

• 高重复性： 缓存那些经常被重复使用的LLM调用结果，才能最大化缓存收益。

以下是一些常见的适合缓存的LLM调用场景：

• Prompt + Context -> Completion： 对于具有上下文的Prompt，缓存Prompt和上下文的组合，以及LLM生成的补全结果。例如，针对一个代码生成LLM，缓存用户输入的Prompt（例如“写一个计算斐波那契数列的Python函数”）和上下文信息（例如编程语言版本），以及LLM生成的代码片段。

• Chunked Document Input -> Summary/Embedding： 对于分块的文档输入，缓存文档片段和LLM生成的摘要或embedding向量。例如，将一篇长篇小说分割成若干个段落，分别使用LLM生成每个段落的摘要，并将摘要结果缓存起来，以便后续快速检索和浏览。

• Agent Tool + Goal + State -> Next Action： 对于智能Agent，缓存Agent工具、目标和当前状态的组合，以及LLM推荐的下一步行动。例如，一个旅行规划Agent，缓存用户选择的旅行目的地、预算、旅行时间等信息，以及LLM推荐的酒店、航班和景点信息。

确定了需要缓存的内容后，就可以着手选择合适的缓存技术和构建缓存策略了。

Redis + 指纹技术：打造高效LLM缓存解决方案

文章作者采用了 Redis 和指纹技术构建了一个简单的 LLM 缓存 中间件，这是一个非常有效的解决方案。下面我们将详细介绍 Redis 和指纹技术的优势，以及如何将它们应用于 LLM 缓存。

1. Redis：高性能的内存键值存储

Redis 是一款高性能的内存键值存储数据库，具有以下优点：

• 速度快： 数据存储在内存中，读写速度极快，可以满足 LLM 缓存对低延迟的要求。根据官方数据，Redis 的单机 QPS 可以达到数十万甚至上百万。

• 丰富的数据结构： Redis 支持多种数据结构，例如字符串、哈希表、列表、集合和有序集合，可以灵活地存储各种类型的 LLM 调用结果。

• 持久化： Redis 支持 RDB 和 AOF 两种持久化方式，可以将内存中的数据保存到磁盘上，防止数据丢失。

• 集群支持： Redis 支持集群模式，可以扩展存储容量和提高可用性。

由于LLM的调用对延迟非常敏感，用户不希望因为缓存而引入额外的延迟，因此Redis的超高性能是其成为LLM缓存首选方案的关键因素。

2. 指纹技术（Prompt Fingerprinting）：生成唯一的缓存Key

指纹技术，也称为哈希技术，可以将任意长度的输入数据映射为固定长度的哈希值，该哈希值可以作为缓存的Key。指纹技术具有以下优点：

• 唯一性： 不同的输入数据产生不同的哈希值，保证了缓存Key的唯一性。

• 一致性： 相同的输入数据产生相同的哈希值，保证了缓存的命中率。

• 压缩性： 哈希值长度固定，可以有效地压缩存储空间。

在 LLM 缓存中，可以使用指纹技术对 Prompt 和上下文进行哈希，生成唯一的缓存 Key。例如，可以使用 MD5 或 SHA-256 算法对 Prompt 和上下文进行哈希，并将哈希值作为 Redis 的 Key。

实现步骤：

1. 构建哈希函数： 选择合适的哈希算法，例如 SHA-256，用于生成 Prompt 的哈希值。

2. 生成缓存 Key： 将 Prompt 和上下文组合在一起，然后使用哈希函数生成哈希值，作为缓存 Key。

3. 缓存查询： 在调用 LLM 之前，首先查询 Redis 中是否存在该 Key 对应的缓存结果。

4. 缓存写入： 如果缓存未命中，则调用 LLM，并将 LLM 的输出结果以 Key-Value 的形式存储到 Redis 中。

示例代码 (Python):

import redis
import hashlib

# 连接 Redis
redis_client = redis.Redis(host='localhost', port=6379, db=0)

def generate_cache_key(prompt, context):
    """生成缓存 Key"""
    combined_string = prompt + context
    hash_object = hashlib.sha256(combined_string.encode('utf-8'))
    return hash_object.hexdigest()

def get_llm_response(prompt, context):
    """获取 LLM 响应，先从缓存中查找，如果缓存未命中，则调用 LLM"""
    cache_key = generate_cache_key(prompt, context)
    cached_response = redis_client.get(cache_key)

    if cached_response:
        print("Cache Hit!")
        return cached_response.decode('utf-8')  # Decode from bytes

    else:
        print("Cache Miss!")
        # 模拟 LLM 调用
        llm_response = "This is a simulated LLM response for prompt: " + prompt + " and context: " + context
        redis_client.set(cache_key, llm_response)
        return llm_response

# 示例使用
prompt = "What is the capital of France?"
context = "General Knowledge"
response = get_llm_response(prompt, context)
print(response)

prompt = "What is the capital of France?" # 相同的问题，应该从缓存中命中
context = "General Knowledge"
response = get_llm_response(prompt, context)
print(response)

3. 更高级的缓存策略

除了简单的 Key-Value 缓存之外，还可以采用一些更高级的缓存策略来提高缓存效率：

• LRU (Least Recently Used) 缓存： Redis 支持 LRU 淘汰策略，可以自动删除最近最少使用的缓存数据，保证缓存空间的使用效率。

• TTL (Time To Live) 缓存： 为缓存数据设置过期时间，自动删除过期的缓存数据，保证缓存数据的时效性。

• 两级缓存： 使用本地内存缓存和 Redis 缓存相结合的方式，进一步降低延迟。先从本地内存缓存中查找，如果未命中，再从 Redis 缓存中查找。

例如，对于知识库问答系统，可以将常见问题的答案缓存在本地内存中，加速响应速度，并将不常见问题的答案缓存在 Redis 中，降低 Redis 的负载。同时，为所有缓存数据设置 TTL，保证缓存数据的时效性。

实际案例：提升智能客服效率

假设一个智能客服系统每天需要处理数百万个用户请求，其中有大量的重复性问题。通过引入 Redis + 指纹技术的 LLM 缓存 机制，可以显著降低 token 消耗，并提升响应速度。

• 实施方案： 使用 SHA-256 算法对用户问题进行哈希，生成缓存 Key，并将 LLM 的回答结果存储到 Redis 中。设置缓存 TTL 为 24 小时，自动删除过期的缓存数据。

• 效果评估： 通过对比缓存前后的 token 消耗和响应时间，可以发现 token 消耗降低了 50% 以上，响应时间缩短了 30% 以上。

其他缓存方案对比

虽然Redis和指纹技术结合是一种非常有效的LLM缓存解决方案，但也存在其他一些可行的方案，它们各有优缺点，适用于不同的场景：

• Memcached: 类似于Redis，也是一种高性能的内存键值存储系统。与Redis相比，Memcached更简单，但功能相对较少，例如不支持持久化和复杂的数据结构。

• 本地缓存 (如Guava Cache, Caffeine): 将缓存数据存储在应用程序的本地内存中。优点是速度非常快，缺点是容量有限，并且不适合分布式环境。

• 数据库缓存 (如MySQL, PostgreSQL): 将缓存数据存储在关系型数据库中。优点是数据持久性好，缺点是读写速度相对较慢。

| 方案 | 优点 | 缺点 | 适用场景 |
| ———– | ———————————————————— | ———————————————————— | ————————————————————————————————————————————————————————————— |
| Redis | 速度快、支持持久化、支持集群、丰富的数据结构 | 需要额外的服务器资源 | 对延迟要求高、需要持久化、数据量适中、需要复杂数据结构的场景 |
| Memcached | 速度快、简单易用 | 不支持持久化、功能较少 | 对延迟要求高、数据量较小、不需要持久化和复杂数据结构的场景 |
| 本地缓存 | 速度极快 | 容量有限、不适合分布式环境 | 对延迟要求极高、数据量非常小、单机环境 |
| 数据库缓存 | 数据持久性好 | 读写速度相对较慢 | 对延迟要求不高、需要强大的数据一致性保证、数据量巨大 |

选择哪种缓存方案取决于具体的应用场景和需求，需要综合考虑性能、成本、可用性和数据一致性等因素。

LLM缓存的未来趋势

随着LLM技术的不断发展，LLM 缓存 技术也将迎来新的发展趋势：

• 更智能的缓存策略： 基于机器学习的缓存策略，可以根据用户的行为模式和数据的访问频率，动态调整缓存策略，提高缓存命中率。

• 更细粒度的缓存控制： 支持对 LLM 调用的各个环节进行缓存，例如 Prompt 预处理、模型推理和后处理等，进一步降低延迟和成本。

• 与LLM平台的深度集成： LLM 平台将提供内置的缓存功能，方便开发者使用，并提供更高级的缓存管理和监控功能。

总结：拥抱LLM缓存，赢得未来

在LLM技术快速发展的时代， LLM 缓存 不再是可选项，而是必选项。通过选择合适的缓存技术和构建高效的缓存策略，可以显著降低成本，提升效率，并在激烈的市场竞争中占据优势。Redis + 指纹技术是一种简单而有效的解决方案，值得开发者积极尝试。拥抱 LLM 缓存，才能更好地利用 LLM 技术的强大能力，赢得未来。