大模型 Agent 的上下文瘦身术：提升信息检索与响应质量的关键策略

大模型 Agent 日益普及，然而，模型的能力并非唯一的决定因素。即使拥有强大的推理模型，如果输入 Agent 的上下文信息质量不高，包含大量冗余或无关信息，最终的响应质量也会大打折扣。本文将深入探讨如何通过优化 Agent 的上下文，特别是通过精简信息、提升相关性，从而提高 Agent 的性能和安全性。

上下文的重要性：低质量输入，低质量输出

当前，许多人专注于提升推理模型的能力，比如采用更复杂的模型架构，或者进行大规模的预训练和微调。然而，一个常常被忽视的关键点是：模型的表现严重依赖于输入信息的质量。换句话说，无论模型多么先进，如果喂给它的“食物”（即上下文）是劣质的，它也无法产生高质量的“消化产物”（即响应）。

Quentin 在文章中提出的假设一针见血：无论模型的推理能力有多强，如果上下文质量很差（不准确、错误、无关），最终的响应都不会令人满意。这就像木桶原理一样，最终的输出质量取决于最短的那块木板。

因此，仅仅提升模型的推理能力是不够的，必须同时关注如何有效地检索和提炼信息，确保 Agent 接收到的上下文信息是高质量的。这就引出了下一部分，关于信息检索和工具使用的优化。

信息检索与工具使用：避免“垃圾进，垃圾出”

构建 Agent 的过程中，信息检索扮演着至关重要的角色。无论是采用 RAG（Retrieval-Augmented Generation，检索增强生成）技术，还是简单地通过工具获取信息，都必须确保检索过程的准确性和高效性。如果检索到的信息本身就包含大量噪声或错误，那么后续的模型推理和响应生成都将受到影响。

这里 Quentin 提出了一个非常实用的观点：构建“工具”时，开发者常常直接将 API 返回的原始 JSON 数据发送给 Agent，期望模型能够“猜出”每个字段的含义。这种做法在简单场景下可能有效，但随着场景复杂度的提升，问题也会逐渐暴露出来。

举例来说，假设有一个工具用于从 API 获取订单状态。API 返回的 JSON 数据可能包含以下字段：

{
  "internal_id": "1234",
  "customer_reference": "#ORD-154-15",
  "status": "PAID",
  "delivery_date": "2025-07-15",
  "risk_refund": "HIGH"
}

如果用户询问“我的包裹什么时候送达？”，直接将上述 JSON 数据注入模型，就会产生两个问题：

信息泄露风险： 部分字段（例如 risk_refund 和 internal_id）可能包含敏感信息，不应该暴露给用户。将这些信息直接注入模型，就存在潜在的安全隐患。
信息冗余： 并非所有字段都与用户的问题直接相关。internal_id 对于回答用户的问题毫无帮助，只会增加模型的处理负担。

为了解决这些问题，我们需要对 API 返回的数据进行预处理，去除冗余和敏感信息，并将剩余的信息转化为更易于模型理解的文本格式。

上下文精简：提升相关性的关键步骤

针对上述问题，Quentin 提出了上下文精简的关键步骤：

移除敏感信息： 删除 risk_refund 和 internal_id 等敏感字段，确保用户无法访问这些信息。
格式转换： 将 JSON 数据转换为自然语言文本，增加上下文信息，例如：
```
订单 #ORD-154-15，已支付，预计将于 2025 年 7 月 15 日送达。
```
这种转换方式不仅避免了暴露原始 JSON 数据，还为模型提供了更丰富的上下文信息，使其更容易理解用户的问题并生成准确的回答。
状态定制： 根据订单的不同状态，提供不同的信息。例如：
- 待支付：“订单 #ORD-154-15，等待付款。付款后将提供预计交货日期。”
- 已支付：“订单 #ORD-154-15，已支付。您的包裹正在准备中，将于 24 小时内发货。”
- 已取消：“订单 #ORD-154-15，已取消。没有进行任何扣款，订单现已关闭。”
这种状态定制的方式能够根据用户的具体情况，提供更精准、更有用的信息。

Quentin 推荐使用 Jinja 模板引擎来完成 JSON 到文本的转换。Jinja 允许开发者定义模板，并根据不同的数据动态生成文本。以下是一个 Jinja 模板的示例：

{# order_summary.j2 #}
{% set status_map = {
  "PENDING": "等待付款",
  "PAID":    "已支付",
  "CANCEL":  "已取消"
} %}
{% set date_parts = order.delivery_date.split('-') %}
{% set mois_fr = ["", "一月", "二月", "三月", "四月", "五月", "六月", "七月", "八月", "九月", "十月", "十一月", "十二月"] %}
订单 {{ order.customer_reference }}，{{ status_map.get(order.status, order.status) }}，预计将于 {{ date_parts[2]|int }} {{ mois_fr[date_parts[1]|int] }} {{ date_parts[0] }} 送达。

通过使用 Jinja 模板，开发者可以轻松地将 API 返回的 JSON 数据转换为符合要求的文本格式，从而优化 Agent 的上下文信息。

实践案例：电商客户服务机器人

假设一家电商公司正在开发一个基于大模型的客户服务机器人。该机器人需要能够回答用户关于订单状态、物流信息等问题。

如果没有进行上下文精简，机器人可能会直接将包含敏感信息的 JSON 数据发送给模型。这不仅存在安全风险，还可能导致机器人生成不准确或令人困惑的回答。

通过应用 Quentin 提出的上下文精简策略，该电商公司可以构建更安全、更高效的客户服务机器人。例如，在回答用户关于订单状态的问题时，机器人可以：

从订单系统中检索订单信息，并过滤掉敏感字段（例如信用卡信息、内部员工 ID）。
使用 Jinja 模板将订单信息转换为自然语言文本，例如：“您的订单 #ORD-123456 已发货，预计将于 2023 年 10 月 27 日送达。”
将转换后的文本作为上下文信息发送给模型。
模型根据上下文信息生成回答，例如：“您的订单预计将于明天送达。请注意查收。”

通过这种方式，机器人能够以安全、准确、清晰的方式回答用户的问题，提升用户体验。

数据支撑：量化上下文精简的效果

虽然上下文精简的理论听起来很有道理，但实际效果如何呢？为了验证上下文精简的效果，我们可以进行 A/B 测试。

测试方法：

A 组（对照组）： 客户服务机器人直接将 API 返回的原始 JSON 数据作为上下文信息发送给模型。
B 组（实验组）： 客户服务机器人应用上下文精简策略，将 JSON 数据转换为自然语言文本，并过滤掉敏感字段。
收集两组机器人的用户交互数据，包括用户满意度评分、问题解决率、平均对话时长等指标。
对两组数据进行统计分析，比较两组机器人的性能差异。

预期结果：

用户满意度： B 组机器人的用户满意度评分高于 A 组。
问题解决率： B 组机器人的问题解决率高于 A 组。
平均对话时长： B 组机器人的平均对话时长短于 A 组。

这些数据将为上下文精简的有效性提供量化支撑，证明上下文精简能够提升 Agent 的性能和用户体验。

未来趋势：自动化上下文优化

目前，上下文精简主要依赖于人工设计和开发。未来，随着技术的发展，我们可以期待更加智能化的上下文优化方法。

可能的趋势包括：

自动化敏感信息检测： 利用机器学习技术自动检测和过滤敏感信息，减少人工干预。
自适应上下文生成： 根据用户的问题和上下文信息，动态生成最相关的文本，提高信息利用率。
基于强化学习的上下文优化： 利用强化学习算法优化上下文生成策略，最大化 Agent 的性能和用户满意度。

这些技术将进一步提升 Agent 的智能化水平，使其能够更好地理解用户的问题并生成高质量的回答。

总结：投资于上下文，回报于性能

大模型 Agent 的发展离不开优质的上下文。忽略上下文质量，即使拥有最先进的推理模型，也难以获得理想的结果。通过本文的讨论，我们可以看到，精简上下文信息，提升相关性，是提高 Agent 性能和安全性的关键策略。虽然这需要投入更多精力来设计和开发数据展现层，但考虑到 Agent 的长期价值，这项投资是值得的。未来，随着技术的不断进步，我们期待看到更加智能化的上下文优化方法，为 Agent 的发展注入新的动力。在构建 Agents 的道路上，请记住：不仅仅要关注模型本身，更要关注那些“喂养”模型的“食物”。

大模型 Agent 的上下文瘦身术：提升信息检索与响应质量的关键策略