大模型（LLM）应用的日益普及，对其性能评估提出了更高的要求。本文将深入探讨一种用于大模型应用错误分析的通用框架，旨在帮助开发者系统地识别和分类应用中的失败案例，从而提升性能，并构建自动化的评估体系。该框架的核心在于，通过模拟用户查询、生成响应与跟踪、开放编码、轴向编码以及分类与分析等步骤，深入了解LLM应用在实际场景中的不足之处，并为改进提供数据支撑。
1. 生成合成查询：构建评估的基础
在大模型应用的错误分析中，第一步是生成一组合成查询。如果已经存在用户查询-响应数据，那么可以直接利用这些数据。如果没有，则需要构建一套合成查询。构建合成查询的关键在于定义用户查询的关键方面，这些方面应紧密贴合应用场景。
例如，对于一个食品外卖机器人，可以定义以下几个关键方面：
- 意图 (Intent): 用户希望达成的目标，例如订餐、查询订单状态、支付等。
- 角色 (Persona): 用户的类型，例如新用户、老用户、非母语使用者等。
- 场景 (Scenario): 用户所处的特定情境，例如高峰时段、紧急配送、促销季等。
接着，利用大模型生成这些方面的各种组合，并提示另一个大模型基于这些组合生成实际的查询语句。比如，我们可以让LLM生成以下查询：
- 意图: 订餐；角色: 新用户；场景: 高峰时段 -> “我第一次用这个APP，现在是午餐高峰期，有什么推荐的菜品吗？希望尽快送到。”
- 意图: 订单追踪；角色: 老用户；场景: 紧急配送 -> “我经常点你们家的外卖，我有一个很急的订单，麻烦帮忙追踪一下现在到哪里了？”
在生成合成数据之前，务必充分了解产品的特性。合成查询的多样性和覆盖范围直接影响错误分析的有效性。
2. 生成响应与跟踪：捕捉应用的运行轨迹
生成合成查询之后，下一步是将这些查询输入到LLM应用中，以获取相应的响应。这个过程会产生“跟踪” (Traces)，它们是LLM应用如何解释用户输入、执行推理步骤、与工具/API交互以及生成响应的详细记录。
一个完整的跟踪包含以下信息：
- 用户输入 (user_input): 用户的原始查询语句。
- 意图 (intent): LLM识别的用户意图。
- 步骤 (steps): LLM为了生成响应而执行的一系列推理步骤。
- 工具调用 (tool_call): LLM调用的外部工具或API的信息，包括工具名称、函数、参数以及响应。
- 对用户的响应 (responsetouser): LLM最终返回给用户的响应。
以上文的食品外卖机器人为例，一个跟踪的示例如下：
{
"user_input": "追踪我的最后一个订单",
"intent": "track_order",
"steps": [
"提取意图",
"从用户资料中识别最后一个订单",
"调用订单追踪API"
],
"tool_call": {
"tool_name": "OrderAPI",
"function": "get_last_order_status",
"args": {},
"response": { "status": "On the way", "eta": "15 minutes" }
},
"response_to_user": "您的最后一个订单正在派送中，预计15分钟后送达。"
}
为了进行有效的错误分析，建议至少生成 100 个以上的跟踪。这些跟踪将作为后续分析的基础，帮助我们了解LLM应用的内部运作机制以及潜在的错误来源。
3. 开放编码：识别细粒度的失败模式
“开放编码”是指分析每一个跟踪，并对不令人满意的响应或发现的任何错误进行标记，标注具体的失败模式。 这是一个定性的过程，需要人工参与，细致地审查每个跟踪，并尽可能详细地描述错误。
继续以食品外卖机器人为例，以下是一些可能的失败模式：
- 意图识别错误: LLM错误地识别了用户的意图，例如将“我想退款”误识别为“我想投诉”。
- 信息提取错误: LLM无法从用户输入中提取必要的信息，例如无法从“我要一杯不加糖的冰咖啡”中提取“不加糖”的要求。
- 工具调用错误: LLM调用了错误的工具或使用了错误的参数，例如调用了错误的订单查询API，或者查询了错误的订单ID。
- 推理逻辑错误: LLM的推理逻辑存在错误，例如在用户询问“北京烤鸭多少钱”时，没有先确定用户所在的地理位置。
- 响应生成错误: LLM生成的响应不符合用户的预期，例如响应过于冗长、不够礼貌，或者包含错误的信息。
在开放编码阶段，应该避免预设任何假设或类别，而是尽可能客观地记录观察到的所有问题。 编码的粒度越细，后续的分析就越有价值。
4. 轴向编码：构建宏观的错误类别
“轴向编码”是指将相似的失败模式归类到更大的类别中。这个过程可以由 LLM 辅助完成，例如使用聚类算法将相似的失败模式自动分组。然而，人工审查对于确保准确性至关重要。
以上文的食品外卖机器人为例，可以将开放编码阶段识别的失败模式归类为以下几个类别：
- 意图理解错误 (Intent Understanding Errors): 包括意图识别错误和信息提取错误。这类错误表明 LLM 在理解用户意图方面存在问题。
- 知识库不足 (Knowledge Base Insufficiency): LLM 缺乏必要的知识来回答用户的问题，例如不知道某个餐厅是否提供某种菜品，或者不知道某个优惠活动的具体规则。
- 工具集成问题 (Tool Integration Problems): 包括工具调用错误、工具响应解析错误等。这类错误表明 LLM 在与外部工具集成方面存在问题。
- 推理逻辑缺陷 (Reasoning Logic Flaws): LLM 的推理逻辑存在缺陷，导致无法生成正确的响应。
- 响应质量问题 (Response Quality Issues): 包括响应不流畅、不礼貌、不准确等。
轴向编码的关键在于找到一个合适的抽象层次，既要能够概括主要的错误类型，又要保留足够的信息以便后续的分析和改进。
5. 分类与分析：量化错误并确定优先级
在“分类与分析”阶段，我们将每个跟踪映射到已分类的失败模式，并计算错误率。 例如，可以统计在所有跟踪中，意图理解错误的比例是多少，工具集成问题的比例是多少，等等。
错误率的计算公式如下：
错误率 = (特定类型的错误数量 / 总跟踪数量) * 100%
例如，如果我们在1000个跟踪中发现了50个意图理解错误，那么意图理解错误的错误率为 5%。
错误率的分析可以帮助我们确定修复的优先级。例如，如果意图理解错误的错误率最高，那么我们应该优先改进 LLM 的意图理解能力，例如通过优化系统提示词、改进训练数据等方式。
除了错误率之外，还可以分析不同类型的错误对用户体验的影响。例如，工具集成问题可能会导致用户无法完成任务，而响应质量问题可能会降低用户的满意度。
通过综合考虑错误率和用户体验影响，可以制定一个合理的修复计划，从而最大化 LLM 应用的价值。
案例分析：利用错误分析提升电商客服机器人的性能
假设我们正在开发一个电商客服机器人，用于处理用户的售前咨询、售后服务等问题。 为了提升机器人的性能，我们采用了上述 LLM 应用错误分析框架。
-
生成合成查询: 我们定义了以下几个关键方面：
- 意图: 售前咨询、订单查询、退换货申请、投诉建议等。
- 商品类别: 服装、家电、数码产品等。
- 问题类型: 商品规格、价格、库存、物流、支付等。
- 促销活动: 满减、折扣、优惠券等。
然后，我们利用 LLM 生成了 500 个合成查询，例如：
- “这款T恤有哪些颜色和尺码？”
- “我的订单号是12345，请问什么时候发货？”
- “我收到的家电有质量问题，可以申请退货吗？”
- “最近有什么优惠券可以使用吗？”
-
生成响应与跟踪: 我们将这些查询输入到电商客服机器人中，并记录了每个查询的跟踪。
-
开放编码: 我们仔细审查了每一个跟踪，并标记了所有不令人满意的响应或发现的错误。 例如，我们发现机器人经常无法正确识别用户关于商品规格的查询，或者无法准确告知用户订单的物流状态。
-
轴向编码: 我们将开放编码阶段识别的失败模式归类为以下几个类别：
- 商品知识不足: 机器人缺乏必要的商品知识，例如不知道某个商品的材质、尺寸、重量等。
- 订单信息获取问题: 机器人无法从订单系统中获取准确的订单信息，例如物流状态、支付状态等。
- 促销规则理解错误: 机器人无法正确理解促销活动的规则，例如满减的门槛、优惠券的使用范围等。
- 多轮对话管理问题: 机器人无法有效地管理多轮对话，例如忘记用户之前的提问，或者无法理解用户的指代。
-
分类与分析: 我们将每个跟踪映射到已分类的失败模式，并计算了错误率。 例如，我们发现商品知识不足的错误率最高，达到了 20%。
基于错误分析的结果，我们采取了以下改进措施：
- 扩充商品知识库: 我们收集了更多的商品信息，并将其添加到机器人的知识库中。
- 优化订单信息API: 我们优化了订单信息API，提高了订单信息的获取速度和准确性。
- 改进促销规则解析器: 我们改进了促销规则解析器，使其能够更准确地理解促销活动的规则。
- 优化多轮对话管理模块: 我们优化了多轮对话管理模块，使其能够更好地管理用户的对话历史。
经过改进之后，我们再次进行 错误分析，发现机器人的性能有了显著的提升。 商品知识不足的错误率下降到了 5%，其他类型的错误率也都有所下降。 这表明 错误分析 框架对于提升 LLM 应用的性能是有效的。
关键要点与总结
这是一个迭代的过程，应该持续进行直到失败模式被最小化。确保查询集是多样的，并且覆盖了边缘情况。被标记的跟踪将成为为您的特定业务案例量身定制的自动化评估器的宝贵训练数据。
记住：我们关心的是您的 LLM 应用如何更好地为您的用户服务，而不是通用的 LLM 基准测试。这个框架为构建对您的产品至关重要的自动化评估系统奠定了基础。 通过使用大模型应用错误分析框架，开发者可以更好地了解应用的不足之处，并采取有针对性的措施来提升性能。
总而言之，大模型应用的错误分析是一个至关重要的过程，它能够帮助开发者构建更加可靠、高效和用户友好的应用。上述框架提供了一个系统化的方法，可以有效地识别和解决 LLM 应用中的问题，从而提升整体性能，并为最终用户带来更好的体验。通过迭代改进和持续优化，我们可以充分发挥 LLM 的潜力，并将其应用于更广泛的领域。