在构建成功的大语言模型（LLM）应用中，一个强大的评估系统 (Evals) 至关重要。坦白地说，起初我并没有对评估系统给予足够的重视，只是不断迭代提示词，直到我“感觉”性能很好。但事实证明我错了。评估 (Evals) 才是优化和调试提示词的明智之选！本文将深入探讨 Evals 在 LLM 应用开发中的重要性，并分享一些关于如何利用它来提升你的 LLM Prompts 的经验。
Evals：LLM 时代的测试
Evals 类似于传统软件开发中的测试，但两者之间存在显著差异。使用大语言模型与构建传统软件截然不同。在传统软件中，最佳实践清晰明确，每个人都可以创建单元测试来评估软件的各个部分。然而，对于大语言模型来说，情况并非如此。我们正处于这一学科发展的初期阶段，因此没有单一的评估或测试方法。在 LLMs 和 Prompts 的上下文中，Evals 帮助我们检查模型对特定输入的响应是否符合我们的预期。例如，我们希望 LLM 在总结一篇新闻报道时，不仅要提取关键信息，还要避免产生任何虚假信息或带有偏见的陈述。通过 Evals，我们可以系统地验证 LLM 是否达到了这些标准。 想象一下，你正在开发一个客户服务聊天机器人。 你使用 Evals 来评估机器人回答客户问题的准确性和相关性。 你可能会发现，当被问及有关产品规格的复杂问题时，机器人表现不佳。 有了这个发现，你就可以专注于改进这些特定类型的 Prompts，例如通过提供更具体的指令或向 LLM 提供额外的背景信息。
LLM 评估的特殊性
正如 Pydantic AI 的文档中提到的那样，“与单元测试不同，任何声称拥有设计它们的权威方法的人都不值得认真对待。” 这反映了 LLM 评估领域的现状：没有绝对正确的方法，只有不断探索和迭代。我们需要认识到，LLM Evals 是一个新兴领域，我们需要不断学习、实践和分享经验，才能推动其发展。LLM评估与传统软件测试的区别在于：
- 主观性： LLM 的输出往往具有创造性和开放性，难以用精确的指标进行衡量。例如，评估一篇由 LLM 生成的故事的质量，涉及到诸如情节的连贯性、角色的吸引力以及整体的艺术性等主观因素。
- 复杂性： LLM 的行为受到多种因素的影响，包括训练数据、模型架构和提示词设计。要理解这些因素如何相互作用并影响 LLM 的输出，需要深入的专业知识。
- 动态性： LLM 在不断进化，新的模型和技术层出不穷。我们需要不断更新我们的评估方法，以适应这些变化。
优化 LLM Prompts 的策略
优化 LLM Prompts 并非易事，它需要对 LLM 的工作原理有深入的理解，并结合创造性的思维。以下是一些常用的策略：
- 清晰明确的指令： 使用简洁明了的语言，准确描述你希望 LLM 完成的任务。避免使用模糊不清或模棱两可的词语。例如，不要只是说“总结这篇文章”，而要说“用不超过 100 字的篇幅，总结这篇文章的主要论点”。
- 提供上下文信息： 向 LLM 提供足够的背景信息，帮助它更好地理解你的需求。例如，如果你要求 LLM 生成一篇关于气候变化的文章，可以提供一些关于气候变化的基本知识和当前的研究进展。
- 使用示例： 提供一些示例，展示你期望的输出格式和风格。例如，如果你希望 LLM 生成一段幽默的对话，可以提供一些类似的对话作为参考。
- 迭代改进： 不断尝试不同的
Prompts，并根据Evals的结果进行调整。这是一个迭代的过程，需要耐心和毅力。
构建你的评估系统 (Evals)
一个有效的 Evals 系统应该能够全面地评估 LLM 的性能，并提供有用的反馈，帮助你改进 Prompts。以下是一些关键的步骤：
- 定义评估指标： 确定你希望评估的方面，例如准确性、相关性、流畅性、创造性等。对于每个指标，都需要定义明确的衡量标准。例如，对于准确性，可以定义为 LLM 生成的答案与正确答案之间的匹配程度。
- 创建评估数据集： 收集一组用于评估 LLM 的输入数据。这些数据应该具有代表性，能够反映 LLM 在实际应用中可能遇到的各种情况。例如，如果你正在开发一个客户服务聊天机器人，可以收集一些真实的客户咨询记录。
- 设计评估方法： 选择合适的评估方法，例如人工评估、自动化评估或两者结合。人工评估需要人工评估员对 LLM 的输出进行评分，自动化评估则使用算法来自动评估 LLM 的输出。例如，可以使用 BLEU 评分来评估 LLM 生成的翻译的质量。
- 执行评估： 使用评估数据集和评估方法，对 LLM 的性能进行评估。记录评估结果，并进行分析，找出 LLM 的优点和不足。
- 改进 Prompts： 根据评估结果，调整
Prompts，并重复上述步骤，直到达到满意的性能。这是一个持续改进的过程。
不同类型的 Eval 方法
在 LLM Evals 的领域，存在着多种评估方法，每种方法都有其自身的优点和适用场景。理解这些方法并根据你的特定需求选择合适的方法至关重要。以下是一些常见的 Eval 方法：
- 基于规则的评估: 这种方法涉及定义一系列规则，用于检查 LLM 的输出是否符合预定义的标准。例如，你可以创建一个规则来验证 LLM 生成的摘要是否包含原始文本中的所有关键信息。这种方法简单易懂，易于实现，但可能无法捕捉到 LLM 输出中的细微差别。例如，虽然LLM的输出可能包含所有关键信息，但表达方式可能不够流畅自然，基于规则的评估难以捕捉到这一点。
- 人工评估: 这种方法涉及让人工评估员对 LLM 的输出进行评分。这种方法可以捕捉到 LLM 输出中的细微差别和主观因素，但成本较高且耗时。 为了保证人工评估的质量，需要对评估员进行充分的培训，并制定清晰的评估指南。
- 模型辅助评估: 这种方法涉及使用另一个 LLM 来评估目标 LLM 的输出。例如，你可以使用一个更强大的 LLM 来评估一个较弱的 LLM 生成的文本的流畅性和连贯性。这种方法可以降低人工评估的成本，但需要仔细选择用于评估的 LLM，以确保其评估结果的可靠性。
- 基于指标的评估: 这种方法涉及使用预定义的指标来衡量 LLM 的输出质量。例如，可以使用 BLEU (Bilingual Evaluation Understudy) 指标来衡量机器翻译的质量。 这种方法简单易用，易于自动化，但可能无法完全反映 LLM 输出的真实质量。
例如，BLEU 指标主要关注机器翻译与人工翻译之间的单词重叠程度，而忽略了语义的准确性和流畅性。
案例分析：使用 Evals 改进摘要生成
假设你正在开发一个新闻摘要生成器。 你可以使用 Evals 来评估摘要的准确性和相关性。 首先，你需要创建一个包含新闻文章及其对应摘要的数据集。 然后，你可以使用人工评估员或模型辅助评估来评估摘要的质量。 例如，你可以要求人工评估员根据以下标准对摘要进行评分：
- 准确性： 摘要是否准确地反映了新闻文章的内容？
- 相关性： 摘要是否包含了新闻文章中最重要的信息？
- 简洁性： 摘要是否足够简洁明了？
- 可读性： 摘要是否易于阅读和理解？
根据评估结果，你可以调整 Prompts，以提高摘要生成器的性能。 例如，你可以尝试使用更具体的指令，或向 LLM 提供更多的背景信息。通过不断迭代和评估，你可以显著提高摘要生成器的质量。
实际案例：优化代码生成
假设你需要一个 LLM 来生成 Python 代码。你需要评估生成的代码是否正确、高效且可读。
- 定义评估指标：
- 正确性： 代码是否能够正确执行并产生预期的结果？
- 效率： 代码的执行速度如何？
- 可读性： 代码是否易于理解和维护？
- 创建评估数据集： 收集一组编程问题，以及相应的正确代码。
- 设计评估方法：
- 单元测试： 编写单元测试来验证生成的代码是否能够正确执行。
- 性能测试： 运行性能测试来评估代码的执行速度。
- 代码审查： 让人工审查员评估代码的可读性。
- 执行评估： 使用评估数据集和评估方法，对 LLM 生成的代码进行评估。
- 改进 Prompts： 根据评估结果，调整
Prompts。 例如，你可以尝试提供更详细的指令，或向 LLM 提供一些示例代码。
例如，你发现 LLM 在生成循环时经常出错，你可以调整 Prompt，明确要求它使用 for 循环而不是 while 循环，或者提供一个 for 循环的示例。
结论：Evals 是 LLM 开发的基石
Evals 是构建高质量 LLM 应用的关键。 通过使用 Evals，你可以系统地评估 LLM 的性能，并根据评估结果改进 Prompts。 这将帮助你构建更准确、更相关、更可靠的 LLM 应用。虽然 LLM 评估仍处于发展初期，但其重要性不容忽视。 通过不断学习和实践，我们可以更好地利用 Evals 来释放 LLM 的潜力。 记住，不要认为存在一种“正确”的 Evals 方法，而是要根据你的具体需求和目标，选择最合适的方法。通过不断尝试和迭代，你将能够构建出更强大的 LLM 应用。 让我们一起拥抱 Evals，推动 LLM 技术的发展！ 持续关注 Evals 技术的进展，不断探索新的评估方法，并与同行分享你的经验，将有助于我们共同构建更智能、更可靠的 LLM 应用。