大语言模型 (LLM) 应用成功的关键在于拥有一个强大的评估 (Evals) 系统。最初，我并没有对评估给予足够的重视，只是不断迭代 Prompt，直到“感觉”效果很好。但事实证明我错了，Evals 才是优化和调试 Prompt 的明智之选！
评估 (Evals) 的重要性：告别“感觉流”，拥抱科学评估
评估 (Evals) 之于 LLM，等同于测试之于传统软件开发，但二者之间存在显著差异。传统软件开发有着明确的最佳实践，开发者可以轻松创建单元测试来评估代码片段。然而，LLM 领域仍处于发展初期，还没有一套通用的评估或测试方法。在 LLM 和 Prompt 的上下文中，Evals 帮助我们检验模型针对特定输入生成的响应是否符合预期。换句话说，Evals 将主观的 “感觉” 评估转化为客观的、可量化的指标。
举个例子，假设我们需要一个 LLM 来生成摘要，目标是简洁且准确。最初，我们可能只是凭借阅读几个摘要来判断 Prompt 的好坏，这很容易受到主观偏见的影响。但通过 Evals，我们可以设置更具体的评估标准，例如：
- 长度限制: 评估生成的摘要是否在指定的字数范围内 (如 100-150 字)。
- 信息保留率: 评估摘要是否保留了原文的关键信息，并避免遗漏或扭曲。
- 流畅度: 评估摘要的语言是否自然流畅，易于理解。
- 客观性: 评估摘要是否带有主观色彩或偏见。
通过针对这些标准进行评估，我们可以获得更客观的反馈，并针对性地改进 Prompt，例如调整模型参数、修改 Prompt 措辞、或增加上下文信息。
Prompt 工程：不仅仅是指令，更是艺术与科学的结合
Prompt 工程是指设计和优化用于与 LLM 交互的文本 Prompt 的过程。一个好的 Prompt 可以引导 LLM 产生高质量的输出，反之则可能导致结果不准确、不相关，甚至是产生有害信息。
Prompt 工程不仅仅是提供指令，更需要理解 LLM 的工作原理，并运用艺术和科学的结合来构建有效的 Prompt。例如，在构建一个用于翻译的 Prompt 时，我们需要考虑以下几个方面：
- 清晰度: Prompt 必须清晰明确地指示 LLM 执行翻译任务，并指定源语言和目标语言。例如：“将以下英文句子翻译成中文：’The quick brown fox jumps over the lazy dog.'”
- 上下文: 提供必要的上下文信息可以帮助 LLM 更好地理解翻译的目标。例如，如果翻译的句子是技术文档的一部分，可以在 Prompt 中说明这一点，以便 LLM 选择更专业的术语。
- 风格: 根据目标受众和用途，可以指定翻译的风格。例如，可以将翻译风格指定为“正式”、“非正式”、“口语化”等等。
- 约束: 可以对翻译结果进行约束，例如限制字数、避免使用某些词汇等等。
一个糟糕的 Prompt 可能会导致翻译结果不准确或不自然。例如，如果只是简单地输入 “翻译：’The quick brown fox jumps over the lazy dog.’”，LLM 可能会输出一个字面翻译，而忽略了语言习惯和文化差异。
数据支撑： 有研究表明，精心设计的 Prompt 可以显著提高 LLM 的性能。例如，OpenAI 的研究发现，通过使用更详细和上下文相关的 Prompt，GPT-3 在某些任务上的准确率可以提高 20% 以上。
Evals 的类型：从简单到复杂，满足不同需求
Evals 的类型多种多样，可以根据不同的需求和场景选择合适的评估方法。常见的 Evals 类型包括：
- 人工评估: 由人工对 LLM 的输出进行评估，判断其质量和准确性。人工评估的优点是能够捕捉到细微的语义差异和上下文信息，但缺点是成本较高、耗时较长，并且容易受到主观偏见的影响。
- 基于规则的评估: 基于预定义的规则对 LLM 的输出进行评估。例如，可以设置规则来检查输出是否符合特定的格式、是否包含某些关键词等等。基于规则的评估的优点是自动化程度高、速度快，但缺点是难以处理复杂的语义和上下文信息。
- 基于模型的评估: 使用另一个 LLM 来评估目标 LLM 的输出。例如，可以使用一个更强大的 LLM 来判断目标 LLM 的输出是否准确、流畅等等。基于模型的评估的优点是自动化程度高、能够处理复杂的语义和上下文信息，但缺点是成本较高，并且依赖于评估模型的性能。
- 指标评估: 使用预定义的指标（如 BLEU, ROUGE）对生成的文本进行评估，与标准答案进行对比，衡量相似度。
选择哪种 Evals 类型取决于具体的需求和资源。对于需要高精度和细致评估的任务，人工评估可能是最好的选择。对于需要快速和大规模评估的任务，基于规则或基于模型的评估可能更合适。而指标评估则适用于有明确标准答案的任务。
实际案例： 假设我们需要评估一个 LLM 生成代码的能力。我们可以采用以下几种 Evals 方法：
- 人工评估: 开发者人工检查生成的代码是否能够正确运行、是否符合代码规范等等。
- 单元测试: 编写单元测试用例，自动测试生成的代码是否能够通过所有测试。
- 基于模型的评估: 使用另一个 LLM 来评估生成的代码的可读性、可维护性等等。
不同的 Evals 方法可以从不同的角度评估生成的代码，从而帮助我们更全面地了解 LLM 的性能。
Evals 的工具：选择适合你的利器
目前市面上有很多 Evals 工具可供选择，例如 LangChain, OpenAI Evals 等等。这些工具提供了各种各样的功能，可以帮助我们更方便地进行 LLM 评估。
选择 Evals 工具时，需要考虑以下几个方面：
- 功能: 工具是否提供了所需的评估类型和指标？
- 易用性: 工具是否易于使用和配置？
- 可扩展性: 工具是否能够支持大规模的评估？
- 集成性: 工具是否能够与其他工具和平台集成？
- 成本: 工具的成本是否可接受？
例如，LangChain 是一个流行的 LLM 开发框架，提供了丰富的 Evals 功能，包括人工评估、基于规则的评估、基于模型的评估等等。OpenAI Evals 是 OpenAI 提供的 Evals 平台，可以帮助开发者评估 LLM 的性能并进行比较。
建议： 可以根据项目的具体需求和预算，选择合适的 Evals 工具。对于小型项目，可以使用免费的 Evals 工具或自行编写评估脚本。对于大型项目，可以考虑使用商业级的 Evals 平台。
持续改进：Evals 是一个迭代的过程
Evals 不是一个一次性的任务，而是一个持续迭代的过程。随着 LLM 技术的不断发展，我们需要不断更新和完善我们的 Evals 方法。
一个好的 Evals 系统应该能够：
- 监控 LLM 的性能: 持续监控 LLM 的性能，及时发现问题。
- 诊断问题: 能够诊断 LLM 性能下降的原因。
- 指导改进: 能够指导我们如何改进 Prompt、模型参数等等。
- 自动化: 尽可能地自动化评估过程，提高效率。
- 版本控制: 能够对 Prompt 和 Evals 进行版本控制，方便回溯和比较。
经验分享： 在实际项目中，我发现以下几点对于构建有效的 Evals 系统至关重要：
- 明确评估目标: 在开始评估之前，需要明确评估的目标是什么，例如提高准确率、提高流畅度等等。
- 选择合适的评估指标: 根据评估目标选择合适的评估指标。
- 收集足够的数据: 需要收集足够的数据来训练和评估 LLM。
- 持续监控性能: 持续监控 LLM 的性能，及时发现问题。
- 不断迭代改进: 根据评估结果不断迭代改进 Prompt 和模型参数。
案例分析：如何利用 Evals 优化电商评论生成
假设我们正在开发一个电商评论生成系统，目标是根据商品信息自动生成用户评论。为了评估该系统的性能，我们可以使用以下 Evals 方法：
- 人工评估: 邀请用户阅读生成的评论，并评价其真实性、有用性、流畅度等等。
- 基于规则的评估: 检查生成的评论是否包含敏感词汇、是否符合商品信息等等。
- 基于模型的评估: 使用另一个 LLM 来评估生成的评论的情感倾向、主题相关性等等。
通过对生成的评论进行评估，我们可以发现一些问题，例如：
- 生成的评论不够真实，缺乏细节。
- 生成的评论过于笼统，没有针对性。
- 生成的评论情感倾向不准确。
针对这些问题，我们可以采取以下改进措施：
- 在 Prompt 中提供更详细的商品信息和用户画像。
- 增加 Prompt 的约束，要求生成的评论更加具体和有针对性。
- 使用情感分析模型来调整生成评论的情感倾向。
通过不断迭代评估和改进，我们可以逐步提高电商评论生成系统的性能，生成更真实、更有用的用户评论。
总结：Evals 是 LLM 应用成功的基石
总而言之，Evals 是开发成功的 LLM 应用的基石。通过使用 Evals，我们可以客观地评估 LLM 的性能，诊断问题，并指导改进。虽然 LLM 的评估方法尚处于发展初期，但我们已经有很多工具和技术可以选择。记住，Evals 是一个持续迭代的过程，需要我们不断学习和探索。只有通过不断地 评估 (Evals)、优化 Prompt，才能真正释放大语言模型 (LLM) 的潜力，构建出卓越的应用。希望本文分享的经验能对你有所帮助！