在人工智能领域，构建一个能够接收输入、处理信息并生成响应的AI代理是一项挑战，但这只是开始。真正的挑战在于理解代理的行为，并确保其不仅功能正常，而且效果显著。这就是Arize Phoenix发挥作用的地方，它提供了一个集中的平台，用于实时追踪、评估和调试AI代理的决策。本文将探讨如何使用Arize Phoenix来优化和完善您的AI代理。
1. AI代理的构建与理解
构建AI代理不仅仅是编写代码和集成工具，更重要的是理解代理的行为。代理可能需要做出决策、检索信息或自主执行任务，或者同时完成所有这些任务。要有效地执行这些任务，我们需要能够追踪代理的每一步操作，从接收输入到处理信息，再到生成最终输出。这种追踪类似于对代理决策过程进行X光检查。
评估则是衡量代理性能的另一个重要方面。我们需要确保代理不仅能够正常工作，而且能够产生正确的答案，其发现的相关性，以及代理响应的精细程度是否符合我们的目标。
2. Arize Phoenix：集中化平台
Arize Phoenix提供了一个集中化的平台，让您可以在一个地方实时追踪、评估和调试代理的决策。通过这个平台，您可以深入了解代理的内部工作流程，从而调试问题、优化性能，并确保代理按预期行为。
3. 构建代理的步骤
在深入了解如何使用Arize Phoenix之前，我们首先需要构建一个代理。以下是构建代理的基本步骤：
- 安装所需库：使用pip安装smolagents库，这是一个轻量级的AI代理框架。
- 导入构建块：引入smolagents库中的类和工具，这些将用于构建代理。
- 设置基础模型：创建一个由Hugging Face Hub Serverless API支持的模型实例。
- 创建工具调用代理：使用DuckDuckGo搜索工具和访问网页工具等工具，以及之前创建的模型，构建代理。
- 运行代理：让代理执行任务，例如获取谷歌从2020年到2024年的股价，并创建折线图。
4. 追踪代理
一旦代理开始运行，下一个挑战就是理解其内部工作流程。追踪可以帮助您跟踪代理的每一步操作，从调用工具到处理输入和生成响应，使您能够调试问题、优化性能，并确保代理按预期行为。
为了启用追踪，我们将使用Arize Phoenix进行可视化，并使用OpenTelemetry + OpenInference进行工具的追踪和监控。通过安装smolagents的telemetry模块，并运行Phoenix实例，我们可以将代理的调用发送到Phoenix实例进行追踪。
5. 评估代理
在代理运行并被监控之后，下一步是评估其性能。评估（evals）有助于确定代理检索、处理和呈现信息的效果如何。
您可以运行多种类型的评估，例如响应相关性、事实准确性、延迟等。Arize Phoenix提供了多种预写和预测试的评估模板，涵盖忠实度、响应连贯性、事实准确性等领域。
6. 使用LLM作为评估工具
在评估代理时，我们可以使用大型语言模型（LLM）作为评估工具。这种方法，被称为LLM-as-a-judge，利用语言模型对响应进行分类和评分。
以DuckDuckGo搜索工具为例，我们将测量其搜索结果的相关性。首先，我们需要提取工具被调用时的执行跟踪。然后，我们使用RAG相关性提示模板，帮助LLM分类搜索结果是否相关。
7. 评估结果的分析
使用GPT-4o作为评估模型，我们可以分析搜索查询（输入）和搜索结果（输出）。LLM将根据提示对结果进行分类，判断其是否相关或不相关。我们为进一步分析分配一个二进制分数（1 = 相关，0 = 不相关）。
8. 将评估结果发送到Phoenix
最后，我们将评估结果发送到Phoenix，以便系统地评估DuckDuckGo搜索工具在我们代理中的有效性。使用LLM-as-a-judge，我们可以确保我们的代理检索到准确和相关的信息，从而提高性能。
9. 定制评估模板
任何评估都可以使用本教程轻松设置——只需将RAG相关性提示模板替换为适合您需求的不同提示模板。Arize Phoenix提供了多种预写和预测试的评估模板，涵盖忠实度、响应连贯性、事实准确性等领域。查看Phoenix文档以探索完整列表，并找到最适合您代理的模板。
10. 结论
通过Arize Phoenix，我们可以深入了解AI代理的内部工作流程，并对其进行系统化的评估和优化。这不仅有助于提高代理的性能，还可以确保代理在执行任务时能够产生准确和相关的结果。通过使用LLM作为评估工具，我们可以确保代理在检索信息时的准确性和相关性，从而提高整体的智能水平。随着AI技术的不断发展，使用Arize Phoenix这样的工具将变得越来越重要，以确保我们的AI代理能够以最高标准执行任务。