在构建基于大型语言模型（LLM）的应用时，有效的测试是一个日益突出的挑战。与传统软件不同，LLM 的非确定性和输出的主观性给测试带来了独特的难度。本文将深入探讨如何利用现有的测试框架，特别是结合 Hugging Face evaluate 库，对 LLM 应用进行稳健的评估，并以 MindsDB 为例，展示具体的实现方法。

LLM 应用测试的挑战

传统的软件测试方法在应对 LLM 应用时往往捉襟见肘。主要挑战包括：

• 非确定性（Non-Determinism）: 对于相同的输入，LLM 可能会产生略微不同的输出，使得精确字符串匹配变得不可靠。
• 主观性（Subjectivity）: “好”或“正确”的输出可能是主观的，并且依赖于上下文。例如，对于“什么是最好的餐厅？”这个问题，答案会因人而异。
• 质量评估方式（Qualitative vs. Quantitative）: 人工评估虽然至关重要，但速度慢，且难以扩展到回归测试中。
• 性能衰退（Performance Degradation）: LLM 的质量可能会随着时间的推移或模型更新而下降，需要持续监控。

为了解决这些问题，我们需要一种能够客观、自动地测量 LLM 响应质量的方法。

Hugging Face evaluate 库：量化 LLM 性能的关键

Hugging Face evaluate 库提供了一种标准化的方式来访问和计算各种自然语言处理（NLP）指标。它为 LLM 测试带来了变革，因为它允许我们量化生成文本的质量。例如，我们可以使用 evaluate 库来计算 ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 分数，这是一种广泛用于摘要和机器翻译的指标。ROUGE 通过测量生成摘要和参考摘要之间的 n-gram（单词序列）的重叠程度来评估摘要的质量。常见的 ROUGE 变体包括：

• ROUGE-N: 测量 N-gram 单位的重叠（例如，ROUGE-1 用于 unigrams，ROUGE-2 用于 bigrams）。
• ROUGE-L: 测量生成文本和参考文本之间最长公共子序列 (LCS)，这对于捕获句子级别的相似性非常有用。

MindsDB：简化 LLM 集成和测试

MindsDB 简化了 AI 模型（包括 LLM）与数据源的集成过程。它允许你创建 “AI 表” 或 “代理”，可以像查询数据库一样查询 LLM。在本文引用的示例测试套件中，MindsDBLibrary.py（由 Robot Framework 使用）封装了与 MindsDB 的核心交互。以下是一些关键的函数和概念：

• 连接 MindsDB (connect_to_mindsdb): 建立与 MindsDB 服务器的连接。
• 设置 MindsDB 代理 (setup_mindsdb_agent): 创建一个 MindsDB 代理来进行摘要任务。这通常涉及指定 LLM 模型（例如 GPT-4），OpenAI API 密钥，以及一个 prompt 模板。prompt 模板指导 LLM 的行为。例如，一个简单的模板可能是 “Summarize the following text concisely: {{question}}”。
• 从 MindsDB 代理获取摘要 (get_summary_from_mindsdb_agent): 向 MindsDB 代理发送输入文本，并接收生成的摘要。
• 评估 ROUGE 分数 (evaluate_rouge_score): 使用 Hugging Face evaluate 库计算生成摘要和预期摘要之间的 ROUGE-L 分数，并将其与预定义的阈值进行比较。

Robot Framework：构建可读且可维护的 LLM 测试套件

Robot Framework 的关键词驱动方法使其非常适合创建可读且可维护的测试套件。在文章示例中，respond/test_respond.robot 文件使用来自 llm_summary_test_data.json 的数据来编排 LLM 测试。llm_summary_test_data.json 文件为 LLM 提供必要的 input_text，用于比较的 expected_summary，以及每个测试用例的 min_rouge_l 阈值。

例如，llm_summary_test_data.json 文件可能包含如下内容：

[
    {
        "id": "summary_test_001",
        "input_text_db_query": "SELECT call_summary FROM sales_manager_data.public.call_summaries WHERE id = 1;",
        "input_text": "Call brief: Adams, Owens and Davidson discussed predictive analytics for retail sales forecasting and how AI could streamline their operations. The conversation covered challenges such as data security, model reliability, and regulatory compliance. A potential roadmap for AI adoption was outlined, including short-term proofs of concept and long-term deployment.",
        "expected_summary": "Adams, Owens and Davidson discussed predictive analytics and AI for retail sales forecasting and operational efficiency. They addressed challenges like data security, model reliability, and regulatory compliance, and proposed a roadmap for AI adoption including proofs of concept and long-term deployment.",
        "min_rouge_l": 0.35,
        "notes": "Summary for call_id 1 involving Adams, Owens and Davidson"
    },
   // ... more test cases
]

Robot Framework 测试用例会加载此数据，并使用 MindsDBLibrary.py 中的关键词与 MindsDB 交互，生成摘要，并使用 evaluate_rouge_score 验证摘要的质量。

Pytest：Pythonic 的 LLM 测试方法

对于那些更喜欢 Python 原生测试框架的人来说，Pytest 提供了强大的功能，例如 fixtures 和动态测试生成，使其同样适用于 LLM 应用测试。在文章示例中，test_respond_pytest.py 脚本展示了这一点。

Pytest 使用 fixtures 来处理共享资源的设置和拆卸，例如 MindsDB 连接和 LLM 代理。pytest_generate_tests 钩子动态地为 llm_summary_test_data.json 文件中的每个条目创建单独的测试用例。这意味着你编写一个测试函数，但 Pytest 会多次运行它，每次对应一个数据点。

test_llm_summarization_correctness 函数接受 mindsdb_setup (提供 MindsDB 服务器对象) 和 test_case (来自 JSON 数据的单个条目) 作为参数，使测试逻辑清晰且数据驱动。

以下是 test_respond_pytest.py 脚本中一些关键部分的解释：

• Fixtures (mindsdb_connection, mindsdb_setup): mindsdb_connection fixture 建立与 MindsDB 的连接，并在模块中所有测试运行完成后关闭连接。mindsdb_setup fixture 设置 MindsDB 代理，并在测试后删除代理（如果是由这个 fixture 创建的）。
• 动态参数化 (pytest_generate_tests): pytest_generate_tests 钩子函数从 llm_summary_test_data.json 文件加载测试数据，并使用 metafunc.parametrize 动态地为每个测试用例创建一个测试。param_ids 用于提供更友好的测试报告标识符。
• 辅助函数 (get_summary_from_mindsdb_agent, evaluate_rouge_score): get_summary_from_mindsdb_agent 函数向 MindsDB 代理发送查询，并返回生成的摘要。evaluate_rouge_score 函数使用 Hugging Face evaluate 库计算 ROUGE-L 分数，并将其与阈值进行比较。
• 测试函数 (test_llm_summarization_correctness): test_llm_summarization_correctness 函数是主要的测试函数，它接受 mindsdb_setup 和 test_case 作为参数。它首先从 MindsDB 代理获取摘要，然后使用 evaluate_rouge_score 函数验证摘要的质量。

实践案例分析：ROUGE 指标在电商评论摘要中的应用

假设我们正在开发一个电商平台，该平台利用 LLM 自动生成用户评论的摘要。我们需要确保生成的摘要能够准确反映评论的内容，同时又简洁易懂。

我们可以使用 Hugging Face evaluate 库结合 ROUGE 指标来评估摘要的质量。例如，我们可以从用户评论中随机抽取 100 条，并手动编写这些评论的 “黄金摘要”。然后，我们使用 LLM 生成这些评论的摘要，并计算生成的摘要与黄金摘要之间的 ROUGE-L 分数。

如果 ROUGE-L 分数低于预定义的阈值（例如 0.4），则我们认为该摘要质量不佳，需要进行改进。我们可以通过调整 LLM 的参数、修改 prompt 模板或添加更多训练数据来提高摘要的质量。

数据驱动：提升 LLM 测试的准确性

在 llm_summary_test_data.json 文件中，我们可以通过 input_text_db_query 直接从数据库查询输入文本。 这提供了更大的灵活性，并允许我们测试来自各种数据源的数据。

例如，我们可以修改 test_llm_summarization_correctness 函数，以从数据库中检索输入文本，如果提供了 input_text_db_query，代码如下所示：

def test_llm_summarization_correctness(mindsdb_setup, test_case):
  ...
    input_to_summarize = input_text # Default to the text provided in the JSON
    if input_text_db_query:
        try:
            print(f"Attempting to fetch input text from DB using query: {input_text_db_query}")
            db_input_obj = mindsdb_connection.query(input_text_db_query)
            db_input_df = db_input_obj.fetch()
            if not db_input_df.empty and len(db_input_df.columns) > 0:
                # Assuming the first column of the query result contains the text
                input_text_from_db = str(db_input_df.iloc[0, 0]) # Ensure it's a string
                print(f"Input text fetched from DB: {input_text_from_db[:100]}...")
                input_to_summarize = input_text_from_db
            else:
                print(f"Warning: DB query for input text returned empty or no columns for test case {test_id}. Using directly provided 'input_text'.")
        except Exception as e:
            print(f"Warning: Failed to fetch input text from DB for test case {test_id} ({e}). Using directly provided 'input_text'.")
 ...

Robot Framework 和 Pytest 方法的优势

无论选择哪个框架，这种集成测试策略都为 LLM 应用提供了显著的优势：

• 量化质量保证（Quantitative Quality Assurance）: 从主观的 “看起来不错” 转向可测量的指标，如 ROUGE，提供客观的通过/失败标准。
• 自动化回归测试（Automated Regression Testing）: 轻松地将质量检查作为 CI/CD 管道的一部分运行，捕获 LLM 性能或模型更改中的回归。
• 可扩展性（Scalability）: 在数据文件中定义大量测试用例，允许将相同的测试逻辑应用于大量输入和预期输出的数据集。
• 清晰的阈值（Clear Thresholds）: 定义可接受的质量阈值 (min_rouge_l)，可以随着应用程序的发展进行调整。
• 关注点分离（Separation of Concerns）: 测试数据与测试逻辑分离，使其更易于管理和更新。
• 框架灵活性（Framework Flexibility）: 核心原则同样适用于关键词驱动的框架（如 Robot Framework）和 Python 原生框架（如 Pytest）。

超越 ROUGE： LLM 测试的未来方向

虽然 ROUGE 是一个很好的起点，但 LLM 测试是一个不断发展的领域。考虑以下增强功能：

• 其他 evaluate 指标（Other evaluate Metrics）: 探索其他指标，如 BLEU (用于翻译)、BERTScore (用于语义相似性) 或针对特定任务的自定义指标。例如，BERTScore 通常比 ROUGE 等 n-gram 重叠指标与人类判断的相关性更好。
• 人工参与的评估（Human-in-the-Loop Evaluation）: 对于关键或复杂场景，集成定期的人工审查 LLM 输出。
• 对抗性测试（Adversarial Testing）: 开发用于 prompt 注入、偏见或事实不准确性的测试。例如，尝试使用对抗性 prompt 来诱导 LLM 产生不正确或有害的响应。
• 性能指标（Performance Metrics）: 跟踪 LLM 响应的延迟和吞吐量。

总结：构建可靠的 LLM 应用

通过采用一种稳健的、指标驱动的测试策略，并结合 MindsDB 和 Hugging Face evaluate 等工具，可以构建更可靠和更高质量的 LLM 驱动的应用程序。对 LLM 应用进行有效的测试，结合量化指标如 ROUGE 和 BERTScore，可以帮助我们确保 LLM 应用的质量和可靠性。 持续监控和改进测试方法是构建成功的 LLM 应用的关键。