代码大语言模型（Code LLM）的能力评估，一直以来依赖于静态基准测试。然而，纽约大学数据科学中心（NYU CDS）的一项最新研究表明，这种评估方式可能无法真实反映模型在实际应用中的表现。通过引入交互式反馈机制，研究团队发现，模型在基准测试中的排名会发生显著变化，某些模型甚至可能升降多达四个名次。这项研究挑战了现有评估体系，强调了采用更贴近实际工作流程的交互式基准的重要性，从而更准确地衡量代码大语言模型的真实性能，并为未来的开发和评估指明了方向。
静态基准测试的局限性
传统的代码大语言模型评估，通常依赖于静态基准测试，如HumanEval、MBPP、APPS和CodeXGLUE等。这些基准测试提供一系列预设的编程问题，模型需要独立完成代码编写。这种评估方式简单直接，易于比较不同模型的能力，但也存在明显的局限性。
首先，静态基准测试无法模拟真实的编程环境。在实际开发中，程序员很少会一次性输入完整的需求描述，而是通过迭代的方式，与AI助手进行持续的沟通和反馈。程序员会根据模型的输出，进行修改、调整，并提出新的要求。静态基准测试忽略了这种交互过程，无法全面评估模型在实际应用中的协作能力。
其次，静态基准测试容易产生“过拟合”现象。模型可能会针对特定的基准测试进行优化，从而获得较高的分数，但这并不意味着模型在其他场景下也能表现出色。正如研究作者之一的Jane Pan所指出的，“标准基准测试不能完全捕捉模型在更‘真实’环境中的表现。”
举例来说，一个模型可能在HumanEval上表现出色，能够准确地解决一系列算法问题。但这并不代表该模型能够很好地理解程序员的自然语言指令，或者能够根据程序员的反馈进行快速迭代。因此，仅仅依靠静态基准测试来评估代码大语言模型，可能会产生误导，高估了模型的实际能力。
交互式基准测试的优势
为了解决静态基准测试的局限性，研究团队提出了交互式基准测试的概念。这种测试方式模拟了真实的程序员-AI助手交互过程，模型需要根据模拟用户的反馈进行迭代，从而完成编程任务。
在交互式基准测试中，研究团队首先隐藏了问题的关键细节，然后向代码大语言模型输入初始的提示。模型根据这些提示生成代码，然后研究团队会模拟用户反馈，例如代码编辑、简短的指令或段落式的评论。模型需要根据这些反馈进行修改和调整，直到最终完成任务。
这种交互式反馈机制能够更真实地反映模型在实际应用中的表现。模型不仅需要具备代码生成能力，还需要具备理解和响应用户反馈的能力。这种能力对于提高编程效率和质量至关重要。
例如，研究发现，当代码大语言模型收到段落式的评论时，能够修复更多的失败测试用例，并进行更多的代码修改。这表明模型能够更好地理解复杂的指令和需求，从而生成更准确的代码。另一方面，当模型只收到简单的提示时，改进效果相对较小。
交互式反馈对模型排名的影响
研究团队对十种不同的代码大语言模型进行了交互式基准测试，并发现交互式反馈对模型的排名产生了显著影响。
其中一个模型，在静态基准测试中排名第七，但在交互式基准测试中，当收到段落式的评论时，排名上升至第三。另一个模型，在静态基准测试中排名第二，但在交互式基准测试中，当只收到单句提示时，排名下降至第六。
这些结果表明，代码大语言模型在交互式环境中的表现，与在静态基准测试中的表现存在显著差异。某些模型可能擅长独立完成编程任务，但在理解和响应用户反馈方面表现较差。而另一些模型可能在静态基准测试中表现平平，但在交互式反馈的加持下，能够发挥出更大的潜力。
这一发现强调了采用交互式基准的重要性。只有通过模拟真实的交互过程，才能更准确地评估代码大语言模型的真实性能，并为未来的开发和评估提供更可靠的依据。
自动化交互式反馈系统的构建
为了降低交互式基准测试的成本和时间，研究团队构建了一个自动化系统，该系统能够模拟开发者的行为，生成各种形式的反馈，包括代码编辑、重新措辞的输入查询、单句指示或简短的段落。
该系统使用语言模型来生成反馈，从而实现了大规模的测试，而无需真实用户的参与。这种自动化方法不仅降低了测试成本，还提高了测试效率，使得研究团队能够对大量的代码大语言模型进行交互式基准测试。
自动化交互式反馈系统的构建，为代码大语言模型的评估带来了革命性的变化。通过模拟真实的交互过程，该系统能够更准确地评估模型的性能，并为未来的开发和评估提供更可靠的依据。
代码行名称的重要性
研究团队还发现，直接命名特定的代码行，往往能够达到甚至超过长篇文本指令的效果。这种方法能够让用户精确地指出代码中需要修改的部分，从而提高修改效率。
例如，与其告诉模型“修复第5行的错误”，不如直接告诉模型“将第5行的变量名从x修改为y”。后者更加明确和直接，能够让模型更快地理解用户的意图，并进行准确的修改。
研究人员将这种方法描述为“在模型所在的位置与其会合”。这意味着，我们需要尽可能地利用模型的能力，并提供模型能够理解的指令，从而实现最佳的交互效果。
可操纵性的衡量
除了评估代码大语言模型的性能之外，研究团队还测量了模型的可操纵性。可操纵性是指模型在收到反馈后，输出的变化程度。
研究发现，交互式反馈放大了不同模型之间的行为差异。这表明，静态基准测试无法完全捕捉模型在实际应用中的差异，尤其是在代码大语言模型已经成为软件开发工作流程不可或缺的一部分的今天。
某些模型可能对反馈非常敏感，能够根据反馈进行快速调整。而另一些模型可能对反馈不太敏感，难以根据反馈进行修改。这种差异对于实际应用具有重要意义。如果一个模型的可操纵性较差，那么程序员可能需要花费更多的时间和精力来引导模型，才能达到预期的效果。
因此，在评估代码大语言模型时，不仅需要关注模型的性能，还需要关注模型的可操纵性。只有选择具有良好可操纵性的模型，才能提高编程效率和质量。
结论与展望
通过模拟真实的开发者-AI交互过程，这项研究明确指出，评估必须与实际工作流程相匹配。如果没有交互式基准，研究人员可能会夸大模型的优势或忽视缺陷。
随着代码大语言模型越来越普遍，使用交互式反馈循环对其进行测试，对于开发者和外部评估人员来说，对于清晰、公正地了解AI性能至关重要。
未来的研究方向包括：
-
构建更真实的交互式基准测试： 研究团队可以进一步完善自动化反馈系统，使其能够生成更逼真的用户反馈。例如，可以引入更多类型的反馈，例如代码审查、单元测试等。
-
探索不同类型的交互方式： 研究团队可以探索不同的交互方式，例如语音交互、手势交互等，从而更好地满足不同用户的需求。
-
研究交互式反馈对模型的影响： 研究团队可以深入研究交互式反馈对模型的影响，例如如何提高模型的可操纵性、如何减少模型的错误率等。
总而言之，交互式基准测试为代码大语言模型的评估带来了新的视角。通过模拟真实的交互过程，能够更准确地评估模型的性能，并为未来的开发和评估提供更可靠的依据。随着代码大语言模型的普及，交互式基准测试将成为评估模型的重要手段。只有采用这种评估方式，才能充分发挥代码大语言模型的潜力，提高编程效率和质量。