人工智能体 (AI Agent) 工作流正在改变知识工作者与技术互动的方式。尽管人工智能体在执行复杂任务时展现出高度的自主性，但为了确保准确性和可靠性，强大的人工监督仍然至关重要。本文将深入探讨人工智能体工作流的定义、人工监督的角色、准确性挑战以及如何通过人机协作来提升性能。
什么是人工智能体工作流？
人工智能体工作流是指由人工智能体自主执行多步骤任务的过程。这些人工智能体由先进的大型语言模型 (LLM) 提供支持，它们与传统的 LLM 不同，后者仅根据提示生成文本，而人工智能体能够进行规划、推理，并与外部工具（如 API、数据库或 Web 浏览器）交互，以实现特定目标。
例如，一个人工智能体可能通过将任务分解为可操作的步骤来预订航班、起草电子邮件或从网站抓取数据。与传统的线性工作流不同，人工智能体工作流采用更模块化的方法，即 AI Agent 框架，将 LLM 与用于决策和任务编排的工具包集成在一起。这使得系统能够动态适应不断变化的环境，并根据实时反馈优化其行动。
案例： 想象一下，一家市场研究公司需要收集特定行业竞争对手的最新数据。使用传统方法，研究人员需要手动搜索多个网站、整理数据并进行分析。而使用 人工智能体工作流，可以创建一个人工智能体，该人工智能体可以自主浏览互联网、识别目标网站、提取相关信息并将其整理成报告。人工智能体甚至可以被训练为识别新兴趋势并突出显示关键见解，从而大大节省了研究人员的时间和精力。
人工监督的关键角色
尽管人工智能体可以独立运行，但研究表明，它们的自主性与人工监督相结合时效果最佳。人类提供上下文、设定目标，并在人工智能体误解任务或产生不准确的结果时进行干预。这种干预确保人工智能体始终朝着正确的方向前进，并最大限度地减少潜在的错误。
例如，一个人工智能体被要求在网上搜索市场研究信息，但可能会错误地解释模棱两可的查询或获取过时的数据。人工监督者可以澄清指示、验证来源或调整人工智能体的方法，以确保与预期结果保持一致。
案例： 某家金融机构使用人工智能体来自动进行反洗钱 (AML) 调查。人工智能体可以扫描大量的交易数据，寻找可疑活动。然而，人工智能体可能会标记一些看似可疑但实际上是合法的交易。人工分析师需要审查这些标记，以确定是否存在真正的洗钱风险。通过结合人工智能体的速度和人类的判断力，该机构可以更有效地打击金融犯罪。
重要性： 人工监督不仅能提高准确性，还能确保人工智能体符合道德和法律规范。例如，人工智能体在招聘过程中用于筛选简历时，可能存在偏见，从而导致歧视。人工审查可以识别和纠正这些偏见，以确保公平的结果。
准确性挑战与基准测试
对 AI Agent 的准确性进行基准测试是一个复杂的问题。各种基准测试旨在评估 AI Agent 在不同领域的性能，如常识推理、数学问题解决、代码生成和多模态任务。然而，这些基准测试的结果往往参差不齐，突显了 AI Agent 在实际应用中面临的挑战。
研究表明，当前 AI Agent 的成功率仍然较低。例如，即使是表现最佳的智能体，其成功率也仅有 34.5% 左右（在 50 步内），这意味着超过 60% 的失败率。即使是像 Claude 这样在计算机使用任务中领先的先进模型，在 OSWorld 基准测试中也只获得了 14.9% 的分数，远低于人类水平的性能（70-75%）。
原因：
- 过度拟合： 研究人员经常过度拟合 AI Agent，使其在基准测试中获得高分，但这可能无法反映真实世界的性能。
- 复杂性： AI Agent 越来越复杂，集成了计算机视觉、任务分解和 Web 搜索等功能，但这会增加计算成本，因为 AI Agent 经常多次调用底层语言模型。
- 数据偏差： 训练 AI Agent 的数据可能存在偏差，导致在特定场景中表现不佳。
案例： 一家法律公司使用 人工智能体 来自动进行法律研究。人工智能体可以搜索大量的法律文件，寻找相关的案例和法规。然而，人工智能体可能会忽略一些重要的判例，或者错误地解释法律条文。这可能会导致律师在法庭上提出错误的论点。为了避免这种情况，律师需要仔细审查 人工智能体 的研究结果，并进行额外的调查。
通过人机协作增强准确性
为了解决这些准确性挑战，需要加强人机协作协议。通过结合 人工智能体 的可扩展性和人类的判断力，人工智能体工作流 可以实现更高的可靠性。例如，允许人类设置明确参数或审查中间输出的框架可以及早发现错误。此外，迭代改进基准测试设计（侧重于真实世界的场景）可以帮助开发人员微调智能体以获得更好的性能。
方法：
- 人类回路 (Human-in-the-loop)： 在关键决策点上加入人工审查，以确保 人工智能体 的行动与预期结果一致。
- 持续反馈： 从人工监督者那里收集反馈，用于改进 人工智能体 的训练数据和算法。
- 透明度： 使 人工智能体 的决策过程更加透明，以便人工监督者能够理解其推理过程。
案例： 一家医疗保健机构使用 人工智能体 来辅助诊断疾病。人工智能体 可以分析医学图像，寻找异常迹象。然而，由于 人工智能体 可能会出现假阳性或假阴性，因此需要由放射科医生审查 人工智能体 的结果。通过结合 人工智能体 的速度和人类的专业知识，该机构可以更准确、更高效地诊断疾病。
成本效益分析：权衡自主性与人工监督
尽管 人工智能体 在某些任务中展现出显著的自主性，但在广泛的企业应用中，其高成本和有限的准确性使其与更可靠的智能体工作流相比，可行性较低。这使得在部署 人工智能体 时，需要仔细权衡自主性带来的益处和人工监督所带来的成本。
因素：
- 计算成本： 运行复杂的 人工智能体 需要大量的计算资源，这可能会增加总体成本。
- 人工监督成本： 需要投入人力资源来监督 人工智能体 的工作，这也会增加总体成本。
- 错误成本： 人工智能体 的错误可能会导致严重的财务和声誉损失。
策略：
- 选择合适的任务： 将 人工智能体 部署在最能受益于其自主性的任务上，并尽量减少需要人工监督的任务。
- 优化工作流程： 设计工作流程，最大限度地提高 人工智能体 的效率，并减少需要人工干预的次数。
- 持续监控： 持续监控 人工智能体 的性能，并根据需要进行调整，以优化成本效益。
案例： 一家零售公司考虑使用 人工智能体 来自动进行客户服务。人工智能体可以回答客户的常见问题，并处理简单的投诉。然而，对于复杂的问题，人工智能体 可能无法提供令人满意的解决方案，需要人工客服介入。该公司需要仔细评估使用 人工智能体 带来的成本节约和潜在的客户服务质量下降，以做出明智的决策。
结论：走向更智能的人机协作
人工智能体工作流 代表着朝着能够以最少的人工干预来处理复杂任务的自主 人工智能系统迈出的一大步。然而，正如研究强调的那样，它们的自主性在与强大的人工监督相结合时效果最佳。基准测试表明，尽管 人工智能体 在计算机使用和 Web 浏览方面显示出潜力，但准确性问题仍然存在，特别是在动态或模糊的场景中。
未来的发展方向是将人机协作置于中心位置，通过构建更智能的工作流程，既能充分利用 人工智能体 的强大功能，又能充分发挥人类的判断力和创造力。 通过持续改进 人工智能体 的算法、训练数据和评估方法，并建立清晰的人工监督协议，我们可以释放 人工智能体工作流 的全部潜力，从而推动各行各业的创新和效率提升。
最终，关键在于找到自主性与人工监督之间的最佳平衡点，从而构建既强大又可靠的 人工智能 系统，并最终造福于人类社会。