2025年5月13日，在Interrupt开发者大会上，LangChain创始人Harrison Chase就AI的未来发表了鼓舞人心的演讲，他分享了构建AI Agent过程中面临的巨大挑战和深刻见解。本文将基于Chase的观点，深入探讨构建卓越AI Agent所需的四大关键技能：提示工程、工程技术、产品思维和机器学习基础，并结合实际案例，阐述如何运用这些技能打造真正赋能业务的AI解决方案。
从原型到现实：AI Agent的工程化挑战
Chase指出，利用大型语言模型（LLMs）构建一个基础的AI应用非常容易，因为LLMs本身就非常强大。你可以迅速搭建出一个原型，但要将这个原型转化为一个在现实世界中可靠运行的AI Agent，则面临着巨大的工程化挑战。这个挑战也是LangChain从开源项目转变为一家公司的原因。
事实上，从一个酷炫的演示到构建一个足够稳定的实际应用，其中的差距是巨大的。这不仅体现在技术层面，更体现在对用户需求的深刻理解和业务流程的精细打磨上。例如，一个用于客户服务的AI Agent，如果只是简单地调用LLM进行对话，很可能出现答非所问、上下文丢失等问题。为了解决这些问题，我们需要运用工程技术，构建一个可靠的架构，包括数据处理、上下文管理、错误处理机制等。
以智能客服机器人为例，初期的版本可能只是简单地根据用户提出的问题，调用LLM进行生成回答。然而，在实际应用中，用户的问题往往比较复杂，可能涉及到历史对话记录、用户个人信息、产品知识库等多个方面。如果AI Agent无法有效地整合这些信息，就难以给出准确、有用的回答。为了解决这个问题，我们需要对智能客服机器人进行工程化改造，例如：
- 构建知识图谱： 将产品知识库中的信息组织成知识图谱，方便AI Agent快速检索相关信息。
- 引入对话管理模块： 记录用户的历史对话记录，并根据上下文信息调整回答策略。
- 集成外部API： 调用外部API获取用户个人信息，例如订单信息、会员等级等。
通过这些工程化改造，智能客服机器人可以更好地理解用户的问题，并给出更准确、更个性化的回答，从而提升用户满意度。
Prompting技巧：打造精准指令的关键
要构建一个成功的AI Agent，清晰、精确的Prompting（指令）至关重要。由于AI Agent依赖于LLMs，而LLMs的工作方式基于你给出的文本，因此编写优秀的Prompt是构建优秀AI Agent的核心。
Prompting不仅仅是简单的文本输入，它需要考虑到LLM的特性，以及AI Agent所要完成的任务。一个好的Prompt应该包含以下几个要素：
- 清晰的任务描述： 明确告诉LLM你要它做什么，例如“请你扮演一位专业的客服人员，回答用户的提问”。
- 详细的上下文信息： 提供LLM完成任务所需的上下文信息，例如“用户正在咨询关于产品退货的问题，产品名称是xxx，订单号是xxx”。
- 明确的输出格式： 告诉LLM你需要什么样的输出格式，例如“请你用简洁明了的语言回答用户的问题，并提供相应的解决方案”。
- 限制条件： 设置一些限制条件，防止LLM生成不相关或者不符合要求的回答，例如“请不要透露用户的个人信息”。
例如，假设我们要构建一个可以生成产品描述的AI Agent，我们可以使用以下Prompt：
请你扮演一位专业的文案撰写员，为以下产品撰写一段吸引人的描述：
产品名称：[产品名称]
产品特点：[产品特点]
目标用户：[目标用户]
请用简洁明了的语言，突出产品的优点，并吸引目标用户购买。
通过精心设计的Prompt，我们可以引导LLM生成符合我们要求的文本，从而提高AI Agent的效率和准确性。
产品思维：将用户需求转化为AI解决方案
仅仅掌握技术是不够的，你需要理解人们的工作方式和流程，然后设计一个AI Agent来处理这些任务。这就是产品思维的体现，它要求我们具备将用户需求和业务流程转化为AI解决方案的能力。
在构建AI Agent之前，我们需要深入了解用户的痛点和需求。例如，如果我们要构建一个用于自动化财务报表生成的AI Agent，我们需要了解财务人员在生成报表时面临的哪些问题，例如数据来源分散、报表格式复杂、人工操作繁琐等。
基于对用户需求的理解，我们可以设计一个AI Agent，它可以自动从不同的数据源收集数据，根据预定义的报表格式生成报表，并提供人工审核和修改的功能。
此外，我们还需要关注用户体验。一个优秀的AI Agent不仅要功能强大，还要易于使用。例如，我们可以设计一个友好的用户界面，让用户可以轻松地配置AI Agent的参数，并查看生成的报表。
产品思维不仅仅是技术，更是一种以用户为中心的思考方式。通过将用户需求和业务流程转化为AI解决方案，我们可以打造真正赋能业务的AI Agent。
机器学习基础：评估与优化AI Agent的性能
虽然你不需要成为一个机器学习天才，但了解如何评估模型的性能（使用“evals”）至关重要。这可以帮助你衡量你的AI Agent的表现，并处理其随时间推移的不可预测性。如果你能为特定任务微调模型，那就更好了！
评估AI Agent的性能是一个持续的过程，我们需要定期评估AI Agent的性能，并根据评估结果进行优化。评估方法可以分为以下几种：
- 人工评估： 邀请用户或专家对AI Agent的输出结果进行评估，例如评估AI Agent生成的文本是否准确、流畅、易于理解。
- 自动化评估： 使用自动化指标对AI Agent的性能进行评估，例如使用BLEU、ROUGE等指标评估AI Agent生成的文本与参考文本的相似度。
- A/B测试： 将不同的AI Agent部署到不同的用户群体中，通过比较不同用户群体的行为数据来评估AI Agent的性能。
例如，假设我们要评估一个用于生成营销文案的AI Agent，我们可以使用以下方法：
- 人工评估： 邀请营销专家对AI Agent生成的文案进行评估，例如评估文案是否具有吸引力、是否能够有效地传达产品信息。
- A/B测试： 将AI Agent生成的文案和人工撰写的文案分别部署到不同的用户群体中，通过比较不同用户群体点击率、转化率等指标来评估AI Agent的性能。
通过评估AI Agent的性能，我们可以发现AI Agent的不足之处，并根据评估结果进行优化。例如，如果我们发现AI Agent生成的文案不够吸引人，我们可以尝试调整Prompt，或者使用更强大的LLM。
合作共赢：打造卓越AI解决方案
Chase认为，拥有所有这些技能是梦想，但由于该领域仍然很新，因此构建AI Agent通常是一项团队工作。所以，无论你是一个独奏明星还是团队的一员，合作都是关键。
构建AI Agent需要多种技能，例如Prompting技巧、工程技术、产品思维和机器学习基础。由于每个人擅长的领域不同，因此合作是构建卓越AI解决方案的关键。
一个典型的AI Agent开发团队可能包括以下角色：
- 产品经理： 负责定义AI Agent的功能和用户体验。
- 工程师： 负责构建AI Agent的架构，并实现AI Agent的功能。
- 提示工程师： 负责编写Prompt，并优化Prompt的性能。
- 机器学习工程师： 负责评估AI Agent的性能，并进行优化。
通过团队合作，我们可以充分发挥每个人的优势，共同打造卓越AI解决方案。
上下文至上：确保AI Agent可靠性的关键
Chase强调，你给AI的“上下文”（通过Prompt）至关重要。你编写的Prompt决定了LLM的输出，而该输出决定了AI Agent的行为。
但Prompt不仅仅是简单的文本字符串，它们由各种各样的片段组成，例如：
- 系统消息
- 用户输入
- AI Agent使用的工具
- 检索到的数据
- 对话历史
为了确保你的AI Agent运行良好，你需要完全控制这种“认知架构”（用于描述AI思考方式的术语）。LangChain通过提供诸如流式传输、短期和长期记忆以及“人机回路”功能（如果AI开始出现问题，人们可以介入）之类的工具来提供帮助。这种人机回路的想法不仅仅是技术，还是一种使AI Agent保持在正轨上的设计思维。
例如，如果我们要构建一个用于生成新闻摘要的AI Agent，我们需要为AI Agent提供以下上下文信息：
- 新闻内容： 这是AI Agent生成摘要的基础。
- 系统消息： 告诉AI Agent它应该生成什么样的新闻摘要，例如“请用简洁明了的语言，概括新闻的主要内容”。
- 对话历史： 记录用户之前的提问，以便AI Agent可以更好地理解用户的需求。
通过提供充足的上下文信息，我们可以确保AI Agent生成准确、有用的新闻摘要。
结论：迎接AI Agent的未来
AI Agent的时代已经到来，它们只会变得更酷、更强大。如果你正在使用AI Agent，请努力提高与它们交互的技能。如果你正在构建它们，请专注于那四个关键技能：Prompting、工程、产品思维和机器学习基础。你不需要在所有方面都成为超级英雄 – 只需掌握一个并投入游戏！
总之，构建卓越的AI Agent是一个需要多方面技能的挑战。通过不断学习和实践，掌握Prompting技巧、工程技术、产品思维和机器学习基础，我们可以打造真正赋能业务的AI解决方案，迎接AI Agent的未来。