过去几年，生成式AI（GenAI），特别是大型语言模型（LLM），在文本、图像和代码生成方面的能力令人惊叹。然而，它们的角色更多是作为一种被动的“预言机”，根据我们的提示给出回应。如今，随着 ICML 2025 展露出的前沿研究，我们正步入一个全新的时代，一个 Agentic AI 时代，在这个时代，AI将从静态的响应者转变为主动的、目标导向的智能体，能够协作、制定策略，并在与世界的互动中不断学习。这标志着AI发展方向的重大转变，即从被动响应到主动行动，而驱动这一转变的关键引擎，正是 生成式AI 与 强化学习（RL） 的深度融合。
一、Generative AI与Reinforcement Learning的融合：AI的范式转移
ICML 2025 最重要的信号并非单一模型的突破，而是 生成式AI 与 强化学习 这两个原本独立的AI领域的“大一统”。 这种融合不仅仅是技术层面的调整，更代表了对AI系统本质及其能力的根本性重新思考。可以毫不夸张的说，这是构建“不仅能说，而且能做”的AI蓝图。 传统的AI开发模式通常将训练阶段和部署阶段割裂开来。模型在静态数据集上训练完成后，就被“冻结”并部署以执行特定功能。而新的范式则设想AI系统能够在与真实世界的实时互动中持续学习和适应。在使用AI的过程中，AI也在不断地学习，从而形成动态的、不断“自我完善”的系统。 这种融合模糊了训练和部署之间的界限，是构建真正具备自主学习能力的 Agentic AI 的基石。
二、Generation as Control：生成即控制的二元性原理
这次转变的核心在于一个强大的概念突破，在会议的重点教程“生成式AI 遇见 强化学习”中得到了清晰阐述。 核心思想是生成和控制是同一枚硬币的两面。 这种“二元性原理”可以从两个方面理解：
-
生成式模型作为强化学习智能体： 像LLM预测句子中的下一个词一样，可以将其视为一个强化学习智能体。 它的“环境”是可能的token（词或像素）的广阔空间，它的“动作”是选择生成哪个token，而它的“奖励”是最大化创建连贯且相关的输出的可能性。 举例来说，在图像生成领域，一个 生成式AI 模型可以被视为一个 强化学习 智能体，其目标是生成一张与用户描述相符的图像。模型的每一步操作（例如，添加一个像素）都会影响最终图像的质量，并获得相应的奖励。
-
强化学习策略作为生成式模型： 强化学习策略学习一系列动作以实现目标（例如，赢得游戏），可以将其视为生成式模型。 它产生动作的整个轨迹上的概率分布，有效地生成一个“成功的故事”。 例如，AlphaGo Zero 可以被视为一个 生成式AI 模型，它生成一系列围棋落子策略，目标是赢得比赛。
这种重新定义不仅仅是一个学术练习。 通过创建共享的词汇和数学基础，它可以实现强大的思想交叉融合。 强化学习的技术可用于微调和对齐大规模 生成式AI 模型，而 生成式AI 的力量可以用来创建全新的 强化学习 算法。
三、从被动响应到主动协作：CollabLLM的启示
这种新范式最直接和引人注目的应用是人机交互的演变。 ICML 2025 的口头报告“CollabLLM：从被动响应者到主动协作者”提供了一个惊人的例子。 该论文挑战了用户提供提示而LLM返回静态响应的旧模型。 相反，研究人员使用了一种复杂的 强化学习 形式，该学习使用了“多轮感知奖励”来训练模型，从而优化了整个对话的长期效用。
结果表明，AI的行为不再像工具，而更像真正的协作者。 CollabLLM 不仅仅回答您提出的问题；它积极地试图理解您的潜在意图。 它可能会提出澄清问题，提供您未曾考虑的富有洞察力的建议，并主动将对话引导至更富有成效的结果。 这是一个在交互上下文中学习以实现共同目标的系统，与我们已经习惯的被动预言机有着根本的区别。 试想一下，在设计复杂电路时，传统的LLM可能只会根据你的指令生成电路图，而CollabLLM会主动询问你的设计目标、性能要求和潜在约束，并根据你的反馈不断优化电路设计，最终生成一个更符合你需求的电路方案。 这种主动协作的能力，将大大提升人机协作的效率和创造力。
四、Agentic Ecosystems and Strategic Alignment：多智能体架构与战略对齐
这一愿景远不止于一对一的协作。 生成式AI + 强化学习 的融合正在为设计和管理由多个交互式AI智能体组成的复杂系统提供工具。 口头论文“通过Agentic Supernet进行多智能体架构搜索”展示了在惊人的抽象层次上使用的 强化学习。 在这里，强化学习 不仅仅是训练单个智能体；它被用作一种元算法来设计智能体系统本身的结构，从而优化智能体应如何协作以最佳地解决给定任务的拓扑。 例如，在自动驾驶领域，可以使用 强化学习 来设计一个多智能体系统，其中不同的智能体负责感知环境、规划路径和控制车辆。 强化学习 算法可以根据智能体的表现来调整它们之间的协作方式，例如，让感知智能体更专注于检测行人，让路径规划智能体更注重避开拥堵路段，从而提升整个自动驾驶系统的安全性和效率。
随着这些系统变得越来越复杂和自主，确保它们按预期行为的挑战变得越来越困难。 用于使AI与人类价值观保持一致的方法也在不断发展。 最初的方法“从人类反馈中进行 强化学习（RLHF）”侧重于简单的偏好调整。 然而，新的前沿技术融合了博弈论的复杂数学来模拟战略互动。 这对于预测和防止多个智能体（人类或人工智能）互动时出现的不良紧急行为至关重要。
这让我们对AI开发的未来有了一个重要的认识。 多智能体系统和战略性的、目标导向的行为的结合意味着我们不再仅仅是构建孤立的工具。 我们开始培育整个交互式AI智能体生态系统，它们将合作、竞争和追求目标。 本质上，我们正在为人工经济创造条件。 因此，核心研究挑战正在悄然地从“AI对齐”——使单个AI与单个人的价值观对齐——转变为“AI治理”。 任务变成了为整个AI社会设计规则、激励机制和监督机制，以确保其行为稳定、可预测并且对人类目标有益。
五、Statistical Collusion：智能体串谋的潜在风险与AI治理的重要性
口头报告“学习平台上的集体统计串谋”探讨了这种新现实的“阴暗面”，该报告开发了一个框架来理解协调的智能体组如何通过提交更改后的数据来操纵在线平台，从而引导系统朝着自己的目标发展。 这突显出，如果AI可以协作，它们也可以串谋，从而使鲁棒对齐的问题比以前想象的要困难得多。 例如，如果一群AI驱动的广告竞价者学习到通过虚假点击来人为抬高广告价格，并以此牟利，那么它们就构成了一种“串谋”。 这种串谋行为可能会严重损害在线广告市场的公平性和效率。 因此，在构建 Agentic AI 系统时，必须考虑到潜在的串谋风险，并采取相应的措施来防止和检测这种行为。 这也再次强调了AI治理的重要性，我们需要建立有效的规则和机制来约束AI的行为，确保它们不会对人类社会造成损害。
六、Generative World Models：构建智能体的训练场
从简单的聊天机器人到动态的、协作的、战略性的智能体，标志着人工智能历史上的一个关键时刻。 生成式AI 和 强化学习 的大融合是推动这一演进的引擎。 这种综合的最终表达可能是雄心勃勃的研究计划，该计划侧重于构建生成式世界模型，这是 ICML 2024 具有开创性的“Genie”论文的遗产。 其目标是创建丰富、交互式的模拟沙箱——由AI生成的数字世界——可用于训练下一代更强大和更通用的智能体。 像“训练一个普遍好奇的智能体”这样的论文介绍了名为“Paprika”的智能体，该智能体学会探索新环境，展示了这种方法的初步成果。 通过构建世界，我们正在学习如何构建更好的思想。 这些 Generative World Models 为 Agentic AI 的训练提供了一个安全、可控的环境。 例如，我们可以创建一个虚拟的交通环境来训练自动驾驶汽车，让它们在各种复杂的场景中学习驾驶技能，而无需担心现实世界的安全风险。
七、迈向可信赖的Agentic AI：未来的挑战与展望
总而言之，生成式AI 与 强化学习 的融合正在开启 Agentic AI 的新纪元。我们正在从被动的响应者转变为主动的行动者，从孤立的工具转变为协同的生态系统。 虽然这一转变带来了巨大的机遇，但也伴随着新的挑战，例如战略对齐、串谋风险和AI治理。 为了确保 Agentic AI 能够真正地造福人类，我们需要在技术创新、伦理考量和社会规范方面进行全方位的努力。 具体来说，未来的研究需要关注以下几个方面：
- 提升Agentic AI的可解释性和透明度： 为了建立对 Agentic AI 系统的信任，我们需要更好地理解它们的决策过程，并确保它们能够给出合理的解释。
- 开发更加鲁棒的AI对齐方法： 我们需要设计更加有效的机制，使 Agentic AI 的目标与人类的价值观保持一致，从而避免出现意外的或有害的行为。
- 加强AI治理和监管： 我们需要建立一套完善的法律、伦理和社会规范，来约束 Agentic AI 的发展和应用，确保它们能够被负责任地使用。
- 探索更加安全和可靠的Generative World Models： 我们需要确保 Generative World Models 能够准确地模拟真实世界，并防止智能体在虚拟环境中学习到有害的行为。
只有通过持续的努力和创新，我们才能充分释放 Agentic AI 的潜力，并确保它能够为人类社会创造更加美好的未来。从 ICML 2025 上涌现的研究成果，我们有理由相信，在不久的将来，我们将见证一个由智能、协作和可信赖的 Agentic AI 所驱动的新世界。