Z Tech｜对话王子涵：离开DeepSeek，我人生的逆向思考

Z Tech｜对话王子涵：离开DeepSeek，我人生的逆向思考 Z Tech｜对话王子涵：离开DeepSeek，我人生的逆向思考 Modified April 25 图片由受访者提供 ZP： RAGEN的第二代主要是关注推理失败案例，以及 强化学习 失败模式（ RL failure mode）相关的问题，它也从一个偏向infra定义的研究，转变为一篇基于观察的论文。在这篇论文中，你们主要的观察结果是什么？你觉得有哪些方法可以改进这种观察？ 王子涵： 我们梳理了去年W&B上记录的几千个实验，发现强化学习的不同领域中， 多轮Agent强化学习（multi turn Agentic RL）领域推进难度远大于推理领域。 在数学、代码等推理领域，模型reasoning长度会随训练增加，直观体现模型逐步学会深入思考；但在多轮Agent RL领域，我们测试20多个任务后，始终无法复现这一现象，反而模型推理长度持续下降。我们认为，长度只是表象，我们更需要深入理解 这个长度背后，真正反映的模型推理能力和决策逻辑是什么。 ZP： 导致这种现象的原因，是不是与你所定义的环境有关？你所在的框架或所在定义的环境是 软件工程 /代码（SWE），还是类似小游戏（Gym）？ 王子涵： 我们的实验环境更偏向分布外（OOD）场景，也即Agent不熟悉的场景。Code或者数学等任务一般在模型的预训练/后训练阶段都进行大量的训练，做Agent RL时推理长度下降现象更缓和，但这类规整任务仅占Agent实际应用场景的一部分。除此之外还有大量Agent实际使用场景，比如GUI Agent（即网页点击）、游戏（如Sokoban）等任务，这些都是Agent不熟悉的任务。 更具有挑战性的是， 训练无法穷尽所有 基准测试 ，测试时必然出现OOD任务。 我们实验室在SPA这篇paper中，采取 状态 困惑度 （ State Perplexity ）作为OOD环境的检测指标，发现推箱子任务困惑度接近200多，远高于WebShop、数学、代码等任务。 图片由受访者提供 我们的目标是将Agent部署到现实中，而现实中OOD场景最易出问题，需重点加强理解；且“推理长度下降”并非仅存在于OOD任务，分布内任务中，也可能因Agent推理噪声，导致任务偶然答对后推理链缩短。 ZP： 这种“偶然答对后推理链变短”的现象，在不同类型任务中表现是否一致？ 王子涵： 差异非常明显。编程、数学任务有极强因果链，“过程对则结果对”；但推箱子、WebShop等Agent任务，可能步骤错误仍能完成任务，且这类任务状态转移多带随机性。我曾在Yutori实习接触GUI Agent业务，发现长程多模态Agent训练难度大，比如让Agent通过点击网页来订机票仍是未完全攻克的难题。我们观察到，模型性能提升的同时，推理却愈发脆弱，后续抽象出“模板坍缩”现象—— 模型倾向于输出不随prompt变化的“套话”。 那“套话”到底该如何定义？本质上，它指的是 不随题目变化而变化的推理链 ——无论输入什么prompt，模型都倾向于重复相同的表述。意识到这一点后，我开始寻找理论框架来解释这种现象。于是我回归信息论的底层，去研读早期的论文，最终意识到：对于输入X和推理Z，推理的总多样性H(Z)，由两部分组成。第一部分是"同题多解”——给定输入X之后，推理链Z在单个输入的多样性，也即条件熵H(Z|X)；第二部分是"异题异解”——不同输入X之间，推理Z的分布是否不同，也即互信息I(X;Z)。H(Z)=H(Z|X)+I(X;Z)，是信息论发展几十年的成果， 而从未有人尝试用其解释 LLM Agent的推理坍塌现象。 图片由受访者提供 然而在实验中我们观察到， 随着训练的深入，到后面推理与输入的互信息降到几乎快没有了。 尽管我们以各种方式去提高reasoning的entropy，结果却适得其反：模型生成的内容在不同prompt之间的区分度越来越小。 ZP： 针对这种问题，你们在RAGEN V1阶段做了哪些尝试？ 王子涵： 我们尝试过 提示词过滤（prompt filtering） 的方式：轨迹推演（rollout）完成后，系统会检查同一输入下不同样本间的奖励是否存在不一致；如果某个prompt对应的所有奖励都相同，我们就认为该prompt无法产生训练信号，类似考语文作文，写了5篇文章都是同一个分数，没有对比和进步的空间，就直接将其剔除。 这并非我们独创， 工业界同期也产生了DAPO等类似的思路 。DAPO看似很有前景，但在我们的Agent任务上却无法生效，核心是因为其只剔除不同采样间分数完全相同的prompt，而Agent任务奖励系统很多时候并非二元（0/1）奖励，奖励系统复杂且Agent采样有较强随机性，我们就调整了思路。 在RAGEN V1中，我们做了一个简单的启发式尝试，发现这可能与奖励方差（RV）相关—— 通过观察奖励方差，来评估任务的学习价值。 如果奖励方差越大，说明Agent当前的策略在该任务上的奖励不稳定，我们就保留这类样本；反之，则剔除。V1版本固定保留排名前25%或50%的高方差样本；V2阶段进一步探究prompt不可区分的原因，发现训练样本的RV越低，推理过程与输入的互信息下降越快。 Z P： 那到底是什么在影响互信息？ 王子涵： 我们探究后发现，影响互信息的核心是两种噪声。这两种噪声来源分别是： 算法内部为维持稳定性引入的正则项，以及rollout过程本身的环境随机噪声。 一是来自正则项的噪声，在奖励方差（RV）极低时，优势函数近乎为零，梯度更新主要由正则项（KL散度或熵等）主导，会把模型推到一个输出单一稳定推理链的位置；二是来自随机环境的噪声，即便采用完全不同的推理，也有可能由于噪声导向相同的结果，这就使得模型认为不同的推理可能有相同的收益，还不如稳定输出一个简单的推理，最终推理链千篇一律。 ZP： infra 层面的bug，也在你定义的噪声范畴内？ 王子涵： 去年暑假我研读了大语言模型RL中tokenization mismatch（分词不一致）和FP16vsBF16（训练推理精度转换导致的不一致）的近期论文，发现过去的一年中RL的底层框架中存在各种各样的infra问题，而即便是这样依然能成功训练，可见其信号强度足够强。 由于各种层面的噪声难以完全消除， 我们将策略从“消除噪声”转为“控制信号”，剔除信号弱、无学习价值的部分， 最终设计出SNR aware filtering（信噪比感知过滤）自适应训练方案。其核心是轨迹推演中实时评估样本信噪比，仅针对强信号、有增量学习价值的样本更新参数， 既避免噪声干扰，还能节省GPU资源和时间成本。 具体而言，我们按奖励方差（RV）排序prompt，仿照Top P算法保留累积贡献前列的样本，目前该方法已在多个合成/真实、单轮/多轮、视觉/文本模态等任务上实现性能提升。 图片由受访者提供 相比于DAPO等方案仅能剔除“无信号”的样本，我们基于RL信息论框架构建的SNR aware filtering为工程师提供了一个旋钮（Top P threshold），可以针对自己的任务调整“拒绝区间”。 信号高的任务，就少拒绝一些样本，多学点东西；信号低的任务，就多拒绝一些样本，确保学到了高质量内容。 针对控制旋钮本身，相比于Top K Filtering 固定选取前K个prompt的样本，Top P可以动态地在训练的不同阶段针对性采集信号更高的样本，训练效率更高，也更能确保样本的质量。 ZP： 既然rollout占主要的compute，那么fliter之后还是会丢掉一些样本，是否意味着这种计算投入被白白浪费了？ 王子涵： 节省计算时间并非核心价值。针对“过滤是否需更多样本才能收敛”的疑问，我们做了对比实验：采样的样本数量相同时，开启过滤的模型表现显著优于未开启， 证明低信噪比样本的更新不仅无益，还会产生干扰。 当时 RAGEN 正在投稿 NeurIPS，审稿人提出了很多质疑，再加上我在 Yutori 的实习 Agent RL 实验进度不如预期，每天回到工位上，看到同一个实验设置下，甚至会跑出几条不同的、近乎随机的结果曲线，那种深重的困惑感一度让我非常低落。值得庆幸的是，我们最终找到了一种方式，去解释 RL 训练中的不稳定性，也找到了让 RL 训练变得更可控的方法。 ZP： 总结来看，prompt呈现出低 方差 （low variance ）是有原因的：它可能只是碰巧有一个正确结果，也可能是任务太难导致模型始终猜不出来，还可能是任务太简单导致模型每次都能做对。本质上，这说明这个prompt可能不适合当前阶段的模型训练，所以把它整个过滤掉是比较正确的选择，强行通过后处理人为把它变成高方差（high variance），是没有实质意义的。那最后你们观察到，对于方差比较大的prompt，你觉得它是落在模型能力边界（boundary）上的一些案例吗？你怎样定义这些案例？ 王子涵： 确实如此，方差大的prompt恰好落在模型能力边界上，模型表现时好时坏，这类样本训练性价比最高，但这尚未完全揭示现实学习的本质。 现实中，偶尔能做对、多数时候出错的任务最具学习价值，核心问题在于当前 RL 范式 依赖 梯度下降 ，导致学习过程扭曲，难以区分真正逻辑与侥幸结果。 最理想的学习状态是任务梯度干净、 信噪比 高。 我们的研究也证明，奖励方差越大，梯度信号越不易被噪声掩埋。尽管如此，我对今年RL的范式转移充满期待，或许大家都会回归到提示词（prompt）的研究上，我自己最近也非常痴迷于此，觉得这是一种返璞归真。而且现在很多时候，做提示词优化的效果，甚至比做梯度下降还要好。 ZP： 那回到 RL ，包括Agentic RL、数学领域的RL，你觉得这条scaling路线有没有可能暂停？现在整体还处在高速增长阶段吗？你觉得是scaling已经不够用、需要新 范式 来突破，还是scaling itself is enough？ 王子涵： 谈到scaling，我觉得关键是 scale什么 。现在行业普遍在scale关注算力，而有些人更看重数据。之前有人问我：到底什么才是Agent？我觉得， 一个东西算不算Agent，取决于它被放在什么样的Physical或Digital环境里。 给它完全开放的计算机环境，它就是OpenClaw；给它受限计算机环境，它就是Claude Code或Codex；只给一个聊天界面，它就是GPT。 环境的开放程度，决定了Agent从0到1的智能指数。 回到你的问题：Agent RL 的 scaling law，我觉得最核心的还是——你能给它提供什么样的环境。 05 Agent下一阶段的核心命题是资源自适应：给1万块做1万的事，给100万做100万的事 ZP： 除了扩展环境（scaling environment ）之外，模型本身你觉得还有哪些地方需要改进？比如长上下文、泛化能力这类。你觉得泛化是必然会实现的，还是本质上就做不到？ 王子涵： 我在和GPT对话的过程中发现，它现在模仿我的速度越来越快，这说明大家都很重视记忆能力。我觉得目前真正难突破的，还是那些 贴近真实人类社会决策 的任务。现实中缺乏RL训练环境和试错机会，能收集到少量离线数据已属不易。 当然我们也在尝试 构建环境 。我们和一些研究者合作，搭建贴近真实的场景。我们正在和耶鲁、MIT、NUS的团队一起合作做O2 AI公司(o2tech.ai)，开发能深度接入垂类企业环境的Agent harness，并基于此构建 “资源自适应”的 Agent全栈系统（Infra / Benchmark / Service / Research） 。我们基于电子制造与回收供应链场景构建Agent，其有能力直接和企业实时数据交互、理解企业资源（如库存，时间，资源，人力）、并据此指导应该如何做企业决策，如仓库何时满仓、何时需要清库存。 这种基于真实业务逻辑的交互极具实用价值，我认为这是未来Agent发展绕不开的关键环节。 图片由受访者提供 Agent在人类社会中正在逐渐从“执行角色”过渡到“决策角色” ，构建具有决策能力的Agent将会越来越重要。为什么未来一定要让Agent去管理这些复杂企业事务，而不是传统模型？首先，Agent可以做出更需要复杂上下文决策。人在判断决策是否合理时，不只是根据过往数据算出来一个收益，还要考虑政策变化、商业合作意向等大量非结构化变量，这是传统模型很难覆盖的，因此必须依靠Agent。 现实中没有太多试错机会，构建沙盒环境是必然选择。所以我们正在做资源管理型 Agent。我们的研究更聚焦于： Agent在不同预算约束下究竟应该如何表现 。很多任务的设定都是给你一笔钱，把任务做得越漂亮越好。但更重要的是： 一个真正具备资源适应能力的人或Agent，给他一万块能做出一万块的效果，给他一百万就能做出一百万的效果。 我们希望打造的，就是这种 高度自适应资源约束的Agent 。现实中每个部门的初始资金、资源都不对等，且充满随机约束， 如何让Agent在资源受限的情况下聪明地利用资源，是一个非常值得探讨、但目前几乎没有对应benchmark的问题 ，这也就是为什么像O2 AI这样的公司，利用企业真实数据构建的环境和Agent系统，会更符合人类决策实际需求 。 一个更本质的挑战在于，模型生成token本身就是一种资源消耗。 现在很多代码类Agent，甚至只是让它说一句“你好”，都可能消耗10k、20k的token，非常不合理。针对这一点，现在很多人在研究如何优化推理开销。 但我认为，目前研究还没触达更本质的命题： 预算并不是花得越少越好，核心是 投入产出比 的高效匹配。 真正的挑战是，给你多少钱就要做出多少钱的效果。现在大多数做效率、做预算约束的工作都存在偏差——很多思路都在追求 “越少越好”，而真正的方向应该是 把现有资源高效转化为目标收益 ，这是完全不同，也更符合真实应用场景的优化思路。 图片由受访者提供 ZP： RAGEN的第二代主要是关注推理失败案例，以及 强化学习 失败模式（ RL failure mode）相关的问题，它也从一个偏向infra定义的研究，转变为一篇基于观察的论文。在这篇论文中，你们主要的观察结果是什么？你觉得有哪些方法可以改进这种观察？ 王子涵： 我们梳理了去年W&B上记录的几千个实验，发现强化学习的不同领域中， 多轮Agent强化学习（multi turn Agentic RL）领域推进难度远大于推理领域。 在数学、代码等推理领域，模型reasoning长度会随训练增加，直观体现模型逐步学会深入思考；但在多轮Agent RL领域，我们测试20多个任务后，始终无法复现这一现象，反而模型推理长度持续下降。我们认为，长度只是表象，我们更需要深入理解 这个长度背后，真正反映的模型推理能力和决策逻辑是什么。 ZP： 导致这种现象的原因，是不是与你所定义的环境有关？你所在的框架或所在定义的环境是 软件工程 /代码（SWE），还是类似小游戏（Gym）？ 王子涵： 我们的实验环境更偏向分布外（OOD）场景，也即Agent不熟悉的场景。Code或者数学等任务一般在模型的预训练/后训练阶段都进行大量的训练，做Agent RL时推理长度下降现象更缓和，但这类规整任务仅占Agent实际应用场景的一部分。除此之外还有大量Agent实际使用场景，比如GUI Agent（即网页点击）、游戏（如Sokoban）等任务，这些都是Agent不熟悉的任务。 更具有挑战性的是， 训练无法穷尽所有 基准测试 ，测试时必然出现OOD任务。 我们实验室在SPA这篇paper中，采取 状态 困惑度 （ State Perplexity ）作为OOD环境的检测指标，发现推箱子任务困惑度接近200多，远高于WebShop、数学、代码等任务。 图片由受访者提供 我们的目标是将Agent部署到现实中，而现实中OOD场景最易出问题，需重点加强理解；且“推理长度下降”并非仅存在于OOD任务，分布内任务中，也可能因Agent推理噪声，导致任务偶然答对后推理链缩短。 ZP： 这种“偶然答对后推理链变短”的现象，在不同类型任务中表现是否一致？ 王子涵： 差异非常明显。编程、数学任务有极强因果链，“过程对则结果对”；但推箱子、WebShop等Agent任务，可能步骤错误仍能完成任务，且这类任务状态转移多带随机性。我曾在Yutori实习接触GUI Agent业务，发现长程多模态Agent训练难度大，比如让Agent通过点击网页来订机票仍是未完全攻克的难题。我们观察到，模型性能提升的同时，推理却愈发脆弱，后续抽象出“模板坍缩”现象—— 模型倾向于输出不随prompt变化的“套话”。 那“套话”到底该如何定义？本质上，它指的是 不随题目变化而变化的推理链 ——无论输入什么prompt，模型都倾向于重复相同的表述。意识到这一点后，我开始寻找理论框架来解释这种现象。于是我回归信息论的底层，去研读早期的论文，最终意识到：对于输入X和推理Z，推理的总多样性H(Z)，由两部分组成。第一部分是"同题多解”——给定输入X之后，推理链Z在单个输入的多样性，也即条件熵H(Z|X)；第二部分是"异题异解”——不同输入X之间，推理Z的分布是否不同，也即互信息I(X;Z)。H(Z)=H(Z|X)+I(X;Z)，是信息论发展几十年的成果， 而从未有人尝试用其解释 LLM Agent的推理坍塌现象。 图片由受访者提供 然而在实验中我们观察到， 随着训练的深入，到后面推理与输入的互信息降到几乎快没有了。 尽管我们以各种方式去提高reasoning的entropy，结果却适得其反：模型生成的内容在不同prompt之间的区分度越来越小。 ZP： 针对这种问题，你们在RAGEN V1阶段做了哪些尝试？ 王子涵： 我们尝试过 提示词过滤（prompt filtering） 的方式：轨迹推演（rollout）完成后，系统会检查同一输入下不同样本间的奖励是否存在不一致；如果某个prompt对应的所有奖励都相同，我们就认为该prompt无法产生训练信号，类似考语文作文，写了5篇文章都是同一个分数，没有对比和进步的空间，就直接将其剔除。 这并非我们独创， 工业界同期也产生了DAPO等类似的思路 。DAPO看似很有前景，但在我们的Agent任务上却无法生效，核心是因为其只剔除不同采样间分数完全相同的prompt，而Agent任务奖励系统很多时候并非二元（0/1）奖励，奖励系统复杂且Agent采样有较强随机性，我们就调整了思路。 在RAGEN V1中，我们做了一个简单的启发式尝试，发现这可能与奖励方差（RV）相关—— 通过观察奖励方差，来评估任务的学习价值。 如果奖励方差越大，说明Agent当前的策略在该任务上的奖励不稳定，我们就保留这类样本；反之，则剔除。V1版本固定保留排名前25%或50%的高方差样本；V2阶段进一步探究prompt不可区分的原因，发现训练样本的RV越低，推理过程与输入的互信息下降越快。 Z P： 那到底是什么在影响互信息？ 王子涵： 我们探究后发现，影响互信息的核心是两种噪声。这两种噪声来源分别是： 算法内部为维持稳定性引入的正则项，以及rollout过程本身的环境随机噪声。 一是来自正则项的噪声，在奖励方差（RV）极低时，优势函数近乎为零，梯度更新主要由正则项（KL散度或熵等）主导，会把模型推到一个输出单一稳定推理链的位置；二是来自随机环境的噪声，即便采用完全不同的推理，也有可能由于噪声导向相同的结果，这就使得模型认为不同的推理可能有相同的收益，还不如稳定输出一个简单的推理，最终推理链千篇一律。 ZP： infra 层面的bug，也在你定义的噪声范畴内？ 王子涵： 去年暑假我研读了大语言模型RL中tokenization mismatch（分词不一致）和FP16vsBF16（训练推理精度转换导致的不一致）的近期论文，发现过去的一年中RL的底层框架中存在各种各样的infra问题，而即便是这样依然能成功训练，可见其信号强度足够强。 由于各种层面的噪声难以完全消除， 我们将策略从“消除噪声”转为“控制信号”，剔除信号弱、无学习价值的部分， 最终设计出SNR aware filtering（信噪比感知过滤）自适应训练方案。其核心是轨迹推演中实时评估样本信噪比，仅针对强信号、有增量学习价值的样本更新参数， 既避免噪声干扰，还能节省GPU资源和时间成本。 具体而言，我们按奖励方差（RV）排序prompt，仿照Top P算法保留累积贡献前列的样本，目前该方法已在多个合成/真实、单轮/多轮、视觉/文本模态等任务上实现性能提升。 图片由受访者提供 相比于DAPO等方案仅能剔除“无信号”的样本，我们基于RL信息论框架构建的SNR aware filtering为工程师提供了一个旋钮（Top P threshold），可以针对自己的任务调整“拒绝区间”。 信号高的任务，就少拒绝一些样本，多学点东西；信号低的任务，就多拒绝一些样本，确保学到了高质量内容。 针对控制旋钮本身，相比于Top K Filtering 固定选取前K个prompt的样本，Top P可以动态地在训练的不同阶段针对性采集信号更高的样本，训练效率更高，也更能确保样本的质量。 ZP： 既然rollout占主要的compute，那么fliter之后还是会丢掉一些样本，是否意味着这种计算投入被白白浪费了？ 王子涵： 节省计算时间并非核心价值。针对“过滤是否需更多样本才能收敛”的疑问，我们做了对比实验：采样的样本数量相同时，开启过滤的模型表现显著优于未开启， 证明低信噪比样本的更新不仅无益，还会产生干扰。 当时 RAGEN 正在投稿 NeurIPS，审稿人提出了很多质疑，再加上我在 Yutori 的实习 Agent RL 实验进度不如预期，每天回到工位上，看到同一个实验设置下，甚至会跑出几条不同的、近乎随机的结果曲线，那种深重的困惑感一度让我非常低落。值得庆幸的是，我们最终找到了一种方式，去解释 RL 训练中的不稳定性，也找到了让 RL 训练变得更可控的方法。 ZP： 总结来看，prompt呈现出低 方差 （low variance ）是有原因的：它可能只是碰巧有一个正确结果，也可能是任务太难导致模型始终猜不出来，还可能是任务太简单导致模型每次都能做对。本质上，这说明这个prompt可能不适合当前阶段的模型训练，所以把它整个过滤掉是比较正确的选择，强行通过后处理人为把它变成高方差（high variance），是没有实质意义的。那最后你们观察到，对于方差比较大的prompt，你觉得它是落在模型能力边界（boundary）上的一些案例吗？你怎样定义这些案例？ 王子涵： 确实如此，方差大的prompt恰好落在模型能力边界上，模型表现时好时坏，这类样本训练性价比最高，但这尚未完全揭示现实学习的本质。 现实中，偶尔能做对、多数时候出错的任务最具学习价值，核心问题在于当前 RL 范式 依赖 梯度下降 ，导致学习过程扭曲，难以区分真正逻辑与侥幸结果。 最理想的学习状态是任务梯度干净、 信噪比 高。 我们的研究也证明，奖励方差越大，梯度信号越不易被噪声掩埋。尽管如此，我对今年RL的范式转移充满期待，或许大家都会回归到提示词（prompt）的研究上，我自己最近也非常痴迷于此，觉得这是一种返璞归真。而且现在很多时候，做提示词优化的效果，甚至比做梯度下降还要好。 ZP： 那回到 RL ，包括Agentic RL、数学领域的RL，你觉得这条scaling路线有没有可能暂停？现在整体还处在高速增长阶段吗？你觉得是scaling已经不够用、需要新 范式 来突破，还是scaling itself is enough？ 王子涵： 谈到scaling，我觉得关键是 scale什么 。现在行业普遍在scale关注算力，而有些人更看重数据。之前有人问我：到底什么才是Agent？我觉得， 一个东西算不算Agent，取决于它被放在什么样的Physical或Digital环境里。 给它完全开放的计算机环境，它就是OpenClaw；给它受限计算机环境，它就是Claude Code或Codex；只给一个聊天界面，它就是GPT。 环境的开放程度，决定了Agent从0到1的智能指数。 回到你的问题：Agent RL 的 scaling law，我觉得最核心的还是——你能给它提供什么样的环境。 05 Agent下一阶段的核心命题是资源自适应：给1万块做1万的事，给100万做100万的事 ZP： 除了扩展环境（scaling environment ）之外，模型本身你觉得还有哪些地方需要改进？比如长上下文、泛化能力这类。你觉得泛化是必然会实现的，还是本质上就做不到？ 王子涵： 我在和GPT对话的过程中发现，它现在模仿我的速度越来越快，这说明大家都很重视记忆能力。我觉得目前真正难突破的，还是那些 贴近真实人类社会决策 的任务。现实中缺乏RL训练环境和试错机会，能收集到少量离线数据已属不易。 当然我们也在尝试 构建环境 。我们和一些研究者合作，搭建贴近真实的场景。我们正在和耶鲁、MIT、NUS的团队一起合作做O2 AI公司(o2tech.ai)，开发能深度接入垂类企业环境的Agent harness，并基于此构建 “资源自适应”的 Agent全栈系统（Infra / Benchmark / Service / Research） 。我们基于电子制造与回收供应链场景构建Agent，其有能力直接和企业实时数据交互、理解企业资源（如库存，时间，资源，人力）、并据此指导应该如何做企业决策，如仓库何时满仓、何时需要清库存。 这种基于真实业务逻辑的交互极具实用价值，我认为这是未来Agent发展绕不开的关键环节。 图片由受访者提供 Agent在人类社会中正在逐渐从“执行角色”过渡到“决策角色” ，构建具有决策能力的Agent将会越来越重要。为什么未来一定要让Agent去管理这些复杂企业事务，而不是传统模型？首先，Agent可以做出更需要复杂上下文决策。人在判断决策是否合理时，不只是根据过往数据算出来一个收益，还要考虑政策变化、商业合作意向等大量非结构化变量，这是传统模型很难覆盖的，因此必须依靠Agent。 现实中没有太多试错机会，构建沙盒环境是必然选择。所以我们正在做资源管理型 Agent。我们的研究更聚焦于： Agent在不同预算约束下究竟应该如何表现 。很多任务的设定都是给你一笔钱，把任务做得越漂亮越好。但更重要的是： 一个真正具备资源适应能力的人或Agent，给他一万块能做出一万块的效果，给他一百万就能做出一百万的效果。 我们希望打造的，就是这种 高度自适应资源约束的Agent 。现实中每个部门的初始资金、资源都不对等，且充满随机约束， 如何让Agent在资源受限的情况下聪明地利用资源，是一个非常值得探讨、但目前几乎没有对应benchmark的问题 ，这也就是为什么像O2 AI这样的公司，利用企业真实数据构建的环境和Agent系统，会更符合人类决策实际需求 。 一个更本质的挑战在于，模型生成token本身就是一种资源消耗。 现在很多代码类Agent，甚至只是让它说一句“你好”，都可能消耗10k、20k的token，非常不合理。针对这一点，现在很多人在研究如何优化推理开销。 但我认为，目前研究还没触达更本质的命题： 预算并不是花得越少越好，核心是 投入产出比 的高效匹配。 真正的挑战是，给你多少钱就要做出多少钱的效果。现在大多数做效率、做预算约束的工作都存在偏差——很多思路都在追求 “越少越好”，而真正的方向应该是 把现有资源高效转化为目标收益 ，这是完全不同，也更符合真实应用场景的优化思路。 ZP： 未来你会倾向于留在学术界还是工业界？两者背后的逻辑你怎么看？ 王子涵： 我不管在哪都想做研究。 做研究本身很快乐，是发现新问题、定义什么问题更重要的过程，所以无论在哪，我都会坚持做这件事。 ZP： 如果让你排序当前LLM/Agent领域最重要的三个问题，你会选哪些？ 王子涵： 第一个是 资源管理 。如前所述，当我们要让Agent参与高影响力决策时，资源管理就是它的生存根基。在 Agent 的实际部署中，到任何一个新的环境（如企业ERP）里都需要学习这个环境的资源管理逻辑。 这就很自然延伸到第二个问题，就是 world model 。现在行业里对world model定义很多，我们实验室更关注Agent 自身的世界模型，也就是它能否自主判断做一件事会产生什么影响。目前主流RL算法还很难让 Agent 系统性地获得这种显性预见能力。预算本质上也是一种world model，你必须预判一个动作会带来多少开销、隐性成本。 “世界模型九宫格”梗图，王子涵制作 另一个让我非常兴奋的方向是 Agent对价值估计的深度建模 。O2 AI公司做垂类企业决策Agent，不仅需要通用的决策管理能力，更需凭借垂类知识精准评估电子元件残值：同一批物料在不同市场周期、库存状态、拆解路径和销售渠道下，对应的残值完全不同。 这种垂类的价值估计能力甚至可能在未来可迁移到游戏、交易市场等场景。 定价（pricing）是极佳切入点，因其可验证——以海量交易成交价为 锚点，Agent学习预测成交价、提取判断逻辑。虽存在市场波动带来的噪声，但RL本身就是兼顾策略学习与去噪的过程，持续学习中积累的判断范式越多，agent 面对新场景的进化速度就越快。 ZP： 这意味着要实现真正的实时竞技级AI，需要algorithm、 infra 跟整个 I/O 的co design？ 王子涵： 的确，需要全栈层面的协同，是一个非常具有普遍挑战性的课题——这种实时应对能力是人有、但Agent没有的能力。 除此之外， continue learning 也是今年另一个至关重要的命题。我们需要思考： 为什么人学东西会越来越快，尤其是有了AI之后，学一个新领域也越来越快。 怎么样让Agent拥有这种越学越快的能力？其核心在于 让Agent在长期处理多样化任务的过程中，把积累的经验内化并迁移到全新的任务中。 以我自己为例，近期我在研究关于video generation的工作，尽管我之前只做过video understanding而非generation，但学习这个新领域的速度比以前快很多。这种速度提升，本质上就是一种continual learning能力的体现。要让Agent获得这种能力，需要一个多样的test bed，让它不停地去学。我现在的想法是，让 Agent真的去玩那些游戏，如果真的存在一个Agent能打通世界上所有游戏，在这个过程中，它一定学到了一些很meta的东西。 ZP： 我刚意识到一个关键问题。现在最成熟的Agent环境，比如代码、数学，奖励可验证、靠思维链就能闭环；游戏类环境交互强、试错成本低。但一旦到企业决策、预算管理这类真实场景，训练环境极度稀缺，试错要付出真实金钱和代价，很像机器人领域的困境——真实数据太难拿，只能靠仿真，但仿真和现实又有差距。你觉得构建更高保真的模拟器，对高风险、高成本的Agent任务是否有价值？ 王子涵： 我更偏向从算法演进来看。人类本身就具备小样本学习能力，构建高真实度环境固然重要，但现实世界才是最完美的实验场。而且仿真环境也不是零成本，太便宜的仿真和真实世界差距巨大，机器人领域就是典型。这倒逼我们必须解决 样本效率 问题，现在的 RL 框架还有巨大提升空间。我之前用过thinking machineAPI，一开始给了几百刀额度，一轮都没跑完额度就全用完了。RL跑500步，一步就可能生成百万token，产生1 2刀的花费，成本极高。 未来一定会出现比现有RL高效成百上千倍的方法，让Agent能持续高效学习。我们离最终的那个Agent相比还有很远，现在做环境还是做算法？对于环境，其设计本质是一种权衡：低复杂度环境无法支撑Agent泛化到真实高成本场景，高复杂度环境需要更高的成本。 因此，突破口一定在Agent学习速度的进化上，而核心就在于推理 —— 推理能让它越学越快，抓住不同任务之间更本质的共性。 备注：王子涵是 Northwestern Computer Science PhD，主要研究方向为 Agent RL。他于 2024 年本科毕业于人大高瓴 AI 学院，曾参与 DeepSeek V2 研究，并拥有微软、NVIDIA 等研究经历。迄今，他已发表 20 余篇论文，相关成果发表于 ICLR、NeurIPS、EMNLP、CVPR 等会议，累计引用 1600 余次，并获得 ICCV 2025 SP4V Best Paper，NeurIPS 2025 LAW Outstanding Paper 等荣誉。他主导/参与开发了 RAGEN、VAGEN、MindCube 等多个 Agent 训练评测框架，累计获得 10k+ GitHub Stars。相关工作获得 Stanford HAI、MIT Tech Review、Forbes、Financial Times 等关注报道。个人技术传播账号在 X 拥有 20K+ followers，代表性线程累计获得 100 万+ 阅读。 请注意，此次访谈内容已经过精心编辑，并得到了王子涵的认可，我们也欢迎读者通过留言互动，分享您对本访谈的看法。Z Potentials将继续提供更多关于人工智能、全球化市场、机器人技术等领域的更多一线技术前沿探索者的访谈。我们诚邀对未来充满憧憬的您加入我们的社群，与我们共同分享、学习、成长。 🔗 原文链接： https://mp.weixin.qq.com/s/grWCVvfA... https://mp.weixin.qq.com/s/grWCVvfA... 原创 Z Potentials Z Potentials Z Potentials2026年4月25日 13:20 山西 01 导语 很多人知道王子涵，是从Twitter上开始的。 当时随着DeepSeek R1、V3的相继发布，西方技术社区第一次大规模感知到这家中国公司的存在，也由此将目光投向了站在一线的研究者，这位年轻研究者的推特账号突然涌入大量关注。他至今还记得，当时西方从业者对DeepSeek的震撼，就像目睹了一种“来自东方的神秘力量”，甚至还流传着不少有趣的传言，连梁老板的照片都被传错，至今没更正过来。 最初，他只是想做一件简单的事：把真实情况讲清楚：讲DeepSeek是如何做研究，团队的工作方式，和那些被忽略的技术细节， 希望尽可能在信息失真之前，提供一个更接近一线的视角。 巧合的是，昨天准备访谈内容时，遇上了DeepSeek V4的发布，王子涵早期在DeepSeek的亲身经历，也补充了更多关于这家神秘公司的更多一手信息。 但比起这段略带偶然的“走红”，更能定义王子涵的，是一条更早开始、也更稳定的技术路径——他 对Agent system的持续探索。 他进入中国人民大学开启计算机研究的时间点，恰好处在一个 “前范式”阶段： GPT 2已经验证了生成式架构的潜力，但学界与工业界的主流重心，仍然停留在以BERT为代表的非生成式范式之上——围绕分类、信息检索、表示学习与任务拆解不断深化。也正是从那个阶段起，他沿着一条清晰却不张扬的技术路径持续推进：从推荐系统与信息检索算法出发，延展至Berkeley的强化学习交流项目，以及与UIUC合作开展的MINT Agent benchmark研究；随 后进入DeepSeek，围绕 MoE 模型中的专家Specialization（专业化）展开深入探索，并在此后的博士阶段，将问题进一步下探至Agent强化学习的底层机制，持续追问其能力边界与实现路径。 与许多从大模型能力出发进入这一领域的研究者不同，他的起点更朴素： 一个AI系统，是否可以像人一样，在没有持续外部指导的情况下，自主学习、自主改进？ 在这一问题之下，他引入马尔可夫决策过程MDP（Markov Decision Process ）来抽象Agent的决策闭环：状态（state）、动作（action）、转移（transition）与反馈（