向阳乔木：Al智能体推理全景图：UIUC×MetaxDeepMind联合发布

向阳乔木：Al智能体推理全景图：UIUC×MetaxDeepMind联合发布 向阳乔木：Al智能体推理全景图：UIUC×MetaxDeepMind联合发布 Modified January 25 4.3 具身智能体 具身智能体（Embodied Agent） ：能够在物理世界或模拟环境中行动的AI系统。与纯文本智能体不同，具身智能体需要处理视觉、触觉等多模态输入，并输出物理动作。机器人、自动驾驶汽车都属于具身智能体。 论文强调了具身智能体面临的独特挑战： • 感知 动作循环 ：需要实时处理传感器数据并做出决策 • 安全约束 ：物理世界的错误可能造成不可逆的后果 • 泛化能力 ：需要在未见过的环境中也能正常工作 4.4 医疗健康 医疗是智能体推理最有潜力但也最敏感的应用领域。 论文介绍了几个方向： • 临床决策支持 ：辅助医生进行诊断和治疗决策 • 医学文献分析 ：自动阅读和综合医学研究 • 患者交互 ：提供健康咨询和慢病管理 Agent Hospital ：一个模拟医院环境的多智能体系统，包含医生、护士、患者等角色，用于研究医疗场景下的智能体协作。 4.5 自主网络探索 Web Agent ：能够自主浏览网页、填写表单、完成在线任务的智能体。这类智能体需要理解网页结构、处理动态内容、应对各种异常情况。 代表性系统包括： • WebArena ：一个网页任务的基准测试环境 • Mind2Web ：大规模网页交互数据集 • SeeAct ：基于视觉的网页操作智能体 五、评估基准：如何衡量智能体能力？ 论文系统梳理了智能体推理的评估体系。 5.1 核心能力基准 工具使用基准 ： 搜索能力基准 ： 记忆与规划基准 ： 5.2 应用级基准 论文特别强调了 端到端评估 的重要性。 不只测试单项能力，而是测试智能体在真实任务中的整体表现。 SWE bench ：软件工程基准测试，要求智能体解决真实GitHub仓库中的issue。这是目前最具挑战性的代码智能体基准之一，顶尖系统的通过率也只有20%左右。 六、开放问题：智能体推理的未来 论文最后讨论了六个关键的开放问题： 6.1 用户中心的个性化 当前的智能体系统大多是「通用」的，缺乏对个体用户的适应。未来的智能体需要： • 学习用户的偏好和习惯 • 适应用户的专业水平 • 在隐私保护和个性化之间取得平衡 6.2 长程推理 现有系统在短期任务上表现不错，但在需要长时间、多步骤的任务上仍然困难。挑战包括： • 如何在长时间跨度内保持目标一致性 • 如何处理中间状态的不确定性 • 如何从长程交互中学习 6.3 世界模型 世界模型（World Model） ：智能体对环境的内部表示，用于预测动作的后果。一个好的世界模型能让智能体在「脑中」模拟不同方案的结果，而不需要真正执行。这对于需要谨慎决策的场景（如医疗、金融）尤为重要。 6.4 多智能体训练 目前的多智能体系统大多是「组装」出来的——把多个独立训练的智能体放在一起。 未来需要研究： • 如何端到端训练多智能体系统 • 如何让智能体学会有效协作 • 如何处理智能体之间的竞争和冲突 6.5 潜在推理 潜在推理（Latent Reasoning） ：在模型的隐藏状态中进行推理，而不是生成显式的文本推理链。这可能更高效，但也更难解释和调试。 6.6 治理框架 随着智能体能力的增强，治理问题变得越来越重要： • 如何确保智能体的行为符合人类价值观 • 如何追踪和审计智能体的决策 • 如何在自主性和可控性之间取得平衡 七、我的思考：智能体推理意味着什么？ 读完这篇论文，我有几点感想： 第一，AI正在从「工具」变成「助手」。 传统的AI是一个工具——你给它输入，它给你输出。 智能体AI更像一个助手——它会主动思考、主动行动、主动学习。 这个转变的意义可能比我们想象的更深远。 第二，「会用工具」可能比「更聪明」更重要。 论文中一个反复出现的主题是：通过工具使用、外部记忆、多智能体协作，可以大幅提升AI的能力，而不需要训练更大的模型。 这暗示了一种新的AI发展路径，不是无限堆参数，而是更好地「组织」智能。 第三，人机协作的模式正在改变。 当AI能够自主规划、执行、反思时，人类的角色也在改变。 我们可能从「操作者」变成「监督者」，从「执行者」变成「决策者」。 4.3 具身智能体 具身智能体（Embodied Agent） ：能够在物理世界或模拟环境中行动的AI系统。与纯文本智能体不同，具身智能体需要处理视觉、触觉等多模态输入，并输出物理动作。机器人、自动驾驶汽车都属于具身智能体。 论文强调了具身智能体面临的独特挑战： • 感知 动作循环 ：需要实时处理传感器数据并做出决策 • 安全约束 ：物理世界的错误可能造成不可逆的后果 • 泛化能力 ：需要在未见过的环境中也能正常工作 4.4 医疗健康 医疗是智能体推理最有潜力但也最敏感的应用领域。 论文介绍了几个方向： • 临床决策支持 ：辅助医生进行诊断和治疗决策 • 医学文献分析 ：自动阅读和综合医学研究 • 患者交互 ：提供健康咨询和慢病管理 Agent Hospital ：一个模拟医院环境的多智能体系统，包含医生、护士、患者等角色，用于研究医疗场景下的智能体协作。 4.5 自主网络探索 Web Agent ：能够自主浏览网页、填写表单、完成在线任务的智能体。这类智能体需要理解网页结构、处理动态内容、应对各种异常情况。 代表性系统包括： • WebArena ：一个网页任务的基准测试环境 • Mind2Web ：大规模网页交互数据集 • SeeAct ：基于视觉的网页操作智能体 五、评估基准：如何衡量智能体能力？ 论文系统梳理了智能体推理的评估体系。 5.1 核心能力基准 工具使用基准 ： 搜索能力基准 ： 记忆与规划基准 ： 5.2 应用级基准 论文特别强调了 端到端评估 的重要性。 不只测试单项能力，而是测试智能体在真实任务中的整体表现。 SWE bench ：软件工程基准测试，要求智能体解决真实GitHub仓库中的issue。这是目前最具挑战性的代码智能体基准之一，顶尖系统的通过率也只有20%左右。 六、开放问题：智能体推理的未来 论文最后讨论了六个关键的开放问题： 6.1 用户中心的个性化 当前的智能体系统大多是「通用」的，缺乏对个体用户的适应。未来的智能体需要： • 学习用户的偏好和习惯 • 适应用户的专业水平 • 在隐私保护和个性化之间取得平衡 6.2 长程推理 现有系统在短期任务上表现不错，但在需要长时间、多步骤的任务上仍然困难。挑战包括： • 如何在长时间跨度内保持目标一致性 • 如何处理中间状态的不确定性 • 如何从长程交互中学习 6.3 世界模型 世界模型（World Model） ：智能体对环境的内部表示，用于预测动作的后果。一个好的世界模型能让智能体在「脑中」模拟不同方案的结果，而不需要真正执行。这对于需要谨慎决策的场景（如医疗、金融）尤为重要。 6.4 多智能体训练 目前的多智能体系统大多是「组装」出来的——把多个独立训练的智能体放在一起。 未来需要研究： • 如何端到端训练多智能体系统 • 如何让智能体学会有效协作 • 如何处理智能体之间的竞争和冲突 6.5 潜在推理 潜在推理（Latent Reasoning） ：在模型的隐藏状态中进行推理，而不是生成显式的文本推理链。这可能更高效，但也更难解释和调试。 6.6 治理框架 随着智能体能力的增强，治理问题变得越来越重要： • 如何确保智能体的行为符合人类价值观 • 如何追踪和审计智能体的决策 • 如何在自主性和可控性之间取得平衡 七、我的思考：智能体推理意味着什么？ 读完这篇论文，我有几点感想： 第一，AI正在从「工具」变成「助手」。 传统的AI是一个工具——你给它输入，它给你输出。 智能体AI更像一个助手——它会主动思考、主动行动、主动学习。 这个转变的意义可能比我们想象的更深远。 第二，「会用工具」可能比「更聪明」更重要。 论文中一个反复出现的主题是：通过工具使用、外部记忆、多智能体协作，可以大幅提升AI的能力，而不需要训练更大的模型。 这暗示了一种新的AI发展路径，不是无限堆参数，而是更好地「组织」智能。 第三，人机协作的模式正在改变。 当AI能够自主规划、执行、反思时，人类的角色也在改变。 我们可能从「操作者」变成「监督者」，从「执行者」变成「决策者」。 这需要我们重新思考如何与AI协作。 第四，安全和治理问题迫在眉睫。 一个能够自主行动的AI系统，其风险也是自主的。 论文最后专门讨论了治理问题，这不是杞人忧天，而是必须面对的现实挑战。 八、总结 这篇论文为我们提供了一张理解智能体推理的「地图」： • 三层架构 ：基础能力 → 自我进化 → 群体协作 • 两种模式 ：上下文推理 vs 后训练推理 • 五大应用 ：数学/代码、科学发现、具身智能、医疗健康、网络探索 • 六个挑战 ：个性化、长程推理、世界模型、多智能体训练、潜在推理、治理框架 智能体推理不只是一个技术趋势，它代表了AI发展的一个重要方向： 从「被动回答」到「主动思考和行动」。 理解这个方向，对于任何想要跟上AI发展的人来说，都是必要的。 参考文献 Wei, T., Li, T. W., Liu, Z., et al. (2026). Agentic Reasoning for Large Language Models. arXiv:2601.12538. GitHub仓库：https://github.com/weitianxin/Awesome Agentic Reasoning 本文由AI解读，如有疏漏，欢迎指正。 🔗 原文链接： https://mp.weixin.qq.com/s/ 6Gd2RTP... https://mp.weixin.qq.com/s/ 6Gd2RTP... 原创 向阳乔木 向阳乔木 AI不插电2026年1月24日 22:08 北京 本文是对论文《Agentic Reasoning for Large Language Models》的解读。 这篇来自UIUC、Meta、Amazon、Google DeepMind等机构的综述论文。 系统梳理了AI智能体如何从「被动回答」进化到「主动思考和行动」。 一、为什么这篇论文值得你花时间读？ 假如你有一个超级聪明的朋友，他读过所有的书，知道所有的知识。 但是，每次你问他问题，他只能给你一个答案，然后就「死机」了。 他不会追问你「你具体想解决什么问题」，不会说「让我先查一下最新数据」，更不会在发现自己错了之后主动纠正。 这就是传统大语言模型（LLM）的困境。 大语言模型（Large Language Model, LLM） ：一种基于深度学习的AI模型，通过在海量文本上训练，学会了理解和生成人类语言。GPT、Claude、Gemini都属于这一类。它们的核心能力是「预测下一个词」，但这个简单的目标让它们涌现出了惊人的语言理解和推理能力。 但2024年以来，一个新的范式正在改变这一切： 智能体推理（Agentic Reasoning） 。 这篇论文的核心观点是： AI不应该只是一个「回答问题的机器」，而应该成为一个「能思考、能行动、能学习」的智能体。 就像一个真正的助手，它会主动规划任务、使用工具、从错误中学习，甚至和其他AI协作完成复杂工作。 这个转变有多重要？ 论文作者用了一个精准的表述： 从「扩展测试时计算」到「扩展测试时交互」 。 测试时计算（Test time Compute） ：指模型在推理阶段（而非训练阶段）使用的计算资源。传统方法通过增加模型参数或推理预算来提升准确率。而智能体推理则通过增加「交互次数」来提升效果——让AI多想几步、多试几次、多问几个问题。 二、智能体推理的三层架构：从个体到群体 论文提出了一个清晰的三层框架来理解智能体推理： 第一层：基础能力（Foundational） ——单个智能体的核心技能 第二层：自我进化（Self evolving） ——智能体如何从经验中学习 第三层：群体协作（Collective） ——多个智能体如何协同工作 这就像培养一个员工：首先要教会他基本技能（规划、使用工具、搜索信息），然后让他学会从反馈中成长，最后让他学会团队协作。 2.1 基础能力：规划、工具、搜索 规划推理（Planning Reasoning） 是智能体的第一项核心能力。 规划推理 ：将复杂目标分解为可执行子任务的能力。就像你要组织一场婚礼，不会直接「开始办婚礼」，而是先列出：选场地、定菜单、发请柬、安排座位……每个大任务还能继续拆分。 论文介绍了两种主要的规划方法： 上下文规划（In context Planning） ： 不修改模型参数，通过精心设计的提示词和工作流来引导模型进行规划。 代表性方法包括： • Chain of Thought（CoT） ：让模型「一步一步想」，把推理过程写出来 • Tree of Thoughts（ToT） ：不只想一条路，而是同时探索多个可能的方案 • Graph of Thoughts（GoT） ：更进一步，让不同的思路可以合并、交叉 思维链（Chain of Thought, CoT） ：一种提示技术，通过在提示词中加入「让我们一步一步思考」或展示推理过程的示例，引导模型输出中间推理步骤，而不是直接给出答案。这个简单的技巧在数学和逻辑推理任务上带来了显著提升。 后训练规划（Post training Planning） ： 通过强化学习或微调，把规划能力「内化」到模型参数中。 这里有一个有趣的类比： 上下文规划就像给员工一本详细的操作手册，每次遇到问题都翻手册； 后训练规划则像让员工反复练习，直到形成「肌肉记忆」。 工具使用（Tool Use） 是第二项核心能力。 工具使用 ：智能体调用外部API、执行代码、访问数据库等能力。这让AI从「只会说」变成「能做事」。比如，当你问「今天北京天气怎么样」，传统LLM只能根据训练数据猜测，而能使用工具的智能体可以直接调用天气API获取实时数据。 论文总结了工具使用的三种模式： MCP（Model Context Protocol） ：Anthropic提出的一种标准化协议，让AI模型能够安全、统一地连接各种外部工具和数据源。就像USB接口统一了各种设备的连接方式，MCP试图统一AI与工具的交互方式。 智能体搜索（Agentic Search） 是第三项核心能力。 智能体搜索 ：不同于传统的关键词搜索，智能体搜索是一种「有目的的探索」。智能体会根据当前目标，决定搜索什么、在哪里搜索、如何整合搜索结果。这包括在解空间中搜索（找最优解）和在知识空间中搜索（找相关信息）。 论文特别强调了 蒙特卡洛树搜索（MCTS） 在智能体推理中的应用： 蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS） ：一种通过随机模拟来探索决策树的算法。它不会穷举所有可能，而是通过「选择 扩展 模拟 回溯」的循环，逐步聚焦到最有希望的分支。AlphaGo就是用MCTS来决定下一步棋的。 2.2 自我进化：反馈、记忆、适应 如果说基础能力是「会做事」，自我进化就是「会成长」。 反馈机制（Feedback Mechanisms） 是自我进化的核心。 论文总结了三种反馈类型： 反思性反馈（Reflective Feedback） ：智能体自己审视自己的输出，发现问题并改进。 Reflexion ：一个代表性框架，让智能体在任务失败后进行「反思」，把失败经验转化为自然语言的「教训」，存入记忆，下次遇到类似情况时参考。这就像人类的「吃一堑长一智」。 参数适应（Parametric Adaptation） ：通过强化学习更新模型参数。 强化学习（Reinforcement Learning, RL） ：一种让智能体通过「试错」来学习的方法。智能体执行动作，环境给出奖励或惩罚，智能体据此调整策略。在智能体推理中，RL被用来优化规划策略、工具选择、搜索方向等。 验证器驱动反馈（Validator Driven Feedback） ：使用外部验证器（如代码执行器、数学证明器）来检验输出的正确性。 过程奖励模型（Process Reward Model, PRM） ：不只评价最终答案对不对，而是评价每一步推理是否正确。这就像老师不只看你的答案，还要看你的解题过程。PRM能帮助智能体更精确地定位错误，而不是「全盘否定」。 记忆系统（Memory Systems） 是自我进化的另一个关键。 论文区分了两种记忆架构： 扁平记忆（Flat Memory） ：简单的键值存储，按时间顺序记录经验。 结构化记忆（Structured Memory） ：使用图、树等数据结构组织记忆，支持更复杂的检索和推理。 RAG（Retrieval Augmented Generation） ：检索增强生成，一种让LLM能够访问外部知识库的技术。当用户提问时，系统先从知识库中检索相关文档，然后把检索结果和问题一起交给LLM生成答案。这让LLM能够回答训练数据中没有的问题。 一个有趣的发现是： 记忆的写入和读取本身也可以被优化 。 论文介绍了RL for Memory方法，把「什么时候写记忆、写什么、什么时候读、读什么」都建模为强化学习问题。 2.3 群体协作：角色、分工、进化 当单个智能体的能力达到瓶颈，多智能体协作就成为突破口。 角色分类（Role Taxonomy） 是多智能体系统的基础。 论文总结了几种通用角色： 多智能体系统（Multi Agent System, MAS） ：由多个智能体组成的系统，智能体之间通过通信和协作来完成单个智能体难以完成的复杂任务。就像一个公司，不同部门各司其职，通过协作完成大项目。 协作模式 也有多种： 辩论式协作（Debate based） ： 多个智能体各自给出答案，然后通过辩论达成共识。 研究发现，这种方式能有效减少幻觉和错误。 幻觉（Hallucination） ：LLM生成看起来合理但实际上错误或虚构的内容。比如编造不存在的论文引用、虚构历史事件等。多智能体辩论是减少幻觉的有效方法之一。 流水线式协作（Pipeline based） ： 任务按顺序在不同智能体之间传递，每个智能体负责一个环节。 层级式协作（Hierarchical） ： 有明确的上下级关系，高层智能体负责规划和协调，底层智能体负责执行。 三、两种优化模式：上下文 vs 后训练 贯穿整篇论文的一个核心区分是： 上下文推理（In context Reasoning） vs 后训练推理（Post training Reasoning） 。 上下文推理 ：不修改模型参数，通过精心设计的提示词、工作流、外部工具来增强推理能力。优点是灵活、即时生效；缺点是依赖提示工程，可能不稳定。 后训练推理 ：通过强化学习或监督微调，把推理能力「烧录」到模型参数中。优点是稳定、高效；缺点是需要训练数据和计算资源，更新不够灵活。 这两种模式不是非此即彼，而是互补的。论文给出了一个清晰的对比： RLHF（Reinforcement Learning from Human Feedback） ：从人类反馈中进行强化学习。先让人类对模型输出进行排序或打分，然后训练一个奖励模型来模拟人类偏好，最后用这个奖励模型来优化LLM。ChatGPT的成功很大程度上归功于RLHF。 DPO（Direct Preference Optimization） ：一种简化的偏好学习方法，不需要单独训练奖励模型，而是直接从偏好数据中优化LLM。相比RLHF更简单、更稳定。 四、应用场景：从数学到医疗 论文详细介绍了智能体推理在五个领域的应用： 4.1 数学探索与代码生成 这是智能体推理最成熟的应用领域。 Vibe Coding ：一种新兴的编程范式，开发者用自然语言描述需求，AI智能体自动生成、测试、调试代码。代表工具包括Cursor、Claude Code、GitHub Copilot等。 论文特别提到了几个里程碑式的系统： • AlphaProof ：DeepMind的数学证明系统，在2024年国际数学奥林匹克竞赛中解决了6道题中的4道 • OpenHands ：一个开源的代码智能体框架，能够进行仓库级别的代码理解和修改 • SWE agent ：专门针对软件工程任务优化的智能体 4.2 科学发现 智能体推理正在改变科学研究的方式。 AI Scientist ：一类能够自主进行科学研究的智能体系统。它们可以提出假设、设计实验、分析数据、撰写论文。虽然目前还处于早期阶段，但已经在材料科学、药物发现等领域展现出潜力。 论文介绍了几个代表性系统：