超越规模定律：OpenAI GPT‑4.5预训练揭示数据效率与智能新境界

超越规模定律：OpenAI GPT‑4.5预训练揭示数据效率与智能新境界 超越规模定律：OpenAI GPT‑4.5预训练揭示数据效率与智能新境界 Modified April 14, 2025 Audio or video is not supported Please download the file and open it with the appropriate software. 414.mp4 · 5.83MB 414 00:00 因此，技术的下一阶段竞争，或许不再只是关于谁能建造更大规模的模型，而是关于谁能在高度不确定的复杂系统中更迅速、更精准地捕捉到有价值的信息结构与抽象模式。这将不仅决定人工智能领域的未来，也将深刻影响人类整个知识与技术体系未来的发展方向。 以下内容根据访谈字幕整理而成，力求完整概括核心信息和对话脉络，并在此基础上突出 GPT 4.5 的研发生态、训练挑战以及对未来方向的探讨。 01 GPT 4.5 的研发与训练 1.1 规模与投入 该项目始于约两年前。团队在提前规划阶段就展开了大规模的"排雷"式预演、测试和算法研究，这甚至早于硬件集群的部署。当正式开始大规模训练后，需要多个部门的团队成员进行持续数月乃至更长时间的紧密协作。 为何“规模更大”更具挑战 访谈中举了一个生动的例子：当 GPU 集群规模从 1 万扩展到 10 万甚至更大时，原本罕见的小概率事件会演变成灾难性故障。这些问题可能发生在多个层面，例如： • 硬件故障 （GPU 本身、网络交换、内存错误等） • 网络流量 （并发规模、传输协议等带来的拥塞或失败） • 软件 Bug （集成自定义算子、深度学习框架、各种“边角料”代码路径） 协同与分工 团队在训练前期进行了大量风险规避（de risking）试验，全面验证了模型配置、系统容错和硬件兼容性。在 GPT 4.5 的开发过程中，ML（模型研发）团队与系统团队的"协同设计"（co design）达到了前所未有的深度。虽然现在要"从零开始"重新训练 GPT 4 级别的模型只需 5 10 人的团队，但由于 GPT 4.5 规模更大、变动更多，整个项目消耗了公司大量资源。 1.2 训练过程中的问题与应对 训练过程中持续的改进 这并非"按下开始就万事大吉"的过程——系统层面和模型层面都需要在训练过程中持续迭代修正。例如，模型结构、数据管线、kernel 优化和容错机制等都可能在训练中途需要上线新的修复或升级。在 GPU 和网络层面，早期的故障率通常较高，但通过不断地定位问题、修复缺陷以及与供应商协作，故障率最终得以大幅下降。 典型的 Bug 故事：PyTorch sum 访谈中提到一个非常离奇的错误：某条罕见的代码路径引发了内存非法访问。团队最初以为是自研的自定义算子出现了 Bug，但最终发现问题竟出在框架（PyTorch）的 sum 操作上。这个 Bug 虽然在训练中出现频率不高，但由于集群规模庞大、迭代次数众多，偶发的异常也会造成严重困扰。在确认并修复这个问题后，多个表面上毫不相关的故障也随之一并解决。 持续监控与读数 团队在训练期间密切监控 loss 曲线和其他内部指标（包括各阶段的验证集困惑度、内存使用、网络容错率等），以评估训练状态的健康程度。由于模型规模庞大，即使微小的波动也可能暗示着潜在的重大问题。虽然有时会出现"虚惊一场"的情况，但团队始终坚持宁可过度关注也不愿错过任何细微的异常迹象。 1.3 规模化带来的新思考 从“计算受限”到“数据受限” 长期以来，语言模型的瓶颈更多是算力不足，即只要给足算力，对海量文本继续做大规模训练，性能就会提升。但 4.5 及更大模型出现后，团队已经逐渐进入“数据受限”（data bound）阶段：高价值数据（高质量、稀有或有版权等）并非无限，要在算法上把同样的数据“学得更透”，才能持续升级模型智能。 这表明 数据效率 （data efficiency）将成为下一阶段研发的核心重点，需要通过算法创新让模型能够从同样的数据中"汲取更多知识"。 模型与系统的“协同设计” 在训练 4.5 时，模型结构的变动有时需要配合系统层面的优化（或者反过来），比如张量切分方式、通信模式、缓存策略等。未来再做 10 倍、100 倍的扩展时，这种深度“协同设计”更加不可或缺，需在硬件、网络、容错、算法诸多层面统筹。 继续扩大的可能性 访谈中讨论了一个有趣的问题："人类是否会实现 1000 万块 GPU 的并行、近乎同步的训练？"团队的观点是：完全同步的可能性不大，但未来一定会出现超大规模的分布式训练。这种训练可能采用"半同步"或"多脑式"架构，而非现今的简单同步并行方式。 02 模型性能与算法洞察 2.1 预训练与“压缩”的本质 为何“下一词预测”能带来智能 团队成员 Dan 提出了一个重要观点：预训练本质上就像是一个文本"压缩"过程。当模型能准确预测下一个词时，表明它已经发现了数据中的某种压缩模式，并理解了概念与上下文之间的深层联系。预训练的核心目标是将互联网上海量的文本和高维知识压缩进模型权重中。这种大规模的"跨领域"、"跨格式"压缩过程自然而然地产生了广泛的通用能力。 测试指标与“困惑度” 对于超大模型而言，各类任务测试（如考试）可能已不具备区分度，这是因为模型已在互联网上接触过大量相似的题目和答案。一个更为纯粹的评估方法是 在"干净"且"陌生"的数据上测量 perplexity（困惑度） ，以验证模型在面对全新内容时是否仍能良好地进行压缩和预测。 据团队介绍，OpenAI 内部会将私有代码库和未公开的大规模文本作为最重要的验证集，以此追踪模型是否真正学习到新知识，而不是简单地记忆互联网上的现有文本。 2.2 规模与性能的“幂律关系” 法则依旧成立 训练 GPT 4.5 再次证实了"规模提升导致能力涌现"的趋势（即"规模法则"）。尽管大家都对这一法则的持久有效性感到惊叹，但事实就是如此：随着数据量、参数量和训练步数的不断扩大，模型在多种任务上的表现确实有显著改善。 推理与“通用智能” 与预训练所获得的"广度"不同，针对特定推理能力（reasoning）或推断能力的训练通常集中在特定领域，因此预训练中获得的"通用理解"能与这些特定能力形成互补。GPT 4.5 在预训练过程中展现出更强的"常识性推断"和上下文理解能力，这并非通过某个特定的强化学习或微调任务获得，而是源于海量数据压缩带来的能力涌现。 03 对未来的思考 数据效率与算法 随着大模型在通用文本上已经接近“读完互联网”，下一步显然需要更高效的算法，从同一份文本中学到更多深层概念。人类的小脑袋能从少量文本或数次互动中学到大量“隐含知识”，而现有 GPT 依然需要海量数据才能达到类似能力。未来将朝着“人类级别的数据效率”不断前进。 系统与容错 开发团队非常关注“故障容忍”（fault tolerance）在超大规模训练中的地位，希望未来硬件与网络协议本身能在更低层级处理很多通信或节点故障，而不是所有问题都抛给应用层来兜底。大模型训练涉及百万乃至千万规模 GPU 节点时，早期节点故障率、网络中断等如果不能很好处理，训练将几乎无法推进。 更大的分布式训练形态 团队认为未来不会是简单地把所有 GPU 全部同步并行，而更可能是“分块的、分脑的”半同步学习，多种网络拓扑、数据交互模式共存。计算形态可能会有颠覆性变化：类似人脑的局部自治网络、或者超大规模结合多种异构硬件。 模型推理 vs. 训练 大规模推理和大规模训练面临的系统瓶颈不完全一样。推理往往更倾向于延迟、吞吐和内存带宽；而训练需要考虑通信、容错、更新同步等。访谈暗示未来即便是新的模型体系（如“多模块”或“层间异构”）可能也会出现，需要在训练 推理两端都做代码层面协同。 04 总结与前瞻 核心收获 GPT 4.5 的成功不仅在于完成了一个新的模型，更重要的是推动了 “训练 系统 算法” 三位一体的协同 ，并不断验证了“规模效应”和“数据压缩”在通用人工智能中的关键地位。尤其值得关注的是团队多次强调的“ 从计算受限转向数据受限 ”——这将决定接下来算法创新的重要方向，以及团队在推理和分布式系统上的深度投入。 访谈总结 GPT 4.5 的问世是一个漫长而艰苦的过程，曾遇到包括硬件故障、软件 Bug、网络问题、大规模集群调度等大量挑战。解决这些难题的过程中，OpenAI 从中获得了非常多的实践经验与理论洞察，如 如何做大规模容错、如何进行协同设计、如何高效利用有限数据 等。 下一步的研究重点将围绕 提升数据利用效率 、 改进系统容错与网络传输 、 继续打磨分布式训练形态 以及 探索新的模型结构 。团队相信规模化与算法创新会继续深度结合，推动更高通用性的人工智能模型发展。 引用链接 [1] Pre Training GPT 4.5: https://youtu.be/6nJZopACRuQ?si=Bw2U96DF5OPeaNT9 END 欢迎大家 关注 👇INDIGO 的科技加速站 Audio or video is not supported Please download the file and open it with the appropriate software. 414.mp4 · 5.83MB 414 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 414.mp4 · 5.83MB 414 00:00 因此，技术的下一阶段竞争，或许不再只是关于谁能建造更大规模的模型，而是关于谁能在高度不确定的复杂系统中更迅速、更精准地捕捉到有价值的信息结构与抽象模式。这将不仅决定人工智能领域的未来，也将深刻影响人类整个知识与技术体系未来的发展方向。 以下内容根据访谈字幕整理而成，力求完整概括核心信息和对话脉络，并在此基础上突出 GPT 4.5 的研发生态、训练挑战以及对未来方向的探讨。 01 GPT 4.5 的研发与训练 1.1 规模与投入 该项目始于约两年前。团队在提前规划阶段就展开了大规模的"排雷"式预演、测试和算法研究，这甚至早于硬件集群的部署。当正式开始大规模训练后，需要多个部门的团队成员进行持续数月乃至更长时间的紧密协作。 为何“规模更大”更具挑战 访谈中举了一个生动的例子：当 GPU 集群规模从 1 万扩展到 10 万甚至更大时，原本罕见的小概率事件会演变成灾难性故障。这些问题可能发生在多个层面，例如： • 硬件故障 （GPU 本身、网络交换、内存错误等） • 网络流量 （并发规模、传输协议等带来的拥塞或失败） • 软件 Bug （集成自定义算子、深度学习框架、各种“边角料”代码路径） 协同与分工 团队在训练前期进行了大量风险规避（de risking）试验，全面验证了模型配置、系统容错和硬件兼容性。在 GPT 4.5 的开发过程中，ML（模型研发）团队与系统团队的"协同设计"（co design）达到了前所未有的深度。虽然现在要"从零开始"重新训练 GPT 4 级别的模型只需 5 10 人的团队，但由于 GPT 4.5 规模更大、变动更多，整个项目消耗了公司大量资源。 1.2 训练过程中的问题与应对 训练过程中持续的改进 这并非"按下开始就万事大吉"的过程——系统层面和模型层面都需要在训练过程中持续迭代修正。例如，模型结构、数据管线、kernel 优化和容错机制等都可能在训练中途需要上线新的修复或升级。在 GPU 和网络层面，早期的故障率通常较高，但通过不断地定位问题、修复缺陷以及与供应商协作，故障率最终得以大幅下降。 典型的 Bug 故事：PyTorch sum 访谈中提到一个非常离奇的错误：某条罕见的代码路径引发了内存非法访问。团队最初以为是自研的自定义算子出现了 Bug，但最终发现问题竟出在框架（PyTorch）的 sum 操作上。这个 Bug 虽然在训练中出现频率不高，但由于集群规模庞大、迭代次数众多，偶发的异常也会造成严重困扰。在确认并修复这个问题后，多个表面上毫不相关的故障也随之一并解决。 持续监控与读数 团队在训练期间密切监控 loss 曲线和其他内部指标（包括各阶段的验证集困惑度、内存使用、网络容错率等），以评估训练状态的健康程度。由于模型规模庞大，即使微小的波动也可能暗示着潜在的重大问题。虽然有时会出现"虚惊一场"的情况，但团队始终坚持宁可过度关注也不愿错过任何细微的异常迹象。 1.3 规模化带来的新思考 从“计算受限”到“数据受限” 长期以来，语言模型的瓶颈更多是算力不足，即只要给足算力，对海量文本继续做大规模训练，性能就会提升。但 4.5 及更大模型出现后，团队已经逐渐进入“数据受限”（data bound）阶段：高价值数据（高质量、稀有或有版权等）并非无限，要在算法上把同样的数据“学得更透”，才能持续升级模型智能。 这表明 数据效率 （data efficiency）将成为下一阶段研发的核心重点，需要通过算法创新让模型能够从同样的数据中"汲取更多知识"。 模型与系统的“协同设计” 在训练 4.5 时，模型结构的变动有时需要配合系统层面的优化（或者反过来），比如张量切分方式、通信模式、缓存策略等。未来再做 10 倍、100 倍的扩展时，这种深度“协同设计”更加不可或缺，需在硬件、网络、容错、算法诸多层面统筹。 继续扩大的可能性 访谈中讨论了一个有趣的问题："人类是否会实现 1000 万块 GPU 的并行、近乎同步的训练？"团队的观点是：完全同步的可能性不大，但未来一定会出现超大规模的分布式训练。这种训练可能采用"半同步"或"多脑式"架构，而非现今的简单同步并行方式。 02 模型性能与算法洞察 2.1 预训练与“压缩”的本质 为何“下一词预测”能带来智能 团队成员 Dan 提出了一个重要观点：预训练本质上就像是一个文本"压缩"过程。当模型能准确预测下一个词时，表明它已经发现了数据中的某种压缩模式，并理解了概念与上下文之间的深层联系。预训练的核心目标是将互联网上海量的文本和高维知识压缩进模型权重中。这种大规模的"跨领域"、"跨格式"压缩过程自然而然地产生了广泛的通用能力。 测试指标与“困惑度” 对于超大模型而言，各类任务测试（如考试）可能已不具备区分度，这是因为模型已在互联网上接触过大量相似的题目和答案。一个更为纯粹的评估方法是 在"干净"且"陌生"的数据上测量 perplexity（困惑度） ，以验证模型在面对全新内容时是否仍能良好地进行压缩和预测。 据团队介绍，OpenAI 内部会将私有代码库和未公开的大规模文本作为最重要的验证集，以此追踪模型是否真正学习到新知识，而不是简单地记忆互联网上的现有文本。 2.2 规模与性能的“幂律关系” 法则依旧成立 训练 GPT 4.5 再次证实了"规模提升导致能力涌现"的趋势（即"规模法则"）。尽管大家都对这一法则的持久有效性感到惊叹，但事实就是如此：随着数据量、参数量和训练步数的不断扩大，模型在多种任务上的表现确实有显著改善。 推理与“通用智能” 与预训练所获得的"广度"不同，针对特定推理能力（reasoning）或推断能力的训练通常集中在特定领域，因此预训练中获得的"通用理解"能与这些特定能力形成互补。GPT 4.5 在预训练过程中展现出更强的"常识性推断"和上下文理解能力，这并非通过某个特定的强化学习或微调任务获得，而是源于海量数据压缩带来的能力涌现。 03 对未来的思考 数据效率与算法 随着大模型在通用文本上已经接近“读完互联网”，下一步显然需要更高效的算法，从同一份文本中学到更多深层概念。人类的小脑袋能从少量文本或数次互动中学到大量“隐含知识”，而现有 GPT 依然需要海量数据才能达到类似能力。未来将朝着“人类级别的数据效率”不断前进。 系统与容错 开发团队非常关注“故障容忍”（fault tolerance）在超大规模训练中的地位，希望未来硬件与网络协议本身能在更低层级处理很多通信或节点故障，而不是所有问题都抛给应用层来兜底。大模型训练涉及百万乃至千万规模 GPU 节点时，早期节点故障率、网络中断等如果不能很好处理，训练将几乎无法推进。 更大的分布式训练形态 团队认为未来不会是简单地把所有 GPU 全部同步并行，而更可能是“分块的、分脑的”半同步学习，多种网络拓扑、数据交互模式共存。计算形态可能会有颠覆性变化：类似人脑的局部自治网络、或者超大规模结合多种异构硬件。 模型推理 vs. 训练 大规模推理和大规模训练面临的系统瓶颈不完全一样。推理往往更倾向于延迟、吞吐和内存带宽；而训练需要考虑通信、容错、更新同步等。访谈暗示未来即便是新的模型体系（如“多模块”或“层间异构”）可能也会出现，需要在训练 推理两端都做代码层面协同。 04 总结与前瞻 核心收获 GPT 4.5 的成功不仅在于完成了一个新的模型，更重要的是推动了 “训练 系统 算法” 三位一体的协同 ，并不断验证了“规模效应”和“数据压缩”在通用人工智能中的关键地位。尤其值得关注的是团队多次强调的“ 从计算受限转向数据受限 ”——这将决定接下来算法创新的重要方向，以及团队在推理和分布式系统上的深度投入。 访谈总结 GPT 4.5 的问世是一个漫长而艰苦的过程，曾遇到包括硬件故障、软件 Bug、网络问题、大规模集群调度等大量挑战。解决这些难题的过程中，OpenAI 从中获得了非常多的实践经验与理论洞察，如 如何做大规模容错、如何进行协同设计、如何高效利用有限数据 等。 下一步的研究重点将围绕 提升数据利用效率 、 改进系统容错与网络传输 、 继续打磨分布式训练形态 以及 探索新的模型结构 。团队相信规模化与算法创新会继续深度结合，推动更高通用性的人工智能模型发展。 引用链接 [1] Pre Training GPT 4.5: https://youtu.be/6nJZopACRuQ?si=Bw2U96DF5OPeaNT9 END 欢迎大家 关注 👇INDIGO 的科技加速站 🔗 原文链接： https://mp.weixin.qq.com/s/Nhf6eSip... https://mp.weixin.qq.com/s/Nhf6eSip... 观点解读 INDIGO 科技加速站2025年04月14日 13:01 上海 在智能的演化中，人类追求的从不是绝对的算力，而是如何在 失控的边缘持续发现秩序。 配图来自 GPT 4o 就在前两天 OpenAI 官方宣布 GPT 4 将于 4月30日 停用，取而代之的是更新、功能更强大的 GPT 4o 模型。同时，Sam Altman 也带领团队给 GPT 4.5 和未来更新的模型做各种市场曝光，制造关注度，当然也想向公众证明 OpenAI 还是能够保持一定程度的开发。 上周四 Sam 亲自对邀请了 OpenAI 首席系统架构师 Amin、预训练机器学习负责人 Alex 还有核心数据算法工程师 Dan 做了一场关于名为「 Pre Training GPT 4.5 」的深度访谈，主要围绕 GPT 4.5 的研究、预训练过程以及背后的技术、组织与思考。GPT 4.5 发布后，超出团队预期地受到了广泛关注与好评，很多用户反馈“对话体验截然不同，令人惊艳”，因而团队希望对背后的研发细节作进一步分享。 过去，我们对大型模型的理解，更多地停留在简单的规模定律（Scaling Law）上：只要不断加大参数量和数据规模，就一定能不断地涌现出更好的性能。然而，这场访谈给出的事实却是： 越逼近复杂性的极限，我们就越难用单一维度（比如数据量或算力）去精确地预测模型能力的提升 。即便拥有极其缜密的计划和推演，真实训练中依然会反复遭遇那些从未预见到的“微小”故障。这也许正是混沌和复杂系统特有的非线性效应：小的异常可能迅速放大成为严重问题，而系统的极端复杂性让我们无法再用过去熟悉的简单线性思维来彻底解决它们。 对谈中 Dan 提到“数据效率”这一概念，人类之所以能在小样本、低数据环境中表现出惊人的学习效率，很可能是因为我们内在掌握着更深层次的“结构化”学习机制。换句话说，GPT 目前的预训练，仍然偏向于无差别地“吸收”大量文本数据， 在某种程度上，它像一个巨大的压缩引擎，用参数把世界的信息简单地浓缩下来 。 然而，人类的大脑却不是单纯地压缩，我们更像是一种“结构发现者”：我们可以自动发现“概念”的边界、类比的关系、因果的线索，以及环境与目的之间的互动。这种结构化的学习才是真正驱动“通用智能”的关键， 而目前的 GPT 模型尚未真正找到这样一种更高效、更接近人类直觉的学习模式 。未来的数据效率研究，本质上是对“结构化理解”与“泛化能力”的再次深入探索。