不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会

不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 不卷模型卷落地：TPU与英伟达的算力之争下，大模型推理层的万亿创业机会 Modified December 5, 2025 图9：主要Serverless推理平台增长趋势（2023 2024），年增长率超过300% 这种模式的优势是： 1、 成本优化 ：不用时不付费，利用率可以达到80%以上（相比固定集群的30 50%） 2、 弹性扩展 ：自动根据流量调整资源，应对突发需求 3、 开发者友好 ：屏蔽底层复杂性，专注业务逻辑 图10：固定集群vs Serverless在不同流量场景下的成本对比，Serverless可节省25 85% 但Serverless推理的技术挑战也很大： • 冷启动问题 ：如何快速启动GPU实例？ • 资源调度 ：如何高效分配异构算力？ • 任务编排 ：如何处理高并发、长尾任务？ 这些挑战，正在被一批开源和商业项目攻克。 04 从封闭平台到开放生态 Serverless推理的未来，不是某一个平台的胜利，而是开放生态的胜利。 RunPod、Modal这些商业平台做得不错，但它们是 封闭的，开发者无法定制、无法自建、无法掌控数据。 而开源的Serverless推理系统，正在快速崛起。 图11：开源vs商业Serverless平台特性对比，各有优势 这些开源系统的共同特点是： • 支持异构算力 ：可以混合使用GPU、TPU、ASIC • Kubernetes原生 ：易于部署和管理 • 自动扩缩容 ：根据队列深度动态调整资源 这就是第三个趋势：从 常驻集群到Serverless，从封闭平台到开放生态 ，AI推理正在经历一次效率革命。 05 结语：Serverless推理，是AI基础设施的终局 回到文章开头的问题：谷歌的TPU能否挑战英伟达的霸主地位？ 我的答案是：这不是一场 零和博弈。 英伟达的CUDA生态是开放平台，谷歌的TPU是垂直整合，两者都有存在的价值。但真正的赢家，不是某一种芯片，而是那些能够 灵活调度异构算力、提供Serverless体验、降低开发者门槛的平台。 AI推理的未来，不是某一种芯片的胜利，而是Serverless架构的胜利，是开放生态的胜利。 从百万卡到千万卡，从通用GPU到异构算力，从常驻集群到Serverless ，这三大趋势正在重塑AI基础设施的格局。 图12：AI基础设施演进路线图，从训练时代到Serverless时代 而在这个过程中，谁能提供最高效、最灵活、最开放的Serverless推理平台，谁就能赢得这场AI基础设施的终极战争。 算力应该像水电煤一样： 从资源竞争到效用革命 未来，算力应该像水、电、煤一样——不是比谁拥有更多，而是如何更好地用起来。 回顾历史，电力的普及不是因为某家公司拥有最多的发电厂，而是因为电网的建立让电力可以随时随地使用。今天，没有人会为了用电而自建发电厂，因为插上插座就能获得稳定的电力供应。 算力也应该如此。 今天的AI公司，还在为GPU资源焦虑：要不要自建集群？买多少张卡？如何应对流量波动？这就像100年前的工厂，还在纠结要不要自建发电厂一样。 但Serverless推理正在改变这一切。它让算力变成了一种按需使用的公共服务： • 无需拥有 ：开发者不再买 GPU，只需调用 API • 按需付费 ：使用多少就付多少 • 随时可用 ：像开水龙头一样轻触即可获得算力 • 无限弹性 ：从 1 张卡到 1 万张卡自动扩缩 这 不是技术的进步，而是商业模式的革命。 谷歌的TPU、英伟达的GPU，都是在争夺"发电厂"的规模。但真正的未来，是谁能建立算力的"电网"——让算力像水电煤一样，成为一种随时可用、按需付费、高效分配的公共基础设施。 这就是Serverless推理的终极意义： 让算力从稀缺资源变成公共服务，从资源竞争变成效用革命。 而在这个过程中， 开放生态将是关键。 就像电网需要统一的标准和协议，算力的"电网"也需要开放的接口、兼容的SDK、社区驱动的创新。这就是我们开源Waverless的原因—— 不是为了垄断，而是为了让更多人能够参与到算力基础设施的建设中来。 06 WaveSpeedAI的实践：开源Waverless，构建开放的Serverless推理生态 在WaveSpeedAI，我们每天处理超过百万次推理请求，深刻体会到了Serverless推理的价值。 但我们也发现，市场上缺乏一个开源的、高性能的、易于使用的Serverless GPU任务编排系统。 所以，我们决定开源我们的核心技术：Waverless。 Waverless是一个高性能的Serverless GPU任务编排系统，专为AI推理和训练工作负载设计，它的核心特性包括： • Pull based架构 ：Worker主动拉取任务，更好的负载均衡和容错能力 • Kubernetes原生 ：内置K8s应用管理，支持通过API部署GPU工作负载 • 多Endpoint路由 ：支持多个独立的任务队列和Worker池 • 自动扩缩容 ：根据队列深度动态调整Worker数量 图9：主要Serverless推理平台增长趋势（2023 2024），年增长率超过300% 这种模式的优势是： 1、 成本优化 ：不用时不付费，利用率可以达到80%以上（相比固定集群的30 50%） 2、 弹性扩展 ：自动根据流量调整资源，应对突发需求 3、 开发者友好 ：屏蔽底层复杂性，专注业务逻辑 图10：固定集群vs Serverless在不同流量场景下的成本对比，Serverless可节省25 85% 但Serverless推理的技术挑战也很大： • 冷启动问题 ：如何快速启动GPU实例？ • 资源调度 ：如何高效分配异构算力？ • 任务编排 ：如何处理高并发、长尾任务？ 这些挑战，正在被一批开源和商业项目攻克。 04 从封闭平台到开放生态 04 从封闭平台到开放生态 Serverless推理的未来，不是某一个平台的胜利，而是开放生态的胜利。 RunPod、Modal这些商业平台做得不错，但它们是 封闭的，开发者无法定制、无法自建、无法掌控数据。 而开源的Serverless推理系统，正在快速崛起。 图11：开源vs商业Serverless平台特性对比，各有优势 这些开源系统的共同特点是： • 支持异构算力 ：可以混合使用GPU、TPU、ASIC • Kubernetes原生 ：易于部署和管理 • 自动扩缩容 ：根据队列深度动态调整资源 这就是第三个趋势：从 常驻集群到Serverless，从封闭平台到开放生态 ，AI推理正在经历一次效率革命。 05 结语：Serverless推理，是AI基础设施的终局 回到文章开头的问题：谷歌的TPU能否挑战英伟达的霸主地位？ 我的答案是：这不是一场 零和博弈。 英伟达的CUDA生态是开放平台，谷歌的TPU是垂直整合，两者都有存在的价值。但真正的赢家，不是某一种芯片，而是那些能够 灵活调度异构算力、提供Serverless体验、降低开发者门槛的平台。 AI推理的未来，不是某一种芯片的胜利，而是Serverless架构的胜利，是开放生态的胜利。 从百万卡到千万卡，从通用GPU到异构算力，从常驻集群到Serverless ，这三大趋势正在重塑AI基础设施的格局。 图12：AI基础设施演进路线图，从训练时代到Serverless时代 而在这个过程中，谁能提供最高效、最灵活、最开放的Serverless推理平台，谁就能赢得这场AI基础设施的终极战争。 算力应该像水电煤一样： 从资源竞争到效用革命 未来，算力应该像水、电、煤一样——不是比谁拥有更多，而是如何更好地用起来。 回顾历史，电力的普及不是因为某家公司拥有最多的发电厂，而是因为电网的建立让电力可以随时随地使用。今天，没有人会为了用电而自建发电厂，因为插上插座就能获得稳定的电力供应。 算力也应该如此。 今天的AI公司，还在为GPU资源焦虑：要不要自建集群？买多少张卡？如何应对流量波动？这就像100年前的工厂，还在纠结要不要自建发电厂一样。 但Serverless推理正在改变这一切。它让算力变成了一种按需使用的公共服务： • 无需拥有 ：开发者不再买 GPU，只需调用 API • 按需付费 ：使用多少就付多少 • 随时可用 ：像开水龙头一样轻触即可获得算力 • 无限弹性 ：从 1 张卡到 1 万张卡自动扩缩 这 不是技术的进步，而是商业模式的革命。 谷歌的TPU、英伟达的GPU，都是在争夺"发电厂"的规模。但真正的未来，是谁能建立算力的"电网"——让算力像水电煤一样，成为一种随时可用、按需付费、高效分配的公共基础设施。 这就是Serverless推理的终极意义： 让算力从稀缺资源变成公共服务，从资源竞争变成效用革命。 而在这个过程中， 开放生态将是关键。 就像电网需要统一的标准和协议，算力的"电网"也需要开放的接口、兼容的SDK、社区驱动的创新。这就是我们开源Waverless的原因—— 不是为了垄断，而是为了让更多人能够参与到算力基础设施的建设中来。 06 WaveSpeedAI的实践：开源Waverless，构建开放的Serverless推理生态 在WaveSpeedAI，我们每天处理超过百万次推理请求，深刻体会到了Serverless推理的价值。 但我们也发现，市场上缺乏一个开源的、高性能的、易于使用的Serverless GPU任务编排系统。 所以，我们决定开源我们的核心技术：Waverless。 Waverless是一个高性能的Serverless GPU任务编排系统，专为AI推理和训练工作负载设计，它的核心特性包括： • Pull based架构 ：Worker主动拉取任务，更好的负载均衡和容错能力 • Kubernetes原生 ：内置K8s应用管理，支持通过API部署GPU工作负载 • 多Endpoint路由 ：支持多个独立的任务队列和Worker池 • 自动扩缩容 ：根据队列深度动态调整Worker数量 图13：Waverless架构示意图，Pull based Serverless GPU编排系统 我们在生产环境中使用Waverless支撑每日百万次推理请求，系统可靠性超过99.95%，平均响应时间20秒，成本降低80%。 我们希望Waverless能成为AI推理领域的"Kubernetes"——一个开放的、社区驱动的、 被广泛采用的标准。 AI的未来，不应该被少数巨头垄断，它应该属于每一个开发者，每一个创业者，每一个有想法的人。 这就是我们开源Waverless的初心。 关于WaveSpeedAI WaveSpeedAI是一家专注于AI多模态加速的技术公司，核心定位 服务中小B（开发者+中小客户） 。我们通过 提供模型推理加速能力和API服务，帮助开发者和企业快速构建AI多模态应用 。 1、联系我们 • 官网 ： wavespeed.ai • GitHub ： github.com/WaveSpeedAI github.com/WaveSpeedAI • 开源项目 ： Waverless 2、加入我们 如果你对Serverless推理感兴趣，欢迎： • Star我们的GitHub项目 ： https://github.com/WaveSpeedAI/waverless • 试用Waverless ：按照README的Quick Start，5分钟部署你的第一个Serverless GPU集群 • 贡献代码 ：我们欢迎任何形式的贡献 • 加入社区 ：在GitHub Issues中讨论你的想法和需求 让我们一起，构建AI推理的Serverless未来。 🔗 原文链接： https://mp.weixin.qq.com/s/vIg2YupI... https://mp.weixin.qq.com/s/vIg2YupI... 原创 David WaveSpeedAI2025年12月5日 18:22 浙江 01 引子：黄仁勋的回应，平台与专用之争 大摩的报告预测谷歌在2027 28年要卖出1200万片TPU，几乎是之前预测的两倍，每卖50万片，谷歌就能增加130亿美元收入，看起来英伟达要被狙击了。 但黄仁勋的回应很有意思，他说，我们跟ASIC（专用芯片）斗了很久了，谷歌的TPU就是一种ASIC。是的，谷歌干得不错，但有个问题： ASIC是"专才"，干一件事可以，但换个赛道就没用了 。而英伟达是"通才"，它的CUDA架构，像一个开放的操作系统，不仅能搞聊天机器人，还能做工业设计、药物研发、工程模拟，这些市场，ASIC进不去。 这就是 平台的力量 。 就像苹果的App Store，开发者都来这里，生态就无敌了，谷歌的TPU，更像一个服务于自家帝国的"御用作坊"，而英伟达，无处不在。所有云厂、所有服务器厂商、企业内部、边缘计算，都在用它，形成了一个开放军火库——谁都可以买武器。 谷歌的策略，本质上是想建立一个从芯片到应用全封闭的垂直帝国。但这种“自给自足”的体系，真的能打败一个开放、网络效应巨大的平台吗？历史上，封闭系统对抗开放生态，胜算几何？ 但这场争论背后，隐藏着一个更深层的趋势： AI计算的重心 正在从 训练转向推理 ，而推理市场的爆发，正在重塑整个AI基础设施格局。 02 趋势一：从百万卡到千万卡，推理需求的指数级爆发 01 训练市场正在收敛，推理市场正在爆炸 01 训练市场正在收敛，推理市场正在爆炸 过去两年，AI行业的焦点是训练，OpenAI、Google、Meta在训练上烧了数十亿美元，构建了超大规模的GPU集群。 但现在，这个市场正在收敛。 根据公开数据，Meta在2024年底拥有超过 50万张H100等效GPU ，用于训练Llama 4；OpenAI的最大训练集群规模约为 10万张H100 ；Google的TPU集群可以扩展到 9216片芯片的超级集群 。这些数字听起来很大，但增长速度正在放缓。 为什么？因为头部大厂已经建立了足够的训练能力，中小厂商则直接使用开源模型，训练市场正在从增量变成存量竞争。 而推理市场，正在爆发。 根据Fortune Business Insights的报告，全球AI推理市场规模在2024年为 914亿美元 ，预计到2025年将达到 1037亿美元 ，到2032年将达到 3494亿美元 ，对应 19% 以上的年复合增长率，成为真正的黄金市场。 图1：AI推理市场规模增长预测（2024 2032），年复合增长率19.2% 更关键的是， 推理的GPU需求量正在超越训练。 一个简单的计算：假设一个模型的训练需要10万张H100，训练周期是3个月。但这个模型部署后，每天要处理10亿次推理请求，如果每次推理需要1秒的GPU时间，那么每天需要的GPU时间是10亿秒 = 1157万GPU小时，换算成GPU数量，需要约 5万张GPU常驻 运行。 而这只是一个模型，如果有100个这样的模型，推理需求就是 500万张GPU。 图2：训练vs推理的GPU需求增长趋势（2023 2028），推理需求在2024年超越训练 这就是推理市场的规模。 02 固定集群到弹性资源：基础设施变革 02 固定集群到弹性资源：基础设施变革 更重要的是，推理和训练的需求特征完全不同。 训练是 批量、长时间、多卡互联 的，一个训练任务可能需要数千张GPU，运行数天甚至数周，GPU之间需要高带宽互联（NVLink、InfiniBand），这种需求适合固定集群。 推理是 单次、实时、低延迟 的，一次推理请求可能只需要1张GPU，运行几秒钟，对多卡互联没有强需求。但推理的并发量极高、波动极大，峰值和低谷之间差距惊人。 图3：训练与推理的工作负载特征对比雷达图 举个例子，ChatGPT的日活用户超过2亿，假设每个用户每天发起10次对话，每次对话需要1秒的GPU时间，那么每天的总GPU时间是20亿秒 = 2315万GPU小时，如果用固定集群，需要约 10万张GPU常驻。 但问题是，这10万张GPU在凌晨3点的利用率可能只有10%，在晚上8点的利用率可能超过200%（需要排队），这种流量的不均匀性，让固定集群的效率极低。 这意味着推理不再适合固定资源模式，而需要面向 需求波动的弹性资源体系 。 根据Morgan Stanley的报告，2025 2028年全球数据中心基础设施投资将达到 3万亿美元 ，其中很大一部分将用于构建支持弹性推理的基础设施。 这就是第一个趋势：从百万卡的训练集群，到千万卡的推理资源池，AI基础设施正在经历一次新的 范式转移 。 03 趋势二：从通用GPU到异构算力，成本优化的军备竞赛 01 推理成本正在成为AI公司的生死线 01 推理成本正在成为AI公司的生死线 当推理需求爆发时，成本问题就成了生死线。 我们做过一个计算：如果用H100跑推理，一次视频生成的成本大约是0.5美元，听起来不多，但当你每天要处理100万次请求时，成本就是50万美元/天，一年就是 1.8亿美元 。 更要命的是，大部分推理任务根本不需要H100的算力，H100是为训练设计的，它的多卡互联、高带宽、大显存，在很多推理场景下实际上被浪费了。 这就给了 异构算力机会 。 02 谷歌的TPU野心：从0到700万片的跨越 02 谷歌的TPU野心：从0到700万片的跨越 谷歌的TPU战略，本质上是一场 成本优化的豪赌。 根据Morgan Stanley的最新预测，谷歌的TPU产量将在2028年达到700万片（注：原报告的1200万片是累计出货量，年产量约为700万片），这是一个什么概念？ 对比一下：英伟达在2024年的H100出货量约为150 200万片，如果谷歌能做到700万片，规模将是英伟达的3 4倍。 图4：主要AI玩家的GPU/TPU部署规模对比 但这里有一个关键问题：谷歌的TPU主要是自用，而英伟达的GPU是卖给全市场。 谷歌为什么要自建这么大规模的TPU？答案很简单： 成本 。 根据行业估算，TPU在特定推理场景下的性价比是GPU的2 3倍，如果谷歌每天处理10亿次推理请求（包括搜索、YouTube推荐、Gemini对话等），用GPU的成本可能是每年50亿美元，用TPU可能只需要20亿美元，这意味着每年能 省30亿美元。 这就是谷歌押注TPU的逻辑： 通过垂直整合赢得成本优势，打造结构性壁垒。 03 云厂商的异构算力军备竞赛 03 云厂商的异构算力军备竞赛 谷歌不是唯一押注异构算力的玩家。 AWS推出了Inferentia和Trainium芯片，专门用于推理和训练，根据AWS的说法，Inferentia的性价比是GPU的40%（即 成本降低60% ）。 微软Azure则与AMD合作推出基于Instinct GPU的实例，同时也在打造自己的AI芯片。 图5：不同芯片的推理成本对比（以视频生成为例） 它们背后的逻辑一致： 在推理市场，专用芯片比通用GPU更具成本优势。 但这里有一个矛盾：专用芯片的生态远不如CUDA成熟，开发者需要重写代码、重新优化、重新测试，这个迁移成本，可能抵消掉硬件的成本优势。 所以，真正的趋势不是" GPU vs ASIC "，而是异构算力的混合调度。 04 异构算力混合调度：未来的标准架构 04 异构算力混合调度：未来的标准架构 未来的AI推理平台，不会只用一种芯片，而是根据任务特征，动态选择最优的算力资源。 具体来说： 图6：AI推理硬件全景图 04 趋势三：从常驻集群到Serverless，这是效率革命的终局 01 云厂商卡在「资源昂贵但闲置」的悖论里 01 云厂商卡在「资源昂贵但闲置」的悖论里 云厂商面临一个巨大的困境：GPU的利用率太低。 根据行业数据，传统固定集群的GPU利用率平均只有30 50%，换言之，超过一半的算力在被浪费。 为什么利用率这么低？因为流量波动大，而固定集群无法弹性伸缩。 举个例子，一个电商平台的AI推理需求，在双十一期间可能是平时的50倍，如果用固定集群，要么平时浪费资源，要么大促时扛不住。 更要命的是，不同客户的流量高峰完全不同，电商客户的高峰是晚上8 10点，内容创作者的高峰是下午2 6点，企业客户的高峰是工作日。如果为每个客户都准备固定资源，利用率会更低。 这就是云厂商的困境： GPU资源稀缺且昂贵，但利用率极低。 02 Serverless：从资源竞争到效率竞争 02 Serverless：从资源竞争到效率竞争 Serverless推理的核心思想是： 用多少付多少，不用不付费。 这不是一个新概念，AWS Lambda在2014年就推出了Serverless计算。但在AI推理领域，Serverless直到最近才开始成为主流。 为什么？ 因为GPU的冷启动问题。 CPU的Serverless可以在几百毫秒内启动，但GPU的冷启动通常需要30 60秒，这对于实时推理来说太慢了。 但现在，这个问题正在被解决。 通过预热池、智能预测、分层启动等技术，GPU的冷启动时间可以降到5秒以内，这让Serverless推理成为可能。 图7：GPU冷启动时间优化对比，从45秒降到5秒以内 图8：固定集群vs Serverless的流量模式和GPU利用率对比 03 Serverless推理的市场规模 03 Serverless推理的市场规模 根据我们的观察，Serverless推理正在快速渗透市场。 RunPod、Modal这些Serverless推理平台，在过去一年的增长速度都超过了300%，他们的共同特点是： 开发者不需要管理GPU集群，只需要提交任务，系统自动分配资源、执行任务、释放资源。