访谈：VAST系列访谈

访谈：VAST系列访谈 访谈：VAST系列访谈 Modified May 20, 2024 Z Potentials | 宋亚宸，97年华人少年，想做3D时代的“字节跳动”（VAST 下期） 在生成式AI的创业浪潮中，年轻的创业者大多倾向于选择应用和社区，而宋亚宸选择了“自研模型+应用”，并且还是选择3D这个目前门槛高，但却最具想象空间的方向。他对于AI在3D数字世界中的革命性应用充满热情，坚信技术可以打破创作界限，释放人类潜能。让我们一起和宋亚宸聊一聊“非典型年轻创业者”的创业故事。 ZP：请和大家介绍一下学生时代的自己。 宋亚宸：大家好，我是VAST的创始人和CEO宋亚宸。 我从小在杭州长大，所以受了不少中国传统文化的熏陶，小学一二年级的时候从父亲的书橱里翻到《道德经》、《坛经》之类的经典，激发了我这方面的兴趣，甚至在初中去径山寺坐过一段时间的禅，这些经历也点燃了我对宗教哲学的热情。 高中时我申请了三十多所大学，基本都跟神学相关，最后我去了约翰霍普金斯大学学习中东地区的政治，因为这个专业有机会接触并钻研世界各地的宗教和人文知识。为了更好地学习和理解这个领域，我学习了希伯来语和阿拉伯语，大二的时候去以色列待了一年，还有很多格鲁吉亚、百慕大、摩洛哥、古巴这些比较小众的地方，见识到了各式各样特点的文化，学会了如何去拥抱世界的复杂性（embrace complexity）。 再有就是游戏也对我有巨大的影响，好像我这个年纪的男生很难有不热爱游戏的（笑）。我对游戏的热情不低于对宗教哲学的热情，在霍普金斯上学的时候一度玩游戏玩到导师把我父母请到美国来解决这个问题，我在宿舍的席梦思中间有个巨大的凹陷，就是长期在床上看书打游戏压出来的。 所以我的经历可能在很多人看起来会有些矛盾，有点类似一个跑过很多地方的宗教哲学游戏宅？ ZP：你在什么时候接触到3D领域？ 宋亚宸：还没毕业我就加入了商汤，当时有个业务方向是3D动画。我花了很多时间跟国内3D动画行业的各种人交流，因为我们做AIGC，所以对3D内容生产效率这块比较关注。 我发现国内这个领域最优秀的内容人才，比如清华、央美这种顶尖学校毕业的专业人士，也得花相当多的时间在非常繁重的“手工活儿”上，极大限制了内容创造力。 其实行业很早就认识到了这个问题，但当时只能依赖更好的软件工具来优化效率。然而我发现内容创作者跟软件工程师之间的鸿沟是非常大的，所以我们用AIGC工具服务了国内很多头部的动画公司。与此同时，我们自己用AIGC工具尝试做了一些动画内容，后来在短视频平台上做出了拥有上百万粉丝的账号。 在这个过程中我也得到一些启发： 第一是，人只会消费10分的内容，而不会消费9分的内容。所以完全用AI生成大量内容占据平台是没有任何意义的——因为它不是好内容。真正好内容的充分不必要条件是被人设计过：它有审美、剧情，可控。如果是这样，那它具体的执行和实现是可以用 AI 来完成的。第二是，动画行业是个劳动力密集的行业。当时的技术水平能让加班到十点的动画从业者变成加班到九点，但不能激发更多创意。不管是从内容产出的质量和效率上来都完全没达到PMF的阶段。 因此，这部分我认为真正要得到根本性解决，核心还是解放3D内容生产力，需要的是革命性的3D内容打字机——也就是3D大模型，这是最根本的第一性原理的诉求，创作者应该更多时间花在动脑这件事上，动手的事情就交给3D大模型。 ZP：创业这件事情，你是什么时候觉得自己未来会开始创业？ 宋亚宸：之前我没有想过要自己创业，在工作的过程里我接触到了很多对3D内容以及AIGC有丰富经验跟感触的朋友，然后在交流的过程里发现我们对3D内容的想象和愿景出奇地一致，而我又是个行动力很强的人，当我们看见了同一个未来之后，好像创业就变成了一件水到渠成的事情，然后VAST就出发了。 ZP：我们之前推出过一些开源的工作，这是出于什么考虑？ 宋亚宸：这里面涉及到一个比较关键的认知：3D是一个多模态场景的内容基石，所以必须在应用场景里才能充分发挥价值。这个跟图文以及视频内容非常不一样，图文视频内容是信息载体，当被看到的那一刻就完成了体验闭环，但是3D内容需要在具体应用场景里才能出现更好的内容和体验价值。 VAST的愿景是解放3D内容生产力，这个生产力除了我们通过3D大模型解决基础建设问题外，也需要更多的开发者一道来发挥创造力。而且我们团队也了解到行业以及很多独立开发者渴求这方面的应用很久了，3D这个领域门槛很高，所以“饱和式创新”很重要，这就很需要开源模型来支持，我们责无旁贷地要推动大家一起朝着这方向努力。 ZP：我们是个模型+应用的公司，我们产品线是怎么考虑的？ 宋亚宸：现在产品可以分为两大块： 第一大块，就是为了迭代我们的技术提供的ToBToC业务，我们现在已经有大概几十家战略合作伙伴，覆盖了几乎整个3D行业的各种管线，从工业、3D打印到游戏和动画公司等等都有。我们通过服务这些合作伙伴来获得更加具体且落地的场景反馈来迭代优化我们的技术能力，甚至会帮助我们优化技术策略，这个也是我们很不一样的地方，我们从第一天就坚持技术要应用到场景，要跟市场形成良性的迭代飞轮。 第二大块，是 Tripo的品牌，12月21号上线的Tripo 1.0，它可以用文字和图片来生成带完整贴图以及mesh的高精3D模型，这个目前分为两个生成阶段，一阶段大概5到10秒就能生成，主要让用户对生成结果进行粗筛，然后进入一个二阶段的高精度生成，第二步目前我们的1.0版本生成速度是5分钟。它的核心就是展现我们的技术实力，并且让更多人上手用起来，同时回收使用数据帮助我们的大模型优化算法策略。同时我们这个大模型能力后续也会做针对行业的通用版本提供给一些战略合作伙伴的。 而且一些核心第三方开发者已经开始使用我们的内测版本设计小游戏，月底我们的开发者社区会有一款叫做Tripo GO的AIGC小游戏发布。因为我们的内测用户里有资深的宝可梦玩家，拿到我们的内测大模型后，就想用我们的模型能力圆一个自己的游戏梦，就像我们的开源策略一样，我们会鼓励跟推动更多这样的内容尝试，期待能出现一些3D大模型时代的全新内容品类。 ZP：为什么要做这么做？ 宋亚宸：我们相信 3D 内容的爆发有三个关键变量：1、发行门槛的降低。2、生产门槛的降低 3、体验门槛的降低。内容生产门槛的降低就是通过3D大模型来实现，也是限制整个行业内容爆发最关键的一个点。发行门槛的降低是通过出现一个能够去为3D内容提供更原生体验的hosting来实现，这个hosting不是XR这种硬件，而是更贴近用户体验场景的软件平台。体验门槛的降低，是通过运营来推动，有些类似抖音快手们诞生之初，硬件及软件平台都已经齐备的情况下，大家需要一个更具体的内容范式来理解跟体验短视频，这块我们会在开发者生态这块重点发力。 这三件事情看上去很复杂，其实它就是一件事情，就是说我们相信最终会出现一个3D内容平台，会承载绝大部分 3D 内容，它有极低的创作门槛，内容更加短、平、快并且爽，甚至在一定程度上会打破传统管线里DCC软件+引擎的分工，这是我们看到的未来。 ZP：可以仔细解释一下这里的内容范式吗？ 宋亚宸：我们认为内容范式需要在变跟不变两个要素上寻找内容场景。 变的部分就是生产工具带来的效率跟方法革命，这必然会解放出很多之前因为各种效率资源限制做不到的内容空间。我举个例子，一个大型里有上百个BOSS，上万件物品，这个资产的生产时间以年计，而基础资产的生产现在可能以月计甚至周，这还只是纯资源生产的变化，由此产生的场景设计创意解放就更让人期待了。 而不变的部分是内容体验的部分，一旦生产效率的瓶颈被解决，更平更快更爽这条被走通过无数次的内容路线也会在3D内容领域再次涌现，根据过去内容行业的演进，每次这种涌现都意味着行业的爆发。 ZP：VAST面向哪些用户？您如何理解这些用户的需求/痛点？ 宋亚宸：我们团队成员本身都有很丰富的项目经验，结合我们针对行业的大量交流跟调研，目前我们有一个用户的认知模型，我们把整个3D行业的用户分成了四个层级： 第一层是专业管线的用户，也是传统DCC软件跟部分工业引擎的用户，这些人是整个行业中最精英的生产者，但这个人群规模本身不大，国内的话在十万人这个量级。 第二层是非专业的3D创作者，他们会使用blender等3D专业软件，但不是专门从事这类工作。他可能就是做个毕业设计或者做画这类纯爱好者。这类用户对生产力工具非常敏感也有很迫切的需求，目前他们生产的这种内容质量总体是不如第一层的，绝大部分也没有到可以被消费的地步，但他们也是实打实的生产者，这个人群最近几年的增长非常快，国内早已经突破百万人规模，全球也有大几千万这个量级。 第三层是游戏用户，像我一样：对3D内容及体验敏感、觉得这个事情是好玩的事情、但没有3D内容制作的能力、也不知道如何系统学习。比如，你让我去生成一个宝可梦，那我觉得很有意思，但是请你不要让我去K模型，我是很难短时间学会的，这些人也就是我们常说的主流人群。 第四层就是尝鲜用户，就是想玩玩看AI能生成什么，什么都愿意去试一试看一看，但没有比较明确的内容目的。 ZP：那我们主要想针对哪些层的用户？ 宋亚宸：第一层用户我们想通过2B2C的方式服务，但是重心会聚焦在二、三层用户上。第三层他是在未来3D 大模型生态里面的主力消费者，第二层就是会使用Blender的那些人，是3D大模型生态里的生产者、有些类似UP主、主播这些角色，他们需要内容范式来引领他们生产。 ZP：VAST是一家模型加应用的公司，是一个自研模型端到端数据驱动的公司。那我们会怎么定义我们的竞争对手呢？ 宋亚宸：3D是生成式AI领域技术难度最大的赛道之一，目前无论是巨头还是我们这样的创业公司身位都差不多都在比较早期的技术落地阶段。 我们也能明显看到，全球的智力资源和算力资源都在往这个方向涌入，相关的论文工作得到飞速提升。 在目前这个阶段，我们的人才储备跟技术能力都是全球领先的，相信大家会持续看到我们的成果。 从最终愿景来看，我们会和其他内容平台竞争，本质最后还是竞争用户的时间。 ZP：你为什么认为3D内容范式是有大机会的？那我们长期的竞争力是什么？在3D内容范式这件事情上，我们的长期竞争力是什么？ 宋亚宸：首先关于竞争力我的感觉是不存在短期和长期的分别，竞争力本身一旦出现，就会积累成长期竞争力，核心在于形成竞争力这件事情，竞争力这件事比长期要难得多，起码对于创业公司来说是这样。而在竞争力这件事上我觉得有几个事情是非常重要的： 第一，技术最重要的。因为它真正的降低了用户创造的门槛，就是门口二大爷，它也能够去创造3D内容，这是核心。就说没有手机摄像头，它是没有抖音的。那我们的3D生成可以理解为就是手机摄像头。这个事情是很重要的，这是打字法，这是活字印刷，任何我们能够体验到的内容追溯下去基本都是一个关键技术突破催生出来的。 第二就是要找到合适的内容范式。这个内容范式你要对用户需求有敏感度，只有内容范式被验证了，才会诞生一个新的内容品类，一个内容品类被点燃，后续的生产力会更高效的涌入这个赛道，更多的内容品类出现的速度会呈现数量级的变化，有点寒武纪生物大爆发的感觉。 当然还有很多其他的，比如工程的能力等等，这些能力很重要必不可少但是很难形成竞争力，对真实用户的理解，和对于这个事情的信仰，我觉得也是非常关键，在创新的领域“愿景即能力”。 ZP：从长期看VAST的愿景和使命是什么？ 宋亚宸：我们公司的愿景叫做：为世界进文明，为人类造幸福。这句话是李大钊说的。 ZP：怎么理解这句话？ 宋亚宸：内容平台的核心就是为用户提供极致的体验。生而为人，一天24小时，就是选择不同的体验的过程，睡觉、运动、看书、看电影等等。 我希望未来3D内容无限扩大，然后每个人都可以成为超级创作者，人就像神一样创造新的世界，有自己新的规则，有全新的社会评价体系，有新的世界观，形成新的社会关系，最终创造出来一个全新的世界。而且你的目标、你的信仰、你的成就感都会完全发生变化。 在这个情况下，很多现在的社会问题就迎刃而解了，每个人的生活就是极致的心流体验，人们不断地遇到一些小困难，然后不断地通过成长去解决自己的问题，形成了一个王道动漫主人公的心流体验过程。 ZP：你有什么推荐的游戏？ 宋亚宸：极乐迪斯科。 ZP：作为97年的年轻创业者，你觉得有什么不一样的地方？VAST这个团队有什么不一样的地方吗？ 宋亚宸：我觉得我们公司的团队分为两拨人：第一拨人就是曾经从 0 到1，有创业成功经验的老炮，第二拨人是非常有生命力的，非常年轻的一群小天才。 年轻小天才们初生牛犊不怕虎，因为热爱所以事事往死里干，很容易快速出好的成果，说不定能大力出奇迹。老炮做事更稳，有韧性且见过世面，他不会慌，失败了就失败了，那下一步该怎么做，不会觉得是很大的事。同时老炮们之前找到过绿洲，所以他知道什么方向可以大概率再次找到绿洲。我觉得不是说团队只能要么全部都是年轻人，要么全部都是老炮，可能两者相结合才可以组成成熟且有战斗力的团队。老炮帮助年轻人找到方向和节奏，年轻人可以大力出奇迹，两者互相成就。 Z Potentials | 宋亚宸，97年华人少年，想做3D时代的“字节跳动”（VAST 下期） 在生成式AI的创业浪潮中，年轻的创业者大多倾向于选择应用和社区，而宋亚宸选择了“自研模型+应用”，并且还是选择3D这个目前门槛高，但却最具想象空间的方向。他对于AI在3D数字世界中的革命性应用充满热情，坚信技术可以打破创作界限，释放人类潜能。让我们一起和宋亚宸聊一聊“非典型年轻创业者”的创业故事。 ZP：请和大家介绍一下学生时代的自己。 宋亚宸：大家好，我是VAST的创始人和CEO宋亚宸。 我从小在杭州长大，所以受了不少中国传统文化的熏陶，小学一二年级的时候从父亲的书橱里翻到《道德经》、《坛经》之类的经典，激发了我这方面的兴趣，甚至在初中去径山寺坐过一段时间的禅，这些经历也点燃了我对宗教哲学的热情。 高中时我申请了三十多所大学，基本都跟神学相关，最后我去了约翰霍普金斯大学学习中东地区的政治，因为这个专业有机会接触并钻研世界各地的宗教和人文知识。为了更好地学习和理解这个领域，我学习了希伯来语和阿拉伯语，大二的时候去以色列待了一年，还有很多格鲁吉亚、百慕大、摩洛哥、古巴这些比较小众的地方，见识到了各式各样特点的文化，学会了如何去拥抱世界的复杂性（embrace complexity）。 再有就是游戏也对我有巨大的影响，好像我这个年纪的男生很难有不热爱游戏的（笑）。我对游戏的热情不低于对宗教哲学的热情，在霍普金斯上学的时候一度玩游戏玩到导师把我父母请到美国来解决这个问题，我在宿舍的席梦思中间有个巨大的凹陷，就是长期在床上看书打游戏压出来的。 所以我的经历可能在很多人看起来会有些矛盾，有点类似一个跑过很多地方的宗教哲学游戏宅？ ZP：你在什么时候接触到3D领域？ 宋亚宸：还没毕业我就加入了商汤，当时有个业务方向是3D动画。我花了很多时间跟国内3D动画行业的各种人交流，因为我们做AIGC，所以对3D内容生产效率这块比较关注。 我发现国内这个领域最优秀的内容人才，比如清华、央美这种顶尖学校毕业的专业人士，也得花相当多的时间在非常繁重的“手工活儿”上，极大限制了内容创造力。 其实行业很早就认识到了这个问题，但当时只能依赖更好的软件工具来优化效率。然而我发现内容创作者跟软件工程师之间的鸿沟是非常大的，所以我们用AIGC工具服务了国内很多头部的动画公司。与此同时，我们自己用AIGC工具尝试做了一些动画内容，后来在短视频平台上做出了拥有上百万粉丝的账号。 在这个过程中我也得到一些启发： 第一是，人只会消费10分的内容，而不会消费9分的内容。所以完全用AI生成大量内容占据平台是没有任何意义的——因为它不是好内容。真正好内容的充分不必要条件是被人设计过：它有审美、剧情，可控。如果是这样，那它具体的执行和实现是可以用 AI 来完成的。第二是，动画行业是个劳动力密集的行业。当时的技术水平能让加班到十点的动画从业者变成加班到九点，但不能激发更多创意。不管是从内容产出的质量和效率上来都完全没达到PMF的阶段。 因此，这部分我认为真正要得到根本性解决，核心还是解放3D内容生产力，需要的是革命性的3D内容打字机——也就是3D大模型，这是最根本的第一性原理的诉求，创作者应该更多时间花在动脑这件事上，动手的事情就交给3D大模型。 ZP：创业这件事情，你是什么时候觉得自己未来会开始创业？ 宋亚宸：之前我没有想过要自己创业，在工作的过程里我接触到了很多对3D内容以及AIGC有丰富经验跟感触的朋友，然后在交流的过程里发现我们对3D内容的想象和愿景出奇地一致，而我又是个行动力很强的人，当我们看见了同一个未来之后，好像创业就变成了一件水到渠成的事情，然后VAST就出发了。 ZP：我们之前推出过一些开源的工作，这是出于什么考虑？ 宋亚宸：这里面涉及到一个比较关键的认知：3D是一个多模态场景的内容基石，所以必须在应用场景里才能充分发挥价值。这个跟图文以及视频内容非常不一样，图文视频内容是信息载体，当被看到的那一刻就完成了体验闭环，但是3D内容需要在具体应用场景里才能出现更好的内容和体验价值。 VAST的愿景是解放3D内容生产力，这个生产力除了我们通过3D大模型解决基础建设问题外，也需要更多的开发者一道来发挥创造力。而且我们团队也了解到行业以及很多独立开发者渴求这方面的应用很久了，3D这个领域门槛很高，所以“饱和式创新”很重要，这就很需要开源模型来支持，我们责无旁贷地要推动大家一起朝着这方向努力。 ZP：我们是个模型+应用的公司，我们产品线是怎么考虑的？ 宋亚宸：现在产品可以分为两大块： 第一大块，就是为了迭代我们的技术提供的ToBToC业务，我们现在已经有大概几十家战略合作伙伴，覆盖了几乎整个3D行业的各种管线，从工业、3D打印到游戏和动画公司等等都有。我们通过服务这些合作伙伴来获得更加具体且落地的场景反馈来迭代优化我们的技术能力，甚至会帮助我们优化技术策略，这个也是我们很不一样的地方，我们从第一天就坚持技术要应用到场景，要跟市场形成良性的迭代飞轮。 第二大块，是 Tripo的品牌，12月21号上线的Tripo 1.0，它可以用文字和图片来生成带完整贴图以及mesh的高精3D模型，这个目前分为两个生成阶段，一阶段大概5到10秒就能生成，主要让用户对生成结果进行粗筛，然后进入一个二阶段的高精度生成，第二步目前我们的1.0版本生成速度是5分钟。它的核心就是展现我们的技术实力，并且让更多人上手用起来，同时回收使用数据帮助我们的大模型优化算法策略。同时我们这个大模型能力后续也会做针对行业的通用版本提供给一些战略合作伙伴的。 而且一些核心第三方开发者已经开始使用我们的内测版本设计小游戏，月底我们的开发者社区会有一款叫做Tripo GO的AIGC小游戏发布。因为我们的内测用户里有资深的宝可梦玩家，拿到我们的内测大模型后，就想用我们的模型能力圆一个自己的游戏梦，就像我们的开源策略一样，我们会鼓励跟推动更多这样的内容尝试，期待能出现一些3D大模型时代的全新内容品类。 ZP：为什么要做这么做？ 宋亚宸：我们相信 3D 内容的爆发有三个关键变量：1、发行门槛的降低。2、生产门槛的降低 3、体验门槛的降低。内容生产门槛的降低就是通过3D大模型来实现，也是限制整个行业内容爆发最关键的一个点。发行门槛的降低是通过出现一个能够去为3D内容提供更原生体验的hosting来实现，这个hosting不是XR这种硬件，而是更贴近用户体验场景的软件平台。体验门槛的降低，是通过运营来推动，有些类似抖音快手们诞生之初，硬件及软件平台都已经齐备的情况下，大家需要一个更具体的内容范式来理解跟体验短视频，这块我们会在开发者生态这块重点发力。 这三件事情看上去很复杂，其实它就是一件事情，就是说我们相信最终会出现一个3D内容平台，会承载绝大部分 3D 内容，它有极低的创作门槛，内容更加短、平、快并且爽，甚至在一定程度上会打破传统管线里DCC软件+引擎的分工，这是我们看到的未来。 ZP：可以仔细解释一下这里的内容范式吗？ 宋亚宸：我们认为内容范式需要在变跟不变两个要素上寻找内容场景。 变的部分就是生产工具带来的效率跟方法革命，这必然会解放出很多之前因为各种效率资源限制做不到的内容空间。我举个例子，一个大型里有上百个BOSS，上万件物品，这个资产的生产时间以年计，而基础资产的生产现在可能以月计甚至周，这还只是纯资源生产的变化，由此产生的场景设计创意解放就更让人期待了。 而不变的部分是内容体验的部分，一旦生产效率的瓶颈被解决，更平更快更爽这条被走通过无数次的内容路线也会在3D内容领域再次涌现，根据过去内容行业的演进，每次这种涌现都意味着行业的爆发。 ZP：VAST面向哪些用户？您如何理解这些用户的需求/痛点？ 宋亚宸：我们团队成员本身都有很丰富的项目经验，结合我们针对行业的大量交流跟调研，目前我们有一个用户的认知模型，我们把整个3D行业的用户分成了四个层级： 第一层是专业管线的用户，也是传统DCC软件跟部分工业引擎的用户，这些人是整个行业中最精英的生产者，但这个人群规模本身不大，国内的话在十万人这个量级。 第二层是非专业的3D创作者，他们会使用blender等3D专业软件，但不是专门从事这类工作。他可能就是做个毕业设计或者做画这类纯爱好者。这类用户对生产力工具非常敏感也有很迫切的需求，目前他们生产的这种内容质量总体是不如第一层的，绝大部分也没有到可以被消费的地步，但他们也是实打实的生产者，这个人群最近几年的增长非常快，国内早已经突破百万人规模，全球也有大几千万这个量级。 第三层是游戏用户，像我一样：对3D内容及体验敏感、觉得这个事情是好玩的事情、但没有3D内容制作的能力、也不知道如何系统学习。比如，你让我去生成一个宝可梦，那我觉得很有意思，但是请你不要让我去K模型，我是很难短时间学会的，这些人也就是我们常说的主流人群。 第四层就是尝鲜用户，就是想玩玩看AI能生成什么，什么都愿意去试一试看一看，但没有比较明确的内容目的。 ZP：那我们主要想针对哪些层的用户？ 宋亚宸：第一层用户我们想通过2B2C的方式服务，但是重心会聚焦在二、三层用户上。第三层他是在未来3D 大模型生态里面的主力消费者，第二层就是会使用Blender的那些人，是3D大模型生态里的生产者、有些类似UP主、主播这些角色，他们需要内容范式来引领他们生产。 ZP：VAST是一家模型加应用的公司，是一个自研模型端到端数据驱动的公司。那我们会怎么定义我们的竞争对手呢？ 宋亚宸：3D是生成式AI领域技术难度最大的赛道之一，目前无论是巨头还是我们这样的创业公司身位都差不多都在比较早期的技术落地阶段。 我们也能明显看到，全球的智力资源和算力资源都在往这个方向涌入，相关的论文工作得到飞速提升。 在目前这个阶段，我们的人才储备跟技术能力都是全球领先的，相信大家会持续看到我们的成果。 从最终愿景来看，我们会和其他内容平台竞争，本质最后还是竞争用户的时间。 ZP：你为什么认为3D内容范式是有大机会的？那我们长期的竞争力是什么？在3D内容范式这件事情上，我们的长期竞争力是什么？ 宋亚宸：首先关于竞争力我的感觉是不存在短期和长期的分别，竞争力本身一旦出现，就会积累成长期竞争力，核心在于形成竞争力这件事情，竞争力这件事比长期要难得多，起码对于创业公司来说是这样。而在竞争力这件事上我觉得有几个事情是非常重要的： 第一，技术最重要的。因为它真正的降低了用户创造的门槛，就是门口二大爷，它也能够去创造3D内容，这是核心。就说没有手机摄像头，它是没有抖音的。那我们的3D生成可以理解为就是手机摄像头。这个事情是很重要的，这是打字法，这是活字印刷，任何我们能够体验到的内容追溯下去基本都是一个关键技术突破催生出来的。 第二就是要找到合适的内容范式。这个内容范式你要对用户需求有敏感度，只有内容范式被验证了，才会诞生一个新的内容品类，一个内容品类被点燃，后续的生产力会更高效的涌入这个赛道，更多的内容品类出现的速度会呈现数量级的变化，有点寒武纪生物大爆发的感觉。 当然还有很多其他的，比如工程的能力等等，这些能力很重要必不可少但是很难形成竞争力，对真实用户的理解，和对于这个事情的信仰，我觉得也是非常关键，在创新的领域“愿景即能力”。 ZP：从长期看VAST的愿景和使命是什么？ 宋亚宸：我们公司的愿景叫做：为世界进文明，为人类造幸福。这句话是李大钊说的。 ZP：怎么理解这句话？ 宋亚宸：内容平台的核心就是为用户提供极致的体验。生而为人，一天24小时，就是选择不同的体验的过程，睡觉、运动、看书、看电影等等。 我希望未来3D内容无限扩大，然后每个人都可以成为超级创作者，人就像神一样创造新的世界，有自己新的规则，有全新的社会评价体系，有新的世界观，形成新的社会关系，最终创造出来一个全新的世界。而且你的目标、你的信仰、你的成就感都会完全发生变化。 在这个情况下，很多现在的社会问题就迎刃而解了，每个人的生活就是极致的心流体验，人们不断地遇到一些小困难，然后不断地通过成长去解决自己的问题，形成了一个王道动漫主人公的心流体验过程。 ZP：你有什么推荐的游戏？ 宋亚宸：极乐迪斯科。 ZP：作为97年的年轻创业者，你觉得有什么不一样的地方？VAST这个团队有什么不一样的地方吗？ 宋亚宸：我觉得我们公司的团队分为两拨人：第一拨人就是曾经从 0 到1，有创业成功经验的老炮，第二拨人是非常有生命力的，非常年轻的一群小天才。 年轻小天才们初生牛犊不怕虎，因为热爱所以事事往死里干，很容易快速出好的成果，说不定能大力出奇迹。老炮做事更稳，有韧性且见过世面，他不会慌，失败了就失败了，那下一步该怎么做，不会觉得是很大的事。同时老炮们之前找到过绿洲，所以他知道什么方向可以大概率再次找到绿洲。我觉得不是说团队只能要么全部都是年轻人，要么全部都是老炮，可能两者相结合才可以组成成熟且有战斗力的团队。老炮帮助年轻人找到方向和节奏，年轻人可以大力出奇迹，两者互相成就。 📌 来源：Z Potentials 2023 12 22 https://mp.weixin.qq.com/s/TIjrI4E1Oy4mLNj8QQ170Q https://mp.weixin.qq.com/s/rRWODK7khJwUjirWrp51mg 来源：Z Potentials 2023 12 22 https://mp.weixin.qq.com/s/TIjrI4E1Oy4mLNj8QQ170Q https://mp.weixin.qq.com/s/rRWODK7khJwUjirWrp51mg Z Potentials | 梁鼎，商汤通用模型负责人入局3D大模型，引领3D生成进入秒级时代（VAST 上期） 每一代技术的变迁都对3D内容生产产生了深远影响：从早期计算机图形学的发展催生了3D建模和渲染技术，到数字化时代推动了3D动画和虚拟现实的兴起，再到移动和算法时代带来的3D打印技术和增强现实/虚拟现实的普及，这些技术进步不断扩大了人们对3D内容的需求和消费。 在AI时代，我们可能正见证着“新时代的3D革命”。从技术角度来看，3D生成相对于文本、代码和图片生成，面临着更大的挑战，例如对高性能计算的需求、精确和复杂数据集的短缺、以及生成内容的可控性和真实感。这些挑战同时也代表着巨大的机遇，推动着3D技术向着更高的自动化和智能化发展。 ZP：请梁鼎先介绍一下自己吧！ 梁鼎：我是清华自动化专业，因为当时一直想做机器人相关的事情，从小在家里经常倒腾硬件，也是受到父亲的影响，比如高中期间做了一个扫地机器人，把遥控车的轮子改装到了簸箕上，基本家里所有家用电器都被我俩修理了一遍。所以后来大学期间参加了很多科创类的竞赛，挑战杯大一、大二连续两年拿了特奖，做过机械外骨骼、爬墙机器人、仿猿机器人、投篮机器人等各种各样有意思的东西。 硕士期间去了清华戴琼海院士的图形学实验室，搭了三套鸟笼系统，用工业相机、单反相机、Go Pro三类相机阵列去搭建光场采集，以及自己做重建算法，当时给百度、英特尔做了两套大型数据集，也是那个时候积累了很多图形学的算法经验。 毕业之后就加入了商汤，商汤当时还是几个人还挤在公寓里，在做人脸识别。当时来的第一个任务就是针对金融领域的身份认证场景做人证比对的算法，后来在商汤一待就是9年，也跟着公司快速成长。早期商汤在汤老师的带领下就一直坚持“坚持原创，注重研发”，这个理念也从商汤传承到现在的VAST。 ZP：可以举两个当时在商汤经历的比较重要的事情么？ 梁鼎：印象比较深的第一件事是2017年，当时希望把计算机视觉的技术用在每个人的设备里，我带领团队把之前在金融领域研发的算法积累运用在了手机的人脸识别场景，应用到了华米OV等国内所有手机终端上。 第二件事是2021年，GPT 3出来之后，确实觉得NLP出现了很大的变化，效果变得很好、以及让多个NLP的任务可以统一到一起，所以希望做一个视觉的通用大模型，当时坚定地走端到端一个大模型解决所有问题的路线，因为之前每增加一个任务就需要重新训练一个模型，这样模型就会越来越多，每增加一个模型就会增加额外的代价，对于一个商业化的公司是不太能接受的，也是不合理的，因为成本永远线性增加。 ZP：所以您当时发现了AI领域存在长尾和手工调参的问题，在还没有共识的时候，就坚定选择了GPT路线？ 梁鼎：对，因为相信这件事是有价值的，也是从第一性原理出发。 ZP：回到这次创业，两位为什么选择共同创业，做3D生成这个方向？是看到了什么机会？ 宋亚宸&梁鼎：首先我们相信3D内容会爆发，那么爆发的前提有三点，生产门槛的降低、分发门槛的降低、和消费门槛的降低。降低生产门槛需要3D场景的打字法，也就是AI 3D大模型；降低分发门槛需要有原生的3D Hosting（平台），让大家可以更好地应用3D内容；因为生产和发行门槛的降低，会出现更轻更丰富的3D的体验场景以及内容范式，从而降低用户的消费门槛，让更多人可以体验3D内容产品。 ZP：在过去一年，3D AIGC技术飞速发展，相关研究论文的数量也在激增，但我们看到学术界和产业界开始出现多条技术路线，想先了解下目前是否已经收敛？ 梁鼎：这个问题要回到3D内容生成本身遇到的一系列挑战上来，这些挑战主要可分为两大类别：3D独有挑战和生成式AI通用挑战。在生成式AI（文字、图片、视频、3D）上，大家都面临质量、速度、精细可控性和多样性（泛化性）的挑战。在3D这个细分领域中，3D制作流程的复杂性和图形管线的兼容性又成为相当复杂的问题。 目前，主流的解决方案主要包括艺术家手工建模、程序化建模以及基于学习的方法。最近的学术工作涵盖了对3D静态物体生成领域的全面总结，包括“原生3D派”和“2D升维派”的分类方法，以及一些将NLP中的建模方式和模型引入3D领域的新方法。 例如在2022年9月，Google发表了DreamFusion论文，提出了SDS方法。从那时起，人们认为3D AIGC真正进入了一个能够应用、有可能成为实际项目的方向。然而，基于SDS的方法存在一些问题，比如“多头”问题（Janus problem）和生成速度慢，这些问题也都将制约SDS的发展。我们也看到一些论文基于前馈（feed forward）的方式进行，能够避免生成速度慢和多头问题，但同时引入了其他问题，比如它强烈依赖3D数据，而3D数据相对有限，因此多样性、可控性和生成质量都会受到一定限制。这两种方式的显著区别就是是单独使用2D数据集还是3D数据集。 因此，为了又快又好，学术界和产业界也慢慢向“结合”方向收敛，例如，Zero123和MVDream，它们使用2D的pre train模型通过3D数据进行训练，得到了更一致性的生成方式，更快地生成更完美的模型，但不同团队在实操上还是有差别。 当然，除了这个方向之外，我们也注意到一些新出现的方法，比如MeshGPT，它参考了自然语言处理领域的一些方法，采用了一种自回归的生成方式，这些方法有望获得更高质量的几何拓扑。 所以如果你说，现在是不是已经明确了一个技术路线，这个技术路线是否已经收敛了，我觉得从大的方面讲是的，但小的方面讲还有差距。 ZP：理解，那可以具体展开讲讲VAST怎么理解技术路线这个问题吗？ 梁鼎：那可能要提到为什么会存在刚才我们提到的3D生成内容的技术挑战？这得回溯到数字3D内容的起源。数字3D内容可以追溯到20世纪60年代的计算机图形学，经过多次迭代发展，涉及概念设计、3D建模、纹理/材质、动画、渲染、后期等多个细分领域。传统的3D数字内容由经验丰富的专业艺术家创作，加入大量人工经验设计，而不同艺术家的工作流程和标准存在差异。此外，3D数字内容表达方式多种多样，涉及多边形网格、细分曲面、骨骼动画、顶点动画、物理模拟等，使得标准难以统一。生成模型方面，3D资产成本高、数据量有限，缺乏适合学习且足够精确的3D表达。与其他领域相比，学术研究起步相对较晚，需要积累突破性进展。 因此VAST提出“多模态统一路线”。具体来讲： 1.表示方面： 我们需要拥抱新的3D表示形式，如神经隐式场、3DGS等，使其更加灵活。通过将3D视为多视图/视频来与2D进行统一，并结合程序生成，同时保持与现有图形管线的兼容性。 2.模型方面： 我们主张与其他模态统一模型，以充分利用其他模态的先验知识和训练经验。关注高效“压缩”3D表示的模型，例如3D tokenizer，并通过多模态训练来辅助3D生成。 3.数据方面： 积累3D数据的同时，关注其他模态的辅助数据，特别是多视角和视频数据，以加速学习过程。 总体而言，我们认为通过统一表示、模型和数据，以及借鉴其他模态的成功经验，可以有效地解决当前3D内容生成面临的挑战，实现通用且可扩展的解决方案。 ZP：这条技术路线在产品表现上效果如何？ 梁鼎：首先我们已经将3D生成这件事控制在秒级，生成质量在测试用户范围内口碑很好。 Prompt（提示词）：3D paint flower, point cloud style,4k,HD ，时长00:04 Prompt（提示词）：dnd ttrpg mini, male dwarf bard musician in commoner westernmedieival clothes, red hair and beard ，时长00:04 更多社区作品请关注：www.tripo3d.ai 在体验设计上，我们设计了两阶段，第一阶段可以8s内通过3D原生生成出精准但粗糙的模型，第二阶段对其进行精细化调优。3D原生路线的优势是生成速度快、生成一个比较准确但是不够精细的模型，比如生成一个手机，可以生成一个方盒子形状的手机，但是上面的坑坑洼洼、耳机孔都是没有的。但这个可以作为一个很好的基础，在这个基础之上做2D的方法，在粗糙的模型上做调优，正是因为有一个粗糙的模型，所以调优也不会太离谱，可以避免多头问题，同时又给2D的方法做了一个初始化，整体时间不会太长。 也是在11月的时候才有了这样的产品出来，比如11月2日Luma AI出了新产品Genie，也是分了类似两个阶段。 但我们是从4/5月份就是这么提的，也是一直这么做的，对于VAST来说，3D技术逐渐进步、数据量提升，3D生成的质量就会提升，整体的时间在变短、形状更加精准、成功率提升，这是整体的变化。 ZP：那未来会变成100%3D原生的路线吗？ 梁鼎：3D原生的比例会持续提升，但可能不会是100%，在可见的未来，3D表达的复杂程度还是比较高，有不同的表达形式，比如Nerf、Gaussian Splatting、Mesh等，也没有一个最合适的表达方式，限制了精确度、训练效率，如果3D表达没有突破，3D生成的效果会有约束。 ZP：那第二步2D优化的过程中，如何解决大家熟知的多头问题呢？ 梁鼎：我们4/5月份提出统一融合路线就是在试图解决这个问题，希望通过3D模型引入先验，到了后面有了更高效的方式，引入多视角模型也能一定程度缓解这个问题，同时就是随着不同模态数据比例的提升，2D优化的过程就只需要微调。比如毛衣或衬衣上面的小点点或小格子，通过2D微调可以做出来，但是这个微调过程不会再影响多头问题，类似的还有在微调过程中从光滑的皮毛优化出