AI视频终于有“角色”的概念了，Vidu「参考生视频」的意义也许很大。

AI视频终于有“角色”的概念了，Vidu「参考生视频」的意义也许很大。 AI视频终于有“角色”的概念了，Vidu「参考生视频」的意义也许很大。 Modified July 16, 2025 No access 1 00:00 No access 4 00:00 第二次生成： No access 5 00:00 所以本质上来讲，这不仅仅是参考，而更多的是一种“乐高积木”的组合逻辑。或者说，这些参考主体，就是一个拍摄剧组的“素材库”。当我们一次性定义好剧组的演员、场景后，这个剧组就能按照提示词进行灵活的拍摄。 第一次，AI视频有了“演员”的概念。 AI视频的“角色资产” 正如文章开头提到的，这不是一个简单的功能升级。当AI视频有了“演员”的概念之后，它可能会重塑目前的“图生视频”工作流。 我们先来看看目前的主流工作流的特征： 其实图生视频（I2V）之所以在两年来成为大部分AI视频的主要范式，其核心原因有几个： 1. 人物和场景一致性（人物、场景不能变样，影视常见需求） 2. 主体定制性（需要出现特定的物品或道具，广告常见需求） 3. 视频质量 关于第三点，以Google Veo为代表的新模型正在大幅提升文生视频的质量，甚至在Veo3上，我们看到了文生模式在质量上超出图生的可能性。而在前两点上，图生视频依然有不可替代性。 但如上图所示，图生视频在解决角色一致性的逻辑上，是依靠“图片”这个环节来完成的， 图片是整个工作流的核心。 我们首先要保证在分镜镜头的起始图片中，角色的形象是一致的。也就是说，有多少镜头，就需要有多少张图。这看起来很麻烦，但在之前的环境中，确实没什么更好的办法。 那么如何保证每张图片的角色维持一致性？主要依靠类似Lora和Midjourney OW这类的做法。 也就是说，图生视频工作流中，角色一致性是依赖图像的“角色资产”完成的，最典型的就是Lora，每个Lora的本质都是一个静态的角色资产。 这就势必导致，这样做视频的方式相当复杂。因为在视频层面上，实际上并没有角色资产的概念。 而Vidu的参考生视频实际上就是视频维度的“角色资产” 。 在新的流程中，角色的形象和特征通过“主体库”一次性完成，而在这之后，实际上进入了一个类似文生视频的过程。而本来由Lora等技术完成的角色资产工作，则直接被参考主体取代了。 这大大提高了生产效率，道理很简单：你不用每次都处理图片的环节了。 那么效果如何呢？ 以目前Vidu上线的版本来看，其完成度是很惊人的。 No access 6 00:00 No access 7 00:00 首先是“像”的问题。从卓别林的例子可以看出来，无论各个角度，人物的面部特征完成度都相当高。甚至超过很多Lora模型在图像上的稳定程度。 而且，Vidu的“参考生”主体只需要上传1 3张图，就能实现非常稳定的相似度。而传统Lora的训练显然需要更多的素材。 这里要注意：如果上传的图片中包含了服装特征，那么这会一定程度上影响生成结果也产生类似的服装。所以，如果你希望服装更加灵活，可以考虑在图片中尽量少的体现服装特征，同时使用提示词强控。 第二个问题就是生成的质量。下面两个例子中，我没有提供任何的图片参考，只是让参考生视频根据卓别林的形象，生成他在海边和森林里的镜头。 No access 8 00:00 No access 9 00:00 说实话影像的表现有些超出我的预期。 官方说明中，参考生视频是基于Vidu Q1模型来完成的，可事实上，无论是细节的刻画还是质感，比如这两个例子中场景的拟真度，以及人物的光线处理，我总感觉它的质量是优于原本的Vidu Q1模型，所以我猜测Q1模型得到了一些升级。 意义：也许能重塑工作流 在Google的Veo2问世的时候，我就有过一个判断：图生视频的工作流，可能会以某种“意想不到的形式”逐渐过渡到文生视频。 实测Google的AI视频模型VEO2，真实正在消失（上）。 因为目前图生视频的流行更多的是一种无奈之举，是在一致性和可控性的诉求下，我们寻找的“折衷方案”，毕竟没人喜欢麻烦。 而今年以来各大视频模型的多个新功能，都让我觉得这个工作流的转换点，似乎离我们越来越近。 比如：当你习惯了Veo3中，使用文字就直接得到一个多模态，有配音和口型匹配的视频时，真的会觉得很方便，会对这种效率感到上瘾。即便Veo3还有非常多不成熟的地方，对于做一个有工业要求的长视频来说，它还很难胜任。 而关于这次参考生视频的核心理念，用Vidu自己的话说，是： 素材即剧组。 确实，Vidu的参考生视频和Veo3有点不同：它把重点放在了 精确性和一致性的效率提升上 。所以它显得非常实用，一上来就能解决很多实用问题，至少你可以把它当成一个更简化的Lora体系来使用，而且效果很好。 实测Google的AI视频模型VEO2，真实正在消失（上）。 No access 1 00:00 No access 1 00:00 No access 4 00:00 No access 4 00:00 第二次生成： No access 5 00:00 No access 5 00:00 所以本质上来讲，这不仅仅是参考，而更多的是一种“乐高积木”的组合逻辑。或者说，这些参考主体，就是一个拍摄剧组的“素材库”。当我们一次性定义好剧组的演员、场景后，这个剧组就能按照提示词进行灵活的拍摄。 第一次，AI视频有了“演员”的概念。 AI视频的“角色资产” 正如文章开头提到的，这不是一个简单的功能升级。当AI视频有了“演员”的概念之后，它可能会重塑目前的“图生视频”工作流。 我们先来看看目前的主流工作流的特征： 其实图生视频（I2V）之所以在两年来成为大部分AI视频的主要范式，其核心原因有几个： 1. 人物和场景一致性（人物、场景不能变样，影视常见需求） 2. 主体定制性（需要出现特定的物品或道具，广告常见需求） 3. 视频质量 关于第三点，以Google Veo为代表的新模型正在大幅提升文生视频的质量，甚至在Veo3上，我们看到了文生模式在质量上超出图生的可能性。而在前两点上，图生视频依然有不可替代性。 但如上图所示，图生视频在解决角色一致性的逻辑上，是依靠“图片”这个环节来完成的， 图片是整个工作流的核心。 我们首先要保证在分镜镜头的起始图片中，角色的形象是一致的。也就是说，有多少镜头，就需要有多少张图。这看起来很麻烦，但在之前的环境中，确实没什么更好的办法。 那么如何保证每张图片的角色维持一致性？主要依靠类似Lora和Midjourney OW这类的做法。 也就是说，图生视频工作流中，角色一致性是依赖图像的“角色资产”完成的，最典型的就是Lora，每个Lora的本质都是一个静态的角色资产。 这就势必导致，这样做视频的方式相当复杂。因为在视频层面上，实际上并没有角色资产的概念。 而Vidu的参考生视频实际上就是视频维度的“角色资产” 。 在新的流程中，角色的形象和特征通过“主体库”一次性完成，而在这之后，实际上进入了一个类似文生视频的过程。而本来由Lora等技术完成的角色资产工作，则直接被参考主体取代了。 这大大提高了生产效率，道理很简单：你不用每次都处理图片的环节了。 那么效果如何呢？ 以目前Vidu上线的版本来看，其完成度是很惊人的。 No access 6 00:00 No access 6 00:00 No access 7 00:00 No access 7 00:00 首先是“像”的问题。从卓别林的例子可以看出来，无论各个角度，人物的面部特征完成度都相当高。甚至超过很多Lora模型在图像上的稳定程度。 而且，Vidu的“参考生”主体只需要上传1 3张图，就能实现非常稳定的相似度。而传统Lora的训练显然需要更多的素材。 这里要注意：如果上传的图片中包含了服装特征，那么这会一定程度上影响生成结果也产生类似的服装。所以，如果你希望服装更加灵活，可以考虑在图片中尽量少的体现服装特征，同时使用提示词强控。 第二个问题就是生成的质量。下面两个例子中，我没有提供任何的图片参考，只是让参考生视频根据卓别林的形象，生成他在海边和森林里的镜头。 No access 8 00:00 No access 8 00:00 No access 9 00:00 No access 9 00:00 说实话影像的表现有些超出我的预期。 官方说明中，参考生视频是基于Vidu Q1模型来完成的，可事实上，无论是细节的刻画还是质感，比如这两个例子中场景的拟真度，以及人物的光线处理，我总感觉它的质量是优于原本的Vidu Q1模型，所以我猜测Q1模型得到了一些升级。 意义：也许能重塑工作流 在Google的Veo2问世的时候，我就有过一个判断：图生视频的工作流，可能会以某种“意想不到的形式”逐渐过渡到文生视频。 实测Google的AI视频模型VEO2，真实正在消失（上）。 实测Google的AI视频模型VEO2，真实正在消失（上）。 因为目前图生视频的流行更多的是一种无奈之举，是在一致性和可控性的诉求下，我们寻找的“折衷方案”，毕竟没人喜欢麻烦。 而今年以来各大视频模型的多个新功能，都让我觉得这个工作流的转换点，似乎离我们越来越近。 比如：当你习惯了Veo3中，使用文字就直接得到一个多模态，有配音和口型匹配的视频时，真的会觉得很方便，会对这种效率感到上瘾。即便Veo3还有非常多不成熟的地方，对于做一个有工业要求的长视频来说，它还很难胜任。 而关于这次参考生视频的核心理念，用Vidu自己的话说，是： 素材即剧组。 确实，Vidu的参考生视频和Veo3有点不同：它把重点放在了 精确性和一致性的效率提升上 。所以它显得非常实用，一上来就能解决很多实用问题，至少你可以把它当成一个更简化的Lora体系来使用，而且效果很好。 我很喜欢这种务实的体验：在设定好角色、场景、物品的前提下，直接用提示词来得到高质量的稳定视频，这个体验真的太爽了。 最近一年以来，有几个节点的出现，让我逐渐感受到AI视频新工作流的雏形： • Sora的故事模式 • Veo2出现 • Flow+Veo3多模态发布 • Vidu的参考生视频 即便目前这些技术都还不足以完全替代现有流程，但越来越轻的体验，代表着越来越高的效率，它的发展路径一定是让创作者把更多的精力放在创意上，而不是折腾工具上。效率提升的意义，是让我们有更多经历去思考内容本身。 Vidu这次做得很好。 我是汗青，AI.TALK创始人，一个6岁开始学美术的AI创作者，也是厮混互联网圈16年的产品经理。我在这里分享对AI技术与媒介的思考。 我的愿景是寻找新技术与媒介艺术的结合方式。如果你同样对这个话题感兴趣，欢迎关注我的公众号和视频作品。 • 商务合作：aitalkgina • 频道视频号：AI.TALK • 个人视频号：汗青HQ 🔗 原文链接： https://mp.weixin.qq.com/s/r82eAzDW... https://mp.weixin.qq.com/s/r82eAzDW... 原创 汗青 AI Talk 汗青 AITalk2025年07月16日 12:04 北京 一直想找时间好好聊聊Vidu的参考生视频。 因为在我看来，这不仅仅是一个单纯的功能升级，而是一个可能影响AI视频工作流的新模式。它体现了一个 非常重要的概念：角色资产 。 先看一下Vidu参考生视频的效果，这是AI.TALK用该功能制作的创意短片： 什么是参考生视频 简单来说，就是参考用户上传的图片（人物、角色、场景）特征，生成和参考对象（这些人物和场景）高度一致性视频的功能。 我们一起看一下在Vidu中如何使用这个功能，就会有更直观的体会。 首先，在Vidu官网左侧的导航菜单中，点击参考生视频，然后就会看到一个很清晰的界面， 然后，我们就可以通过上传图片来定义不同的主体，最常见的主体其实就是角色。比如在我们的例子中，我们使用了卓别林和憨豆先生的例子。最多可以上传三张，分别上传他们的不同角度的图片，会得到更好的效果。 以上这一步，可以理解为在设定“演员”。然后我们可以使用上传图片的方式，继续设定“场景”（聊到这里，大部分朋友已经能想想这个功能的逻辑了吧）。 因为我们的目标是让两个演员模仿《美国丽人》中经典的玫瑰花海的场景，所以我们上传一张图片作为参考背景。 在完成“演员”和场景的设定后，我们就可以通过提示词的方式开始生成视频了，如下： 提示词 憨豆 卓别林 两个人十分舒服躺在 图1 的环境中，图1是一个铺满了红色的玫瑰。两个人做出十分舒服的姿势，并且暧昧的看着彼此，拉了拉手，空中红色花瓣慢慢飘落下来，垂直俯视全景视角，升格镜头，大全景，超大全景，广角，人全身镜头，慢动作。 可以看到，在书写提示词的时候，我们定义的参考对象（包含主体和图片），都作为某种“对象”被引用，和提示词结合在一起。 然后我们就可以生成视频了，有一些简单的参数可以调整。目前Vidu Q1的模型支持5s/1080P的输出规格。 然后我们就可以得到视频了。 可以看到，视频对两个演员的面部特征、场景和还原非常到位，动态和画面质量都很高，给我感觉Vidu的Q1模型应该是做了一定程度的升级，质感的表现让人印象深刻。 而且连续生成两次，人物和场景维持的特征，或者说一致性，都相当稳定。 No access 2 00:00 No access 2 00:00 No access 3 00:00 No access 3 00:00 这就是Vidu参考生视频的逻辑：把人物角色、场景、或者任何主体定义为参考的“对象”，在生成的视频中，用类似元件的方式调用、组合这些元素。 再看另外一组实验，把两个演员放入《当幸福来敲门》的场景中，模仿威尔史密斯的经典动作。 提示词 提示词如下： 憨豆 穿着米色的西装，后背靠着画面上方的墙半躺在地上，怀里抱着 卓别林 ，画面环境参考 图1 ，俯视镜头，全景拍摄