CrabNote螃蟹笔记

一张图片就能制作电影,Wan animate 角色替换/动作迁移详细测试!目前最具商用价值的开源视频模型

一张图片就能制作电影,Wan animate 角色替换/动作迁移详细测试!目前最具商用价值的开源视频模型

一张图片就能制作电影,Wan animate 角色替换/动作迁移详细测试!目前最具商用价值的开源视频模型 一张图片就能制作电影,Wan animate 角色替换/动作迁移详细测试!目前最具商用价值的开源视频模型 Modified September 23, 2025 No access 8 00:00 No access 9 00:00 首先 更新KJ的WanVideoWrapper插件到最新版 (话说KJ所有Wan的功能都集中在这个插件里,方便是方便,但现在越来越庞大了……): https://github.com/kijai/ComfyUI WanVideoWrapper 然后 下载以下模型和工作流 (最下方网盘有提供): 主模型: ( 放到" ComfyUI\models\diffusion models"下 ) Wan2 2 Animate 14B fp8 e4m3fn scaled KJ.safetensors 可选: Wan2 2 Animate 14B Q4 K M.gguf 这里是KJ的fp8量化版本,看其他大佬测评说16G显存也能运行,但我运行起来很容易就爆显存,可能是因为内存不够(32G),所以我使用了资源占用更小的GGUF版本。 Lora: ( 放 到"ComfyUI\models\loras"下) WanAnimate relight lora fp16.safetensors 这个Lora是专门用于给角色替换后的画面进行重新打光的。 可选: Wan2.2 Lightning I2V A14B 4steps lora LOW fp16 FastWan T2V 14B 480p lora rank 64 bf16 这两个加速Lora用于给生成视频提速。 工作流: ①模型加载(用于加载模型&Lora) ②参考图片&视频上传与面部姿势识别(上传参考视频与角色图片) ③角色 遮罩&背景遮罩( 通过点选设置替换角色) ④采样生成视频 你也可以使用下面的工作流在线使用:WanAnimate(视频角色替换/姿势迁移) https://www.runninghub.cn/post/1969678871396315137/?inviteCode=rh v1150 Runninghub是 一个Comfyui 在线工 作流应用 平台,里面有大量超 好用的工作流。使用邀请码: rh v1150 注册绑定,你我都可以得1000积分,我也可以测试发布更多工作流给大家使用。 03 实际测试 来实际测试一下,先试下替换角色,我们看看由星爷主演《小丑》名场面会是什么样子: No access 10 00:00 或者让蝙蝠侠跳上一段小丑舞: No access 11 00:00 甚至让你的虚拟数字人来上一段口播: No access 12 00:00 接下来我们试试角色动画,可以用真人驱动二次元角色唱歌: No access 13 00:00 用真人舞蹈驱动图片跳舞: No access 14 00:00 No access 8 00:00 No access 8 00:00 No access 9 00:00 No access 9 00:00 首先 更新KJ的WanVideoWrapper插件到最新版 (话说KJ所有Wan的功能都集中在这个插件里,方便是方便,但现在越来越庞大了……): https://github.com/kijai/ComfyUI WanVideoWrapper 然后 下载以下模型和工作流 (最下方网盘有提供): 主模型: ( 放到" ComfyUI\models\diffusion models"下 ) Wan2 2 Animate 14B fp8 e4m3fn scaled KJ.safetensors 可选: Wan2 2 Animate 14B Q4 K M.gguf 这里是KJ的fp8量化版本,看其他大佬测评说16G显存也能运行,但我运行起来很容易就爆显存,可能是因为内存不够(32G),所以我使用了资源占用更小的GGUF版本。 Lora: ( 放 到"ComfyUI\models\loras"下) WanAnimate relight lora fp16.safetensors 这个Lora是专门用于给角色替换后的画面进行重新打光的。 可选: Wan2.2 Lightning I2V A14B 4steps lora LOW fp16 FastWan T2V 14B 480p lora rank 64 bf16 这两个加速Lora用于给生成视频提速。 工作流: ①模型加载(用于加载模型&Lora) ②参考图片&视频上传与面部姿势识别(上传参考视频与角色图片) ③角色 遮罩&背景遮罩( 通过点选设置替换角色) ④采样生成视频 你也可以使用下面的工作流在线使用:WanAnimate(视频角色替换/姿势迁移) https://www.runninghub.cn/post/1969678871396315137/?inviteCode=rh v1150 Runninghub是 一个Comfyui 在线工 作流应用 平台,里面有大量超 好用的工作流。使用邀请码: rh v1150 注册绑定,你我都可以得1000积分,我也可以测试发布更多工作流给大家使用。 03 实际测试 来实际测试一下,先试下替换角色,我们看看由星爷主演《小丑》名场面会是什么样子: No access 10 00:00 No access 10 00:00 或者让蝙蝠侠跳上一段小丑舞: No access 11 00:00 No access 11 00:00 甚至让你的虚拟数字人来上一段口播: No access 12 00:00 No access 12 00:00 接下来我们试试角色动画,可以用真人驱动二次元角色唱歌: No access 13 00:00 No access 13 00:00 用真人舞蹈驱动图片跳舞: No access 14 00:00 No access 14 00:00 两种模式效果都非常棒!效果已经可以和闭源数字人媲美了。当然,因为我用的是gguf模型,所以画质和细节部分还有很大提升空间。 加上目前插件工作流都刚出来,后续相信一定还会有更多改进。 04 总结 这就是新出的Wan Animate模型测试了,可以看到这是一个 商用价值潜力非常巨大的模型,并且还全部开源免费 。一些简单的卡通动画、视频短片,现在无需动捕,自己在家表演拍摄 后,就可以驱动图片角色运动制作。开启了全新的个人创作途径,期待后续出现更多的精彩案例。 以上就是今天的全部内容,感谢你的观看。如果觉得对你有帮助的话,请 随手帮我点个赞、在看、转发三连吧 ! 我是黄彬,一个陪你玩转AI新工具的探索者。我们下期再见! 🔗 原文链接: https://mp.weixin.qq.com/s/DNmKWYXV... https://mp.weixin.qq.com/s/DNmKWYXV... 原创 黄彬的AI工具箱 AI智识新语2025年09月22日 17:06 云南 hi,我是黄彬,一个AI新技术的探索者。 感谢大家支持与关注,文章中涉及到的模型与工作流, 请关注公众号后在文末获取。 在 全球 AI视频模型开源领域, 阿里的Wan系列已经是当之无愧的NO.1。就在大家都在等待Wan将要放出来新王炸的时候,9月19日,阿里 又 悄悄开源了一个 角色动画产品 Wan Animate。 01 模型介绍 W an Animate 是开源的视频动作迁移先进模型,是一个用于 角色动画 与 角色替换 的统一框架, 可 以用图片角色替换视频中的角色,保留他们的表情和动作,同时复制原始灯光和色调,实现无缝环境集成。 它具备2个超强功能(Animation&Replacement): 1.角色 动画【 Animation 】: 使用一张静态角色图片,加上一段参考视频,它就能让静态图片中的 角色复刻参考视频中 角色 的所有动作与表情 ,生成一段由参考视频角色动作驱动的视频。 2 .角色替换【 Replacement 】: 它还能使用一张 新角色图片,无缝替换参考视频中角色 。同时,自动协调周围环境光线、色调,使新角色和原场景看起来毫无违和感。 官方还 放出了和同类模型的 对比,可以看出,角色一致性与动作精确度Wan animate都遥遥领先。这个模型 极具商用价值,前面我所说的卡通角色带货、探店,虚拟偶像唱歌用这个表情和动作保持度的会更好。 官方项目页: https://humanaigc.github.io/wan animate/ 官方测试页: https://huggingface.co/spaces/Wan AI/Wan2.2 Animate 02 模型安装&使用 经过KJ大佬的努力,目前模型已经可以在comfyui运行了,但因为流程比较复杂,他也调试了蛮久。目前发布的版本能正常跑通,大概可以复现官方效果的80% 90%,生成效果和速度还需要等待后续优化。