晨然：万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变

晨然：万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变 🎞️ 晨然：万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变 Created on April 5, 2024 11334 34 Audio or video is not supported Please download the file and open it with the appropriate software. Devices.mp4 · 45.58MB Devices 00:00 IpAdapter真的是风格迁移神器！我上面不是提过Lora我想加一些Sketch风格嘛，但是Sketchit是针对SD1.0训练的对我的SD1.5模型工作流基本不适应，很少能够改变风格。Anime minimalist就很友好，可以做成扁平风。这些lora都可以做做试验看看效果。 但是IpAdapter，仅仅一张图就可以学到草图！ 这张图是在OpenIntepreter宣传片中随便截的一张图做的测试，后来发现这张图就是我要的那张风格了（真的是实验科学，太随机了，这个work了…）因为我很喜欢这个里面的纸张的格子和潦草的线条。 但我不建议weight开太高，否则生图的颜色会太像参考图，我不希望只有黑色和粉色。 我选择了0.4（大多数时候）。 noise可以理解为，对Prompt放行的程度。 意思是，你愿意让模型控制的多，还是提示词控制的多。 noise越大，提示词的比例越大。这又是一个控制与不控制的权衡。由于我希望有大量的颜色变幻，所以我开的比默认0.25/0.3的值高了一些，用了0.4 单帧思路：单帧放大就行 放大是最简单的部分，因为不涉及人物和视频平滑，只要保证颜色色块准确就可以，所以按理来说想要多大都可以。 一般思路是使用一些原生的模型放大技巧，再用第三方模型放大，再用GAN这种非SD路径的模型放大颜色，再用一些第三方软件放大。这个思路是顺序进行的，逐一离工作流渲染方式越远。 我随便挑了两个放大的技巧： • 使用渲染视频的帧放大后作为Latent Image再采样渲染一次 • 使用4xUltraSharp等模型进行放大 我还想用GAN放大结果发现内存溢出了（已经到2k了！其实不用放大到4k了！） 彩蛋！一个美丽的错误 最开始的时候我发现视频渲染一直有一些残影，像是自动加上了打光一样的效果。 我仔细看了看，每次都出现在原来的运动轨迹中，我才意识到，啊！我设置的跳过首帧参数忘了改。 我的深度图和线框图控制的时候延迟了一帧！ 线框图控制了物体的形状不变，而延迟了一帧的深度图为了保证上一帧位置里面还存在一些物体，不得不渲染一个像是深色阴影的物体，就造成了残影跟随的效果。 这真是意外的发现，因为直接让我做残影效果我还不会做…真的是手笨也有意外的收获… 把工作流串联起来 以上就把很多踩的坑都讲了一遍，总体来说，创作思路是比较清晰的，有了明确的可控与不控的审美准则之后，剩下的就交给AI就好了。 我的直觉是，控制太多反而不适合AI发挥。所以最小程度进行控制是AI创作中的小tip吧。 下面就是完整的流程串起来的样子。 Blender白模动画 这个只是演示着玩，在ComfyUI中并没有使用到这个信息。 深度图动画 线框图动画 其实我都没有很精细的去debug为什么有的镜头不是完整的圆（blender设置问题吧），交给AI就好了！而且闪烁很快，其实不用太精细。 ComfyUI转绘 😊结语 对AI的一些思考 Sora出来之后很多人说影视行业没了，我觉得完全不是。 这是一种新的艺术形式，就跟摄影出现后不会替代画师一样。AI有自己擅长的东西，传统工作流有它擅长的东西。对于使用工具的人而言，只是多了一种创作思路罢了。 “在xxx情况下，使用xxx更简单”。实现思路+1 就比如说这样的短片，要是纯粹AI生图去做，肯定做不出来，你怎么保证它可以按照你想要的方向去旋转？ 还有如果只是用传统的方式，做这个短片肯定非常耗时，因为很多背景只是{placeholder for colors}，不需要精细处理。 而只是用AI+Blender做一个类似迪士尼的动画，效果也一定没有原来工业界的动画好看，仅仅是AnimateDiff的闪烁就会让人昏眩摸不着头脑。 还不如让它不可控。 AI的不可控，就让它发挥不可控的价值，以前的工作流也一定不要丢掉。 而两者结合做出来的，可能才是AI原生视频。 我觉得这项想象力的能力在新时代AI社会中非常的需要培养。 推荐大家去听一下任鑫的这一期播客，讲述“AI原生”的概念。 https://www.xiaoyuzhoufm.com/episode/66001fe5066f8f9252e0c8ae AI 原生：做 AI 产品的 12 条反共识 听《AI炼金术》上小宇宙。 关注 AI 带来的本质变化和商业机会，徐文浩与任鑫分享自己的阅读 & 自己的洞察 里面我很喜欢一个观念：重构流程，才能用好AI。 是的，如果把原有的影视创作流程中的工作流（其实好莱坞已经定义的超级清晰了），拆解到小模块，再去看AI可以干什么，越拆越细又会发现AI其实干不到这个模块的90分。直接舍弃原有的工作流，在新AI时代中的不同的好的产品中吸取灵感，去创作出新的AI原生内容，才是应该去思考和尝试的。 希望大家也多多思考，相互启发。 最后 以上就是我的工作流完整复盘了，整个视频制作了断断续续的三个小半天。 跑通第一个视频很困难，因为在创意和实现中来回辗转，后来顺手了一个片段能10分钟搞定一次渲染就成功哈哈。 其实技术什么的，开源社区的工作流和各路大神的教程真的很完整了，从小白入门到做出这样的视频也就一个月不到的时间。 创意和构思更关键！ 再次感谢海辛与阿文在我学习ComfyUI的路上的指导，和开源社区免费愿意分享的ComfyUI大神们！ 有什么问题，欢迎留言讨论！ ❤️ [Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff 如果本篇对你有帮助的话，还请多转发点赞，谢谢！ ✨我是谁？ 我是晨然，AI应用层探索者，全栈/产品/LLM应用/ComfyUI。 其实我是做大模型应用的：） 你可以在这里找到我： 海辛 阿文 [[Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff](https://openart.ai/workflows/pXkm6GZX8G19I22Odeo4) Audio or video is not supported Please download the file and open it with the appropriate software. Devices.mp4 · 45.58MB Devices 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Devices.mp4 · 45.58MB Devices 00:00 IpAdapter真的是风格迁移神器！我上面不是提过Lora我想加一些Sketch风格嘛，但是Sketchit是针对SD1.0训练的对我的SD1.5模型工作流基本不适应，很少能够改变风格。Anime minimalist就很友好，可以做成扁平风。这些lora都可以做做试验看看效果。 但是IpAdapter，仅仅一张图就可以学到草图！ 这张图是在OpenIntepreter宣传片中随便截的一张图做的测试，后来发现这张图就是我要的那张风格了（真的是实验科学，太随机了，这个work了…）因为我很喜欢这个里面的纸张的格子和潦草的线条。 但我不建议weight开太高，否则生图的颜色会太像参考图，我不希望只有黑色和粉色。 我选择了0.4（大多数时候）。 noise可以理解为，对Prompt放行的程度。 意思是，你愿意让模型控制的多，还是提示词控制的多。 noise越大，提示词的比例越大。这又是一个控制与不控制的权衡。由于我希望有大量的颜色变幻，所以我开的比默认0.25/0.3的值高了一些，用了0.4 单帧思路：单帧放大就行 放大是最简单的部分，因为不涉及人物和视频平滑，只要保证颜色色块准确就可以，所以按理来说想要多大都可以。 一般思路是使用一些原生的模型放大技巧，再用第三方模型放大，再用GAN这种非SD路径的模型放大颜色，再用一些第三方软件放大。这个思路是顺序进行的，逐一离工作流渲染方式越远。 我随便挑了两个放大的技巧： • 使用渲染视频的帧放大后作为Latent Image再采样渲染一次 • 使用4xUltraSharp等模型进行放大 我还想用GAN放大结果发现内存溢出了（已经到2k了！其实不用放大到4k了！） 彩蛋！一个美丽的错误 最开始的时候我发现视频渲染一直有一些残影，像是自动加上了打光一样的效果。 我仔细看了看，每次都出现在原来的运动轨迹中，我才意识到，啊！我设置的跳过首帧参数忘了改。 我的深度图和线框图控制的时候延迟了一帧！ 线框图控制了物体的形状不变，而延迟了一帧的深度图为了保证上一帧位置里面还存在一些物体，不得不渲染一个像是深色阴影的物体，就造成了残影跟随的效果。 这真是意外的发现，因为直接让我做残影效果我还不会做…真的是手笨也有意外的收获… 把工作流串联起来 以上就把很多踩的坑都讲了一遍，总体来说，创作思路是比较清晰的，有了明确的可控与不控的审美准则之后，剩下的就交给AI就好了。 我的直觉是，控制太多反而不适合AI发挥。所以最小程度进行控制是AI创作中的小tip吧。 下面就是完整的流程串起来的样子。 Blender白模动画 这个只是演示着玩，在ComfyUI中并没有使用到这个信息。 深度图动画 线框图动画 其实我都没有很精细的去debug为什么有的镜头不是完整的圆（blender设置问题吧），交给AI就好了！而且闪烁很快，其实不用太精细。 ComfyUI转绘 😊结语 对AI的一些思考 Sora出来之后很多人说影视行业没了，我觉得完全不是。 这是一种新的艺术形式，就跟摄影出现后不会替代画师一样。AI有自己擅长的东西，传统工作流有它擅长的东西。对于使用工具的人而言，只是多了一种创作思路罢了。 “在xxx情况下，使用xxx更简单”。实现思路+1 就比如说这样的短片，要是纯粹AI生图去做，肯定做不出来，你怎么保证它可以按照你想要的方向去旋转？ 还有如果只是用传统的方式，做这个短片肯定非常耗时，因为很多背景只是{placeholder for colors}，不需要精细处理。 而只是用AI+Blender做一个类似迪士尼的动画，效果也一定没有原来工业界的动画好看，仅仅是AnimateDiff的闪烁就会让人昏眩摸不着头脑。 还不如让它不可控。 AI的不可控，就让它发挥不可控的价值，以前的工作流也一定不要丢掉。 而两者结合做出来的，可能才是AI原生视频。 我觉得这项想象力的能力在新时代AI社会中非常的需要培养。 推荐大家去听一下任鑫的这一期播客，讲述“AI原生”的概念。 https://www.xiaoyuzhoufm.com/episode/66001fe5066f8f9252e0c8ae AI 原生：做 AI 产品的 12 条反共识 听《AI炼金术》上小宇宙。 关注 AI 带来的本质变化和商业机会，徐文浩与任鑫分享自己的阅读 & 自己的洞察 里面我很喜欢一个观念：重构流程，才能用好AI。 是的，如果把原有的影视创作流程中的工作流（其实好莱坞已经定义的超级清晰了），拆解到小模块，再去看AI可以干什么，越拆越细又会发现AI其实干不到这个模块的90分。直接舍弃原有的工作流，在新AI时代中的不同的好的产品中吸取灵感，去创作出新的AI原生内容，才是应该去思考和尝试的。 希望大家也多多思考，相互启发。 最后 以上就是我的工作流完整复盘了，整个视频制作了断断续续的三个小半天。 跑通第一个视频很困难，因为在创意和实现中来回辗转，后来顺手了一个片段能10分钟搞定一次渲染就成功哈哈。 其实技术什么的，开源社区的工作流和各路大神的教程真的很完整了，从小白入门到做出这样的视频也就一个月不到的时间。 创意和构思更关键！ 再次感谢海辛与阿文在我学习ComfyUI的路上的指导，和开源社区免费愿意分享的ComfyUI大神们！ 海辛 阿文 有什么问题，欢迎留言讨论！ ❤️ [Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff 如果本篇对你有帮助的话，还请多转发点赞，谢谢！ [[Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff](https://openart.ai/workflows/pXkm6GZX8G19I22Odeo4) [Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff [[Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff](https://openart.ai/workflows/pXkm6GZX8G19I22Odeo4) 如果本篇对你有帮助的话，还请多转发点赞，谢谢！ ✨我是谁？ 我是晨然，AI应用层探索者，全栈/产品/LLM应用/ComfyUI。 其实我是做大模型应用的：） 你可以在这里找到我： You don't have permission to access this synced block. Please log in and try again. Log In 🎇 嗨，大家好，我是喜欢AI创作的晨然。 原文：https://mp.weixin.qq.com/s/tkcvmtybmj2xHkIaeIQypw 飞书地址： 万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变🪄 文章底部有联系方式，欢迎链接 万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变🪄 嗨，大家好，我是喜欢AI创作的晨然。 原文：https://mp.weixin.qq.com/s/tkcvmtybmj2xHkIaeIQypw 飞书地址： 万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变🪄 万字复盘我的AI作品《Devices》| 解析AI创作中的变与不变🪄 文章底部有联系方式，欢迎链接 我的AI视频《Devices》在 VisonOS 开发者大会 中展示啦！ 这是我第一次有机会在这么多人面前展示AI创作作品。 本篇将毫无保留的分享 Devices 的完整创作思路，我会从创作灵感、工作流解析、AI可控与不可控的经验思考三个方面完整复盘！ 我也免费开源我的工作流，回馈引我入门的开源社区，你可以在下面链接下载我的工作流。 [Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff [[Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff](https://openart.ai/workflows/pXkm6GZX8G19I22Odeo4) 《Devices》中我想探索的，就是AI原生内容生产具备的要素： 如何平衡可控性与不可控性？ 如何做出AI“原生”视频？ 如何结合传统视频工作流与AI工作流？ Devices 视频截图 感谢海辛与阿文收录我的AI视频作为案例 海辛 阿文 Devices 视频截图 Devices 视频截图 感谢海辛与阿文收录我的AI视频作为案例 海辛 阿文 感谢海辛与阿文收录我的AI视频作为案例 海辛 阿文 还没有看过的朋友可以看看👇 声明：文章为原创内容，未经允许禁止以任何形式转载。 ✨写在前面 本篇适合任何对AI创作感兴趣的人，我写的会比较通俗易懂，小白可以看懂。 专业人士也可以获取一些创作思路灵感 《Devices》中呈现了色彩缤纷的电子设备的变换，每一帧视频截图都美极了。 可控与不可控的权衡 简单来说，工作流用一句话总结： ✅ 使用Blender制作白模动画，导出深度图、线框图帧序列，使用ComfyUI进行风格迥异的渲染。 使用Blender制作白模动画，导出深度图、线框图帧序列，使用ComfyUI进行风格迥异的渲染。 我一直在思考一个问题： AI视频到底跟传统工作流制作视频的区别是什么？ 其实两者各有优缺点，并不是替代关系。 • AI内容速度碾压，接近零成本无限生成。 • AI极其不可控，很难可控构图、一致人物。 • AI画面粗糙，经不起细看。 • 传统工作流（动画、电影）慢，极其可控，在制作之前即可预测内容。 • 传统工作流成本高，需要规范流程由小到大制作。 AI与传统工作流各有优劣，我觉得思考如何使用AI替代传统艺术工业，不如思考AI如何迸发新时代艺术创作流程。 让AI做好AI擅长的内容，传统工作流做好传统工作流擅长的内容，两者结合，不谈替代。 我想，我这不是拍过微电影又会AI嘛，为啥不结合一下呢？于是，就尝试了一下利用Blender的可控性和ComfyUI的随机性制作AI原生内容。 传统工作流是在可控性中寻找创新的随机性，而AI工作流更多是在随机性中寻找可控性，那么最重要的问题变成了：如何平衡可控性与不可控性？ 这个思考会贯穿整个创作流程。 ComfyUI节点编排工作流 我参考的教程 参考的YouTube教程： • Create mind blowing AI RENDERINGS of your 3D animations! [Free Blender + SDXL] [Create mind blowing AI RENDERINGS of your 3D animations! [Free Blender + SDXL]](https://www.youtube.com/watch?v=mu3JEfx3PHM) 这位YouTuber不仅分享了整个创作教程，还开源了他的ComfyUI工作流源文件，值得学习。 • Blender 3D to ComfyUI | Automatic1111 | AI, export depthmap, lineart, mask, alpha, for ControlNet Blender 3D to ComfyUI | Automatic1111 | AI, export depthmap, lineart, mask, alpha, for ControlNet • Blender to ComfyUi Workflow Blender to ComfyUi Workflow • Jellyfish Ballerina Animation with AnimateDiff Jellyfish Ballerina Animation with AnimateDiff Latent Vision的思路和教程都很高质量！ Latent Vision 参考的ComfyUI工作流： • [GUIDE] Adding IP Adapter to Your Animations Including Batch Unfold An Inner Reflections Guide [[GUIDE] Adding IP Adapter to Your Animations Including Batch Unfold An Inner Reflections Guide](https://civitai.com/articles/3194/guide adding ip adapter to your animations including batch unfold an inner reflections guide) 该工作流其实是用于稳定动画生成的，有很多AnimateDiff的部分。 • Template for prompt travel + openpose controlnet Template for prompt travel + openpose controlnet Prompt Travel的神！ 🎶创作灵感 🎊工作流详解 转绘是AI可控的最佳实践。 这个思路可以先看看YouTube大神使用Blender渲染白模，再用Blender中原生提取的线框和深度信息，在ComfyUI中进行动画的转绘。 其实转绘也不一定需要用Blender，用一张图动一下、一个视频，已经有很多工具可以完成线框提取呀、深度图提取啥的。这个可以去看看海辛和阿文老师一直以来的分享，给了我很多的灵感。 Blender建模的优势是： • 所有的运动更加可控，直接关键帧设置好物体和相机运动轨迹 • 想要什么模型就给什么模型，社区里免费模型都很多！ • 原生深度图和线框图！！！ 第三点是最重要的，因为Blender本来可以渲染的时候导出稳定的线框图和深度图等，不需要再在二次的利用其他模型提取一遍，二次提取很容易出现深度图闪烁问题。质量不高的Control信息当然也会体现在最终的渲染结果中。 剪辑思路采用text based蒙太奇，即0 2s是旋转的Iphone，2s 4s是旋转的诺基亚……以此类推。这个对于剪辑的要求就不是很高。做的酷炫一点，可以参照OpenInterpreter的匹配剪辑思路，在旋转的侧面时进行跳帧，以相似物体形状进行转场。 所以，Blender动画制作 + ComfyUI转绘 + 蒙太奇剪辑 就是工作流核心。 Blender动画制作 我不太会用Blender。几年前用过一段时间，但快捷键全忘了…所以还花了很多时间YouTube搜索教程哈哈哈。 建模用什么？ 不需要建模！直接网上搜搜免费的模型就好了，我直接在网站中搜索的手机模型，有什么Devices就用什么！ 我的模型在TurboSquid找的，点FREE筛选。 TurboSquid 动画怎么做？ 在第0帧设置一个xyz位置和xyz的旋转，在70帧设置一个变幻后的坐标和旋转，它就会自动加上动效了。而默认的Blender动画是会加上平滑曲线的动画，在开头和结束，会有一个加速启动和减速结束的效果。 这个效果并不适合蒙太奇剪辑。加速和减速，会减损最终剪辑在一起旋转的势能。 我想要匀速的效果，所以把动画改成了线形变换。 Blender中可以简单配置一下节点输出，在渲染的时候同时导出线框和深度图，之后我们就用这个图片序列即可。 帧数用什么？ 动画中最终重要的参数是帧数。我观察到OpenInterpreter的帧数是30帧每秒，而每一帧静帧大约是2 4帧。意思是大约8帧每秒的画面。 为了利用视觉暂存的效果，我在ComfyUI中的最终视频合成就使用8帧每秒。 方便做实验，Blender的视频帧可以按照高帧率输出（例如30帧），一共渲染70帧的片段，基本就够了。 在ComfyUI中，选择跳帧选择原始图像序列中的图片，就可以完成帧跳跃的样子。 当然这些参数，都可以根据你的运动幅度去调整。 最好就是Blender导出足量帧信息，ComfyUI再做帧数的实验。 需要什么信息？ 白模渲染（后来发现没用上）、线框、深度图。 ComfyUI转绘 其实ComfyUI的节点工作，就是低代码编排。如果按照模块化的设计，完全可以把它归为一个一个封装好的模块化函数，有自己的输入输出，有自己的单一职责。 我的工作流是基于大神的思路魔改的（加上理线，我真的很喜欢理线！），所以也免费开源给大家！ [Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff [[Devices in MultiVerse] Prompt Travel WITHOUT AnimateDiff](https://openart.ai/workflows/pXkm6GZX8G19I22Odeo4) ComfyUI由于节点看起来很复杂，很容易劝退小白（我在使用之前就被劝退了），后来发现，对于一个标准的转绘工作流，其实只需要看清楚上面四个模块内容就可以了。 其中最重要的就是构思好自己的控制方式，用更改模型model或者更改提示词prompt。 控制的思路有两种： • 模型Prompt ◦ 基础模型 + 风格化Lora模型 ◦ IpAdapter ◦ AnimateDiff ◦ 基础模型 + 风格化Lora模型 ◦ IpAdapter ◦ AnimateDiff • 提示词Prompt ◦ ControlNet模块利用图像的本来的线框、深度等信息 ◦ 文字提示词（正向、反向、Prompt Travel） ◦ Latent Image ◦ ControlNet模块利用图像的本来的线框、深度等信息 ◦ 文字提示词（正向、反向、Prompt Travel） ◦ Latent Image 如果按照这两个思路，其实看任何视频转绘工作流都超超超清晰了。 模型控制的是风格： • Base Model有不同的模型家族，例如sd1.0和sd1.5生态就不一致。一旦修改一个生态，剩下的prompt、animatediff、controlnet都得做模型的适配，这点还是比较头疼的。我的做法就是无脑用最好看的生态。 ◦ Base Model等在civitai中找就行。 ◦ Base Model决定了最终绘制的大致风格，和对关键提示词的敏感度。 civitai ◦ Base Model等在civitai中找就行。 civitai ◦ Base Model决定了最终绘制的大致风格，和对关键提示词的敏感度。 • Lora可以理解为在基础模型上的修饰，比如基础模型可能决定了嘴唇的画法，Lora在这之上修改一下具体的细节。 ◦ Lora可以叠加！修改每个Lora的权重可以完成很多事情 ◦ LCM Lora可以加速。 ◦ Lora可以叠加！修改每个Lora的权重可以完成很多事情 ◦ LCM Lora可以加速。 • IpAdapter可以学习到单个图片的色彩、风格、甚至服饰等要素，很强大。 • AnimateDiff是用于动画平滑的，不做动画可以不管。 提示词控制的是语义： • Text Prompt就是大家熟知的用文字描述画面内容 • ControlNet可以加上更多有用的语义信息 ◦ 深度图可以决定最终生图的位置关系和透视关系 ◦ 线条(lineart/canny)图可以决定生图的必须出现的线条 ◦ OpenPose可以决定生图的姿势 ◦ …… ◦ 深度图可以决定最终生图的位置关系和透视关系 ◦ 线条(lineart/canny)图可以决定生图的必须出现的线条 ◦ OpenPose可以决定生图的姿势 ◦ …… • Latent Image决定是基于什么图进行采样去噪 ◦ 直接使用原图进行采样，就会跟原图极其相似 ◦ 也可以使用empty latent image，这样就随机发挥 ◦ 直接使用原图进行采样，就会跟原图极其相似 ◦ 也可以使用empty latent image，这样就随机发挥 然后模型、提示词等模块的各种参数都丢给生成模块的Ksampler进行生成了。 一切的问题都变成了模块的选还是不选，而这个决策在于“你想控制和不想控制什么”。 后面的放大什么的，直接去YouTube找大神的教程视频Copy Paste适合工作流的即可。 我用的base model是flat 2d animerge, Lora是minimalist anime style flat 2d animerge minimalist anime style 蒙太奇剪辑 Text Based蒙太奇，就是依照文字的变幻（天然适配Prompt Travel）的思路进行剪辑，特别适合流动的配合音乐叙事。这也是老技巧了。这种叙事，可以让观众直接根据流动的音乐，理解文字信息即可。 图片只是文字的诠释，没有更多的潜文本信息。 剪映有很多好用的模版字体，为了让视觉不那么容易疲惫，我在几个片段后加上了一点文字特效让眼睛休息一下。 利用AI的可控与不可控 本片核心就是研究，怎么利用AI的可控，和AI的不可控。 AI最擅长的就是乱画（不是），所以我很想让它画一下泼墨风格的背景，利用线条和曲线的灵动感。 AI不擅长的就是可控的人像，要让它稳定的画一个人物，单帧的不可控性就有20%，动画就更加不可控…最后就会变成调参工程。 所以我选择Devices，尤其是常见的物体，不要选择它不理解的物体。这样提示词也可以很简单。 动画思路：关掉AnimateDiff平滑吧！ 放弃动画平滑控制 我想要的效果是瞬息万变，平行时空的感觉。 AnimateDiff的原理就是在采样的时候，以滑动窗口的形式进行窗