西羊石AI视频团队：解放双手！用Codex操作即梦，自动批量生成图片和视频

西羊石AI视频团队：解放双手！用Codex操作即梦，自动批量生成图片和视频 西羊石AI视频团队：解放双手！用Codex操作即梦，自动批量生成图片和视频 Modified July 1 No access 灯影少年 第一集 第一盏灯 rough cut v1 00:00 优化 毕竟是刚开始用Agent生成视频，都是用模型的默认能力，效果很难一开始就达到要求，但这也正是我们用Codex等Agent做视频的魅力，AI快速迭代到六七十分是不难的。 我们优化的方式就是先针对这个视频，用我们的经验不断对话优化好，或者是一次性看完，写一个相对完整的提示词，结合目标/goal 命令，让AI去进行长时间的图片、视频生成。 这个过程可能还挺费时间的，可能长达数小时，所以我们后续也要综合去判断，哪些任务适合给AI，哪些任务适合我们人来做，以及这个过程不断提高AI的能力，我们就做最核心的创意和制定标准和审美判断。 后续让AI把这些经验沉淀成为skill，方便后续利用，往后每次有一些大的迭代及时更新skill，最终让AI生成的效果总体达到我们的目的。 比如这里我就基于前面的字幕，人物一致性，空间逻辑等，让Codex重新生成关键帧图片和关键的角色资产图。 在后续生成视频的过程中会让Codex去逐帧检查，如果效果有问题AI会进一步重新生成。 如果想速度更快，可以创建子智能体分别去处理不同的任务，或者是在Codex左侧新建对话。 以及首尾帧未必是个好的过渡优化方式，很多视频让AI用首帧生成视频和全能参考生成视频，把10多秒的视频分成几个几秒的视频生成。 整体的视频过渡会更自然，只需要中间的分镜设置好一点即可，这块可以基于我们的一些视听语言原则让AI来去设计。 这次还有一个经验：用 Dreamina / 即梦多图参考时，不能只上传图片，还要在提示词里明确写清 @图片1、@图片2、@图片3 分别负责角色、首帧构图还是场景参考，否则容易出现角色、场景和镜头逻辑混乱。 最后等Codex慢慢优化了一些版本，再来看看效果。 No access dengying ep01 v15 storyboard logic patch 720p cfr30 00:00 效果还是没那么好，但是整体他是在持续不断给予我们前面的故事板去持续推进的，毕竟ChatGPT5.5模型他只能基于截图去理解，很多视频过渡衔接等效果不一定好。 结语 前段时间在东方证券那边也了解到，今年整个大盘和我们体感类似，Vibe Coding 的规模大于多模态。 今天我也实际去试了Vibe Videoing或者是 Vibe Directing，目前爆款短视频做起来效果还可以，但是到多主体的分钟级别的AI短片，目前还有很多要提升的。 但不妨碍我们去沉淀我们的Vibe Directing工作流，打磨我们的skill，到时候模型每更新一个版本，咱们做的内容整体质量就更上一层。 做工具研发创新可以往这方面去探索，但如果是做生意，现阶段想着怎么用60分的水平处理好40分的需求或许会更好。 No access 灯影少年 第一集 第一盏灯 rough cut v1 00:00 No access 灯影少年 第一集 第一盏灯 rough cut v1 00:00 优化 毕竟是刚开始用Agent生成视频，都是用模型的默认能力，效果很难一开始就达到要求，但这也正是我们用Codex等Agent做视频的魅力，AI快速迭代到六七十分是不难的。 我们优化的方式就是先针对这个视频，用我们的经验不断对话优化好，或者是一次性看完，写一个相对完整的提示词，结合目标/goal 命令，让AI去进行长时间的图片、视频生成。 这个过程可能还挺费时间的，可能长达数小时，所以我们后续也要综合去判断，哪些任务适合给AI，哪些任务适合我们人来做，以及这个过程不断提高AI的能力，我们就做最核心的创意和制定标准和审美判断。 后续让AI把这些经验沉淀成为skill，方便后续利用，往后每次有一些大的迭代及时更新skill，最终让AI生成的效果总体达到我们的目的。 比如这里我就基于前面的字幕，人物一致性，空间逻辑等，让Codex重新生成关键帧图片和关键的角色资产图。 在后续生成视频的过程中会让Codex去逐帧检查，如果效果有问题AI会进一步重新生成。 如果想速度更快，可以创建子智能体分别去处理不同的任务，或者是在Codex左侧新建对话。 以及首尾帧未必是个好的过渡优化方式，很多视频让AI用首帧生成视频和全能参考生成视频，把10多秒的视频分成几个几秒的视频生成。 整体的视频过渡会更自然，只需要中间的分镜设置好一点即可，这块可以基于我们的一些视听语言原则让AI来去设计。 这次还有一个经验：用 Dreamina / 即梦多图参考时，不能只上传图片，还要在提示词里明确写清 @图片1、@图片2、@图片3 分别负责角色、首帧构图还是场景参考，否则容易出现角色、场景和镜头逻辑混乱。 最后等Codex慢慢优化了一些版本，再来看看效果。 No access dengying ep01 v15 storyboard logic patch 720p cfr30 00:00 No access dengying ep01 v15 storyboard logic patch 720p cfr30 00:00 效果还是没那么好，但是整体他是在持续不断给予我们前面的故事板去持续推进的，毕竟ChatGPT5.5模型他只能基于截图去理解，很多视频过渡衔接等效果不一定好。 结语 前段时间在东方证券那边也了解到，今年整个大盘和我们体感类似，Vibe Coding 的规模大于多模态。 今天我也实际去试了Vibe Videoing或者是 Vibe Directing，目前爆款短视频做起来效果还可以，但是到多主体的分钟级别的AI短片，目前还有很多要提升的。 但不妨碍我们去沉淀我们的Vibe Directing工作流，打磨我们的skill，到时候模型每更新一个版本，咱们做的内容整体质量就更上一层。 做工具研发创新可以往这方面去探索，但如果是做生意，现阶段想着怎么用60分的水平处理好40分的需求或许会更好。 很多时候我们都是用工具生成图片和视频，不知道大家有没有试过，现在我们可以用 Codex、Claude Code 或者是 Work Buddy 等 Agent 去自动化地批量生成视频。 这对我们制作 AI 短剧、广电商素材，以及 AI 带货等场景都非常好。 最近我也在探索用 Codex 结合一些第三方平台去批量自动化生成视频。 像以前，这种场景还需要用 n8n，或者是用 AI 编程结合一些第三方的 API；但今天你会发现，很多第三方平台都自己开放了这些 CLI。 这里我再给大家稍微普及一下什么是 CLI，什么是 GUI。 CLI 是这种命令行方式去跟软件交互，GUI 是图形化界面交互。就像我们日常用的这些办公软件等等，大部分都是 GUI 的；而很多程序员用的是 CLI，在黑窗口里面去敲命令行。 GUI 这种方式呢，方便人用，但不方便 AI 用。CLI 这种方式呢，方便 AI 用，不是很方便人用。那现阶段，CLI 里面很多固定的指令啊，AI 用起来就会非常的方便，不需要再去反复地截图啊，然后等识别再去响应，所以 AI 的效果会快很多。 那结合我们这些平台开放了第三方 CLI，那我们这些工具也能很方便地使用，而且不需要去充值这些 API，也只需要用我们平台本身的积分就行了。 更直接一点，我们自己人在用的时候也是用即梦。现在我们想要用 Codex，还是用我们的即梦账号去授权 CLI 就好了。 具体步骤我给大家操作，按照如下三步马上就能使用上。 即梦CLI安装 第一步，我们打开即梦网站，看左下角有一个 CLI 的按钮。 第二步，我是用Codex比较多，大家如果用Claude Code或者WorkBuddy，也是一样的，大家可以用这个提示词 第三步，打开网页，授权成功即可。 看到这里我也很震惊，不知道即梦是不是赚得太多了，这个号是199每月标准会员，入不了他们法眼，得需要599每月高级会员及以上才能使用即梦cli，否则会报错 current account is not maestro vip。 下面我用两个案例来给大家演示Codex+即梦Cli去生成视频。 案例一 世界杯观众图 最近世界杯非常火，就连我们很多不踢球的小伙伴们都在关注世界杯的比赛，尤其是梅西、C 罗、内马尔这些热门明星的比赛。 那最近还有一个很火的玩法，就是生成世界杯观众的视频，生成图片提示词可以参考如下。 如果你有对应的角色可以放进去，如果没有角色图片，你就可以让AI自己生成符合对应国家的形象，这下面就是阿根廷女性的典型长相。 直接在Codex里面用即梦cli，生成对应的视频，效果不行直接对话进行修改。 这样生成的视频比之前的更好，大家可以横向看着对比。 No access worldcup before after hyperframes cn audio all soft transition 00:00 No access worldcup before after hyperframes cn audio all soft transition 00:00 No access worldcup before after hyperframes cn audio all soft transition 00:00 在这个过程中，相较于只在即梦等平台上来说，更好的点是，这些资产都是在本地，不用再去下载了，云端也会保留一份记录。 而且这个优化的过程可以沉淀成为skill，持续优化工作流。 同样的还可以用别的你支持的球队，比如巴西，葡萄牙等等，替换角色和对应图片即可。 案例二 AI 短剧灯影少年制作全流程 大家知道，原来我们要用Agent生成AI短剧，是需要去单独买第三方平台的 API，以前是通过代码写脚本来生成对应的内容，非常麻烦。连我这种前程序员都不想去操作，现阶段有这些 CLI 就方便很多了。 我们前面已经把即梦 CLI 安装好了，从前面的案例大家也能看出来，用它去做一些爆款短视频还是非常不错的。 那能不能进一步去做更加长篇的 AI 短剧创作呢？这里我会用《灯影少年》这个案例给大家演示。 用我们经常强调的“文资视剪”这个框架来去给大家更为系统地说明。 文 文，也就是前面的故事和剧本到分镜脚本，这里暂时就不展开细说了，如果你有一些好的创意想法，不妨跟AI多聊聊，让它进一步变成可拍摄，可制作的分镜脚本。 我们这里用之前在 ChatGPT 已经写好的剧9本，当然大家也可以在这里跟 Codex 持续地聊。 资 资，这里主要是角色四视图和场景氛围图，推荐使用纳米香蕉或者是gpt image 2图片模型生成，我这里的灵感来自于自己的头像和最近挺火的像素风格，结合一些东方悬疑的元素，有新的视觉冲击以及方便本地化内容宣传结合。 场景资产图建议是远景或者全景图，能相对较为完整的渲染环境的氛围，以及对应的风格色调等等。 如果整个故事可能会很大，建议弄一个世界设定概念板，包括主要角色，世界设定，核心场景，关键道具/视觉元素和氛围关键词等等确定好，给整体内容定调。 对于每一集分镜，可以做一个分镜故事板，这样会更加精细化，方便前期对齐整体要做的内容。 视 视，就是生成视频，我们主要是用前面的资产+导演级提示词生成主要的素材，批量生成一遍后再去结合gpt image2的图片生成能力生成关键帧图片，作为其中一些镜头的首帧或者尾帧来确保整体的风格一致性和美感以及文字正确、空间逻辑一致等等。 这个过程也不是一次就能生成好的，需要不断微调，好在过程有些是能够沉淀下来，现在Vibe Coding很火，相信在不久的将来，Vibe Directing（氛围导演）或者是更接地气的 Vibe Videoing也会很火。 剪 这里我们主要是让电脑自己去剪辑合成，只需要电脑里面安装好ffmpeg等环境，就能有对应的能力，以及如果想要变成剪映草稿，可以进一步给AI下需求，让它生成剪映草稿片段。 这块目前AI生成的效果还不是非常好，但是会随着近期Codex的Redord&Replay 去基于录制的视频逐帧分析，了解整体逻辑，沉淀skill来去解决某些特定的需求，以及模型本身的多模态能力提升而慢慢解决。 我们可以先看看开始没有约束好，模型直接生成的效果。 先忽略视频剪辑变速本身，视频很多关键帧画面不对，画面不够精细，还有一些空间逻辑bug，字幕或者是旁白有问题等等，也很正常，AI视频需要抽卡，一键生成2分钟的效果不一定有那么好。 但是有一些画面还挺惊艳的，当工作流不变，底层模型能力越强，需要抽卡的次数就越少，以及随着视频编辑模型能力的成熟，后续Agent自己制作出精美的短片的概率会更高。