向阳乔木：【揭秘】AI 绘本视频制作完整攻略（详细进阶版）
向阳乔木：【揭秘】AI 绘本视频制作完整攻略（详细进阶版）
向阳乔木：【揭秘】AI 绘本视频制作完整攻略（详细进阶版） 向阳乔木：【揭秘】AI 绘本视频制作完整攻略（详细进阶版） Modified June 1, 2025 把每个场景图片提示词，发送Midjourney或Flux Pro（POE有），也可以用豆包或即梦等图片生成工具合成。 如果觉得不够好，可以多次生成或修改提示词，直至满意。 音频生成 比较推荐最近很火的kokoro TTS，声音很自然。 在线合成地址：https://huggingface.co/spaces/hexgrad/Kokoro TTS 也可以自己本地运行，M1或者以上Mac电脑就可以运行。 Kokoro onnx 是一个新出的文本到语音 (TTS) Python 软件包，2025 年 1 月发布，安装需要 Python 3.12版本。 通过终端（PowerShell / Terminal 或Warp等工具）命令，安装 kokoro onnx： pip install U kokoro onnx 安装后，这只是基础框架工具。 还需要声音合成模型和运行代码。 参考官方教程完成后续步骤 https://github.com/thewh1teagle/kokoro onnx 或下载我已经调试好的代码+模型。 https://pan.quark.cn/s/290f0d109b7c 另外，官方推荐用uv运行。 uv是一个用 Rust 编写的高性能 Python 包管理器，执行命令时，uv 会自动创建一个虚拟环境，自动安装项目指定的所有依赖项。也可以用普通 Python 环境，但 uv 能让整个过程更简单。 安装uv “ pip install uv 下载解压genTTS文件夹，然后执行下面命令 “ uv init p 3.12 在input中输入你想要生成的文本（暂时不支持中文，后续会支持） 运行命令 “ uv run main.py 等待一会儿，output/audio 文件夹就会出现合成好的TTS音频。 可修改代码换音色，音色："af", "af bella", "af nicole", "af sarah", "af sky", "am adam", "am michael", "bf emma", "bf isabella", "bm george", "bm lewis" 个人比较喜欢“af nicole” ，有点像 ASMR 耳边低语，比较适合做催眠绘本。 官方下载： 1. 模型下载地址： https://github.com/thewh1teagle/kokoro onnx/releases/download/model files/kokoro v0 19.onnx 2. JSON文件地址： https://github.com/thewh1teagle/kokoro onnx/releases/download/model files/voices.json 剪映拼接 在剪映导入合成的图片、TTS。 点击“文字 智能字幕”，生成中英双语字幕，调整字体样式。 根据TTS音频内容，拉长图片占位匹配，每张图片加上前后转场过渡。 最后，导出做好的视频。 Audio or video is not supported Please download the file and open it with the appropriate software. 0b2emaaacaaa7iadey4jpjtvaygdafqaaaia.f10002.mp4 · 5.78MB 0b2emaaacaaa7iadey4jpjtvaygdafqaaaia.f10002 00:00 把每个场景图片提示词，发送Midjourney或Flux Pro（POE有），也可以用豆包或即梦等图片生成工具合成。 如果觉得不够好，可以多次生成或修改提示词，直至满意。 音频生成 比较推荐最近很火的kokoro TTS，声音很自然。 在线合成地址：https://huggingface.co/spaces/hexgrad/Kokoro TTS 也可以自己本地运行，M1或者以上Mac电脑就可以运行。 Kokoro onnx 是一个新出的文本到语音 (TTS) Python 软件包，2025 年 1 月发布，安装需要 Python 3.12版本。 通过终端（PowerShell / Terminal 或Warp等工具）命令，安装 kokoro onnx： pip install U kokoro onnx 安装后，这只是基础框架工具。 还需要声音合成模型和运行代码。 参考官方教程完成后续步骤 https://github.com/thewh1teagle/kokoro onnx 或下载我已经调试好的代码+模型。 https://pan.quark.cn/s/290f0d109b7c 另外，官方推荐用uv运行。 uv是一个用 Rust 编写的高性能 Python 包管理器，执行命令时，uv 会自动创建一个虚拟环境，自动安装项目指定的所有依赖项。也可以用普通 Python 环境，但 uv 能让整个过程更简单。 安装uv “ pip install uv 下载解压genTTS文件夹，然后执行下面命令 “ uv init p 3.12 在input中输入你想要生成的文本（暂时不支持中文，后续会支持） 运行命令 “ uv run main.py 等待一会儿，output/audio 文件夹就会出现合成好的TTS音频。 可修改代码换音色，音色："af", "af bella", "af nicole", "af sarah", "af sky", "am adam", "am michael", "bf emma", "bf isabella", "bm george", "bm lewis" 个人比较喜欢“af nicole” ，有点像 ASMR 耳边低语，比较适合做催眠绘本。 官方下载： 1. 模型下载地址： https://github.com/thewh1teagle/kokoro onnx/releases/download/model files/kokoro v0 19.onnx 2. JSON文件地址： https://github.com/thewh1teagle/kokoro onnx/releases/download/model files/voices.json 剪映拼接 在剪映导入合成的图片、TTS。 点击“文字 智能字幕”，生成中英双语字幕，调整字体样式。 根据TTS音频内容，拉长图片占位匹配，每张图片加上前后转场过渡。 最后，导出做好的视频。 Audio or video is not supported Please download the file and open it with the appropriate software. 0b2emaaacaaa7iadey4jpjtvaygdafqaaaia.f10002.mp4 · 5.78MB 0b2emaaacaaa7iadey4jpjtvaygdafqaaaia.f10002 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 0b2emaaacaaa7iadey4jpjtvaygdafqaaaia.f10002.mp4 · 5.78MB 0b2emaaacaaa7iadey4jpjtvaygdafqaaaia.f10002 00:00 🔗 原文链接： https://mp.weixin.qq.com/s? biz=Mz... https://mp.weixin.qq.com/s? biz=Mz... 原创 向阳乔木 向阳乔木推荐看2025年01月17日 10:03 北京 儿童绘本视频三要素：故事文本 + 图像 + 语音 • 故事文本：用Claude写。 • 图像：用Midjourney或Flux生成。 • 语音：TTS合成。 剪映组合在一起，就是一个完整的视频。 故事文本 这是视频质量的核心。 好的文本，才有好的故事。 推荐用Claude sonnet 3.5 、Gemini 或ChaGPT o1来写。 技巧：让 AI 模仿知名绘本作家，脚本质量更好。 例如： • Maurice Sendak（莫里斯·桑达克）： 《野兽国》的作者，被誉为20世纪最重要的儿童绘本作家之一。 • Eric Carle（艾瑞·卡尔）： 《好饿的毛毛虫》作者，以独特的拼贴艺术风格闻名，作品被翻译成65种语言。 • Tomie dePaola（托米·狄波拉）： 创作了《斯特雷加·诺娜》等经典作品，获得过考狄克奖荣誉奖。 • Mem Fox（梅姆·福克斯）： 澳大利亚最著名的儿童书籍作家，创作了超过40本图画书，同时也是大声朗读的倡导者。 测试发现Mem Fox短句多，读起来简单舒服。 提示词自己发挥。 “ 比如“用Memo fox风格写一个小白兔遇见大灰狼的故事，有趣，有反转，限100字，英文输出”。 [图片] 图片生成 生成好的故事文本，借助Claude生成对应场景图片提示词，然后用Midjourney或Flux生成。 Prompt提示词如下： “ [故事文本] “ 我要设计一个绘本，以上是故事情节，需要多张AI生成的图片来讲述这个故事，你是Midjourney大师，整理所有场景画面，模仿知名绘本的风格，保持画风一致，一个场景一个生成图片的提示词。 输出效果类似：