小ai：从小龙虾开口说话谈起，解密OpenClaw的能力密码

小ai：从小龙虾开口说话谈起，解密OpenClaw的能力密码 🗝️ 小ai：从小龙虾开口说话谈起，解密OpenClaw的能力密码 Modified April 3 Code block Markdown Copy 输入：每一场的画面描述 输出：若干张静态分镜图 第四步：配音合成（语音合成） 模型：千问3 TTS（我们现有的qwen drama技能） 输入：分镜脚本中的台词 输出：每个角色的语音音频 第五步：静态图转视频（视频生成） 模型：万相2.6 图生视频 输入：分镜图 + 动作描述 输出：带简单动态效果的视频片段 第六步：视频拼接 + 配音合成（工程层） 工具：ffmpeg 输入：所有视频片段 + 音频 输出：完整的漫剧视频 小龙虾规划了六个步骤，分别要用到文本生成模型（大脑）、图像生成模型（手）、语音合成模型（嘴巴）、视频生成（导演）、视频拼接配音合成（工程师）五个维度的“感官”能力。同时它还会告诉你，缺哪些技能，要进行配置。 之前已经配置过文本生成、图像生成、语音合成，还缺视频生成技能。把百炼平台的视频生成的API文档丢给小龙虾，创建技能。 No access 万相视频生成API.md 3.2 文本生成模型（大脑）——剧本创作 上一步把小龙虾多模态的“感官系统”搭建好了，可以开始进行第一步——剧本创作。 Code block Markdown Copy 开始第一步，剧本创作，用波斯猫和白头鹰做主角的对话/互动风格，生成适合15秒左右的剧本 小龙虾开始剧本创作 Code block Markdown Copy 明白了！两只动物角色（波斯猫和白头鹰）的对话/互动风格。我来重写剧本，用这个设定 🦐 用波斯猫和白头鹰做主角： 分镜1（0 5s）：对视 波斯猫在代码屏幕前，白头鹰从窗外飞入 鹰：你还在研究这些模型？/ 猫：当然，每个都有不同的能力。 分镜2（5 10s）：争论 白头鹰展开翅膀，身后浮现各种模型图标 鹰：视觉、语音、图像、视频……这些能力全都要有。/ 猫：不，关键是怎么组合。 分镜3（10 15s）：共识 所有模型图标汇聚成AGI标志，两人一起走向光芒 合：我们路上见！ 你看这个角色设定和剧情走向行不行？确认了我就进入第二步生成分镜画面 🦐 3.3 图像生成模型（手）——分镜画面 直接让下龙虾开始第二步 Code block Markdown Copy 剧本不错！开始第二步吧 小龙虾顺利完成任务 Code block Markdown Copy 好，开始第二步！先生成两个角色的形象图，然后生成3张分镜画面 🦐 先生成角色设定——波斯猫和白头鹰的统一形象： 角色设定图生成好了，发给你看看效果： 现在生成三个分镜画面： 三张分镜全部生成完毕，发给你看： 全部发完了！总结一下第二步的成果： ✅ 角色设定图：波斯猫（眼镜+科技马甲）+ 白头鹰（望远镜+展翅） ✅ 分镜1：实验室相遇，猫在研究模型，鹰飞入 ✅ 分镜2：鹰展开翅膀展示能力图标，猫合上电脑自信回应 ✅ 分镜3：两人并肩走向AGI标志，光束汇聚 你看下效果怎么样？满意的话就进入第三步——配音合成 🦐 角色设定图 — 波斯猫 & 白头鹰 分镜1（0 5秒）：相遇 — 波斯猫在电脑前研究模型，白头鹰飞入 分镜2（5 10秒）：争论 — 白头鹰展开翅膀展示各种能力图标，猫自信回应 分镜3（10 15秒）：出发 — 两人并肩走向AGI标志，能力图标汇聚成光 3.4 语音合成模型（嘴巴）——配音合成 继续让小龙虾进入第三步 Code block Markdown Copy 开始第三步配音合成 小龙虾调用语音合成模型的技能，生成配音 Code block Markdown Copy 第三步成果总结： ✅ 配音1（相遇）：鹰说 → 停顿 → 猫说 ✅ 配音2（争论）：鹰说 → 停顿 → 猫说 ✅ 配音3（共识）：猫说 → 停顿 → 鹰说 音色分配： 🦅 白头鹰 → Ethan（阳光有力的男声） 🐱 波斯猫 → Cherry（甜美女声） 配音没问题的话，我们回顾一下现在有的素材： 角色设定图 ✅ 3张分镜画面 ✅ 3段配音 ✅ 现在缺的是分镜图+配音合成动态视频（图生视频）。等你确认配音OK后，我们进入第四步——图生视频 🦐 audio frame1 Unable to preview. Please download the file. audio frame2 Unable to preview. Please download the file. audio frame3 Unable to preview. Please download the file. 小龙虾规划了六个步骤，分别要用到文本生成模型（大脑）、图像生成模型（手）、语音合成模型（嘴巴）、视频生成（导演）、视频拼接配音合成（工程师）五个维度的“感官”能力。同时它还会告诉你，缺哪些技能，要进行配置。 之前已经配置过文本生成、图像生成、语音合成，还缺视频生成技能。把百炼平台的视频生成的API文档丢给小龙虾，创建技能。 No access 万相视频生成API.md No access 万相视频生成API.md No access 万相视频生成API.md No access 万相视频生成API.md 3.2 文本生成模型（大脑）——剧本创作 上一步把小龙虾多模态的“感官系统”搭建好了，可以开始进行第一步——剧本创作。 小龙虾开始剧本创作 3.3 图像生成模型（手）——分镜画面 直接让下龙虾开始第二步 小龙虾顺利完成任务 角色设定图 — 波斯猫 & 白头鹰 分镜1（0 5秒）：相遇 — 波斯猫在电脑前研究模型，白头鹰飞入 分镜2（5 10秒）：争论 — 白头鹰展开翅膀展示各种能力图标，猫自信回应 分镜3（10 15秒）：出发 — 两人并肩走向AGI标志，能力图标汇聚成光 3.4 语音合成模型（嘴巴）——配音合成 继续让小龙虾进入第三步 小龙虾调用语音合成模型的技能，生成配音 audio frame1 Unable to preview. Please download the file. audio frame1 Unable to preview. Please download the file. audio frame2 Unable to preview. Please download the file. audio frame2 Unable to preview. Please download the file. audio frame3 Unable to preview. Please download the file. audio frame3 Unable to preview. Please download the file. 3.5 视频生成（导演、工程师）——图生视频、视频拼接 开始第四步，图生视频 小龙虾调用刚刚新建的万相视频生成wan video技能，开始当“导演”创作视频，并担任“工程师”完成视频拼接 🎬 《通往AGI之路》漫剧成品！13.5秒，三段视频+配音合成 No access 《通往AGI之路》漫剧 00:00 No access 《通往AGI之路》漫剧 00:00 这个完整的小龙虾“感官系统”搭建案例，让小龙虾有了大脑、手、嘴巴，还当了导演、工程师。让我们对前面的问题有了答案——小龙虾的能与不能，究竟由何决定？关键就在于底层大模型：它直接框定了 OpenClaw 能力的极限。 四、结语——畅想：通往AGI之路 当前以阿里云百炼为代表的模型聚合平台，已经将文本、视觉、语音、图像、视频、代码等多种模型整合到了统一的平台上。这意味着，构建一个"全感官"OpenClaw的技术门槛正在快速降低。 对于开发者和使用者来说，理解每种模型的定位和能力边界，是有效利用OpenClaw的前提。不是所有任务都需要最强大的模型，也不是模型越多越好——关键是根据实际场景选择合适的模型组合。 一个好用的OpenClaw，不是什么都会做，而是知道什么时候该用什么能力。 写到这里，有一个问题自然浮现：如果把这些能力全部融合，最终会走向哪里？ 答案也许是AGI——通用人工智能。 今天做的实战案例，恰好是这条路径上的一个缩影。 AGI——通用人工智能可能不会是一个单一的、巨大的模型突然"觉醒"。更可能的路径是：不同专业能力的模型通过巧妙的编排和协作，涌现出超越任何单一能力的综合智能。 这就像人类的大脑。视觉皮层、听觉皮层、语言中枢各自负责不同的功能，但真正的智慧来自于这些区域之间的连接和协作。 当小龙虾能够： • 听懂一段语音指令 • 理解其中的意图 • 搜索相关信息 • 生成一段文字 • 把文字转成语音 • 根据反馈调整策略 • 自主编写新的工具来扩展能力 ——并且将这些步骤无缝串联成一个连贯的工作流时，它就已经具备了某种形式的"通用智能"。 🎙️ 路上的灯 《通往AGI之路》这个名字很有意思。 它暗示了一种态度： AGI不是一个终点，而是一条路。 在这条路上， 每一个新模型的发布， 每一种能力的突破， 每一次不同模型之间的成功协作， 都是路上的一盏灯。 而这些灯， 正在以越来越快的速度亮起来。 从文本到视觉， 从视觉到语音， 从语音到视频， 从视频到代码， 再从代码回到文本——能力的边界在不断扩展， 模型之间的壁垒在不断消融。 也许有一天， 当用户对OpenClaw说"帮我做一期播客"时， 它会自动完成选题、调研、写稿、配音、配乐、剪辑、发布的全流程， 中间不需要任何人类干预。 那个时候，"OpenClaw"这个词可能已经不够用了。 它更像是一种新的存在形式——不是工具，不是助手， 而是一个与你同行的智能伙伴。 毕竟， 这条路的名字叫《通往AGI之路》。 走在这条路上的人，不止有我们，还有那些正在被创造出来的、越来越聪明的"小龙虾"们。 路上的灯 《通往AGI之路》这个名字很有意思。 它暗示了一种态度： AGI不是一个终点，而是一条路。 在这条路上， 每一个新模型的发布， 每一种能力的突破， 每一次不同模型之间的成功协作， 都是路上的一盏灯。 而这些灯， 正在以越来越快的速度亮起来。 从文本到视觉， 从视觉到语音， 从语音到视频， 从视频到代码， 再从代码回到文本——能力的边界在不断扩展， 模型之间的壁垒在不断消融。 也许有一天， 当用户对OpenClaw说"帮我做一期播客"时， 它会自动完成选题、调研、写稿、配音、配乐、剪辑、发布的全流程， 中间不需要任何人类干预。 那个时候，"OpenClaw"这个词可能已经不够用了。 它更像是一种新的存在形式——不是工具，不是助手， 而是一个与你同行的智能伙伴。 毕竟， 这条路的名字叫《通往AGI之路》。 走在这条路上的人，不止有我们，还有那些正在被创造出来的、越来越聪明的"小龙虾"们。 🎯 本文从技术视角系统梳理了当前主流大模型的类型，并以“感官系统”为类比，逐一解读每种模型如何定义小龙虾的能力边界。通过《通往AGI之路》漫剧制作这一完整案例，拆解OpenClaw的“感官系统”——从文本生成模型（大脑）、图像生成模型（手）、语音合成模型（嘴巴），到视频生成（导演）、视频拼接与配音合成（工程师），解锁小龙虾的能力密码。 本文从技术视角系统梳理了当前主流大模型的类型，并以“感官系统”为类比，逐一解读每种模型如何定义小龙虾的能力边界。通过《通往AGI之路》漫剧制作这一完整案例，拆解OpenClaw的“感官系统”——从文本生成模型（大脑）、图像生成模型（手）、语音合成模型（嘴巴），到视频生成（导演）、视频拼接与配音合成（工程师），解锁小龙虾的能力密码。 一、一个问题引发的思考 小龙虾开口说话了，但很少有人追问：小龙虾到底能做什么、不能做什么，是由什么决定的？ 答案其实很朴素：底层大模型的类型，决定了OpenClaw的能力天花板。 1.1 大模型发展历程 大模型是人工智能领域近年来最重要的技术突破之一。它的发展并非一蹴而就，而是经历了数次范式跃迁。 从文本生成模型到多模态模型，再到全模态模型 文本只是人类表达信息的一种方式。从2023年开始，大模型开始向"全感官"进化： • 视觉理解：GPT 4V（2023年9月）让模型能看懂图片。之后，Google的Gemini、阿里的Qwen VL等模型进一步支持视频理解。 • 语音交互：从"先录音→转文字→处理→转语音"的拼接方案，发展到端到端的语音理解与生成，延迟更低、交互更自然。 • 图像生成：DALL·E、Midjourney、Stable Diffusion到万相系列，从文生图到图编辑，生成质量接近专业摄影。 • 视频生成：2024年以来，Sora、可灵、万相等模型实现了高质量的文生视频和图生视频。 • 全模态统一：2026年，以Qwen3.5 Omni为代表的全模态模型诞生，一个模型同时理解文本、图片、音频、视频，并能输出文本和语音。 理解这条脉络，是理解当前大模型生态和OpenClaw能力边界的最佳前导。接下来的章节将逐一介绍OpenClaw的"感官系统"——每一层能力，都对应着这条发展主线上的一个关键节点。 二、OpenClaw的"感官系统" 如果把小龙虾比作一个人，那它的能力可以映射到人类的感官和技能上： 每增加一种模型，OpenClaw就多了一种"感官"。当所有感官融合到一个统一的模型中时，就接近了"全模态"的理想形态。 第一层：大脑 文本生成大模型 这是所有OpenClaw的基础。没有文本理解与生成能力，连最简单的对话都无法完成。 模型谱系 以百炼平台为例，文本生成模型如下： 模型 特点 Qwen3 Max 能力最强，适合多步骤推理 Qwen3.5 Plus 纯文本效果媲美Max，支持图像视频输入 Qwen3.5 Flash 速度快，适合简单任务 Qwen Long 支持千万级Token，适合文档分析 QwQ 深度思考模式，数学和代码能力强 模型 模型 特点 特点 Qwen3 Max Qwen3 Max 能力最强，适合多步骤推理 能力最强，适合多步骤推理 Qwen3.5 Plus Qwen3.5 Plus 纯文本效果媲美Max，支持图像视频输入 纯文本效果媲美Max，支持图像视频输入 Qwen3.5 Flash Qwen3.5 Flash 速度快，适合简单任务 速度快，适合简单任务 Qwen Long Qwen Long 支持千万级Token，适合文档分析 支持千万级Token，适合文档分析 QwQ QwQ 深度思考模式，数学和代码能力强 深度思考模式，数学和代码能力强 能力边界 文本生成模型决定了OpenClaw的：理解力、推理力、创造力、判断力 同样是"文本模型"，Qwen3 Max和Qwen3.5 Flash在复杂推理任务上的差距可能是巨大的。这就像人与人之间的智力差异——都能说话，但思考深度不同。 第二层：眼睛 视觉理解模型 文本模型只能处理文字。要让OpenClaw"看见"图片和视频，需要视觉理解模型。 模型谱系 模型 能力侧重 Qwen3 VL Plus 通用视觉理解，支持图像和视频输入 QVQ Max 视觉推理模型，带思维链输出 千问OCR 专精文字提取，文档、表格、手写体识别 模型 模型 能力侧重 能力侧重 Qwen3 VL Plus Qwen3 VL Plus 通用视觉理解，支持图像和视频输入 通用视觉理解，支持图像和视频输入 QVQ Max QVQ Max 视觉推理模型，带思维链输出 视觉推理模型，带思维链输出 千问OCR 千问OCR 专精文字提取，文档、表格、手写体识别 专精文字提取，文档、表格、手写体识别 能力边界 视觉模型赋予OpenClaw的能力包括：OCR识别、场景理解、图表解析、文档处理、视频理解 第三层：耳朵 语音识别模型 发来一段语音，OpenClaw要能"听懂"。这需要语音识别（ASR）模型。 模型谱系 模型 特色 千问3 ASR Flash 30+语种识别，支持多种方言 千问3 ASR Flash Realtime 实时流式识别，低延迟 Fun ASR 远场优化，支持多种音频格式 SenseVoice 50+语种，额外支持情绪识别和事件检测 Paraformer 高性价比，适合大规模批量处理 模型 模型 特色 特色 千问3 ASR Flash 千问3 ASR Flash 30+语种识别，支持多种方言 30+语种识别，支持多种方言 千问3 ASR Flash Realtime 千问3 ASR Flash Realtime 实时流式识别，低延迟 实时流式识别，低延迟 Fun ASR Fun ASR 远场优化，支持多种音频格式 远场优化，支持多种音频格式 SenseVoice SenseVoice 50+语种，额外支持情绪识别和事件检测 50+语种，额外支持情绪识别和事件检测 Paraformer Paraformer 高性价比，适合大规模批量处理 高性价比，适合大规模批量处理 能力边界 语音识别模型的能力差异体现在：语种覆盖、方言支持、实时性 第四层：嘴巴 语音合成模型 OpenClaw不能只会打字，还需要能"说话"。语音合成（TTS）模型解决的就是这个问题。 模型谱系 模型 特色 千问3 TTS Flash 基础款，支持多方言（粤语、四川、天津等） 千问3 TTS Instruct Flash 可通过指令控制语气、情感、语速 千问3 TTS VC 声音复刻，用10 20秒样本克隆音色 千问3 TTS VD 声音设计，通过文本描述生成全新音色 CosyVoice v3.5 Plus 高质量自然合成 模型 模型 特色 特色 千问3 TTS Flash 千问3 TTS Flash 基础款，支持多方言（粤语、四川、天津等） 基础款，支持多方言（粤语、四川、天津等） 千问3 TTS Instruct Flash 千问3 TTS Instruct Flash 可通过指令控制语气、情感、语速 可通过指令控制语气、情感、语速 千问3 TTS VC 千问3 TTS VC 声音复刻，用10 20秒样本克隆音色 声音复刻，用10 20秒样本克隆音色 千问3 TTS VD 千问3 TTS VD 声音设计，通过文本描述生成全新音色 声音设计，通过文本描述生成全新音色 CosyVoice v3.5 Plus CosyVoice v3.5 Plus 高质量自然合成 高质量自然合成 能力边界 语音合成模型的能力维度：音色多样性、情感控制、方言能力、声音克隆、实时性 声音复刻（Voice Cloning），只需要提供10 20秒的音频样本，模型就能生成高度相似的语音。这意味着OpenClaw可以用你的声音说话，或者用任何你喜欢的声音。 声音设计（Voice Design）则更进一步——通过文本描述（如"年轻女性，温柔，略带沙哑"）直接生成一个全新的音色，无需任何参考音频。 第五层：手 图像生成模型 能"看"还不够，OpenClaw还需要能"画"。图像生成模型赋予小龙虾创作视觉内容的能力。 模型谱系 模型 定位 千问文生图 2.0 Pro 高质量文生图，中文文字渲染能力强 千问图像编辑 风格迁移、文字修改、物体编辑 万相2.6 文生图+图像编辑一体化 Z Image 轻量快速，适合高频调用 模型 模型 定位 定位 千问文生图 2.0 Pro 千问文生图 2.0 Pro 高质量文生图，中文文字渲染能力强 高质量文生图，中文文字渲染能力强 千问图像编辑 千问图像编辑 风格迁移、文字修改、物体编辑 风格迁移、文字修改、物体编辑 万相2.6 万相2.6 文生图+图像编辑一体化 文生图+图像编辑一体化 Z Image Z Image 轻量快速，适合高频调用 轻量快速，适合高频调用 能力边界 图像生成模型的能力维度：生成质量、文字渲染、编辑能力、风格多样性、语义理解 图像编辑能力则让OpenClaw从"画家"升级为"设计师"——不只是从零创作，还能对已有图片进行风格迁移、元素增删、背景替换等精细化操作。 第六层：导演 视频生成模型 图片是静态的，视频是动态的。视频生成模型让OpenClaw具备了"导演"能力。 模型谱系 模型 能力 万相2.6 文生视频 一句话生成视频，支持多镜头叙事 万相2.6 图生视频 以图片为起点生成完整视频 万相 首尾帧生视频 给定首尾帧，生成中间过渡 万相 数字人 图片+音频，生成对口型视频 模型 模型 能力 能力 万相2.6 文生视频 万相2.6 文生视频 一句话生成视频，支持多镜头叙事 一句话生成视频，支持多镜头叙事 万相2.6 图生视频 万相2.6 图生视频 以图片为起点生成完整视频 以图片为起点生成完整视频 万相 首尾帧生视频 万相 首尾帧生视频 给定首尾帧，生成中间过渡 给定首尾帧，生成中间过渡 万相 数字人 万相 数字人 图片+音频，生成对口型视频 图片+音频，生成对口型视频 能力边界 视频生成模型的能力维度：画面质量、可控性、时长、音频联动、多镜头 数字人（Digital Human），只需要一张人物照片和一段音频，就能生成对口型的视频。这可以用于虚拟主播、视频翻译、个性化内容创作等。 第七层：工程师 代码生成模型 代码生成模型让OpenClaw具备了"自我进化"的能力——它能自己写代码、建工具、修复bug。 模型谱系 模型 定位 Qwen3 Coder Plus 旗舰代码模型，强大的Coding Agent能力 Qwen3 Coder Flash 轻量版，适合日常编码任务 Qwen3 Coder 480b a35b 开源大参数版本 模型 模型 定位 定位 Qwen3 Coder Plus Qwen3 Coder Plus 旗舰代码模型，强大的Coding Agent能力 旗舰代码模型，强大的Coding Agent能力 Qwen3 Coder Flash Qwen3 Coder Flash 轻量版，适合日常编码任务 轻量版，适合日常编码任务 Qwen3 Coder 480b a35b Qwen3 Coder 480b a35b 开源大参数版本 开源大参数版本 能力边界 代码模型的特殊之处在于：它不只是一个"功能"，更是一个"放大器"。 • 有了代码模型，OpenClaw可以自己编写新的工具和技能 • 新的工具又可以扩展OpenClaw的能力边界 • 这形成了一个正向循环 这就像一个人学会了编程之后，可以用代码来自动化自己的很多工作。代码能力是一种"元能力"——它能放大其他所有能力。 第八层：翻译官 多语言翻译模型 全球化场景下，多语言能力是OpenClaw的重要组成部分。 模型谱系 模型 特色 Qwen MT Plus 旗舰翻译模型，92语种互译 Qwen MT Flash 快速翻译，性价比高 Qwen MT Lite 轻量级翻译 模型 模型 特色 特色 Qwen MT Plus Qwen MT Plus 旗舰翻译模型，92语种互译 旗舰翻译模型，92语种互译 Qwen MT Flash Qwen MT Flash 快速翻译，性价比高 快速翻译，性价比高 Qwen MT Lite Qwen MT Lite 轻量级翻译 轻量级翻译 能力边界 翻译模型能力包括： • 术语定制：指定某些专业术语的翻译方式 • 格式还原：保持原文档的排版结构 • 领域适配：针对法律、医疗、技术等领域优化 终极形态：全模态统一模型 当上述所有能力集成到一个模型中时，就诞生了全模态模型。 代表模型 模型 特色 千问Omni 文本+图片+音频+视频输入，文本+语音输出 千问Omni Realtime 支持音频流式输入，内置VAD，实时对话 模型 模型 特色 特色 千问Omni 千问Omni 文本+图片+音频+视频输入，文本+语音输出 文本+图片+音频+视频输入，文本+语音输出 千问Omni Realtime 千问Omni Realtime 支持音频流式输入，内置VAD，实时对话 支持音频流式输入，内置VAD，实时对话 技术意义 全模态模型的意义在于： • 端到端处理：不需要在多个模型之间传递中间结果 • 跨模态理解：能在同一个模型内部进行图文音视频的联合推理 • 简化架构：一个模型替代多个专业模型，降低系统复杂度 三、“感官系统”搭建实战——《通往AGI之路》漫剧 有了上面对小龙虾能力与底层大模型关联关系认识后，我们来一次搭建小龙虾“感官系统”实战。 3.1 实战项目规划——“感官系统”搭建 把想法告诉小龙虾，让它来规划，提示词如下： 小龙虾的规划路线