【小红书神器】把视频教程自动转成漫画图文，植入自己的角色，还可以用来发小红书

【小红书神器】把视频教程自动转成漫画图文，植入自己的角色，还可以用来发小红书 【小红书神器】把视频教程自动转成漫画图文，植入自己的角色，还可以用来发小红书 Modified November 29, 2025 clipsketch ai 手动截图拼图太累了，所以最近利用业余时间搓了一个 AI 小工具，想把这个流程自动化。 成品演示 这工具主要做： 输入一个视频链接（目前支持了B站和小红书），它会自动分析视频里的关键步骤，然后把这些步骤重新绘制成一套手绘/漫画风格的图文教程，还能融合你自己的虚拟角色，更有特色（可以直接看github readme 核心工作流大概是这样： 1. 解析视频：提取关键帧。 2. AI 理解：接入了 Google Gemini 的深度思考模式，让 AI 去理解视频里到底在干啥，总结出关键步骤的描述文本。 3. 重绘与融合（比较好玩的功能）：根据描述生成手绘图。重点是，你可以上传一个自己的角色形象（比如你的头像 IP、或者家里的猫），AI 会尝试把这个角色融合到教程画面里去当主角。 4. 生成成品：最后输出一个带解说文字的分镜长图，或者适合发社交媒体的九宫格。 目前还在迭代中，角色融合有时候还会有点抽风，但大体流程跑通了。 发上来给大家看看，希望能收到一些反馈和建议。顺便求个star，有兴趣的可以一起开发 github: https://github.com/RanFeng/clipsketch ai 在线免费试用：https://clipsketch ai.vercel.app/ 📖 项目简介 ClipSketch AI 是一个专为视频创作者、社交媒体运营者和二创爱好者设计的全流程生产力工具。 它不仅仅是一个视频播放器，更是一个 AI 驱动的内容创作工作台 。它可以解析 Bilibili 和小红书的视频链接，让你能够帧级精准地标记精彩瞬间。通过集成 Google Gemini 最新的多模态大模型，它能将这些瞬间一键转化为精美的手绘风格故事板，并自动撰写适配社交媒体（如小红书）的爆款文案。 ✨ 核心功能 🎥 强大的视频采集 • 多源导入 ：支持解析 Bilibili 和 小红书 的分享链接（支持短链接和混合文案）。 • 高清播放 ：针对竖屏视频（9:16）和宽屏视频进行了自适应布局优化。 • 精准控制 ：支持键盘快捷键（空格播放/暂停，左右键逐帧/智能步长调节）。 🏷️ 帧级标记系统 • 毫秒级记录 ：精确捕捉每一个精彩瞬间。 • 快捷键打点 ：按下 T 键即可快速标记。 • 数据导出 ：支持导出 TXT 格式的时间轴标签，或将标记帧打包导出为 ZIP 图片包。 🎨 AI 艺术工作室 (Powered by Gemini) • 智能绘图 ：利用 gemini 3 pro image preview 模型，将多个标记帧整合成一张连贯的、可爱手绘风格的故事板（Storyboard）。 • 社交文案生成 ：基于视觉内容，利用 gemini 3 pro preview 自动生成 3种不同风格 的种草文案（情感故事型、干货教程型、短小精悍型）。 • 重绘与迭代 ：不满意？支持一键重新绘图或重新生成文案。 📱 全平台适配 • 响应式设计 ：完美适配 PC 宽屏、iPad 平板及手机竖屏操作。 • 移动端优化 ：在手机上自动切换为上下布局，操作更顺手。 🚀 快速开始 前置要求 • Node.js (v16+) • 一个有效的 Google Gemini API Key 安装与运行 1. 克隆项目 Code block Plain Text git clone https://github.com/RanFeng/clipsketch ai.git cd clipsketch ai 2. 安装依赖 此项目为纯前端结构，直接运行即可（假设使用 Vite 或类似的构建工具）： Code block Plain Text npm install 3. 启动开发服务器 Code block Plain Text npm run dev 4. 访问应用 打开浏览器访问 http://localhost:3000 (或控制台显示的端口)。 📚 使用指南 1. 导入视频 ： ◦ 复制 Bilibili 或 小红书 的分享链接（包含文字也没关系）。 ◦ 粘贴到首页输入框，点击“导入视频”。 2. 标记素材 ： ◦ 使用 空格 控制播放， ← / → 调整进度。 ◦ 看到精彩画面时，点击 Tag 按钮或按键盘 T 键。 3. 进入 AI 工作室 ： ◦ 标记完成后，点击右侧列表底部的 “下一步：AI 绘图” 。 4. 创作内容 ： ◦ 在右上角粘贴您的 Gemini API Key 。 ◦ 点击 “开始绘图” 生成手绘故事板。 ◦ 图片生成后，点击左侧的 “生成文案” 获取 3 种风格的配文。 5. 导出与分享 ： ◦ 下载生成的故事板图片。 ◦ 一键复制您喜欢的文案。 🛠️ 技术栈 • 核心框架 : React 19, TypeScript • 样式方案 : Tailwind CSS • 图标库 : Lucide React • AI SDK : Google GenAI SDK ( @google/genai ) • 工具库 : JSZip (打包下载), Canvas API (截图) • 视频解析 : 自研解析逻辑 + 第三方 API 支持 ⚠️注意事项 • API 权限 : 使用 AI 绘图功能需要您的 API Key 有权访问 gemini 3 pro image preview 模型。如果遇到 403 错误，请检查您的 Google Cloud 项目设置。 • 跨域播放 : 为了支持外部视频链接播放和截图，本项目使用了 referrerPolicy="no referrer" 和特定的代理策略。 Google Gemini API Key clipsketch ai 手动截图拼图太累了，所以最近利用业余时间搓了一个 AI 小工具，想把这个流程自动化。 成品演示 这工具主要做： 输入一个视频链接（目前支持了B站和小红书），它会自动分析视频里的关键步骤，然后把这些步骤重新绘制成一套手绘/漫画风格的图文教程，还能融合你自己的虚拟角色，更有特色（可以直接看github readme 核心工作流大概是这样： 1. 解析视频：提取关键帧。 2. AI 理解：接入了 Google Gemini 的深度思考模式，让 AI 去理解视频里到底在干啥，总结出关键步骤的描述文本。 3. 重绘与融合（比较好玩的功能）：根据描述生成手绘图。重点是，你可以上传一个自己的角色形象（比如你的头像 IP、或者家里的猫），AI 会尝试把这个角色融合到教程画面里去当主角。 4. 生成成品：最后输出一个带解说文字的分镜长图，或者适合发社交媒体的九宫格。 目前还在迭代中，角色融合有时候还会有点抽风，但大体流程跑通了。 发上来给大家看看，希望能收到一些反馈和建议。顺便求个star，有兴趣的可以一起开发 github: https://github.com/RanFeng/clipsketch ai 在线免费试用：https://clipsketch ai.vercel.app/ 📖 项目简介 ClipSketch AI 是一个专为视频创作者、社交媒体运营者和二创爱好者设计的全流程生产力工具。 它不仅仅是一个视频播放器，更是一个 AI 驱动的内容创作工作台 。它可以解析 Bilibili 和小红书的视频链接，让你能够帧级精准地标记精彩瞬间。通过集成 Google Gemini 最新的多模态大模型，它能将这些瞬间一键转化为精美的手绘风格故事板，并自动撰写适配社交媒体（如小红书）的爆款文案。 ✨ 核心功能 🎥 强大的视频采集 • 多源导入 ：支持解析 Bilibili 和 小红书 的分享链接（支持短链接和混合文案）。 • 高清播放 ：针对竖屏视频（9:16）和宽屏视频进行了自适应布局优化。 • 精准控制 ：支持键盘快捷键（空格播放/暂停，左右键逐帧/智能步长调节）。 🏷️ 帧级标记系统 • 毫秒级记录 ：精确捕捉每一个精彩瞬间。 • 快捷键打点 ：按下 T 键即可快速标记。 • 数据导出 ：支持导出 TXT 格式的时间轴标签，或将标记帧打包导出为 ZIP 图片包。 🎨 AI 艺术工作室 (Powered by Gemini) • 智能绘图 ：利用 gemini 3 pro image preview 模型，将多个标记帧整合成一张连贯的、可爱手绘风格的故事板（Storyboard）。 • 社交文案生成 ：基于视觉内容，利用 gemini 3 pro preview 自动生成 3种不同风格 的种草文案（情感故事型、干货教程型、短小精悍型）。 • 重绘与迭代 ：不满意？支持一键重新绘图或重新生成文案。 📱 全平台适配 • 响应式设计 ：完美适配 PC 宽屏、iPad 平板及手机竖屏操作。 • 移动端优化 ：在手机上自动切换为上下布局，操作更顺手。 🚀 快速开始 前置要求 • Node.js (v16+) • 一个有效的 Google Gemini API Key Google Gemini API Key 安装与运行 1. 克隆项目 2. 安装依赖 此项目为纯前端结构，直接运行即可（假设使用 Vite 或类似的构建工具）： 3. 启动开发服务器 4. 访问应用 打开浏览器访问 http://localhost:3000 (或控制台显示的端口)。 📚 使用指南 1. 导入视频 ： ◦ 复制 Bilibili 或 小红书 的分享链接（包含文字也没关系）。 ◦ 粘贴到首页输入框，点击“导入视频”。 ◦ 复制 Bilibili 或 小红书 的分享链接（包含文字也没关系）。 ◦ 粘贴到首页输入框，点击“导入视频”。 2. 标记素材 ： ◦ 使用 空格 控制播放， ← / → 调整进度。 ◦ 看到精彩画面时，点击 Tag 按钮或按键盘 T 键。 ◦ 使用 空格 控制播放， ← / → 调整进度。 ◦ 看到精彩画面时，点击 Tag 按钮或按键盘 T 键。 3. 进入 AI 工作室 ： ◦ 标记完成后，点击右侧列表底部的 “下一步：AI 绘图” 。 ◦ 标记完成后，点击右侧列表底部的 “下一步：AI 绘图” 。 4. 创作内容 ： ◦ 在右上角粘贴您的 Gemini API Key 。 ◦ 点击 “开始绘图” 生成手绘故事板。 ◦ 图片生成后，点击左侧的 “生成文案” 获取 3 种风格的配文。 ◦ 在右上角粘贴您的 Gemini API Key 。 ◦ 点击 “开始绘图” 生成手绘故事板。 ◦ 图片生成后，点击左侧的 “生成文案” 获取 3 种风格的配文。 5. 导出与分享 ： ◦ 下载生成的故事板图片。 ◦ 一键复制您喜欢的文案。 ◦ 下载生成的故事板图片。 ◦ 一键复制您喜欢的文案。 🛠️ 技术栈 • 核心框架 : React 19, TypeScript • 样式方案 : Tailwind CSS • 图标库 : Lucide React • AI SDK : Google GenAI SDK ( @google/genai ) • 工具库 : JSZip (打包下载), Canvas API (截图) • 视频解析 : 自研解析逻辑 + 第三方 API 支持 ⚠️注意事项 • API 权限 : 使用 AI 绘图功能需要您的 API Key 有权访问 gemini 3 pro image preview 模型。如果遇到 403 错误，请检查您的 Google Cloud 项目设置。 • 跨域播放 : 为了支持外部视频链接播放和截图，本项目使用了 referrerPolicy="no referrer" 和特定的代理策略。 🔗 原文链接： https://mp.weixin.qq.com/s/thCDQyrI... https://mp.weixin.qq.com/s/thCDQyrI... 原创 kid ACE计算机2025年11月29日 17:45 上海 平时看B站或者小红书上的教程视频（比如做菜、手工或者一些技术操作），总觉得跟着视频一步步做很麻烦，得不停地暂停、回放。有时候就想看个省流版的图文步骤。