CrabNote螃蟹笔记

阿里云AI实训营 × 马年新春营销内容制作实战课程(第二期)

阿里云AI实训营 × 马年新春营销内容制作实战课程(第二期)

阿里云AI实训营 × 马年新春营销内容制作实战课程(第二期) 阿里云AI实训营 × 马年新春营销内容制作实战课程(第二期) Modified February 12 操作步骤: 1. 点击右上角"全屏显示"进入编辑模式 2. 在System Prompt中添加限定信息 示例修改: 添加限定:"只生成马年相关的拜年视频信息,不要龙年或蛇年" 效果:模型在推理时会将马年相关信息带入Prompt优化流程 3. 图生视频节点配置 配置项 说明 模型选择 选择图生视频相关模型 参考图片 配置参考图片输入 提示词 通过 “/”引用前置节点的输出结果 清晰度 可选720P等选项 视频时长 可调整生成视频长度 随机种子 控制生成结果的随机性 智能扩写 可选择开启/关闭 智能多镜头 可选择开启/关闭 反向提示词 规避不想要的内容(可选) 八、添加新节点(进阶操作) 1. 节点连接规则 ⚠️ 重要:任何节点必须连接一个开始和一个结束,不能有头无尾,否则Workflow运行会报错 2. 添加流程输出节点示例 目的:监控节点运行过程中输出的数据和内容 操作步骤: 1. 从左侧选择"流程输出"节点 2. 将节点前端连接到"图生视频"节点 3. 将节点后端连接到"结束"节点 4. 在节点内使用“/”引用需要监控的参数(如视频URL) 3. 发布与验证 1. 点击"发布"保存版本 2. 进入调试模式测试 3. 上传图片并输入Prompt 4. 查看流程输出节点是否捕获到预期数据 5. 验证生成视频是否符合要求 九、版本管理与发布 1. 保存新版本 • 所有调整完成后点击"发布" • 操作与Agent模式基本一致 2. 发布Workflow • 发布后可在其他地方调用Workflow进行视频生成 课程知识点总结 模块一:拜年短信生成 1. 基础短信生成流程 2. 模型推理与结果复制 模块二:自定义变量 1. 变量创建与命名规范(建议英文) 2. 反斜杠 \ 引用变量方法 3. 入参配置面板使用 4. 千人千面内容生成原理 模块三:Prompt模板管理 1. 保存自定义模板 2. 跨应用复用模板 3. 模板快速填充 模块四:萌宠拜年视频 1. 图生视频基础流程 2. 文生视频基础流程 3. 万象2.6视频生成能力 模块五:Workflow工作流 1. Agent模式 vs Workflow模式区别 2. 开始节点配置 3. 条件判断节点使用 4. 大模型节点(VL模型)配置 5. Python脚本节点作用 6. 视频生成节点参数配置 7. 格式转换节点使用 8. 结束节点输出 模块六:测试与调试 1. 测试窗口使用方法 2. 节点运行状态查看 3. 逐节点调试技巧 模块七:节点编辑与定制 1. System Prompt vs 用户Query区别 2. System Prompt修改方法 3. 视频生成参数配置(清晰度/时长/随机种子等) 4. 反向提示词使用 模块八:添加新节点 1. 节点连接规则(必须有头有尾) 2. 流程输出节点添加 3. 监控数据输出 模块九:版本管理 1. 版本保存与发布 2. Workflow发布与调用 核心技能清单 模块 技能点 掌握要点 短信生成 ✅ 基础生成 输入指令,等待模型推理,复制结果使用 自定义变量 ✅ 变量创建 英文命名,添加描述 ✅ 变量引用 在Prompt中使用 \ 引用变量 ✅ 入参配置 在右侧配置面板填写变量值 Prompt模板 ✅ 保存模板 将优质Prompt存储为可复用模板 ✅ 应用模板 在新应用中快速加载已保存模板 操作步骤: 1. 点击右上角"全屏显示"进入编辑模式 2. 在System Prompt中添加限定信息 示例修改: 添加限定:"只生成马年相关的拜年视频信息,不要龙年或蛇年" 添加限定:"只生成马年相关的拜年视频信息,不要龙年或蛇年" 效果:模型在推理时会将马年相关信息带入Prompt优化流程 3. 图生视频节点配置 配置项 说明 模型选择 选择图生视频相关模型 参考图片 配置参考图片输入 提示词 通过 “/”引用前置节点的输出结果 清晰度 可选720P等选项 视频时长 可调整生成视频长度 随机种子 控制生成结果的随机性 智能扩写 可选择开启/关闭 智能多镜头 可选择开启/关闭 反向提示词 规避不想要的内容(可选) 配置项 配置项 说明 说明 模型选择 模型选择 选择图生视频相关模型 选择图生视频相关模型 参考图片 参考图片 配置参考图片输入 配置参考图片输入 提示词 提示词 通过 “/”引用前置节点的输出结果 通过 “/”引用前置节点的输出结果 清晰度 清晰度 可选720P等选项 可选720P等选项 视频时长 视频时长 可调整生成视频长度 可调整生成视频长度 随机种子 随机种子 控制生成结果的随机性 控制生成结果的随机性 智能扩写 智能扩写 可选择开启/关闭 可选择开启/关闭 智能多镜头 智能多镜头 可选择开启/关闭 可选择开启/关闭 反向提示词 反向提示词 规避不想要的内容(可选) 规避不想要的内容(可选) 八、添加新节点(进阶操作) 1. 节点连接规则 ⚠️ 重要:任何节点必须连接一个开始和一个结束,不能有头无尾,否则Workflow运行会报错 ⚠️ 重要:任何节点必须连接一个开始和一个结束,不能有头无尾,否则Workflow运行会报错 2. 添加流程输出节点示例 目的:监控节点运行过程中输出的数据和内容 操作步骤: 1. 从左侧选择"流程输出"节点 2. 将节点前端连接到"图生视频"节点 3. 将节点后端连接到"结束"节点 4. 在节点内使用“/”引用需要监控的参数(如视频URL) 3. 发布与验证 1. 点击"发布"保存版本 2. 进入调试模式测试 3. 上传图片并输入Prompt 4. 查看流程输出节点是否捕获到预期数据 5. 验证生成视频是否符合要求 九、版本管理与发布 1. 保存新版本 • 所有调整完成后点击"发布" • 操作与Agent模式基本一致 2. 发布Workflow • 发布后可在其他地方调用Workflow进行视频生成 课程知识点总结 模块一:拜年短信生成 1. 基础短信生成流程 2. 模型推理与结果复制 模块二:自定义变量 1. 变量创建与命名规范(建议英文) 2. 反斜杠 \ 引用变量方法 3. 入参配置面板使用 4. 千人千面内容生成原理 模块三:Prompt模板管理 1. 保存自定义模板 2. 跨应用复用模板 3. 模板快速填充 模块四:萌宠拜年视频 1. 图生视频基础流程 2. 文生视频基础流程 3. 万象2.6视频生成能力 模块五:Workflow工作流 1. Agent模式 vs Workflow模式区别 2. 开始节点配置 3. 条件判断节点使用 4. 大模型节点(VL模型)配置 5. Python脚本节点作用 6. 视频生成节点参数配置 7. 格式转换节点使用 8. 结束节点输出 模块六:测试与调试 1. 测试窗口使用方法 2. 节点运行状态查看 3. 逐节点调试技巧 模块七:节点编辑与定制 1. System Prompt vs 用户Query区别 2. System Prompt修改方法 3. 视频生成参数配置(清晰度/时长/随机种子等) 4. 反向提示词使用 模块八:添加新节点 1. 节点连接规则(必须有头有尾) 2. 流程输出节点添加 3. 监控数据输出 模块九:版本管理 1. 版本保存与发布 2. Workflow发布与调用 核心技能清单 模块 技能点 掌握要点 短信生成 ✅ 基础生成 输入指令,等待模型推理,复制结果使用 自定义变量 ✅ 变量创建 英文命名,添加描述 ✅ 变量引用 在Prompt中使用 \ 引用变量 ✅ 入参配置 在右侧配置面板填写变量值 Prompt模板 ✅ 保存模板 将优质Prompt存储为可复用模板 ✅ 应用模板 在新应用中快速加载已保存模板 模块 模块 技能点 技能点 掌握要点 掌握要点 短信生成 短信生成 ✅ 基础生成 ✅ 基础生成 输入指令,等待模型推理,复制结果使用 输入指令,等待模型推理,复制结果使用 自定义变量 自定义变量 ✅ 变量创建 ✅ 变量创建 英文命名,添加描述 英文命名,添加描述 ✅ 变量引用 ✅ 变量引用 在Prompt中使用 \ 引用变量 在Prompt中使用 \ 引用变量 ✅ 入参配置 ✅ 入参配置 在右侧配置面板填写变量值 在右侧配置面板填写变量值 Prompt模板 Prompt模板 ✅ 保存模板 ✅ 保存模板 将优质Prompt存储为可复用模板 将优质Prompt存储为可复用模板 ✅ 应用模板 ✅ 应用模板 在新应用中快速加载已保存模板 在新应用中快速加载已保存模板 萌宠视频 ✅ 图生视频 上传宠物图片 + Prompt生成视频 ✅ 文生视频 纯文本描述生成视频 Workflow ✅ 节点理解 掌握各类节点的功能和作用 ✅ 条件判断 根据条件决定分支流程 ✅ 测试调试 查看节点运行状态和输出结果 ✅ 节点编辑 修改System Prompt、配置参数 ✅ 添加节点 新增监控节点,正确连接开始和结束 ✅ 版本发布 保存并发布Workflow 课程概述 本课程为阿里云AI实训营与Way To AGI 合作的新春营销系列第二堂课,在上一期学习了AI新春福字和海报生成流程后,本期课程将聚焦于拜年短信祝福生成器和萌宠拜年视频两大核心工具,深入讲解自定义变量、Prompt模板管理以及Workflow工作流编排等进阶技能。 一、拜年短信生成器实战 1. 基础短信生成测试 • 功能:基于文本生成模型,快速生成高质量拜年祝福短信 • 操作流程: a. 进入"拜年短信生成器"应用 b. 输入指令:"帮我生成一个祝福短信" c. 等待模型推理完成 d. 复制生成结果发送给家人、朋友或客户 a. 进入"拜年短信生成器"应用 b. 输入指令:"帮我生成一个祝福短信" c. 等待模型推理完成 d. 复制生成结果发送给家人、朋友或客户 二、自定义变量功能详解(核心技能) 1. 应用场景 • 痛点:每次发送短信都需要修改不同的参数(如姓名、称呼等) • 示例场景:教育机构老师需要给不同小朋友发送个性化新年祝福短信 • 解决方案:通过自定义变量实现千人千面的内容生成 2. 变量配置步骤 步骤 操作说明 第一步 在上方选择"自定义变量" 第二步 创建变量并命名(建议使用英文命名) 第三步 在Prompt中输入斜杠 / 引用变量 第四步 在右侧"入参变量配置"中填写变量值 步骤 步骤 操作说明 操作说明 第一步 第一步 在上方选择"自定义变量" 在上方选择"自定义变量" 第二步 第二步 创建变量并命名(建议使用英文命名) 创建变量并命名(建议使用英文命名) 第三步 第三步 在Prompt中输入斜杠 / 引用变量 在Prompt中输入斜杠 / 引用变量 第四步 第四步 在右侧"入参变量配置"中填写变量值 在右侧"入参变量配置"中填写变量值 3. 实操示例 应用变量: Prompt中引用变量: 在Prompt编辑框中输入 \,即可看到已录入的自定义变量列表,选择需要的变量添加到Prompt中 在Prompt编辑框中输入 \,即可看到已录入的自定义变量列表,选择需要的变量添加到Prompt中 配置入参(可输入任意参数值): • teacher name:天天老师 • student name:小桃子 4. 测试验证 • 点击"确认"保存入参配置 • 发送测试消息 • 查看模型返回结果,确认参数已正确置入Prompt思考流程 三、Prompt模板管理 1. 功能介绍 • 场景:已配置好的优质Prompt需要复用到其他应用中 • 解决方案:将Prompt保存为模板,实现跨应用复用 2. 保存模板操作 步骤 操作说明 第一步 点击上方"模板"按钮 第二步 在弹窗中选择"新建自定义模板" 第三步 输入模板名称 第四步 将已配置好的Prompt复制到模板内容区域 第五部 点击"保存" 步骤 步骤 操作说明 操作说明 第一步 第一步 点击上方"模板"按钮 点击上方"模板"按钮 第二步 第二步 在弹窗中选择"新建自定义模板" 在弹窗中选择"新建自定义模板" 第三步 第三步 输入模板名称 输入模板名称 第四步 第四步 将已配置好的Prompt复制到模板内容区域 将已配置好的Prompt复制到模板内容区域 第五部 第五部 点击"保存" 点击"保存" 3. 应用模板操作 步骤 操作说明 第一步 创建一个新的空白应用 第二步 点击"模板"按钮 第三部 选择已保存的Prompt模板 第四步 模板内容自动填充到左侧Prompt输入框 第五部 选择模型进行测试验证 步骤 步骤 操作说明 操作说明 第一步 第一步 创建一个新的空白应用 创建一个新的空白应用 第二步 第二步 点击"模板"按钮 点击"模板"按钮 第三部 第三部 选择已保存的Prompt模板 选择已保存的Prompt模板 第四步 第四步 模板内容自动填充到左侧Prompt输入框 模板内容自动填充到左侧Prompt输入框 第五部 第五部 选择模型进行测试验证 选择模型进行测试验证 四、萌宠拜年视频生成器实战 1. 功能介绍 • 核心能力:基于自然语言 + 万相2.6视频生成能力 • 应用场景:生成可爱的宠物拜年视频,传递对亲友的喜爱与祝福 • 输入要素: ◦ 宠物参考图片(官方预置或自行上传) ◦ 文字描述Prompt ◦ 宠物参考图片(官方预置或自行上传) ◦ 文字描述Prompt 2. 基础测试流程 1. 进入"萌宠拜年视频"应用 2. 选择官方预置的猫咪图片 3. 输入生成Prompt 4. 等待视频生成完成 5. 预览生成结果 生成效果:视频能够跟随宠物照片特征,生成准确的文字和视频转场内容 生成效果:视频能够跟随宠物照片特征,生成准确的文字和视频转场内容 五、Workflow工作流详解(进阶核心) 1.萌宠拜年视频Workflow节点解析 各节点功能详解 节点类型 功能说明 开始节点 定义流程入口,包含所有自定义变量和输入内容 条件判断 判断用户是否上传图片,决定走图生视频或文生视频分支 大模型节点 根据选择的模型进行提示词生成/优化(不同模型有不同参数配置) Python脚本 执行代码进行数据处理,如将Prompt转换为真字符串 视频生成 核心生成节点,接收Prompt、参考图URL等输入生成视频 Python脚本 将视频URL转换为前端可展示的Markdown格式 结束节点 输出所有生成结果 节点类型 节点类型 功能说明 功能说明 开始节点 开始节点 定义流程入口,包含所有自定义变量和输入内容 定义流程入口,包含所有自定义变量和输入内容 条件判断 条件判断 判断用户是否上传图片,决定走图生视频或文生视频分支 判断用户是否上传图片,决定走图生视频或文生视频分支 大模型节点 大模型节点 根据选择的模型进行提示词生成/优化(不同模型有不同参数配置) 根据选择的模型进行提示词生成/优化(不同模型有不同参数配置) Python脚本 Python脚本 执行代码进行数据处理,如将Prompt转换为真字符串 执行代码进行数据处理,如将Prompt转换为真字符串 视频生成 视频生成 核心生成节点,接收Prompt、参考图URL等输入生成视频 核心生成节点,接收Prompt、参考图URL等输入生成视频 Python脚本 Python脚本 将视频URL转换为前端可展示的Markdown格式 将视频URL转换为前端可展示的Markdown格式 结束节点 结束节点 输出所有生成结果 输出所有生成结果 六、Workflow测试与调试 1. 进入测试模式 • 点击右上角测试按钮 • 弹出测试对话框 2. 图生视频测试流程 1. 上传一张宠物图片(作为开始节点的图片URL参数) 2. 通过右上角入参参数配置查看已输入的参数 3. 输入Prompt(如:"帮我生成一个小猫咪跳舞的拜年视频") 4. 等待各节点依次运行 3. 调试技巧 重要:Workflow测试窗口会显示所有节点的运行结果和运行状态 重要:Workflow测试窗口会显示所有节点的运行结果和运行状态 • 逐个点击节点查看运行详情 • 检查节点输出是否符合预期 • 根据运行结果调整节点配置 七、Workflow节点编辑与定制 1. 大模型节点(VL模型)配置详解 理解内容选择: • 图片理解 • 视频帧理解 • 完整视频理解 Prompt配置区分: Prompt类型 作用说明 System Prompt 系统提示词,指导模型整体性的内容生成,设定系统级指令 用户Query 用户真正向模型询问的问题,通过变量引用用户输入 Prompt类型 Prompt类型 作用说明 作用说明 System Prompt System Prompt 系统提示词,指导模型整体性的内容生成,设定系统级指令 系统提示词,指导模型整体性的内容生成,设定系统级指令 用户Query 用户Query 用户真正向模型询问的问题,通过变量引用用户输入 用户真正向模型询问的问题,通过变量引用用户输入 ⚠️ 重要提示:务必明确理解System Prompt和用户Query之间的区别 ⚠️ 重要提示:务必明确理解System Prompt和用户Query之间的区别 2. 修改System Prompt示例