CrabNote螃蟹笔记

0基础跨界AI编程共学 零基础手搓AI拍立得-银海

0基础跨界AI编程共学 零基础手搓AI拍立得-银海

0基础跨界AI编程共学 零基础手搓AI拍立得 银海 0基础跨界AI编程共学 零基础手搓AI拍立得 银海 Modified January 5, 2025 📄 12:44 AI驱动的拍立得:从图片到文字的多功能体验 本章节主要讲述拍立得相关内容。以前拍立得的印象是复古光影渲染,现在主要围绕从图片到文字、图片到图片的AI native概念。底层场景由AI agent或工作流驱动,之前有分享过AI工作流与拍立得的融合,大家可扫码体验。还展示了拍立得界面的场景功能并举例说明。 14:41 拍立得小程序功能演示及课程相关介绍 本章节银海演示了拍立得的使用场景。其可在小程序中根据选定的风格(如小红书风格)生成文案,文案包含标题和正文,内容可复制用于发布,还能分享给朋友。此外也适用于大众点评、朋友圈等,朋友圈可按不同风格定制,还能上传图片、切换场景,课程中会讲解其实现方法。 17:37 AI拍立得的交互逻辑、场景及应用案例 本章节主要介绍了AI拍立得,它在图像生成、图片到文本、图片到图片等场景非常方便。讲解了其交互逻辑,包括场景选择、拍摄、识别、展示及用户选择等。还提到各场景可构建提示词,以工作流方式搭建内容,并举例闲鱼上架、妙刷爆了是如何操作的,还将带大家复刻物品收集案例。 20:20 零代码实现图像到文本工作流的扣子平台操作演示 本章节重点讲述0代码版本的实现,选择扣子平台进行演示。介绍了平台里的工作流和图像流,如image to test工作流。还阐述了辅助图像理解的插件和OCR插件的作用,并以皮卡丘的案例试运行流程,最后表示流程搭建容易,大家可以自行搭建。 24:55 街遇新城视觉模型体验,兼谈模型供应商选择 本章节主要讲述了街遇新城的视觉模型,其近期推出视频理解能力并可体验。还提到之前拍立得使用智谱AI,后因文本生成较单一换成通义,通义密钥配置稍麻烦但更安全且价格较便宜。另外还介绍了做OCR的垂直小模型puddle,以及API的收费情况。 29:37 事业低谷期的尝试与获取 本章节银海提到在试验第五期想拿到某个东西,回忆年前事业低谷期看到一句话后有了改变,还提及在失业低谷期曾拿到一个东西,现在想试试看能否拿到MP4类型的东西,同时疑惑媒体是否拿不到一个东西,整体表达比较碎片化且语义不太清晰。 30:51 视频解读可依据画面,三分钟视频已拿到链接将让其解读 本章节提到已拿到视频链接并交给相关人员解读。之前有一个无声音的case,相关人员能够解读出来且体感更强。还提到刚刚下载了一个case,解读是根据视频画面而非声道或音轨,最后表示可以尝试根据画面解读的体感如何。 32:10 图像理解相关讨论及视频中的草地情侣场景 本章节首先要求根据视频链接写一篇小说,随后提到工作流中的图像理解,其发挥能力较强。还建议大家尝试智普、通义的VL模型,指出VL Max版虽成本高但效果好,最后提及图像理解速度快,以及视频理解中有涉及宁静草地上男孩女孩依偎的内容。 33:35 拍立得工作流:从图片到文本后看图像风格化转换工作流 本章节首先提到视频理解能力可应用于很多场景且共学课程会涉及,之后回到拍立得整体工作流。在工作流方面,已实现图片到文本的工作流,接着开始探讨图像风格化转换工作流,其操作较为简单只需加风格滤镜,创建图像流节点并选中风格即可,还示范了选择基粘土风并上传皮卡丘来运行。 34:51 从0到1完成图像相关操作及OCR验证的流程 本章节主要展示从0到1的操作过程,包括生成黏土风格皮卡丘的图像转换,完成图像到文本、图像到图像两个场景。还提及若有时间可创建插件,以官方API文档为依据借助AI写代码来创建。之后对OCR相关内容进行检查、修改,以获取完整的OCR和文本信息。 38:19 图片分享的卡片制作工作流:从图像流到自动串联 本章节先结束之前内容回到其他流程重新开启导拍立相关内容,开始讲述图片分享相关。先要有图像流,涉及河图服务的画板,可设置多种参数。然后将输入图片、文本等信息试运行形成分享卡片。有了图像流后还想把包括OCR在内的其他内容自动串联起来。 41:40 拍立得拍摄与分享流程的构建及试运行 本章节主要是关于图像流和图片生成分享流构建完整工作流的内容。提到可通过定时任务、从图片站点获取或按关键词搜索来更新图片和推广语,已将拍立得拍摄与分享流程串联起来,后续打算试运行,还提到后续手把手操作时会讲解复用场景,且可添加多个图片输入框。 43:37 以商品图为基础创建梗句内容的尝试 本章节首先展示了一张已生成的图片并介绍其生成过程,提到当天要做更精致的内容。然后阐述了要做的内容是解析上传的商品图,获取主体信息中的短名词(偏向梗句),还提到背后用到很多有风格化的底部模板,且有固定内容,打算尝试创建相关内容。 45:03 在新建的VQ AGI团队空间进行图像流工作,以电饭锅图片为例尝试智能抠图 本章节主要是进行实际操作演示。首先新建名为VQ AGI的团队空间,目的是进行主体信息拆解。接着创建图像流工作流,选取资源项目中的图像流,并以一张商品主图(如电饭锅图片)为例,使用智能抠图能力,还提到提示词可自定义抠图主体内容,且要找复杂些、有背景的图片来测试抠图效果。 48:14 将抠图后的锅与海报合成的操作步骤 本章节主要是关于试运行抠图操作,使用image格式的图片信息date进行,抠图结果很干净。之后提到拿到抠图结果后,要将其合到海报上,包括进入画板、添加画板、调整元素、拿参数、调整尺寸(考虑A4尺寸)以及调整锅在画面中的位置等操作。 50:33 使用搞定设计为锅的海报添加背景及调整图片显示 本章节主要讲述在制作锅的海报时遇到的问题与操作。目前无法实现旋转跳跃先搁置,之后将锅合成到图里,为让图更好看要做底色,可利用搞定设计找模板。在操作中发现问题并调整,如调整交互、发现图片缺陷后将填充方式改为自适应使电饭锅完整显示。 54:22 品牌LOGO相关操作:选取AGI、处理VTO AGI背景与添加LOGO 本章节主要讲述了加快速度后,想要一个品牌LOGO,考虑从通往AGI之路里拿VI品牌VI。需要先将VTO AGI的背景进行抠图(其为已抠过的白图),之后把v two AGI的logo添加过来,logo添加方式为自适应,最后将logo放在左下角并调整其大小与位置让其看起来更合适。 56:22 图像底部完成后转向文字生成,图片可多输入且能拼接 本章节首先表明底部图像已完成,介绍了其包含logo、小程序、文本、图片和装饰物的布局流程。接着提到接下来要进行文字生成部分,先保存现有流程再做文本。还解答了能否添加多个图片的问题,称可以通过设多个image变量输入多张图片。最后简单提及一个电饭锅。 57:57 图像流与工作流结合,医美局河图生成中的图像理解输入要求 本章节图像流已完成,接下来要将图像流与工作流以及文本生成相结合以生成完整图片。创建医美局河图生成文本拼接图像流的工作流,其输入节点为一张图片,在插件使用的图像理解环节,若输入参数为URL信息可直接使用,不是则需转换,目前偏向实体识别,不需要OCR模型。 01:00:46 银海演示添加OCR到工作流程并结合大模型根据图像理解和OCR内容生成文案标题和文案 本章节主要是进行添加OCR的简单演示,将OCR添加到工作流程中,输入为一张图片,这样就具备图像理解和识别图像文本信息两个能力。之后以这两个能力生成的内容为输入使用大模型,通过引用相关信息,根据要求生成文案标题和文案,用户提示词的写法是重点。 01:03:22 用户提示词的简单写法:模仿风格输出标题与正文 本章节重点讨论了用户提示词的写法,提出最简单的方法是模仿特定风格输出标题内容,要用特殊字符区分相关内容,包含示例、凝视者等内容,输出包含标题和正文,还提到一种最简单的提示词是用少量样本提示(两个样本),并要试运行看结果。 01:05:43 图像理解中对电饭煲图像的处理与调试 本章节主要围绕图像上传试运行展开,图像为锅但无引用与图片文本信息。在图像理解时出现问题,经检查是弄错了大模型的输入,不是模型和系统提示词的问题。同时提到字数限制不太依靠大模型,且目前得到的结果与预期不符,后续需要通过提示修饰来达到想要的风格。 01:09:26 模仿推文生成内容,包括技术、洞察与增长相关的尝试 本章节主要是银海在讲话,提到今天都是急性手镯,他刚刷到妙刷里的推文,想要模仿其生成方式,还提到技术造力、选择洞察、增长等内容,同时提到文字文本不需要句句直接引擎,要每句直击人心且有标点、换行,还提及有同学理解差一点,可以再试试接月的内容。 01:11:58 高并发下换模型并使用自己插件重新调整工作流 本章节提到是克输鲁风格,要查看其运行结果。由于高并发,换了之前创建的模型,原因是插件调用时显示QPS too high。于是使用自己的插件,还要到借阅里拿API key来引用图片说明错误。接下来要串起整个工作流,之后再去调提示词。 01:14:10 新风格下的工作流程:拿到文本类后串联图像流并为文本添加占位符 本章节主要探讨使用新风格后的结果。在电饭煲的相关项目中,已拿到文本类内容,接下来要串联图像流。图像流输入需要有title和content,要增加这两个参数并引用相关内容信息,还发现图像流存在问题,如出现两张图,且有个地方应改成string类型。 01:16:00 以“永恒之国”为例的文本编辑排版操作 本章节以“永恒之功”为示例进行编辑操作,主要涉及文本预览的排版工作。提到结构方面存在换行只有一个文字且动态内容较难保持稳定的问题,还包括更换字体、添加浅浅的底色、调整颜色、调整发布位置以及增大字体等操作,同时提到了“永恒之国”等相关内容。 01:19:59 雕花过程中的素材运用与图片调整 本章节主要讨论雕花过程中的模板配置,提到可以用贴图添加元素,如icon、font等去找花的元素,还提及彩虹元素不能旋转,之后探索插画库,发现库上面一个功能可以旋转,建议将裂纹虎克旋转一下增添灵动感,最后表示贴图不好配置得特别美观,还需要各自去尝试。 01:22:23 文本试运行中调整文本居中遇到问题 本章节主要是对相关内容进行试运行,在操作过程中遇到一些文本排版问题,如字未居中、部分操作不生效、全选居中未自动实现等情况,还对文本的对齐方式进行了尝试,并且怀疑是否是bug,同时觉得这个东西优化一下很有意义。 01:26:36 工作流中接入图片能力并进行试运行,准备多种素材测试 本章节首先决定先发布无法居中的内容,之后再调整。然后将图片能力接入图像流,明确了引用的相关内容。完成这些后进行试运行,输入了锅这个元素。在过程中准备了其他素材,如开水壶、咖啡机、飞机、菠萝蜜等,还提及素材要选择界面复杂些的。 01:29:06 调整提示词以尝试不同效果并探讨写作风格与字数限制 本章节先是表示之前的效果大方向正确但提示词需慢慢调整,之后打算尝试不同效果。还提及思考提示词的风格,询问GPT己方写作手法,并打算尝试让大模型遵循限定字数,不过也不确定是否能够完全做到,最后出现“按徽渠换运营”这个意义不明的表述。 01:31:39 调试提示词风格的尝试与相关操作 本章节主要是在调试提示词风格,先是对无约束的提示词输出进行约束设定,尝试让大模型遵循提示词。过程中发现即使不用玄幻技巧,清晰表达指令就能让大模型生成内容,还可给更多样例辅助。此外还提及图像流相关内容,如图片的背景、主体信息设置等。 01:38:16 结果未拿到且输出不稳定,需重新运行查看 本章节主要提到他们查看时发现没有拿到最终结果,虽然有输出但是可能没有文本了。之后打算再跑一遍,同时提到当前的情况不是特别稳定。 01:39:26 示例跑完后今日分享结束,相关代码将入库且含使用说明 本章节首先提到跑完示例后今天差不多结束,然后简单讲解代码内容,大家可使用开源代码接入扣子API,之后再详细交流。图像流接入只需把风格转换的图像流接过来即可,相关代码会放入知识库的文档补齐。最后分享结束,大家可动手玩并选择自己喜欢的模型调用。 01:42:11 分享结束,欢迎参加11月杭州文三街区的AI切磋摆摊大会 本章节首先感谢银海的分享,其成果将被上架成模板。之后提到11月9 10日在杭州文三街区有AI切磋摆摊大会,预计摆100个摊位,先到先得,可手搓bot售卖,消费需买券。现场有打印机、影像机,附近商业成熟。最后鼓励大家搓工作流,直播结束后会把成果发群里。 Log in or sign up to use this feature. 会议回顾 相关会议纪要 📌 0基础跨界AI编程共学 2024年11月1日 智能纪要 0基础跨界AI编程共学 2024年10月31日 智能纪要 0基础跨界AI编程共学 2024年10月29日 智能纪要 0基础跨界AI编程共学 2024年10月28日 智能纪要 12:44 14:41 17:37 20:20 24:55 29:37 30:51 32:10 33:35 34:51 38:19 41:40 43:37 45:03 48:14 50:33 54:22 56:22 57:57 01:00:46 01:03:22 01:05:43 01:09:26 01:11:58 01:14:10 01:16:00 01:19:59 01:22:23 01:26:36 01:29:06 01:31:39 01:38:16 01:39:26 01:42:11 0基础跨界AI编程共学 2024年11月1日 智能纪要 0基础跨界AI编程共学 2024年10月31日 智能纪要 0基础跨界AI编程共学 2024年10月29日 智能纪要 0基础跨界AI编程共学 2024年10月28日 智能纪要 📄 12:44 AI驱动的拍立得:从图片到文字的多功能体验 本章节主要讲述拍立得相关内容。以前拍立得的印象是复古光影渲染,现在主要围绕从图片到文字、图片到图片的AI native概念。底层场景由AI agent或工作流驱动,之前有分享过AI工作流与拍立得的融合,大家可扫码体验。还展示了拍立得界面的场景功能并举例说明。 14:41 拍立得小程序功能演示及课程相关介绍 本章节银海演示了拍立得的使用场景。其可在小程序中根据选定的风格(如小红书风格)生成文案,文案包含标题和正文,内容可复制用于发布,还能分享给朋友。此外也适用于大众点评、朋友圈等,朋友圈可按不同风格定制,还能上传图片、切换场景,课程中会讲解其实现方法。 17:37 AI拍立得的交互逻辑、场景及应用案例 本章节主要介绍了AI拍立得,它在图像生成、图片到文本、图片到图片等场景非常方便。讲解了其交互逻辑,包括场景选择、拍摄、识别、展示及用户选择等。还提到各场景可构建提示词,以工作流方式搭建内容,并举例闲鱼上架、妙刷爆了是如何操作的,还将带大家复刻物品收集案例。 20:20 零代码实现图像到文本工作流的扣子平台操作演示 本章节重点讲述0代码版本的实现,选择扣子平台进行演示。介绍了平台里的工作流和图像流,如image to test工作流。还阐述了辅助图像理解的插件和OCR插件的作用,并以皮卡丘的案例试运行流程,最后表示流程搭建容易,大家可以自行搭建。 24:55 街遇新城视觉模型体验,兼谈模型供应商选择 本章节主要讲述了街遇新城的视觉模型,其近期推出视频理解能力并可体验。还提到之前拍立得使用智谱AI,后因文本生成较单一换成通义,通义密钥配置稍麻烦但更安全且价格较便宜。另外还介绍了做OCR的垂直小模型puddle,以及API的收费情况。 29:37 事业低谷期的尝试与获取 本章节银海提到在试验第五期想拿到某个东西,回忆年前事业低谷期看到一句话后有了改变,还提及在失业低谷期曾拿到一个东西,现在想试试看能否拿到MP4类型的东西,同时疑惑媒体是否拿不到一个东西,整体表达比较碎片化且语义不太清晰。 30:51 视频解读可依据画面,三分钟视频已拿到链接将让其解读 本章节提到已拿到视频链接并交给相关人员解读。之前有一个无声音的case,相关人员能够解读出来且体感更强。还提到刚刚下载了一个case,解读是根据视频画面而非声道或音轨,最后表示可以尝试根据画面解读的体感如何。 32:10 图像理解相关讨论及视频中的草地情侣场景 本章节首先要求根据视频链接写一篇小说,随后提到工作流中的图像理解,其发挥能力较强。还建议大家尝试智普、通义的VL模型,指出VL Max版虽成本高但效果好,最后提及图像理解速度快,以及视频理解中有涉及宁静草地上男孩女孩依偎的内容。 33:35 拍立得工作流:从图片到文本后看图像风格化转换工作流 本章节首先提到视频理解能力可应用于很多场景且共学课程会涉及,之后回到拍立得整体工作流。在工作流方面,已实现图片到文本的工作流,接着开始探讨图像风格化转换工作流,其操作较为简单只需加风格滤镜,创建图像流节点并选中风格即可,还示范了选择基粘土风并上传皮卡丘来运行。 34:51 从0到1完成图像相关操作及OCR验证的流程 本章节主要展示从0到1的操作过程,包括生成黏土风格皮卡丘的图像转换,完成图像到文本、图像到图像两个场景。还提及若有时间可创建插件,以官方API文档为依据借助AI写代码来创建。之后对OCR相关内容进行检查、修改,以获取完整的OCR和文本信息。 38:19 图片分享的卡片制作工作流:从图像流到自动串联 本章节先结束之前内容回到其他流程重新开启导拍立相关内容,开始讲述图片分享相关。先要有图像流,涉及河图服务的画板,可设置多种参数。然后将输入图片、文本等信息试运行形成分享卡片。有了图像流后还想把包括OCR在内的其他内容自动串联起来。 41:40 拍立得拍摄与分享流程的构建及试运行 本章节主要是关于图像流和图片生成分享流构建完整工作流的内容。提到可通过定时任务、从图片站点获取或按关键词搜索来更新图片和推广语,已将拍立得拍摄与分享流程串联起来,后续打算试运行,还提到后续手把手操作时会讲解复用场景,且可添加多个图片输入框。 43:37 以商品图为基础创建梗句内容的尝试 本章节首先展示了一张已生成的图片并介绍其生成过程,提到当天要做更精致的内容。然后阐述了要做的内容是解析上传的商品图,获取主体信息中的短名词(偏向梗句),还提到背后用到很多有风格化的底部模板,且有固定内容,打算尝试创建相关内容。 45:03 在新建的VQ AGI团队空间进行图像流工作,以电饭锅图片为例尝试智能抠图 本章节主要是进行实际操作演示。首先新建名为VQ AGI的团队空间,目的是进行主体信息拆解。接着创建图像流工作流,选取资源项目中的图像流,并以一张商品主图(如电饭锅图片)为例,使用智能抠图能力,还提到提示词可自定义抠图主体内容,且要找复杂些、有背景的图片来测试抠图效果。 48:14 将抠图后的锅与海报合成的操作步骤 本章节主要是关于试运行抠图操作,使用image格式的图片信息date进行,抠图结果很干净。之后提到拿到抠图结果后,要将其合到海报上,包括进入画板、添加画板、调整元素、拿参数、调整尺寸(考虑A4尺寸)以及调整锅在画面中的位置等操作。 50:33 使用搞定设计为锅的海报添加背景及调整图片显示 本章节主要讲述在制作锅的海报时遇到的问题与操作。目前无法实现旋转跳跃先搁置,之后将锅合成到图里,为让图更好看要做底色,可利用搞定设计找模板。在操作中发现问题并调整,如调整交互、发现图片缺陷后将填充方式改为自适应使电饭锅完整显示。 54:22 品牌LOGO相关操作:选取AGI、处理VTO AGI背景与添加LOGO 本章节主要讲述了加快速度后,想要一个品牌LOGO,考虑从通往AGI之路里拿VI品牌VI。需要先将VTO AGI的背景进行抠图(其为已抠过的白图),之后把v two AGI的logo添加过来,logo添加方式为自适应,最后将logo放在左下角并调整其大小与位置让其看起来更合适。 56:22 图像底部完成后转向文字生成,图片可多输入且能拼接 本章节首先表明底部图像已完成,介绍了其包含logo、小程序、文本、图片和装饰物的布局流程。接着提到接下来要进行文字生成部分,先保存现有流程再做文本。还解答了能否添加多个图片的问题,称可以通过设多个image变量输入多张图片。最后简单提及一个电饭锅。 57:57 图像流与工作流结合,医美局河图生成中的图像理解输入要求 本章节图像流已完成,接下来要将图像流与工作流以及文本生成相结合以生成完整图片。创建医美局河图生成文本拼接图像流的工作流,其输入节点为一张图片,在插件使用的图像理解环节,若输入参数为URL信息可直接使用,不是则需转换,目前偏向实体识别,不需要OCR模型。 01:00:46 银海演示添加OCR到工作流程并结合大模型根据图像理解和OCR内容生成文案标题和文案 本章节主要是进行添加OCR的简单演示,将OCR添加到工作流程中,输入为一张图片,这样就具备图像理解和识别图像文本信息两个能力。之后以这两个能力生成的内容为输入使用大模型,通过引用相关信息,根据要求生成文案标题和文案,用户提示词的写法是重点。 01:03:22 用户提示词的简单写法:模仿风格输出标题与正文 本章节重点讨论了用户提示词的写法,提出最简单的方法是模仿特定风格输出标题内容,要用特殊字符区分相关内容,包含示例、凝视者等内容,输出包含标题和正文,还提到一种最简单的提示词是用少量样本提示(两个样本),并要试运行看结果。 01:05:43 图像理解中对电饭煲图像的处理与调试 本章节主要围绕图像上传试运行展开,图像为锅但无引用与图片文本信息。在图像理解时出现问题,经检查是弄错了大模型的输入,不是模型和系统提示词的问题。同时提到字数限制不太依靠大模型,且目前得到的结果与预期不符,后续需要通过提示修饰来达到想要的风格。 01:09:26 模仿推文生成内容,包括技术、洞察与增长相关的尝试 本章节主要是银海在讲话,提到今天都是急性手镯,他刚刷到妙刷里的推文,想要模仿其生成方式,还提到技术造力、选择洞察、增长等内容,同时提到文字文本不需要句句直接引擎,要每句直击人心且有标点、换行,还提及有同学理解差一点,可以再试试接月的内容。 01:11:58 高并发下换模型并使用自己插件重新调整工作流 本章节提到是克输鲁风格,要查看其运行结果。由于高并发,换了之前创建的模型,原因是插件调用时显示QPS too high。于是使用自己的插件,还要到借阅里拿API key来引用图片说明错误。接下来要串起整个工作流,之后再去调提示词。 01:14:10 新风格下的工作流程:拿到文本类后串联图像流并为文本添加占位符 本章节主要探讨使用新风格后的结果。在电饭煲的相关项目中,已拿到文本类内容,接下来要串联图像流。图像流输入需要有title和content,要增加这两个参数并引用相关内容信息,还发现图像流存在问题,如出现两张图,且有个地方应改成string类型。 01:16:00 以“永恒之国”为例的文本编辑排版操作 本章节以“永恒之功”为示例进行编辑操作,主要涉及文本预览的排版工作。提到结构方面存在换行只有一个文字且动态内容较难保持稳定的问题,还包括更换字体、添加浅浅的底色、调整颜色、调整发布位置以及增大字体等操作,同时提到了“永恒之国”等相关内容。 01:19:59 雕花过程中的素材运用与图片调整 本章节主要讨论雕花过程中的模板配置,提到可以用贴图添加元素,如icon、font等去找花的元素,还提及彩虹元素不能旋转,之后探索插画库,发现库上面一个功能可以旋转,建议将裂纹虎克旋转一下增添灵动感,最后表示贴图不好配置得特别美观,还需要各自去尝试。 01:22:23 文本试运行中调整文本居中遇到问题 本章节主要是对相关内容进行试运行,在操作过程中遇到一些文本排版问题,如字未居中、部分操作不生效、全选居中未自动实现等情况,还对文本的对齐方式进行了尝试,并且怀疑是否是bug,同时觉得这个东西优化一下很有意义。 01:26:36 工作流中接入图片能力并进行试运行,准备多种素材测试 本章节首先决定先发布无法居中的内容,之后再调整。然后将图片能力接入图像流,明确了引用的相关内容。完成这些后进行试运行,输入了锅这个元素。在过程中准备了其他素材,如开水壶、咖啡机、飞机、菠萝蜜等,还提及素材要选择界面复杂些的。 01:29:06 调整提示词以尝试不同效果并探讨写作风格与字数限制 本章节先是表示之前的效果大方向正确但提示词需慢慢调整,之后打算尝试不同效果。还提及思考提示词的风格,询问GPT己方写作手法,并打算尝试让大模型遵循限定字数,不过也不确定是否能够完全做到,最后出现“按徽渠换运营”这个意义不明的表述。 01:31:39 调试提示词风格的尝试与相关操作 本章节主要是在调试提示词风格,先是对无约束的提示词输出进行约束设定,尝试让大模型遵循提示词。过程中发现即使不用玄幻技巧,清晰表达指令就能让大模型生成内容,还可给更多样例辅助。此外还提及图像流相关内容,如图片的背景、主体信息设置等。 01:38:16 结果未拿到且输出不稳定,需重新运行查看 本章节主要提到他们查看时发现没有拿到最终结果,虽然有输出但是可能没有文本了。之后打算再跑一遍,同时提到当前的情况不是特别稳定。 01:39:26 示例跑完后今日分享结束,相关代码将入库且含使用说明 本章节首先提到跑完示例后今天差不多结束,然后简单讲解代码内容,大家可使用开源代码接入扣子API,之后再详细交流。图像流接入只需把风格转换的图像流接过来即可,相关代码会放入知识库的文档补齐。最后分享结束,大家可动手玩并选择自己喜欢的模型调用。 01:42:11 分享结束,欢迎参加11月杭州文三街区的AI切磋摆摊大会 本章节首先感谢银海的分享,其成果将被上架成模板。之后提到11月9 10日在杭州文三街区有AI切磋摆摊大会,预计摆100个摊位,先到先得,可手搓bot售卖,消费需买券。现场有打印机、影像机,附近商业成熟。最后鼓励大家搓工作流,直播结束后会把成果发群里。 12:44 14:41 17:37 20:20 24:55 29:37 30:51 32:10 33:35 34:51 38:19 41:40 43:37 45:03 48:14 50:33 54:22 56:22 57:57 01:00:46 01:03:22 01:05:43 01:09:26 01:11:58 01:14:10 01:16:00 01:19:59 01:22:23 01:26:36 01:29:06 01:31:39 01:38:16 01:39:26 01:42:11 12:44 AI驱动的拍立得:从图片到文字的多功能体验 12:44 本章节主要讲述拍立得相关内容。以前拍立得的印象是复古光影渲染,现在主要围绕从图片到文字、图片到图片的AI native概念。底层场景由AI agent或工作流驱动,之前有分享过AI工作流与拍立得的融合,大家可扫码体验。还展示了拍立得界面的场景功能并举例说明。 本章节主要讲述拍立得相关内容。以前拍立得的印象是复古光影渲染,现在主要围绕从图片到文字、图片到图片的AI native概念。底层场景由AI agent或工作流驱动,之前有分享过AI工作流与拍立得的融合,大家可扫码体验。还展示了拍立得界面的场景功能并举例说明。 14:41 拍立得小程序功能演示及课程相关介绍 14:41 本章节银海演示了拍立得的使用场景。其可在小程序中根据选定的风格(如小红书风格)生成文案,文案包含标题和正文,内容可复制用于发布,还能分享给朋友。此外也适用于大众点评、朋友圈等,朋友圈可按不同风格定制,还能上传图片、切换场景,课程中会讲解其实现方法。 本章节银海演示了拍立得的使用场景。其可在小程序中根据选定的风格(如小红书风格)生成文案,文案包含标题和正文,内容可复制用于发布,还能分享给朋友。此外也适用于大众点评、朋友圈等,朋友圈可按不同风格定制,还能上传图片、切换场景,课程中会讲解其实现方法。 17:37 AI拍立得的交互逻辑、场景及应用案例 17:37 本章节主要介绍了AI拍立得,它在图像生成、图片到文本、图片到图片等场景非常方便。讲解了其交互逻辑,包括场景选择、拍摄、识别、展示及用户选择等。还提到各场景可构建提示词,以工作流方式搭建内容,并举例闲鱼上架、妙刷爆了是如何操作的,还将带大家复刻物品收集案例。 本章节主要介绍了AI拍立得,它在图像生成、图片到文本、图片到图片等场景非常方便。讲解了其交互逻辑,包括场景选择、拍摄、识别、展示及用户选择等。还提到各场景可构建提示词,以工作流方式搭建内容,并举例闲鱼上架、妙刷爆了是如何操作的,还将带大家复刻物品收集案例。 20:20 零代码实现图像到文本工作流的扣子平台操作演示 20:20 本章节重点讲述0代码版本的实现,选择扣子平台进行演示。介绍了平台里的工作流和图像流,如image to test工作流。还阐述了辅助图像理解的插件和OCR插件的作用,并以皮卡丘的案例试运行流程,最后表示流程搭建容易,大家可以自行搭建。 本章节重点讲述0代码版本的实现,选择扣子平台进行演示。介绍了平台里的工作流和图像流,如image to test工作流。还阐述了辅助图像理解的插件和OCR插件的作用,并以皮卡丘的案例试运行流程,最后表示流程搭建容易,大家可以自行搭建。 24:55 街遇新城视觉模型体验,兼谈模型供应商选择 24:55 本章节主要讲述了街遇新城的视觉模型,其近期推出视频理解能力并可体验。还提到之前拍立得使用智谱AI,后因文本生成较单一换成通义,通义密钥配置稍麻烦但更安全且价格较便宜。另外还介绍了做OCR的垂直小模型puddle,以及API的收费情况。 本章节主要讲述了街遇新城的视觉模型,其近期推出视频理解能力并可体验。还提到之前拍立得使用智谱AI,后因文本生成较单一换成通义,通义密钥配置稍麻烦但更安全且价格较便宜。另外还介绍了做OCR的垂直小模型puddle,以及API的收费情况。 29:37 事业低谷期的尝试与获取 29:37 本章节银海提到在试验第五期想拿到某个东西,回忆年前事业低谷期看到一句话后有了改变,还提及在失业低谷期曾拿到一个东西,现在想试试看能否拿到MP4类型的东西,同时疑惑媒体是否拿不到一个东西,整体表达比较碎片化且语义不太清晰。 本章节银海提到在试验第五期想拿到某个东西,回忆年前事业低谷期看到一句话后有了改变,还提及在失业低谷期曾拿到一个东西,现在想试试看能否拿到MP4类型的东西,同时疑惑媒体是否拿不到一个东西,整体表达比较碎片化且语义不太清晰。 30:51 视频解读可依据画面,三分钟视频已拿到链接将让其解读 30:51 本章节提到已拿到视频链接并交给相关人员解读。之前有一个无声音的case,相关人员能够解读出来且体感更强。还提到刚刚下载了一个case,解读是根据视频画面而非声道或音轨,最后表示可以尝试根据画面解读的体感如何。 本章节提到已拿到视频链接并交给相关人员解读。之前有一个无声音的case,相关人员能够解读出来且体感更强。还提到刚刚下载了一个case,解读是根据视频画面而非声道或音轨,最后表示可以尝试根据画面解读的体感如何。 32:10 图像理解相关讨论及视频中的草地情侣场景 32:10 本章节首先要求根据视频链接写一篇小说,随后提到工作流中的图像理解,其发挥能力较强。还建议大家尝试智普、通义的VL模型,指出VL Max版虽成本高但效果好,最后提及图像理解速度快,以及视频理解中有涉及宁静草地上男孩女孩依偎的内容。 本章节首先要求根据视频链接写一篇小说,随后提到工作流中的图像理解,其发挥能力较强。还建议大家尝试智普、通义的VL模型,指出VL Max版虽成本高但效果好,最后提及图像理解速度快,以及视频理解中有涉及宁静草地上男孩女孩依偎的内容。 33:35 拍立得工作流:从图片到文本后看图像风格化转换工作流 33:35 本章节首先提到视频理解能力可应用于很多场景且共学课程会涉及,之后回到拍立得整体工作流。在工作流方面,已实现图片到文本的工作流,接着开始探讨图像风格化转换工作流,其操作较为简单只需加风格滤镜,创建图像流节点并选中风格即可,还示范了选择基粘土风并上传皮卡丘来运行。 本章节首先提到视频理解能力可应用于很多场景且共学课程会涉及,之后回到拍立得整体工作流。在工作流方面,已实现图片到文本的工作流,接着开始探讨图像风格化转换工作流,其操作较为简单只需加风格滤镜,创建图像流节点并选中风格即可,还示范了选择基粘土风并上传皮卡丘来运行。 34:51 从0到1完成图像相关操作及OCR验证的流程 34:51 本章节主要展示从0到1的操作过程,包括生成黏土风格皮卡丘的图像转换,完成图像到文本、图像到图像两个场景。还提及若有时间可创建插件,以官方API文档为依据借助AI写代码来创建。之后对OCR相关内容进行检查、修改,以获取完整的OCR和文本信息。 本章节主要展示从0到1的操作过程,包括生成黏土风格皮卡丘的图像转换,完成图像到文本、图像到图像两个场景。还提及若有时间可创建插件,以官方API文档为依据借助AI写代码来创建。之后对OCR相关内容进行检查、修改,以获取完整的OCR和文本信息。 38:19 图片分享的卡片制作工作流:从图像流到自动串联 38:19 本章节先结束之前内容回到其他流程重新开启导拍立相关内容,开始讲述图片分享相关。先要有图像流,涉及河图服务的画板,可设置多种参数。然后将输入图片、文本等信息试运行形成分享卡片。有了图像流后还想把包括OCR在内的其他内容自动串联起来。 本章节先结束之前内容回到其他流程重新开启导拍立相关内容,开始讲述图片分享相关。先要有图像流,涉及河图服务的画板,可设置多种参数。然后将输入图片、文本等信息试运行形成分享卡片。有了图像流后还想把包括OCR在内的其他内容自动串联起来。 41:40 拍立得拍摄与分享流程的构建及试运行 41:40 本章节主要是关于图像流和图片生成分享流构建完整工作流的内容。提到可通过定时任务、从图片站点获取或按关键词搜索来更新图片和推广语,已将拍立得拍摄与分享流程串联起来,后续打算试运行,还提到后续手把手操作时会讲解复用场景,且可添加多个图片输入框。 本章节主要是关于图像流和图片生成分享流构建完整工作流的内容。提到可通过定时任务、从图片站点获取或按关键词搜索来更新图片和推广语,已将拍立得拍摄与分享流程串联起来,后续打算试运行,还提到后续手把手操作时会讲解复用场景,且可添加多个图片输入框。 43:37 以商品图为基础创建梗句内容的尝试 43:37 本章节首先展示了一张已生成的图片并介绍其生成过程,提到当天要做更精致的内容。然后阐述了要做的内容是解析上传的商品图,获取主体信息中的短名词(偏向梗句),还提到背后用到很多有风格化的底部模板,且有固定内容,打算尝试创建相关内容。 本章节首先展示了一张已生成的图片并介绍其生成过程,提到当天要做更精致的内容。然后阐述了要做的内容是解析上传的商品图,获取主体信息中的短名词(偏向梗句),还提到背后用到很多有风格化的底部模板,且有固定内容,打算尝试创建相关内容。 45:03 在新建的VQ AGI团队空间进行图像流工作,以电饭锅图片为例尝试智能抠图 45:03 本章节主要是进行实际操作演示。首先新建名为VQ AGI的团队空间,目的是进行主体信息拆解。接着创建图像流工作流,选取资源项目中的图像流,并以一张商品主图(如电饭锅图片)为例,使用智能抠图能力,还提到提示词可自定义抠图主体内容,且要找复杂些、有背景的图片来测试抠图效果。 本章节主要是进行实际操作演示。首先新建名为VQ AGI的团队空间,目的是进行主体信息拆解。接着创建图像流工作流,选取资源项目中的图像流,并以一张商品主图(如电饭锅图片)为例,使用智能抠图能力,还提到提示词可自定义抠图主体内容,且要找复杂些、有背景的图片来测试抠图效果。 48:14 将抠图后的锅与海报合成的操作步骤 48:14 本章节主要是关于试运行抠图操作,使用image格式的图片信息date进行,抠图结果很干净。之后提到拿到抠图结果后,要将其合到海报上,包括进入画板、添加画板、调整元素、拿参数、调整尺寸(考虑A4尺寸)以及调整锅在画面中的位置等操作。 本章节主要是关于