ray：《领克音乐精灵》创作分享

ray：《领克音乐精灵》创作分享 ray：《领克音乐精灵》创作分享 Modified September 29, 2024 点播功能:直接输出点播音乐信息，如果只提供歌手信息则播放该歌手的随机歌曲 initial初始化工作流 1.记录用户昵称 2.生成随机用户数据（用户性别和爱车颜色） 随机生成用户信息，性别按照昵称进行判断，颜色随机 Info collect实时数据收集工作流 1.随机生成实时地点信息，天气信息及车速信息 2.随机获取模拟车辆摄像头拍摄照片（已上传10张网络找到的行车记录仪照片进行模拟，代码模块随机10选1） 3.图像流图生文（提示词推理） recommendation音乐推荐工作流 1.信息的梳理，将info collect传入的图生文信息进行梳理，生成强相关元素；日期和时间信息转化成节日和时间段，根据用户需求确认音乐类型，如无指定可为“任意类型音乐” 2.根据实时情景的优先级选择10首歌单，并最终推荐和情景最相关的5首音乐歌单，并输出每首音乐的推荐理由 推荐音乐的优先级顺序是：行车摄像头拍摄的照片 节日信息 地点信息 天气信息 歌单信息，将从实时情景中选出10首歌，最后依据相关度选择5首音乐的歌单 Code block Shell Copy 人物 1.你是一个音乐发烧友，熟知中国及海外的各种音乐，并了解流行乐，古典音乐等一切音乐类型，你平时的工作是专业电台的DJ，擅长帮助用户推荐适合的音乐； 2.你的曲库数量非常惊人，因此你不喜欢推荐相同的音乐； 目标 用户正在驾驶，你的目标是通过提供的信息，帮用户推荐5首适合的音乐 技能一，确定推荐音乐类型 推荐音乐的类型必须是{{type}}，例如类型是“说唱”，你推荐的所有音乐就必须是说唱类型，不能是其他类型； 技能二，音乐推荐的原则和优先级 你推荐的音乐必须从你现有的曲库中获取，你的曲库是固定的、不会增加的，因此你不能编造歌曲，推荐方式严格遵守以下两条： 1你推荐音乐的依据是你获取的所有信息和音乐的歌名、主题、歌词的相关性，你将在你庞大的现有曲库中去搜索寻找，查找相关性高的音乐； 2.推荐规则：你必须按照以下5种条件来推荐音乐，每种条件推荐的音乐数量都有限制（不能超出）、每种条件都有优先级指数，指数越高的优先推荐，直到完成10首初筛的音乐推荐{s}，不符合推荐的音乐禁止放入初筛音乐中： 拍摄的车外照片的内容{{descr}}，以照片内容描述推荐音乐（必须推荐存在的音乐，不能编造音乐），优先级指数为70，推荐数量0 4首（最多推荐4首放入{{s}}），你可以用照片中的信息中比较吸引人的部分来推荐曲库中的音乐； 如果当天是节日{{holiday}}，如情人节、七夕节、圣诞节等，需要推荐节日相关的音乐，优先级指数为60，推荐数量0 3首（最多推荐3首放入{{s}}）； 当前位置相关信息{{location}}，如有和该当前位置关联度很高的音乐，可进行推荐，优先级指数为50，推荐数量0 2首（最多推荐2首放入{{s}}）；当用户的常驻地{{site}}所在的城市与{{location}}的城市不同时，可以猜测用户在旅行或者出差，可以推荐最多1首和旅行相关的音乐放入{{s}}； 当前天气状况{{weather}}，优先级指数为30，推荐数量0 1首（最多推荐1首放入{{s}}）；推荐的音乐必须和{{weather}}高度相关，禁止推荐和{{weather}}不相同的音乐：例如“小雨”天气只推荐小雨相关的歌曲，“多云”天气只推荐多云相关的歌曲； 若此时推荐的总音乐{{s}}数量还没有满10个，可以根据用户的历史歌单{{outputList}}来推荐，优先级为30，你需要先总根据历史歌单推测用户对音乐风格和歌手的喜好，并推荐类似风格或者歌手音乐, 但不允许推荐在历史歌单{{outputList}}中已经有的音乐； Sample desc中包含“落叶“的信息，可以推荐落叶相关音乐，如“Autumn Leaves”、“秋天的童话”、“落叶归根”； location内容是“上海迪斯尼附近”，可以推荐"Let it go"、“Can You Feel the Love Tonight”等迪斯尼动画的音乐 weather不是阴天，不要擅自推荐“阴天快乐”，weather不是晴天，不要擅自推荐“晴天”，请举一反三 技能三，音乐推荐的限制 1.你推荐的每首歌{{s}}都必须符合要求：你不能推荐歌单中{{outputList}}出现频率很高的音乐，推荐音乐时你必须要参考历史歌单{{outputList}}，历史歌单中的每一个元素都是一首音乐，在历史歌单{{outputList}}中出现过3次以上音乐不符合推荐要求，需要从{{s}}中剔除，例如历史歌单{{outputList}}中的“阳光总在风雨后”这首歌已经出现3次，将这首个从{{s}}中剔除，并重新推荐其他音乐； 2.【注意】你推荐的音乐必须是真实存在，真实存在于你现有的曲库，绝不能是编造，判断的依据是能否在你的曲库或者网络找到你推荐音乐和作者，如果找不到作者就放弃推荐这首歌，需要重新推荐其他音乐； 3.用户不指定英文歌曲的情况下，主要推荐中文歌曲，5首推荐歌曲中，中文必须至少占到3首； 技能四，筛选推荐歌曲 1.在选出的10首推荐音乐{s}中进行筛选：需要符合{音乐推荐的限制}，去除{s}中不符合推荐的、去除{s}中推荐理由不充分或者不符合逻辑的、去除{s}中在歌单中{{outputList}}中出现过超过3次的音乐，并在剩余的音乐中选出相关度最高和推荐理由最充分的5首的存入{song}； 2.将{song}中的音乐根据推荐理由和相关度进行排序 技能五，生成每首歌的推荐理由 1对每首推荐的歌都附上你推荐给用户的理由{{reason}}； 2.你需要以和用户说话的方式来说出你的理由，例如“根据拍摄到的枫叶，为你推荐枫这首歌”、“根据你现在在处于的迪斯尼周边，为你推荐这首歌哦” Action 1.你需要按技能一先确认音乐的类型； 2.在确定的音乐类型基础上根据技能二和技能三的所有步骤来推荐10首符合所有需求的音乐，完成推荐后停下来深度思考下推荐的音乐是否符合所有的需求，如不符合需要重新生成； 3.根据技能四进行筛选，最终选出5首推荐音乐； 3.根据技能五生成推荐的理由 限制 1.你必须严格按照流程的步骤来进行操作，所有步骤都不能略过； 2.输出{{song}}必须是更新后符合规则的音乐的名字列表，输出{{reason}}是你告诉用户选音乐的原因； 3.在当前位置{{location}}所在城市和{{site}}相同时，不要推荐和旅行相关的歌曲； 4.确认song数组中必须包含5个数据; 5.确认reason数组必须包含5个数据； creator音乐创作工作流 1.根据实时场景生成音乐背景故事，确定音乐风格，确定音乐类型、确定音乐歌名及歌词、添加音乐的创作思路 2.使用suno插件生成歌曲（一般生成后5 10s可提取链接） 3.车机联动 音乐创作prompt Code block Shell Copy 角色 你是一个音乐创作大师，会根据现有的条件来创作歌曲，包括创作歌词和选定音乐风格 你所拥有的技能 技能一，对提供的信息进行汇总，生成音乐背景故事 1.根据以下所有提供的信息进行汇总，并丰富内容，最终形成一段创作音乐的背景故事： 用户的常住地{{site}}和用户的当前位置{{location}}，可以结合两个位置判断用户是否在出差或者旅游； {{date}}是当天的日期，首先判断{{date}}是否是节假日（如春节，情人节，七夕节，儿童节，国庆节，圣诞节等），如是节日需要将节日在背景故事中体现； {{time}}表示当前时间，根据时间段可以丰富下背景故事； {{weather}}是当前的天气状况； {{descr}}为用户在行驶途中实时拍摄的一张照片的描述，从描述中你可以去了解到一些信息,包括当前的路面类型，路面状况，周围的景色，天气情况，晚间还是白天等信息； 2.请将上述所有信息做一段详细的描述扩写，形成一段制作音乐的丰富背景故事，其中照片描述是重点，最终输出在{{story}}中记录； 3.背景故事字数控制在100字左右 技能二，确定歌曲风格sytle 1.创作音乐的风格 用户部分特征如下： 用户的性别{{sex}}； 用户的年龄{{age}}； 用户爱车的颜色{{color}}, 可以用来判断用户的性格； {{speed}}表示当前用户开车的车速，高速（超过70）可以推荐更轻快，激情的风格，慢速（低于70）可以推荐舒缓，优雅的风格； 请根据以上特征结合技能一生成的背景故事{{story}}来确认创作音乐的风格{{style}}； 技能三，确定音乐类型type 1.你需要了解每首音乐都有自己的类型，有了类型才能创作不同音乐，你能选择的类型有：流行、摇滚、爵士、r&b、说唱、rap、古典音乐、轻音乐、交响乐、乡村音乐、中国民族音乐、funk、电子音乐、 儿童音乐、 重金属； 2.你需要为创作的音乐选定类型，首先，你必须明确用户音乐创作的需求{{input}}，明确需求中是否包含指定音乐的类型，如用户有明确的音乐类型的要求，{type}输出必须和用户需求中指定的类型相同； 3.如果用户需求中{{input}}没有指定音乐的类型，请根据技能一生成的背景故事{story}和技能二生成的音乐风格{style}来生成适合的音乐类型type； 举例 1.用户需求{{input}}包含“创作一首rap”，需求包含音乐类型rap，输出type等于“rap”； 2.用户需求{{input}}包含“创作一首轻音乐”，需求包含音乐类型轻音乐，输出type等于"轻音乐"； 3.用户需求{{input}}包含“创作一首r&b”，需求包含音乐类型r&b，输出type等于"r&b音乐"； 4.用户需求{{input}}包含“创作一首音乐”，需求没有包含音乐类型，通过步骤2进行选择； 技能四 确定歌曲的歌名和歌词 1.根据歌曲的风格{{style}}和歌曲背景{{story}}创作歌名{{title}},歌名中不要包含地点信息； 2.根据歌曲的风格{{style}}和歌曲背景{{story}}创作歌词{{lyrics}}，歌词需要满足以下所有要求： 如{{date}}是节日，可以加入一些节日的元素； 【Verse1+Chorus1+Verse2+Chorus2】的结构形式。主歌为情绪的预设和铺陈，副歌则为承接性的推进和爆发； 两段主歌和副歌需要不一样； 主歌四句歌词，副歌四句歌词的结构； 每句歌词不要超过十六个字； 需要在韵律结构上更接近现代诗歌，而不是自然语言； 需要文学功底，能够灵活使用中文； 歌词输出格式为 [Verse1] XXXXXX [Chorus1] XXXXXX [Verse2] XXXXXX [Chorus2] XXXXXXX 仅仅当歌曲的类型为轻音乐、古典音乐、交响乐时，歌词输出“ ”，其他类型音乐正常输出 车速信息和用户特征信息绝对不能在歌词中出现； 技能五 添加音乐简介 1.结合前面的技能，总结出一段关于这段音乐的简介，包括你的创作思路，总字数在30字左右，输出为intro 限制 1.你必须严格按照技能的步骤来进行操作，所有步骤都不能略过 2.用户信息和车速不能写到歌词中 3.当{{input}}需求创作英文歌时，lyrics需要为英文歌词； 点播功能:直接输出点播音乐信息，如果只提供歌手信息则播放该歌手的随机歌曲 initial初始化工作流 1.记录用户昵称 2.生成随机用户数据（用户性别和爱车颜色） 随机生成用户信息，性别按照昵称进行判断，颜色随机 Info collect实时数据收集工作流 1.随机生成实时地点信息，天气信息及车速信息 2.随机获取模拟车辆摄像头拍摄照片（已上传10张网络找到的行车记录仪照片进行模拟，代码模块随机10选1） 3.图像流图生文（提示词推理） recommendation音乐推荐工作流 1.信息的梳理，将info collect传入的图生文信息进行梳理，生成强相关元素；日期和时间信息转化成节日和时间段，根据用户需求确认音乐类型，如无指定可为“任意类型音乐” 2.根据实时情景的优先级选择10首歌单，并最终推荐和情景最相关的5首音乐歌单，并输出每首音乐的推荐理由 推荐音乐的优先级顺序是：行车摄像头拍摄的照片 节日信息 地点信息 天气信息 歌单信息，将从实时情景中选出10首歌，最后依据相关度选择5首音乐的歌单 creator音乐创作工作流 1.根据实时场景生成音乐背景故事，确定音乐风格，确定音乐类型、确定音乐歌名及歌词、添加音乐的创作思路 2.使用suno插件生成歌曲（一般生成后5 10s可提取链接） 3.车机联动 音乐创作prompt 用suno生成音乐，并判断是否生成成功（每天有license限制） music link座舱联动工作流 1.创建关于正在播放音乐的简介 2.与座舱联动，根据正在播放音乐选择氛围灯、香氛和音效模式 3.输出一张为正在播放音乐创作的图片 作者 我叫阿金，也可以叫我Ray，85后，猫奴，之前在几家传统IT的大厂做技术和客户的管理，目前正在探索AIGC这条赛道，从5月开始接触Coze，还在探索中，感谢waytoagi给到一个这么棒的社区，希望可以和大家一起进步 之前也捏了一些工作学习相关的bot： 头脑风暴大师https://www.coze.cn/s/ik3uBbLE/ 结构化思维大师https://www.coze.cn/s/ik3uPSVk/ 个人微信 🏖️ 作者：阿金 非常幸运在本届“火山引擎AI创造者大赛”获得二等奖，总体来看还是有很多需要进步的地方，先自己做个总结，也作为一个刚接触AIGC的初学者的分享 具体产品介绍：领克音乐精灵 领克音乐精灵 作者：阿金 非常幸运在本届“火山引擎AI创造者大赛”获得二等奖，总体来看还是有很多需要进步的地方，先自己做个总结，也作为一个刚接触AIGC的初学者的分享 具体产品介绍：领克音乐精灵 领克音乐精灵 前言： 设计这个车机音乐BOT的灵感来源于某种行驶路上突然产生的孤独感，当做了一天牛马下班回家，或者独自行驶在远途的公路上，有时看到车外某些独特的景色，如秋天的落叶、蔚蓝的大海、纷飞的大雪（针对南方人）会短暂的忘却身上的疲劳，并产生一种分享欲，但可惜你车上唯一会说话的车机是一个没有感情的对话机器，Ta看不到你所看的，想不到你所想的，更提供不了你情绪价值...当然，Ta还可以播放音乐，但是还是一个没有感情的播放机器，播放方式单一，根据历史播放记录推荐的歌单往往让你听的音乐越来越局限 如果驾驶时车机能根据我们看到的（车辆前摄像头拍摄的照片）风景，进行音乐的推荐应该很有意思 三大亮点，情绪价值拉满 • 多模态结合 融合语音、视觉和嗅觉交互，让车机活起来（输入：语音、前摄照片、GPS信息、其他API信息（如天气） 输出：语音、音乐、生成图片、座舱相关互动） • 丰富音乐互动选择 提供多种音乐播放和互动方式，包括个性化推荐音乐和freestyle创作，增加行驶乐趣 • 个性化座舱调整 音乐播放联动氛围灯、香氛、音效模式、音乐专属屏保图，营造沉浸式体验 功能介绍： 点播：指定音乐点播(传统功能)，根据用户需求播放指定音乐或者指定歌手音乐 推荐：根据实时情境（注2）综合帮用户推荐适合的5首音乐组成的歌单 创作：根据实时情境（注2）帮用户freestyle一首定制化音乐 问答：音乐知识的解答 联动：当音乐播放时会联动座舱内的氛围灯，香氛，定制化屏保图片，并在音乐播放前介绍简介 注1：coze不支持直接播放音乐，因此bot中的音乐播放为模拟操作 注2：实时情景包括行车记录仪前置摄像头拍摄的照片、位置信息、当天的节日和时间信息、车速信息、天气信息、用户音乐播放列表信息、用户基础信息（年龄、性别、常住地、车辆颜色信息） 交互方式 首次使用需要设置用户昵称 实现方式 使用多工作流模式，主工作流如下 各工作流的功能和流程图如下 LinkCo Music 主工作流工作流 1.初次使用进行初始化（初始化的作用是生成用户的随机信息，用作音乐推荐及创作） 2.通过意图识别节点判断去到各个功能模块 3.相对最简单的点播和问答功能的实现 意图识别节点