甲木:如何构建生产级Prompt?这四个阶段的工程化方法论值得收藏(by 火山Meetup复盘)
甲木:如何构建生产级Prompt?这四个阶段的工程化方法论值得收藏(by 火山Meetup复盘)
甲木:如何构建生产级Prompt?这四个阶段的工程化方法论值得收藏(by 火山Meetup复盘) 甲木:如何构建生产级Prompt?这四个阶段的工程化方法论值得收藏(by 火山Meetup复盘) Modified October 9, 2025 点击生成全部回答后,模型很快给出了包含可能的病因和判定依据的回答。 以上就是PromptPilot的几个简单应用场景,接下来我们来回答一下开头的几个问题: 有场景没思路的时候如何写Prompt? 甲木知道在很多时候我们都是了解需求场景,但没有办法把它转化成Prompt, 这时候我们可以去选择一个MetaPrompt(元提示词)帮我们根据自己所需去打造初版prompt的内容,然后进行调试,比如大家都知道的LangGPT提示词专家等等, 以及我之前给大家分享过的 如何构建初版提示词 的方法论文章, 归根结底一句话: “通过AI的能力拓展我们的行业knowhow,根据Prompt方法论帮我们完成场景prompt编写” 甲木在平时,也会有很多各行各业的应用场景不知悉,不清楚, 你不了解行业知识怎么能写好这个行业的应用Prompt呢? 这时候,虽然我不了解,但是AI了解啊, 它懂世界知识,我们就不断地跟它沟通,不断地跟它交流,告诉它我们的预期,再按照我们的方法论让它去进行整合和补充, 这样,我们就能完成初版prompt的构建。 而现在,有了更好的方案, PromptPilot平台的设计初衷之一,就是为了解决这种“冷启动”困难。 它将这个过程从“苦思冥想”变成了“互动探索”。 当有场景没prompt思路时, 不要把压力都放在自己身上。 可以利用PromptPilot等之类的工具成为一个优秀的“任务指挥官”。 只需要提出一个初始目标,然后通过不断的交互和反馈,让AI来帮助您探索、澄清和实现最终的意图。 生产级场景的Prompt如何构建与投产使用? 我们评判一个提示词的好与坏,不在于它一次任务的完成度有多好,而是能否在多次任务中都能够 重复、有效、可稳定 的实现目标任务。 这正是区分“玩具级”Prompt和“生产级”Prompt的核心标准。 生产级场景追求的不是一次惊艳的“神抽卡”,而是像工业流水线一样, 高效率、高稳定性和可迭代 地输出符合业务要求的结果。 这里可以给大家看个生产级场景中的case,真不是广告,我在生产级场景中一直在频繁的使用promptpilot工具。。 那么我的工作流是什么样的呢?也可以分享给大家: 简单来说四个核心阶段: 开发与调试、批量评测、智能优化、投产与监控 。 阶段一:开发与调试阶段 (从0到1) 这是冷启动阶段,目标是快速将一个模糊的业务需求,转化为一个可用的、结构化的Prompt。 这里可以根据自己的任务描述通过PromptPilot(以下简称PP)生成初版prompt,也可以自己根据经验写prompt,拿我这个生产场景,是我自己写的。 隐私保护,就不完全展示了 然后进行单点验证,在业务场景中,在变量处填入自己的真实数据,进行prompt调试, 如果对生成的结果不满意,可以直接在局部进行修改,或通过对话向AI提出修改意见, 同样地,如果您手头没有现成的测试数据,还可以让AI根据Prompt上下文自动生成逼真的变量内容,帮助您验证和激发思路 阶段二:批量评测阶段 (从1到N) 单一案例的成功不具备代表性。生产级的Prompt必须在大量的、多样化的数据上证明其稳定性。 1. 构建评测数据集 :准备一个包含数十甚至数百个案例的数据集(通常是Excel或CSV文件),其中应覆盖各种正常情况、边界情况和已知的Badcase。 2. 建立客观评估标准 :这是确保“稳定有效”的关键。您需要为“好结果”下一个明确、可量化的定义。PromptPilot支持AI辅助生成标准和自定义标准: 1. 自动化评估与打分 :PP将使用您的Prompt处理整个评测集,并根据您建立的标准,对每一个结果进行自动评分。 最终,您会得到一个关于当前Prompt版本的 综合得分 和详细的评分分布,让您对Prompt的整体表现有清晰、客观的认知(隐私原因暂不展示了)。 阶段三:智能优化阶段 (追求更优) 有了量化的评估结果,下一步就是系统性地提升Prompt性能。 1. 一键智能优化 :基于带有评分的评测数据集,启动“智能优化”功能。PP会分析所有高分和低分案例,理解您的评估偏好和业务目标,然后 自动进行多轮迭代,生成一个效果更好的新版Prompt 。 进入优化阶段 1. 查看优化报告 :优化完成后,平台会提供一份详细的对比报告,清晰展示新旧版本Prompt的综合得分对比(例如从3.2分提升至4.8分)、评分分布变化以及具体的Prompt修改内容,让每一次优化的效果都一目了然。 点击生成全部回答后,模型很快给出了包含可能的病因和判定依据的回答。 以上就是PromptPilot的几个简单应用场景,接下来我们来回答一下开头的几个问题: 有场景没思路的时候如何写Prompt? 甲木知道在很多时候我们都是了解需求场景,但没有办法把它转化成Prompt, 这时候我们可以去选择一个MetaPrompt(元提示词)帮我们根据自己所需去打造初版prompt的内容,然后进行调试,比如大家都知道的LangGPT提示词专家等等, 以及我之前给大家分享过的 如何构建初版提示词 的方法论文章, 归根结底一句话: “通过AI的能力拓展我们的行业knowhow,根据Prompt方法论帮我们完成场景prompt编写” 甲木在平时,也会有很多各行各业的应用场景不知悉,不清楚, 你不了解行业知识怎么能写好这个行业的应用Prompt呢? 这时候,虽然我不了解,但是AI了解啊, 它懂世界知识,我们就不断地跟它沟通,不断地跟它交流,告诉它我们的预期,再按照我们的方法论让它去进行整合和补充, 这样,我们就能完成初版prompt的构建。 而现在,有了更好的方案, PromptPilot平台的设计初衷之一,就是为了解决这种“冷启动”困难。 它将这个过程从“苦思冥想”变成了“互动探索”。 当有场景没prompt思路时, 不要把压力都放在自己身上。 可以利用PromptPilot等之类的工具成为一个优秀的“任务指挥官”。 只需要提出一个初始目标,然后通过不断的交互和反馈,让AI来帮助您探索、澄清和实现最终的意图。 生产级场景的Prompt如何构建与投产使用? 我们评判一个提示词的好与坏,不在于它一次任务的完成度有多好,而是能否在多次任务中都能够 重复、有效、可稳定 的实现目标任务。 这正是区分“玩具级”Prompt和“生产级”Prompt的核心标准。 生产级场景追求的不是一次惊艳的“神抽卡”,而是像工业流水线一样, 高效率、高稳定性和可迭代 地输出符合业务要求的结果。 这里可以给大家看个生产级场景中的case,真不是广告,我在生产级场景中一直在频繁的使用promptpilot工具。。 那么我的工作流是什么样的呢?也可以分享给大家: 简单来说四个核心阶段: 开发与调试、批量评测、智能优化、投产与监控 。 阶段一:开发与调试阶段 (从0到1) 这是冷启动阶段,目标是快速将一个模糊的业务需求,转化为一个可用的、结构化的Prompt。 这里可以根据自己的任务描述通过PromptPilot(以下简称PP)生成初版prompt,也可以自己根据经验写prompt,拿我这个生产场景,是我自己写的。 隐私保护,就不完全展示了 然后进行单点验证,在业务场景中,在变量处填入自己的真实数据,进行prompt调试, 如果对生成的结果不满意,可以直接在局部进行修改,或通过对话向AI提出修改意见, 同样地,如果您手头没有现成的测试数据,还可以让AI根据Prompt上下文自动生成逼真的变量内容,帮助您验证和激发思路 阶段二:批量评测阶段 (从1到N) 单一案例的成功不具备代表性。生产级的Prompt必须在大量的、多样化的数据上证明其稳定性。 1. 构建评测数据集 :准备一个包含数十甚至数百个案例的数据集(通常是Excel或CSV文件),其中应覆盖各种正常情况、边界情况和已知的Badcase。 2. 建立客观评估标准 :这是确保“稳定有效”的关键。您需要为“好结果”下一个明确、可量化的定义。PromptPilot支持AI辅助生成标准和自定义标准: 1. 自动化评估与打分 :PP将使用您的Prompt处理整个评测集,并根据您建立的标准,对每一个结果进行自动评分。 最终,您会得到一个关于当前Prompt版本的 综合得分 和详细的评分分布,让您对Prompt的整体表现有清晰、客观的认知(隐私原因暂不展示了)。 阶段三:智能优化阶段 (追求更优) 有了量化的评估结果,下一步就是系统性地提升Prompt性能。 1. 一键智能优化 :基于带有评分的评测数据集,启动“智能优化”功能。PP会分析所有高分和低分案例,理解您的评估偏好和业务目标,然后 自动进行多轮迭代,生成一个效果更好的新版Prompt 。 进入优化阶段 1. 查看优化报告 :优化完成后,平台会提供一份详细的对比报告,清晰展示新旧版本Prompt的综合得分对比(例如从3.2分提升至4.8分)、评分分布变化以及具体的Prompt修改内容,让每一次优化的效果都一目了然。 在现场也跟PP团队的小伙伴们反馈了,如果还没改,我要去大钟寺push了 作为一个对外发布没多长时间的工具,我们也应该对它多一些包容和理解 期待以后PromptPilot越来越好 更多内容 其实上午场和下午场还发布了很多有意思,又好玩有用的产品, 企业N件套 比如 Responses API :写过Agent的兄弟都懂,管理多轮对话和工具调用有多烦人。 而这个API它 原生支持上下文管理,能让多轮对话的开发成本和延迟大幅降低 。更牛的是,它还能自主选择调用工具,你只管发请求,它能自己组合模型和工具来解决复杂任务,开发时间能大幅缩短。。 比如 AI知识库 :如果说普通RAG是给AI外挂一个U盘,那AI知识库就是给它配了个智能云盘+私人秘书。它能理解包括图像、视频和超大文件在内的海量多模态数据。 还有 VikingDB:知识库&向量库 :最后必须提一下支撑这一切的底层“核动力”——VikingDB。作为字节自研、支撑了抖音推荐系统多年的高性能向量数据库,它的性能和稳定性毋庸置疑。 还有实用的同声传译,围观了一堆人。。 哦对,聊了这么多,你肯定想问,这么牛的东西用起来贵不贵? 这就是为啥我觉得火山方舟这次特别有诚意的原因。他们推出了一个简单粗暴的 「协作奖励计划」 。 https://www.volcengine.com/product/ark 个人认证和企业认证都有,简单说,就是官方出钱让你来体验和测试,帮你省钱,顺便帮你把模型和应用打磨得更好用。 这种双赢的好事,上哪找去?活动持续到今年11月30日,赶紧冲! 结语 这一趟厦门执行,收获很大。 也借此机会,跟各位聊一下这三个话题, • 「基于成本和效果平衡如何选择模型?」 • 「有场景没思路的时候如何写Prompt?」 • 「生产级场景的Prompt如何构建与投产使用?」 抛砖引玉,希望能给大家一些思路和启发。 我们正亲眼见证,AI应用开发正从一个依赖个人经验和灵感的“手工作坊”时代, 大步迈向一个有方法论、有工具链的“标准化工业”时代。 真正的AI落地,拼的不是某个单点技巧,而是全链路的工程化能力。 而这,或许就是这次巡展给我,也希望能带给大家的最大启发。 未来,我们与AI的关系将不再是简单的“人机交互”,而是一种深度的“意图共鸣”。 我们不再需要穷尽所有技术细节,只需怀揣清晰的愿景,就能借助愈发智能的工程化工具, 将心中的答案, 转化为改变世界的结果。 憧憬,并向往着那一天的到来 你认为PromptPilot这样的工具,为你解决了哪些实际问题? 对于豆包大模型和协作奖励计划,你还有哪些期待和建议? 我是甲木,热衷于分享一些AI干活内容,同时也会分享AI在各行业的落地应用,我们下期再见👋🏻 觉得今天的内容对你有“一点点”启发吗? 老规矩,【点赞👍】+【在看👀】+【转发↗️】走一波! 你的每一个支持,都是甲木持续探索AI硬核应用的核动力! 与我联系 欢迎在评论区留言,和甲木一起开脑洞! 🔗 原文链接: https://mp.weixin.qq.com/s/3EiOt W9... https://mp.weixin.qq.com/s/3EiOt W9... 原创 甲木Zuiyn 甲木未来派2025年08月04日 08:19 北京 小伙伴们大家好呀,我是甲木。 前几天,我去厦门参加了火山引擎的AI创新巡展,玩的很开心,也见到了很多朋友 在上篇文章的开头也跟大家说了, 今天会跟大家唠唠他们发布会的主要内容, 以及重点会给大家分享, 1、 「基于成本和效果平衡如何选择模型?」 2、 「有场景没思路的时候如何写Prompt?」 3、 「生产级场景的Prompt如何构建与投产使用?」 这些也是很多企业朋友关心的问题,借此机会,跟大家分享一下 看图找人,猜猜甲木在哪里... 我本来是冲着他们全新升级的豆包1.6系列大模型去的, 毕竟更强的模型意味着我们手里的“武器”又升级了。 但没想到他们还对外公开了很多有意思的产品, 哦对了,该怎么形容上午发布会的火爆程度呢。。 我和乔木、一泽、苍何、袋鼠帝都是站着看完发布会的,后边站着三排人... 对,没错,这是我的「站排」视角 话不多说,我们挨个来看看 基于成本和效果平衡如何选择模型? 开场谭待老师就从「“有好模型”到“做好应用”」的分享中 介绍了豆包大模型过去一段时间的发展,能力不断提升。 之后,带出了豆包1.6系列的全新升级! 也是本场的重头戏,现在也都可以在火山方舟上去进行体验, 咱们今天就掰开揉碎了分开说一说: 首先是 Doubao Seed 1.6 thinking 的模型,它主打的就是一个“深度思考”。 对比上一代,它在 Coding、Math、逻辑推理 这些硬核基础能力上又精进了不少,还支持了视觉理解,能看懂图。更关键的是,它支持 256k 的超长上下文窗口,输出长度最大能到16k tokens,处理复杂任务和长文档简直是降维打击。 适合我们去处理一些复杂多模态场景的问题,比如,我让它直接帮我进行作业批改 火山方舟上可以直接体验🔗 https://www.volcengine.com/experience/ark 它在长达四分钟的阅读、思考、理解之后,会给到我一系列的修改建议,还会给出一个总结。 大家可以去体验一下效果 多模态理解层面非常👍🏻 这,就是Seed 1.6 thinking 0715模型的升级, 除了1.6 thinking之外,他们的 1.6 Flash 也同步升级了, 如果说thinking是“最强大脑”,那flash就是“闪电侠”。 它的推理速度快到极致, TPOT(每个输出token的时间)仅需10ms 。同样支持文本和视觉理解,纯文本能力还比上一代lite提升了近10%。 同样具备256k长上下文,追求极致响应速度的场景,选它准没错。 比如,让它总结下沐神的B站首页进行分析,非常迅速给出结果 上述两个模型其实或多或少在其它渠道都有所耳闻, 而他们这次还更新了 Seed1.6 embedding 模型,这绝对是这次的重头戏,做RAG和搜索的兄弟们估计已经坐不住了。它不只是一个普通的向量模型,而是全模态的! 不光在MTEB(纯文本)和MMEBv2(多模态)两大权威榜单上拿下了SOTA,在图文检索、语义匹配(STS)这些通用任务上也表现超神,泛化能力极强 而且 首次引入了视频向量化能力! 这意味着它可以 统一处理文本、图像、视频帧 ,并支持多模态的混合输入。无论是在跨模态搜索、内容理解还是多模态Agent场景,都提供了更灵活、更强大的表达能力,是 业界首发 支持混合模态检索的embedding模型。 可以先感受下图像检索,视频这块我还没权限 而且模型能更好地理解你的“指令”,你可以通过定制化的指令模板来引导向量的生成,让embedding表达更贴合你的具体业务目标,用更低的成本提升场景效果。 这三个模型能力的升级都非常不错,那么我们来聊聊对于企业而言, 如何「基于成本和效果平衡如何选择模型?」 其实不管是哪家模型,我们都需要考虑「成本」和「效果」, 不存在一个“万能”的完美模型, 「最优选择永远是“最适合业务场景”的模型」 。 企业选择的过程,本质上是在 性能、成本和控制权 这三个维度上进行权衡和取舍。 拿Seed模型来举例: 1、当业务场景对结果的 准确性、深度和逻辑性有最高要求 ,且预算相对充足时,应优先选择Doubao Seed 1.6 thinking模型。 2、当业务场景对 响应延迟 要求苛刻,或 需要处理海量请求,希望在保证良好基础效果 的同时最大化成本效益时,Doubao Seed 1.6 flash是理想选择。 为什么呢?我们可以看下两者的价格: 两者相差几倍 3、而如果需要构建 搜索和推荐系统 ,尤其是涉及图片、视频等多模态内容的业务,Seed1.6 embedding模型反而是优选,提供极具竞争力的成本优势。 这里也可以给企业方朋友们提供一个问题清单: 而对于成熟的企业应用而言,最优解通常不是单一模型,而是构建一个“模型矩阵”或“模型瀑布”。 比如: • 所有用户请求首先由一个成本极低的“路由”模型进行意图识别。 • 简单问候或分类任务,该模型直接处理。 • 复杂一点的,则转发给性价比高的主力模型。 • 如果识别出是需要深度创作或复杂逻辑的请求,再升级调用最顶级的性能模型。 抛砖引玉,最优选择永远是“最适合业务场景”的模型, 而业务场景,我相信你自己再熟悉不过了 其实除了模型选型方面之外,Prompt也是我们应用好AI必不可少的一环, 有很多小伙伴比较好奇我平时写Prompt的思路,以及在有场景没思路的时候如何来写Prompt? 而这,也是这次下午场火山方舟端出的另一道“主菜” —— PromptPilot 。 生产级场景的Prompt如何构建与投产使用? 我们都心知肚明,再强的模型,也得有人会用才行。 就像红杉峰会上大佬们的共识: 「下一轮 AI,卖的不是工具,而是收益」 真正的AI产品,看的不是“能力”,而是“结果”。 而连接“能力”和“结果”的最大瓶颈,就是我们每个每天都在抓耳挠腮的Prompt工程! 大家常常遇到的痛点是: • 要么效果全凭运气,反复横跳,心态爆炸; • 要么就是上线后被用户的各种奇葩输入干翻,疯狂救火。 而PromptPilot,我愿称之为终结这种“手工作坊”式开发的“新物种”。 主界面如图所示,目前还都是免费使用,快来薅羊毛... 它不是一个教你写Prompt的老师,而是一个能帮你 自动生成、评估、迭代、优化Prompt的智能领航员。 来一句话总结: PromptPilot 是目前国内对外提供Prompt工程化应用实践的最好用的工具,它提供全流程智能优化,涵盖引导用户生成Prompt、根据内容进行调优、再到批量case评估prompt的各种边界,最后自动优化和管理Prompt全阶段。只有经历过全链路的测试之后,生成的Prompt,才能够投入到百万级请求的生产环境中。 当然,它也是打通产品和开发沟通对齐的最重要的一个媒介, 为什么这么说,我们一会在看。 接下来,甲木就带大家一起深度体验一下,看看它到底是怎么把“炼丹”变成“工程”的。 Case 1:质检巡检(图片理解任务) 任务:我们打算让AI看一张工厂车间的图片,判断有没有违规操作或没戴安全帽的情况。 第一步:说人话,AI出活 我们直接把需求用大白话丢给PromptPilot:“为了安全生产,你需要根据生产车间的图片,判断生产车间是否存在违规操作设备和未佩戴安全帽的情况,需要给出违规类别。” ,同时选择“视觉理解”类型。 感兴趣的可以看看官方文档: https://www.volcengine.com/docs/82379/1544106 点击发送后,一个结构清晰、逻辑严谨的Prompt就自动生成了,连思考过程、判断、违规类别这些输出格式都给你安排得明明白白。 为了后续更方便测试,可以将变量名修改为常用的变量名,比如“image url”。 最后得到的prompt为: 第二步:上考卷,AI当考官 点击右下角的“验证Prompt”,跳转到调试页面。 首先进行单张图片的测试,点击“填写变量”,上传一张图片。 同时在右侧选择所需模型,这里我们选择带thinking的模型。 这里就先用默认模型给大家展示了 全部选择完毕后,点击“保存并生成模型答案”, 可以看到很快模型就给到了判断结果。 如果对结果不满意,可以点击下方的“去添加理想回答”。 在这里,可以自己添加理想回答,也可以打开“更多模型回答参考”,然后基于不同模型的不同回答去选择理想回答。 测完单张图没问题不代表模型就毕业了, 要记住, 单个case场景有效不能证明prompt的普适性,我们必须经过严格的测试,才能得到更有意义的证明。 接着选择“批量评测”。 我们直接上传了一整个包含多张图片中的文件当“考卷”(评测集)。 Tip: 这里有个小提示,数据集中的列名需要和变量名保持一致,才能完成批量上传 点击生成,就可以批量对评测集的图片进行判定。 同时我们还可以添加理想回答,给模型评分,如果不想手动评分,也可以给AI一套评分标准。 比如,我们规定:“思考过程、判断、违规类别都跟标准答案一样,才给5分;否则就给1分。” 或者让AI帮助我们生成标准,标准一旦确定,PromptPilot就化身魔鬼考官, 唰唰唰地给所有模型回答自动打上了分数。 第三步:见证奇迹,一键优化 我们根据评测结果和评分结果,可以直接点“智能优化”。 PromptPilot会自己去琢磨那些高分和低分的答案,理解你的评分偏好,然后……它自己把Prompt给改了! 当然如果还是不满意还可以继续优化,这里就不再过多演示了。 刚才给大家看的是关于图片理解型的任务,接下来我们再来看一个文本型任务。 Case 2:品牌评价情感分类(文本理解任务) 任务:分析网上关于某个品牌的用户评论,判断好评差评,并提取负面评价的维度和产品名,输出JSON。 第一步:说人话,AI出Prompt 我们直接把需求发送给PromptPilot,让其自动生成Prompt。 如果对生成的prompt不满意,可以手动修改,也可以在右下角直接点击“优化你的Prompt”,在对话框内输入反馈/优化要求。 比如:你需要关注模型的思考过程。“请增加在<思考 标签,在<思考 中详细分析你对每条评价的情感判断、评价维度和产品名称识别的依据。”。 最后得到的prompt为: 第二步:上考卷,AI当考官 点击右下角的“验证Prompt”,跳转到调试页面。填写变量,选择模型,并生成模型回答。 如果对模型的回答不满意,可以继续优化Prompt, 或者添加理想回答指导模型做出满意的答复。 接着,继续可以进行批量评测和智能优化,上传case集,同时添加理想回答,给模型评分。 第三步:见证奇迹,一键优化 根据评测结果和评分结果,可以直接点击“智能优化”。 PromptPilot会自己去分析评测集的结果,然后生成分析报告。 分析报告的结果中,它会根据我们的评分标准自动优化Prompt直到分数有明显提升。 当然,如果我们企业有知识库的情况,它也同样支持引入知识库RAG的形式。 Case 3:医疗知识问答(知识库RAG) 任务:让AI扮演专业医生,根据我们提供的医疗知识来回答问题,不能自由发挥。 第一步:创建知识库并引用 在Prompt生成页面,点击“知识库”。 将我们提前准备好的资料上传上去,方便后续引用。 上传完成后,回到Prompt生成页面,输出需求并引用刚才上传的知识库。 可以看到引入知识库后,生成的Prompt中按疾病进行分类,并增加了很多专业词汇。 第二步:批量评测 我们直接对Prompt进行批量评测,上传一份包含疑难杂症的文件。 当Prompt优化遇到瓶颈时,PP还可以判断是否需要发起精调,并与火山方舟的精调功能联动,实现模型级的深度优化,这块感兴趣的可以了解一下。 阶段四:投产与持续监控阶段 (闭环进化) 一个生产级的Prompt不是交付后就结束了,它需要一个能在线上环境中持续进化的机制。 它支持版本管理与上线,将优化后、表现最佳的Prompt版本进行保存,并通过API或SDK集成到您的生产应用中。 (ps.可以看到,我每个场景都迭代了十几个版本...) 或许之后,我们的线上应用还可以调用PromptPilot的SDK,将生产环境中的真实调用数据(输入、输出、用户反馈等)反馈回系统。 之后自动对回流的线上数据进行“裁判”和评分,精准捕获Badcase。 这些来自真实场景的Badcase会成为最高质量的“新考题”,用于启动下一轮的“智能优化”,形成一个 开发 评测 优化 投产 监控 再优化 的自动化闭环。 通过以上四个阶段, 企业就能够将Prompt的构建从依赖个人经验和灵感的“手工业”, 转变为一个数据驱动、可量化、可迭代的“标准化工业生产流程”, 从而确保AI应用在生产环境中的长期稳定和高效。 当然,它们目前还有一些局限和可优化的点,比如: seed 1.6模型,或者是其它场景输出的时候, <think </think 标签内容可以收起,或者是,增加一个换行来区分,要不视觉上太不容易理解 或者是整体的token消耗数目前没有展示,如果能在对应区域把消耗的token数量,展示出来,这样大家才能从提示词稳定性和成本方面取得一个平衡,等等