胎教级教程：万字长文带你理解 RAG 全流程

胎教级教程：万字长文带你理解 RAG 全流程胎教级教程：万字长文带你理解 RAG 全流程 Audio or video is not supported Please download the file and open it with the appropriate software. 20240921223527 rec .mp4 · 74.99MB 20240921223527 rec 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 20240924230547 rec .mp4 · 42.31MB 20240924230547 rec 00:00 我之前接受过一个咨询，这位朋友是做广告的，他发现大模型生成的内容有着浓浓的 AI 味。他咨询说，如果我将一份优秀的广告词库写入知识库，利用 RAG 技术，AI 是不是就可以学习这些内容，然后从而写出更有"人味"的广告词？这问题是将微调和 RAG 的能力混淆了。通过前文中的流程，我们可以看到 RAG 主要是在运行时进行信息检索和整合，而不是对模型进行再训练或学习。它不会改变模型的基本参数或能力 RAG 可以帮助 AI 获取相关的事实信息，但不能让 AI 真正"学习"或内化某种写作风格。它更像是一个高级的查询系统，而不是一个学习系统。通过这个章节，我想说明的是，虽然 RAG 是一个非常强大的技术，而且现在已经有了很多生产级的应用案例，但是构建一个有效的 RAG 系统并不简单，它是多个流程的配合，在任何一个环节遇到问题，都有可能将检索的结果大打折扣。如果企业想要构建一个有效的 RAG 系统，要考虑如下几个因素 • 数据是否需要考虑安全性：如果有，则需要私有化部署，需要考虑硬件成本 • 数据集的复杂度和数量级：复杂的数据集会带来高昂的文档清洗、解析和分割成本，而大的数据量级则会带啦存储成本的上升 • 回答质量的要求：对回答质量要求越高，则需要越复杂的检索算法以及更加强大的 LLM，这些都会带来算力的成本 • 数据的更新频率：频繁的数据更新可能会需要高昂的维护成本八、RAG 在企业端的应用下面这些案例的灵感来源于智谱 RAG 方案的一篇 PDF 文档企业内部赋能行政问答场景描述：企业内部的行政、财务、IT 等政策信息繁多复杂，而内部的员工会经常有很多疑问，如果仅仅靠人工进行问答，不仅耗费人力，而且常常因为回答人员的能力问题，回答的不到位应用案例：企业可以构建包含各类内部政策文档的知识库，结合 RAG 技术，为员工提供 24/7 的智能问答服务。员工可以用自然语言提问，系统能快速检索相关政策并给出准确答复，减少人工咨询的需求。企业对客服务公共事务客服问答场景描述：公共事务（政府部门）客服面临知识更新频繁、政策文本晦涩难懂等问题，传统 FAQ 方案难以应对。应用案例：政府部门或公共服务机构可以利用 RAG 技术，构建包含各类政策法规的知识库。当市民咨询时，系统能理解口语化的问题，从复杂的政策文本中提取关键信息，并用通俗易懂的语言回答，提高服务效率和满意度。专业领域知识培训畜牧业问答场景描述：某些专业领域（如畜牧业）的从业人员需要高效学习和快速查询大量专业知识，但传统方案难以满足需求。应用案例：可以为养殖企业构建包含动物学、营养学、疾病管理等多方面知识的专业数据库。结合 RAG 技术，养殖员可以用自然语言描述遇到的实际问题（如"奶牛食欲下降、体重减轻"）。系统能快速检索相关知识，给出专业的诊断建议和解决方案，帮助养殖员更好地管理牲畜健康九、用 Coze 学习 RAG 关于新知识的学习，每个人都有自己的方法，这里我推荐我的一个方法，那就是 Claude + Coze Claude 大家都很清楚了，目前最强的 AI 大模型，一个月 20 美元，好用到飞起。而 Coze 呢则是一款 AI Agent 的衍生产品，对我来说他现在最大的价值就是两点 • 依靠 Coze 来跟进当前 AI Agent 工具的发展情况，对其保持关注，发现商业化的机会 • 做产品 Demo，我有任何的想法都可以考虑在 Coze 中实现一个 Demo 还不知道 Coze 是什么的同学可以看我的公开分享：胎教级教程：万字长文手把手教你用Coze打造企业级知识库我在学习 RAG 的过程首先会通过 Claude 帮助我了解细节的概念，然后再通过 Coze 搭建一个 Dmeo，在动手实践中学习 RAG 在学习 RAG 的过程中，我一共创建了 4 个 Bot：产品资料问答机器人这个 Bot 是利用了 Coze 的知识库能力，演示知识库在企业中的应用。相关资料请参考我的公开分享：胎教级教程：万字长文手把手教你用Coze打造企业级知识库 Query 改写助手学习 Bot：这里为了学习 Query 的改写，我专门做了一个 Bot 机器人进行学习 Bot 地址：https://www.coze.cn/store/bot/7400077517299957800?panel=1&bid=6dkpl06gg601j 视频演示： No access 20240831233346 rec 00:00 Query 改写效果对比 Bot 这个 Bot 用来对比 Query 改写和未改写的区别。使用之前秘塔搜索的案例，通过对 Query 进行改写和非改写，对比搜索结果来理解 Query 改写的优势 Bot 地址：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 视频演示： No access 20240831234101 rec 00:00 RAG 全流程学习 Bot 这个 Bot 我花费了很长的时间，通过结合对 RAG 全流程的了解，使用 Coze 的工作流，主要是结合大模型，模拟了 RAG 的离线存储和在线检索全流程 PS：这个流程还是一个玩具，因为对于向量化这块我直接使用了提示词和大模型，这是非常不严谨的，理论上应该直接介入 Embedding 模型的 API，这个后面我会考虑，这里只是给大家展示思路我们直接看视频 No access 20240925235024 rec 00:00 十、写在最后胎教级教程：万字长文手把手教你用Coze打造企业级知识库胎教级教程：万字长文手把手教你用Coze打造企业级知识库 Audio or video is not supported Please download the file and open it with the appropriate software. 20240921223527 rec .mp4 · 74.99MB 20240921223527 rec 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 20240921223527 rec .mp4 · 74.99MB 20240921223527 rec 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 20240924230547 rec .mp4 · 42.31MB 20240924230547 rec 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 20240924230547 rec .mp4 · 42.31MB 20240924230547 rec 00:00 我之前接受过一个咨询，这位朋友是做广告的，他发现大模型生成的内容有着浓浓的 AI 味。他咨询说，如果我将一份优秀的广告词库写入知识库，利用 RAG 技术，AI 是不是就可以学习这些内容，然后从而写出更有"人味"的广告词？这问题是将微调和 RAG 的能力混淆了。通过前文中的流程，我们可以看到 RAG 主要是在运行时进行信息检索和整合，而不是对模型进行再训练或学习。它不会改变模型的基本参数或能力 RAG 可以帮助 AI 获取相关的事实信息，但不能让 AI 真正"学习"或内化某种写作风格。它更像是一个高级的查询系统，而不是一个学习系统。通过这个章节，我想说明的是，虽然 RAG 是一个非常强大的技术，而且现在已经有了很多生产级的应用案例，但是构建一个有效的 RAG 系统并不简单，它是多个流程的配合，在任何一个环节遇到问题，都有可能将检索的结果大打折扣。如果企业想要构建一个有效的 RAG 系统，要考虑如下几个因素 • 数据是否需要考虑安全性：如果有，则需要私有化部署，需要考虑硬件成本 • 数据集的复杂度和数量级：复杂的数据集会带来高昂的文档清洗、解析和分割成本，而大的数据量级则会带啦存储成本的上升 • 回答质量的要求：对回答质量要求越高，则需要越复杂的检索算法以及更加强大的 LLM，这些都会带来算力的成本 • 数据的更新频率：频繁的数据更新可能会需要高昂的维护成本八、RAG 在企业端的应用下面这些案例的灵感来源于智谱 RAG 方案的一篇 PDF 文档企业内部赋能行政问答场景描述：企业内部的行政、财务、IT 等政策信息繁多复杂，而内部的员工会经常有很多疑问，如果仅仅靠人工进行问答，不仅耗费人力，而且常常因为回答人员的能力问题，回答的不到位应用案例：企业可以构建包含各类内部政策文档的知识库，结合 RAG 技术，为员工提供 24/7 的智能问答服务。员工可以用自然语言提问，系统能快速检索相关政策并给出准确答复，减少人工咨询的需求。企业对客服务公共事务客服问答场景描述：公共事务（政府部门）客服面临知识更新频繁、政策文本晦涩难懂等问题，传统 FAQ 方案难以应对。应用案例：政府部门或公共服务机构可以利用 RAG 技术，构建包含各类政策法规的知识库。当市民咨询时，系统能理解口语化的问题，从复杂的政策文本中提取关键信息，并用通俗易懂的语言回答，提高服务效率和满意度。专业领域知识培训畜牧业问答场景描述：某些专业领域（如畜牧业）的从业人员需要高效学习和快速查询大量专业知识，但传统方案难以满足需求。应用案例：可以为养殖企业构建包含动物学、营养学、疾病管理等多方面知识的专业数据库。结合 RAG 技术，养殖员可以用自然语言描述遇到的实际问题（如"奶牛食欲下降、体重减轻"）。系统能快速检索相关知识，给出专业的诊断建议和解决方案，帮助养殖员更好地管理牲畜健康九、用 Coze 学习 RAG 关于新知识的学习，每个人都有自己的方法，这里我推荐我的一个方法，那就是 Claude + Coze Claude 大家都很清楚了，目前最强的 AI 大模型，一个月 20 美元，好用到飞起。而 Coze 呢则是一款 AI Agent 的衍生产品，对我来说他现在最大的价值就是两点 • 依靠 Coze 来跟进当前 AI Agent 工具的发展情况，对其保持关注，发现商业化的机会 • 做产品 Demo，我有任何的想法都可以考虑在 Coze 中实现一个 Demo 还不知道 Coze 是什么的同学可以看我的公开分享：胎教级教程：万字长文手把手教你用Coze打造企业级知识库胎教级教程：万字长文手把手教你用Coze打造企业级知识库我在学习 RAG 的过程首先会通过 Claude 帮助我了解细节的概念，然后再通过 Coze 搭建一个 Dmeo，在动手实践中学习 RAG 在学习 RAG 的过程中，我一共创建了 4 个 Bot：产品资料问答机器人这个 Bot 是利用了 Coze 的知识库能力，演示知识库在企业中的应用。相关资料请参考我的公开分享：胎教级教程：万字长文手把手教你用Coze打造企业级知识库胎教级教程：万字长文手把手教你用Coze打造企业级知识库 Query 改写助手学习 Bot：这里为了学习 Query 的改写，我专门做了一个 Bot 机器人进行学习 Bot 地址：https://www.coze.cn/store/bot/7400077517299957800?panel=1&bid=6dkpl06gg601j 视频演示： No access 20240831233346 rec 00:00 No access 20240831233346 rec 00:00 Query 改写效果对比 Bot 这个 Bot 用来对比 Query 改写和未改写的区别。使用之前秘塔搜索的案例，通过对 Query 进行改写和非改写，对比搜索结果来理解 Query 改写的优势 Bot 地址：https://www.coze.cn/store/bot/7400553639514800182?panel=1&bid=6dkplh1r43g15 视频演示： No access 20240831234101 rec 00:00 No access 20240831234101 rec 00:00 RAG 全流程学习 Bot 这个 Bot 我花费了很长的时间，通过结合对 RAG 全流程的了解，使用 Coze 的工作流，主要是结合大模型，模拟了 RAG 的离线存储和在线检索全流程 PS：这个流程还是一个玩具，因为对于向量化这块我直接使用了提示词和大模型，这是非常不严谨的，理论上应该直接介入 Embedding 模型的 API，这个后面我会考虑，这里只是给大家展示思路我们直接看视频 No access 20240925235024 rec 00:00 No access 20240925235024 rec 00:00 十、写在最后非常感谢你能耐心看到这里，至此我相信你对 RAG 应该有了一个全面的了解了。最后分享给大家一句话：想要利用任何一个风口赚钱，你需要先了解它... 如果你觉得本文对你有帮助，帮忙点个赞呀～如果想要与我交流 RAG 或者 Coze，请联系我 V：附录 TF IDF RAG 优质文章（艾木提供） • 《Agentic RAG 和图编排引擎》：https://mp.weixin.qq.com/s/5hxbuI1i MlHjZCgNS XCg • 《RAG 在企业应用中落地的难点与创新》：https://mp.weixin.qq.com/s/eRxyW7pPw6BLaxVDCg22BA • 《RAGFlow 开源 Star 量破万，是时候思考下 RAG 的未来是什么了》：https://mp.weixin.qq.com/s/wk3nlPU0rKAcHCiELUCr1A • 《RAGFlow 正式进入 Agentic 时代》：https://mp.weixin.qq.com/s/ovmyZWUu2slYzApe bb9qw • 《延迟交互模型，为什么是下一代 RAG 的标配？》: https://mp.weixin.qq.com/s/rTj CB5lpcWQEj6UPKeUsQ 写在前面大家好，我是大圣，一名致力于在 AI 时代打造超级个体的软件开发工程师。继 Coze 的胎教级教程之后，我再次为大家带来 RAG（检索增强生成）技术的胎教级别教程。这篇文章不是一篇面向 RAG 研究者的技术向文章，而是面向普通人的 RAG 科普。这篇文章一共 1.6 万字，我为什么要花费大的心力写这篇文章呢？因为在当前 AI 技术的发展中，工作流和 RAG 已成为核心应用。 RAG 不仅是一项真正落地的 AI 技术，而且其衍生产品不仅服务于企业，更能为个人效率带来显著提升。然而，任何技术都有其局限性。许多人初次接触 RAG 时兴致勃勃，但实际使用后却失望而归。这并非 RAG 技术不够强大，而是因为期望过高。因此，我希望通过全面详细地阐述 RAG 的完整流程，让你对这项技术有更全面的认知。这样，在使用 RAG 相关产品时，可以更好地理解其能力边界，从而充分发挥其潜力在开始花费你的时间看这篇长文之前，我希望先管理好你的预期 • 这是一篇关于 RAG 的科普性文章，我会用我一贯的文风（通俗易懂）给小白讲清楚 RAG 的各个环节 • 严格来讲，这不是一篇技术向文章，为了让更多人可以听懂，我隐去了一些不重要的技术细节和术语 • 本文适合任何人，不包括但不限于：AI 爱好者 / 为企业寻找知识库解决方案的老板 / AI 产品经理等 • 读完本文，我希望你在使用任何知识库工具的时候，对每一步操作都是清晰的，做到知其然，知其所以然废话不多说，我们开始！案例先行由于这是一篇教学文档，为了吸引你，我想先上两个案例网易的 QAnything 地址：https://qanything.ai/ 我们直接上视频 Claude 的 Projects Claude 的付费版本（每月 20 美金）有一个非常强大的功能：Projects 这个功能的逻辑也很简单，就是你可以创建一个项目，上传一些文档，然后可以基于这些文档进行问答。我们直接上视频其他的类似工具有： • 腾讯的元宝（当前很火）腾讯的元宝 • AnythingLLM AnythingLLM • 谷歌的 NotebookLM 谷歌的 NotebookLM • 开源的 RAGFlow 开源的 RAGFlow 大家都可以自行去体验，这些工具的使用方式都比较简单业务背景为了让大家更有代入感，我虚拟了一个业务场景：你们是一家软件产品开发公司，你们有一款自己的 SaaS 产品，名字叫做外贸大师。公司有专门的销售团队以及运营客服团队，销售团队负责进行收集线索以及进行售卖。运营和客服同学会在企业微信群中回答客户针对产品的各种问题。你是一个客服同学，你每天的职责就是回答各种关于外贸大师的问题。为了减轻自己的工作量以及更快的回答问题，你将日常回答的问题都记录在了 Word 或者 TXT 文档中。但是每天日复一日的重复工作，让你感到无比的厌烦突然有一天你接触到了一个叫 AI 的东西，他们都说这个东西很神奇，你希望可以用 AI 帮你脱离工作的苦海，于是你踏上了 AI 取经之路，希望可以求得一个可以帮助自己脱离苦海的解决方案..... 一、初识大模型旁白：刚开始学习 AI，你就认识了一个叫做大模型的东西，听说他很强，于是你开始各种和他打交到但是你发现，它有很大的局限性，并不是无所不知。旁白：刚开始学习 AI，你就认识了一个叫做大模型的东西，听说他很强，于是你开始各种和他打交到但是你发现，它有很大的局限性，并不是无所不知。今天我们来聊聊那些看起来无所不能的 AI 通用大模型。对于一些初次接触 AI 的朋友来讲，你可能会觉得这些"超级大脑"应该无所不知、无所不能。但事实上，就像我们人类一样，它们也有自己的局限性。 🥇 注意：我们这里讲的是通用大模型，何为通用呢？通用大模型就是使用互联网的所有数据训练出来的模型，没有任何领域的偏向性，我们现在经常听到的 ChatGPT、Kimi Chat、文心一言等都是通用大模型注意：我们这里讲的是通用大模型，何为通用呢？通用大模型就是使用互联网的所有数据训练出来的模型，没有任何领域的偏向性，我们现在经常听到的 ChatGPT、Kimi Chat、文心一言等都是通用大模型知识“过期”的困扰想象一下，你有一个非常聪明的朋友。但是他从 2022 年开始就把自己宅在家里，不上网，也不与人交际现在你问他 2024 年的新闻，他能回答上来吗？显然是不能的。 AI 大模型的情况也很相似。它们的知识都是在训练时"学习"的，一旦训练结束，就像是给大脑装上了锁，不能再接收新信息了。所以当你问它"最近的热点新闻"时，它会显得一无所知，或者给你过时的信息。我们把这个称之为训练数据的时效性大模型的“异想天开” 你有没有遇到过特别能"吹牛"的朋友？明明不知道答案，却能眉飞色舞地编出一大堆听起来很有道理的话？ AI 有时候也会这样！科学家们给这种现象起了一个专业的名字，叫做"幻觉"。简单来说，就是 AI 可能会生成听起来合理，但实际上并不准确的信息。比如你问它一些很新或很专业的问题，它可能会试图拼凑一个看似合理的答案，但这个答案可能是错误的。因此，我们在使用 AI 时要保持一定的警惕，不要盲目相信它提供的每一条信息。专业知识的局限你班上最聪明的同学是不是在所有科目上都表现出色？大概率不是。即使是学霸，也有擅长的科目和不太拿手的科目。 AI 也是如此。通用大模型就像被要求学习了很多科目的学生。它们对很多领域都有所了解，但要说精通每一个领域，那就言过其实了。比如你让它回答一些深奥的物理问题，或者解释一些专业的医学术语，它可能就会显得力不从心。毕竟它们不是专门研究这些领域的"专家"。总结总的来说，AI 大模型虽然功能强大，但他们也不是万能的。所以下次我们再与 AI 进行交互的时候，不妨换个角度思考：AI 更适合做我们的助手，而不是一个全能的神。那我们该怎么去优化这些缺陷呢，接下来我们通过 AI 模型的训练和优化过程来看下比较通用的一些解决方案。二、大模型的构建过程旁白当你发现大模型的效果并没有你预期想的那么好时，你打算放弃但是你也听到了另一种声音：如果大模型没有你想的那么好，可能是你没有了解他的能力边界。你不想就这么放弃，为了更好的理解大模型，你首先了解了他的创建过程旁白当你发现大模型的效果并没有你预期想的那么好时，你打算放弃但是你也听到了另一种声音：如果大模型没有你想的那么好，可能是你没有了解他的能力边界。你不想就这么放弃，为了更好的理解大模型，你首先了解了他的创建过程 1. 收集海量数据想象一下，我们要教一个孩子成为一个博学多才的人。我们会怎么做？我们会让他阅读大量的书籍，观看各种纪录片，与不同背景的人交谈等。对于 AI 模型来说，这个过程就是收集海量的文本数据。例子：研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据在孩子开始学习之前，我们可能会先整理这些资料，确保内容适合他的年龄和学习能力。同样，AI 研究人员也需要清理和组织收集到的数据。例子：删除垃圾信息，纠正拼写错误，将文本分割成易于处理的片段。 3. 设计模型架构就像我们要为孩子设计一个学习计划一样，研究人员需要设计 AI 模型的"大脑"结构。这通常是一个复杂的神经网络。这里我们就不展开了，我们只需要了解，为了让 AI 能够很好的学习知识，科学家们设计了一种特定的架构。例子：研究人员可能会使用 Transformer 架构，这是一种特别擅长处理序列数据（如文本）的神经网络结构。 4. 训练模型就像孩子开始阅读和学习一样，AI 模型开始"阅读"我们提供的所有数据。这个过程被称为"训练"。例子：模型会反复阅读数据，尝试预测句子中的下一个词。比如给出"太阳从东方 "，模型学会预测"升起"。通过不断重复这个过程，模型逐渐学会理解和生成人类语言。 5. 调整和优化就像我们会根据孩子的进步情况调整教学方法一样，研究人员也会不断调整和优化模型。例子：研究人员可能会发现模型在某些类型的问题上表现不佳，于是他们会提供更多相关的训练数据或调整模型结构。 6. 评估和测试类似我们会考试来评估孩子的学习成果一样，研究人员会用各种测试来评估模型的性能。例子：研究人员可能会让模型回答各种问题，完成各种任务，然后评估其表现。上面这 6 个步骤是一个简化版本的大模型创建流程，但对于非大模型的开发者而言，理解到这个程度已经足够了。接下来我们来看 AI 模型的优化过程三、AI 模型的优化过程旁白在了解了大模型的创建过程之后，你大概也能理解为什么大模型会有一开始说的那种缺陷了。旁白在了解了大模型的创建过程之后，你大概也能理解为什么大模型会有一开始说的那种缺陷了。这个时候你也听说了有一些优化大模型能力的方案，于是你迫不及待的想要了解一番当大模型被创建出来之后，我们一般会使用以下几种方式来增强大模型的能力 • 提示词工程 • 微调 • RAG 提示词工程：巧妙地"问"出好答案想象你在和一个博学但有点固执的老教授交谈。如果你直接问他一个问题，他可能会给出晦涩难懂的回答。但如果你懂得如何提问，就能引导他给出你想要的答案。提示词工程就是这样一门面向大模型的问话的艺术。通过精心设计输入的文本（我们称之为"提示词"），我们可以引导 AI 更好地理解我们的需求，从而给出更准确、更有用的回答。比如，与其直接问"给我讲讲人工智能"，不如这样问："请用简单的语言，为一个 10 岁的小朋友解释什么是人工智能，并举一个生活中的例子。" 这样，AI 就更可能给出通俗易懂的解释了。微调：让 AI 成为"专家" 还记得我们说过 AI 在专业领域可能会力不从心吗？这就好比让一个普通大学生去解答博士级的问题。但如果我们能给这个大学生补充一些专业课程，情况就不一样了。微调就是给 AI"补课"的过程。大模型的被创建之初，使用预训练已经具备了基础的学习和知识能力。我们再用特定领域的专业数据对它进行微调，这就相当于让它接受了专业培训。通过这种方法，我们可以让原本"全才"的 AI 变成某个领域的"专家"。比如，我们可以用大量医学文献对 AI 进行微调，让它在回答医疗问题时更加专业和准确。知识库：AI 的"活字典" ⛱️ 活字典是针对知识库一个非常贴切的比喻活字典是针对知识库一个非常贴切的比喻还记得我们说过 AI 的知识会"过期"吗？解决这个问题的一个好方法就是给 AI 配备一个随时更新的"活字典"，我们称之为知识库。知识库就像是 AI 可以随时查阅的百科全书。当 AI 遇到不确定的问题时，它可以从知识库中检索相关信息，从而给出更新、更准确的回答。比如，我们可以建立一个包含最新新闻、科技发展、法律法规等内容的知识库。这样，即使 AI 的基础模型没有得到更新，它也能通过查阅知识库来回答有关最新事件的问题。比如很火的 AI 搜索，其实就是将整个互联网的实时数据作为知识库，每次被询问时都可以通过搜索引擎获取最新的信息。旁白：你很激动，当你听到关于对 RAG 的解释的时候，你觉得你找到了一条正确的路。 RAG 也许可以帮你解决每天回答那些重复问题的困扰，你怀着激动的心情开始了 RAG 学习之旅旁白：你很激动，当你听到关于对 RAG 的解释的时候，你觉得你找到了一条正确的路。 RAG 也许可以帮你解决每天回答那些重复问题的困扰，你怀着激动的心情开始了 RAG 学习之旅四、从 AI 搜索引出 RAG 旁白：在学习 RAG 之初，你不知道如何切入，这时候你认识了一个叫做大圣的老师。他说，你可以从 AI 搜索切入，帮助你理解 RAG 旁白：在学习 RAG 之初，你不知道如何切入，这时候你认识了一个叫做大圣的老师。他说，你可以从 AI 搜索切入，帮助你理解 RAG RAG 的流程相对复杂，为了让大家更好的理解 RAG，我们先用大家比较熟悉的 AI 搜索来引出 RAG。 AI 大模型最擅长的是语义理解和文本总结，最不擅长的就是获取实时的信息。搜索引擎最擅长的就是获取实时的信息，但是缺点就是信息太分散了，每次都需要人为进行总结。 AI+搜索引擎的结合，就是我们上面讲到的，给 AI 配备了一个活字典，让 AI 可以随时进行查阅。下图是一个简化版本的 AI 搜索工作原理，其中搜索引擎在这里就充当着知识库的角色。下面则是我用 Coze 制作的一个秘塔搜索机器人，感兴趣可以看下他的工作过程 No access 20240828234529 rec 00:00 No access 20240828234529 rec 00:00 OK，关于 AI 搜索我们就简单介绍到这里，下面我们正式开始介绍 RAG 五、RAG 全貌概览旁白：一路千辛万苦，终于要真正了解 RAG 的全貌了，好激动旁白：一路千辛万苦，终于要真正了解 RAG 的全貌了，好激动前面的开胃菜已经完毕，这里我们进入正餐，先上一张图 💡 注：这张图引用自：https://mp.weixin.qq.com/s/37tKVQbxenVVBAeMZ334aQ 公众号：AI 花果山一位 RAG 大佬，正在编写一系列教程《RAG 高效应用指南》注：这张图引用自：ht

在小宇宙note 阅读完整内容