专业知识库的构建与使用

专业知识库的构建与使用

专业知识库的构建与使用 专业知识库的构建与使用 Modified April 30, 2025 其中最大返回结果数和最小匹配度,用于筛选和过滤从知识库返回的信息,低于最小匹配度的信息会被过滤,并且只选择匹配度最高的最大返回数条信息。 而按需调用和强制调用的逻辑不同。 强制调用的逻辑为每次用户输入信息后,智能体回答前,会根据用户的输入,强制调用知识库,然后直接注入智能体上下文后,接着输出。 相当于以下提示词 Code block Plain Text Copy <knowledge {知识库返回的信息1} {知识库返回的信息2} ... </knowledge 请先学习上面的内容 {角色和指令} 按需调用的逻辑是将知识库调用作为一种工具(插件),由模型自主判断是否需要调用知识库,然后基于返回的信息回答用户,其使用逻辑与插件相同。 注:按需调用时,知识库作为插件,那么知识库的描述和名字就显得比较重要,不然模型可能就拿捏不准这个工具的使用方式了。 6️⃣ 在对话型工作流中使用知识库 创建工作流对话型智能体,填写相关信息。 在工作流里我们可以通过知识库节点的方式,直接获取信息,然后再给入大模型节点,对应类似前面的强制调用。 添加知识库节点,然后添加知识库 添加知识库后可以设置知识库召回配置 最小匹配度和最大结果返回数与前面的配置说明一致,这里不进行赘述。 择优选择召回结果是在多个知识库中综合所有信息,返回最高匹配度的信息。 而按列表顺序筛选结果则是在多个知识库中,按知识库的顺序依次拿去信息。 比如有三个知识库,A B C,择优选择召回就是从 A+B+C 得到的 D 知识库中获取信息,而按列表顺序筛选则是先从 A 中获取信息,如果还不够,再从 B 中获取,依次继续。 检索策略中可选择混合检索、语义检索、关键词检索,其中混合检索为语义检索和关键词检索的综合选择 语义检索主要比较的是搜索词和知识库的文本二者均向量化后的向量相似度,而关键词检索没有进行向量化处理,而是直接拿搜索词进行检索。 知识库节点所返回的结果为文本类型的数组,可以作为被插入大模型节点或者用于其他用途。 在工作流中,除去知识库节点外,也可以通过给大模型节点配置技能的方式添加知识库技能。具体对应为前面所说的按需调用(即将知识库的调用作为工具/插件)。点击添加大模型节点的技能,即可选择知识库作为技能添加。 7️⃣ 专业知识库和综合知识库的区别 专业知识库仅支持上传表格数据 新建专业知识库,填写名字和描述后,即可上传表格文件,上传完成后,可以对具体的字段名、数据类型和默认值进行修改,并且可以设置是否为必填内容。 专业知识库在使用时,额外支持筛选参数,从而匹配一些精确场景。 到这,我们学习了基本的知识库使用,接下来的进阶内容请看知识库检索调优知识库检索调优 知识库检索调优 其中最大返回结果数和最小匹配度,用于筛选和过滤从知识库返回的信息,低于最小匹配度的信息会被过滤,并且只选择匹配度最高的最大返回数条信息。 而按需调用和强制调用的逻辑不同。 强制调用的逻辑为每次用户输入信息后,智能体回答前,会根据用户的输入,强制调用知识库,然后直接注入智能体上下文后,接着输出。 相当于以下提示词 按需调用的逻辑是将知识库调用作为一种工具(插件),由模型自主判断是否需要调用知识库,然后基于返回的信息回答用户,其使用逻辑与插件相同。 注:按需调用时,知识库作为插件,那么知识库的描述和名字就显得比较重要,不然模型可能就拿捏不准这个工具的使用方式了。 6️⃣ 在对话型工作流中使用知识库 创建工作流对话型智能体,填写相关信息。 在工作流里我们可以通过知识库节点的方式,直接获取信息,然后再给入大模型节点,对应类似前面的强制调用。 添加知识库节点,然后添加知识库 添加知识库后可以设置知识库召回配置 最小匹配度和最大结果返回数与前面的配置说明一致,这里不进行赘述。 择优选择召回结果是在多个知识库中综合所有信息,返回最高匹配度的信息。 而按列表顺序筛选结果则是在多个知识库中,按知识库的顺序依次拿去信息。 比如有三个知识库,A B C,择优选择召回就是从 A+B+C 得到的 D 知识库中获取信息,而按列表顺序筛选则是先从 A 中获取信息,如果还不够,再从 B 中获取,依次继续。 检索策略中可选择混合检索、语义检索、关键词检索,其中混合检索为语义检索和关键词检索的综合选择 语义检索主要比较的是搜索词和知识库的文本二者均向量化后的向量相似度,而关键词检索没有进行向量化处理,而是直接拿搜索词进行检索。 知识库节点所返回的结果为文本类型的数组,可以作为被插入大模型节点或者用于其他用途。 在工作流中,除去知识库节点外,也可以通过给大模型节点配置技能的方式添加知识库技能。具体对应为前面所说的按需调用(即将知识库的调用作为工具/插件)。点击添加大模型节点的技能,即可选择知识库作为技能添加。 7️⃣ 专业知识库和综合知识库的区别 专业知识库仅支持上传表格数据 新建专业知识库,填写名字和描述后,即可上传表格文件,上传完成后,可以对具体的字段名、数据类型和默认值进行修改,并且可以设置是否为必填内容。 专业知识库在使用时,额外支持筛选参数,从而匹配一些精确场景。 到这,我们学习了基本的知识库使用,接下来的进阶内容请看知识库检索调优知识库检索调优 知识库检索调优 通过本章节,可以学习如何在智能体和工作流里添加专属知识库,以增强模型能力 链接直达:https://tbox.alipay.com/pro/knowledge 前情提要:【简单构建】如何在 5min 内搭建私有知识库问答助手 【简单构建】如何在 5min 内搭建私有知识库问答助手 百宝箱支持两种知识库类型 1. 综合知识库 2. 专业知识库 其中综合知识库对文档的类型限制较小,TXT,PDF,Markdown,Docx,Excel,等文件均支持 而专业知识库仅支持表格类文档的上传,但对其做了较多优化,支持各种条件筛选等 注:下面的教程暂以综合知识库为主,基本内容与专业知识库没有区别,最后再讲专业知识库的一些区别。 接下来我们来讲如何创建知识库,并且在智能体和工作流中调用。 1️⃣ 新建知识库 点击左侧知识库,再点击右上角的新建知识库 2️⃣ 选择知识库类型,填入合适的名称和描述 这里的名称和描述最好准确清晰,一方面方便我们自己去管理和使用,另外一方面,知识库检索可以作为 Agent 的工具来使用,那么这个名称和描述就相当于工具的使用说明书,如果不写或者太笼统,LLM 可能就不知道需要从这里面调用知识进行补充。 3️⃣ 上传文件资料 知识库创建好后,即可上传文件,点击新增文件,支持本地文档和语雀导入两种方式。 语雀的批量导入可以导入语雀空间里的内容,并且可设置1/7/30天的自动更新频率。 不论是本地导入还是语雀导入,没有区别,选择方便的形式即可。 这里演示选择本地文档形式。 文件会有两个状态,一个是上传状态,一个是分段状态,全部文件都进入分段状态后即可点击确定,后台会自动进行分段。 4️⃣ 文件细节控制(如分段调整和命中测试等) 对上传后的文件可以控制是否启用,支持删除文件以及进行更细节的分段设置。 选中文件,进入分段设置,我们可以看到默认为智能分段策略 我们也可以选择自定义分段策略,选择/添加其他分段符。 此外可以开启/关闭分段智能总结和分段问题生成。 分段智能总结会对每个片段使用 ai 进行智能总结 分段问题生成会对每个片段使用 ai 提出几个相关问题 分段后的结果以及智能总结/问题生成后的结果,均可人工编辑修改 注:关于分段的细节调整会在后续《知识库检索调优》中会深入提到,本篇暂不介绍。 点击知识库的右上角命中测试,可以对知识库进行测试。 左侧源文本里,输入信息,右侧返回在知识库中的即可测试对应的命中段落 5️⃣ 在智能体中使用知识库 我们在创建好知识库后,可以在各种类型应用里创建使用。这里我们以对话型智能体的两种形式分别介绍使用,内容生成型的智能体也是类似的方式。 先来对话型的简单构建 智能体 角色与指令以及其他参数这里不再赘述,本文主要关注知识库部分。 首先点击添加知识库,可选择是否使用 点击知识库召回配置,我们可以选择多种方式调用知识库

在 小宇宙note 阅读完整内容