贾栾：把厚厚的PDF变成AI知识库：一个普通人也能用的技能

贾栾：把厚厚的PDF变成AI知识库：一个普通人也能用的技能 贾栾：把厚厚的PDF变成AI知识库：一个普通人也能用的技能 Modified January 25 直接使用，直接转换。（限制单个文件 50M，可以根据情况适当处理） 转换结果 直接下载为 MD 格式。 3、使用 Cherry Studio，将文档存入知识库 具体操作方式查看教程： 别再把 AI 当聊天机器人了！手把手教你组建“AI 团队” 附详细搭建教程 至此，知识库已经搭建完成，可以开始对话了。 4、开始对话使用 选择相应的知识库开始对话。 为了演示效果，强制只能通过知识库查询。 与原文档内容一致。 完成。 实操结语 本文更多的介绍的是方式方法，具体关于工具的操作之前的文章中已经有介绍。 这种方式可以解决资料书转为知识库，随时问 AI 即可 当然中间过程可能需要根据业务实际情况做一些数据整理。 【实际应用场景】 ✓ 学生：把教科书、笔记转成知识库，AI帮你复习 ✓ 上班族：把公司文档、SOP转成知识库，快速查询 ✓ 创业者：把商业资料、竞品分析转成知识库，AI帮你分析 ✓ 自媒体：把素材库、案例库转成知识库，AI帮你创作 ✓ 律师/医生：把法律条文、医学资料转成知识库，秒速查询 关于 Skills 的思考 最后，我想关于文中的 Skills 结合最近社群小伙伴的焦虑做下思考总结。 pdf 2 markdown 技能是我基于开源技能 markitdown，根据实际情况进行整改的。来来回回折腾了 3、4 天。 为什么呢？ 因为我初始的文档都是扫描件，且清晰度一般。相信大家平时的扫描件文档都会有这种情况。 为了将扫描件的转换效果更好，我做了多次迭代，并集成了 OCR 识别，如果效果还不行，还支持 AI 大模型识别（需要配置对应的 API 信息）。 以下是部分 SOP 流程 Code block Plain Text Copy 目标 将 PDF/Office/图片/音频 等文档转换为 Markdown，并确保所有输出都经过格式清洗后再落盘。 标准流程（SOP） 1. 识别输入格式并选择转换路径（文本提取 / 本地 OCR / LLM）。 2. 执行内容提取，得到原始文本。 3. 执行格式清洗（去噪、段落拼接、结构修复）。 4. 写入 Markdown，输出头部包含“生成方式 + 自动清洗”标记。 后来我尝试了 OCR 识别后发现效果还行，但是效率会慢些，尤其是电脑配置不高的情况。 所以对于扫描件较多的情况，我直接使用了 WPS 进行 OCR 识别（应该是会员才可以或者没限制）。 我重点是对最后生成的 md 文档执行格式清洗（去噪、段落拼接、结构修复），同时还要考虑通用性。即使到现在，仍会有一些格式问题。但是对于知识库使用来说，影响已经不大。 Skills 那么火，我就是不会弄怎么办？ 请先看我之前的文章， 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅，你先了解它是什么。 现在的确有很多人做出了各种五花八门的亮眼技能，其本质都是在他们之前已有的 SOP 流程做了封装，甚至直接把原有的能力又换了个马甲而已。 对于自己来说，首先还是要清楚自己的 SOP 是什么？ 找到自己的痛点，跟 AI 聊解决方案，同时找相关的开源技能，甚至自己二次迭代。 有点偏离主题了，更多的是让大家不要焦虑，我也是花了好几天才搓出这么一个看似简单的技能。 技能源码 https://github.com/shaoyi1991/pdf 2 markdown End 👉 所谓的“中年危机”，不过是另一场马拉松的起点。 现在的我没有包装精美的成品，只有最真实的实战记录。 每天朋友圈公开我的 AI 学习、一人公司建设、跑步进化 的所有细节。 欢迎加我微信，全方位围观。 用我踩坑的经验，帮你少走三年弯路。 👇 添加微信：qdrsw001，备注【围观】 个人微信 服务号：WayToAIGC ​ 别再把 AI 当聊天机器人了！手把手教你组建“AI 团队” 附详细搭建教程 ​ 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅 直接使用，直接转换。（限制单个文件 50M，可以根据情况适当处理） 转换结果 直接下载为 MD 格式。 3、使用 Cherry Studio，将文档存入知识库 具体操作方式查看教程： 别再把 AI 当聊天机器人了！手把手教你组建“AI 团队” 附详细搭建教程 ​ 别再把 AI 当聊天机器人了！手把手教你组建“AI 团队” 附详细搭建教程 至此，知识库已经搭建完成，可以开始对话了。 4、开始对话使用 选择相应的知识库开始对话。 为了演示效果，强制只能通过知识库查询。 与原文档内容一致。 完成。 实操结语 本文更多的介绍的是方式方法，具体关于工具的操作之前的文章中已经有介绍。 这种方式可以解决资料书转为知识库，随时问 AI 即可 当然中间过程可能需要根据业务实际情况做一些数据整理。 【实际应用场景】 ✓ 学生：把教科书、笔记转成知识库，AI帮你复习 ✓ 上班族：把公司文档、SOP转成知识库，快速查询 ✓ 创业者：把商业资料、竞品分析转成知识库，AI帮你分析 ✓ 自媒体：把素材库、案例库转成知识库，AI帮你创作 ✓ 律师/医生：把法律条文、医学资料转成知识库，秒速查询 关于 Skills 的思考 最后，我想关于文中的 Skills 结合最近社群小伙伴的焦虑做下思考总结。 pdf 2 markdown 技能是我基于开源技能 markitdown，根据实际情况进行整改的。来来回回折腾了 3、4 天。 为什么呢？ 因为我初始的文档都是扫描件，且清晰度一般。相信大家平时的扫描件文档都会有这种情况。 为了将扫描件的转换效果更好，我做了多次迭代，并集成了 OCR 识别，如果效果还不行，还支持 AI 大模型识别（需要配置对应的 API 信息）。 以下是部分 SOP 流程 后来我尝试了 OCR 识别后发现效果还行，但是效率会慢些，尤其是电脑配置不高的情况。 所以对于扫描件较多的情况，我直接使用了 WPS 进行 OCR 识别（应该是会员才可以或者没限制）。 我重点是对最后生成的 md 文档执行格式清洗（去噪、段落拼接、结构修复），同时还要考虑通用性。即使到现在，仍会有一些格式问题。但是对于知识库使用来说，影响已经不大。 Skills 那么火，我就是不会弄怎么办？ 请先看我之前的文章， 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅，你先了解它是什么。 ​ 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅 现在的确有很多人做出了各种五花八门的亮眼技能，其本质都是在他们之前已有的 SOP 流程做了封装，甚至直接把原有的能力又换了个马甲而已。 对于自己来说，首先还是要清楚自己的 SOP 是什么？ 找到自己的痛点，跟 AI 聊解决方案，同时找相关的开源技能，甚至自己二次迭代。 有点偏离主题了，更多的是让大家不要焦虑，我也是花了好几天才搓出这么一个看似简单的技能。 技能源码 https://github.com/shaoyi1991/pdf 2 markdown End 👉 所谓的“中年危机”，不过是另一场马拉松的起点。 现在的我没有包装精美的成品，只有最真实的实战记录。 每天朋友圈公开我的 AI 学习、一人公司建设、跑步进化 的所有细节。 欢迎加我微信，全方位围观。 用我踩坑的经验，帮你少走三年弯路。 👇 添加微信：qdrsw001，备注【围观】 所谓的“中年危机”，不过是另一场马拉松的起点。 现在的我没有包装精美的成品，只有最真实的实战记录。 每天朋友圈公开我的 AI 学习、一人公司建设、跑步进化 的所有细节。 欢迎加我微信，全方位围观。 用我踩坑的经验，帮你少走三年弯路。 👇 添加微信：qdrsw001，备注【围观】 个人微信 服务号：WayToAIGC 个人微信 服务号：WayToAIGC 前言 • 买了一堆电子书、资料，想让AI帮你查询，但AI总是查不到 • 公司有大量项目文档，想建立知识库，但不知道怎么喂给AI • 把PDF放进知识库了，AI还是说"我的知识库里没有这个信息" • 手动复制粘贴资料给AI，效率太低 如果你有以上任何一个问题，这篇文章就是为你写的。 本文将用一个真实案例（176页的《民法典》），手把手教你如何将任何资料转换成AI能理解的格式，让AI秒查询。 同时也总结下我对“技能” 的理解，减轻大家对漫天新技术内容的焦虑。 先看效果 我分别问了三次，每次问之前，我将三个文件添加到知识库，分别如下： • 扫描版 PDF（每一页是图片，文字不可选择复制、搜索） • 可搜索版 PDF（通过 WPS 转换为可搜索版，文字可选择复制、搜索） • Markdown 文档（纯文字版本，类似 txt 文档） 如图所示：我要求 AI 从知识库里查询"东汉王朝有几个皇帝，存在多久？". 对应的知识库情况如图： 都显示已经导入知识库，并完成嵌入。 具体三个文档的差异 • 扫描版 PDF 文字不可选择、不可复制、不可搜索。 • 可搜索版 PDF 文字可选择、复制。其本质是通过图像识别，将扫描图片中的文字进行提取。根据源文件的清晰度，可能会造成不同程度的文字错误。 • 转换后的 Markdown 文档 将 PDF 转换为 Markdown 文档，即纯文本。 可以看到，受限于 PDF 本身的清晰度或者内容等，导入知识库的识别效果很差。转换为 MD 文档后，能有效识别。 Markdown（MD）文档是什么？ MD 是一种标记语言，通过简单的标记语法，可以使普通文本内容具有一定的格式。 说白了就是计算机可以有效识别的语言，比 txt 文档更有效。 转换过程 上图是转换示意说明，可以根据当前文档的情况，选择具体的操作方式。 接下来我们开始实操 为了更通用性及版权问题，这里我以《民法典》为例（176 页的 PDF 文档），实操如何高效搭建知识库并让 AI 高效读取。 需要用到的工具 1、Cherry Studio 具体操作教程请查看 别再把 AI 当聊天机器人了！手把手教你组建“AI 团队” 附详细搭建教程 ​ 别再把 AI 当聊天机器人了！手把手教你组建“AI 团队” 附详细搭建教程 2、WPS（会员版） 根据你的材料情况决定是否必须。 3、Trae （IDE 工具）（非必须） 用于将原始资料转换为 Markdown 格式，方便搭建知识库，也可以用其它的通用类工具（如扣子空间）。 如果资料可读，也可以不转换，只是效果会差些。 需要用到 skills 能力（pdf 2 markdown） IDE 方式教程查看： 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅。 ​ 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅 扣子空间方式下文直接介绍。 实操 默认你已经完成了 Cherry Studio 的安装使用教程，并且本地可以搭建简单的知识库。 如有问题，请详细查看上边的 Cherry Studio 详细教程。 1. 原始资料准备 如果你的原始资料已经是文字版，就可以跳过这一步。 1.1 获取资料 不管是你购买的电子资料，还是你自己拍照扫描的资料，大概率都是扫描版 PDF 文档。 为了演示效果，我将《民法典》先转为了扫描版。 1.2 转为文字版 PDF 文档 由于文档是扫描版，每一页的内容其实是图片，无法直接作为知识库存储。 需要先通过 WPS 的“扫描件》识别文字》多文档》开始转换” 1.3 转换成功 可以验证一下，文字是可以选择、粘贴复制的。 注意：由于我使用的文档都是高清文字，基本不会出错。但是由于某些资料可能包含图片、分辨率低等，可能会出现识别错误。可以根据错误的严重程度，转为 MD 文档后适当调整。 2. 文字版资料转换为 Markdown 格式 2.1 【完整版】（30分钟，适合进阶） IDE 方式进行转换 适合：经常用、资料复杂、想要最佳效果 适合：经常用、资料复杂、想要最佳效果 IDE 方式，是我习惯的方式，我用 IDE 打造成我自己的 AI 工作台。可以看到全过程以及可以让 AI 不断迭代、修改。 但由于 IDE 方式的入门门槛相对较高，后边我提供了扣子空间的操作方式。 默认你已经阅读了 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅，并且已经有了 Cluade 官方的 pdf 技能，或者我升级后的 pdf 2 markdown 技能。（文末提供技能源码地址） ​ 用 IDE 方式接入 Agent Skills，实操带你对 Skills 祛魅 pdf 2 markdown 接下来直接对话要求即可。 一次对话即完成，AI 自动完成并生成新的文档 简单看下 md 格式文档没有太大出入即可，随机挑几部分与原文对下。 2.2 【快速版】（10分钟，适合小白） 通过扣子空间进行转换 适合：偶尔用、资料不多、不想折腾 适合：偶尔用、资料不多、不想折腾 扣子空间新上线了“技能”，对于小白用户操作友好，直接可视化操作。 其本质是一样的，只是我把 pdf 2 markdown 的能力上传到了扣子空间中，打包成“技能”对外使用。 访问地址：https://www.coze.cn/?skills=7598110618176028723 由于我的技能还在审核中，可能还需要等一等。