张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程

张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程 张梦飞：【全网最细】从LLM大语言模型、知识库到微信机器人的全本地部署教程 Modified October 11, 2024 5.2 关闭窗口，再次运行那两行命令 会发现已经有了。 三、部署项目 6、下载COW机器人项目，也给你准备好了，直接下载，然后解压缩。 chatgpt on wechat master.zip 467.44KB 7、解压后，打开COW文件夹， 8、在空白处，shift+鼠标右键，点击“在此处打开Powershell窗口” 9、在Powershell窗口中，粘贴进入： pip install r requirements.txt 10、等待执行完成后，继续粘贴： pip install r requirements optional.txt 12、上边的都执行完成后，关闭窗口。在当前目录下，找到config template.json文件。如下图： 13、新生成的便是配置文件，右键 使用记事本 打开这个文件 因为这个地方对格式和符合要求比较严格，如果是小白，建议你直接复制我下方的配置。 14、 • 删除新文件里的所有代码。 • 复制下边的代码，粘贴到文件里。 • 找到第4行，把API key，粘贴到双引号里。 • 这也是你唯一需要修改的地方。修改完之后，点击保存，关闭文件。 Code block JSON { "channel type": "wx", "model": "qwen", "open ai api key": "fastgpt生成的key", "open ai api base": "http://localhost:3000/api/v1/chat/completions", "text to image": "dall e 3", "voice to text": "openai", "text to voice": "openai", "proxy": "", "hot reload": true, "single chat prefix": [""], "single chat reply prefix": "", "group chat keyword": ["{问题}"], "group chat prefix": ["@bot"], "group name white list": ["ALL GROUP"], "concurrency in session": 1, "group welcome msg": "", "speech recognition": true, "group speech recognition": false, "voice reply voice": false, "conversation max tokens": 2000, "expires in seconds": 3600, "character desc": "", "temperature": 1.0, "subscribe msg": "", "use linkai": false, "linkai api key": "", "linkai app code": "" } 15、保存上述文件，然后在当前文件下，找到plugins/godcmd文件夹，复制config.json.template重命名为 config.json 16、双击config.json，进入后，设置下你的password和admin users 可以设置为和我一样的，后边再改，点击保存后关闭。 17、重新回到chatgpt on wechat/这个文件路径下，空白处右键，打开Powershell里复制粘贴进入： python app.py 然后将会弹出二维码，扫码登录即可。 5.2 关闭窗口，再次运行那两行命令 会发现已经有了。 三、部署项目 6、下载COW机器人项目，也给你准备好了，直接下载，然后解压缩。 chatgpt on wechat master.zip 467.44KB chatgpt on wechat master.zip 467.44KB 7、解压后，打开COW文件夹， 8、在空白处，shift+鼠标右键，点击“在此处打开Powershell窗口” 9、在Powershell窗口中，粘贴进入： pip install r requirements.txt 10、等待执行完成后，继续粘贴： pip install r requirements optional.txt 12、上边的都执行完成后，关闭窗口。在当前目录下，找到config template.json文件。如下图： 13、新生成的便是配置文件，右键 使用记事本 打开这个文件 因为这个地方对格式和符合要求比较严格，如果是小白，建议你直接复制我下方的配置。 14、 • 删除新文件里的所有代码。 • 复制下边的代码，粘贴到文件里。 • 找到第4行，把API key，粘贴到双引号里。 • 这也是你唯一需要修改的地方。修改完之后，点击保存，关闭文件。 15、保存上述文件，然后在当前文件下，找到plugins/godcmd文件夹，复制config.json.template重命名为 config.json 16、双击config.json，进入后，设置下你的password和admin users 可以设置为和我一样的，后边再改，点击保存后关闭。 17、重新回到chatgpt on wechat/这个文件路径下，空白处右键，打开Powershell里复制粘贴进入： python app.py 然后将会弹出二维码，扫码登录即可。 18、注意： （1）程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行。 （2）如果你发现突然不管用了，你可以点击一下窗口，然后点一下空格。 因为在选中状态下，powershell窗口是不继续执行的。 （3）其他操作与服务器部署的操作一致。 参考这个教程，在本地部署HOOK机器人。 张梦飞：【保姆级】基于Hook机制的微信AI机器人，无需服务器，运行更稳定，风险更小 张梦飞：【保姆级】基于Hook机制的微信AI机器人，无需服务器，运行更稳定，风险更小 然后在配置，config.json时，在此处进行配置 OpneAi Api就填这个地址: http://localhost:3000/api/v1/chat/completions 然后你登录微信机器人，进行对话，就通了 七、如何联系 群里有很多机器人 ❤️大家自行体验 互帮互助，欢迎把自己建好的机器人拉到群里检测。 我们需要进行部署的有三大部分 1、本地部署大语言模型 2、本地部署FastGPT+OneAPI 3、本地部署HOOK项目或COW 一、部署大语言模型 一、下载并安装Ollama 1、点击进入，根据你的电脑系统，下载Ollama：https://ollama.com/download 2、下载完成后，双击打开，点击“Install” 3、安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成 http://127.0.0.1:11434/ 二、下载 qwen2:0.5b 模型（0.5b是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 1、 如果你是windows电脑， • 点击win+R • 输入cmd，点击回车 如果你是Mac电脑， • 按下 Command（⌘）+ Space 键打开Spotlight搜索。 • 输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 2、复制以下命令行，粘贴进入，点击回车： 3、回车后，会开始自动下载，等待完成 （这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 4、下载完成后你会发现，大模型已经在本地运行了。输入文本即可进行对话。 二、安装Docker Desktop 1、点击去下载，根据你的系统进行选择。我是Windows系统，以这个为例 https://docs.docker.com/desktop/install/windows install/ 2、下载后，双击下载项目，出现下图，点击ok，开始加载文件。 3、点击“close and restart”重启电脑 4、重启后，点击：“Accept” 5、选择第二个即可，点击"Finish" 6、然后会进入Docker Desktop。此处完成。 三、部署FastGPT+OneAPI 1、在桌面 按住“shift”+鼠标右键，选择“在此处打开Powershell窗口” 2、在窗口中一行一行输入并回车： 3、等待上方命令执行完成，下载完成之后。不要关掉窗口 回到桌面，打开FastGPT文件夹，你会看到有两个文件 右键docker compose.yml文件，选择打开方式 记事本打开 这一步非常关键！ 然后查找这一行：image: ghcr.io/songquanpeng/one api: 把后缀改成v0.6.7 image: ghcr.io/songquanpeng/one api:v0.6.7改完之后保存关掉记事本。 回到命令行窗口中，继续在窗口中一行一行输入并回车： 4、等待全部执行完成。命令窗口先不关 四、配置OneAPI 在浏览器中输入：http://localhost:3001 进入登录页，账号 root 密码 123456，点击登录. 2、点击【渠道】 点击【添加新的渠道】 3、类型选择Ollama， 名称：qwen2 模型：qwen2:0.5b 秘钥：sk sky 代理：http://host.docker.internal:11434 4、点击提交，然后回到“渠道”会发现有了qwen2的一列。 点击“测试” 如果弹出，测试成功，说明大模型调通了。 4、点击【令牌】 【添加新令牌】 6、名称随意，时间设为永不过期、额度设为无限额度。 点击【提交】 7、点击【令牌】，会看到自己设置的。 点击复制即可复制key。 五、配置FastGPT 6、名称随意，时间设为永不过期、额度设为无限额度。 点击【提交】 7、点击【令牌】，会看到自己设置的。 点击复制即可复制key。 五、配置FastGPT 1、回到FastGPT文件夹里，依旧记事本打开“docker compose.yml”文件，然后查找到 OPENAI BASE URL Base url用这个：http://host.docker.internal:3001/v1 key：直接粘贴进去然后保存即可。 2、在打开config.json 根据图示修改完成，然后把下边的数值先改成1500左右。 3、回到命令窗口，在命令窗口中输入：docker compose down等待执行完成 4、在命令窗口中输入：docker compose up d等待执行完成 在浏览器上输入：http://localhost:3000 账号root 密码1234，点击进入 设置好，别忘了点确定。 如果对话框测试有回复，那就是成功接入。 5、发布API，看图进行操作，然后创建一个key。 六、本地Hook或COW机器人 以下二选一，建议先选择COW 注意：本教程完成后，程序将在你的电脑本地运行，假如你关掉了窗口，那么进程也就结束。所以，如果你想让AI持续使用，就必须保持窗口打开和运行，也就是电脑不能关。 以下教程以windows10系统为例/ mac系统步骤也是一样，只是打开命令符的命令些许不同，遇到问题问大模型就好了 二、安装环境 1、点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口 2、在命令窗口中，粘贴入以下代码，确认是否有python 3、粘贴入以下代码，确认是否有pip 4、两步命令输入完，核对一下 • 如果有的话，会如上图一样，分别显示出版本号。那么可以跳过“安装环境这一步，直接到“二、部署项目”” • 如果没有的话，会如下图所示，那么需要安装下边的步骤，一步一步安装。 5、先进行python的安装，我帮你把python的安装包已经下载好了，直接点击下载： python 3.12.3 amd64.exe 25.47MB python 3.12.3 amd64.exe 25.47MB 5.1 python安装步骤：