张梦飞：实测智谱GLM-4.1V-Thinking，本地视觉Agent已在爆发前夜

张梦飞：实测智谱GLM 4.1V Thinking，本地视觉Agent已在爆发前夜 张梦飞：实测智谱GLM 4.1V Thinking，本地视觉Agent已在爆发前夜 Modified July 10, 2025 解释的过程太长我就不全放了，整体的都是正确的，但是他到底有没有理解和梳理清楚呢？然后我问他： 我看了下流程图， GLM 4.1V Thinking，回答对了。 作为一个9B的模型，到这我已经对他完全满意的了，不忍心再为难他的我，让他复刻一个自家官网。 对比图放在下方，视觉图比较直观，大家自行评判。 至此，作为一个9B的模型，能力已可见一斑。 这个模型为什么这么强，与他的训练方式和引入RL、高质量的数据集有紧密的关系，但是在这篇文章中我们不再讨论技术的细节，技术党们可以在文末查看更多相关技术文档。 实测到最后，我想到了一个超好玩的案例，老粉应该还记得之前做过一个《 二次元女友陪你上班是种什么体验？ 》实现了： 实时检测 电脑网页 状态，联动AI给出反馈： 当你工作去刷小红书时，会跳出来一个“人”犀利的“骂醒你”。 如果你一直在工作，AI也会跳出来，来一波彩虹屁夸夸你。 之前受限于成本和技术，还只能监控网页操作。现在有了GLM 4.1V 9B Thinking，就可以把 原本监控 网页的替换为监控整 个电脑屏幕 ， 那我们就可以实现全屏实时监控的操作了。 项目思路： 电脑屏幕实时录屏，每分钟请求一次GLM 4.1V 9B Thinking，让他来输出是否要进行夸夸和工作提醒。 1、使用本地录屏工具实时录屏，每分钟形成一个一分钟的录屏文件。 2、将录屏文件每分钟传入云端数据桶，拿到视频地址。 3、把视频地址和Prompt传给GLM 4.1V 9B Thinking模型 4、让GLM 4.1V 9B Thinking根据录屏识别并判断是在摸鱼还是工作，输出是否需要提醒的指令。 5、把GLM 4.1V 9B Thinking返回的内容解析，如果需要提醒则把文字转语音，把gif和音频合成视频 6、桌面客户端显示最终的虚拟形象和语音提醒。 先把这个想法验证一下，我随便录了个视频传给模型，让他进行判断。 可以看到，此处判断没有问题，那么整个思路应该都是可行的，于是我做了一个小的demo，屏幕显示的是分析的我前一分钟的屏幕，由于实现的是demo比较潦草，就不放代码给大家了，如果大家有兴趣，可以使用AI coding工具帮你去实现一下！ 又或者在下方评论，看大家是否想要学，如果有需求的话我可以优化优化项目，开一期共学，大家一起来玩GLM 4.1V Thinking（此处手动@官方） No access 2 00:00 （额，我回看之后、、怎么越看越像万恶资本家监工神器了。。haha） 说真的 GLM 4.1V 9B Thinking的能力已经超出了我的预期，针对这个模型我已经想到了非常多的应用场景，甚至想把自己每天的所有所见所闻都记录下来，然后让GLM 4.1V Thinking做实时的记录和分析。 由于GLM 4.1V Thinking在GUI Agents和OCR & Chart能力上的显著提升，我 们已经在业务端进行模型替换的AB测试，刚试运行两天，初步结果是识别效果打平 ，但对比成本降低5倍。 如果最终对比效果能够持平且成本更低，那么， 我相信这个模型将会给各个开 发者们带来一个更 加优雅的视觉场景解决方案。 并且，我相信现在已经 有很多团队在进行验证， 一 旦视觉模型能力、成本和本地 化在 GLM 4.1V Thinking上 得以解决 。那 随之而来的，就必将是视觉Agent的遍地开花。 更甚者，即使以上问题没有在这个版本得到解决，也依旧可以预见，视觉Agent已处于爆发前夜，朋友们，一大波机会即将到来 最后，百闻不如一试，现在 GLM 4.1V 9B Thinking已经在BigModel官网上架而且免费，大家可以去自行体验一下。 小伙伴们，机会悄然已至， 希望本文对你有所帮助，我们 下次见 以上，既然看到这里了，如果你喜欢，请随手点个赞、在看、转发三连吧，感谢你的支持 本文引用： 电影解说视频： https://www.bilibili.com/video/BV1mx411J7XT/?spm id from=333.337.search card.all.click&vd source=49481e6fe37dd7b547c58b13fa1d7c5f 默剧视频地址： https://www.bilibili.com/video/BV1Vs411H7uy/?spm id from=333.337.search card.all.click&vd source=49481e6fe37dd7b547c58b13fa1d7c5f GLM 4.1V Thinking模型和API地址： • 智谱 MaaS 开发平台： bigmodel.cn 同步上线 GLM 4.1V Thinking Flash API，可直接体验。 • API 使用指南： • https://www.bigmodel.cn/dev/howuse/visual reasoning model/glm 4.1v thinking • API 接口文档： • https://www.bigmodel.cn/dev/api/visual reasoning model/glm 4.1v thinking GLM 4.1V Thinking模型开源列表： • Github： • https://github.com/THUDM/GLM 4.1V Thinking • ModelScope： • https://modelscope.cn/collections/GLM 41V 35d24b6def9f49 • Hugging Face • https://huggingface.co/collections/THUDM/glm 41v thinking 6862bbfc44593a8601c2578d • HuggingFace 体验链接： • https://huggingface.co/spaces/THUDM/GLM 4.1V 9B Thinking Demo • 魔搭社区体验链接： • https://modelscope.cn/studios/ZhipuAI/GLM 4.1V 9B Thinking Demo 🔗 原文链接： https://mp.weixin.qq.com/s/U8AVJA26... 原创 张梦飞i Equity AI2025年07月08日 11:36 重庆 二次元女友陪你上班是种什么体验？ bigmodel.cn https://mp.weixin.qq.com/s/U8AVJA26... 解释的过程太长我就不全放了，整体的都是正确的，但是他到底有没有理解和梳理清楚呢？然后我问他： 我看了下流程图， GLM 4.1V Thinking，回答对了。 作为一个9B的模型，到这我已经对他完全满意的了，不忍心再为难他的我，让他复刻一个自家官网。 对比图放在下方，视觉图比较直观，大家自行评判。 至此，作为一个9B的模型，能力已可见一斑。 这个模型为什么这么强，与他的训练方式和引入RL、高质量的数据集有紧密的关系，但是在这篇文章中我们不再讨论技术的细节，技术党们可以在文末查看更多相关技术文档。 实测到最后，我想到了一个超好玩的案例，老粉应该还记得之前做过一个《 二次元女友陪你上班是种什么体验？ 》实现了： 二次元女友陪你上班是种什么体验？ 实时检测 电脑网页 状态，联动AI给出反馈： 当你工作去刷小红书时，会跳出来一个“人”犀利的“骂醒你”。 如果你一直在工作，AI也会跳出来，来一波彩虹屁夸夸你。 之前受限于成本和技术，还只能监控网页操作。现在有了GLM 4.1V 9B Thinking，就可以把 原本监控 网页的替换为监控整 个电脑屏幕 ， 那我们就可以实现全屏实时监控的操作了。 项目思路： 电脑屏幕实时录屏，每分钟请求一次GLM 4.1V 9B Thinking，让他来输出是否要进行夸夸和工作提醒。 1、使用本地录屏工具实时录屏，每分钟形成一个一分钟的录屏文件。 2、将录屏文件每分钟传入云端数据桶，拿到视频地址。 3、把视频地址和Prompt传给GLM 4.1V 9B Thinking模型 4、让GLM 4.1V 9B Thinking根据录屏识别并判断是在摸鱼还是工作，输出是否需要提醒的指令。 5、把GLM 4.1V 9B Thinking返回的内容解析，如果需要提醒则把文字转语音，把gif和音频合成视频 6、桌面客户端显示最终的虚拟形象和语音提醒。 先把这个想法验证一下，我随便录了个视频传给模型，让他进行判断。 可以看到，此处判断没有问题，那么整个思路应该都是可行的，于是我做了一个小的demo，屏幕显示的是分析的我前一分钟的屏幕，由于实现的是demo比较潦草，就不放代码给大家了，如果大家有兴趣，可以使用AI coding工具帮你去实现一下！ 又或者在下方评论，看大家是否想要学，如果有需求的话我可以优化优化项目，开一期共学，大家一起来玩GLM 4.1V Thinking（此处手动@官方） No access 2 00:00 No access 2 00:00 （额，我回看之后、、怎么越看越像万恶资本家监工神器了。。haha） 说真的 GLM 4.1V 9B Thinking的能力已经超出了我的预期，针对这个模型我已经想到了非常多的应用场景，甚至想把自己每天的所有所见所闻都记录下来，然后让GLM 4.1V Thinking做实时的记录和分析。 由于GLM 4.1V Thinking在GUI Agents和OCR & Chart能力上的显著提升，我 们已经在业务端进行模型替换的AB测试，刚试运行两天，初步结果是识别效果打平 ，但对比成本降低5倍。 如果最终对比效果能够持平且成本更低，那么， 我相信这个模型将会给各个开 发者们带来一个更 加优雅的视觉场景解决方案。 并且，我相信现在已经 有很多团队在进行验证， 一 旦视觉模型能力、成本和本地 化在 GLM 4.1V Thinking上 得以解决 。那 随之而来的，就必将是视觉Agent的遍地开花。 更甚者，即使以上问题没有在这个版本得到解决，也依旧可以预见，视觉Agent已处于爆发前夜，朋友们，一大波机会即将到来 最后，百闻不如一试，现在 GLM 4.1V 9B Thinking已经在BigModel官网上架而且免费，大家可以去自行体验一下。 小伙伴们，机会悄然已至， 希望本文对你有所帮助，我们 下次见 以上，既然看到这里了，如果你喜欢，请随手点个赞、在看、转发三连吧，感谢你的支持 本文引用： 电影解说视频： https://www.bilibili.com/video/BV1mx411J7XT/?spm id from=333.337.search card.all.click&vd source=49481e6fe37dd7b547c58b13fa1d7c5f 默剧视频地址： https://www.bilibili.com/video/BV1Vs411H7uy/?spm id from=333.337.search card.all.click&vd source=49481e6fe37dd7b547c58b13fa1d7c5f GLM 4.1V Thinking模型和API地址： • 智谱 MaaS 开发平台： bigmodel.cn 同步上线 GLM 4.1V Thinking Flash API，可直接体验。 bigmodel.cn • API 使用指南： • https://www.bigmodel.cn/dev/howuse/visual reasoning model/glm 4.1v thinking • API 接口文档： • https://www.bigmodel.cn/dev/api/visual reasoning model/glm 4.1v thinking GLM 4.1V Thinking模型开源列表： • Github： • https://github.com/THUDM/GLM 4.1V Thinking • ModelScope： • https://modelscope.cn/collections/GLM 41V 35d24b6def9f49 • Hugging Face • https://huggingface.co/collections/THUDM/glm 41v thinking 6862bbfc44593a8601c2578d • HuggingFace 体验链接： • https://huggingface.co/spaces/THUDM/GLM 4.1V 9B Thinking Demo • 魔搭社区体验链接： • https://modelscope.cn/studios/ZhipuAI/GLM 4.1V 9B Thinking Demo 🔗 原文链接： https://mp.weixin.qq.com/s/U8AVJA26... https://mp.weixin.qq.com/s/U8AVJA26... 原创 张梦飞i Equity AI2025年07月08日 11:36 重庆 朋友们，刚关注到，7月2日，智谱发布了并开源了新的视觉推理模型 GLM 4.1V 9B Thinking，拿下“10B级”通用视觉模型SOTA。 通常来说我对小模型是不抱希望， 我这两天实测了一下，这次却发现， 这个模型真的有！点！东！西！ 于是我马不停蹄地想与小伙伴们分享一下这个模型， 我先说测试结论，从当下来判断： 1、GLM 4.1V 9B Thinking不仅 达到同尺寸效果最好，且实测有较强的能力，未来在端侧应用上会有极大潜力，视觉Agent已处于爆发前夜。 2、有自部署、低成本视觉模型需求场景，建议尝试这款模型。 另外我基于这个模型把之前的《 二次元女友陪你上班是种什么体验？手把手教你用AI打破次元壁！ 》搞了个升级版。整个实现思路放在了最后边，大家也可以自己跟着思路手搓一个。 二次元女友陪你上班是种什么体验？手把手教你用AI打破次元壁！ 好，我们说回模型，GLM 4.1V 9B Thinking目前已经同步在智谱MaaS开放平台（bigmodel.cn）上线，并且提供了API调用的能力，整体价格十分“良心” bigmodel.cn 普通并发版本直接免费，高并发版本2元/百万 tokens ，并且新品上线还 送了 一亿的高并发版本的资源包 ，四舍五入还是不要钱。（智谱总是这么豪横。 根据官方的介绍，此模型已经是 同级别最强 ，甚至把这个名号写在了开发文档中，自信程度可见一斑。 GLM 4.1V Thinking 系列是目前已知10B尺寸级别中性能最强的视觉推理模型。它在图表/视频理解、前端Coding、GUI任务等核心能力达到全面新SOTA，并引入思维链推理机制，显著提升模型在复杂场景中的回答精准度与可解释性。 摘自智谱官网开发文档 GLM 4.1V 9B Thinking 模型在MMStar、MMMU Pro、ChartQAPro、OSWorld等28项权威评测中， 以 23 项 10B 级模型最优 成绩展现了智谱的硬核实力，其中 18 项指标持平或超越8倍参数量的主流VLM模型 。 GLM 4.1V Thinking 的推荐应用场景有以下场景： • 图文理解（Image General）：精准识别并综合分析图像与文本信息； • 数学与科学推理（Math & Science）：支持持复杂题解、多步演绎与公式理解； • 视频理解（Video）：具备时序分析与事件逻辑建模能力； • GUI 与网页智能体任务（UI2Code、Agent）：理解界面结构，辅助自动化操作； • 视觉锚定与实体定位（Grounding）：语言与图像区域精准对齐，提升人机交互可控性。 其实是传统的视觉模型模型能够完成的任务，能够执行这些任务在2025年并不新奇，但是9B的小模型能够有以上能力的分数，就有了更加深远的意义： 实现了在低成本、高效部署的同时有了可用的性能。 9B模型，意味着整体的部署成本非常低，能够在家用消费级显卡上完美运行，无论是要进行微调还是部署执行任务都是大多数业务能够接受的成本。 熟悉我的小伙伴都知道我们主业是做企业化智能体全案定制开发的，我们在日常的工作中经常会遇到需要视觉理解能力的场景，但在实际的业务场景中，能用到视觉能力的场景都通常比较复杂，哪怕是简单的发票识别也会有各种各样的问题，更别说一些有复杂业务逻辑的场景。 而通常能把视觉能力支持的比较好的模型又比较贵，所以我们在落地时，会采用复杂的工程化手段和多模型协同的策略来提高整体识别的判断的准确性，但是由此而来的副作用就是“慢”。 准确、速度、价格似乎成了不可调和的铁三角。 但是在我测试了GLM 4.1V Thinking后，看到了曙光 。 以下是我在使用中测试的一些案例，我们一起来看一下，感受9B小尺寸的大能量： 我随便在B站下载了一个电影解说视频，原视频地址我放在了文末。我把视频上传然后问： 这个视频的第53秒是什么画面 ，都有哪些人物。 下边分别是 GLM 4.1V Thinking 和 Gemini 2.5Pro 的回答 说实话，当我看到对比结果的时候我是震惊的，Gemini 2.5Pro在视频理解上的含金量我想不必多说，在模型刚出来的时候很多人用Gemini 2.5Pro把视频转成网页、转成学习资料使用，被誉为全球首个具备原生视频处理能力，能够深入理解、分析视频内容，并将其转化为结构化应用与创新内容的通用多模态模型。 但是在这个Case里，GLM 4.1V Thinking赢了。 GLM 4.1V Thinking说了是三个人物。 Gemini说只有一个人物。 而53s真实的画面是： 我还很疑惑，因为我不太相信Gemini 2.5Pro会输在这个场景上，可能是上传之后的视频有速度差异？或者读秒有差异？于是我在原网页上又看了一遍 No access 1 00:00 No access 1 00:00 好吧，GLM 4.1V Thinking确实很强。 但有必要说明的是： 这并不代表Gemini 2.5Pro模型弱，这个Case只是代表在这个场景下GLM 4.1V Thinking的视频帧切片相对更加的准确 。 我们知道视频理解的本质上依然是对图片加上时序形成完整理解的逻辑，为了试一下GLM 4.1V Thinking的视频理解能力，而非只是图片的识别与理解。 于是，我找了一个默剧魔术， 这个默剧没有任何的字幕，魔术本身也没有任何的介绍，并且整个视频前半部分都是铺垫，魔术的高潮出现在最后。 如果要准确的描述这个魔术和节目的精彩点，就需要 模型对画面进行精准的分析理解并且前后进行对照 才能够准确的回答：这个默剧魔术的精彩点在哪 查看模型的结果，模型对默剧的分析 除了最后的并不是花环头饰而是一捧花之外 ， 其他的描述可谓分毫不差 。 这真的令我震惊了，我想这已经不必再进行对比， 9B的模型能够做到如此程度已经足以令人拍案足以叫绝。 视频链接在底部，大家可以自己看一下视频，因为默剧表演一直持续是有动作和表情的，但是模型在大量的动作里准确捕捉到了这些“有趣”的动作，这是十分不俗的表现。 我们知道即使模型对图片可以识别，但是 有推理 能力和识别又是两码事 ， 而且对于图片的识别，流程图的箭头交叉也是一个难点，于是我在网上找了一个“饿了么用户订餐流程图”，让模型进行解释。