智谱GLM-4.6V到底是什么水平?最新一手评测来了!

智谱GLM-4.6V到底是什么水平?最新一手评测来了!

智谱GLM 4.6V到底是什么水平?最新一手评测来了! 智谱GLM 4.6V到底是什么水平?最新一手评测来了! Modified January 22 No access 0bc3xib74aadzyaeojvnl5ufhowd725ah7qa.f10002 00:00 No access 0bc3aeaowaaac4ab7xvybrufaaod5maqb2ya.f10002 00:00 其核心是通过图片处理,截取到相关配图,再写文时,进行图文相关性匹配,看是否插入相关部位。通过一系列工具调用,完成图文并茂生成。 在处理过程中,没有先进行OCR识别,再处理,而是 直接对原生图片内容进行操作 。 好物比价 Prompt:这个酸奶的低价是多少,帮我出一份对比报告,并且里面包含各个平台的最低价链接 这里有个问题,就是GLM 4.6V这个价格不是直接实时爬取京东、拼多多、天猫等官方平台数据,而且调用了第三方比价平台的API数据,所以整体价格会存在波动,并且商品会不全, 但是这个场景还是蛮有意思的。 然后这个GLM 4.6V的视觉能力还会融入到智谱的coding plan套餐。 其他测试,比如空间逻辑、空间对比效果没那么理想,与 4.5V一致 ,可以看上面4.5V的测试,后面再测测9B的模型,看看小模型能达到什么效果。 最后想说, 智谱的这一次更新, GLM 4.6V更多是让多模态模型往真实应用上又推近了一步, 这非常重要, 像是在提前押注下一阶段的大模型形态, 比的是模型的可完成任务的复杂度、Agent化能力、组合能力, 但实话实说, 国内多模态理解大模型,相较于Gemini3.0 Pro还是存在距离, 革命尚未成功, 大家仍需努力。。。 No access 0bc3xib74aadzyaeojvnl5ufhowd725ah7qa.f10002 00:00 No access 0bc3xib74aadzyaeojvnl5ufhowd725ah7qa.f10002 00:00 No access 0bc3aeaowaaac4ab7xvybrufaaod5maqb2ya.f10002 00:00 No access 0bc3aeaowaaac4ab7xvybrufaaod5maqb2ya.f10002 00:00 其核心是通过图片处理,截取到相关配图,再写文时,进行图文相关性匹配,看是否插入相关部位。通过一系列工具调用,完成图文并茂生成。 在处理过程中,没有先进行OCR识别,再处理,而是 直接对原生图片内容进行操作 。 好物比价 Prompt:这个酸奶的低价是多少,帮我出一份对比报告,并且里面包含各个平台的最低价链接 这里有个问题,就是GLM 4.6V这个价格不是直接实时爬取京东、拼多多、天猫等官方平台数据,而且调用了第三方比价平台的API数据,所以整体价格会存在波动,并且商品会不全, 但是这个场景还是蛮有意思的。 然后这个GLM 4.6V的视觉能力还会融入到智谱的coding plan套餐。 其他测试,比如空间逻辑、空间对比效果没那么理想,与 4.5V一致 ,可以看上面4.5V的测试,后面再测测9B的模型,看看小模型能达到什么效果。 最后想说, 智谱的这一次更新, GLM 4.6V更多是让多模态模型往真实应用上又推近了一步, 这非常重要, 像是在提前押注下一阶段的大模型形态, 比的是模型的可完成任务的复杂度、Agent化能力、组合能力, 但实话实说, 国内多模态理解大模型,相较于Gemini3.0 Pro还是存在距离, 革命尚未成功, 大家仍需努力。。。 🔗 原文链接: https://mp.weixin.qq.com/s/69aSh7P2... https://mp.weixin.qq.com/s/69aSh7P2... 原创 刘聪NLP 刘聪NLP 刘聪NLP2025年12月8日 20:58 江苏 大家好,我是刘聪NLP。 12月国产模型又卷起来了,1号DeepSeek更新V3.2,刚刚智谱又发布新模型GLM 4.6V, 这次开源了两个版本模型,106B和9B,106B模型架构为MoE架构,激活参数12B;9B模型为Dense模型。 你可以理解为 106B是GLM 4.5V的增量版本,9B是GLM 4.1V的增量版本。 整体指标如下: 上个月,国内开源模型确实 有点被Gemini3.0 Pro打自闭了 , 应 该大多数人都是认同的, 有点被Gemini3.0 Pro打自闭了 当然也不仅仅是国内, 连Altman都慌了, 现在从多模态能力上来看,Gemini3.0 Pro应该是多模态理解大模型的Top1了。 那么,GLM 4.6V到底现在是什么水平呢? 方便测试,就 先测试了线上的106B模型 ,9B模型后续有机会再测。 测试地址: https://chat.z.ai/ 懒人快速版本 : • GLM 4.6V在多模态理解的能力上跟 GLM 4.5V 略有提高,大部分持平 GLM 4.5V • 重点提高在于工具使用场景,在VL模型上增加了工具的使用,图片搜索、图片处理、购物搜索等, • 世界知识有所提高,上海金茂大厦也因增加搜图而回答正确, • 看图猜成语部分测试ok,但之前GLM 4.5V不可以的 • 时钟问题、空间逻辑、空间对比依旧是国内多模态理解大模型的难题,需要进一步提高 • ORC任务、目标识别、报告分析、网页复刻任务依旧很好 • 视频理解也不错,对于快速变换能力可以精准抓住,同时可以理解隐藏含义 • 图文输出确实是个蛮有意思的场景 • 最后就是模型在think部分会死循环情况,4.5貌似较少 视频理解 主要考察模型对视频内容分析理解能力,是否能精准抓住视频中的细节。 Prompt:中午饿了,周围环境我拍给你,告诉我哪儿能吃到中餐? 回答:正确,准确找到老乡鸡,能理解我要吃中餐。 Prompt:猫咪在第几秒的时候接到了球 回答:正确,可以准确分析猫接到球的时机。 OCR识别 多模态大模型较为基础的功能,考察的内容提取能力,为了增加难度,上手竖版识别。 Prompt:识别图片中的全部内容,言简意赅 回答:正确,理解需要竖版识别,从右到左。 空间变换 考察多模态模型对图像的空间转换能力。 Prompt:请回答。 回答:正确,知道主视图如何查看 Prompt:请回答,哪个选项的六面体展开结果是上面的展开图。正确答案为D 回答:错误,对于高级复杂的空间变换,依然存在不足 理解计算 考察多模态大模型的内容理解能力、计算能力,上传一个GDP表格,找到最大值并计算占比。 Prompt:找到2024年GDP值最大的省份,并且计算占全国GDP的百分之多少? 2024年总和=1340312.8 回答:最大值找的正确, 但是2024年总和不是计算的,是从search到的,算作弊? 世界知识 考察模型对地理位置上的理解,看到标志性建筑,是否可以判断具体地点。 Prompt:朋友拍了一张图片,可以告诉我他是在中国哪个城市拍的吗?(上海金茂大厦,算是标志性建筑了。) 回答:正确,借助图像搜索,确实更容易定位到,如果关掉工具,会预测错误,还是网络训练数据金茂大厦太少。 时钟&成语 时钟问题确实难,gemini3.0 pro也不行,但是猜成语这个准确率就不如gemini3.0 pro了 然后到了最有意思的两个场景,也是GLM 4.6V主打的两个场景, 图文并茂输出 上传一些文档、或者长图,GLM 4.6V可以进行图文并茂的输出, Prompt:根据这个内容,写一个图文并茂的内容送来介绍这篇文章。(我上传了DeepSeek V3.2的Paper)

在 小宇宙note 阅读完整内容