[模型测试] Qwen3

[模型测试] Qwen3 [模型测试] Qwen3 Modified May 16, 2025 1351 1505 之前主要得到的消息就是数学和代码能力，然后也找了一道比较经典的数学题来测试： 1. 多重括号组合等式 1. 给如下等式添加括号，可以加多个括号，使得等式成立：8 + 28 / 4 2 3 = 6 2. 给如下等式添加括号，可以加多个括号，使得等式成立：8 + 28 / 4 2 3 = 7 1是有解的，2无解。之前很多大模型在上面翻过车用国际版chat.qwen.ai测的，体感比国内版好很多题目1 题目2 💡 这个跟我上午在国内版测的完全是两个东西，国际版体验下来就一句话：快且好。它不像之前模型解决这种问题基本都用穷举，然后因为上下文过长导致幻觉，而是有了一个很明显的拆解（8+28)/something = 6，然后something = [(4 2) 3] 更换了乘法和减法的优先级，这点是非常牛逼的地方。研究能力 1. 对GEO(Generative Engine Optimization)的看法 💡 先说结果，这种比较新的话题，又带有非常强的主观性（从不同利益者的视角会有对立冲突的观点），输出的内容基本不怎么能看自主发散性还是比较差，在没有搜索源支撑的时候，哪怕交代了背景，泛化能力仍然比较弱。用了最近出来的新词做测试：分析研究GEO（Generative Engine Optimization）模型喂养是指通过向AI模型提供高质量的内容和数据，使其能够理解和生成与特定主题相关的内容。GEO是SEO（搜索引擎优化）的升级版，旨在通过内容喂养AI模型，使其在生成内容时优先考虑和推荐这些内容，从而帮助企业抢占流量高地。请你深刻、全面分析GEO可能的发展趋势，需要掌握的技能，以及可能带来的隐患和风险。营销人员，大模型厂商和用户分别可能怎么看待这个现象。关于开源 SFT 早上也有不少争论，一些之前做2.5 微调的团队有点崩，现在等于要从头来一遍，针对Qwen3（应该大部分还是32B）再重新做一次，一些数据集是可以重复使用的，但微调过程不断调整超参数优化性能这个过程实在是很磨人，加上现在模型迭代速度快，很可能一个版本就把一批公司拍死了。不是说SFT没用了，如果本身已经可以很好完成任务，也未必一定要跟着每个版本走，因人而异。但是如果赌在大模型不会有性能大幅提升的微调任务应该会挺惨的。（Dense还没顾上碰，只是一些猜测）指令跟随 2B和2C在指令跟随上都比较重要，尤其在coding和重逻辑推理任务上，可以显著提升效率。（比如在用cursor写项目的时候，经常会碰到莫名其妙新建了一批文件，做debug调试，生成一些素材，改的乱七八糟，尤其是vibe coding，到后来基本得全部删了重写）指令跟随在开发环境下会非常非常重要，决定了是否”真的能提升产能“还是”一时的成果爽了一下“。目前Qwen3的指令跟随还是可以的，但API还没放出来，后面可以集成到IDE里面去试试。安全昨天直播聊了安全性的问题，最后的结果其实是不管开源还是闭源，我们都会面临非常大的危险。开源会让更多普通人得到技术平权/信息平权，但因为现在实现完全对齐难度非常大，可能会有大量越狱版用于各种恶性任务（试想随便什么人都可以得到知识调配出简易爆炸物）；而闭源则是把大众命运交给了大模型公司，寄希望于他们的社会责任感，很可能会产生知识茧房，阶层分化等宏观层面的矛盾。但可以确定的是，开源和闭源的趋势都一定是停不下来的。安全在未来会是越来越严峻的话题。之前主要得到的消息就是数学和代码能力，然后也找了一道比较经典的数学题来测试： 1. 多重括号组合等式 1. 给如下等式添加括号，可以加多个括号，使得等式成立：8 + 28 / 4 2 3 = 6 2. 给如下等式添加括号，可以加多个括号，使得等式成立：8 + 28 / 4 2 3 = 7 1是有解的，2无解。之前很多大模型在上面翻过车用国际版chat.qwen.ai测的，体感比国内版好很多题目1 题目2 💡 这个跟我上午在国内版测的完全是两个东西，国际版体验下来就一句话：快且好。它不像之前模型解决这种问题基本都用穷举，然后因为上下文过长导致幻觉，而是有了一个很明显的拆解（8+28)/something = 6，然后something = [(4 2) 3] 更换了乘法和减法的优先级，这点是非常牛逼的地方。这个跟我上午在国内版测的完全是两个东西，国际版体验下来就一句话：快且好。它不像之前模型解决这种问题基本都用穷举，然后因为上下文过长导致幻觉，而是有了一个很明显的拆解（8+28)/something = 6，然后something = [(4 2) 3] 更换了乘法和减法的优先级，这点是非常牛逼的地方。研究能力 1. 对GEO(Generative Engine Optimization)的看法 💡 先说结果，这种比较新的话题，又带有非常强的主观性（从不同利益者的视角会有对立冲突的观点），输出的内容基本不怎么能看自主发散性还是比较差，在没有搜索源支撑的时候，哪怕交代了背景，泛化能力仍然比较弱。先说结果，这种比较新的话题，又带有非常强的主观性（从不同利益者的视角会有对立冲突的观点），输出的内容基本不怎么能看自主发散性还是比较差，在没有搜索源支撑的时候，哪怕交代了背景，泛化能力仍然比较弱。用了最近出来的新词做测试：分析研究GEO（Generative Engine Optimization）模型喂养是指通过向AI模型提供高质量的内容和数据，使其能够理解和生成与特定主题相关的内容。GEO是SEO（搜索引擎优化）的升级版，旨在通过内容喂养AI模型，使其在生成内容时优先考虑和推荐这些内容，从而帮助企业抢占流量高地。请你深刻、全面分析GEO可能的发展趋势，需要掌握的技能，以及可能带来的隐患和风险。营销人员，大模型厂商和用户分别可能怎么看待这个现象。关于开源 SFT 早上也有不少争论，一些之前做2.5 微调的团队有点崩，现在等于要从头来一遍，针对Qwen3（应该大部分还是32B）再重新做一次，一些数据集是可以重复使用的，但微调过程不断调整超参数优化性能这个过程实在是很磨人，加上现在模型迭代速度快，很可能一个版本就把一批公司拍死了。不是说SFT没用了，如果本身已经可以很好完成任务，也未必一定要跟着每个版本走，因人而异。但是如果赌在大模型不会有性能大幅提升的微调任务应该会挺惨的。（Dense还没顾上碰，只是一些猜测）指令跟随 2B和2C在指令跟随上都比较重要，尤其在coding和重逻辑推理任务上，可以显著提升效率。（比如在用cursor写项目的时候，经常会碰到莫名其妙新建了一批文件，做debug调试，生成一些素材，改的乱七八糟，尤其是vibe coding，到后来基本得全部删了重写）指令跟随在开发环境下会非常非常重要，决定了是否”真的能提升产能“还是”一时的成果爽了一下“。目前Qwen3的指令跟随还是可以的，但API还没放出来，后面可以集成到IDE里面去试试。安全昨天直播聊了安全性的问题，最后的结果其实是不管开源还是闭源，我们都会面临非常大的危险。开源会让更多普通人得到技术平权/信息平权，但因为现在实现完全对齐难度非常大，可能会有大量越狱版用于各种恶性任务（试想随便什么人都可以得到知识调配出简易爆炸物）；而闭源则是把大众命运交给了大模型公司，寄希望于他们的社会责任感，很可能会产生知识茧房，阶层分化等宏观层面的矛盾。但可以确定的是，开源和闭源的趋势都一定是停不下来的。安全在未来会是越来越严峻的话题。 💡 以前不大会自己写单纯的模型评测，这次因为Qwen3发布有不少讨论点，所以把问题集中起来，开放讨论一下。模型尺寸，混合推理这些就不说了，网上大佬们写的很多了，目前也没有开源论文参考，就照几个评测的方向来讲。 Tips： • 通义首页选择”深度思考“会默认打开搜索，但在”千问大模型“agent里面，深度思考模式是可以关闭搜索的。以前不大会自己写单纯的模型评测，这次因为Qwen3发布有不少讨论点，所以把问题集中起来，开放讨论一下。模型尺寸，混合推理这些就不说了，网上大佬们写的很多了，目前也没有开源论文参考，就照几个评测的方向来讲。 Tips： • 通义首页选择”深度思考“会默认打开搜索，但在”千问大模型“agent里面，深度思考模式是可以关闭搜索的。代码能力因为有开源，这个是大部分私有化最关心的能力了。早上看到有群里讨论，说Qwen3和DS V3 0324的能力相当，接近Claude 3.5，看上去是个比较高的评价了（毕竟2.5不配有姓名.....），Cursor里Claude 3.5也是在3.7拥挤时平替的主力模型。 1. 遍历Excel文件中的外部引用源 ”我想检查一个有多个sheet的excel是否有外部文件链接，请你帮我写一个在colab上运行的脚本，遍历excel并给出有外部链接的sheet，单元格的具体位置“ 昨天正好碰到个任务可以做个对比，背景是，之前一个小朋友做的excel里链了外部数据源，而这个excel大概有几百个sheet，几十万数据，很难找，就顺手让Qwen 2.5写了个脚本放到Colab上测试（公司电脑没法装python），大概长这样的：用的标准库openpyxl来解决，但是有个问题是，它只认为超链接是外部链接（即使在prompt里已经明确提出来，外部链接源是以其他excel为数据源，另外 data only = true，导致会用value替换掉公式本身，导致找不到外链公式。所以这个脚本是没法用的。提示了好几遍还是改不对，最后就扔掉了。用的标准库openpyxl来解决，但是有个问题是，它只认为超链接是外部链接（即使在prompt里已经明确提出来，外部链接源是以其他excel为数据源，另外 data only = true，导致会用value替换掉公式本身，导致找不到外链公式。所以这个脚本是没法用的。提示了好几遍还是改不对，最后就扔掉了。然后昨天同期用 o4 mini high也写了一版，一样的思路，一次成功，没啥好说的。今天拿Qwen 3测了一次同样的问题，首先一次跑成功了。另外发现，不止是跑成功了，它的技术栈思路也变了。和GPT不一样的是，它把xlsx解压缩提取xml里的<f 标签获取公式，这样相对于data only=False ，更接近底层结构，精度和灵活性会更高。这点倒是之前完全没想到。数学能力