解读DeepSeek最新多模态技术报告，要用视觉基本单元思考，看这一篇就够了

解读DeepSeek最新多模态技术报告，要用视觉基本单元思考，看这一篇就够了解读DeepSeek最新多模态技术报告，要用视觉基本单元思考，看这一篇就够了 Modified May 1 空间推理与通用视觉问答，核心心目的在于缓解纯语言描述带来的指称歧义和语义漂移问题，共9000条样本。自然场景数据主要来源于GQA的图像与场景图，通过提示 MLLM 设计围绕空间关系和对象交互的问题，并同步生成对应的思考内容。思考内容大体遵循意图分析、对象定位、关系推断的流程。为了减少拥挤场景中的歧义，模型会被要求选择更有区分度的对象，并结合多属性约束来唯一锁定目标。合成场景数据基于 CLEVR 工具链构建，用于生成更复杂的多跳推理任务。CLEVR 支持控制对象密度，并提供问题生成和程序化执行轨迹，每一步推理都能映射到具体对象 ID。同时，还构造了一批负样本，其中被询问的对象或关系并不存在，用来训练模型基于视觉证据进行拒绝回答，而不是生成幻觉答案。迷宫导航，本质上考察的是空间连通性和可达性，来训练模型的拓扑推理能力，共计46w条样本。迷宫数据通过 DFS、Prim 和 Kruskal 算法合成，生成可解且具有一定挑战性的迷宫。拓扑结构上覆盖矩形网格、环形迷宫和六边形蜂窝迷宫三类。思考内容合成上，设计了基于 DFS 的自然语言模板，用来描述前向探索和回溯过程。每一个步骤都会被点坐标锚定到图像中，对应检查墙体连通性、移动到相邻单元、从死胡同退回等操作。最终输出会判断迷宫是否可解，如果可解，还会给出经过验证的解路径。路径追踪，目标是在多条交织线条中沿着指定曲线前进，并判断最终到达的端点，共计12.5w条样本。数据生成时，会避免端点与无关线条重叠或被穿越，并对不符合约束的样本进行丢弃和重新生成。为了避免模型走捷径，还引入了 uniform style 模式，让所有线条共享相同颜色和笔画宽度，迫使模型不能依赖颜色匹配，而必须真正根据曲率连续性完成路径追踪。思考内容合成上，把路径追踪过程表示为沿目标曲线采样得到的一串坐标。推理从定位被查询起点开始，随后沿曲线经过多个中间途经点，最后识别到达的终点。后训练，采用先训练专家、再进行合并的策略。 Specialized SFT 阶段，用70% 通用多模态与纯文本数据、30% 视觉单元思考数据组成，并分别针对 thinking with grounding 和 thinking with pointing 训练，得到 FTwG 与 FTwP 两个专家初始模型； Specialized RL 阶段，对两个模型分别使用 GRPO 做强化学习，由于冷启动数据中的视觉基元已经过严格校验，RL 阶段不再显式监督中间生成的 box 和 point，只需要图像、问题和最终答案，扩展性更强。奖励模型主要从格式、质量和准确性三个维度约束输出，其中格式和质量约束跨任务共享，准确性奖励则针对计数、VQA、迷宫导航、路径追踪分别设计，以提供更细粒度的训练信号。统一强化微调阶段，把 thinking with grounding 和 thinking with pointing 两种视觉基元推理范式合并到一个模型里，用 ETwG 和 ETwP 两个专家模型对数据池进行 rollout，生成新的 RFT 数据，并沿用前面的难度分级方式筛选样本。从基座预训练模型重新开始训练一个增强版 SFT 模型，训练配置与冷启动 SFT 保持一致，只调整数据混合比例，最终得到统一模型。策略蒸馏阶段，采用 full vocabulary logit distillation，也就是在全词表维度上进行 logit 蒸馏，让统一模型更充分地吸收两个专家模型的能力，把 grounding 专家和 pointing 专家的推理能力进一步压缩进单个统一模型中。实验结果，当然是效果很不错，最后， DeepSeek这篇视觉思维链中增加box、point 思路真正呀，解决视觉推理过程目标混淆、丢失，让模型从看的更多，走到看的更准上，只能说牛而逼之，但不知道为啥，跟我昨天的实测，空间能力和逻辑推理能力差的比较多，好奇，等模型全出来，重新再看看测测看。但现已删除，不只为啥？公众号回复“deepseek”获取pdf文件。 PS：都看到这里，来个点赞、在看、关注吧。欢迎评论区多多讨论，说出你的想法，也欢迎交个朋友，一起学习，一起进步！当然想第一时间收到推送，也可以给我个星标⭐ 您的支持是我坚持的最大动力！空间推理与通用视觉问答，核心心目的在于缓解纯语言描述带来的指称歧义和语义漂移问题，共9000条样本。自然场景数据主要来源于GQA的图像与场景图，通过提示 MLLM 设计围绕空间关系和对象交互的问题，并同步生成对应的思考内容。思考内容大体遵循意图分析、对象定位、关系推断的流程。为了减少拥挤场景中的歧义，模型会被要求选择更有区分度的对象，并结合多属性约束来唯一锁定目标。合成场景数据基于 CLEVR 工具链构建，用于生成更复杂的多跳推理任务。CLEVR 支持控制对象密度，并提供问题生成和程序化执行轨迹，每一步推理都能映射到具体对象 ID。同时，还构造了一批负样本，其中被询问的对象或关系并不存在，用来训练模型基于视觉证据进行拒绝回答，而不是生成幻觉答案。迷宫导航，本质上考察的是空间连通性和可达性，来训练模型的拓扑推理能力，共计46w条样本。迷宫数据通过 DFS、Prim 和 Kruskal 算法合成，生成可解且具有一定挑战性的迷宫。拓扑结构上覆盖矩形网格、环形迷宫和六边形蜂窝迷宫三类。思考内容合成上，设计了基于 DFS 的自然语言模板，用来描述前向探索和回溯过程。每一个步骤都会被点坐标锚定到图像中，对应检查墙体连通性、移动到相邻单元、从死胡同退回等操作。最终输出会判断迷宫是否可解，如果可解，还会给出经过验证的解路径。路径追踪，目标是在多条交织线条中沿着指定曲线前进，并判断最终到达的端点，共计12.5w条样本。数据生成时，会避免端点与无关线条重叠或被穿越，并对不符合约束的样本进行丢弃和重新生成。为了避免模型走捷径，还引入了 uniform style 模式，让所有线条共享相同颜色和笔画宽度，迫使模型不能依赖颜色匹配，而必须真正根据曲率连续性完成路径追踪。思考内容合成上，把路径追踪过程表示为沿目标曲线采样得到的一串坐标。推理从定位被查询起点开始，随后沿曲线经过多个中间途经点，最后识别到达的终点。后训练，采用先训练专家、再进行合并的策略。 Specialized SFT 阶段，用70% 通用多模态与纯文本数据、30% 视觉单元思考数据组成，并分别针对 thinking with grounding 和 thinking with pointing 训练，得到 FTwG 与 FTwP 两个专家初始模型； Specialized RL 阶段，对两个模型分别使用 GRPO 做强化学习，由于冷启动数据中的视觉基元已经过严格校验，RL 阶段不再显式监督中间生成的 box 和 point，只需要图像、问题和最终答案，扩展性更强。奖励模型主要从格式、质量和准确性三个维度约束输出，其中格式和质量约束跨任务共享，准确性奖励则针对计数、VQA、迷宫导航、路径追踪分别设计，以提供更细粒度的训练信号。统一强化微调阶段，把 thinking with grounding 和 thinking with pointing 两种视觉基元推理范式合并到一个模型里，用 ETwG 和 ETwP 两个专家模型对数据池进行 rollout，生成新的 RFT 数据，并沿用前面的难度分级方式筛选样本。从基座预训练模型重新开始训练一个增强版 SFT 模型，训练配置与冷启动 SFT 保持一致，只调整数据混合比例，最终得到统一模型。策略蒸馏阶段，采用 full vocabulary logit distillation，也就是在全词表维度上进行 logit 蒸馏，让统一模型更充分地吸收两个专家模型的能力，把 grounding 专家和 pointing 专家的推理能力进一步压缩进单个统一模型中。实验结果，当然是效果很不错，最后， DeepSeek这篇视觉思维链中增加box、point 思路真正呀，解决视觉推理过程目标混淆、丢失，让模型从看的更多，走到看的更准上，只能说牛而逼之，但不知道为啥，跟我昨天的实测，空间能力和逻辑推理能力差的比较多，好奇，等模型全出来，重新再看看测测看。但现已删除，不只为啥？公众号回复“deepseek”获取pdf文件。 PS：都看到这里，来个点赞、在看、关注吧。欢迎评论区多多讨论，说出你的想法，也欢迎交个朋友，一起学习，一起进步！当然想第一时间收到推送，也可以给我个星标⭐ 您的支持是我坚持的最大动力！ 🔗 原文链接： https://mp.weixin.qq.com/s/LIAbk0WN... https://mp.weixin.qq.com/s/LIAbk0WN... 原创刘聪NLP 刘聪NLP 刘聪NLP2026年5月1日 00:01 江苏大家好，我是刘聪NLP。 DeepSeek又发新论文了，果然是放假之前必作妖，说好的中国人不卷中国人呢？这次论文介绍的是多模态大模型，提出了一个全新的推理框架，把空间标记（bounding box 与 point）内嵌进思维链，作为语言与图像之间的精确指针，让模型做到一边指点一边推理。思路很正，就像人在走迷宫，或者清点密集物体时，会自然地用手指比划来降低认知负荷、保持逻辑上的一致性。你会发现，DeepSeek在做多模态视觉这一块，真的高立意，没看过 DeepSeek OCR 、 DeepSeek OCR2 的朋友，可以去看一下。 DeepSeek OCR DeepSeek OCR2 而这一切都是为了解决Reference Gap（指代鸿沟）的问题，因为在复杂的视觉推理中，卡住模型的往往是不知道在在推理过程中到底指的是图里的哪一个东西，比如让数一堆人、找某条曲线的终点、判断迷宫能不能走通，可能一开始看得没问题，但推理到后面就容易把对象搞混、漏掉、重复数，或者在空间关系上绕晕。但是，其实我昨天在测试过程中，发现在复杂的空间逻辑推理上，回答的并不好，不知道怎么回事儿？在测试过程中好了，接下来我们说论文细节， DeepSeek VL的架构，还是经典的三段式，并不是原始多模态。视觉编码器，采用零训练的内部 DeepSeek ViT ，支持任意分辨率的输入。这里不同的是，借助CSA机制（见 DeepSeek V4 ），在最后对 KV cache 中的视觉 token 又进行4倍压缩，整体实现了7056×的压缩率。 DeepSeek V4 LLM部分，采用 DeepSeek V4 Flash，总参数 284B、激活参 13B，跟我昨天猜的一致，就是Flash大小。然后，前面说的把空间标记内嵌进思维链是如何做的呢？对于框来说，就是把<|ref| TARGET<|/ref| <|box| [[x1,y1,x2,y2],[x3,y3, x4,y4]...]<|/box| 加入到思维链中，TARGET是对象的占位符对于点来说，就是把<|point| [[x1,y1],[x2,y2]...]<|/point| 替换成TARGET，加入到思维链中，那么如何构造这类数据就变成了重点，这也是DeepSeek花了大篇幅讲的内容。预训练部分数据主要涉及现有开源数据集和网络采集数据，预训练共计消耗数T Tokens。其中，网络财经数据一开始汇集得到 97984 个 box grounding 相关的数据源，然后经过两层流水线过滤。 • 基于语义的审核，去除无意义的机器编码与乱码（内部标签，比如0、1，无法自然语言释义）、去除无法泛化的私有实体（特定人称代号及ID，保留名人&公众人物）、去除含糊的缩写与主观性评价（工业ok、NG等标签，无视觉描述），保留下 43141 个数据集。 • 视觉几何质量审核，去除严重漏标（存在多个标签实例，但漏标 50%），去除严重截断与偏移（边框没有包裹目标对象）、去除巨框（某个边框覆盖超过 90%的图像），保留下31701 个数据集然后设计了一种基于类别的采样策略，对每个数据集中的每个类别，随机采样 1000 张与该类相关的图像，再对汇总结果执行全局去重，最终得到超过 4000 万高质量数据。预训练是通过设计提示模板，来把框、点坐标加入数据中，例如：对于SFT数据，设计了4种任务，计数、空间推理与通用视觉问答、迷宫导航、路径追踪。计数分为粗粒度计数（聚焦于通用类别的计数）与细粒度计数（要求按具体属性或空间约束对对象进行区分），共计1w条样本。粗粒度计数来源多个密集检测数据集，为了确保数据质量，基于避免对象密度过高、确保边界框足够大以便清晰辨认、保持 ground truth 框标注有较高的召回率的三个准则执行过滤。对思考内容的生成遵循（1）意图分析，模型识别出目标类别；（2）批量定位，模型利用视觉单元同时定位所有候选对象；（3）统计求和，基于前面的视觉单元进行汇总；并进行严格数据校准细粒度计数，通过流水线构建涉及问题生成、思考内容合成，同时还构建了计数为 0 的负样本，以增强模型在对抗幻觉方面的鲁棒性。