Qwen3-VL-Embedding模型开源，来看论文细节！

Qwen3 VL Embedding模型开源，来看论文细节！ Qwen3 VL Embedding模型开源，来看论文细节！ Modified January 22 Qwen全家桶又多了一位成员， Qwen课代表依旧不能落下。。。 我们都知道做RAG的时候，知识库中会有一些图片、视频数据， 如果是纯文本向量模型，这些数据无法直接使用， 一般的解法是，将图片或者视频，利用VLM生产摘要或者描述文本，对文本进行向量操作， 当然可以直接使用图 文匹配的模型，Qwen3 VL Embedding就是这种模型， 直观上来说，VL Embedding的信息损失会更少，毕竟属于原生， 但是训练成本会比较高， 所以各种取舍，最优解还是多路召回会更好。 Qwen3 VL Embedding&Rerank模型共有两个尺寸，2B和8B，基于Qwen3 VL增量训练得来， Code block Plain Text https://huggingface.co/collections/Qwen/qwen3 vl embedding https://huggingface.co/collections/Qwen/qwen3 vl reranker 但对真实场景使用来说，还是有点大的， 之前Qwen3 Embedding是有0.6B的，就比较合适， 不过也可以理解， 因为Qwen3 VL最小现在就2B。 Embedding模型的测试，并不像LLM那样直观，给了问题之后直接看答案就可以分辨出好坏，Embedding模型还是要测试在某个数据集下整体得召回率。 今天主要来看看Qwen3 VL Embedding&Rerank的论文细节，具体实测可能后面会更新。 模型基于Qwen3 VL增量训练，Embedding模型为双塔模型，Reranker模型为交叉编码，具体如下： 在模型训练上主要是3个阶段，如下图所示， Step1：对比预训练阶段， 利用300M pair的合成数据进行对比学习，采用InfoNCE损失函数，得到s0模型。 其中， 为余弦相似度； 为温度系数； 涉及多种负例。 Step2：多任务对比学习阶段， 借助s0模型进行合成数据和开源数据的进一步筛选清洗，获取高质量数据40M pair，基于不同任务（检索、分类、STS等）定制不同的对比学习目标，产出模型 s1模型。 检索任务，采用Step1的InfoNCE损失函数，但去掉了“query query”和“doc doc”的loss部分 分类任务，将文本或图片作为query、标签作为doc，进行对比学习loss计算，负样本仅来自同一batch内的错误标签 文本相似度任务，采用CoSent损失函数，保证余弦相似度顺序与真实标签的顺序一致， Reranker模型，是利用高质量数据，直接对Qwen3 VL进行SFT，采用二分类损失，将输入对预测为“yes”（相关）或“no”（不相关）。 Step3：蒸馏与模型合并阶段， 在4M pair数据下，利用Reranker作为教师，对Embedding模型进行知识蒸馏，得到s2模型。 最小化Embedding模型的预测分布与Reranker模型的预测分布之间的差异，使Embedding模型模仿Reranker的判断。 蒸馏之后的 s2 在检索任务上变强了，但在分类和问答任务上会有所退化，再将s2 与 s1 进行模型合并，得到最终的s3模型。 同时整个训练过程， 采用Lora训练方式，节省显存资源 ，可以使用更大的Batch，同时数据采用动态分辨率， 图像会保持原始长宽比，最大Token数限制在1280；视频则 1 FPS采样，最多64帧，总Token数限制在4500。 并且用了俄罗斯套娃（动态维度）和量化感知训练（低精度训练）。 数据上，数据的分布如下， 其中合成数据的构建是关键， 种子数据库决定了合成数据的质量，构建流程如下： • 素材收集，收集大量原始图像和视频 • 数据粗筛， 剔除低分辨率、比例异常的素材；对视频进行场景剪切检测，去除静止或损坏的片段，保证时间动态的完整性 • 数据打标与过滤： 利用 Qwen3 VL 32B 生成细粒度分类标签，并使用现有的Embedding模型计算相似度，剔除图文不符的低质量样本。 • 数据重采样，将数据重新分布，得到一个类别分布均匀的种子库，涵盖自然图像、UI界面、文档、电影片段等。 然后基于种子数据库，利用Qwen3 VL 32B生成特定任务的训练数据，为了保证质量，模型会先生成一段描述性说明，再生成任务数据 • 图像任务：包括图像分类、问答、检索 • 视频任务：包括图像分类、问答、检索、时刻检索 最后是 正例提纯和难负例筛选， • 正例提纯： 设定阈值 。如果一个query对应的正例doc得分低于该阈值，说明即使是正例也不够相关，直接丢弃该query，防止脏数据误导模型 • 难负例筛选，选择得分较高，但又确实是负例的doc，筛选公式为 然后榜单效果如下， 但，可以看出， VL Embedding在纯文本上，要比Qwen3 Embedding低， 所以大家用的时候，纯文本，还是用纯文本的embedding更好， 还是有些许的损失的。 最后， Qwen春节前按道理要出新的大模型了吧， 期待一手！ PS：都看到这里，来个 点赞 、 在看 、 关注 吧。 您的支持是我坚持的最大动力！ Qwen全家桶又多了一位成员， Qwen课代表依旧不能落下。。。 我们都知道做RAG的时候，知识库中会有一些图片、视频数据， 如果是纯文本向量模型，这些数据无法直接使用， 一般的解法是，将图片或者视频，利用VLM生产摘要或者描述文本，对文本进行向量操作， 当然可以直接使用图 文匹配的模型，Qwen3 VL Embedding就是这种模型， 直观上来说，VL Embedding的信息损失会更少，毕竟属于原生， 但是训练成本会比较高， 所以各种取舍，最优解还是多路召回会更好。 Qwen3 VL Embedding&Rerank模型共有两个尺寸，2B和8B，基于Qwen3 VL增量训练得来， 但对真实场景使用来说，还是有点大的， 之前Qwen3 Embedding是有0.6B的，就比较合适， 不过也可以理解， 因为Qwen3 VL最小现在就2B。 Embedding模型的测试，并不像LLM那样直观，给了问题之后直接看答案就可以分辨出好坏，Embedding模型还是要测试在某个数据集下整体得召回率。 今天主要来看看Qwen3 VL Embedding&Rerank的论文细节，具体实测可能后面会更新。 模型基于Qwen3 VL增量训练，Embedding模型为双塔模型，Reranker模型为交叉编码，具体如下： 在模型训练上主要是3个阶段，如下图所示， Step1：对比预训练阶段， 利用300M pair的合成数据进行对比学习，采用InfoNCE损失函数，得到s0模型。 其中， 为余弦相似度； 为温度系数； 涉及多种负例。 Step2：多任务对比学习阶段， 借助s0模型进行合成数据和开源数据的进一步筛选清洗，获取高质量数据40M pair，基于不同任务（检索、分类、STS等）定制不同的对比学习目标，产出模型 s1模型。 检索任务，采用Step1的InfoNCE损失函数，但去掉了“query query”和“doc doc”的loss部分 分类任务，将文本或图片作为query、标签作为doc，进行对比学习loss计算，负样本仅来自同一batch内的错误标签 文本相似度任务，采用CoSent损失函数，保证余弦相似度顺序与真实标签的顺序一致， Reranker模型，是利用高质量数据，直接对Qwen3 VL进行SFT，采用二分类损失，将输入对预测为“yes”（相关）或“no”（不相关）。 Step3：蒸馏与模型合并阶段， 在4M pair数据下，利用Reranker作为教师，对Embedding模型进行知识蒸馏，得到s2模型。 最小化Embedding模型的预测分布与Reranker模型的预测分布之间的差异，使Embedding模型模仿Reranker的判断。 蒸馏之后的 s2 在检索任务上变强了，但在分类和问答任务上会有所退化，再将s2 与 s1 进行模型合并，得到最终的s3模型。 同时整个训练过程， 采用Lora训练方式，节省显存资源 ，可以使用更大的Batch，同时数据采用动态分辨率， 图像会保持原始长宽比，最大Token数限制在1280；视频则 1 FPS采样，最多64帧，总Token数限制在4500。 并且用了俄罗斯套娃（动态维度）和量化感知训练（低精度训练）。 数据上，数据的分布如下， 其中合成数据的构建是关键， 种子数据库决定了合成数据的质量，构建流程如下： • 素材收集，收集大量原始图像和视频 • 数据粗筛， 剔除低分辨率、比例异常的素材；对视频进行场景剪切检测，去除静止或损坏的片段，保证时间动态的完整性 • 数据打标与过滤： 利用 Qwen3 VL 32B 生成细粒度分类标签，并使用现有的Embedding模型计算相似度，剔除图文不符的低质量样本。 • 数据重采样，将数据重新分布，得到一个类别分布均匀的种子库，涵盖自然图像、UI界面、文档、电影片段等。 然后基于种子数据库，利用Qwen3 VL 32B生成特定任务的训练数据，为了保证质量，模型会先生成一段描述性说明，再生成任务数据 • 图像任务：包括图像分类、问答、检索 • 视频任务：包括图像分类、问答、检索、时刻检索 最后是 正例提纯和难负例筛选， • 正例提纯： 设定阈值 。如果一个query对应的正例doc得分低于该阈值，说明即使是正例也不够相关，直接丢弃该query，防止脏数据误导模型 • 难负例筛选，选择得分较高，但又确实是负例的doc，筛选公式为 然后榜单效果如下， 但，可以看出， VL Embedding在纯文本上，要比Qwen3 Embedding低， 所以大家用的时候，纯文本，还是用纯文本的embedding更好， 还是有些许的损失的。 最后， Qwen春节前按道理要出新的大模型了吧， 期待一手！ PS：都看到这里，来个 点赞 、 在看 、 关注 吧。 您的支持是我坚持的最大动力！ 🔗 原文链接： https://mp.weixin.qq.com/s/sktviPNv... https://mp.weixin.qq.com/s/sktviPNv... 原创 刘聪NLP 刘聪NLP 刘聪NLP2026年1月9日 13:53 江苏 大家好，我是刘聪NLP。 昨天晚上Qwen开源了多模态Embedding模型，