Gemini Embedding 2：原生多模态 embedding 模型
Gemini Embedding 2：原生多模态 embedding 模型
Gemini Embedding 2：原生多模态 embedding 模型 Gemini Embedding 2：原生多模态 embedding 模型 Modified March 11 Code block Plain Text result = client.models.embed content( model="gemini embedding 2 preview", contents=[ "What is the meaning of life?", types.Part.from bytes( data=image bytes, mime type="image/png", ), types.Part.from bytes( data=audio bytes, mime type="audio/mpeg", ), ], ) 在这里，多种东西，一次调用，一个向量 belike 跑分 默认输出 3072 维向量。支持灵活缩维（Matryoshka Representation Learning），缩小之后跑分几乎不掉： • 3072 维 ：MTEB 68.17 • 2048 维 ：MTEB 68.16 • 1536 维 ：MTEB 68.17（比 2048 还高 0.01） • 768 维 ：MTEB 67.99 768 维的存储成本是 3072 维的四分之一，跑分只掉了 0.18 有个反直觉的细节：1536 维的分数比 2048 维略高。Google 建议开发者优先用 3072、1536、768 三个档位 补个背景。前代 gemini embedding 001 目前仍然排在 MTEB English 榜第一，均分 68.32，领先第二名 5 分多。Embedding 2 在纯文本上没拉开明显差距，核心增量在多模态 Gemini Embedding 2 benchmarks 定价 • 文本： $0.20 / 百万 tokens • Batch API：半价， $0.10 / 百万 tokens • 图片、音频、视频：按 Gemini API 标准媒体 token 费率 做个对比： • 前代 gemini embedding 001 （纯文本）：$0.15 / 百万 tokens • OpenAI text embedding 3 large （纯文本）：$0.13 / 百万 tokens • Cohere Embed v4 （文本 + 图片）：$0.12 / 百万 tokens 多了音频、视频、PDF 三种模态，价格比前代涨了 33%。考虑到能力的增量，这个溢价不高 竞品 多模态 embedding 不是没人做过： • Cohere Embed v4：文本 + 图片，不支持音频和视频，128K tokens 长上下文 • CLIP 系列 / Jina CLIP v2：图片 + 文本 • Nomic：图片 + 文本 Gemini Embedding 2 是第一个在一个商用 API 里覆盖多种模态 + 100 语言的 开源侧追得快。NVIDIA 的 Llama Embed Nemotron 8B 领跑多语言 MTEB，Qwen3 Embedding 8B 拿到 70.58 分，支持 32 到 4096 灵活维度。但这些目前都还是纯文本 坑 几个明确的问题： 向量空间不兼容 gemini embedding 001 和 gemini embedding 2 preview 的向量空间完全不同。想升级，只能把整个数据集全部重新编码一遍，重建索引。没有渐进迁移的办法 音频限制紧 80 秒上限，只支持 MP3 和 WAV。30 分钟的会议录音要切成 20 多段 视频 128 秒 超过两分钟就要自己分片 PDF 最多 6 页 合同、研报、论文基本都超 还在 Public Preview API 容量可能有限，规格在正式发布前可能还会变。做原型没问题，上生产要掂量 早期反馈 Google 引用了法律科技公司 Everlaw 的 CTO Max Christoff 的说法。他们用 Gemini 多模态 embedding 做诉讼发现（从海量证据里找关键信息），百万级记录上精确率和召回率都有提升，图片和视频搜索是之前完全没有的能力 Everlaw CTO 反馈 接入方式 模型名 gemini embedding 2 preview ，通过 Gemini API 或 Vertex AI 调用 已支持：LangChain、LlamaIndex、Haystack、Weaviate、QDrant、ChromaDB、Pinecone、Vector Search Google 做了个多模态语义搜索的 demo，可以直接试看这里： https://findmemedia.lmm.ai/ 在这里，多种东西，一次调用，一个向量 belike 跑分 默认输出 3072 维向量。支持灵活缩维（Matryoshka Representation Learning），缩小之后跑分几乎不掉： • 3072 维 ：MTEB 68.17 • 2048 维 ：MTEB 68.16 • 1536 维 ：MTEB 68.17（比 2048 还高 0.01） • 768 维 ：MTEB 67.99 768 维的存储成本是 3072 维的四分之一，跑分只掉了 0.18 有个反直觉的细节：1536 维的分数比 2048 维略高。Google 建议开发者优先用 3072、1536、768 三个档位 补个背景。前代 gemini embedding 001 目前仍然排在 MTEB English 榜第一，均分 68.32，领先第二名 5 分多。Embedding 2 在纯文本上没拉开明显差距，核心增量在多模态 Gemini Embedding 2 benchmarks 定价 • 文本： $0.20 / 百万 tokens • Batch API：半价， $0.10 / 百万 tokens • 图片、音频、视频：按 Gemini API 标准媒体 token 费率 做个对比： • 前代 gemini embedding 001 （纯文本）：$0.15 / 百万 tokens • OpenAI text embedding 3 large （纯文本）：$0.13 / 百万 tokens • Cohere Embed v4 （文本 + 图片）：$0.12 / 百万 tokens 多了音频、视频、PDF 三种模态，价格比前代涨了 33%。考虑到能力的增量，这个溢价不高 竞品 多模态 embedding 不是没人做过： • Cohere Embed v4：文本 + 图片，不支持音频和视频，128K tokens 长上下文 • CLIP 系列 / Jina CLIP v2：图片 + 文本 • Nomic：图片 + 文本 Gemini Embedding 2 是第一个在一个商用 API 里覆盖多种模态 + 100 语言的 开源侧追得快。NVIDIA 的 Llama Embed Nemotron 8B 领跑多语言 MTEB，Qwen3 Embedding 8B 拿到 70.58 分，支持 32 到 4096 灵活维度。但这些目前都还是纯文本 坑 几个明确的问题： 向量空间不兼容 gemini embedding 001 和 gemini embedding 2 preview 的向量空间完全不同。想升级，只能把整个数据集全部重新编码一遍，重建索引。没有渐进迁移的办法 音频限制紧 80 秒上限，只支持 MP3 和 WAV。30 分钟的会议录音要切成 20 多段 视频 128 秒 超过两分钟就要自己分片 PDF 最多 6 页 合同、研报、论文基本都超 还在 Public Preview API 容量可能有限，规格在正式发布前可能还会变。做原型没问题，上生产要掂量 早期反馈 Google 引用了法律科技公司 Everlaw 的 CTO Max Christoff 的说法。他们用 Gemini 多模态 embedding 做诉讼发现（从海量证据里找关键信息），百万级记录上精确率和召回率都有提升，图片和视频搜索是之前完全没有的能力 Everlaw CTO 反馈 接入方式 模型名 gemini embedding 2 preview ，通过 Gemini API 或 Vertex AI 调用 已支持：LangChain、LlamaIndex、Haystack、Weaviate、QDrant、ChromaDB、Pinecone、Vector Search Google 做了个多模态语义搜索的 demo，可以直接试看这里： https://findmemedia.lmm.ai/ 🔗 原文链接： https://mp.weixin.qq.com/s/RQPjydhs... https://mp.weixin.qq.com/s/RQPjydhs... 原创 金色传说大聪明 金色传说大聪明 赛博禅心2026年3月11日 14:01 北京 标题已修改 Google DeepMind 今天发了 Gemini Embedding 2 ，第一个原生全模态 embedding 模型 文本 、 图片 、 视频 、 音频 、 文档（比如 PDF） ，首次编码进同一个向量空间 https://x.com/OfficialLoganK/status/2031411916489298156 它能处理什么 多种模态，支持 100+ 语言： • 文本：最多 8192 个 input tokens • 图片：每次最多 6 张，PNG / JPEG • 视频：最长 128 秒，MP4 / MOV • 音频：最长 80 秒，MP3 / WAV（不支持 AAC、FLAC） • PDF（作为文档）：最多 6 页 这些东西可以混着传。一次 API 调用里同时丢一段文字、三张图、一段录音进去，模型返回一个向量，这个向量理解的是它们之间的关系 以前要做类似的事（比如用一句话搜到相关的视频片段），得给每种模态各跑一个模型，各建一个索引，再写代码把结果拼起来。现在一个模型、一个索引就够了 Google 给了这样的例子：