Google 发布实时同声翻译模型 70+语言边听边译，不用等说完

Google 发布实时同声翻译模型 70+语言边听边译，不用等说完 Google 发布实时同声翻译模型 70+语言边听边译，不用等说完 Modified June 10 No access 0bc36ab6kaad7eaoayjklzvfh4gd4xyahzia.f10002 00:00 No access 0bc3rab56aadziambmjkdvvfhcgd36eahxya.f10002 00:00 No access 0bc3oebpqaac54ap37zlvvvfe4od7byqf6aa.f10002 00:00 No access 0bc3cib4maadcmamhlzkajvfgewdyyjahrqa.f10002 00:00 3. 自动滤除噪音 在安静的办公室里做翻译不难，难的是在嘈杂的街头、拥挤的餐厅、或者机场候机厅。模型会主动滤除噪声和音乐来生成清晰的语音。 No access 0bc3u4b2uaadmiakblbkjvvfhj6dvktqhkqa.f10002 00:00 怎么用：三条路径 路径一：普通用户，Google Translate App 最简单的入口。在 Android 或 iOS 上打开 Google Translate，进入 Live Translate 功能。连接任意蓝牙或有线耳机，选好目标语言，对方说话时你通过耳机听到接近实时的翻译。 Android 独占的「听筒模式」： 不需要耳机。直接把手机像打电话一样贴到耳朵上，翻译后的音频通过手机听筒播放。适合两个场景：手边没耳机，或者不想让周围的人听到翻译内容。 一个具体的用法：你在东京的居酒屋，店员在用日语推荐今天的菜，你把手机贴到耳朵上，听筒里实时传出中文翻译。店员看到的只是你在「打电话」，整个过程自然不尴尬。 路径二：企业用户，Google Meet Google Meet 的语音翻译功能将升级为 3.5 Live Translate： 维度 升级前 升级后 支持语言数 5种 70多种 语言组合 仅限和英语互译 2000多种语言组合 操作方式 需要提前配置 即时访问 之前如果你的团队里有人说中文、有人说日语、有人说葡萄牙语，Meet 的翻译只能把英语翻成这几种语言，中文到日语、日语到葡萄牙语这种组合不支持。现在可以了。 目前是私有预览阶段，本月先对部分 Google Workspace 企业客户开放，今年晚些时候更大范围推出。 路径三：开发者，Gemini Live API 开发者可以通过 Gemini Live API 在自己的应用中集成实时翻译能力。模型名称是 gemini 3.5 live translate preview 。 最小可用配置： Code block Plain Text class="language python" config = types.LiveConnectConfig( response modalities=["AUDIO"], translation config=types.TranslationConfig( target language code="zh Hans", "color: 6a9955" 目标语言，BCP 47 代码 echo target language=True "color: 6a9955" 输入已是目标语言时是否回放 ) ) 两个核心参数： • target language code ：你要翻成什么语言，用 BCP 47 代码指定。 "zh Hans" 是简体中文， "ja" 是日语， "en" 是英语（默认值） • echo target language ：如果说话人说的本来就是目标语言怎么办？设为 true ，模型原样回放这段音频；设为 false （默认），模型保持静默不输出 可选配置，转写文本： 如果你不仅需要翻译后的音频，还需要文字版本（比如做字幕），可以在配置中加上转写： Code block Plain Text class="language python" config = types.LiveConnectConfig( response modalities=["AUDIO"], input audio transcription=types.AudioTranscriptionConfig(), "color: 6a9955" 输入语音转文字 output audio transcription=types.AudioTranscriptionConfig(), "color: 6a9955" 翻译语音转文字 translation config=types.TranslationConfig( target language code="zh Hans", echo target language=True ) ) 开启后，除了翻译音频流，你还会收到输入语音的原文文本和翻译后的文本，分别通过 input transcription 和 output transcription 字段返回。 音频格式要求： 方向 格式 采样率 声道 输入 原始16位 PCM，小端序 16kHz 单声道 输出 原始16位 PCM，小端序 24kHz 单声道 音频以100毫秒的块发送。输出采样率24kHz比输入的16kHz高，翻译后的语音音质比输入更好。 安全机制，临时令牌： 做客户端直连的应用（比如浏览器直接连 WebSocket）时，不想暴露 API 密钥，可以用临时令牌（ephemeral token）。两种用法： • 锁定配置（默认推荐）： 在服务器端创建令牌时指定 translationConfig ，客户端拿到令牌后不能修改翻译设置。适合你作为开发者已经确定了目标语言的场景 • 解锁配置： 如果想让用户自选目标语言，创建令牌时设置 "lock additional fields": [] ，客户端就能自行指定 translationConfig 已集成的开发者平台： Agora、Fishjam、LiveKit、Pipecat、Vision Agents 已经做好了和 Gemini Live API 的集成，它们提供底层的实时媒体流基础设施，开发者不需要自己处理音频流的工程问题。 快速上手入口： • 在线体验：https://aistudio.google.com/live?model=gemini 3.5 live translate preview • API 文档：https://ai.google.dev/gemini api/docs/live api/live translate • 示例代码：https://github.com/google gemini/gemini live api examples 支持的语言 70多种语言，覆盖全球主要语种。中文支持简体（ zh Hans ）和繁体（ zh Hant ）。 语言 代码 语言 代码 语言 代码 中文（简体） zh Hans 英语 en 日语 ja 中文（繁体） zh Hant 法语 fr 韩语 ko 西班牙语 es 德语 de 俄语 ru 葡萄牙语（巴西） pt BR 意大利语 it 阿拉伯语 ar 葡萄牙语（葡萄牙） pt PT 荷兰语 nl 印地语 hi 泰语 th 越南语 vi 印尼语 id 马来语 ms 菲律宾语 fil 土耳其语 tr 波兰语 pl 瑞典语 sv 乌克兰语 uk 捷克语 cs 丹麦语 da 芬兰语 fi 希腊语 el 匈牙利语 hu 罗马尼亚语 ro 孟加拉语 bn 泰米尔语 ta 泰卢固语 te 缅甸语 my 高棉语 km 老挝语 lo 斯瓦希里语 sw 豪萨语 ha 祖鲁语 zu 南非荷兰语 af 阿姆哈拉语 am 亚美尼亚语 hy 阿塞拜疆语 az 巴斯克语 eu 白俄罗斯语 be 保加利亚语 bg 加泰罗尼亚语 ca 克罗地亚语 hr 爱沙尼亚语 et 格鲁吉亚语 ka 古吉拉特语 gu 冰岛语 is 爪哇语 jv 卡纳达语 kn 哈萨克语 kk 卢旺达语 rw 拉脱维亚语 lv 立陶宛语 lt 马其顿语 mk 马拉雅拉姆语 ml 马拉地语 mr 蒙古语 mn 尼泊尔语 ne 挪威语 no 波斯语 fa 旁遮普语 pa 塞尔维亚语 sr 信德语 sd 僧伽罗语 si 斯洛伐克语 sk 斯洛文尼亚语 sl 巽他语 su 加利西亚语 gl 希伯来语 he 乌尔都语 ur 乌兹别克语 uz 阿坎语 ak 阿尔巴尼亚语 sq 安全标记 所有 3.5 Live Translate 生成的音频都用 SynthID 做了水印标记。这个水印人耳听不出来，但可以被技术手段检测到，目的是标记哪些语音是 AI 生成的，防止有人拿实时翻译后的语音去冒充真人。 Model card：https://deepmind.google/models/model cards/gemini 3 5 audio/ 几个能立刻想到的使用场景 场景 具体画面 用哪个产品 海外旅行 在巴黎问路、在东京点菜、在伊斯坦布尔砍价，手机贴耳朵实时听翻译 Google Translate App No access 0bc36ab6kaad7eaoayjklzvfh4gd4xyahzia.f10002 00:00 No access 0bc36ab6kaad7eaoayjklzvfh4gd4xyahzia.f10002 00:00 No access 0bc3rab56aadziambmjkdvvfhcgd36eahxya.f10002 00:00 No access 0bc3rab56aadziambmjkdvvfhcgd36eahxya.f10002 00:00 No access 0bc3oebpqaac54ap37zlvvvfe4od7byqf6aa.f10002 00:00 No access 0bc3oebpqaac54ap37zlvvvfe4od7byqf6aa.f10002 00:00 No access 0bc3cib4maadcmamhlzkajvfgewdyyjahrqa.f10002 00:00 No access 0bc3cib4maadcmamhlzkajvfgewdyyjahrqa.f10002 00:00 3. 自动滤除噪音 在安静的办公室里做翻译不难，难的是在嘈杂的街头、拥挤的餐厅、或者机场候机厅。模型会主动滤除噪声和音乐来生成清晰的语音。 No access 0bc3u4b2uaadmiakblbkjvvfhj6dvktqhkqa.f10002 00:00 No access 0bc3u4b2uaadmiakblbkjvvfhj6dvktqhkqa.f10002 00:00 怎么用：三条路径 路径一：普通用户，Google Translate App 最简单的入口。在 Android 或 iOS 上打开 Google Translate，进入 Live Translate 功能。连接任意蓝牙或有线耳机，选好目标语言，对方说话时你通过耳机听到接近实时的翻译。 Android 独占的「听筒模式」： 不需要耳机。直接把手机像打电话一样贴到耳朵上，翻译后的音频通过手机听筒播放。适合两个场景：手边没耳机，或者不想让周围的人听到翻译内容。 一个具体的用法：你在东京的居酒屋，店员在用日语推荐今天的菜，你把手机贴到耳朵上，听筒里实时传出中文翻译。店员看到的只是你在「打电话」，整个过程自然不尴尬。 路径二：企业用户，Google Meet Google Meet 的语音翻译功能将升级为 3.5 Live Translate： 维度 升级前 升级后 支持语言数 5种 70多种 语言组合 仅限和英语互译 2000多种语言组合 操作方式 需要提前配置 即时访问 维度 维度 升级前 升级前 升级后 升级后 支持语言数 支持语言数 5种 5种 70多种 70多种 语言组合 语言组合 仅限和英语互译 仅限和英语互译 2000多种语言组合 2000多种语言组合 操作方式 操作方式 需要提前配置 需要提前配置 即时访问 即时访问 之前如果你的团队里有人说中文、有人说日语、有人说葡萄牙语，Meet 的翻译只能把英语翻成这几种语言，中文到日语、日语到葡萄牙语这种组合不支持。现在可以了。 目前是私有预览阶段，本月先对部分 Google Workspace 企业客户开放，今年晚些时候更大范围推出。 路径三：开发者，Gemini Live API 开发者可以通过 Gemini Live API 在自己的应用中集成实时翻译能力。模型名称是 gemini 3.5 live translate preview 。 最小可用配置： 两个核心参数： • target language code ：你要翻成什么语言，用 BCP 47 代码指定。 "zh Hans" 是简体中文， "ja" 是日语， "en" 是英语（默认值） • echo target language ：如果说话人说的本来就是目标语言怎么办？设为 true ，模型原样回放这段音频；设为 false （默认），模型保持静默不输出 可选配置，转写文本： 如果你不仅需要翻译后的音频，还需要文字版本（比如做字幕），可以在配置中加上转写： 开启后，除了翻译音频流，你还会收到输入语音的原文文本和翻译后的文本，分别通过 input transcription 和 output transcription 字段返回。 音频格式要求： 方向 格式 采样率 声道 输入 原始16位 PCM，小端序 16kHz 单声道 输出 原始16位 PCM，小端序 24kHz 单声道 方向 方向 格式 格式 采样率 采样率 声道 声道 输入 输入 原始16位 PCM，小端序 原始16位 PCM，小端序 16kHz 16kHz 单声道 单声道 输出 输出 原始16位 PCM，小端序 原始16位 PCM，小端序 24kHz 24kHz 单声道 单声道 音频以100毫秒的块发送。输出采样率24kHz比输入的16kHz高，翻译后的语音音质比输入更好。 安全机制，临时令牌： 做客户端直连的应用（比如浏览器直接连 WebSocket）时，不想暴露 API 密钥，可以用临时令牌（ephemeral token）。两种用法： • 锁定配置（默认推荐）： 在服务器端创建令牌时指定 translationConfig ，客户端拿到令牌后不能修改翻译设置。适合你作为开发者已经确定了目标语言的场景 • 解锁配置： 如果想让用户自选目标语言，创建令牌时设置 "lock additional fields": [] ，客户端就能自行指定 translationConfig 已集成的开发者平台： Agora、Fishjam、LiveKit、Pipecat、Vision Agents 已经做好了和 Gemini Live API 的集成，它们提供底层的实时媒体流基础设施，开发者不需要自己处理音频流的工程问题。 快速上手入口： • 在线体验：https://aistudio.google.com/live?model=gemini 3.5 live translate preview • API 文档：https://ai.google.dev/gemini api/docs/live api/live translate • 示例代码：https://github.com/google gemini/gemini live api examples 支持的语言 70多种语言，覆盖全球主要语种。中文支持简体（ zh Hans ）和繁体（ zh Hant ）。 语言 代码 语言 代码 语言 代码 中文（简体） zh Hans 英语 en 日语 ja 中文（繁体） zh Hant 法语 fr 韩语 ko 西班牙语 es 德语 de 俄语 ru 葡萄牙语（巴西） pt BR 意大利语 it 阿拉伯语 ar 葡萄牙语（葡萄牙） pt PT 荷兰语 nl 印地语 hi 泰语 th 越南语 vi 印尼语 id 马来语 ms 菲律宾语 fil 土耳其语 tr 波兰语 pl 瑞典语 sv 乌克兰语 uk 捷克语 cs 丹麦语 da 芬兰语 fi 希腊语 el 匈牙利语 hu 罗马尼亚语 ro 孟加拉语 bn 泰米尔语 ta 泰卢固语 te 缅甸语 my 高棉语 km 老挝语 lo 斯瓦希里语 sw 豪萨语 ha 祖鲁语 zu 南非荷兰语 af 阿姆哈拉语 am 亚美尼亚语 hy 阿塞拜疆语 az 巴斯克语 eu 白俄罗斯语 be 保加利亚语 bg 加泰罗尼亚语 ca 克罗地亚语 hr 爱沙尼亚语 et 格鲁吉亚语 ka 古吉拉特语 gu 冰岛语 is 爪哇语 jv 卡纳达语 kn 哈萨克语 kk 卢旺达语 rw 拉脱维亚语 lv 立陶宛语 lt 马其顿语 mk 马拉雅拉姆语 ml 马拉地语 mr 蒙古语 mn 尼泊尔语 ne 挪威语 no 波斯语 fa 旁遮普语 pa 塞尔维亚语 sr 信德语 sd 僧伽罗语 si 斯洛伐克语 sk 斯洛文尼亚语 sl 巽他语 su 加利西亚语 gl 希伯来语 he 乌尔都语 ur 乌兹别克语 uz 阿坎语 ak 阿尔巴尼亚语 sq 语言 语言 代码 代码 语言 语言 代码 代码 语言 语言 代码 代码 中文（简体） 中文（简体） zh Hans zh Hans 英语 英语 en en 日语 日语 ja ja 中文（繁体） 中文（繁体） zh Hant zh Hant 法语 法语 fr fr 韩语 韩语 ko ko 西班牙语 西班牙语 es es 德语 德语 de de 俄语 俄语 ru ru 葡萄牙语（巴西） 葡萄牙语（巴西） pt BR pt BR 意大利语 意大利语 it it 阿拉伯语 阿拉伯语 ar ar 葡萄牙语（葡萄牙） 葡萄牙语（葡萄牙） pt PT pt PT 荷兰语 荷兰语 nl nl 印地语 印地语 hi hi 泰语 泰语 th th 越南语 越南语 vi vi 印尼语 印尼语 id id 马来语 马来语 ms ms 菲律宾语 菲律宾语 fil fil 土耳其语 土耳其语 tr tr 波兰语 波兰语 pl pl 瑞典语 瑞典语 sv sv 乌克兰语 乌克兰语 uk uk 捷克语 捷克语 cs cs 丹麦语 丹麦语 da da 芬兰语 芬兰语 fi fi 希腊语 希腊语 el el 匈牙利语 匈牙利语 hu hu 罗马尼亚语 罗马尼亚语 ro ro 孟加拉语 孟加拉语 bn bn 泰米尔语 泰米尔语 ta ta 泰卢固语 泰卢固语 te te 缅甸语 缅甸语 my my 高棉语 高棉语 km km 老挝语 老挝语 lo lo 斯瓦希里语 斯瓦希里语 sw sw 豪萨语 豪萨语 ha ha 祖鲁语 祖鲁语 zu zu 南非荷兰语 南非荷兰语 af af 阿姆哈拉语 阿姆哈拉语 am am 亚美尼亚语 亚美尼亚语 hy hy 阿塞拜疆语 阿塞拜疆语 az az 巴斯克语 巴斯克语 eu eu 白俄罗斯语 白俄罗斯语 be be 保加利亚语 保加利亚语 bg bg 加泰罗尼亚语 加泰罗尼亚语 ca ca 克罗地亚语 克罗地亚语 hr hr 爱沙尼亚语 爱沙尼亚语 et et 格鲁吉亚语 格鲁吉亚语 ka ka 古吉拉特语 古吉拉特语 gu gu 冰岛语 冰岛语 is is 爪哇语 爪哇语 jv jv 卡纳达语 卡纳达语 kn kn 哈萨克语 哈萨克语 kk kk 卢旺达语 卢旺达语 rw rw 拉脱维亚语 拉脱维亚语 lv lv 立陶宛语 立陶宛语 lt lt 马其顿语 马其顿语 mk mk 马拉雅拉姆语 马拉雅拉姆语 ml ml 马拉地语 马拉地语 mr mr 蒙古语 蒙古语 mn mn 尼泊尔语 尼泊尔语 ne ne 挪威语 挪威语 no no 波斯语 波斯语 fa fa 旁遮普语 旁遮普语 pa pa 塞尔维亚语 塞尔维亚语 sr sr 信德语 信德语 sd sd 僧伽罗语 僧伽罗语 si si 斯洛伐克语 斯洛伐克语 sk sk 斯洛文尼亚语 斯洛文尼亚语 sl sl 巽他语 巽他语 su su 加利西亚语 加利西亚语 gl gl 希伯来语 希伯来语 he he 乌尔都语 乌尔都语 ur ur 乌兹别克语 乌兹别克语 uz uz 阿坎语 阿坎语 ak ak 阿尔巴尼亚语 阿尔巴尼亚语 sq sq 安全标记 所有 3.5 Live Translate 生成的音频都用 SynthID 做了水印标记。这个水印人耳听不出来，但可以被技术手段检测到，目的是标记哪些语音是 AI 生成的，防止有人拿实时翻译后的语音去冒充真人。 Model card：https://deepmind.google/models/model cards/gemini 3 5 audio/ 几个能立刻想到的使用场景 场景 具体画面 用哪个产品 海外旅行 在巴黎问路、在东京点菜、在伊斯坦布尔砍价，手机贴耳朵实时听翻译 Google Translate App 场景 场景 具体画面 具体画面 用哪个产品 用哪个产品 海外旅行 海外旅行 在巴黎问路、在东京点菜、在伊斯坦布尔砍价，手机贴耳朵实时听翻译 在巴黎问路、在东京点菜、在伊斯坦布尔砍价，手机贴耳朵实时听翻译 Google Translate App Google Translate App 跨国团队会议 中美日三地同事开周会，各说各的语言，每个人听到自己语言的翻译 Google Meet 国际客服 客服团队处理多语言来电，不需要按语种分组 Gemini Live API 集成 出海直播 中文主播面向多语言观众，实时生成多语种配音 Gemini Live API 集成 跨国打车/外卖 司机和乘客语言不通时的通话翻译 Gemini Live API（如 Grab） 课堂/培训 留学生用耳机听母语翻译的课堂讲授 Google Meet 或 API 传统同声传译员培训周期以年计算，全球能做好的人极少，收费极高。3.5 Live Translate 当然还做不到专业同传的水平，语音复制会飘、相似语言会混淆、多人快速对话会卡声音，这些限制 Google 自己也承认了。 但它把"边听边译"从一个稀缺的专业技能变成了手机上随时可用的功能，覆盖70多种语言。对于旅行问路、跨国开会、打车点菜这些日常场景，够用的门槛已经跨过去了。 API 文档：https://ai.google.dev/gemini api/docs/live api/live translate 在线测试： https://translate.fishjam.io 🔗 原文链接： https://mp.weixin.qq.com/s/n0jr0FDQ... https://mp.weixin.qq.com/s/n0jr0FDQ... 原创 小互 小互 小互AI2026年6月10日 16:30 安徽 比起今天大家追捧的 Anthropic 发布的Claude Fable 5 和 Claude Mythos 5 模型，我更关注Google 今天发布的这个模型... 虽然 Claude Fable 5很强大，但是模型能力已经超出了普通人能使用的范畴，而Google这个模型 直接推倒了“巴别塔”.... Google 今天发布了其实时语音翻译模型： Gemini 3.5 Live Translate ，能在70多种语言之间做到边听边译，同时保留说话人的语调、节奏和音高。 该模型基于Google 最新 的 Gemini 3.5 模型， 兼顾了Gemini 3.0 Pro的专业能力和 Gemini 3.0 Flash 的速度，能快速准确的完成一些复杂的任务。Google 将其优化为一个全新的实时翻译模型 Gemini 3.5 Live Translate 已同步登陆 Gemini Live API、Google Translate App 和 Google Meet。 核心更新一览： • 支持70多种语言自动检测，不需要手动选语言 • 边听边译，不等说完才翻，全程只比说话人慢几秒 • 翻译语音保留原始说话人的语调、节奏和音高 • 自动滤除噪音，嘈杂环境也能用 • Google Meet 语言组合从之前的5种语言、仅限英语互译，扩展到70多种语言、2000多种组合 • Google Translate App 新增「听筒模式」（Android 独占），贴耳即听翻译 • 所有生成音频带 SynthID 水印，可检测 AI 生成内容 • 开发者可通过 Gemini Live API 和 Google AI Studio 直接调用 它到底做了什么 过去的翻译工具，不管是 Google Translate 的对话模式，还是各种会议翻译插件，基本都是「轮次制」的：你说完一整句，系统停顿，处理，再输出翻译，中间那段沉默就是在等上下文。 3.5 Live Translate 改了这个逻辑 它在你说话的同时持续生成翻译语音， 像同声传译一样跟着你走 模型内部在做一个持续的权衡：多等一会儿能拿到更多上下文、翻得更准，但等太久就跟不上说话人了。 它在两者之间动态调节，输出流畅的音频，全程只比说话人慢几秒。 视频来自 @swmansion 一个具体的画面： 你在巴塞罗那跟一个只说西班牙语的导游走街串巷，他在讲这栋楼的历史。你把手机贴到耳朵上，听筒里传出来的英文翻译几乎和他的西班牙语同步，语调起伏也跟着他走。他激动的时候翻译声音也快，他停下来想词的时候翻译也自然地缓一拍。 先搞清楚一件事：它不是 AI 助手，是翻译器 Google 的 Live API 现在有两种模式：普通的 Live Agent 和 Live Translate。 名字像，但用的是完全不同的架构。 维度 Live Agent（普通模式） Live Translate（翻译模式） 模型角色 充当助理，能聆听、推理、采取行动 充当翻译器，像一个实时翻译流水线 交互方式 基于回合，依赖暂停和意图检测 连续流处理，边说边译不等轮次 工具和 Agent 能力 支持函数调用、Google 搜索、指令 不支持，纯翻译 输入模态 文本、音频、视频、图片 仅音频 配置复杂度 需要配置生成参数、语音、工具、系统指令 只需设 target language code 和几个开关 维度 维度 Live Agent（普通模式） Live Agent（普通模式） Live Translate（翻译模式） Live Translate（翻译模式） 模型角色 模型角色 充当助理，能聆听、推理、采取行动 充当助理，能聆听、推理、采取行动 充当翻译器，像一个实时翻译流水线 充当翻译器，像一个实时翻译流水线 交互方式 交互方式 基于回合，依赖暂停和意图检测 基于回合，依赖暂停和意图检测 连续流处理，边说边译不等轮次 连续流处理，边说边译不等轮次 工具和 Agent 能力 工具和 Agent 能力 支持函数调用、Google 搜索、指令 支持函数调用、Google 搜索、指令 不支持，纯翻译 不支持，纯翻译 输入模态 输入模态 文本、音频、视频、图片 文本、音频、视频、图片 仅音频 仅音频 配置复杂度 配置复杂度 需要配置生成参数、语音、工具、系统指令 需要配置生成参数、语音、工具、系统指令 只需设 target language code 和几个开关 只需设 target language code 和几个开关 为什么只接受音频，不接受文本？ 因为这个模型从底层就是一个端到端的语音到语音模型。它解决的核心问题是「在对方还没说完的时候就开始翻译并输出声音」。 音频是连续的流，每100毫秒一个块不断涌进来，没有明确的句子边界，模型要在这个流里实时判断说话人在说什么语言、句子说到哪里了、现在翻还是再等一下能翻得更准。这整套「边听边译」的连续流处理机制天然就是为音频设计的。 文本是离散的、完整的，不存在「说到一半要不要先翻」的问题，也不需要保留语调和节奏。 需要文本翻译的话，Google Translate 的文本 API 和 Gemini 文本模型已经能做了，没必要混进这个专为音频流优化的管线里。 三个关键能力 1. 自动语言检测 不需要提前告诉模型「我说的是中文，帮我翻成英文」。你直接说，它自己判断你在说什么语言，自动翻成目标语言。在多人多语言的场景下，比如一个会议里有人说日语、有人说法语、有人说中文，模型可以分别处理，不用每次手动切换。 2. 语音特征保留 这不是那种用固定机器人嗓音读翻译文本的模式。模型会尝试保留原始说话人的语调（intonation）、节奏（pacing）和音高（pitch）。你说得快它翻得也快，你强调某个词它