GPT-Realtime-2 语音模型发布：语音首次接入 GPT-5 推理能力

GPT Realtime 2 语音模型发布：语音首次接入 GPT 5 推理能力 GPT Realtime 2 语音模型发布：语音首次接入 GPT 5 推理能力 Modified May 8 Audio or video is not supported Please download the file and open it with the appropriate software. 0bc34efqoaalpyaer7xwfnuvxyoda7qqwbya.f10002.mp4 · 28.47MB 0bc34efqoaalpyaer7xwfnuvxyoda7qqwbya.f10002 00:00 这两组数据是跑分用的最高档结果。 实际产品里默认是 low ，开发者要么自己调高，要么接受跟跑分有差距的体验。换句话说，跑分给你看的是 high/xhigh，SDK 里默认拿到的是 low。 Zillow 实测：呼叫成功率 69% → 95% OpenAI 给的官方案例里，数字最实在的是 Zillow。Zillow 的 AI 负责人 Josh Weisberg 的原话是： “在我们最难的对抗性测试集上，经过 prompt 调优后，呼叫成功率从 69% 提升到了 95%，26 个百分点的跃升。GPT Realtime 2 在 Fair Housing 合规上也明显更稳，这对我们业务很关键。” 数据要拆开看：69% → 95% 是 prompt 调优之后的成绩，不是装上就拿到的提升。 模型变强只是让你“调得动”，调到位还得工程团队自己下功夫。 上下文从 32K 涨到 128K 上下文从 32K 扩到 128K，整整四倍大小。半小时的医疗问诊聊到后半段，模型不会把前面的关键症状忘光，这是 OpenAI 给出的典型场景。 几个让对话不那么“机器人”的小动作 • Preambles （开场短语）：模型可以在主回答之前说一句“让我查一下”或者“稍等一下”，让用户知道它正在干活，不会觉得卡死 • 并行工具调用 + 工具透明化 ：可以同时调多个工具，并且边调边告诉你“正在查日历”“正在查询订单”，不是闷头干完才出声 • 失败兜底 ：遇到工具调用失败，模型会说“我现在处理这件事有点问题”，而不是直接静默或者崩掉对话 • 专业词汇保留 ：对医疗术语、专有名词、人名、产品代号的识别和保留有明显改进 • 语气可调 ：解决问题时冷静、用户着急时共情、确认成功时上扬，这些情绪基调可以更精细地控制 03 GPT Realtime Translate：边说边译，70 种语言互通 GPT Realtime Translate 是个独立的实时翻译模型，单独拎出来卖，专门给做跨语言语音产品的开发者用。 不用等说完一段再翻，你还在说，它已经开始把翻译好的音频和文字片段往外吐了。 它的工作方式是 voice to voice，A 说中文 B 听到的是英文，B 说英文 A 听到的是中文，中间几乎不停顿。模型设计上是边听边译，不需要等说话人讲完一整句，所以两边对话节奏能保持自然。 几个关键能力： • 支持 70+ 种输入语言， 13 种输出语言。 • 处理上下文切换不掉链子，说话人聊着聊着突然换话题，翻译能跟上。 • 能识别 地区口音和方言变体 ，对印度英语、拉美西班牙语这种非标准发音友好。 • 能保留 专业领域 词汇，医疗、法律、金融术语不会被翻译成大白话糊弄过去。 Audio or video is not supported Please download the file and open it with the appropriate software. 0b2exqbqqaadsuafvi76qruvhpgdbc6agcaa.f10002.mp4 · 4.33MB 0b2exqbqqaadsuafvi76qruvhpgdbc6agcaa.f10002 00:00 OpenAI 给的合作伙伴例子： • Deutsche Telekom （德国电信）正在测试用它做跨语言客服，客户用自己最舒服的语言说，客服侧实时翻译跟进 • BolnaAI （印度本地化语音 AI 公司）的 CTO Prateek Sachan 提供的实测数据：在印地语、泰米尔语、泰卢固语三种语言上，Translate 的词错率比他们测过的任何模型都低 12.5% • Vimeo 演示了直接给一段产品教学视频做实时翻译，全球客户不用等单独制作的多语言版本就能听母语解说 ⚠️ 一个开发者侧的限制：Translate 模型 不支持 function calling 。意思是它只能把语音变成另一种语言的语音/文字，没法在翻译过程中触发查日历、订机票之类的工具调用。要做“边翻译边帮你订机票”这种场景，得把它跟 Realtime 2 串起来用。 04 GPT Realtime Whisper：流式转写，边说边出字 第三个模型 GPT Realtime Whisper 是个流式语音转文字模型，跟原来的 Whisper 走的是两条线。 原版 Whisper 的设计前提是处理「完整的一段音频」，你录完一段交给它，它出转写结果。新的流式版本是 边说边转，延迟极低 ， 不用等说完一句话再返回结果，专门服务实时场景。 OpenAI 强调的应用场景 ： • 会议、课堂、直播、活动的实时字幕 • 一边开会一边自动生成纪要 • 给客服、医疗、销售、招聘场景里的语音 Agent 当“耳朵”，实时把语音变成文字喂给下游 价格 0.017 美元 / 分钟，大概是 Translate 的一半。 05 语音作为人与产品之间的交互界面 OpenAI 把这一波语音能力整理成了三种交互模式，可以单独用也可以叠加： 1 动嘴办事（Voice to Action） ：用户说出需求，系统推理、调工具、完成任务。Zillow 的例子是“找一套在我购房预算范围内、避开吵闹街道的房子，周六约个看房”，一句话里带预算筛选、地段过滤、日历预约三个动作 2 系统播报（Systems to Voice） ：软件把上下文转成口播指引。OpenAI 举的旅行 App 例子是“你的航班晚点了，但还赶得上转机，新登机口在 X，我帮你查了最快的步行路线，行李会跟着转” 3 跨语言对讲（Voice to Voice） ：跨语言对话，边说边翻 这些模式还可以协同工作： Priceline 把这三种模式串起来做一件事：从查机票酒店、改预订、看 TSA 排队时长，到落地后跨语言对话，整趟出行都靠说话搞定。 No access 0bc3aaaacaaahmafh4p5g5uvaagdaeaaaaia.f10002 00:00 Priceline 正致力于打造一个让旅客能够通过语音管理整个行程的未来：以对话方式搜索航班和酒店；处理各种变更，例如在航班延误后调整酒店预订或获取 TSA 安检排队时间的实时更新；以及在旅客到达目的地后提供对话翻译。 06 价格、获取方式、限制 三个模型怎么搭配用 OpenAI 这次把三个模型分开发，背后的逻辑是不同任务用不同工具，省钱也省麻烦： • 完整语音 Agent • （语音进语音出，能推理能调工具）→ GPT Realtime 2 • 纯翻译管道 • （语音 A 进，语音 B 出，不用别的逻辑）→ GPT Realtime Translate • 纯转写 • （语音进，文字出，给下游系统接着用）→ GPT Realtime Whisper 如果你只是要个翻译功能，没必要拿最贵的 GPT Realtime 2 硬撑，Translate 单独用更划算。同理只做字幕生成用 Whisper 就行。 定价 • GPT Realtime 2 ：音频输入 32 美元 / 100 万 token，缓存输入 0.40 美元 / 100 万 token，音频输出 64 美元 / 100 万 token。文本输出 24 美元 / 100 万 token（比 1.5 的 16 美元贵）。图片输入 5 美元 / 100 万 token • GPT Realtime Translate ：0.034 美元 / 分钟 • GPT Realtime Whisper ：0.017 美元 / 分钟 速率限制 GPT Realtime 2 的 Tier 1 限额是 200 RPM、40K TPM、每天 1000 次请求，大致够日均几百通呼叫的小型客服试水；正式上量需要爬到 Tier 3 以上（5000 RPM、80 万 TPM）。Tier 5 顶配是 20K RPM、1500 万 TPM。Translate 按“每分钟可处理音频分钟数”算，Tier 1 是 50 分钟 / 分钟，Tier 5 拉到 850。免费 tier 三个模型都不支持。 数据合规 Realtime API 支持欧盟数据驻留，默认走 OpenAI 企业隐私承诺。会话级别有内置安全分类器，违反内容政策的对话会被自动中断。 已知限制和需要注意的地方 • 默认推理档位是 low，跑分用的是 high/xhigh ：开发者要自己调档，不然实际体验跟标题数字不一致 • Translate 不支持 function calling ：只做翻译，要带工具的多语言 Agent 得叠 Realtime 2 • 首日有部分账号调不通 ：OpenAI 开发者社区有用户反馈拿到访问错误（疑似 400 系列），但同帖也有人能正常调用，推测是灰度推送中的账号级权限问题，不是模型本身故障。遇到先别改代码，等灰度铺开或在 Status 页留意 • 重口音识别仍有短板 ：早期开发者反馈，重口音情况下模型偶尔会把语种判断错 • 音频输出没涨价但文本输出涨了 ：文本输出从 1.5 的 16 美元涨到 24 美元，纯走文本回退路径的应用要重新算账 • ChatGPT 普通用户暂时用不到 ：这一波是 API only，消费侧的语音体验升级 OpenAI 说“还在做” 07 上手 可以直接在 OpenAI Playground [1] 试，或者通过 Realtime API 接入。模型 ID 分别是 gpt realtime 2 、 gpt realtime translate 、 gpt realtime whisper ，对应端点 /v1/realtime 、 /v1/realtime/translations 、 /v1/realtime/transcription sessions 。 这一波最值得记住的不是“GPT 5 级推理”这个标题，而是 OpenAI 把“边想边说边干活”做成了一套可拼装的接口。 参考链接 [1] OpenAI Playground: https://platform.openai.com/audio/realtime [2] 主推宣传 4 分钟（Hero）: https://player.vimeo.com/video/1190206030?h=bfe416b2df [3] GPT Realtime 2 实时对话 demo（1 分 45 秒）: https://player.vimeo.com/video/1189965227?h=5f67308e6d [4] Vimeo 实时翻译产品教学视频（43 秒）: https://player.vimeo.com/video/1189187147?h=6f16761fb5 [5] YouTube 完整发布视频: https://www.youtube.com/watch?v=JOu8v6CBjkE [6] Advancing voice intelligence with new models in the API OpenAI: https://openai.com/index/advancing voice intelligence with new models in the api/ [7] GPT Realtime 2 模型文档: https://developers.openai.com/api/docs/models/gpt realtime 2 [8] The Decoder 解读: https://the decoder.com/openais new voice model brings gpt 5 level reasoning to real time conversations/ Audio or video is not supported Please download the file and open it with the appropriate software. 0bc34efqoaalpyaer7xwfnuvxyoda7qqwbya.f10002.mp4 · 28.47MB 0bc34efqoaalpyaer7xwfnuvxyoda7qqwbya.f10002 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 0bc34efqoaalpyaer7xwfnuvxyoda7qqwbya.f10002.mp4 · 28.47MB 0bc34efqoaalpyaer7xwfnuvxyoda7qqwbya.f10002 00:00 这两组数据是跑分用的最高档结果。 实际产品里默认是 low ，开发者要么自己调高，要么接受跟跑分有差距的体验。换句话说，跑分给你看的是 high/xhigh，SDK 里默认拿到的是 low。 Zillow 实测：呼叫成功率 69% → 95% OpenAI 给的官方案例里，数字最实在的是 Zillow。Zillow 的 AI 负责人 Josh Weisberg 的原话是： “在我们最难的对抗性测试集上，经过 prompt 调优后，呼叫成功率从 69% 提升到了 95%，26 个百分点的跃升。GPT Realtime 2 在 Fair Housing 合规上也明显更稳，这对我们业务很关键。” 数据要拆开看：69% → 95% 是 prompt 调优之后的成绩，不是装上就拿到的提升。 模型变强只是让你“调得动”，调到位还得工程团队自己下功夫。 上下文从 32K 涨到 128K 上下文从 32K 扩到 128K，整整四倍大小。半小时的医疗问诊聊到后半段，模型不会把前面的关键症状忘光，这是 OpenAI 给出的典型场景。 几个让对话不那么“机器人”的小动作 • Preambles （开场短语）：模型可以在主回答之前说一句“让我查一下”或者“稍等一下”，让用户知道它正在干活，不会觉得卡死 • 并行工具调用 + 工具透明化 ：可以同时调多个工具，并且边调边告诉你“正在查日历”“正在查询订单”，不是闷头干完才出声 • 失败兜底 ：遇到工具调用失败，模型会说“我现在处理这件事有点问题”，而不是直接静默或者崩掉对话 • 专业词汇保留 ：对医疗术语、专有名词、人名、产品代号的识别和保留有明显改进 • 语气可调 ：解决问题时冷静、用户着急时共情、确认成功时上扬，这些情绪基调可以更精细地控制 03 GPT Realtime Translate：边说边译，70 种语言互通 GPT Realtime Translate 是个独立的实时翻译模型，单独拎出来卖，专门给做跨语言语音产品的开发者用。 不用等说完一段再翻，你还在说，它已经开始把翻译好的音频和文字片段往外吐了。 它的工作方式是 voice to voice，A 说中文 B 听到的是英文，B 说英文 A 听到的是中文，中间几乎不停顿。模型设计上是边听边译，不需要等说话人讲完一整句，所以两边对话节奏能保持自然。 几个关键能力： • 支持 70+ 种输入语言， 13 种输出语言。 • 处理上下文切换不掉链子，说话人聊着聊着突然换话题，翻译能跟上。 • 能识别 地区口音和方言变体 ，对印度英语、拉美西班牙语这种非标准发音友好。 • 能保留 专业领域 词汇，医疗、法律、金融术语不会被翻译成大白话糊弄过去。 Audio or video is not supported Please download the file and open it with the appropriate software. 0b2exqbqqaadsuafvi76qruvhpgdbc6agcaa.f10002.mp4 · 4.33MB 0b2exqbqqaadsuafvi76qruvhpgdbc6agcaa.f10002 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 0b2exqbqqaadsuafvi76qruvhpgdbc6agcaa.f10002.mp4 · 4.33MB 0b2exqbqqaadsuafvi76qruvhpgdbc6agcaa.f10002 00:00 OpenAI 给的合作伙伴例子： • Deutsche Telekom （德国电信）正在测试用它做跨语言客服，客户用自己最舒服的语言说，客服侧实时翻译跟进 • BolnaAI （印度本地化语音 AI 公司）的 CTO Prateek Sachan 提供的实测数据：在印地语、泰米尔语、泰卢固语三种语言上，Translate 的词错率比他们测过的任何模型都低 12.5% • Vimeo 演示了直接给一段产品教学视频做实时翻译，全球客户不用等单独制作的多语言版本就能听母语解说 ⚠️ 一个开发者侧的限制：Translate 模型 不支持 function calling 。意思是它只能把语音变成另一种语言的语音/文字，没法在翻译过程中触发查日历、订机票之类的工具调用。要做“边翻译边帮你订机票”这种场景，得把它跟 Realtime 2 串起来用。 04 GPT Realtime Whisper：流式转写，边说边出字 第三个模型 GPT Realtime Whisper 是个流式语音转文字模型，跟原来的 Whisper 走的是两条线。 原版 Whisper 的设计前提是处理「完整的一段音频」，你录完一段交给它，它出转写结果。新的流式版本是 边说边转，延迟极低 ， 不用等说完一句话再返回结果，专门服务实时场景。 OpenAI 强调的应用场景 ： • 会议、课堂、直播、活动的实时字幕 • 一边开会一边自动生成纪要 • 给客服、医疗、销售、招聘场景里的语音 Agent 当“耳朵”，实时把语音变成文字喂给下游 价格 0.017 美元 / 分钟，大概是 Translate 的一半。 05 语音作为人与产品之间的交互界面 OpenAI 把这一波语音能力整理成了三种交互模式，可以单独用也可以叠加： 1 动嘴办事（Voice to Action） ：用户说出需求，系统推理、调工具、完成任务。Zillow 的例子是“找一套在我购房预算范围内、避开吵闹街道的房子，周六约个看房”，一句话里带预算筛选、地段过滤、日历预约三个动作 2 系统播报（Systems to Voice） ：软件把上下文转成口播指引。OpenAI 举的旅行 App 例子是“你的航班晚点了，但还赶得上转机，新登机口在 X，我帮你查了最快的步行路线，行李会跟着转” 3 跨语言对讲（Voice to Voice） ：跨语言对话，边说边翻 这些模式还可以协同工作： Priceline 把这三种模式串起来做一件事：从查机票酒店、改预订、看 TSA 排队时长，到落地后跨语言对话，整趟出行都靠说话搞定。 No access 0bc3aaaacaaahmafh4p5g5uvaagdaeaaaaia.f10002 00:00 No access 0bc3aaaacaaahmafh4p5g5uvaagdaeaaaaia.f10002 00:00 Priceline 正致力于打造一个让旅客能够通过语音管理整个行程的未来：以对话方式搜索航班和酒店；处理各种变更，例如在航班延误后调整酒店预订或获取 TSA 安检排队时间的实时更新；以及在旅客到达目的地后提供对话翻译。 06 价格、获取方式、限制 三个模型怎么搭配用 OpenAI 这次把三个模型分开发，背后的逻辑是不同任务用不同工具，省钱也省麻烦： • 完整语音 Agent • （语音进语音出，能推理能调工具）→ GPT Realtime 2 • 纯翻译管道 • （语音 A 进，语音 B 出，不用别的逻辑）→ GPT Realtime Translate • 纯转写 • （语音进，文字出，给下游系统接着用）→ GPT Realtime Whisper 如果你只是要个翻译功能，没必要拿最贵的 GPT Realtime 2 硬撑，Translate 单独用更划算。同理只做字幕生成用 Whisper 就行。 定价 • GPT Realtime 2 ：音频输入 32 美元 / 100 万 token，缓存输入 0.40 美元 / 100 万 token，音频输出 64 美元 / 100 万 token。文本输出 24 美元 / 100 万 token（比 1.5 的 16 美元贵）。图片输入 5 美元 / 100 万 token • GPT Realtime Translate ：0.034 美元 / 分钟 • GPT Realtime Whisper ：0.017 美元 / 分钟 速率限制 GPT Realtime 2 的 Tier 1 限额是 200 RPM、40K TPM、每天 1000 次请求，大致够日均几百通呼叫的小型客服试水；正式上量需要爬到 Tier 3 以上（5000 RPM、80 万 TPM）。Tier 5 顶配是 20K RPM、1500 万 TPM。Translate 按“每分钟可处理音频分钟数”算，Tier 1 是 50 分钟 / 分钟，Tier 5 拉到 850。免费 tier 三个模型都不支持。 数据合规 Realtime API 支持欧盟数据驻留，默认走 OpenAI 企业隐私承诺。会话级别有内置安全分类器，违反内容政策的对话会被自动中断。 已知限制和需要注意的地方 • 默认推理档位是 low，跑分用的是 high/xhigh ：开发者要自己调档，不然实际体验跟标题数字不一致 • Translate 不支持 function calling ：只做翻译，要带工具的多语言 Agent 得叠 Realtime 2 • 首日有部分账号调不通 ：OpenAI 开发者社区有用户反馈拿到访问错误（疑似 400 系列），但同帖也有人能正常调用，推测是灰度推送中的账号级权限问题，不是模型本身故障。遇到先别改代码，等灰度铺开或在 Status 页留意 • 重口音识别仍有短板 ：早期开发者反馈，重口音情况下模型偶尔会把语种判断错 • 音频输出没涨价但文本输出涨了 ：文本输出从 1.5 的 16 美元涨到 24 美元，纯走文本回退路径的应用要重新算账 • ChatGPT 普通用户暂时用不到 ：这一波是 API only，消费侧的语音体验升级 OpenAI 说“还在做” 07 上手 可以直接在 OpenAI Playground [1] 试，或者通过 Realtime API 接入。模型 ID 分别是 gpt realtime 2 、 gpt realtime translate 、 gpt realtime whisper ，对应端点 /v1/realtime 、 /v1/realtime/translations 、 /v1/realtime/transcription sessions 。 这一波最值得记住的不是“GPT 5 级推理”这个标题，而是 OpenAI 把“边想边说边干活”做成了一套可拼装的接口。 参考链接 [1] OpenAI Playground: https://platform.openai.com/audio/realtime [2] 主推宣传 4 分钟（Hero）: https://player.vimeo.com/video/1190206030?h=bfe416b2df [3] GPT Realtime 2 实时对话 demo（1 分 45 秒）: https://player.vimeo.com/video/1189965227?h=5f67308e6d [4] Vimeo 实时翻译产品教学视频（43 秒）: https://player.vimeo.com/video/1189187147?h=6f16761fb5 [5] YouTube 完整发布视频: https://www.youtube.com/watch?v=JOu8v6CBjkE [6] Advancing voice intelligence with new models in the API OpenAI: https://openai.com/index/advancing voice intelligence with new models in the api/ [7] GPT Realtime 2 模型文档: https://developers.openai.com/api/docs/models/gpt realtime 2 [8] The Decoder 解读: https://the decoder.com/openais new voice model brings gpt 5 level reasoning to real time conversations/ [9] 原推文: https://x.com/OpenAI/status/2052438194625593804 — END — 🔗 原文链接： https://mp.weixin.qq.com/s/YZH3bja ... https://mp.weixin.qq.com/s/YZH3bja ... 小互 小互 小互AI2026年5月8日 13:59 安徽 小互AI · 深度解读 GPT Realtime 2 发布：语音首次接入 GPT 5 级推理，跑分超上代 15% OpenAI一口气发布了三个实时语音模型： GPT Realtime 2、GPT Realtime Translate、GPT Realtime Whisper ，全部今日起在 Realtime API 开放。 其中GPT Realtime 2 是其中的主角，这是 OpenAI 第一次把“GPT 5 级推理”塞进语音模型 ，同时把上下文 从 32K 扩到 128K ，并且在不涨音频价格的前提下做完了这次升级。 • GPT Realtime 2： 首个具备 GPT 5 级推理能力的语音模型，能在对话中推理复杂请求、并行调工具、处理打断和纠错，上下文窗口从 32K 升到 128K。 • GPT Realtime Translate： 实时语音翻译模型，支持 70+ 种输入语言、13 种输出语言，跟着说话人的节奏边听边译，能处理口音和专业词。 • GPT Realtime Whisper： 流式语音转文字模型，边说边出字，专门给实时字幕、会议纪要、客服转写这类不能等的 OpenAI 这波更新瞄的是一件事： 语音不能再只是个一问一答的对话框，得变成边听边想、边调工具边干活的接口。 01 三个模型分别是什么 模型 干什么 怎么计费 GPT Realtime 2 实时语音对话，带 GPT 5 级推理，可调推理强度 按 token，音频输入 32 / 输出 64 美元每 100 万 GPT Realtime Translate 实时语音转语音翻译，70+ 输入语言、13 输出语言 按音频时长，0.034 美元 / 分钟 GPT Realtime Whisper 流式语音转文字，边说边出转写 按音频时长，0.017 美元 / 分钟 模型 模型 干什么 干什么 怎么计费 怎么计费 GPT Realtime 2 GPT Realtime 2 实时语音对话，带 GPT 5 级推理，可调推理强度 实时语音对话，带 GPT 5 级推理，可调推理强度 按 token，音频输入 32 / 输出 64 美元每 100 万 按 token，音频输入 32 / 输出 64 美元每 100 万 GPT Realtime Translate GPT Realtime Translate 实时语音转语音翻译，70+ 输入语言、13 输出语言 实时语音转语音翻译，70+ 输入语言、13 输出语言 按音频时长，0.034 美元 / 分钟 按音频时长，0.034 美元 / 分钟 GPT Re