Open AI的API和微软Azure并发分析

Open AI的API和微软Azure并发分析 Open AI的API和微软Azure并发分析 OpenAI官方并发量是3500 request/minute, 90000 token/minute. 但是Azure的并发量是300 request/minute, 120000 token/minute. 相比之下token/minute并发差距不大, 但是request/minute差距是10倍. 多服务不共用同个并发限制：微软云官方回复 比如一个账户下，一个区域下部署3个服务都构建3.5的模型，3个服务就是部署3次了，各300就是900. OpenAI官方并发量是3500 request/minute, 90000 token/minute. 但是Azure的并发量是300 request/minute, 120000 token/minute. 相比之下token/minute并发差距不大, 但是request/minute差距是10倍. 多服务不共用同个并发限制：微软云官方回复 比如一个账户下，一个区域下部署3个服务都构建3.5的模型，3个服务就是部署3次了，各300就是900.