OpenAI将在11月6日举办首次开发者大会

OpenAI将在11月6日举办首次开发者大会 OpenAI将在11月6日举办首次开发者大会 Modified October 16, 2023 图1 OpenAI产品路线图 依据该信息：“In the future, there will be a version of API that remembers the conversation history”，我们推测Stateful API的实现方式如下： 首先，GPT的API将从Stateless变为Stateful。当前，开发者必须将应用中的历史记录通过Stateless API传给大模型，以便大模型依据历史上下文进行内容生成（图2）。当应用运行一段时间后，其历史记录通常会填满Context Window，并推高API调用成本。 图2: Stateless OpenAI API 而使用Stateful API，开发者只需要传入最新的对话记录，大模型会结合该记录和其维护的历史记录，依据上下文产生新的文内容（图3）。Altman表示，基于Stateful API，用户不用再“Pay for the same tokens from the same conversation history again and again”。 图3: Stateful OpenAI API 其次，Stateful API的实现机制应类似于KV Cache。在Statful API的信息披露之后，X(Twitter)上就有开发者马上意识到Stateful API， 类似于KV Cache机制，将有可能指数级（O(N^2 = O(N)）降低大模型应用的开销（图4）。 图4 Stateful API类似于KV Cache KV Cache旨在提升大模型的计算速度。在Transformer中，Key和Value用于计算“scaled dot product attention”，其以矩阵的形式存在。在以GPT为代表的Decoder大模型中，没有KV Caching的情况下，每次计算新attention都会重复计算该token前面所有tokens的attentions，导致算力和时间的浪费。而KV Cache的作用就是缓存前面的计算结果，让大模型专注于新token的计算，下图详细比对了无/有KV Caching的计算过程（图5）： 图5: 没有KV Caching vs 有KV Caching KV Cache对计算速度提升明显，例如，在不使用cache的情况下，使用GPT 2生成1000个Token将耗时56秒，而使用cache的耗时则被降低为11秒。 可以预期的是，Stateful API应该会采用类似于KV Cache的机制，缓存用户对话的历史记录，并在每次API调用中，使用增量信息结合服务端的历史记录生成文本，并以此降低计算规模（图6）。 图6: 计算规模，Stateful vs Stateless 如果上述推测属实，OpenAI确实有能力将大模型应用的开销削减95%。但另一方面，Stateful API将显著减少OpenAI从开发者群体获得的收入，其“地板价”的动机又是什么呢？ “地板价”战略 路透告诉我们OpenAI的动机是“Keeping Developers Happy”，事情真的是如此直白吗？ These releases are designed to attract more developers to pay to access OpenAI’s model to build their own AI software for a variety of uses, such as writing assistants or customer service bots. 我们可以从OpenAI的既有GTM战略（图7）来探寻其Stateful API的动机： 图7: OpenAI的GTM战略 首先，在大型和超大型企业市场，Stateful API的目的是“运营优化”。纵观欧美市场，面向大企业客户的ChatGPT Enterprise已经为OpenAI取得了相当的竞争优势，并且鲜有匹敌者。因此，该市场将成为OpenAI的主要Cash Cow。 在这种情况下，考虑到ChatGPT Enterprise提供的无限GPT 4访问和月租费+阶梯计价方式，Stateful API的主要作用是帮助OpenAI优化客户的运营成本。 其次，在中小企业市场，除了笼络开发者，Stateful API的目的则带有“挤压”初创公司的意图。OpenAI所面临的威胁也许并非来自那些“Deep Pocket”的大互联网公司，而可能是那些更具天赋、更有创意的初创公司。在海量资金的投入下，“下一个OpenAI”可能随时威胁并不完美的Transformer架构。鉴于开发者社区和中小企业市场是这些初创公司的策源地，激进的降价有助于“挤压”这些潜在的竞争对手（类似于AWS在云市场的所作所为），压缩他们的现金流和创新空间。 当然，以上的内容还只是我们依据现有信息的推测。事情是否真如我们所预料，11月6日OpenAI的开发者大会将揭晓谜底。 图1 OpenAI产品路线图 依据该信息：“In the future, there will be a version of API that remembers the conversation history”，我们推测Stateful API的实现方式如下： 首先，GPT的API将从Stateless变为Stateful。当前，开发者必须将应用中的历史记录通过Stateless API传给大模型，以便大模型依据历史上下文进行内容生成（图2）。当应用运行一段时间后，其历史记录通常会填满Context Window，并推高API调用成本。 图2: Stateless OpenAI API 而使用Stateful API，开发者只需要传入最新的对话记录，大模型会结合该记录和其维护的历史记录，依据上下文产生新的文内容（图3）。Altman表示，基于Stateful API，用户不用再“Pay for the same tokens from the same conversation history again and again”。 图3: Stateful OpenAI API 其次，Stateful API的实现机制应类似于KV Cache。在Statful API的信息披露之后，X(Twitter)上就有开发者马上意识到Stateful API， 类似于KV Cache机制，将有可能指数级（O(N^2 = O(N)）降低大模型应用的开销（图4）。 图4 Stateful API类似于KV Cache KV Cache旨在提升大模型的计算速度。在Transformer中，Key和Value用于计算“scaled dot product attention”，其以矩阵的形式存在。在以GPT为代表的Decoder大模型中，没有KV Caching的情况下，每次计算新attention都会重复计算该token前面所有tokens的attentions，导致算力和时间的浪费。而KV Cache的作用就是缓存前面的计算结果，让大模型专注于新token的计算，下图详细比对了无/有KV Caching的计算过程（图5）： 图5: 没有KV Caching vs 有KV Caching KV Cache对计算速度提升明显，例如，在不使用cache的情况下，使用GPT 2生成1000个Token将耗时56秒，而使用cache的耗时则被降低为11秒。 可以预期的是，Stateful API应该会采用类似于KV Cache的机制，缓存用户对话的历史记录，并在每次API调用中，使用增量信息结合服务端的历史记录生成文本，并以此降低计算规模（图6）。 图6: 计算规模，Stateful vs Stateless 如果上述推测属实，OpenAI确实有能力将大模型应用的开销削减95%。但另一方面，Stateful API将显著减少OpenAI从开发者群体获得的收入，其“地板价”的动机又是什么呢？ “地板价”战略 路透告诉我们OpenAI的动机是“Keeping Developers Happy”，事情真的是如此直白吗？ These releases are designed to attract more developers to pay to access OpenAI’s model to build their own AI software for a variety of uses, such as writing assistants or customer service bots. 我们可以从OpenAI的既有GTM战略（图7）来探寻其Stateful API的动机： 图7: OpenAI的GTM战略 首先，在大型和超大型企业市场，Stateful API的目的是“运营优化”。纵观欧美市场，面向大企业客户的ChatGPT Enterprise已经为OpenAI取得了相当的竞争优势，并且鲜有匹敌者。因此，该市场将成为OpenAI的主要Cash Cow。 在这种情况下，考虑到ChatGPT Enterprise提供的无限GPT 4访问和月租费+阶梯计价方式，Stateful API的主要作用是帮助OpenAI优化客户的运营成本。 其次，在中小企业市场，除了笼络开发者，Stateful API的目的则带有“挤压”初创公司的意图。OpenAI所面临的威胁也许并非来自那些“Deep Pocket”的大互联网公司，而可能是那些更具天赋、更有创意的初创公司。在海量资金的投入下，“下一个OpenAI”可能随时威胁并不完美的Transformer架构。鉴于开发者社区和中小企业市场是这些初创公司的策源地，激进的降价有助于“挤压”这些潜在的竞争对手（类似于AWS在云市场的所作所为），压缩他们的现金流和创新空间。 当然，以上的内容还只是我们依据现有信息的推测。事情是否真如我们所预料，11月6日OpenAI的开发者大会将揭晓谜底。 🔥 引用来源：https://mp.weixin.qq.com/s/NPqAeSl3NQ0 wb HzsJS w 引用来源：https://mp.weixin.qq.com/s/NPqAeSl3NQ0 wb HzsJS w OpenAI将在11月6日的首次开发者大会上发布重要更新，其目标是让开发者能够更快捷和廉价地开发基于大模型的应用。 而此次更新最让人期待的部分是：“OpenAI将推出Stateful API，理论上可将大模型应用的开销削减为原来的二十分之一。” “The updates include the addition of memory storage to its developer tools for using AI models. This could theoretically slash costs for application makers by as much as 20 times, addressing a major concern for partners whose cost of using OpenAI’s powerful models could pile up quickly, as they try to build sustainable businesses by developing and selling AI software.” 在AI Agents逐渐流行的今天，如果该消息属实，其无异于向大模型市场投入一枚重磅炸弹，并将进一步推进大模型的“Commodity”化。 Stateful API并非新的概念，但“Stateful API”将如何将GPT打成“地板价”？ Stateful API 实际上早在5月的一次采访上，Altman就首次透露了有关Stateful API的信息，并表示将在年内发布该功能（图1）。