📣OpenAI考虑开源GPT3

📣OpenAI考虑开源GPT3 📣OpenAI考虑开源GPT3 Modified June 1, 2023 💎Sam Altman谈OpenAI计划：上周，Sam Altman和20名开发者一起讨论OpenAI的API和产品计划。Sam非常坦率，讨论涉及到实际的开发者问题，以及与OpenAI使命和AI社会影响相关的更大范围问题。以下是主要的观点： 1. OpenAI目前严重受限于GPU 在整个讨论中，一个常见的主题是OpenAI目前极度依赖GPU，这推迟了他们许多短期的计划。最大的客户投诉是关于API的可靠性和速度。Sam承认了他们的担忧，并解释说大部分问题是由于GPU短缺导致的。更长的32k上下文还不能推广给更多的人。OpenAI还没有克服注意力的O(n^2)扩展，所以虽然他们看起来有可能很快就会有100k 1M的标记上下文窗口（今年），但任何更大的窗口都需要一个研究突破。微调API目前也受到GPU可用性的限制。他们还没有使用像Adapters或LoRa这样的高效微调方法，所以微调非常耗费计算资源来运行和管理。未来会有更好的微调支持。他们甚至可能会托管一个由社区贡献的模型的市场。专用容量的提供受到GPU可用性的限制。OpenAI也提供专用容量，这为客户提供了模型的私有副本。要获得这项服务，客户必须愿意预先支付100k美元。 🍀Sam同时分享了OpenAI近期路线 2023: 更便宜、更快的GPT 4——这是他们的首要任务。一般来说，OpenAI的目标是尽可能地降低"智能的成本"，因此他们将努力继续降低API的成本。更长的上下文窗口——在近期，高达100万标记的上下文窗口是可行的。微调API——微调API将扩展到最新的模型，但具体形式将由开发者指示他们真正想要什么。有状态的API——当你今天调用聊天API时，你必须反复通过同样的对话历史，并反复支付同样的标记。未来，API将有一个能记住对话历史的版本。 2024: 多模态 — 这是 GPT 4 发布的一部分，但在更多的 GPU 上线之前，不能扩展到每个人。 3. 插件"没有找到市场适配性(PMF)"，并且可能不会很快出现在 API 中很多开发者对通过 API 获取 ChatGPT 插件感兴趣，但 Sam 表示他不认为它们会很快发布。插件的使用，除了浏览之外，表明他们还没有找到市场适配性。他建议很多人认为他们想要自己的应用在 ChatGPT 内部，但他们真正想要的是在他们的应用中使用 ChatGPT。 4. OpenAI 将避免与其客户竞争 —— 除了与 ChatGPT 相当多的开发者表示他们担心在 OpenAI 可能发布与他们竞争的产品时使用 OpenAI 的 API。Sam 说 OpenAI 不会发布超过 ChatGPT 的产品。他说有一些伟大的平台公司有杀手级应用，ChatGPT 将使他们通过成为自己产品的客户来改善 API。ChatGPT 的愿景是成为超级聪明的工作助手，但是 OpenAI 不会触及其他很多 GPT 的用例。 5. 需要规则，但也需要开源虽然 Sam 在呼吁对未来模型的规则，但他并不认为现有的模型是危险的，并认为规则或禁止它们将是一个巨大的错误。他重申了他对开源的重要性，并说 OpenAI 正在考虑开源 GPT 3。他们还没有开源的部分原因是他怀疑有多少个人和公司有能力托管和运行大型语言模型。 6. 扩大规模的规则仍然有效最近很多文章声称“巨大 AI 模型的时代已经结束”。这并不是个准确的表述。 OpenAI 的内部数据表明，模型性能的扩大规模规则仍然有效，模型变大将继续带来性能。扩大的速度不能保持，因为 OpenAI 在短短几年内已经将模型变大了数百万倍，而且这种增长在未来将无法持续。这并不意味着 OpenAI 不会继续尝试使模型变得更大，它只意味着它们可能每年只会增加一倍或两倍，而不是增加很多数量级。扩大仍然有效的事实对于 AGI 发展的时间表有重大影响。扩大假设是我们可能已经有了构建 AGI 所需的大部分部件，而剩下来的大部分工作将是采用现有的方法，将它们扩展到更大的模型和更大的数据集。如果扩大的时代结束了，那么我们可能会期望 AGI 还有很长的路要走。扩大规则继续有效，强烈表明了时间表的缩短。来源：https://humanloop.com/blog/openai plans 💎Sam Altman谈OpenAI计划：上周，Sam Altman和20名开发者一起讨论OpenAI的API和产品计划。Sam非常坦率，讨论涉及到实际的开发者问题，以及与OpenAI使命和AI社会影响相关的更大范围问题。以下是主要的观点： 1. OpenAI目前严重受限于GPU 在整个讨论中，一个常见的主题是OpenAI目前极度依赖GPU，这推迟了他们许多短期的计划。最大的客户投诉是关于API的可靠性和速度。Sam承认了他们的担忧，并解释说大部分问题是由于GPU短缺导致的。更长的32k上下文还不能推广给更多的人。OpenAI还没有克服注意力的O(n^2)扩展，所以虽然他们看起来有可能很快就会有100k 1M的标记上下文窗口（今年），但任何更大的窗口都需要一个研究突破。微调API目前也受到GPU可用性的限制。他们还没有使用像Adapters或LoRa这样的高效微调方法，所以微调非常耗费计算资源来运行和管理。未来会有更好的微调支持。他们甚至可能会托管一个由社区贡献的模型的市场。专用容量的提供受到GPU可用性的限制。OpenAI也提供专用容量，这为客户提供了模型的私有副本。要获得这项服务，客户必须愿意预先支付100k美元。 🍀Sam同时分享了OpenAI近期路线 2023: 更便宜、更快的GPT 4——这是他们的首要任务。一般来说，OpenAI的目标是尽可能地降低"智能的成本"，因此他们将努力继续降低API的成本。更长的上下文窗口——在近期，高达100万标记的上下文窗口是可行的。微调API——微调API将扩展到最新的模型，但具体形式将由开发者指示他们真正想要什么。有状态的API——当你今天调用聊天API时，你必须反复通过同样的对话历史，并反复支付同样的标记。未来，API将有一个能记住对话历史的版本。 2024: 多模态 — 这是 GPT 4 发布的一部分，但在更多的 GPU 上线之前，不能扩展到每个人。 3. 插件"没有找到市场适配性(PMF)"，并且可能不会很快出现在 API 中很多开发者对通过 API 获取 ChatGPT 插件感兴趣，但 Sam 表示他不认为它们会很快发布。插件的使用，除了浏览之外，表明他们还没有找到市场适配性。他建议很多人认为他们想要自己的应用在 ChatGPT 内部，但他们真正想要的是在他们的应用中使用 ChatGPT。 4. OpenAI 将避免与其客户竞争 —— 除了与 ChatGPT 相当多的开发者表示他们担心在 OpenAI 可能发布与他们竞争的产品时使用 OpenAI 的 API。Sam 说 OpenAI 不会发布超过 ChatGPT 的产品。他说有一些伟大的平台公司有杀手级应用，ChatGPT 将使他们通过成为自己产品的客户来改善 API。ChatGPT 的愿景是成为超级聪明的工作助手，但是 OpenAI 不会触及其他很多 GPT 的用例。 5. 需要规则，但也需要开源虽然 Sam 在呼吁对未来模型的规则，但他并不认为现有的模型是危险的，并认为规则或禁止它们将是一个巨大的错误。他重申了他对开源的重要性，并说 OpenAI 正在考虑开源 GPT 3。他们还没有开源的部分原因是他怀疑有多少个人和公司有能力托管和运行大型语言模型。 6. 扩大规模的规则仍然有效最近很多文章声称“巨大 AI 模型的时代已经结束”。这并不是个准确的表述。 OpenAI 的内部数据表明，模型性能的扩大规模规则仍然有效，模型变大将继续带来性能。扩大的速度不能保持，因为 OpenAI 在短短几年内已经将模型变大了数百万倍，而且这种增长在未来将无法持续。这并不意味着 OpenAI 不会继续尝试使模型变得更大，它只意味着它们可能每年只会增加一倍或两倍，而不是增加很多数量级。扩大仍然有效的事实对于 AGI 发展的时间表有重大影响。扩大假设是我们可能已经有了构建 AGI 所需的大部分部件，而剩下来的大部分工作将是采用现有的方法，将它们扩展到更大的模型和更大的数据集。如果扩大的时代结束了，那么我们可能会期望 AGI 还有很长的路要走。扩大规则继续有效，强烈表明了时间表的缩短。来源：https://humanloop.com/blog/openai plans