Sora 2 系统卡片

Sora 2 系统卡片 Sora 2 系统卡片 Modified October 1, 2025 Unable to load Please check the network connection and retry. sora 2 system card.pdf · 228.07KB Retry sora 2 system card.pdf 📋 目录 • 1. Sora 2概述 • 2. 模型数据与数据过滤 • 3. 安全性：Sora 2的安全堆栈、评估和缓解措施 ◦ 3.1 安全堆栈 ◦ 3.2 产品和使用政策 ◦ 3.3 来源追溯和透明度倡议 ◦ 3.4 特定风险领域和缓解措施 • 4. 红队测试 • 5. 安全评估 • 6. 持续的安全、政策和迭代部署工作 • 7. 致谢 1. Sora 2概述 Sora 2是我们新的最先进的视频和音频生成模型。在Sora的基础上，这个新模型引入了以往视频模型难以实现的能力——如更准确的物理原理、更清晰的现实感、同步音频、增强的可操控性和扩展的风格范围。该模型能够高保真地遵循用户指示，能够创建既富有想象力又基于现实世界动态的视频。Sora 2扩展了叙事和创意表达的工具包，同时也是迈向能够更准确模拟物理世界复杂性的模型的一步。Sora 2将通过sora.com、新的独立iOS Sora应用程序提供，未来还将通过我们的API提供。 Sora 2的先进能力需要考虑新的潜在风险，包括未经同意使用肖像或误导性生成内容。为了解决这些问题，我们与内部红队合作识别新的挑战并制定相应的缓解措施。我们采用迭代的安全方法，专注于语境特别重要或风险仍在出现且尚未完全理解的领域。 我们的迭代部署包括通过有限邀请推出Sora 2的初始访问权限，限制使用包含写实人物的图像上传和所有视频上传，并对涉及未成年人的内容设置严格的保护措施和审核阈值。我们将继续学习人们如何使用Sora 2，并完善系统以在最大化创意潜力的同时平衡安全性。本系统卡片描述了模型的能力、潜在风险以及OpenAI为Sora 2安全部署所开发的安全措施。 2. 模型数据与数据过滤 与OpenAI的其他模型一样，Sora 2在多样化的数据集上进行训练，包括互联网上公开可用的信息、我们与第三方合作访问的信息，以及我们的用户或人类训练师和研究人员提供或生成的信息。我们的数据处理管道包括严格的过滤以维护数据质量并减轻潜在风险。我们还使用安全分类器的组合来帮助防止有害或敏感内容的使用或生成，包括显性材料，如涉及未成年人的性内容。 3. 安全性：Sora 2的安全堆栈、评估和缓解措施 3.1 安全堆栈 为了安全部署Sora 2，我们构建了一个强大的安全堆栈，该堆栈基于我们从Sora 1中学到的经验，整合了为其他OpenAI模型和产品（如GPT 4o图像生成和DALL·E）开发的缓解措施，并添加了专门针对Sora 2的保护措施。这些措施包括： • 通过多模态审核分类器进行文本和图像审核：输入提示、输出视频帧、音频转录、评论和输出场景描述文本都通过各种安全模型运行： ◦ 输入（提示）阻止：如果文本或图像分类器标记提示违反我们的政策，此策略涉及阻止工具生成视频。通过预先识别和阻止输入，此措施有助于防止在违规内容发生之前就阻止其生成。 ◦ 输出阻止：此方法在视频生成后应用，使用包括儿童性虐待材料（CSAM）分类器和安全导向推理监视器在内的控制组合，在我们的输入阻止被绕过的情况下阻止违反我们政策的视频输出。监视器是一个多模态推理模型，经过定制训练以推理内容政策。通过评估生成后的输出，此策略旨在阻止我们政策下不允许的任何内容，为防止创建不允许的内容提供额外的保护。 • 针对未成年人的增强保护措施：我们对可能未满18岁的用户更严格地应用上述缓解措施，同时限制他们创建某些类别年龄不当内容的能力。目前禁止13岁以下的用户使用OpenAI的任何产品或服务。 3.2 产品和使用政策 除了我们在模型和系统中构建的保护措施以防止生成违规内容外，我们还采取进一步措施来减少新Sora应用程序产品界面（视频、评论、个人资料和消息）的滥用。 我们通过产品内和公开可用的使用政策明确传达政策指南，这些政策禁止： • 侵犯他人隐私，包括未经许可使用他人肖像 • 使用Sora侵犯他人的安全和保障，包括威胁、骚扰或诽谤他人的内容、非自愿亲密图像或意图煽动暴力或他人痛苦的内容 • 通过冒充、诈骗或欺诈误导他人 • 以剥削、危害或性化未成年人的方式使用Sora 与Sora 1一样，其中一些形式的滥用通过我们的模型和系统缓解措施得到解决，但其他形式更具语境性，需要额外信息才能得到适当评估。为了支持执法，我们提供应用内报告，结合自动化和人工审核来检测滥用模式，并在发生违规时应用处罚或删除内容。用户会收到执法行动的通知并有机会回应。我们跟踪这些措施的有效性并随时间改进它们。 我们还采取措施过滤掉违规内容以及不适合年轻观众的内容，从Sora的社交订阅源中。 3.3 来源追溯和透明度倡议 由于Sora 2的许多潜在问题空间（如未经授权使用肖像）高度依赖语境，我们继续投资并完善我们的来源追溯工具。 对于正式发布，我们第一方（1P）产品的来源追溯安全工具将包括： • 所有资产上的C2PA元数据，通过行业标准提供可验证的来源 • 从sora.com或Sora应用程序下载的视频上的可见移动水印 • 内部检测工具，帮助评估某个视频或音频是否由我们的产品创建 我们认识到来源追溯没有单一解决方案，但我们将继续改进来源追溯生态系统，以帮助为我们工具创建的内容带来更多透明度。 3.4 特定风险领域和缓解措施 除了早期测试外，红队测试和安全评估突出了几个重点领域。 🚨 有害或不当输出 与Sora 1类似，Sora 2在没有缓解措施的情况下可能存在产生有害或不当内容的风险，包括暴力、自残、恐怖主义材料或性内容。为了解决这些风险，Sora 2使用自动检测系统扫描视频帧、场景描述和音频转录，旨在阻止违反我们指南的内容。我们还有主动检测系统、用户报告途径来标记不当内容，并对Sora 2社交订阅源中的材料应用更严格的阈值。我们持续监控趋势以适应新风险出现时的缓解措施。请参阅安全评估部分了解我们对特定类型内容的评估。 🎭 肖像滥用和欺骗性内容 Sora 2生成超现实视频和音频的能力引发了关于肖像、滥用和欺骗的重要担忧。如上所述，我们在部署中采用深思熟虑和迭代的方法来最小化这些潜在风险。我们初始发布的保护措施包括：在发布时不支持视频到视频生成，不支持公众人物的文本到视频生成，阻止包含真实人物的生成（除了通过Sora的肖像控制客串功能同意的用户）；以及需要明确选择同意和通过客串使用肖像的控制机制。在视频中出现真实人物的地方，将应用额外的模型保护措施。这些包括旨在防止非自愿裸体或色情输出、图形暴力或可能用于某些欺诈目的的输出的分类器。虽然一些欺骗性内容高度依赖语境且不易被分类器检测，但Sora的来源追溯措施旨在进一步减轻这些风险。 👶 儿童安全 OpenAI致力于解决我们所有产品（包括Sora）的儿童安全风险。我们优先考虑通过负责任地采购数据集以排除CSAM、与国家失踪和被剥削儿童中心（NCMEC）合作，以及在所有输入和输出中应用强大的扫描来预防、检测和报告儿童性虐待材料（CSAM）——包括第一方和第三方使用（API和企业），除非客户满足严格的移除标准。为了防止CSAM生成，我们构建了一个专用的安全堆栈，利用我们其他产品中使用的系统缓解措施以及专门为Sora开发的额外保护措施。有关我们特定CSAM安全堆栈的完整详细信息可以在我们的Sora系统卡片中找到。 🧒 青少年安全 Sora 2有许多额外的保护措施，旨在保护18岁以下的用户。这些包括： • 未成年用户的模型输出限制：我们对我们认为可能未满18岁的用户应用额外的审核阈值。另外，当我们的分类器检测到上传的图像或视频中存在潜在未成年人（包括通过Sora的客串功能）时，基于该图像或视频的后续生成将受到更严格的安全阈值，以防止其他类别的潜在有害生成。无论用户年龄如何，分类器都力求确保Sora的公共订阅源只包含符合我们18岁以下政策且适合青少年用户的内容。 • 隐私和家长控制：在sora.com和新Sora应用程序上部署Sora 2时，我们还将为青少年提供更严格的隐私保护措施和默认设置，包括限制如何使用他们的肖像，以及防止成人不必要的联系或发现的保护。此外，我们正在引入一套家长控制功能，您可以在我们的博客中了解更多信息。 如上所述，我们对此部署采用迭代方法，特定缓解措施可能在未来发生变化。 4. 红队测试 OpenAI与来自OpenAI红队网络的外部测试人员合作测试Sora 2，评估现有的安全缓解措施，并提供关于新兴风险的反馈。红队成员评估了新的安全措施，并为未来迭代提出了改进建议。 内容生成红队测试专注于OpenAI使用政策下的违规和不允许类别——包括性内容、裸体、极端主义、自残、不当行为、暴力和血腥以及政治说服——以及关于青少年安全和肖像使用的额外政策。红队成员还探测违规上传，测试媒体生成，尝试破解安全系统，并压力测试产品级保护措施。红队测试的见解为新安全措施的设计和现有措施的改进提供了信息，包括进一步调整提示过滤器、阻止列表和分类器阈值，以更好地使模型与我们的安全目标保持一致。 5. 安全评估 OpenAI使用通过针对性红队测试收集的数千个对抗性提示评估了Sora 2的安全堆栈。每个提示都按用例和政策领域分类，通过视频模型的仅帮助版本运行以生成输出，然后进行评分并转换为自动评估。生产安全堆栈——扫描视频帧、字幕和音频转录——测试了两个关键指标：not unsafe，衡量不安全内容被阻止的有效性（召回率），以及not overrefuse，衡量良性内容避免错误阻止的效果。以下是我们跨用例和政策汇总的结果摘要。 6. 持续的安全、政策和迭代部署工作 我们致力于将Sora 2构建为一个用户可以安全和自信地创建的系统。安全和创造力相辅相成：当人们可以信任他们使用的产品时，他们最具表现力。虽然已经实施了分层保护措施，但一些有害行为或政策违规仍可能绕过缓解措施。 为了加强保护，我们正在投资年龄预测和进一步的来源追溯措施等功能。随着Sora 2使用的发展，我们的安全堆栈将通过持续的微调和功能改进继续演进。内部团队将监控趋势，评估当前缓解措施的有效性，并调整政策或执法以应对新兴风险。 7. 致谢 感谢OpenAI的所有内部团队，包括传播、品牌设计、全球事务、诚信、情报与调查、法律、产品政策、安全系统和用户运营，他们的支持对于帮助开发和实施Sora的安全缓解措施以及他们对本系统卡片的贡献至关重要。 ↑ 1. Sora 2概述 2. 模型数据与数据过滤 3. 安全性：Sora 2的安全堆栈、评估和缓解措施 3.1 安全堆栈 3.2 产品和使用政策 3.3 来源追溯和透明度倡议 3.4 特定风险领域和缓解措施 4. 红队测试 5. 安全评估 6. 持续的安全、政策和迭代部署工作 7. 致谢 sora.com sora.com sora.com Unable to load Please check the network connection and retry. sora 2 system card.pdf · 228.07KB Retry sora 2 system card.pdf Unable to load Please check the network connection and retry. sora 2 system card.pdf · 228.07KB Retry sora 2 system card.pdf 📋 目录 • 1. Sora 2概述 1. Sora 2概述 • 2. 模型数据与数据过滤 2. 模型数据与数据过滤 • 3. 安全性：Sora 2的安全堆栈、评估和缓解措施 ◦ 3.1 安全堆栈 ◦ 3.2 产品和使用政策 ◦ 3.3 来源追溯和透明度倡议 ◦ 3.4 特定风险领域和缓解措施 3. 安全性：Sora 2的安全堆栈、评估和缓解措施 3.1 安全堆栈 3.2 产品和使用政策 3.3 来源追溯和透明度倡议 3.4 特定风险领域和缓解措施 ◦ 3.1 安全堆栈 3.1 安全堆栈 ◦ 3.2 产品和使用政策 3.2 产品和使用政策 ◦ 3.3 来源追溯和透明度倡议 3.3 来源追溯和透明度倡议 ◦ 3.4 特定风险领域和缓解措施 3.4 特定风险领域和缓解措施 • 4. 红队测试 4. 红队测试 • 5. 安全评估 5. 安全评估 • 6. 持续的安全、政策和迭代部署工作 6. 持续的安全、政策和迭代部署工作 • 7. 致谢 7. 致谢 1. Sora 2概述 Sora 2是我们新的最先进的视频和音频生成模型。在Sora的基础上，这个新模型引入了以往视频模型难以实现的能力——如更准确的物理原理、更清晰的现实感、同步音频、增强的可操控性和扩展的风格范围。该模型能够高保真地遵循用户指示，能够创建既富有想象力又基于现实世界动态的视频。Sora 2扩展了叙事和创意表达的工具包，同时也是迈向能够更准确模拟物理世界复杂性的模型的一步。Sora 2将通过sora.com、新的独立iOS Sora应用程序提供，未来还将通过我们的API提供。 sora.com Sora 2的先进能力需要考虑新的潜在风险，包括未经同意使用肖像或误导性生成内容。为了解决这些问题，我们与内部红队合作识别新的挑战并制定相应的缓解措施。我们采用迭代的安全方法，专注于语境特别重要或风险仍在出现且尚未完全理解的领域。 我们的迭代部署包括通过有限邀请推出Sora 2的初始访问权限，限制使用包含写实人物的图像上传和所有视频上传，并对涉及未成年人的内容设置严格的保护措施和审核阈值。我们将继续学习人们如何使用Sora 2，并完善系统以在最大化创意潜力的同时平衡安全性。本系统卡片描述了模型的能力、潜在风险以及OpenAI为Sora 2安全部署所开发的安全措施。 2. 模型数据与数据过滤 与OpenAI的其他模型一样，Sora 2在多样化的数据集上进行训练，包括互联网上公开可用的信息、我们与第三方合作访问的信息，以及我们的用户或人类训练师和研究人员提供或生成的信息。我们的数据处理管道包括严格的过滤以维护数据质量并减轻潜在风险。我们还使用安全分类器的组合来帮助防止有害或敏感内容的使用或生成，包括显性材料，如涉及未成年人的性内容。 3. 安全性：Sora 2的安全堆栈、评估和缓解措施 3.1 安全堆栈 为了安全部署Sora 2，我们构建了一个强大的安全堆栈，该堆栈基于我们从Sora 1中学到的经验，整合了为其他OpenAI模型和产品（如GPT 4o图像生成和DALL·E）开发的缓解措施，并添加了专门针对Sora 2的保护措施。这些措施包括： • 通过多模态审核分类器进行文本和图像审核：输入提示、输出视频帧、音频转录、评论和输出场景描述文本都通过各种安全模型运行： ◦ 输入（提示）阻止：如果文本或图像分类器标记提示违反我们的政策，此策略涉及阻止工具生成视频。通过预先识别和阻止输入，此措施有助于防止在违规内容发生之前就阻止其生成。 ◦ 输出阻止：此方法在视频生成后应用，使用包括儿童性虐待材料（CSAM）分类器和安全导向推理监视器在内的控制组合，在我们的输入阻止被绕过的情况下阻止违反我们政策的视频输出。监视器是一个多模态推理模型，经过定制训练以推理内容政策。通过评估生成后的输出，此策略旨在阻止我们政策下不允许的任何内容，为防止创建不允许的内容提供额外的保护。 ◦ 输入（提示）阻止：如果文本或图像分类器标记提示违反我们的政策，此策略涉及阻止工具生成视频。通过预先识别和阻止输入，此措施有助于防止在违规内容发生之前就阻止其生成。 ◦ 输出阻止：此方法在视频生成后应用，使用包括儿童性虐待材料（CSAM）分类器和安全导向推理监视器在内的控制组合，在我们的输入阻止被绕过的情况下阻止违反我们政策的视频输出。监视器是一个多模态推理模型，经过定制训练以推理内容政策。通过评估生成后的输出，此策略旨在阻止我们政策下不允许的任何内容，为防止创建不允许的内容提供额外的保护。 • 针对未成年人的增强保护措施：我们对可能未满18岁的用户更严格地应用上述缓解措施，同时限制他们创建某些类别年龄不当内容的能力。目前禁止13岁以下的用户使用OpenAI的任何产品或服务。 3.2 产品和使用政策 除了我们在模型和系统中构建的保护措施以防止生成违规内容外，我们还采取进一步措施来减少新Sora应用程序产品界面（视频、评论、个人资料和消息）的滥用。 我们通过产品内和公开可用的使用政策明确传达政策指南，这些政策禁止： • 侵犯他人隐私，包括未经许可使用他人肖像 • 使用Sora侵犯他人的安全和保障，包括威胁、骚扰或诽谤他人的内容、非自愿亲密图像或意图煽动暴力或他人痛苦的内容 • 通过冒充、诈骗或欺诈误导他人 • 以剥削、危害或性化未成年人的方式使用Sora 与Sora 1一样，其中一些形式的滥用通过我们的模型和系统缓解措施得到解决，但其他形式更具语境性，需要额外信息才能得到适当评估。为了支持执法，我们提供应用内报告，结合自动化和人工审核来检测滥用模式，并在发生违规时应用处罚或删除内容。用户会收到执法行动的通知并有机会回应。我们跟踪这些措施的有效性并随时间改进它们。 我们还采取措施过滤掉违规内容以及不适合年轻观众的内容，从Sora的社交订阅源中。 3.3 来源追溯和透明度倡议 由于Sora 2的许多潜在问题空间（如未经授权使用肖像）高度依赖语境，我们继续投资并完善我们的来源追溯工具。 对于正式发布，我们第一方（1P）产品的来源追溯安全工具将包括： • 所有资产上的C2PA元数据，通过行业标准提供可验证的来源 • 从sora.com或Sora应用程序下载的视频上的可见移动水印 sora.com • 内部检测工具，帮助评估某个视频或音频是否由我们的产品创建 我们认识到来源追溯没有单一解决方案，但我们将继续改进来源追溯生态系统，以帮助为我们工具创建的内容带来更多透明度。 3.4 特定风险领域和缓解措施 除了早期测试外，红队测试和安全评估突出了几个重点领域。 🚨 有害或不当输出 与Sora 1类似，Sora 2在没有缓解措施的情况下可能存在产生有害或不当内容的风险，包括暴力、自残、恐怖主义材料或性内容。为了解决这些风险，Sora 2使用自动检测系统扫描视频帧、场景描述和音频转录，旨在阻止违反我们指南的内容。我们还有主动检测系统、用户报告途径来标记不当内容，并对Sora 2社交订阅源中的材料应用更严格的阈值。我们持续监控趋势以适应新风险出现时的缓解措施。请参阅安全评估部分了解我们对特定类型内容的评估。 🎭 肖像滥用和欺骗性内容 Sora 2生成超现实视频和音频的能力引发了关于肖像、滥用和欺骗的重要担忧。如上所述，我们在部署中采用深思熟虑和迭代的方法来最小化这些潜在风险。我们初始发布的保护措施包括：在发布时不支持视频到视频生成，不支持公众人物的文本到视频生成，阻止包含真实人物的生成（除了通过Sora的肖像控制客串功能同意的用户）；以及需要明确选择同意和通过客串使用肖像的控制机制。在视频中出现真实人物的地方，将应用额外的模型保护措施。这些包括旨在防止非自愿裸体或色情输出、图形暴力或可能用于某些欺诈目的的输出的分类器。虽然一些欺骗性内容高度依赖语境且不易被分类器检测，但Sora的来源追溯措施旨在进一步减轻这些风险。 👶 儿童安全 OpenAI致力于解决我们所有产品（包括Sora）的儿童安全风险。我们优先考虑通过负责任地采购数据集以排除CSAM、与国家失踪和被剥削儿童中心（NCMEC）合作，以及在所有输入和输出中应用强大的扫描来预防、检测和报告儿童性虐待材料（CSAM）——包括第一方和第三方使用（API和企业），除非客户满足严格的移除标准。为了防止CSAM生成，我们构建了一个专用的安全堆栈，利用我们其他产品中使用的系统缓解措施以及专门为Sora开发的额外保护措施。有关我们特定CSAM安全堆栈的完整详细信息可以在我们的Sora系统卡片中找到。 🧒 青少年安全 Sora 2有许多额外的保护措施，旨在保护18岁以下的用户。这些包括： • 未成年用户的模型输出限制：我们对我们认为可能未满18岁的用户应用额外的审核阈值。另外，当我们的分类器检测到上传的图像或视频中存在潜在未成年人（包括通过Sora的客串功能）时，基于该图像或视频的后续生成将受到更严格的安全阈值，以防止其他类别的潜在有害生成。无论用户年龄如何，分类器都力求确保Sora的公共订阅源只包含符合我们18岁以下政策且适合青少年用户的内容。 • 隐私和家长控制：在sora.com和新Sora应用程序上部署Sora 2时，我们还将为青少年提供更严格的隐私保护措施和默认设置，包括限制如何使用他们的肖像，以及防止成人不必要的联系或发现的保护。此外，我们正在引入一套家长控制功能，您可以在我们的博客中了解更多信息。 sora.com 如上所述，我们对此部署采用迭代方法，特定缓解措施可能在未来发生变化。 4. 红队测试 OpenAI与来自OpenAI红队网络的外部测试人员合作测试Sora 2，评估现有的安全缓解措施，并提供关于新兴风险的反馈。红队成员评估了新的安全措施，并为未来迭代提出了改进建议。 内容生成红队测试专注于OpenAI使用政策下的违规和不允许类别——包括性内容、裸体、极端主义、自残、不当行为、暴力和血腥以及政治说服——以及关于青少年安全和肖像使用的额外政策。红队成员还探测违规上传，测试媒体生成，尝试破解安全系统，并压力测试产品级保护措施。红队测试的见解为新安全措施的设计和现有措施的改进提供了信息，包括进一步调整提示过滤器、阻止列表和分类器阈值，以更好地使模型与我们的安全目标保持一致。 5. 安全评估 OpenAI使用通过针对性红队测试收集的数千个对抗性提示评估了Sora 2的安全堆栈。每个提示都按用例和政策领域分类，通过视频模型的仅帮助版本运行以生成输出，然后进行评分并转换为自动评估。生产安全堆栈——扫描视频帧、字幕和音频转录——测试了两个关键指标：not unsafe，衡量不安全内容被阻止的有效性（召回率），以及not overrefuse，衡量良性内容避免错误阻止的效果。以下是我们跨用例和政策汇总的结果摘要。 6. 持续的安全、政策和迭代部署工作 我们致力于将Sora 2构建为一个用户可以安全和自信地创建的系统。安全和创造力相辅相成：当人们可以信任他们使用的产品时，他们最具表现力。虽然已经实施了分层保护措施，但一些有害行为或政策违规仍可能绕过缓解措施。 为了加强保护，我们正在投资年龄预测和进一步的来源追溯措施等功能。随着Sora 2使用的发展，我们的安全堆栈将通过持续的微调和功能改进继续演进。内部团队将监控趋势，评估当前缓解措施的有效性，并调整政策或执法以应对新兴风险。 7. 致谢 感谢OpenAI的所有内部团队，包括传播、品牌设计、全球事务、诚信、情报与调查、法律、产品政策、安全系统和用户运营，他们的支持对于帮助开发和实施Sora的安全缓解措施以及他们对本系统卡片的贡献至关重要。 ↑ OpenAI | 2025年9月30日