Meta新开源模型 Code World Model (CWM)

Meta新开源模型 Code World Model (CWM) Meta新开源模型 Code World Model (CWM) Modified September 25, 2025 原文链接：https://github.com/facebookresearch/cwm 代码世界模型（CWM）是一个拥有 320 亿参数的开源权重 LLM，旨在推进基于世界模型的代码生成研究。 CWM 发布内容包括模型权重（预训练、SFT 和指令微调）、技术报告、模型卡以及用于运行模型推理和复现 SWE bench 验证、LiveCodeBench、AIME 和 MATH 等关键基准报告数据的起始代码。 No access CWM：一个用于基于世界模型的代码生成研究的开源权重大语言模型.pdf 摘要 我们介绍了代码世界模型（CWM）。CWM 是一个用于代码生成和代码推理的 LLM，特别训练用于更好地表示和推理代码和命令如何影响程序或系统的状态。具体来说，我们在大量 Python 执行轨迹和容器化环境中的代理交互观察 动作轨迹上对 CWM 进行了中间训练。我们使用广泛的跨任务强化学习在可验证的编码、数学和多轮软件工程环境中进行后训练。 模型下载 Hugging Face 权重 模型权重可在 Hugging Face 上获取，用于 vLLM。 从 Hugging Face 下载权重，请按照以下步骤操作： • 访问其中一个仓库，例如 facebook/cwm • 阅读并接受许可协议。一旦您的请求获得批准，您将获得所有 CWM 模型权重的访问权限。请注意，以前的请求处理时间可能长达一小时。 PyTorch 权重 我们进一步以 PyTorch 分布式检查点格式（DCP）为希望深入探索或使用本仓库发布代码的开发者提供 PyTorch 检查点 。一旦您的请求获得批准，您将通过电子邮件收到一个带签名的 URL，该 URL 可用于与 ./download pytorch.sh <URL 一起使用。链接可能在 24 小时后或达到固定下载次数后过期。如果您开始看到错误，例如 403: Forbidden，请重新申请。 请参考下方的模型卡了解模型详情、更多关于用途、风险和限制的信息，以及权重发布的许可证。 模型卡 参见 模型卡 。 在 CWM 仓库中开始使用 环境设置 micromamba env create f environment.yaml n CWM 注意：使用较新版本的 micromamba（ = 2.2.0）以确保环境变量设置正确。 160GB 的 GPU 显存（例如两块 Nvidia H100 GPU）和 RDMA（Mellanox 5 InfiniBand 或 AWS EFA）是运行此仓库中的评估和演示及其默认配置所需的。 模型使用提示 CWM 在推理期间需要专用的系统提示才能发挥最佳性能。如果没有正确的提示配置，CWM 的输出质量可能会显著下降。详情请查看 MODEL CARD.md。 使用 CWM 进行推理 为了提供一个参考推理实现，我们提供了一个简单的服务端点，用于从 PyTorch DCP 权重和 Fastgen（Carbonneaux 等人）服务器本地运行 CWM 模型推理。查看 serve README 开始使用。 重现评估结果 我们提供了运行推理并使用 CWM 重现我们智能体和推理评估结果的主要逻辑。查看 evals README 获取说明。 演示 我们提供演示来展示模型的功能。通过我们的演示，你可以将 CWM 用作神经调试器。开始使用 demos README。 使用 Hugging Face 权重的示例 例如，从 Hugging Face 权重开始使用 CWM 的示例代码，请参考模型卡 。 许可证 • 本仓库中的代码遵循 BSD 3 许可协议，具体内容可在 LICENSE 文件中找到。 • 模型权重遵循自定义许可协议，具体内容可在 CWM 许可页面中找到。 引用 Code block Plain Text @misc{cwm2025, author = {FAIR CodeGen Team, Meta}, title = {CWM: An Open Weights LLM for Research on Code Generation with World Models}, year = {2025}, url = {https://ai.meta.com/research/publications/cwm/} } facebook/cwm PyTorch 检查点 模型卡 MODEL CARD.md serve README evals README demos README 模型卡 LICENSE 文件 CWM 许可页面 原文链接：https://github.com/facebookresearch/cwm 原文链接：https://github.com/facebookresearch/cwm 代码世界模型（CWM）是一个拥有 320 亿参数的开源权重 LLM，旨在推进基于世界模型的代码生成研究。 CWM 发布内容包括模型权重（预训练、SFT 和指令微调）、技术报告、模型卡以及用于运行模型推理和复现 SWE bench 验证、LiveCodeBench、AIME 和 MATH 等关键基准报告数据的起始代码。 No access CWM：一个用于基于世界模型的代码生成研究的开源权重大语言模型.pdf No access CWM：一个用于基于世界模型的代码生成研究的开源权重大语言模型.pdf 摘要 我们介绍了代码世界模型（CWM）。CWM 是一个用于代码生成和代码推理的 LLM，特别训练用于更好地表示和推理代码和命令如何影响程序或系统的状态。具体来说，我们在大量 Python 执行轨迹和容器化环境中的代理交互观察 动作轨迹上对 CWM 进行了中间训练。我们使用广泛的跨任务强化学习在可验证的编码、数学和多轮软件工程环境中进行后训练。 模型下载 Hugging Face 权重 模型权重可在 Hugging Face 上获取，用于 vLLM。 从 Hugging Face 下载权重，请按照以下步骤操作： • 访问其中一个仓库，例如 facebook/cwm facebook/cwm • 阅读并接受许可协议。一旦您的请求获得批准，您将获得所有 CWM 模型权重的访问权限。请注意，以前的请求处理时间可能长达一小时。 PyTorch 权重 我们进一步以 PyTorch 分布式检查点格式（DCP）为希望深入探索或使用本仓库发布代码的开发者提供 PyTorch 检查点 。一旦您的请求获得批准，您将通过电子邮件收到一个带签名的 URL，该 URL 可用于与 ./download pytorch.sh <URL 一起使用。链接可能在 24 小时后或达到固定下载次数后过期。如果您开始看到错误，例如 403: Forbidden，请重新申请。 PyTorch 检查点 请参考下方的模型卡了解模型详情、更多关于用途、风险和限制的信息，以及权重发布的许可证。 模型卡 参见 模型卡 。 模型卡 在 CWM 仓库中开始使用 环境设置 micromamba env create f environment.yaml n CWM 注意：使用较新版本的 micromamba（ = 2.2.0）以确保环境变量设置正确。 160GB 的 GPU 显存（例如两块 Nvidia H100 GPU）和 RDMA（Mellanox 5 InfiniBand 或 AWS EFA）是运行此仓库中的评估和演示及其默认配置所需的。 模型使用提示 CWM 在推理期间需要专用的系统提示才能发挥最佳性能。如果没有正确的提示配置，CWM 的输出质量可能会显著下降。详情请查看 MODEL CARD.md。 MODEL CARD.md CWM 在推理期间需要专用的系统提示才能发挥最佳性能。如果没有正确的提示配置，CWM 的输出质量可能会显著下降。详情请查看 MODEL CARD.md。 MODEL CARD.md 使用 CWM 进行推理 为了提供一个参考推理实现，我们提供了一个简单的服务端点，用于从 PyTorch DCP 权重和 Fastgen（Carbonneaux 等人）服务器本地运行 CWM 模型推理。查看 serve README 开始使用。 serve README 重现评估结果 我们提供了运行推理并使用 CWM 重现我们智能体和推理评估结果的主要逻辑。查看 evals README 获取说明。 evals README 演示 我们提供演示来展示模型的功能。通过我们的演示，你可以将 CWM 用作神经调试器。开始使用 demos README。 demos README 使用 Hugging Face 权重的示例 例如，从 Hugging Face 权重开始使用 CWM 的示例代码，请参考模型卡 。 模型卡 许可证 • 本仓库中的代码遵循 BSD 3 许可协议，具体内容可在 LICENSE 文件中找到。 LICENSE 文件 • 模型权重遵循自定义许可协议，具体内容可在 CWM 许可页面中找到。 CWM 许可页面 引用