Llama 4 发布，1000万上下文长度

Llama 4 发布，1000万上下文长度 Llama 4 发布，1000万上下文长度 Modified April 6, 2025 另外还有Llama 4 Behemoth： 288B活跃参数，16 位专家MoE模型在多项 STEM 基准测试中超越了 GPT 4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro 总参数超过了 4T！目前仍在训练 Quote 非常兴奋的 Llama4 是 MOE。他们将在具有足够 RAM 的 Mac 上使用 MLX 飞行。以下是以 4 位运行每个模型所需的最小设置 Llama 4 Maverick 17B active 在 M3 Ultra 上的速度是 50Token /秒 Llama 4 Scout 和 Maverick 现已在 OpenRouter 上推出而且有免费版本 Llama 4 Scout & Maverick 现已在 OpenRouter 上可用。 Meta 旗舰模型系列创下 1000 万 Token Context 长度 Groq 上的 Llama 4 Scout 运行速度是 511 Token 每秒同时可以用 API 白嫖 Llama 4 Maverick 在LLM竞技场总榜第二，开源LLM第一排名第一的开放模型，超越 DeepSeek 在硬性提示、编码、数学、创意写作中并列第一大幅超越 Llama 3 405B: 1268 → 1417 风格控制排名第五重要亮点创新架构与训练方法：Llama 4 系列是首个采用混合专家架构的模型，计算效率更高，质量更好。采用原生多模态设计和新的训练技术 MetaP，支持 200 种语言预训练，数据混合是 Llama 3 的两倍多。出色的性能表现：Llama 4 Scout 和 Llama 4 Maverick 在图像和文本理解、编码、推理、多语言、长上下文等方面表现出色，超过同类模型，Llama 4 Behemoth 在多个基准测试中表现出先进的智能。后训练策略：Llama 4 Maverick 在多种输入模式、推理和对话能力之间保持平衡，采用精心策划的课程策略和持续在线 RL 策略等。Llama 4 Scout 上下文长度大幅增加，具有创新的架构和注意力缩放。安全防护措施：Meta 致力于开发有用且安全的模型，采取了从预训练到后训练的多层防护措施，以及系统级的开源安全工具，如 Llama Guard、Prompt Guard 和 CyberSecEval 等。消除偏见的努力：Meta 努力消除模型中的偏见，使 Llama 4 在有争议的政治和社会话题上表现更平衡，拒绝回答的情况减少，与 Grok 相当。但是：实测的评价另外还有Llama 4 Behemoth： 288B活跃参数，16 位专家MoE模型在多项 STEM 基准测试中超越了 GPT 4.5、Claude Sonnet 3.7 和 Gemini 2.0 Pro 总参数超过了 4T！目前仍在训练 Quote 非常兴奋的 Llama4 是 MOE。他们将在具有足够 RAM 的 Mac 上使用 MLX 飞行。以下是以 4 位运行每个模型所需的最小设置 Llama 4 Maverick 17B active 在 M3 Ultra 上的速度是 50Token /秒 Llama 4 Scout 和 Maverick 现已在 OpenRouter 上推出而且有免费版本 Llama 4 Scout & Maverick 现已在 OpenRouter 上可用。 Meta 旗舰模型系列创下 1000 万 Token Context 长度 Groq 上的 Llama 4 Scout 运行速度是 511 Token 每秒同时可以用 API 白嫖 Llama 4 Maverick 在LLM竞技场总榜第二，开源LLM第一排名第一的开放模型，超越 DeepSeek 在硬性提示、编码、数学、创意写作中并列第一大幅超越 Llama 3 405B: 1268 → 1417 风格控制排名第五重要亮点创新架构与训练方法：Llama 4 系列是首个采用混合专家架构的模型，计算效率更高，质量更好。采用原生多模态设计和新的训练技术 MetaP，支持 200 种语言预训练，数据混合是 Llama 3 的两倍多。出色的性能表现：Llama 4 Scout 和 Llama 4 Maverick 在图像和文本理解、编码、推理、多语言、长上下文等方面表现出色，超过同类模型，Llama 4 Behemoth 在多个基准测试中表现出先进的智能。后训练策略：Llama 4 Maverick 在多种输入模式、推理和对话能力之间保持平衡，采用精心策划的课程策略和持续在线 RL 策略等。Llama 4 Scout 上下文长度大幅增加，具有创新的架构和注意力缩放。安全防护措施：Meta 致力于开发有用且安全的模型，采取了从预训练到后训练的多层防护措施，以及系统级的开源安全工具，如 Llama Guard、Prompt Guard 和 CyberSecEval 等。消除偏见的努力：Meta 努力消除模型中的偏见，使 Llama 4 在有争议的政治和社会话题上表现更平衡，拒绝回答的情况减少，与 Grok 相当。但是：实测的评价 🏆 信息源： https://ai.meta.com/blog/llama 4 multimodal intelligence/ https://www.llama.com/?utm source=twitter&utm medium=organic social&utm content=image&utm campaign=llama4 信息源： https://ai.meta.com/blog/llama 4 multimodal intelligence/ https://www.llama.com/?utm source=twitter&utm medium=organic social&utm content=image&utm campaign=llama4 Llama 4 发布，达到了1000万上下文长度， Llama 4 Scout： 17B活跃参数的 16 位专家MoE模型，1000 万上下文窗口，仅需单个 NVIDIA H100 GPU 可运行 Llama 4 Maverick： 17B活跃参数的128 位专家MoE模型，LLM竞技场得分最高的开源模型，支持图像多模态识别今天是原生多模态 AI 创新新时代的开始。今天，我们将推出第一款 Llama 4 型号：Llama 4 Scout 和 Llama 4 Maverick — 我们迄今为止最先进的型号，也是同类产品中最好的多模态型号。 Llama 4 侦察兵 • 17B 主动参数模型