腾讯整了两个大的，开源最大规模 MoE 模型、优质 3D 生成模型

腾讯整了两个大的，开源最大规模 MoE 模型、优质 3D 生成模型腾讯整了两个大的，开源最大规模 MoE 模型、优质 3D 生成模型 Modified November 5, 2024 Hunyuan Large MoE 模型今天开源的 Hunyuan Large 这个 MoE 大语言模型是目前业界最大规模的MoE 模型，业界最大的开源基于 Transformer 的 MoE 模型，总参数量达到 3890 亿，激活参数量为 520 亿。简单解释一下什么是 MoE 模型： MoE (专家混合模型)就像是一个由多个"专家"组成的团队,每个专家擅长处理不同类型的问题,系统会根据输入的具体问题自动选择最合适的专家来解答。就像一个医院的分诊台,护士会根据病人的症状将其转介给最适合的专科医生一样。这样不仅能提高效率,还能保证问题得到最专业的处理。模型特色： • 高质量合成数据：通过使用合成数据增强训练，Hunyuan Large 能够学习更丰富的表示，处理长上下文输入，并更好地对未见数据进行泛化。 • KV 缓存压缩：利用分组查询注意力（GQA）和跨层注意力（CLA）策略显著减少 KV 缓存的内存使用和计算开销，提高推理吞吐量。 • 专家特定学习率缩放：为不同专家设置不同的学习率，以确保每个子模型有效地从数据中学习并对整体性能做出贡献。 • 长上下文处理能力：预训练模型支持最长 256K 的文本序列，而指令模型支持最长 128K，显著增强了处理长上下文任务的能力。另外他们也对模型推理框架做了很多优化，比如： • 引入了一种新的 CLA 结构，显著减少了 GPU 内存使用（KV Cache 部分节省了 50%），确保了对长文本场景的高效处理。 • 通过 FP8 量化优化，实现与传统 FP16/BF16 量化相比内存使用减少 50%的同时保持精度，导致吞吐量提高 70%。最后跑一下分吧：从测试结果看 Hunyuan Large 的成绩没有辜负他这个体量，在 MMLU、MMLU Pro 和 CMMLU 这种综合测试下比同规模的 Llama 405B、Mixtral 8x22B等模型都要好很多。另外在近期最重要的数学推理层面，Hunyuan Large 成绩更是大幅领先其他同规模模型。怎么使用： Hunyuan Large 会上线腾讯云TI平台，同步支持业务自主精调及部署测试。另外你可以在 Huggingface 等平台下载已经开源的模型权重。 Hunyuan3D 1.0 除了语言模型以外，腾讯作为游戏大户是必然不可能放过 3D 和游戏生成的。他们开源了Hunyuan3D 1.0 ，首个同时支持文字和图像生成开源 3D 生成模型。 Hunyuan3D 1.0 最重要的优势就是具有非常好的泛化性，无论是建筑、角色、场景、生物都可以很好的生成。为了解决泛化性的问题 Hunyuan3D 1.0 主要由两个部分级联模型组成。在第一阶段，采用多视图扩散模型，能在约4秒内高效生成多视图RGB图像。这些多视图图像从不同视角捕捉3D资产的丰富细节，将任务从单视图重建放宽到多视图重建。在第二阶段，引入了一个前馈重建模型，能够在约7秒内根据生成的多视图图像快速且忠实地重建3D资产。重建网络学会处理多视图扩散引入的噪声和不一致性，并利用条件图像中可用的信息来高效恢复3D结构。而且重点是他们整合了混元的图像生成模型，可以直接从文字生成 3D 模型，这是一个很大的突破。那么效果怎么样呢，在他们自己的测试上， Hunyuan3D 1.0 在 5 个基准上都取得了非常好的成绩。并在保证高质量、多样化生成的条件下，推理性能也达到了业界领先水平，显著减少了 3D 资产生产的耗时。落地和使用 Hunyuan3D 1.0 在腾讯内部也已经在很多地方落地了，比如UGC 3D创作、商品素材合成、游戏3D资产生成等。另外在腾讯地图里面他们也基于 Hunyuan3D 1.0 模型开发了自定义3D导航车标功能。最重要体验入口是元宝APP，上线了”3D 角色梦工厂“，支持个性化的 UGC 3D 人物生成，3D 表现力还是很强了，推荐大家去试试。混元Large地址官网地址： https://llm.hunyuan.tencent.com/ [1] Github地址： https://github.com/Tencent/Tencent Hunyuan Large [2] Hugging Face 地址： https://huggingface.co/tencent/Tencent Hunyuan Large [3] 3D模型地址官网地址： https://3d.hunyuan.tencent.com/ [4] Github 地址： https://github.com/Tencent/Hunyuan3D 1 [5] Hugging Face 模型地址： https://huggingface.co/tencent/Hunyuan3D 1 [6] References [1] : https://llm.hunyuan.tencent.com/ [2] : https://github.com/Tencent/Tencent Hunyuan Large [3] : https://huggingface.co/tencent/Tencent Hunyuan Large [4] : https://3d.hunyuan.tencent.com/ [5] : https://github.com/Tencent/Hunyuan3D 1 [6] : https://huggingface.co/tencent/Hunyuan3D 1 Hunyuan Large MoE 模型今天开源的 Hunyuan Large 这个 MoE 大语言模型是目前业界最大规模的MoE 模型，业界最大的开源基于 Transformer 的 MoE 模型，总参数量达到 3890 亿，激活参数量为 520 亿。简单解释一下什么是 MoE 模型： MoE (专家混合模型)就像是一个由多个"专家"组成的团队,每个专家擅长处理不同类型的问题,系统会根据输入的具体问题自动选择最合适的专家来解答。就像一个医院的分诊台,护士会根据病人的症状将其转介给最适合的专科医生一样。这样不仅能提高效率,还能保证问题得到最专业的处理。模型特色： • 高质量合成数据：通过使用合成数据增强训练，Hunyuan Large 能够学习更丰富的表示，处理长上下文输入，并更好地对未见数据进行泛化。 • KV 缓存压缩：利用分组查询注意力（GQA）和跨层注意力（CLA）策略显著减少 KV 缓存的内存使用和计算开销，提高推理吞吐量。 • 专家特定学习率缩放：为不同专家设置不同的学习率，以确保每个子模型有效地从数据中学习并对整体性能做出贡献。 • 长上下文处理能力：预训练模型支持最长 256K 的文本序列，而指令模型支持最长 128K，显著增强了处理长上下文任务的能力。另外他们也对模型推理框架做了很多优化，比如： • 引入了一种新的 CLA 结构，显著减少了 GPU 内存使用（KV Cache 部分节省了 50%），确保了对长文本场景的高效处理。 • 通过 FP8 量化优化，实现与传统 FP16/BF16 量化相比内存使用减少 50%的同时保持精度，导致吞吐量提高 70%。最后跑一下分吧：从测试结果看 Hunyuan Large 的成绩没有辜负他这个体量，在 MMLU、MMLU Pro 和 CMMLU 这种综合测试下比同规模的 Llama 405B、Mixtral 8x22B等模型都要好很多。另外在近期最重要的数学推理层面，Hunyuan Large 成绩更是大幅领先其他同规模模型。怎么使用： Hunyuan Large 会上线腾讯云TI平台，同步支持业务自主精调及部署测试。另外你可以在 Huggingface 等平台下载已经开源的模型权重。 Hunyuan3D 1.0 除了语言模型以外，腾讯作为游戏大户是必然不可能放过 3D 和游戏生成的。他们开源了Hunyuan3D 1.0 ，首个同时支持文字和图像生成开源 3D 生成模型。 Hunyuan3D 1.0 最重要的优势就是具有非常好的泛化性，无论是建筑、角色、场景、生物都可以很好的生成。为了解决泛化性的问题 Hunyuan3D 1.0 主要由两个部分级联模型组成。在第一阶段，采用多视图扩散模型，能在约4秒内高效生成多视图RGB图像。这些多视图图像从不同视角捕捉3D资产的丰富细节，将任务从单视图重建放宽到多视图重建。在第二阶段，引入了一个前馈重建模型，能够在约7秒内根据生成的多视图图像快速且忠实地重建3D资产。重建网络学会处理多视图扩散引入的噪声和不一致性，并利用条件图像中可用的信息来高效恢复3D结构。而且重点是他们整合了混元的图像生成模型，可以直接从文字生成 3D 模型，这是一个很大的突破。那么效果怎么样呢，在他们自己的测试上， Hunyuan3D 1.0 在 5 个基准上都取得了非常好的成绩。并在保证高质量、多样化生成的条件下，推理性能也达到了业界领先水平，显著减少了 3D 资产生产的耗时。落地和使用 Hunyuan3D 1.0 在腾讯内部也已经在很多地方落地了，比如UGC 3D创作、商品素材合成、游戏3D资产生成等。另外在腾讯地图里面他们也基于 Hunyuan3D 1.0 模型开发了自定义3D导航车标功能。最重要体验入口是元宝APP，上线了”3D 角色梦工厂“，支持个性化的 UGC 3D 人物生成，3D 表现力还是很强了，推荐大家去试试。混元Large地址官网地址： https://llm.hunyuan.tencent.com/ [1] Github地址： https://github.com/Tencent/Tencent Hunyuan Large [2] Hugging Face 地址： https://huggingface.co/tencent/Tencent Hunyuan Large [3] 3D模型地址官网地址： https://3d.hunyuan.tencent.com/ [4] Github 地址： https://github.com/Tencent/Hunyuan3D 1 [5] Hugging Face 模型地址： https://huggingface.co/tencent/Hunyuan3D 1 [6] References [1] : https://llm.hunyuan.tencent.com/ [2] : https://github.com/Tencent/Tencent Hunyuan Large [3] : https://huggingface.co/tencent/Tencent Hunyuan Large [4] : https://3d.hunyuan.tencent.com/ [5] : https://github.com/Tencent/Hunyuan3D 1 [6] : https://huggingface.co/tencent/Hunyuan3D 1 🔗 原文链接： https://mp.weixin.qq.com/s/1aZgwWgw... https://mp.weixin.qq.com/s/1aZgwWgw... 原创歸藏的 AI 工具箱歸藏的AI工具箱 2024年11月05日 17:08 北京最近使用元宝总结长内容和整理信息越来越多了，前几天突然想到说腾讯有一段时间没有特别大的发布了。刚好今天他们就开了一个小型发布会，搞了两个大的，发布了目前业界规模最大的开源 MoE 大语言模型和一个已经在产品落地的 3D 生成模型。元宝 APP 也更新了更多的能力，比如上线了 AI 搜索功能支持搜索 QQ 音乐的音乐和微信视频号的视频，更多模态的 AI 搜索，这下不得不用了，而且对于视频号生态的建设也很有帮助。