谷歌开源可商用的大语言模型Gemma

谷歌开源可商用的大语言模型Gemma 谷歌开源可商用的大语言模型Gemma Modified February 22, 2024 模型地址：Models Hugging Face，Gemma • 开源一个负责任的生成式AI工具包提供了指导和必要工具，用于使用Gemma创建更安全的AI应用程序。 • 提供了用于推理和监督式微调（SFT）的工具链：通过原生Keras 3.0支持JAX、PyTorch和TensorFlow。 • 随时可用的Colab和Kaggle notebook，以及与流行工具如Hugging Face、MaxText、NVIDIA NeMo和TensorRT LLM的集成，使得开始使用Gemma变得简单。 • 预训练和指令调优的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行，通过Vertex AI和Google Kubernetes Engine（GKE）轻松部署。 • 在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPU。 • 使用条款允许所有组织，无论大小，负责任地进行商业使用和分发。 Gemma模型的参数如下所示。其中Gemma 2B采用512 TPUv5e 训练，预训练数据量为2T tokens，而Gemma 7B采用4096 TPUv5e 训练，预训练数据量为6T tokens。 Gemma在技术和架构上和谷歌的商业大模型Gemini同源，这使得Gemma在效果上也超过其它同类开源模型，如Llama 2： 特别地，谷歌开源的Gemma在设计时将安全放在首位。为了确保Gemma预训练模型安全可靠，使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外，还通过大量的微调和来自人类反馈的强化学习（RLHF），使指令调优模型与负责任的行为保持一致。 最后附上Gemma的参考学习资料： 介绍博客：https://blog.google/technology/developers/gemma open models 技术报告：https://goo.gle/GemmaReport 使用指南：https://ai.google.dev/gemma?hl=zh cn 开源模型地址：Models Hugging Face 现在谷歌已经开源模型了，压力到了OpenAI这边了。 Models Hugging Face Gemma 一个负责任的生成式AI工具包 推理和监督式微调（SFT）的工具链 Colab Kaggle notebook https://blog.google/technology/developers/gemma open models https://goo.gle/GemmaReport https://ai.google.dev/gemma?hl=zh cn Models Hugging Face 模型地址：Models Hugging Face，Gemma Models Hugging Face Gemma • 开源一个负责任的生成式AI工具包提供了指导和必要工具，用于使用Gemma创建更安全的AI应用程序。 一个负责任的生成式AI工具包 • 提供了用于推理和监督式微调（SFT）的工具链：通过原生Keras 3.0支持JAX、PyTorch和TensorFlow。 推理和监督式微调（SFT）的工具链 • 随时可用的Colab和Kaggle notebook，以及与流行工具如Hugging Face、MaxText、NVIDIA NeMo和TensorRT LLM的集成，使得开始使用Gemma变得简单。 Colab Kaggle notebook • 预训练和指令调优的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行，通过Vertex AI和Google Kubernetes Engine（GKE）轻松部署。 • 在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIA GPU和Google Cloud TPU。 • 使用条款允许所有组织，无论大小，负责任地进行商业使用和分发。 Gemma模型的参数如下所示。其中Gemma 2B采用512 TPUv5e 训练，预训练数据量为2T tokens，而Gemma 7B采用4096 TPUv5e 训练，预训练数据量为6T tokens。 Gemma在技术和架构上和谷歌的商业大模型Gemini同源，这使得Gemma在效果上也超过其它同类开源模型，如Llama 2： 特别地，谷歌开源的Gemma在设计时将安全放在首位。为了确保Gemma预训练模型安全可靠，使用自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外，还通过大量的微调和来自人类反馈的强化学习（RLHF），使指令调优模型与负责任的行为保持一致。 最后附上Gemma的参考学习资料： 介绍博客：https://blog.google/technology/developers/gemma open models https://blog.google/technology/developers/gemma open models 技术报告：https://goo.gle/GemmaReport https://goo.gle/GemmaReport 使用指南：https://ai.google.dev/gemma?hl=zh cn https://ai.google.dev/gemma?hl=zh cn 开源模型地址：Models Hugging Face Models Hugging Face 现在谷歌已经开源模型了，压力到了OpenAI这边了。 作者小小将 华中科技大学 工学硕士 小小将 作者小小将 华中科技大学 工学硕士 小小将 作者小小将 小小将 华中科技大学 工学硕士 刚刚，谷歌破天荒地开源了LLM大模型Gemma：Gemma是一系列轻量级的最先进开源模型，它们是基于创建Gemini模型的相同研究和技术构建的。由Google DeepMind和Google的其他团队开发，Gemma的灵感来自于Gemini，其名称反映了拉丁语中“宝石”的意思。除了模型权重，谷歌还发布了一些工具来支持开发者的创新，促进合作，并指导Gemma模型的负责任使用。 这次开源的Gemma重点如下： • 共两个尺寸的模型权重：Gemma 2B和Gemma 7B。每种尺寸都提供了预训练和指令调优的版本。