开源大模型赛道迎来重磅新品。
当地时间2月21日,谷歌宣布正式推出全新的开源大语言模型“Gemma”, 旨在帮助开发人员和研究人员负责任地构建人工智能。
据介绍,Gemma大模型与谷歌规模最大、能力最强的人工智能模型Gemini共享技术和基础架构,“受到 Gemini的启发,Google DeepMind和Google其他团队合作开发了Gemma,并用拉丁语中意为‘宝石’的gemma为其命名。”
不过相比Gemini,Gemma更加轻量化。同时,Gemma依旧保持免费使用,其模型权重也一并开源,并且允许商用。
谷歌共发布了两种不同权重规模的模型,分别为Gemma 2B和Gemma 7B(70亿参数)。每种规模都有预训练和指令微调版本,允许所有组织(无论规模大小)负责任地进行商用和分发。
谷歌发布Gemma的同日,风头正盛的芯片制造商英伟达也宣布,已与谷歌达成合作,确保Gemma模型在其芯片上顺利运行。英伟达还表示,旗下聊天机器人软件Chat With RTX也将马上支持Gemma。
值得注意的是,谷歌还强调,Gemma能在关键基准上越级碾压更大的模型。更为令人印象深刻的是,谷歌Gemma可以在笔记本电脑上运行。
谷歌方面表示,Gemini是我们当今广泛使用的最大、功能最强大的AI模型。与其他开放模型相比,Gemma 2B和7B能够在其范围内实现同类最佳的性能。Gemma模型能够直接在开发人员笔记本电脑或台式计算机上运行,“值得注意的是,Gemma在关键基准上超越了更大的模型,同时遵守我们安全和负责任的输出的严格标准。”
在开源模型的同时,谷歌还公布了有关Gemma的性能、数据集组成和建模方法的详细信息的技术报告。有研究人员在技术报告中发现,Gemma支持的词汇表大小达到了256K,这意味着它对英语之外的其他语言能够提供更好、更快的支持。
Gemma也第一时间在知名开源模型库HuggingFace和HuggingChat上线。上线不久之后,在HuggingFace的“大语言模型榜单”上,Gemma 2B和7B模型已经双双登顶。
AI行业专家、深度学习框架Keras的作者Fran ois Chollet更是对此表示,最强开源大模型的位置现在易主了。
Gemma的竞争对手Llama 3也发布在即。1月19日,Meta联合创始人兼首席执行官扎克伯格宣布,Meta正在训练Llama 3并且将以负责任地方式继续开源。