谷歌近日正式发布了Gemma 2系列的新成员——Gemma 2 2B参数模型。该模型仅有20亿参数,但在多项基准测试中表现优异,甚至超越了拥有1750亿参数的GPT-3.5。Gemma 2 2B采用了创新的架构设计,包括分组查询注意力机制和滑动窗口注意力,显著提升了推理效率。

据悉,Gemma 2 2B在MMLU、HellaSwag、WinoGrande等测试中均取得了领先成绩,尤其在数学和代码生成任务上表现出色。该模型支持多种部署方式,包括消费级GPU和CPU,为开发者提供了更灵活的选择。谷歌表示,Gemma 2 2B的发布旨在推动小型模型的应用,降低AI技术门槛。