微软研究院近日发布了最新的小型语言模型Phi-4,该模型拥有140亿参数,在数学推理任务上表现突出。Phi-4在MATH竞赛基准测试中取得了80.4分,超越了参数量更大的Llama 3.1 70B模型,展示了小模型在特定领域实现高性能的可能性。
Phi-4延续了微软在小模型路线上的探索,其训练策略包括合成数据生成、课程学习等创新技术。该模型目前已在Azure AI Foundry上线,提供研究预览版,开发者可通过API访问。微软表示,Phi-4的发布旨在为开发者提供高效、低成本的AI解决方案,特别适用于数学和逻辑推理相关的应用场景。