亚马逊云科技在2024 re:Invent全球大会上正式推出下一代AI训练芯片Trainium2的配套软件Neuron Core 2。该软件通过优化编译器、运行时和框架集成,可将训练性能提升2倍,同时降低40%的TCO(总体拥有成本)。
Neuron Core 2支持PyTorch、JAX等主流框架,并针对大模型训练场景进行了深度优化。其核心改进包括更高效的内存管理、自动混合精度训练以及分布式训练加速功能。据亚马逊云科技介绍,该软件已应用于其内部AI模型训练,并在客户测试中展现出显著性能提升。
此次发布标志着亚马逊云科技在AI基础设施领域的持续投入。结合此前发布的Trainium2芯片,Neuron Core 2有望帮助客户以更低成本训练更大规模的AI模型,进一步推动生成式AI的普及。