微软近日开源了BitNet框架，旨在通过1.58bit量化技术显著提升大语言模型的推理性能。该框架支持在CPU上高效运行，并兼容多种主流模型架构，为边缘计算和资源受限场景提供了新的解决方案。

BitNet框架的核心优势在于其极低比特量化，相比传统FP16或INT8，大幅降低了内存占用和计算开销，同时保持模型精度。微软表示，该框架已在多项基准测试中验证了其性能提升，未来将推动AI推理的普及化。