字节跳动宣布开源其内部自研的高性能大模型推理框架Flux，该框架支持多种量化方式，旨在提升大模型推理效率。Flux基于自研的推理引擎，支持INT4、INT8等多种量化精度，并针对不同硬件平台进行了优化，可在保持模型精度的同时显著降低显存占用和推理延迟。

据字节跳动介绍，Flux在多个主流大模型上进行了验证，相比现有开源方案，推理速度提升可达2-3倍。该框架已集成至字节跳动的内部生产环境，此次开源将有助于推动大模型推理技术的发展和应用落地。