字节跳动近日宣布开源其自研的云原生数据湖表格式BitEngine。该格式专为高并发、低延迟场景设计，相比Apache Hudi等主流方案，在写入和查询性能上提升约3倍，同时降低存储成本。

BitEngine采用列式存储与索引优化技术，支持实时流批一体写入，并兼容Spark、Flink等主流计算引擎。目前该技术已在字节内部大规模应用，日均处理PB级数据。

此次开源旨在推动数据湖生态发展，开发者可通过GitHub获取源码及文档。字节表示将持续投入社区共建，优化湖仓一体方案。