阿里云EMR团队宣布其开源大数据平台E-MapReduce现在支持Presto on Spark执行模式,该模式结合了Presto的交互式查询能力与Spark的分布式计算优势,旨在统一大数据分析与AI计算场景。用户无需修改现有Presto查询即可运行在Spark之上,实现更高效的资源利用和更低的延迟。

Presto on Spark通过将Presto的查询计划转换为Spark任务,利用Spark的弹性伸缩和内存管理能力,同时保留Presto的SQL接口和连接器生态。这一集成特别适合需要同时运行ETL、数据分析和机器学习训练的混合工作负载,减少了数据移动和系统切换成本。

阿里云EMR团队表示,该功能已在内部测试中展现出显著的性能提升,尤其是在处理复杂查询和大规模数据集时。用户现可通过EMR控制台一键启用Presto on Spark,无需额外配置。