Apache Celeborn(Incubating): 让 Spark 和 Flink 更快更稳更弹性

周克勇

中文演讲 2023-08-19 15:45 GMT+8  #datastorage

Apache Celeborn(Incubating)是一个高性能,高可用,可伸缩的通用Shuffle服务,支持Spark/Flink两大主流引擎(未来将支持Tez/MR等更多引擎)。Celeborn在阿里及多家知名企业支撑每天数十P的生产Shuffle,提升稳定性和性能的同时降低成本。本次分享将介绍Celeborn的高性能高可用核心设计,支持多引擎的统一架构,用户案例,以及如何更好的参与社区。

Speakers:


周克勇: 阿里云, EMR Spark引擎负责人, 阿里云EMR Spark引擎负责人,Apache Celeborn (Incubating)的初始作者,在Remote Shuffle Service,向量化引擎,优化器等方面有一定经验。