Hadoop云存储连接器-过去,现在和未来!

Mukund

英文演讲 2022-07-29 15:30 GMT+8  (ROOM : B) #bigdata

S3A和ABFS云连接器被Hive和Spark等系统广泛使用,同时在S3和Azure等公共云上运行工作负载。 在这次演讲中,我们将讨论Apache Hadoop中云存储(Aws和Azure)模块的多种增强,比如Aws宣布的一致S3导致了S3Guard时代的结束,我们所做的列表优化使S3的列表更快,以及引入了新的api,比如Hadoop中的open file和io统计以及对S3A连接器的支持。我们还将讨论在Azure连接器中完成的惰性查找和预读读取优化

Speakers:


Mukund: Cloudera, 软件工程师的工作人员。, 我是Apache Hadoop项目的活跃提交者,目前在Cloudera工作,专注于云存储连接器(aws、azure和gcs)和Ranger Authorization。 我有8年的大型分布式系统设计和开发经验。除了软件开发,我还喜欢做瑜伽和在喜马拉雅山徒步旅行。