APACHE LINKIS 在湖仓一体架构下的数据处理实践

王华磊

中文演讲 2023-08-18 15:00 GMT+8  #datalake

主要分享邮储银行作为一家大型国有银行,在湖仓一体架构下,如何结合Linkis解决实际面临的问题,以后后续的发展展望。议题提纲初拟如下:

  1. 邮储银行大数据湖仓一体架构

  2. 实施中面临的问题 2.1 技术组件多,基础环境维护复杂 2.2 技术有难度,数据开发技术门槛高 2.3 流批一体架构下,组件版本升级快 2.4 不同算引擎的元数据互通存在障碍

  3. Apache Linkis的具体实践 3.1 实现计算组件的底层对接,对外提供统一接口调用 3.2 优先使用纯sql开发 3.3 实现同一组件多版本支持 3.4 统一使用Hive Catalog,对外提供统一元数据接口

  4. 参与Apache linkis社区共建 4.1 数据访问层增加Postgresql支持 4.2 文件存储曾S3支持 4.3 容器化部署实践。

  5. 未来技术规划 5.1 基于Linkis加强对Iceberg等数据湖技术的管理功能

Speakers:


王华磊: 中国邮政储蓄银行, 副主任工程师, 多年银行大数据领域数据架构经验,开源爱好者,Linkis社区贡献者。