数据集成技术在小米的应用与实践

郑钧元

中文演讲 2023-08-20 16:15 GMT+8  #dataops

简介: 在大数据领域,数据集成技术应用场景广泛,为异构数据系统提供便利的数据同步、共享、融合等解决方案。本次分享将深入探讨小米在数据集成技术方面的应用实践场景,包括内部的演进、自研中间件引擎能力,以及平台化的实践等方面的说明,共分为以下3个方面:

  • 数据集成服务现状介绍 分享数据集成技术的演进路线、整体服务架构以及服务规模,从离线/实时同步场景、多源异构同步实现、链路异常容错、性能与稳定性方面遇到的问题与解决方案进行说明
  • 自研引擎能力剖析 阐述流批一体实践、引擎任务编排模型,以及实践中的多项优化规则。从自研分布式引擎的实现原理、整体的技术能力与设计初衷进行说明
  • 平台化能力 剖析数据质量与链路监控、异构数据平台融合,以及链路数据修正与资源预估等方面的能力。从平台化的角度出发,说明实际应用过程中,数据集成在引擎平台化过程中的实践

Speakers:


郑钧元: 小米, 高级软件研发工程师, 参与小米数据平台建设,有多年大数据开发经验,致力于分布式计算及数据集成技术领域建设。