尚硅谷数据统一处理及治理开源平台

张晨

中文演讲 2022-07-31 14:50 GMT+8  #workflowdatagovernance

在数据治理、数据调度、质量监控领域工具框架越来越多,作为企业应用如何把多种工具有机的整理落地成为一个统一的平台,一直是尚硅谷致力于探索的领域。 尚硅谷作为一家致力于互联网技术的传播机构,与多家互联网公司和技术团队合作,结合目前流行的大数据开源框架,集成并打造了一个开源的包含数据治理 数据流程调度、数据质量监控预警的一体化平台。 该平台的功能包含:元数据管理、血缘管理、任务调度、数据质量监控预警、基于评分考核的数据治理。 除了离线批处理以外,也集成了实时流处理的部分,像实时任务的发布和实时任务的监控预警。 在该平台中引入了诸多的开源框架,包括Apache Dolphin Scheduler、StreamX、Prometheus 等开源框架。 尚硅谷作为技术传播机构,与多个开源团队达成合作,也会在此讲解中分享各个主流框架的特性和使用。

Speakers:


张晨: 尚硅谷IT教育, 项目总监, 尚硅谷主持开发数据管理平台项目,用户画像、数据仓库、实时数据仓库项目,多年技术讲师,增参与国家电网公司、中信银行、中植集团的一线项目。