京东-数据质量管控

VIP专享

4.0 海阔天空 2024-02-27 223 954.87KB 15 页免费

侵权投诉

Page 1

数据质量管理平台技术架构

数据质量检查规则执行模块作为多个 ETL

任务部署在金融数据平台 ETL 服务器上，

由 Automation 工作流调度服务统一调度

运行，实现各个数据区技术和业务数据质

量检查

数据质量管理系统元模型包含检查规则、

检查执行结果、分析报告，模型作为一个

独立的 Schema 部署在决策分析报表平台

的数据库

数据质量检查规则配置模块作为 Java

Web 应用部署在金融数据平台

Tomcat 集群上，数据质量管理员通过

统一的 Web 服务访问，实现检查规则

的维护

数据质量分析报告展现模块作为 Java

Web 应用部署在金融数据平台

Tomcat 集群上，用户通过统一的

Web 服务访问，实现日报、月报的浏

览、下载等功能

数据质量分析报告生成模块作为一个 ETL

任务部署在决策分析报表平台 ETL 服务器

上，由 Automation 工作流调度服务统一

调度运行，按照每日、每月生成各数据区

数据质量检查报告

数据质量管

理平台以元

信息模型为

核心，由规

则配置管理

模块、检查

执行模块、

分析报告生

成模块和分

析报告展现

模块四部分

构成。

整个数据质

量检查过程

以 ETL 任务

的形式统一

调度执行。

Page 2

数据质量检查执行服务

数据质量管理

的规则执行服

务作为 ETL

任务部署在

ETL 服务器上

在整个数据处

理过程中，设

置 4 类检查

点

在不同的检查

点由 Task

Automation

工作流统一调

度执行

检查结果统一

存入数据质量

管理资料库

1 2 3 4

Page 3

检查规则执行服务检查点 1

云数据推送平台接口文件级规范性检查任务说明

任务类型 ETL 任务 —— 技术型检查

ETL 阶段云数据推送平台 -> 金融数据交换平台 NAS 存储指定目录

执行频率每日执行

执行方式由 Task Automation 工作流引擎根据工作流定义统一调度，在 ETL 服务器上执

行

检查对象云数据推送平台按照接口规范导出的业务系统每日增量数据文件和控制文件

检查内容接口文件是否存在，接口文件名称是否正确，接口文件是否通过 MD5 校验

实现技术 Linux 脚本语言， Perl 或 Python

成功阈值所有规则通过检查

依赖任务 N/A

触发任务数据加载

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

立即下载

标签： #数据质量

摘要：

Page1数据质量管理平台技术架构数据质量检查规则执行模块作为多个ETL任务部署在金融数据平台ETL服务器上，由Automation工作流调度服务统一调度运行，实现各个数据区技术和业务数据质量检查数据质量管理系统元模型包含检查规则、检查执行结果、分析报告，模型作为一个独立的Schema部署在决策分析报表平台的数据库数据质量检查规则配置模块作为JavaWeb应用部署在金融数据平台Tomcat集群上，数据质量管理员通过统一的Web服务访问，实现检查规则的维护数据质量分析报告展现模块作为JavaWeb应用部署在金融数据平台Tomcat集群上，用户通过统一的Web服务访问，实现日报、月报的浏览、下载等...

展开>> 收起<<

京东-数据质量管控.pptx

共15页,预览5页

还剩页未读，继续阅读

声明：菜根智库所有资料均为用户上传分享，仅供参考学习使用，版权归原作者所有。若侵犯到您的权益，请告知我们处理！任何个人或组织，在未征得本平台同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。

京东-数据质量管控

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: