大数据项目之电商数仓(质量监控SH HQL)
VIP专享
—————————————————————————————大数据技术之数据质量管理版本:V1.0第1章数据质量1.1概述数据质量的高低代表了该数据满足数据消费者期望的程度,这种程度基于他们对数据的使用预期,只有达到数据的使用预期才能给予管理层正确的决策参考。数据质量管理作为数据仓库的一个重要模块,主要可以分为数据的健康标准量化、监控和保障。1.2.数据质量标准分类①数据完整性:数据不存在大量的缺失值、不缺少某一日期/部门/地点等部分维度的数据,同时在ETL过程当中应保证数据的完整不丢失。验证数据时总数应符合正常规律时间推移,记录数总数的增长符合正常的趋势。②...
2024-02-27
181
2.53MB
17 页