数据治理解决方案V1 - 百度文库-N

VIP免费

4.0 菜花 2024-03-12 222 271.72KB 10 页 2菜币

侵权投诉

大数据平台下的数据治理

数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企

业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。

随着 Hadoop 技术的提升，数据如何进来，如何整合，开展什么样的应用都已经有了成熟的案

例，可是，同传统数仓时代一样，垃圾进垃圾出，如何破？相比传统数仓时代，进入 Hadoop

集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事情，如何能

够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最

有挑战的难题：数据治理难的不是技术，而是流程，是协同，是管理。

数据治理涉及的 IT 技术主题众多，包括元数据管理、主数据管理、数据质量、数据集成、监

控与报告等。

大数据平台下的数据生命周期

热点活跃历史

■K3H

归档

Bai 房莎

计

层 150 。节点 .SH4C«oo JOB. KSfiSi .sra. . «520T

A通常传统的数据治理是面向结构化或

者可以定义的非结构化麴居 ,管理的是

同类型属性的麴居集，或者是连续

的，或者是分类的。

'大数据存储幵非在一个站点，或归

属一个单位，数据的所有权不地理分

布属亍多个机构的资源中

A大数据的最大特点就是非结构化 ,

如文档、报表、 GIS 信息、 NoSQL

等。

数据治理的关键场景

'扣g —晶■北

管理仪表盘

数据不准确

T____

大数据治理面临的挑战——异种数据和复杂数据

历史数据

Bai 场诙

Hadoop 集鮮 /云梯［实时流数

浜

大数据平台的数据治理关键问题

• 关系型数据库

• 文本文件

• 内存对象

• K-V 结构

NoSQL •列模式

数据仓库 •基亍

Hadoop 的分布式

文件系统

• 基亍 SQL

• 存储过程

• Perl/Python 脚

本

•Java 语言

• MapReduce 幵

行采集

大数据平台的数据治理目标

制订 !観里脉

Ba 當双

形成平台不工具

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

立即下载 VIP免费下载

标签： #数据治理

摘要：

大数据平台下的数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。随着Hadoop技术的提升，数据如何进来，如何整合，开展什么样的应用都已经有了成熟的案例，可是，同传统数仓时代一样，垃圾进垃圾出，如何破？相比传统数仓时代，进入Hadoop集群的数据更加的多样、更加的复杂、量更足，这个数仓时代都没有处理好的事情，如何能够在大数据时代处理好，这是所有大数据应用者最最期盼的改变，也是大数据平台建设者最有挑战的难题：数据治理难的不是技术，而是流程，是协同，是管理。数据治理涉及的IT技术主题众...

展开>> 收起<<

数据治理解决方案V1 - 百度文库-N.pptx

共10页,预览3页

还剩页未读，继续阅读

声明：菜根智库所有资料均为用户上传分享，仅供参考学习使用，版权归原作者所有。若侵犯到您的权益，请告知我们处理！任何个人或组织，在未征得本平台同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。

数据治理解决方案V1 - 百度文库-N

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: