数据治理解决方案V1 - 百度文库-N

VIP免费
4.0 菜花 2024-03-12 203 271.72KB 10 页 2菜币
侵权投诉
大数据平台下的数据治理
数据治理是指从使用零散数据变为使用数据、从具有很少或没有组织和流程治理到
业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
随着 Hadoop 技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的
例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破?相比传统数仓时代,进入 Hadoop
集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事 情,如何能
够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平 台建设者最
有挑战的难题:数据治理难的不是技术,而是流程,是协同,是管理。
数据治理涉及的 IT 术主管理
控与报告等。
大数据平台下的数据生命周期
热点 活跃 历史
■K3H
归档
Bai 房莎
150 。节点 .SH4C«oo JOB. KSfiSi .sra. . «520T
A通常传统的数据治理是面向结构化 或
者可以定义的非结构化麴居 ,管理 的是
同类型属性的麴居集或者是连 续
或者是分类的。
'大数据存储幵非在一个站点,或 归
属一个单位,数据的所有权不地 理分
布属亍多个机构的资源中
A大数据的最大特点就是非结构化 ,
如文档、报表、 GIS 信息、 NoSQL
等。
数据治理的关键场景
?
'g 晶■
管理仪表盘
数据不准确
T____
大数据治理面临的挑战——异种数据和复杂数据
历史数据
r
s
Bai 场诙
Hadoop 集鮮 /云梯 实时流数
大数据平台的数据治理关键问题
• 关系型数据库
• 文本文件
• 内存对象
• K-V 结构
NoSQL 列模式
数据仓库 •基亍
Hadoop 的 分布式
文件系统
• 基亍 SQL
• 存储过程
• Perl/Python
•Java 语言
• MapReduce
行采集
大数据平台的数据治理目标
制订 !観里脉
Ba 當双
形成平台不工具

标签: #数据治理

摘要:

大数据平台下的数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破?相比传统数仓时代,进入Hadoop集群的数据更加的多样、更加的复杂、量更足,这个数仓时代都没有处理好的事情,如何能够在大数据时代处理好,这是所有大数据应用者最最期盼的改变,也是大数据平台建设者最有挑战的难题:数据治理难的不是技术,而是流程,是协同,是管理。数据治理涉及的IT技术主题众...

展开>> 收起<<
数据治理解决方案V1 - 百度文库-N.pptx

共10页,预览3页

还剩页未读, 继续阅读

声明:菜根智库所有资料均为用户上传分享,仅供参考学习使用,版权归原作者所有。若侵犯到您的权益,请告知我们处理!任何个人或组织,在未征得本平台同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。
作者:菜花 分类:数字化 价格:2菜币 属性:10 页 大小:271.72KB 格式:PPTX 时间:2024-03-12

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务
/ 10
客服
关注