五个篇章讲明白大数据平台如何从0到1搭建

VIP免费

4.0 海平面 2024-03-19 220 4.31MB 22 页 3菜币

侵权投诉

欢迎关注微信公众号：数据社，获取更多大数据资料！

篇章一：如何从0到1搭建大数据平台

大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联

网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平

台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平

台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因

为你去百度查的时候会发现太多的东西，和架构，你不知道如何去选择。今天给大家分享下大数据平台

是怎么玩的。

00 架构总览

通常大数据平台的架构如上，从外部采集数据到数据处理，数据显现，应用等模块。

01 数据采集

用户访问我们的产品会产生大量的行为日志，因此我们需要特定的日志采集系统来采集并输送这些日

志。Flume是目前常用的开源选择，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量

日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，

Flume提供对数据进行简单处理，并写到各种数据接受方的能力。

02 数据存储

无论上层采用何种的大规模数据计算引擎，底层的数据存储系统基本还是以HDFS为主。

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管

理的基础。具备高容错性、高可靠、高吞吐等特点。

HDFS存储的是一个个的文本，而我们在做分析统计时，结构化会方便需要。因此，在HDFS的基础上，

会使用Hive来将数据文件映射为结构化的表结构，以便后续对数据进行类SQL的查询和管理。

03 数据处理

数据处理就是我们常说的ETL。在这部分，我们需要三样东西：计算引擎、调度系统、元数据管理。

对于大规模的非实时数据计算来讲，目前一样采用Hive和spark引擎。Hive是基于MapReduce的架构，

稳定可靠，但是计算速度较慢；Spark则是基于内存型的计算，一般认为比MapReduce的速度快很多，

但是其对内存性能的要求较高，且存在内存溢出的风险。Spark同时兼容hive数据源。

从稳定的角度考虑，一般建议以Hive作为日常ETL的主要计算引擎，特别是对于一些实时要求不高的数

据。Spark等其他引擎根据场景搭配使用。

实时计算引擎方面，目前大体经过了三代，依次是：storm、spark streaming、Flink。Flink已被阿里

收购，大厂一直在推，社区活跃度很好，国内也有很多资源。

调度系统上，建议采用轻量级的Azkaban，Azkaban是由Linkedin开源的一个批量工作流任务调度器。

https://azkaban.github.io/

一般需要自己开发一套元数据管理系统，用来规划数据仓库和ETL流程中的元数据。元数据分为业务元

数据和技术元数据。

业务元数据，主要用于支撑数据服务平台Web UI上面的各种业务条件选项，比如，常用的有如下

一些：移动设备机型、品牌、运营商、网络、价格范围、设备物理特性、应用名称等。这些元数

据，有些来自于基础数据部门提供的标准库，比如品牌、价格范围等，可以从对应的数据表中同步

或直接读取；而有些具有时间含义的元数据，需要每天通过ETL处理生成，比如应用信息。为支撑

应用计算使用，被存储在MySQL数据库中；而对于填充页面上对应的条件选择的数据，则使用

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

立即下载 VIP免费下载

标签： #大数据

摘要：

欢迎关注微信公众号：数据社，获取更多大数据资料！篇章一：如何从0到1搭建大数据平台大数据时代这个词被提出已有10年了吧，越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发，大数据价值在越来越多的场景中被挖掘，随着大家都在使用欧冠大数据，大数据平台的搭建门槛也越来越低。借助开源的力量，任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建，因为你去百度查的时候会发现太多的东西，和架构，你不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。00架构总览通常大数据平台的架构如上，从外部采集数据到...

展开>> 收起<<

五个篇章讲明白大数据平台如何从0到1搭建.pdf

共22页,预览7页

还剩页未读，继续阅读

声明：菜根智库所有资料均为用户上传分享，仅供参考学习使用，版权归原作者所有。若侵犯到您的权益，请告知我们处理！任何个人或组织，在未征得本平台同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。

五个篇章讲明白大数据平台如何从0到1搭建

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

热门标签

举报选择: