7页 城乡规划数据集成平台设计方案

VIP专享
3.0 海阔天空 2024-02-27 237 1.7MB 7 页 免费
侵权投诉
第２９卷第 ３期　 　　　　　　　　　　河 南 城 建 学 院 学 报　 　　　　　　　　　　　　　Ｖｏｌ．２９Ｎｏ．３
　 ２０２０
年６月　　　　　　　　　ＪｏｕｒｎａｌｏｆＨｅｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＵｒｂａｎＣｏｎｓｔｒｕｃｔｉｏｎ 　　　　　　　 Ｊｕｎ．２０２０　
收稿日期：２０２０－０４－１０
基金项目：河南省重点研发与推广项目（１８２１０２２１０２２４）；河南省高等学校重点科研项目（１８Ｂ５２０００７）
作者简介：柳运昌（１９７５－），男，河南叶县人，博士，讲师，研究方向：云计算技术与大数据技术。
文章编号：１６７４－７０４６（２０２０）０３－００８１－０６ ＤＯＩ：１０．１４１４０／ｊ．ｃｎｋｉ．ｈｎｃｊｘｂ．２０２０．０３．０１４
基于分布式云数据中心的城乡规划
大数据集成处理平台
柳运昌１，２
，张　娜１，２
（１．河南城建学院 计算机与数据科学学院，河南 平顶山 ４６７０３６；
２．河南省城乡规划大数据应用技术工程研究中心，河南 平顶山 ４６７０３６）
摘　要：　基于分布式云数据中心，结合 Ｈａｄｏｏｐ架构，构建了城乡规划大数据集成处理平
台，为海量多源的城乡规划大数据提供可扩展、连续的处理支持，满足其多样
化、动态化的应用需求。以多源异构的城市 ＰＯＩ及二手房数据为例，进行融合
处理与存储测试。研究结果表明：系统能够在较短时间内处理多源海量数据，
为用户请求提供完整而不冗余的信息。
关键词：　分布式云数据中心；大数据；城乡规划；集成
中图分类号：　ＴＰ３９３　　　　　开放科学（资源服务）标识码（ＯＳＩＤ）：
文献标识码：　Ａ
　
Ａｎｉｎｔｅｇｒａｔｅｄｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍ ｆｏｒｕｒｂａｎａｎｄｒｕｒａｌ
ｐｌａｎｎｉｎｇｂｉｇｄａｔａｂａｓｅｄｏｎｄｉｓｔｒｉｂｕｔｅｄｃｌｏｕｄｄａｔａｃｅｎｔｅｒｓ
ＬＩＵＹｕｎ－ｃｈａｎｇ
１，２
，ＺＨＡＮＧＮａ
１，２
（１．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＤａｔａＳｃｉｅｎｃｅ，ＨｅｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＵｒｂａｎＣｏｎｓｔｒｕｃｔｉｏｎ，
Ｐｉｎｇｄｉｎｇｓｈａｎ４６７０３６，Ｃｈｉｎａ；２．ＣｅｎｔｅｒｆｏｒＨｅｎａｎＵｒｂａｎ＆ＲｕｒａｌＰｌａｎｎｉｎｇＢｉｇＤａｔａＡｐｐｌｉｃａｔｉｏｎ
ＴｅｃｈｎｏｌｏｇｙＥｎｇｉｎｅｅｒｉｎｇＲｅｓｅａｒｃｈ，Ｐｉｎｇｄｉｎｇｓｈａｎ４６７０３６，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｂａｓｅｄｏｎｄｉｓｔｒｉｂｕｔｅｄｃｌｏｕｄｄａｔａｃｅｎｔｅｒｓ，ｃｏｍｂｉｎｅｄｗｉｔｈＨａｄｏｏｐｆｒａｍｅｗｏｒｋ，ａｌａｒｇｅｄａｔａｉｎｔｅｇｒａｔｉｏｎ
ｐｒｏｃｅｓｓｉｎｇｐｌａｔｆｏｒｍｉｓｐｒｏｐｏｓｅｄａｎｄｄｅｓｉｇｎｅｄｔｏｐｒｏｖｉｄｅｉｎｔｅｇｒａｔｅｄｓｕｐｐｏｒｔｆｏｒｔｈｅｖａｒｉｅｔｙｏｆｕｒｂａｎａｎｄｒｕｒａｌ
ｐｌａｎｎｉｎｇａｎｄｌａｒｇｅｄａｔａｐｒｏｃｅｓｓｉｎｇａｐｐｌｉｃａｔｉｏｎｓ．Ａｉｍｉｎｇａｔｔｈｅｍｕｌｔｉ－ｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓＰＯＩａｎｄｓｅｃｏｎｄ－
ｈａｎｄｈｏｕｓｅｄａｔａ
，ｔｈｅｆｕｓｉｏｎｐｒｏｃｅｓｓｉｎｇａｎｄｓｔｏｒａｇｅｔｅｓｔｉｓｃａｒｒｉｅｄｏｕｔ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｓｙｓ
ｔｅｍｃａｎｐｒｏｃｅｓｓｍｕｌｔｉ－ｓｏｕｒｃｅｍａｓｓｉｖｅｄａｔａｉｎａｒｅｌａｔｉｖｅｌｙｓｈｏｒｔｔｉｍｅａｎｄｐｒｏｖｉｄｅｃｏｍｐｌｅｔｅａｎｄｎｏｎ－ｒｅｄｕｎ
ｄａｎｔｉｎｆｏｒｍａｔｉｏｎｆｏｒｕｓｅｒｓ．
Ｋｅｙｗｏｒｄｓ：ｄｉｓｔｒｉｂｕｔｅｄｃｌｏｕｄｄａｔａｃｅｎｔｅｒ；ｂｉｇｄａｔａ；ｕｒｂａｎ＆ｒｕｒａｌｐｌａｎｎｉｎｇ
移动互联网、物联网技术的推广应用产生了大量实时反映城市社会经济活动特征的数据，包括电网
运行、道路车速和流量，甚至每个人的位置和行为。这些庞大而繁杂的城市感知大数据均可用于城乡规
划建设及管理，从而形成城乡规划大数据。城乡规划大数据具有种类复杂、体量巨大、时间跨度大的特
点［１］
。城乡规划的关键是如何从海量的数据中识别可用的数据，评估潜在的价值，形成有效信息，进而
作为规划高效信息的基础促进城乡转型发展。然而，面对海量、多源、不间断的城乡规划大数据，如何提
供可扩、连续的处理支持以满足多样化、动态变化的城乡规划应用需求成为当前城乡规划系统建设的一
个核心问题。
近年来，研究者基于 ＧＩＳ构建了多规合一信息平台［２］
，从存储的角度研究大数据的高效访问［４－６］
，
从大规模数据的分布式处理［７－９］
等角度开展了大量与上述需求相关的研究工作。还有一些研究从分布
式数据中心的角度处理大数据［１０－１２］
。从现有的研究成果来看，存在的主要问题有：（１）城乡规划大数
据平台的数据融合功能有待完善。（２）数据质量较低，数据管控能力不强。（３）数据共享不畅，数据集
成程度不够。城乡规划业务按管理职责进行分专业管理，条块分割，不能构建数据与实际规划对应的网
络关系，数据利用价值不高，数据不能充分满足城乡规划业务需求。
针对上述问题，结合城乡规划大数据及其处理类型特征，提出并设计了一个基于分布式云数据中心
的城乡规划大数据集成处理平台。该平台采用分布式云数据中心实现跨应用的城乡规划数据共享，为
承载多样化的城乡规划大数据处理应用提供集成化支持。
１　城乡规划大数据
城乡规划大数据是以往城市中各系统体系运作的记录产物，以大容量的形式真实记录和反映城乡
的变迁，其分类如图 １所示。
城乡规划大数据来源有：
（１）数字化的传统数据和空间信息：比如数字化的城建档案，矢量化的城市历史地图，历次人口、工
业、农业、地名普查信息等，该类数据信息由各职能部门收集保存。
图１　城乡规划大数据分类图
（２）城市规划和城市研究信息，主要利用的是带地
理坐标、地理流线轨迹和流量的数据，互联网时代产生的
新数据主要有带地理坐标的微博、电子地图分类兴趣点、
时时微信位置、大众点评商 业网点、公 交地铁 刷 卡数 据
等。
从城乡规划大数据分类来看，包含社交网络、城市感
知数据的城乡规划大数据增长过快，数据体量日益增大。
而现有数据存储方式面临数据可靠性的风险。在物联网
与移动互联网提供全面、精准与实时的城市发展及运行
环境下，分析城乡规划大数据的来源可知，多源异构城乡
规划感知数据往往存在数据缺失、断续、时空关系不一致
和采样频率及测量精度的差异等问题，如何实现海量多
源异构数据的融合是一个具有挑战性的问题［３］
。此外，
面对海量的城乡规划大数据，现有的处理方法在计算效
率和响应时间上已不能满足用户的需求。
２　城乡规划大数据集成处理平台
由于城乡规划大数据种类多样，数据量庞大，数据具
有更高的维度，算法更加复杂，并且计算和数据之间会存
在特定的依赖关系，因而传统的处理平台难以满足对于
多源异构城乡规划数据的集成分析。此外，对于大规模的城乡规划应用，巨量的数据与城乡规划处理算
法实际上可以分布在位于不同的地理区域的多个数据中心。在这种情况下，高效的存储、管理、共享和
访问分布式城乡规划大数据具有高容量和数据复杂性，非常具有挑战性。
２８ 　　　　　　　　　　　　河南城建学院学报　　　　　　　　　　　　　　　２０２０年６月　
针对城乡规划大数据处理，基于分布式云数据中心架构，采用 Ｈａｄｏｏｐ大数据处理方案，提出了基于
分布式云数据中心的城乡规划大数据集中处理平台，以提高城乡规划数据分析挖掘的速度与可扩展性，
并实现了初步的原型系统。
２．１　基于分布式云数据中心的城乡规划大数据集成处理平台
基于分布式云数据中心的城乡规划大数据集成处理平台由基础服务层、数据共享分析层与业务应
用层组成，如图 ２所示。平台采用一个地理分布式的云架构，由位于不同地理位置的多个云数据中心组
成。它为城乡规划应用提供了一个持续收集处理数据的平台，同时提供搜索、排序和数据挖掘等一系列
服务，每个云数据中心都提供存储和计算基础设施。各个区域收集的数据存储在相应的存储集群中，计
算集群包含一组互连和虚拟化服务器。
图２　基于分布式云数据中心的城乡规划大数据集成处理平台
基础服务层是数据分析层和业务应用层的基础，其主要目的是利用云计算技术，深入挖掘城市规划
自身的需求，通过特定的算法对不同采集频率的源数据进行整合，为城乡规划大数据分析提供标准的整
合基础数据。此外，将不同系统的数据进行整合，对异构数据进行分析和存储，辅助规划进行数据存储、
分析和画图等业务工作，具备安全性和稳定性。
数据分析层结合基础服务层为城乡规划大数据管理提供实际服务，主要包括对传统数据、基于大数
据技术获取的数据和分析数据的存储及管理。数据分析层是整个框架的核心，编制人员对于传统的基
础地形数据、规划数据及城市发展数据要进行空间数字化，形成“一张图”的基础底图。建立多源的规
划知识库，提取知识中的方法、思路及分析模型。
业务应用层包括规划项目编制和个人学习，将数据分析层产生的分析结果存储到云端，根据不同的
用户业务请求，提供和展示不同的分析结果，具有易用性。在各类规划编制的过程中，编制人员通过门
户中的目录服务查找所需的信息，并根据推送的知识和数据开展工作。另外，随着规划项目的编制，当
中形成的规划数据、成果也可形成类似规划成果，如 ＧＩＳ查询系统、规划建设计划跟踪系统等信息化产
品，提供规划产业链的延伸服务。
２．２　城市规划大数据存储
３８
　第２９卷第 ３期　　　　　　　柳运昌，等：基于分布式云数据中心的城乡规划大数据集成处理平台　
摘要：

第２９卷第３期　　　　　　　　　　　河南城建学院学报　　　　　　　　　　　　　　Ｖｏｌ．２９Ｎｏ．３　２０２０年６月　　　　　　　　　ＪｏｕｒｎａｌｏｆＨｅｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＵｒｂａｎＣｏｎｓｔｒｕｃｔｉｏｎ　　　　　　　Ｊｕｎ．２０２０　收稿日期：２０２０－０４－１０基金项目：河南省重点研发与推广项目（１８２１０２２１０２２４）；河南省高等学校重点科研项目（１８Ｂ５２０００７）作者简介：柳运昌（１９７５－），男，河南叶县人，博士，讲师，研究方向：云计算技术与大数据技术。文章编号：１６７４－７０４６（２０２０）０３－００８１－０６ＤＯＩ：１０．１４１４０／ｊ．ｃｎｋｉ．ｈｎｃｊｘｂ...

展开>> 收起<<
7页 城乡规划数据集成平台设计方案.pdf

共7页,预览3页

还剩页未读， 继续阅读

声明：菜根智库所有资料均为用户上传分享，仅供参考学习使用，版权归原作者所有。若侵犯到您的权益，请告知我们处理！任何个人或组织，在未征得本平台同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。

相关推荐

更多
立即下载
作者：海阔天空 分类：数字化 价格：免费 属性：7 页 大小：1.7MB 格式：PDF 时间：2024-02-27

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

热门标签

AI 管理 数字化 解决方案 人工智能 大模型 大数据 流程 数据治理 数字孪生
/ 7
评分 收藏
分销
立即下载
客服
关注