孙力
(兰州商学院陇桥学院,甘肃兰州 730101)
智慧城市建设中大数据及其构建探讨
孙力
(兰州商学院陇桥学院,甘肃兰州 730101)
本文首先分析了智慧城市及大数据的概念,对大数据助力智慧城市的作用进行了分析了,同时分析了目前智慧城市建设中存在的困难,并提出了相应的技术应对措施。希望对智慧城市建设提供一定的有益参考和建议。
智慧城市 大数据 困难对策
1 智慧城市与大数据概述
1.1 智慧城市
智慧城市就是在城市各个领域的建设当中引入信息技术,主要为了达到知识创新的城市信息化高级形态。智慧城市主要依靠互联网和云计算等新兴信息技术其中包括大数据、社会交网络、Fab Lab、Living Lab、综合集成法等工具和方法的应用,使其创造的环境有利于实现创新,有利于应用感知、宽带泛在的互联、智能融合,有利于达到用户创新、开放创新、大众创新、协同创新为主要特点的不断创新。再有,欧盟在评价智慧城市过程中主要应用了六个指标,也就是智慧经济、智慧运输业、智慧环境、智慧居民、智慧生活和智慧管理。
1.2 大数据
大数据也叫巨量资料,指的是在规定时间内不能利用常用软件工具实现对内容的抓取和管理、处理的数据集合。大数据主要存在四个特点:数据数量巨大,能够达到PB级以上;多种数据类型,包括文本、图片、音频、视频等;具有较快速度,一般依据“一秒定律”,就能够从不同种类的数据中得到有价值的信息;价值密度较低,在这些数量庞大的数据中,只有一少部分数据有价值。
2 大数据助力智慧城市
2.1 为政府管理相关决策提供科学数据支持
应用于城市规划当中,可以利用其对城市地理、气象、经济、社会、文化、人口等信息的分析与研究,有助于制订合理的决策,使城市管理更具科学性和超前性。
应用于交通管理当中,可以利用分析道路交通信息,解决道路交通当中出现的拥堵现象,而且可以快速应对各种突发情况,有利于保证城市交通的良性运转。在舆情监控当中,利用搜索网络关键词和分析语义智能,可以使舆情分析更加快速和全面,有利于增进了解社情民意,提高公共服务能力,可以对网络各种突发事件第一时间作出反应,有利于遏制违法犯罪。在安防系统中,利用分析大数据,可以及时掌握发生的各种自然灾害,在最短时间内处理险情,及时作好安全防范工作。
2.2 为城市居民提供生活便利
还包括一些与民生有关的智慧应用,它们分别是智慧交通、智慧医疗、智慧家居、智慧安防等,应用这些智慧化措施,可以加大民众生活空间,帮助以最快的速度进入大数据智慧人生。这些举措将有效改善传统“简单平面”的生活方式,利用大数据应用服务可以得到更加广泛的信息,可以改变当前人们的生活方式。
2.3 提高企业核心竞争力
在大数据时代,企业可以收集和整理大量各种各样的数据,从而筛选出有价值的信息。在充分分析这些数据的基础上,企业可以准确预测市场需求情况,从而有利于作出决策。有数据显示,美国公司内,如果数据智能化水平提高10%,那么产品和服务质量就可以提高15%。
3 大数据技术在智慧城市中的应用
3.1 大数据技术的运用存在的困难
当前,在应用大数据技术方面依然存在一些问题还没有解决,主要有下面四个方面的表现:
(1)数据收集。针对自物联网和机构信息系统收集到的数据要加上时空标志,保留真实有效的信息,最好能够收集到异源或异构的数据,同时与历史数据进行对比,利用多种办法验证数据的真实性与全面性。
(2)数据存储。在数据存储过程中要以低成本、低能耗、高可靠性为原则,一般情况下使用冗余配置和分布化、云计算技术,存储过程中要依据一定的规律对数据分类,在充分过滤和去重的前提下,缩减存储数量,同时给每一类数据加上标签。
(3)数据处理。一些行业的数据高达几百个参数,非常复杂,不但数据样本非常繁琐,而且存在多源异构、多实体、多空间的交互动态性,不能应用传统办法进行度量,处理起来非常困难,因此在处理过程中要对高维图像进行降维然后再进行度量,进行语义分析时通过关联上下文,自大量不断发展的数据中提炼出综合信息,从而得到可以理解的内容。
(4)可视化方面。保证得到的结果通俗易懂,有利于观察和应用。当前,虽然计算机智能化取得了较大进步,但当前还只能分析那些规模较小、有结构或类结构的数据,不能深入分析深层次数据,当前应用的数据挖掘算法不能在各个行业中通用。
3.2 技术应用
(1)数据收集技术。智慧城市公共支撑平台自行业系统和城市基础库中得到数据的方法是利用访问数据库和数据库导入、中间件技术、接口调用、网络爬虫、内容采编等。在访问城市基础库的数据时可以应用数据库访问和数据库导入的作法。
利用原行业系统的业务处理模块可以得到特定的接口,在提供智慧城市公共支撑平台时可以把数据利用开放API的方式,主流开放接口主要有RestAPI和WebService,智慧城市公共支撑平台和行业系统间在传递数据时可以利用消息中间件。利用消息中间件可以实现分布式环境下的可靠传输,对各种平台和协议之间存在的特性进行屏蔽,对点对点和订阅/发布等机制完成传输数据。如果行业系统不能提供数据库开放和接口调用,那么则需应用内容采编和网络爬虫的方法进行数据收集。
(2)大数据存储技术。在大数据时代,可以对更多的数据进行研究和分析,有时还可以利用处理与某个特别现象相关的数据得到有价值信息,而不再应用随机采样的作法。
智慧城市公共支撑平台对采集到的各种数据要先进行预处理,主要内容有数据清洗、数据集成、数据变换和数据规约等。多个委办局都具备自己的信息系统,对于企业当中、个人信息如果出现数据冗余和数据不相同的现象,而且在数据处理中有时还需要对数据重新封装。数据集中到智慧城市公共支撑平台,就要首先预处理这部分数据,解决上面存在的问题。
对数据进行预处理以后,智慧城市公共支撑平台就要依据数据的不断种类应用不同的存储办法。离线处理数据、结构化数据可以存储在分布式关系型数据库当中,如Hbase;视频、图片等非结构化数据和XML、HTML等半结构化数据可存储在分布式文件系统当中。有的数据在使用时还需要进一步处理,这时在保存时可以应用内存数据库。
(3)大数据处理技术。利用智慧城市公共支撑平台,数据处理服务对数据进行分析和研究,得到有价值的信息,确定关系。概述部分讲解的数据处理技术主要内容有机器学习、数据挖掘、处理复杂事件等。应用传统的机器学习和数据挖掘技术,处理数量巨大、异构的智慧城市数据时需要很长的时间,利用改进分布式计算框架,有效加快了处理速度。依据数据处理过程中是否需要使用时再处理,可以应用离线处理和在线处理。在处理应急防灾类智慧城市应用时要实时和在线处理,进行数据处理要随时掌握处理结果,有利于城市管理者进行决策。
需要离线处理的数据,一般情况下可以存储在分布式数据库和分布式文件系统当中,在分析这些数据时可以应用Hadoop等分布式计算框架,如ApacheMahout。有的数据需要在线随时处理,如流式数据,在进行数据处理时明显与离线数据处理方式不同。应用多个传感器依据小周期收集到的数据、多个报象头收集到视频数据等都是流式数据。处理流式数据与离线处理数据具有较大不同,主要要求处理速度要快,要及时处理得到的各种数据。不利于加快数据处理速度的因素主要包括数据的I/O慢和数据处理引擎的效率低。利用分布式数据库和分布式文件系统有利于存储更多的数据,但存在的问题是I/O速度慢;利用内存数据库可以得到较快的存取速度,因此在应用可以结合数据处理引擎,就能提高处理速度。复杂事件处理技术属于一种数据处理引擎,可以采集各种来源不同的简单事件或事件流,依据原来定义的事件模型,可以以最快的速度确定大量事件之间的关系或得到更有价值的事件,有利于城市作出正确决策。
(4)可视化。在发布数据处理结果时更为直观和形象,有利于城市管理者、企业、市民作出正确决策。展示数据处理结果可以利用标签云、仪表板、历史流、GIS地图、热度图等办法,也可以综合其中的两种、几种做法,将其展现在城市管理者、企业、市民面前,主要采取的方法有Web门户、移动客户端、信息发布屏等。
4 结语
总之,当前要想使大数据技术在智慧城市中得到广泛应用,前提是首先得到政策和法律的支持。做到“数据的开放性”要有政策保障,要首先制订标准接口和协议,“数据的安全性问题”对大数据的应用具有重要影响,要求有关部门制订规章制度切实保证城市信息的安全性。
[1]鱼江海.智慧城市中大数据技术的应用[J].中国科技信息,2014 (18).
[2]顾新建,代风等.智慧制造与智慧城市的关系研究[J].计算机集成制造系统,2013(5).
[3]李广干.加强我国智慧城市建设的顶层设计[J].高科技与产业化, 2013(6).
甘肃省科技厅兰州新区建设与人口数量耦合发展研究,课题项目编号:2013GS08933。
