一种基于Hadoop的无线电环境地图数据处理系统的制作方法

本发明涉及属于数据处理领域，特别涉及一种基于Hadoop的无线电环境地图数据处理系统。

背景技术：

近年来，随着无线移动通信技术的发展，信息产业及相关电信、广播、导航、空间、国防等无线电业务得到快速发展。然而，随着无线电台站数量增多、密度加大、地磁环境日益复杂，加之缺乏有效的表征方式和方法，导致日常无线电频谱资源无法直观、准确地进行管理，甚至造成了无线频谱拥塞，从而制约了无线电的发展。无线环境地图(REM，Radio Environment Map)的出现则可以有效化解这一难题，它将收集到的无线环境相关数据进行处理和分析之后结合城市电子地图，融合时间、地理信息、频谱、幅度等相关数据，构成一个多维频谱信息地图。

无线环境地图可以直观的反映出真实的无线环境状态，让社会公众感知无线电的存在，并且可以查看某个区域内当前或历史的无线环境信息，无线环境地图还能让管理者直观、清晰地对频谱资源进行管理。同时，网络侧在进行资源重配时，可以借助REM对资源分配的范围、发射功率、天线的角度等参数进行配置，从而优化网络性能，并为无线电管理部门提供一个全新的频谱监管手段。

传统的无线电环境地图数据来源主要是基于已有的数据库或者利用专门的路测设备进行实际收集各种无线参数，这种方式具有感知节点部署成本高、扩展性不强、实时性差等缺点，构建的无线环境地图大多是针对于小范围的、某个特定应用的。而新兴的移动群智感知技术利用普通大众的移动终端设备来进行无线环境数据的收集能有限解决上述问题。在通过移动群智感知方式进行数据收集时，由于单个节点的感知能力有限，需要将感知任务分发给多种终端设备来进行，然后通过对数据的综合处理和分析，得到目标区域的无线电环境地图完整信息。由于数据来自多个不同的移动终端设备，数据规模大、类型多、关系复杂、噪声数据多，如何将这些海量的原始数据进行过滤、存储、融合、分析和可视化展示，是当前需要解决的关键问题。

现有的大数据处理技术已经得到了很多的研究，但是仍然没有一个统一的数据处理框架和单一的技术能够用于多样化的数据集，在数据处理的问题上，必须考虑数据集的特性、需要解决的问题、性能需求和其他因素来合理地选择和设计合适的数据处理方案。本发明设计并实现了一种基于Hadoop的无线电环境地图数据处理系统，实现对移动群智感知方式收集的无线电环境数据的存储、预处理、融合、统计分析以及可视化展示，既可以直观地反映出真实的无线环境状态，让普通用户可以随时查询某区域当前或历史的无线环境信息，也为运营商和无线电相关部门对无线网络资源的优化和管理提供给重要的依据。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种方便无线网络资源的优化和无线环境的管理的基于Hadoop的无线电环境地图数据处理系统。本发明的技术方案如下：

一种基于Hadoop的无线电环境地图数据处理系统，其包括：数据导入模块、数据处理模块和数据可视化模块；其中，

数据导入模块101：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；

数据处理模块102：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；

数据可视化模块103：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。

进一步的，所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。

进一步的，所述海量无线网络环境信息主要包括WiFi信号信息、LTE信号信息、GSM信号信息在内

的信息。

进一步的，所述数据导入模块(101)采用Flume实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中，包括以下步骤：

步骤201：读取配置文件，获取程序运行参数，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir；

步骤202：检查是否有参数错误，如果检测到参数错误，则结束本次数据导入，如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203；

步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化；

步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205；

步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中；

步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传。

进一步的，所述数据处理模块(102)的具体实现步骤如下：

步骤301：利用Hadoop中的MapReduce计算模式进行编程实现，将HDFS分布式文件系统中的原始数据首先进行数据清洗和过滤，即通过Maper函数分别对各个文件进行去重和去除异常数据，再通过Reducer函数整合并再去重和去除异常数据；

步骤302：判断数据是否符合决策要求，如果不符合决策要求，则进行再一次的清洗和过滤，如果符合决策要求，则进行步骤303；

步骤303：将清洗和过滤之后的干净数据进行字段分离，将每条数据中可能包含的WiFi信息、LTE信息、GSM信息分离出来，以便后续的数据融合；

步骤304：以地理位置信息和时间信息为节点，对字段分离后的数据进行融合，得到某地理位置在某时刻的完整的无线网络环境信息。

步骤305：通过聚类算法统计分析出该感知区域内无线环境的变化情况，WiFi各信道的占用情况，各个运营商的4G网络覆盖质量对比，网络稳定性对比。

步骤306：将上述处理和分析的结果数据存入HDFS分布式文件系统中。

进一步的，所述数据可视化模块(103)通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来包括步骤；

步骤501：在百度地图API首页注册账号并获取百度地图API秘钥；

步骤502：添加百度地图的API，在网页中加入地图块，用一个id来标记它，添加需要调用的控件以及初始定位的地点；

步骤503：通过JSON读取Mysql中的相关数据，并传值给Javascript中的变量；

步骤504：根据获取到的数据内容，将这些数据中的经纬度信息和百度地图的地理位置信息进行映射；

步骤505：根据步骤504的映射关系，调用相关的函数Heatmap()，根据连接到的WiFi热点的信号强度的信息生成WiFi信号强度热力图；

步骤506：根据步骤504的映射关系，调用BMap.Marker()函数创建标注，并调用map.addOverlay()函数将标注加入到地图中，生成WiFi/GSM/LTE信号信息展示图，点击图中的标注，即可查看当前的无线网络环境状态信息；

步骤507：根据步骤504的映射关系，调用相关的函数BMap.Icon()等，生成LTE信号强度分布图，可以从图中看出感知区域内LTE的强弱分布情况，即用颜色的深浅来表征信号的强弱。

本发明的优点及有益效果如下：

本发明提出的一种基于Hadoop的无线电环境地图数据处理系统能够适应移动终端设备收集的海量的无线电环境数据的处理和分析，并调用百度地图API进行实时的可视化展示，既可以直观地反映出真实的无线环境状态，让普通用户可以随时查询某区域当前或历史的无线环境信息，也有利于运营商和无线电相关部门对无线网络资源的优化和管理。

附图说明

图1是本发明提供优选实施例本系统整体架构图；

图2 无线环境地图数据导入流程图；

图3 无线环境地图数据处理流程图；

图4 无线环境地图数据导出流程；

图5 无线环境地图数据可视化流程图；

图6 WiFi信号强度热力图；

图7 WiFi信号信息展示图；

图8 感知区域内LTE信号强度分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

参考附图1所示，基于Hadoop的无线电环境地图数据处理系统主要包括三个模块：

数据导入模块101：移动终端通过自身内嵌的传感器设备采集周围的无线环境信息(主要包括WiFi信号信息、LTE信号信息、GSM信号信息等，具体数据类型分别如表1、表2、表3所示)，采集到的信息通过WiFi/3G/4G的方式上传至Web服务器，本系统主要采用Flume海量日志收集系统将实时到达的终端设备采集到的无线环境相关数据上传至数据处理模块中的HDFS分布式文件系统中等待处理。所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。

表1 WiFi信号数据

表2 LTE信号数据

表2 GSM信号数据

数据处理模块102：这是本系统的数据处理中心，是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块。数据处理子模块将数据采集模块传来的数据进行数据融合、清洗、过滤等处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况等；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库。

数据可视化模块103：此模块主要用于无线环境数据的可视化展示。通过调用百度地图API，将处理结果中的位置信息与百度地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，方便无线资源和无线网络的性能优化，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。

下面参照附图2，具体说明数据导入模块的具体实现流程：

步骤201：读取配置文件，获取程序运行参数。在利用Flume海量日志收集系统上传文件之前需要对其进行相关配置才能实现实时监控目录并上传，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir。

步骤202：检查是否有参数错误。如果检测到参数错误，则结束本次数据导入。如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203。

步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化。

步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205。

步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中。

步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传。

下面参照附图3，具体说明数据处理模块中利用MapReduce进行数据处理和分析的具体实现流程：

步骤301：利用Hadoop中的MapReduce计算模式进行编程实现，将HDFS分布式文件系统中的原始数据首先进行数据清洗和过滤，即通过Maper函数分别对各个文件进行去重和去除异常数据，再通过Reducer函数整合并再去重和去除异常数据。

步骤302：判断数据是否符合决策要求，如果不符合决策要求，则进行再一次的清洗和过滤，如果符合决策要求，则进行步骤303。

步骤303：将清洗和过滤之后的干净数据进行字段分离，因为一条数据中不一定同时包含所有种类的信息，所以需要将每条数据中可能包含的WiFi信息、LTE信息、GSM信息等分离出来，以便后续的数据融合。

步骤304：以地理位置信息和时间信息为节点，对字段分离后的数据进行融合，得到某地理位置在某时刻的完整的无线网络环境信息(即同时包含了WiFi信息、LTE信息、GSM信息等)。

步骤305：通过聚类算法统计分析出该感知区域内无线环境的变化情况，WiFi各信道的占用情况，各个运营商的4G网络覆盖质量对比，网络稳定性对比等等。

步骤306：将上述处理和分析的结果数据存入HDFS分布式文件系统中。

下面参照附图4，具体说明数据处理模块中数据导出子模块的具体实现流程：

步骤401：读取配置文件，获取程序运行参数。在利用Sqoop(Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具)导出HDFS中的处理结果至HBase和Mysql数据库中时，需要对Sqoop进行相关配置，即指定导出路径、分隔符、导出条件等。

步骤402：检查是否有参数错误。如果检测到参数错误，则结束本次数据导出。如果没有检测到参数错误，则继续本次数据导出，即跳转到步骤403。

步骤403：编写SH脚本封装Sqoop数据上传命令，执行该脚本将HDFS中的处理和分析的结果数据导入到Mysql数据库中和HBase中，其中Mysql作为当前数据暂存数据库，每次更新即覆盖原有内容，HBase作为数据仓库，用来存储所有的历史数据，以便后续的查询和调用。

下面参照附图5，具体说明数据可视化模块的具体实现流程：

步骤501：在百度地图API首页注册账号并获取百度地图API秘钥，本系统获取的秘钥是3YCG0jXoGMej8YWQnadiQha2GIXVwrF8，用于之后的百度地图的调用。

步骤502：添加百度地图的API，在网页中加入地图块，用一个id来标记它，添加需要调用的控件以及初始定位的地点等。

步骤503：通过JSON读取Mysql中的相关数据(WiFi数据，GSM基站数据，LTE数据，以及经过处理分析的结果)，并传值给Javascript中的变量。

步骤504：根据获取到的数据内容，将这些数据中的经纬度信息和百度地图的地理位置信息进行映射。

步骤505：根据步骤504的映射关系，调用相关的函数Heatmap()，根据连接到的WiFi热点的信号强度的信息生成WiFi信号强度热力图(如附图6所示)。

步骤506：根据步骤504的映射关系，调用BMap.Marker()函数创建标注，并调用map.addOverlay()函数将标注加入到地图中，生成WiFi/GSM/LTE信号信息展示图(如附图7所示)，点击图中的标注，即可查看当前的无线网络环境状态信息。

步骤507：根据步骤504的映射关系，调用相关的函数BMap.Icon()等，生成LTE信号强度分布图(如附图8所示)，可以从图中看出感知区域内LTE的强弱分布情况，即用颜色的深浅来表征信号的强弱。

系统的部分结果展示参照附图6，附图7，附图8。其中，附图6为WiFi信号强度热力图，附图7为WiFi信号信息展示图，附图8为感知区域内LTE信号强度分布图。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。