基于移动群智感知的无线电环境地图数据收集系统及方法与流程

本发明涉及无线移动通信领域，特别设计基于移动群智感知的无线电环境地图数据收集系统及方法。

背景技术：

随着无线电频谱资源在国民经济中发挥的作用越来越重要，对无线电资源的应用越来越多，各地为了实现对频谱资源的有效监控和管理，都在不断增建无线电台站和设施。然而随着无线电台数量的增加、密度的增大，电磁环境变得日益复杂，导致无线频谱环境无法直观、有效的管理，从而制约了无线电的发展。无线电环境地图就是针对该问题提出的有效解决方案。

无线电环境地图用于表征无线电环境信息，认知无线电系统通过访问和查询无线电环境地图，能迅速获得所需的环境信息。它将电磁环境信息与城市电子地图结合在一起，融合地理位置信息、时间信息、频率信息，构成一个多维度的无线频谱图，其目的是为无线电管理部门提供一种全新的无线电监管手段。

然而，要构建一个完整的无线电环境地图所需要的收集的数据包括感知区域的信号场强、数据采集时间、数据采集的地理位置、信号频率大功率辐射源、测量信道时长、信道占用时长等主要数据，由此可以看到其中涉及的数据类型繁杂。并且无线电波是无处不在，由此在构建无线电环境地图的过程中还面临着覆盖范围广的问题。建立无线电环境地图的首要工作即进行无线环境数据的收集，而构建无线环境数据收集系统更是数据收集的关键基础。

传统的无线电环境地图数据收集方式主要采用固定节点或系统配备移动节点的方式进行无线电环境信息的采集，而构建无线电环境地图所涉及的数据繁杂、覆盖范围广。若采用传统的无线电环境地图数据收集方式进行数据采集并不能满足构建无线电环境地图的数据量需求，并且所耗费的成本高。而本发明所提出和设计的基于移动群智感知的数据收集方式能够很好的解决构建无线电环境地图所面临的覆盖范围广及所需数据量大的问题。

技术实现要素：

本发明旨在解决以上现有技术的问题。提出了一种解决了构建无线电环境地图所涉及的所需数据维度高、覆盖区域广泛的问题的基于移动群智感知的无线电环境地图数据收集系统及方法。本发明的技术方案如下：

一种基于移动群智感知的无线电环境地图数据收集系统，其包括数据采集层、数据收集层、数据处理层及数据展示层，其中：

数据采集层，主要负责感知任务的接收、感知无线电环境信息数据、存储无线电环境信息数据及上传感知到的数据；

数据收集层，主要负责与数据采集层建立通信链接并接收感知数据；还用于激励其他节点加入到电环境信息感知中，还用于无线感知节点的选择以及对接收的感知数据进行存储；

数据处理层主要负责将数据收集层收集的数据进行融合、数据预处理以去除感知数据的错误数据及冗余数据以及对融合后的数据进行存储；

数据展示层主要负责于无线电环境信息的感知数据进行实时展示以及感知任务的下发。

进一步的，所述数据采集层包含任务接收模块、感知数据模块、数据存储模块及数据上传模块，其中任务接收模块用于接收数据收集平台下发的感知任务；感知数据模块根据感知任务进行无线电环境信息的数据采集；数据存储模块用于展示存放无线电环境信息数据；数据上传模块用于将感知数据上传至数据收集平台。

进一步的，所述数据收集层包含区域划分模块、激励机制模块、节点选择模块、任务分发模块、数据接收存储模块，其中区域划分模块分为区域划分子模块和业务划分子模块，区域划分子模块用于依据感知节点的地理位置信息对不同位置的感知节点分配以不同的感知任务，业务划分子模块用于依据不同的业务信息对感知节点分配以不同的感知任务，激励机制模块用于吸引更多的用户参与到无线电环境信息数据采集过程中，其主要包括游戏激励、价格拍卖两种方式；节点选择模块用于在众多感知任务参与者中选取最适合的感知节点来完成感知任务；任务分发模块用于将感知任务下发至感知节点；数据接收存储模块用于接收数据感知平台所感知的无线环境信息的数据并将感知数据存储与指定的文件夹中。

进一步的，所述数据处理层包括数据融合模块、数据预处理模块及数据存储模块，其中数据融合模块利用Hadoop中的Avro技术将多种类型的无线电环境信息的小文件进行压缩成一个适用于Hadoop集群中MapReduce处理的大文件，并将压缩后的文件存储于Hadoop集群中的HDFS中；所述数据预处理模块利用mapreduce程序进行数据字段的提取，并将处理后的数据存放于Hadoop集群的HDFS中；数据存储模块利用Sqoop将无线电环境信息数据自动化的上传至数据收集层的MySQL中存储。

进一步的，所述数据展示层用于无线电环境信息的实时化展示，利用jsp技术所开发的Web页面依据感知平台所收集的感知数据进行实时动态的数据展示。

一种基于所述系统的无线电环境地图数据收集方法，其包括以下步骤：

1)感知节点在接收到具体感知任务后，打开手机所安装的APP进行无线电环境信息的数据收集，并将感知数据上传至数据收集平台中；

2)数据收集平台中的Web服务器中所安装的Flume对指定的感知数据存放文件夹进行监控，当文件夹中有新的文件增加时Flume自动的将新增文件发送至Hadoop集群的HDFS中；

3)Hadoop集群的HDFS在接收到文件后运行所编写好的MapReduce对感知数据进行字段提取；

4)将MapReduce处理好的数据通过Sqoop自动的导入到Web服务器的MySQL数据库中进行存储；

5)当Web服务器中的MySQL数据库中有数据更新是，将触发由Ajax所编写的数据导入函数；

6)由jsp所编写的Web页面实时动态更新展示数据。

进一步的，所述步骤1)通过数据感知平台感知无线电环境信息并将感知数据实时上传至数据收集平台，其过程如下：

数据收集平台通过公告的方式将感知任务下发至数据感知平台中的感知节点；

数据感知层中的感知节点在接收到数据展示平台所下发的感知任务，选择感知节点感兴趣的感知任务并是自己所能完成的任务，同时感知节点返回给数据收集平台一个回馈表示自己愿意参与到感知任务中；

数据收集平台在接收到感知节点的回馈后，依据感知任务的具体数据需求选取合适的感知节点参与到感知任务中，并将具体的感知任务下发至一选取的感知节点中；

感知节点在接收到具体感知任务后，打开手机所安装的安卓APP进行无线电环境信息的数据收集，并将感知数据上传至数据收集平台中。

本发明的优点及有益效果如下：

本发明基于移动群智感知的无线电环境地图数据收集系统的重要意义在于该系统针对于构建无线电环境地图数据收集过程中面临的数据类型繁杂、感知区域广的问题，研究无线电环境信息收集系统的设计与实现。由于移动群智感知所具有的覆盖范围广、采集数据类型广泛的特性。因此，本系统所采用的方法能很好的解决在构建无线电环境地图所面临的所需数据维度高、数据类型繁杂等问题，并能很好解决传统的无线电环境信息数据收集所面临的数据不完整、成本高的问题。为无线电环境地图数据收集系统的研究与设计提供了一种新思路，为提高频谱资源利用率提供新方向。

附图说明

图1是本发明提供优选实施例功能模块图；

图2是本发明的网络架构图；

图3是本发明的整体流程图；

图4是本发明的数据上传实现流程图；

图5是本发明的数据处理及展示实现流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

参见图1所示，基于移动群智感知的无线电环境地图数据收集系统主要包括数据采集层、数据收集层、数据处理层、数据展示层四个层次：

数据感知层包含任务接收模块、感知数据模块、数据存储模块、数据上传模块。其中任务接收模块用于接收数据收集平台下发的感知任务；感知数据模块利用所开发的安卓APP进行无线电环境信息的数据采集；数据存储模块用于展示存放无线电环境信息数据；数据上传模块用于将感知数据上传至数据收集平台。

数据收集层包含区域划分模块、激励机制模块、节点选择模块、任务分发模块、数据接收存储模块。其中区域划分模块分为区域划分和业务划分两个子模块，区域划分用于依据感知节点的地理位置信息对不同位置的感知节点分配以不同的感知任务，业务划分用于依据不同的业务信息(如蜂窝网络信息、WiFi网络信息)对感知节点分配以不同的感知任务。激励机制模块用于吸引更多的用户参与到无线电环境信息数据采集过程中，其主要包括游戏激励、价格拍卖两种方式；节点选择模块用于在众多感知任务参与者中选取最适合的感知节点来完成感知任务；任务分发模块用于将感知任务下发至感知节点；数据接收存储模块用于接收数据感知平台所感知的无线环境信息的数据并将感知数据存储与指定的文件夹中。

数据处理层包括数据融合模块、数据预处理模块、数据存储模块。其中数据融合模块利用Hadoop中的Avro技术将多种类型的小文件进行压缩成一个适用于Hadoop集群中MapReduce处理的大文件，并将压缩后的文件存储于Hadoop集群中的HDFS中；数据预处理模块利用mapreduce程序进行数据字段的提取，并将处理后数据存放于Hadoop集群的HDFS中；数据存储模块利用Sqoop将无线电环境信息数据自动化的上传至数据收集层的MySQL中存储。

数据展示层用于无线电环境信息的实时化展示，利用jsp技术所开发的Web页面依据感知平台所收集的感知数据进行实时动态的数据展示。

下面参照附图2，具体说明基于移动群智感知的无线电环境地图数据收集系统的网络架构：

基于移动群智感知的无线电环境地图数据收集系统主要分为三个部分：移动群智感知网络、Web服务器、数据中心。其中移动群智感知网络为利用现有的普通移动智能终端作为感知节点而构建的无线电环境信息感知网络。其中移动智能终端作为感知节点在本发明中为利用安卓SDK技术调用相对应的智能终端内部传感器的API进行无线电环境信息的采集。Web服务器为tomcat Web服务器用于感知数据的接收、感知任务的发布、感知数据的展示的Web服务器。其中感知数据的接收所采用的是HTTP中的post()和get()方法，数据采集终端利用HTTP的post()方法将感知数据文件发送到tomcat服务器中，tomcat服务器所编写servlet调用HTTP的get()方法进行数据接收并存储；感知任务的发布为利用极光推送进行任务发布；感知数据的展示为利用JSP技术调用存储于Web服务器MySQL中的数据并在展示页面中实时动态展示。数据中心为多台服务器所构建的Hadoop集群。

下面参照附图3，具体说明基于移动群智感知的无线电环境地图数据收集系统的整体实现流程：

1)感知用户开启无线电环境信息数据采集终端APP；

2)无线电环境信息数据采集终端APP自动化的将相对应的感知信息如时间地理位置信息、蜂窝网络信息进行采集，并将感知数据在页面进行展示；

3)感知用户点击无线电环境信息数据采集终端APP文件上传按钮，此时数据采集终端将向数据收集平台发送一个TCP/IP链接请求；

4)数据采集终端与数据收集平台建立TCP/IP链接后，利用HTTP的POST方法将感知数据文件上传至数据收集平台指定的文件夹中；

5)数据收集平台接收感知数据文件后数据收集平台中的Flume将数据收集平台指定数据接收文件夹中的新增感知数据文件自动化的导入到数据中心Hadoop集群中的HDFS中；

6)Hadoop集群定时启动MapReduce程序对Hadoop集群中的HDFS的文件目录进行探测，当发现HDFS中有新增文件时将新增文件进行压缩，并将感知数据文件进行字段提取及分类，分类后的数据存放于Hadoop集群的HDFS中；

7)Hadoop集群中的Sqoop自动化的将HDFS中处理后的数据导入到数据收集平台中的MySQL数据库中。MySQL数据库中具有两个表，一个用于存放无线电环境信息的历史数据，另一个用于实时存放无线电环境信息。Sqoop将数据同时导入到MySQL数据库中，数据导入之前将触发MySQL数据库中用于存放无线电环境信息历史数据表格中的触发器，同时删除实时存放无线电环境信息表格中的数据；

8)数据收集平台中的Web服务器应用Ajax技术对实时存放无线电环境信息表格进行探测，当表格中的数据有更新时则将数据实时动态的显示在Web数据展示页面中。

下面参照附图4，具体说明基于移动群智感知的无线电环境地图数据收集系统的数据上传实现流程：

1)感知用户开启无线电环境信息数据采集终端APP；

2)数据采集终端APP首先判断用户移动智能终端中用于存放感知文件的文件夹中是否有感知文件。如果文件夹中没有感知数据文件则调用数据采集程序进行无线电环境信息的采集并将采集的无线电环境信息写入以采集时间命名的文件中；

3)如果用于存放感知文件的文件夹中有感知文件，数据采集终端将向tomcat服务器发送一个建立TCP/IP连接的请求。再经历的三次握手之后建立TCP/IP连接；

4)数据采集终端调用数据上传程序中的post()方法将感知文件上传至Web服务器中；

5)Web服务调用servlet中的get()方法接收数据采集终端所发送的感知文件。并判断是否接收成功，如果没有接收成功则反馈给数据采集终端进行感知文件的重新上传；

6)如果上传成功则将感知数据文件存放于Web服务器中的指定文件夹中，并退出应用程序。

下面参照附图5，具体说明基于移动群智感知的无线电环境地图数据收集系统的数据处理及展示实现流程：

1)开启Web服务器中的Flume对服务器中用于接收由数据采集终端所上传的感知数据文件夹进行监测，如果文件夹中有新的文件产生则将新的文件自动化的上传至数据中心Hadoop集群中的HDFS中；

2)当Hadoop集群中HDFS有新的文件增加时，将新增加的文件进行融合并运行MapReduce程序对HDFS中的文件进行字段提取及处理；

3)MapReduce程序处理之后的数据存放于Hadoop集群中的HDFS中，Hadoop集群中的sqoop自动化的将HDFS中的数据上传至Web服务器中的MySQL相对应的表格中；

4)当sqoop向Web服务器中的MySQL数据库相对应的表格中插入数据时，将触发数据库中的触发器，此时所编写的Ajax函数将自动的将数据库中的新增数据自动化的导入到数据展示页面中。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。