基于安全无线传输大数据处理系统的制作方法
【专利摘要】本发明公开了一种基于安全无线传输大数据处理系统，涉及数据处理系统。本系统包括依次连通的前端采集设备（10）、3G/4G无线传输设备（20）和集群服务器设备（30）；前端采集设备（10）包括内嵌的前后交互的采集数据模块（11）和数据加密模块（12）；集群服务器设备（30）包括内嵌的依次交互的大数据解密模块（31）、大数据存储模块（32）和大数据分析检索模块（33）。本发明采集数据量大，实时上传；数据传输过程中加密处理，传输安全性高；采用无线进行传输，布网方便且便于维护；集群服务器处理大数据。
【专利说明】
基于安全无线传输大数据处理系统
技术领域
[0001]本发明涉及数据处理系统，尤其涉及一种基于安全无线传输大数据处理系统。
【背景技术】
[0002]随着互联网的迅猛发展，各种信息数据采集量也越来越多；敏感数据集中，服务对象范围进一步拓展，应用情景更为复杂，数据应用管理安全风险需要进行有效控制;传输过程中组网的传输媒介也主要依赖铜缆或光缆，构成有线网络，但有线网络在某些场合要受到布线的限制:布线、改线工程量大;线路容易损坏;网中的各节点不可移动，特别是当要把相离较远的节点联接起来时，敷设专用通信线路的布线施工难度大、费用高、耗时长，对正在迅速扩大的联网需求形成了严重的瓶颈阻塞。
[0003]可见，传统的数据采集传输管理存在一定的局限性，需要改进。
【发明内容】
[0004]本发明的目的就在于克服现有数据采集传输处理的缺点和不足，提供一种基于安全无线传输大数据处理系统。
[0005]海量前端采集的数据经过加密处理，无线传输上传集群服务器后解密还原数据进行分析存储处理，具有安全传输和大数据高并发处理的优势，数据存储容量大，存储数据的可靠性、完整性和一致性高。
[0006]本发明的目的是这样实现的:
加密后的海量前端采集数据通过无线传输到集群服务器进行解密，进入存储系统之前，需要进行数据标准化处理，即对数据进行提取、清洗、关联、比对、标注等操作，提高数据的质量和关联性，解决不同线路和途径获取的，不同来源数据的数据重复、格式不一致、关联不充分等问题，使数据完整性、正确性、一致性、简洁性、访问高效性得到保障，数据标准化处理部分满足实时性、高效性、易维护性、高扩展性的需求。
[0007]具体地说:
一、基于安全无线传输大数据处理系统(简称系统)
本系统包括依次连通的前端采集设备、3G/4G无线传输设备和集群服务器设备。
[0008]所述的前端采集设备包括内嵌的前后交互的采集数据模块和数据加密模块； 所述的集群服务器设备包括内嵌的依次交互的大数据解密模块、大数据存储模块和大数据分析检索模块。
[0009 ] 二、基于安全无线传输大数据处理方法(简称方法)
本方法包括下列步骤:
①前端采集设备中的采集数据模块采集数据，加密模块将采集到的数据进行加密；
②3G/4G无线传输设备20将加密数据进行上报集群服务器设备；
③集群服务器设备接受3G/4G无线传输设备上报的前端采集到的加密数据，通过大数据解密模块进行解密，解密后的数据通过大数据存储模块进行数据存储入数据库； ④集群服务器设备将存储的数据通过大数据分析检索模块进行分析和用户检索。
[0010]本发明具有下列优点和积极效果:
①采集数据量大，实时上传；
②数据传输过程中加密处理，传输安全性高；
③采用无线进行传输，布网方便且便于维护；
④集群服务器处理大数据。
【附图说明】
[0011]图1是本系统的结构方框图；
其中:
10 一前端米集设备，
11一采集数据模块，12—数据加密模块；
20—3G/4G无线传输设备；
30—集群服务器设备；
31—大数据解密模块，32—大数据存储模块，33—大数据分析检索模块。
【具体实施方式】
[0012]一、系统
1、总体
如图1，本系统包括依次连通的前端采集设备10、3G/4G无线传输设备20和集群服务器设备30。
[0013]2、功能设备
I)前端采集设备10
前端采集设备10包括内嵌的前后交互的采集数据模块11和数据加密模块12。
[0014](I)采集数据模块11
采集数据模块11采用嵌入式采集数据设备，在保证性能的情况下成本相对较低，可定制其功能。
[0015](2)数据加密模块12
数据加密模块采用CJSON、RSA-2048、BASE64、HMAC算法进行加密。
[0016]2)3G/4G无线传输设备20 一种设备支持3G/4G拨号无线上网。
[0017]3)集群服务器设备30
集群服务器设备30包括内嵌的依次交互的大数据解密模块31、大数据存储模块32和大数据分析检索模块33。
[0018](I)大数据解密模块31
大数据解密模块31是一种支持对CJS0N、RSA-2048、BASE64、HMAC算法进行加密后的数据进行解密的模块。
[0019](2)大数据存储模块32
大数据存储模块32是一种采用hadoop/hbase分布式海量数据存储，具有横向扩展性和数据可靠性，能处理PB级数据的模块。
[0020](3)大数据分析检索模块33
大数据分析检索模块33是一种采用多种数据库混合存储策略设计数据，用户使用时可以根据不同的规则快速地分析出结果的模块。
[0021 ] 工作机理
本发明中前端采集设备10包含的采集数据模块11开启监听模式捕获一定范围内无线电信号进行各种协议分析，解析出目标数据存入内存池中，当内存池中采集的数据到达一定量时，数据加密模块12采用加解密算法协议(如CJS0N、RSA-2048、BASE64、HMAC)对数据进行加密处理，3G/4G无线传输设备20将加密后的数据通过互联网传输至集群服务器设备30，集群服务器设备30中的大数据解密模块31接收到传输过来的加密数据进行解密，大数据存储模块32采用hadoop/hbase分布式海量数据存储，具有横向扩展性和数据可靠性，能处理PB级数据，同时采用spark技术具备大数据分析实时计算能力和多迭代数据运算，运用hadoop的map/reduce技术可以离线批处理计算任务，在数据流的处理过程中基于storm/spark的流式模型处理数据，让处理模块之间更加松耦合，可以实现对工作流的动态配置和优化;大数据分析检索模块33采用多种数据库混合存储策略设计数据，对于加密出的数据采用基于内存数据库的mongodb来存储TB级别数据，用户使用时可以根据不同的规则快速地分析出结果，对数据进行检索，对于系统管理数据和临时数据采用基于oracle关系型数据库，可以更好地设计系统业务流程。
【主权项】
1.一种基于安全无线传输大数据处理系统，其特征在于: 包括依次连通的前端采集设备(10)、3G/4G无线传输设备(20)和集群服务器设备(30); 前端采集设备(10)包括内嵌的前后交互的采集数据模块(11)和数据加密模块(12); 集群服务器设备(30)包括内嵌的依次交互的大数据解密模块(31)、大数据存储模块(32)和大数据分析检索模块(33)。2.基于权利要求1所述系统的大数据处理方法，其特征在于包括下列步骤: ①前端采集设备(10)中的采集数据模块(11)采集数据，加密模块(12)将采集到的数据进行加密； ②3G/4G无线传输设备(20)将加密数据进行上报集群服务器设备(30); ③集群服务器设备(30)接受3G/4G无线传输设备(20)上报的前端采集到的加密数据，通过大数据解密模块(31)进行解密，解密后的数据通过大数据存储模块(32)进行数据存储入数据库； ④集群服务器设备(30)将存储的数据通过大数据分析检索模块(33)进行分析和用户检索。
【文档编号】H04L29/06GK106060805SQ201610345910
【公开日】2016年10月26日
【申请日】2016年5月23日
【发明人】许明, 舒文兵
【申请人】武汉虹旭信息技术有限责任公司