基于压缩、分割技术的物联网大数据传输中间件的制作方法
【技术领域】
[0001]本发明涉及一种传输中间件，尤其涉及一种基于压缩、分割技术的物联网大数据传输中间件。
【背景技术】
[0002]目前大部分的物联网终端的数据由采集工具采集后，都是直接发送或调用接口发送到后台处理服务，进行数据的存储和处理，这种方式在面向海量的终端数据时，传输效率较低，会极大的占用网络带宽资源和耗费大量的传输时间，尤其是在广域网环境下，这种资源占用和时间耗费更是巨大的，即使部分先进的系统采用了压缩技术，但是也只是最简单的数据压缩，并未达到一个很好的效率，同时也仅仅是针对部分特殊的需求或自己系统定制性开发的，并不具备通用性。
【发明内容】
[0003]本发明的目的就在于为了解决上述问题而提供一种基于压缩、分割技术的物联网大数据传输中间件。
[0004]本发明通过以下技术方案来实现上述目的:
[0005]本发明包括压缩组件和分割组件，所述压缩组件通过zlib压缩算法进行运行，所述分割组件将海量数据中具有共性的数据进行相应的分割处理，提取共性的数据和非共性的数据，分别传输；通过XML配置参数，达到通用化的分割，提供原始数据的XML信息管理和分割参数的XML信息管理，系统通过配置相关的XML信息后，将数据提交给组件处理，组件根据相关的XML配件文件，进行相应的分割操作，形成分割后的数据，数据通过分割后，提取了共性数据，所有的共性数据传输一个样例即可，后调用相应的传输接口进行数据传输，传输接口收到相关数据后，通过分割组件将共性数据与非共同性数据进行组装还原，得到原始的传输数据，之后再进行相应的处理逻辑。
[0006]进一步，所述压缩组件通过数据发送端将原始数据发送至压缩组件压缩，压缩后的数据通过发送节点利用网络传输发送至接收节点，后将压缩后的数据发送至压缩组件解压，恢复为原始数据进行存储处理后储存在数据库内。
[0007]进一步，所述分割组件通过数据发送端将原始数据发送至分割组件分割，分割后的数据通过发送节点利用网络传输发送至接收节点，后将分割后的数据发送至分割组件还原，恢复为原始数据进行存储处理后储存在数据库内。
[0008]本发明的有益效果在于:
[0009]本发明通过本专利的压缩、分割之后的数据量，根据数据的类型不同，较以往的数据传输方式数据量减少在30%?70之间；通过对数据的有效分割，之后对数据进行分别传输或者压缩传输，较以往完整的传输可以有效的减少数据的传输理，尤其是针对批量有规律和共性的数据，减少的数据传输量将是巨大的。
【附图说明】
[0010]图1是本发明所述基于压缩、分割技术的物联网大数据传输中间件的结构示意图；
[0011]图2是本发明所述压缩组件的流程结构示意图；
[0012]图3是本发明所述分割组件的流程结构示意图；
[0013]图4是本发明所述压缩与分割的综合应用的流程结构示意图；
【具体实施方式】
[0014]下面结合附图对本发明作进一步说明:
[0015]如图1、图2和图3所示:本发明包括压缩组件和分割组件，所述压缩组件通过zlib压缩算法进行运行，所述分割组件将海量数据中具有共性的数据进行相应的分割处理，提取共性的数据和非共性的数据，分别传输；通过XML配置参数，达到通用化的分割，提供原始数据的XML信息管理和分割参数的XML信息管理，系统通过配置相关的XML信息后，将数据提交给组件处理，组件根据相关的XML配件文件，进行相应的分割操作，形成分割后的数据，数据通过分割后，提取了共性数据，所有的共性数据传输一个样例即可，后调用相应的传输接口进行数据传输，传输接口收到相关数据后，通过分割组件将共性数据与非共同性数据进行组装还原，得到原始的传输数据，之后再进行相应的处理逻辑，所述压缩组件通过数据发送端将原始数据发送至压缩组件压缩，压缩后的数据通过发送节点利用网络传输发送至接收节点，后将压缩后的数据发送至压缩组件解压，恢复为原始数据进行存储处理后储存在数据库内，所述分割组件通过数据发送端将原始数据发送至分割组件分割，分割后的数据通过发送节点利用网络传输发送至接收节点，后将分割后的数据发送至分割组件还原，恢复为原始数据进行存储处理后储存在数据库内。
[0016]本发明的工作原理如下:
[0017]如图2所示，压缩组件通过封装压缩算法zlib，提供压缩和解压缩的功能，系统通过调用组件功能来实现相应的压缩和解压缩功能。系统数据先经由压缩组件进行压缩操作，生成压缩后的数据，通过传输通道，传输到接收端，接收端收到数据后，经由压缩组件进行解压缩操作，得到原始的数据再进行处理。压缩组件在使用过程中，系统只需要调用相应的组件接口，传入相应的数据即可以得到压缩后的数据或解压后的数据。
[0018]图3为分割数据传输的流程图，要使用分割组件对数据进行分割处理，需要先配置相应的数据原始格式XML信息记录和分割参数信息，之后调用分割组件传输数据，则可以得到分割后的数据，包括公有和私有的数据记录，并用相关的标识关联两关的数据，然后使用传输通道传输，并由接收端接收，接收端接收后，根据相应的XML参数信息，将公有数据和私有数据进行组合，得到原始的数据，然后进行处理和存储；
[0019]图4展示了一个综合利用压缩和分割技术的数据传输过程。其主要是先对原始数据进行分割，然后再压缩分割后的数据进行传输，当数据接收后，对数据进行又进行反向操作，解压后再封装，完成数据的一次压缩分割传输操作。
[0020]本领域技术人员不脱离本发明的实质和精神，可以有多种变形方案实现本发明，以上所述仅为本发明较佳可行的实施例而已，并非因此局限本发明的权利范围，凡运用本发明说明书及附图内容所作的等效结构变化，均包含于本发明的权利范围之内。
【主权项】
1.一种基于压缩、分割技术的物联网大数据传输中间件，其特征在于:包括压缩组件和分割组件，所述压缩组件通过zlib压缩算法进行运行，所述分割组件将海量数据中具有共性的数据进行相应的分割处理，提取共性的数据和非共性的数据，分别传输；通过XML配置参数，达到通用化的分割，提供原始数据的XML信息管理和分割参数的XML信息管理，系统通过配置相关的XML信息后，将数据提交给组件处理，组件根据相关的XML配件文件，进行相应的分割操作，形成分割后的数据，数据通过分割后，提取了共性数据，所有的共性数据传输一个样例即可，后调用相应的传输接口进行数据传输，传输接口收到相关数据后，通过分割组件将共性数据与非共同性数据进行组装还原，得到原始的传输数据，之后再进行相应的处理逻辑。2.根据权利要求1所述的基于压缩、分割技术的物联网大数据传输中间件，其特征在于:所述压缩组件通过数据发送端将原始数据发送至压缩组件压缩，压缩后的数据通过发送节点利用网络传输发送至接收节点，后将压缩后的数据发送至压缩组件解压，恢复为原始数据进行存储处理后储存在数据库内。3.根据权利要求1所述的基于压缩、分割技术的物联网大数据传输中间件，其特征在于:所述分割组件通过数据发送端将原始数据发送至分割组件分割，分割后的数据通过发送节点利用网络传输发送至接收节点，后将分割后的数据发送至分割组件还原，恢复为原始数据进行存储处理后储存在数据库内。
【专利摘要】本发明公开了一种基于压缩、分割技术的物联网大数据传输中间件，包括压缩组件和分割组件，所述压缩组件通过zlib压缩算法进行运行，所述分割组件将海量数据中具有共性的数据进行相应的分割处理，提取共性的数据和非共性的数据，分别传输。本发明通过本专利的压缩、分割之后的数据量，根据数据的类型不同，较以往的数据传输方式数据量减少在30％～70之间；通过对数据的有效分割，之后对数据进行分别传输或者压缩传输，较以往完整的传输可以有效的减少数据的传输理，尤其是针对批量有规律和共性的数据，减少的数据传输量将是巨大的。
【IPC分类】G06F17/30
【公开号】CN105302824
【申请号】CN201410304671
【发明人】周俊, 王义桥, 邓猛
【申请人】成都卡德智能科技有限公司
【公开日】2016年2月3日
【申请日】2014年7月1日