多对一型内外网大数据单向传输通信系统及其方法
【技术领域】
[0001]本发明涉及计算机网络信息处理技术，尤其涉及一种多对一型内外网大数据单向传输通信系统及其方法，具有可扩展性、低成本和高安全性的优势。
【背景技术】
[0002]随着计算机网络的飞速发展和移动互联网业务市场竞争的加剧，很多厂商的信息回收面临着巨大挑战。很多厂商为了采集本公司的数据，将处理数据的服务器暴露在外网环境中，这无疑是给用户私人信息和厂商的商业机密带了了巨大隐患。
[0003]在此环境下，很多厂商构建的通信系统包括依次连通的外网采集器、内外网隔离服务器和内网服务器，在处理信息的内网服务器和外网采集器之间架设一个起到防火墙作用的内外网隔离服务器。
[0004]但是这又带来了另一个巨大的问题，由于在内网服务器和外网采集器之间加了另一个转发数据的内外网隔离服务器，这样会导致由内外网隔离服务器转发给内网服务器在数据信息的结构上发生了很大的变化，可能导致外网采集器的信息处理程序无法正确处理采集器发送的数据；而很多厂商原有的接收处理信息程序往往都是复杂而且代码量巨大的，改动数据协议不仅仅是信息处理服务器一端的问题，数以万计的数据采集器上的发送数据协议也需要修改，这无疑给企业和用户带了巨大的不便，也为企业带了了巨大的经济投入。
【发明内容】
[0005]本发明的目的在于克服现有技术存在的问题，在不改动原有信息处理程序和发送程序的基础上，提供一种多对一型内外网大数据单向传输通信系统及其方法，即一种在内外网隔离服务器上运行高效可靠的数据处理和重组原协议的程序，从而不影响采集器数据的发送，也可以将采集器原通信协议格式发送给数据处理端，以解决原传输体系面临大量修改代码的问题，同时也为数据传输提供了高可靠性和高安全性。
[0006]实现本发明的目的技术方案是:
设计一种具备高读写能力、高数据处理能力、随时可扩充和易于管理的计算机网络海量数据处理程序来代替不必要的代码修改和数据协议的重新定义，它不但能解决目前计算机网络海量数据收集中既要保证数据安全处理的问题，最重要的是能在不改动原有系统的任何代码和结构下保证数据的处理无误。
[0007]一、多对一型内外网大数据单向传输通信系统
包括依次连接的采集器单元、外网服务器单元和内网服务器单元。
[0008]二、多对一型内外网大数据单向传输通信方法具体地说，本方法包括以下步骤:
①设置采集器单元中采集器的配置文件(如目的端口和目的IP)；
②将采集器单元采集的数据发送至外网服务器单元； ③外网服务器单元的网口抓包模块抓取连接采集器单元一端网口的数据包；
④外网服务器单元中的数据处理重组模块运行协议重组算法程序，对外网服务器单元的网口抓包模块抓取的数据包进行数据接收和数据重组，识别采集器单元发送的数据，并进行协议重组；
该程序保证在大量爆发性多数据接入时，能高效地抓取外网服务器单元的网卡数据，并进行任意协议层数据分析，丢弃无用数据，重组采集器发送的数据，并对不同的流不同的信息包进行分离重组，保证信息的完整性和原始性，重组完成后，由网口发包模块单向传输给内网服务器单元；
⑤内网服务器单元将外网服务器单元传输来的数据进行接收并在内网进行相关处理。
[0009]本发明具有下列特点:
①本系统在数据连接上无需在采集器端更改发送代码和数据传输协议格式；
②在高峰时段，海量数据涌入的时候，本系统从网口抓取采集器发送的数据信息，进行多线程处理，保证数据无丢失和高速处理；
③在重组数据时，采用MAP容器和单向链表并用的方式，对每一条TCP流的目的地址、原地址、目的端口、源端口、传输协议进行hash运算,确定一个唯一的hash值用以确定每一条不同的TCP流，而后再根据不同数据流中的seq号来重组TCP流，从而对每一条TCP流进行重组。
[0010]依据上述特点，本发明在使用中收到下列的积极效果:
①利用TCP五元素(目的地址、原地址、目的端口、源端口和传输协议)以确定标识不同TCP流的hash值,并在每一条hash值后挂载链表,使用seq对数据包数据进行重组,这样使得数据包无论在传输过程中是否受到网络干扰造成数据包达到顺序不同都不会影响数据的重组，具有较高的可靠性；
②由于分析重组包程序仅在外网服务器运行，这样对于海量的采集器系统和大规模数据分析服务器来说均不需做修改，可靠而安全。
[0011]总之，本发明能保证在数据处理服务器转移至内网的基础上，无需修改采集程序和数据处理分析程序，对已拆包分析的数据，进行协议还原，从而达到信息传输的高效性、可靠性和安全性。
【附图说明】
[0012]图1是本系统的结构方框图；
其中:
100—采集器单元，
101—第I采集器，102—第2采集器，……
1N—第N采集器，N为自然数，N〈65535 ；
200—夕卜网服务器单元，
201—网口抓包模块，
202—数据处理重组模块；
203—网口发包模块；
300—内网服务器单元， 301—内网处理模块；
图2是数据接收流程图；
图3是数据重组流程图。
【具体实施方式】
[0013]以下结合附图和实施例详细说明:
一、系统
1、总体
如图1，本系统包括依次连接的采集器单元100、外网服务器单元200和内网服务器单元 300。
[0014]2、功能块
I)采集器单元100
采集器单元100包括第I采集器101、第2采集器102……第N采集器10N，
N是自然数，I ( N<65535 ；
数据由第I采集器101到第N采集器1N采集，并根据前期配置的目的端口和目的IP发送至外网服务器单元200。
[0015]2)外网服务器单元200
外网服务器单元200的硬件配置是服务器主机；
外网服务器单元200的软件由数据单向流动的依次交互的网口抓包模块201、数据处理重组模块202和网口发送模块203组成。
[0016](I)网口抓包模块201
网卡抓包模块201的硬件配置是一块千兆网卡；
网卡抓包模块201的软件主要是适配服务器的网卡驱动，数据处理重组模块202可调用系统函数从该网卡抓包模块201的硬件设备千兆网卡上抓取收到的网络数据包。
[0017](2)数据处理重组模块202
数据处理重组模块202的硬件配置是服务器主机；
数据处理重组模块202的软件主要是协议重组算法程序。
[0018](3 )网口发送模块203
网卡抓包模块203的硬件配置是一块千兆网卡；
网卡抓包模块203的软件主要是适配服务器的网卡驱动，数据处理重组模块202可调用系统函数将重组后的数据经该网卡发送至内网服务器300。
[0019]3)内网服务器单元300
内网服务器单元300的硬件配置是服务器主机。
[0020]内网服务器单元300的软件为内网处理模块301 ；
由内网服务器单元300接收外网服务器单元200发送来的数据，并根据需求进行相应处理。
[0021]内网服务器单元300设置有内网处理模块301 ；
内网处理模块301的硬件配置是服务器主机；
内网处理模块301的软件为根据内网对数据的处理要求而设计的网络数据分析及处理程序。
[0022]3、工作原理:
①从第I采集器单元101到第N采集器10N，分别将采集的数据根据配置的目的端口、目的IP发送至外网服务器单元200 ；
②外网服务器单元200的网口抓包模块201对采集器单元100发送而来的数据进行网口抓包，外网服务器单元200中数据处理重组模块202中运行有协议重组算法程序，该程序主要完成数据接收处理和数据重组处理，其主要功能为:首先数据处理重组模块202对网口抓包模块201抓取的数据的进行数据接收处理，将数据按协议归类，将接收到IP数据包进行拆包分析应用层数据，而后将有用数据过滤留下，无用数据丢弃；然后数据处理重组模块202对数据接收处理后的数据进行数据重组处理，按照原有的数据TCP流进行重组，将一条完整的数据信息恢复；对于TCP的重组，本方法采用MAP与链表共用的方式进行数据流数据的还原，将不同TCP流的五元素:源地址、目的地址、源端口、目的端口和通信协议进行hash运算，将所得hash值存入MAP容器的第一元素，用以区分不同TCP流，在容器的第二元素存放流的链表节点，每一个节点表示一个流的一个完整数据；节点中有该数据包的长度，seq范围值，以及一个字节长度为数据包大小的内存块，当内存块被写满表示该流的该数据包重组完成，将该数据包发送并删除节点，则完成一个数据包的流重组；最后数据处理重组模块202进行数据重组之后，将重组数据传给网口发送模块203，网口发送模块203将重组后的数据发送给内网服务器单元300 ；
③内网服务器单元300由服务器主机的网卡对外网服务器单元200发送来的数据进行接收，由内网服务器单元300中的内网处理模块301对数据根据需要进行相关处理。
[0023]二、方法
数据处理重组模块202中运行