一种保障流量采集完整性的方法及装置与流程

本发明涉及信息技术领域，尤其是流量采集技术领域中保证流量采集完整性提高采集数据处理效率的技术领域。

背景技术

随着网络安全法的发布，国家对信息安全、网络安全越来越重视，工信部等部委制定了很多的制度、法规、标准要求各省基础运营商在网络出口部署信息安全、网络安全等监管系统，这些监管系统都需要从网络出口部署采集设备，采集现网流量。

目前行业中的监管系统由两部分组成，一部分是前端网络接入设备，一部分是后端流量采集设备，两部分设备之间是独立工作状态。前端网络接入设备完成流量接入功能，将后端流量采集设备需要的原始流量复制一份出来给后端流量采集设备。对前端网络接入设备来说，流量复制出来，不管后端设备是否正常工作，流量都是持续送到后端设备上；对后端流量采集设备来说，不管自己的系统是否正常，都不会通知前端网络接入设备。在实际工作中，由于环境因素和故障率因素，往往后端流量采集设备会出现短暂故障，以目前的工作方式，会造成信息安全、网络安全监管系统运行过程中流量不全，丢失数据现象，从而影响信息安全、网络安全等监管系统的实战效果。

针对现有技术的不足本发明提出了一种保障流量采集完整性的方法及装置，目的是为了解决安全监管系统在流量采集过程中，由于后端流量采集设备故障或者设备上程序异常导致流量采集不全的问题，从而保证影响信息安全、网络安全等监管系统的实战效果。

技术实现要素：

本发明的一种保障流量采集完整性的装置，由前端网络接入设备的前端网络接入设备新增组件、流量分配端口、通信端口和后端流量采集设备的后端流量采集设备新增组件、流量接收端口、上报端口组成；前端网络接入设备新增组件包括：指令模块、解析模块、调度模块；后端流量采集设备新增组件包括：硬件状态采集模块、进程状态采集模块、上报模块。

本发明的工作原理：后端流量采集设备与前端网络接入设备之间建立专用通讯协议，前端网络接入设备作为服务端，后端流量采集设备作为客户端，客户端上报状态到服务端，服务端根据状态进行判断进行保障操作；服务端启动监听程序，等待客户端的连接；

解析模块作为监听程序启动，监听端口号由流量分配端口进行配置；解析模块监听后端流量采集设备的上报端口上报的信息并判断所接收的信息是否符合协议标准，符合协议标准的信息进行解析，不符合协议标准的信息丢弃，协议标准是：

dmac加6字节内容，dmac加6字节内容，smac加6字节内容，type加2字节内容，ip加20字节内容，udp加8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；

协议标准的解释是：

dmac(6byte)目的mac地址，

smac(6byte)源mac地址，

type(2byte)以太类型，

ip(20byte)ip数据包包头，

udp(8byte)udp头部，指定端口号与配置文件中一致，

标识符(4byte)固定填写0x53454d50，

消息类型(1byte)固定填写0x48，

消息编码(1byte)固定填写0x6f，

消息序列(1byte)随机生成0-100，

消息长度(2byte)0x6，

机箱号(1byte)前端网络接入设备所在的机箱号，

槽位号(1byte)前端网络接入设备的板卡槽位号，

子卡号(1byte)前端网络接入设备上的板卡槽上的子卡号，

端口号(1byte)前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，

进程工作状态(1byte)后端流量采集设备软件工作状态，

硬件工作状态(1byte)后端流量采集设备硬件自身工作状态；

解析模块对符合协议标准的后端流量采集设备的上报端口上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态有任何一项解析结果为异常状态时，解析模块通知指令模块该后端流量采集设备异常；指令模块收到该后端流量采集设备异常的信息，发送关闭该后端流量采集设备对应的前端网络接入设备的物理端口的指令给调度模块；调度模块收到关闭该后端流量采集设备对应的前端网络接入设备的物理端口的指令后关闭该后端流量采集设备对应的前端网络接入设备的物理端口；

解析模块对符合协议标准的后端流量采集设备的上报端口上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态全部正常时，解析模块通知指令模块该后端流量采集设备正常；指令模块收到该后端流量采集设备正常的信息，发送启用该后端流量采集设备对应的前端网络接入设备的物理端口的指令给调度模块；调度模块收到启用该后端流量采集设备对应的前端网络接入设备的物理端口的指令后启用该后端流量采集设备对应的前端网络接入设备的物理端口。

前端网络接入设备的流量分配端口负责配置前端网络接入设备的物理端口与后端流量采集设备的流量接收端口的物理端口的对应关系；流量分配端口将配置完成的物理端口的流量复制给对应的流量接收端口的物理端口，流量复制的方式包括分光方式和镜像方式；流量分配端口配置的信息包括：监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备的物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。

前端网络接入设备的通信端口负责接收后端流量采集设备的上报端口上报的信息，并将上报的信息发送给解析模块。

后端流量采集设备的流量接收端口负责配置后端流量采集设备的流量接收端口的物理端口与前端网络接入设备的物理端口的对应关系；流量接收端口配置的信息包括：前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。

后端流量采集设备的后端流量采集设备新增组件的硬件状态采集模块负责采集后端流量采集设备的硬件状态信息，硬件状态信息包括网卡状态信息、cpu状态信息、内存状态信息、硬盘状态信息；硬件状态采集模块负责配置硬件状态判定条件，硬件状态判定条件包括：网卡持续无流量时长，超过该时长定为网卡状态异常；网卡持续错数据包时长，超过该时长定为网卡状态异常；cpu利用率和cpu利用率持续时长，超过该cpu利用率和cpu利用率持续时长定为cpu状态异常；内存利用率和内存利用率持续时长，超过该内存利用率和内存利用率持续时长定为内存状态异常；硬盘利用率，超过该硬盘利用率定为硬盘异常；硬件工作状态包括硬件工作状态正常信息和硬件工作状态异常信息，硬件状态采集模块根据硬件状态判定条件实时判断后端流量采集设备的网卡状态、后端流量采集设备的cpu状态、后端流量采集设备的内存状态、后端流量采集设备的硬盘状态，当网卡状态、cpu状态、内存状态、硬盘状态中任何一种状态异常，硬件状态采集模块将硬件工作状态异常信息发送给上报模块；当网卡状态、cpu状态、内存状态、硬盘状态全部正常时，硬件状态采集模块将硬件工作状态正常信息发送给上报模块。

后端流量采集设备的后端流量采集设备新增组件的进程状态采集模块负责采集报文进程状态、工作线程状态、输出日志状态，进程工作状态包括进程工作状态正常信息和进程工作状态异常信息，当报文进程、工作线程、输出日志全部正常时，进程状态采集模块将进程工作状态正常信息发送给上报模块；当报文进程、工作线程、输出日志有任意一种异常时，进程状态采集模块将进程工作状态异常信息发送给上报模块。

上报模块将后端流量采集设备的机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态按照约定的协议标准发送给上报端口，上报端口通过udp传送通道，每隔一段时间上报给前端网络接入设备的通信端口，协议标准是：

dmac加6字节内容，dmac加6字节内容，smac加6字节内容，type加2字节内容，ip加20字节内容，udp加8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；

协议标准的解释是：

dmac(6byte)目的mac地址，

smac(6byte)源mac地址，

type(2byte)以太类型，

ip(20byte)ip数据包包头，

udp(8byte)udp头部，指定端口号与配置文件中一致，

标识符(4byte)固定填写0x53454d50，

消息类型(1byte)固定填写0x48，

消息编码(1byte)固定填写0x6f，

消息序列(1byte)随机生成0-100，

消息长度(2byte)0x6，

机箱号(1byte)前端网络接入设备所在的机箱号，

槽位号(1byte)前端网络接入设备的板卡槽位号，

子卡号(1byte)前端网络接入设备上的板卡槽上的子卡号，

端口号(1byte)前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，

进程工作状态(1byte)后端流量采集设备软件工作状态，

硬件工作状态(1byte)后端流量采集设备硬件自身工作状态。

有益效果，实现本发明解决了以下两个问题：1、由于流量采集设备自身硬件故障引起的流量无法采集完整的问题，2、由于流量采集设备软件故障引起的流量无法采集完整的问题。使用本发明使得信息安全、网络安全等监管系统采集的流量更全了，为监管系统提供了更丰富的数据，避免了丢失数据而造成的影响。

附图说明

图1是本发明的系统结构图；

图2是本发明的工作流程图。

具体实施方式

实施例一

如图1所示，本发明的一种保障流量采集完整性的装置，由前端网络接入设备a的前端网络接入设备新增组件1、流量分配端口2、通信端口3和后端流量采集设备b的后端流量采集设备新增组件4、流量接收端口5、上报端口6组成；前端网络接入设备新增组件1包括：指令模块11、解析模块12、调度模块13；后端流量采集设备新增组件4包括：硬件状态采集模块41、进程状态采集模块42、上报模块43。

解析模块12作为监听程序启动，监听端口号由流量分配端口2进行配置；解析模块12监听后端流量采集设备b的上报端口6上报的信息并判断所接收的信息是否符合协议标准，符合协议标准的信息进行解析，不符合协议标准的信息丢弃，协议标准是：

dmac加6字节内容，dmac加6字节内容，smac加6字节内容，type加2字节内容，ip加20字节内容，udp加8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；

协议标准的解释是：

dmac(6byte)目的mac地址，

smac(6byte)源mac地址，

type(2byte)以太类型，

ip(20byte)ip数据包包头，

udp(8byte)udp头部，指定端口号与配置文件中一致，

标识符(4byte)固定填写0x53454d50，

消息类型(1byte)固定填写0x48，

消息编码(1byte)固定填写0x6f，

消息序列(1byte)随机生成0-100，

消息长度(2byte)0x6，

机箱号(1byte)前端网络接入设备所在的机箱号，

槽位号(1byte)前端网络接入设备的板卡槽位号，

子卡号(1byte)前端网络接入设备上的板卡槽上的子卡号，

端口号(1byte)前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，

进程工作状态(1byte)后端流量采集设备软件工作状态，

硬件工作状态(1byte)后端流量采集设备硬件自身工作状态；

解析模块12对符合协议标准的后端流量采集设备b的上报端口6上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态有任何一项解析结果为异常状态时，解析模块12通知指令模块11该后端流量采集设备b异常；指令模块11收到该后端流量采集设备b异常的信息，发送关闭该后端流量采集设备b对应的前端网络接入设备a的物理端口的指令给调度模块13；调度模块13收到关闭该后端流量采集设备b对应的前端网络接入设备a的物理端口的指令后关闭该后端流量采集设备b对应的前端网络接入设备a的物理端口；

解析模块12对符合协议标准的后端流量采集设备b的上报端口6上报的信息进行解析，并判断其中的进程工作状态和硬件工作状态，当进程工作状态和硬件工作状态全部正常时，解析模块12通知指令模块11该后端流量采集设备b正常；指令模块11收到该后端流量采集设备b正常的信息，发送启用该后端流量采集设备b对应的前端网络接入设备a的物理端口的指令给调度模块13；调度模块13收到启用该后端流量采集设备b对应的前端网络接入设备a的物理端口的指令后启用该后端流量采集设备b对应的前端网络接入设备a的物理端口。

前端网络接入设备a的流量分配端口2负责配置前端网络接入设备a的物理端口与后端流量采集设备b的流量接收端口5的物理端口的对应关系；流量分配端口2将配置完成的物理端口的流量复制给对应的流量接收端口5的物理端口，流量复制的方式包括分光方式和镜像方式；流量分配端口2配置的信息包括：监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备的物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。

前端网络接入设备a的通信端口3负责接收后端流量采集设备b的上报端口6上报的信息，并将上报的信息发送给解析模块12。

后端流量采集设备b的流量接收端口5负责配置后端流量采集设备b的流量接收端口5的物理端口与前端网络接入设备a的物理端口的对应关系；流量接收端口5配置的信息包括：前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备的流量接收端口的物理端口编号。

后端流量采集设备b的后端流量采集设备新增组件4的硬件状态采集模块41负责采集后端流量采集设备b的硬件状态信息，硬件状态信息包括网卡状态信息、cpu状态信息、内存状态信息、硬盘状态信息；硬件状态采集模块41负责配置硬件状态判定条件，硬件状态判定条件包括：网卡持续无流量时长，超过该时长定为网卡状态异常；网卡持续错数据包时长，超过该时长定为网卡状态异常；cpu利用率和cpu利用率持续时长，超过该cpu利用率和cpu利用率持续时长定为cpu状态异常；内存利用率和内存利用率持续时长，超过该内存利用率和内存利用率持续时长定为内存状态异常；硬盘利用率，超过该硬盘利用率定为硬盘异常；硬件工作状态包括硬件工作状态正常信息和硬件工作状态异常信息，硬件状态采集模块41根据硬件状态判定条件实时判断后端流量采集设备的网卡状态、后端流量采集设备的cpu状态、后端流量采集设备的内存状态、后端流量采集设备的硬盘状态，当网卡状态、cpu状态、内存状态、硬盘状态中任何一种状态异常，硬件状态采集模块41将硬件工作状态异常信息发送给上报模块43；当网卡状态、cpu状态、内存状态、硬盘状态全部正常时，硬件状态采集模块41将硬件工作状态正常信息发送给上报模块43。

后端流量采集设备b的后端流量采集设备新增组件4的进程状态采集模块42负责采集报文进程状态、工作线程状态、输出日志状态，进程工作状态包括进程工作状态正常信息和进程工作状态异常信息，当报文进程、工作线程、输出日志全部正常时，进程状态采集模块42将进程工作状态正常信息发送给上报模块6；当报文进程、工作线程、输出日志有任意一种异常时，进程状态采集模块42将进程工作状态异常信息发送给上报模块43。

上报模块43将后端流量采集设备的机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态按照约定的协议标准发送给上报端口6，上报端口6通过udp传送通道，每隔一段时间上报给前端网络接入设备a的通信端口3，协议标准是：

dmac加6字节内容，dmac加6字节内容，smac加6字节内容，type加2字节内容，ip加20字节内容，udp加8字节内容，标识符共4字节内容，消息类型共1字节内容，消息编码共1字节内容，消息序列共1字节内容，消息长度共2字节内容，机箱号共1字节内容，槽位号共1字节内容，子卡号共1字节内容，端口号共1字节内容，进程工作状态共1字节内容，硬件工作状态共1字节内容；

协议标准的解释是：

dmac(6byte)目的mac地址，

smac(6byte)源mac地址，

type(2byte)以太类型，

ip(20byte)ip数据包包头，

udp(8byte)udp头部，指定端口号与配置文件中一致，

标识符(4byte)固定填写0x53454d50，

消息类型(1byte)固定填写0x48，

消息编码(1byte)固定填写0x6f，

消息序列(1byte)随机生成0-100，

消息长度(2byte)0x6，

机箱号(1byte)前端网络接入设备所在的机箱号，

槽位号(1byte)前端网络接入设备的板卡槽位号，

子卡号(1byte)前端网络接入设备上的板卡槽上的子卡号，

端口号(1byte)前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口，

进程工作状态(1byte)后端流量采集设备软件工作状态，

硬件工作状态(1byte)后端流量采集设备硬件自身工作状态。

实施例二

参考图2，实现本发明的一种保障流量采集完整性的方法，包括如下步骤：

步骤s1、建立专用通信协议：后端流量采集设备与前端网络接入设备之间建立专用通讯协议，前端网络接入设备作为服务端，后端流量采集设备作为客户端，客户端上报状态到服务端，服务端根据状态进行判断进行保障操作。

步骤s2、服务端启动监听程序：监听程序是属于解析模块12的一部分功能，等待客户端的连接。

步骤s3、完成物理端口的对应关系配置：后端流量采集设备与前端网络接入设备都需要配置物理端口的对应关系。

1)前端网络接入设备配置内容如下：

监听服务端口号，前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，后端流量采集设备物理端口编号。

2)后端流量采集设备配置内容如下：

前端网络接入设备机框号、前端网络接入设备板卡号、前端网络接入设备物理端口编号、后端流量采集设备编号，物理端口编号。

步骤s4、后端流量采集设备采集硬件状态信息和进程状态信息：

1）后端流量采集设备的硬件采集模块提取网卡信息、cpu信息、内存信息、硬盘信息；后端流量采集设备的进程状态采集模块获取核心nsdpf进程状态；

2）后端流量采集设备对状态进行判断，网卡一段时间（可配置）无流量或者有错包属于异常情况，置硬件工作状态为异常状态；cpu一段时间（可配置）利用率超过85%（可配置），属于异常情况，硬件工作状态为异常状态；内存一段时间（可配置）利用率超过90%（可配置），属于异常情况，硬件工作状态为异常状态；硬盘利用率超过90%（可配置），属于异常情况，硬件工作状态为异常状态；nsdpf核心进程采集了3个状态，采集报文是否正常、工作线程是否正常、输出日志是否正常，3个状态，任何一个存在异常，都是异常状态，都需要置进程工作状态为异常状态。

步骤s5、后端流量采集设备上报信息：后端流量采集设备的上报模块将机箱号，槽位号，子卡号，端口号，硬件工作状态，软件进程状态等信息按照约定的专用通讯协议通过udp传送通道，每隔一段时间上报给前端网络接入设备，通讯格式如下：

dmac(6byte)目的mac地址；

smac(6byte)源mac地址；

type(2byte)以太类型；

ip(20byte)ip数据包包头；

udp(8byte)udp头部，指定端口号与配置文件中一致；

标识符(4byte)固定填写0x53454d50；

消息类型(1byte)固定填写0x48；

消息编码(1byte)固定填写0x6f；

消息序列(1byte)随机生成0-100；

消息长度(2byte)0x6；

机箱号(1byte)前端网络接入设备所在的机箱号；

槽位号(1byte)前端网络接入设备的板卡槽位号；

子卡号(1byte)前端网络接入设备上的板卡槽上的子卡号；

端口号(1byte)前端网络接入设备上的板卡槽上的子卡下面的端口号，该端口号就是分流端口；

进程工作状态(1byte)后端流量采集设备软件工作状态；

硬件工作状态(1byte)后端流量采集设备硬件自身工作状态。

步骤s6、前端网络接入设备解析后端网络接入设备上报的信息：前端网络接入设备的解析模块收到后端流量采集设备上报的数据，并对数据进行解析，并判断数据格式正确性，非正确的消息丢弃。对正确的格式数据进行进程工作状态、硬件工作状态判断。

步骤s7、异常状态的处理：解析模块读取后端流量采集设备上报的信息，当进程工作状态、硬件工作状态两个状态中，任何一个状态异常，则前端网络接入设备会启用调度模块，将对应的物理端口进行关闭，使前端网络接入设备对应的物理端口的流量不再复制给后端流量采集设备。

步骤s8、正常状态的处理：解析模块读取后端流量采集设备上报的信息，当前端网络接入设备的解析模块判断后端流量采集设备上报的状态是正常状态时，会发送启用指令给前端网络接入设备的指令模块，指令模块通知调度模块执行启用对应的后端流量采集设备的前端网络接入设备的物理端口复制流量操作。