基于压缩感知的高速网络流量采样方法及装置与流程

本发明涉及网络通信技术和网络通信设施研究领域，特别涉及一种基于压缩感知(compressedsensing)的高速网络流量采样方法及装置。

背景技术：

随着互联网的普及、上网人数和设备的快速增长，网络数据和流量呈现井喷式增长，而这些流量数据中除了用户和设备正常活动所产生的流量之外，还掺杂着众多的网络攻击、恶意流量、暗网访问流量等可能威胁到人民财产安全和网络空间安全的恶意行为数据，所以需要对这样一些流量数据进行高速准确采集以用于进一步的分析，实现及时遏制危害人民财产安全与网络空间安全的违法犯罪行为。

传统实现网络流量采集的方法主要有sniffer(嗅探法)、snmp(simplenetworkmanageprotocol简单网络管理协议)、netflow(网络监听包的包分析模式)、sflow等一些方法。嗅探法是一种常用的网络技术，其通过在交换机的镜像端口设置数据采集点来捕获数据报文，这种方式采集的信息很全面，可以完全复制网络中的数据报文；snmp是一种主动的采集方式，采集程序需要定时取出路由器内存中的ipaccounting记录，同时清空相应的内存记录，才能继续采集后续的数据；netflow是cisco公司的专有技术，早期的netflow版本需要统计所有的网络数据报文，因此对网络设备性能影响较大，v8以后的版本提供了采样功能；sflow采用采样的方式，通过设置一定的采样率，进行数据捕获，对网络设备的性能影响很小。

上述技术虽然能够实现在不同场景下进行流量采集的任务，但是分别存在信息采集不够丰富准确、采集范围不广、对网络设备性能造成影响或是采集速率过慢等问题，比如netflow就没有包括mac地址信息，sniffer一般只针对1000m以下的速率且侧重于单条链路的流量分析。为此，研究一种针对高速、大流量数据，可实现准确采集的方法和装置，具有重要的研究意义。

技术实现要素：

针对现有技术中骨干网上路由器高速、大流量的情况，本发明克服现有方法的缺陷，提供一种基于压缩感知的高速网络流量采样方法及装置，可在路由器上实现对网络攻击、恶意流量、暗网等流量数据的全面高速准确地采集，实现对危害网络空间安全行为的有效监控。

本发明的目的通过以下的技术方案实现：基于压缩感知的高速网络流量采样方法，包括步骤：

对路由器上的流量进行流量缓存；

基于压缩感知方法对缓存的流量进行采集；

将采集后的流量发送到远程的数据分析服务器。

本发明基于压缩感知方法直接采集有效的测量值，更利于流量信号的存储和传输，从而大大提高了采样的速度。

优选的，所述基于压缩感知方法对缓存的流量进行采集时，当信号是稀疏或可压缩的时候，以线性投影的方式得到信号的压缩后表示(condensedrepresentation)，如下式表示：

y＝φx

其中，y是压缩后的信号表示,φ表示采集时的测量矩阵，需满足一定的不相关性，可以是一个随机矩阵，x代表原始的数字信号且满足稀疏性，整个采集过程就是一个线性投影过程。

优选的，所述基于压缩感知方法对缓存的流量进行采集时，对于一个网络流量包序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0；|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小，通过这样的方式就可以用一个特征向量表示网络流量指纹，记fnх1为包序列p上的n维特征向量，根据压缩感知技术，压缩的特征向量可以由以下公式求解：

其中即为压缩后的观测向量，φ为测量矩阵，压缩采样过程是利用测量矩阵φ的m个行向量对稀疏向量f进行投影。

优选的，在对流量进行缓存前，先对流量进行识别，判断其是否属于设定的协议传输的流量数据，如果是，则对其进行流量缓存，否则，不对其进行处理。从而可仅针对特定协议传输的流量数据进行采样，提高采样的速度，提高识别的有效性。

更进一步的，所述设定的协议包括网络攻击常利用的tcp/ip之上的加密混淆协议，如暗网通讯软件telegram所使用的mtproto协议、tor等匿名通信协议等。

基于压缩感知的高速网络流量采样装置，包括：

流量缓存单元，用于对路由器上的流量进行流量缓存；

流量采集单元，用于基于压缩感知方法对缓存的流量进行采集；

流量发送单元，用于将采集后的流量发送到远程的数据分析服务器。

优选的，所述流量采集单元中基于压缩感知方法对缓存的流量进行采集时，当信号是稀疏或可压缩的时候，以线性投影的方式得到信号的压缩后表示，如下式表示：

y＝φx

其中，y是压缩后的信号表示,φ表示采集时的测量矩阵，x代表原始的数字信号且满足稀疏性。

优选的，所述流量采集单元中基于压缩感知方法对缓存的流量进行采集时，对于一个网络流量包序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0；|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小，通过这样的方式就可以用一个特征向量表示网络流量指纹，记fnх1为包序列p上的n维特征向量，根据压缩感知技术，压缩的特征向量可以由以下公式求解：

其中即为压缩后的观测向量，φ为测量矩阵，压缩采样过程是利用测量矩阵φ的m个行向量对稀疏向量f进行投影。

优选的，所述基于压缩感知的高速网络流量采样装置还包括流量识别单元，流量识别单元用于对路由器输入的流量进行识别，判断其是否属于设定的协议传输的流量数据，如果是，则将流量输入到流量缓存单元，否则，不对其进行处理。

更进一步的，所述流量识别单元中设定的协议包括网络攻击常利用的tcp/ip协议之上的加密混淆协议、如僵尸网络的通信协议、特种通讯软件telegram所使用的mtproto协议等。

优选的，所述基于压缩感知的高速网络流量采样装置加载在路由器上。

本发明与现有技术相比，具有如下优点和有益效果：

本发明相对于现有技术，能够实现对路由器上流量数据的高速、稳定、全面的采集，且不会影响路由器正常使用的功能和性能，同时在对流量进行缓存和采集之前，先对流量进行识别，实现只对特定协议的流量采集，减少了数据的冗余度同时提升采集速度。

附图说明

图1是实施例1所述方法的流程图。

图2是实施例1所述方法的工作原理示意图。

图3是实施例2所述装置的结构示意图。

图4是实施例2所述装置与路由器结合使用的框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

本实施例提供一种高速网络流量采样方法，该方法主要是对路由器上的流量采用基于压缩感知方法进行有效采集，下面结合附图1、2对方法步骤进行具体说明。

s1：流量识别。

出于提高后续采样速度的考虑，本实施例所述方法不会对路由器上所有流量都进行采集，主要采集通过特定协议传输的网络攻击、恶意流量、暗网访问等流量数据，比如网络攻击常利用的tcp/ip协议、暗网通讯软件telegram所使用的mtproto协议等，所以在进行网络流量采样前，先设定重点针对的特定协议，仅对特定协议的流量进行识别，在采集过程中，判断流量是否属于设定的协议传输的流量数据，如果是，则对其进行流量缓存，用于进行后续的采集，否则，不对其进行处理。

s2：流量缓存。

将步骤s1获取的特定流量数据缓存到存储器中，缓存流量的长度由存储器来限定。这里的存储器可采用现有技术中的存储器。

s3：流量采集。

该步骤为本实施例方法的核心步骤。该步骤对缓存的流量进行采集的技术是压缩感知技术，也被称为压缩采样或稀疏采样，是一种寻找欠定线性系统的稀疏解的技术。压缩感知最早于2004年提出，被广泛应用于无线通信、阵列信号处理、成像、模拟信息转换、生理信号采集、生物传感等领域。不同于传统的香农采样(又称奈奎斯特采样)，压缩感知无需按照nyquist采样率进行均匀采样，压缩感知技术在采集的时候，直接采集有效的m个测量值，而非满足nyquist采样定理的n个采样值(m＜＜n)，所以更利于存储和传输，从而大大提高了采样的速度。

具体的，基于压缩感知方法进行采样的原理是：当信号是稀疏或可压缩的时候，可以以某个线性投影的方式得到信号的压缩后表示(condensedrepresentation)，采集过程也即是降维的一个过程，得到的数据能够以无失真或较低失真地方式重建原始的数字信号。可以用如下等式表示：

y＝φx

y是压缩后的信号表示,φ表示采集时的测量矩阵，需满足一定的不相关性，可以是一个随机矩阵，x代表原始的数字信号且满足稀疏性，整个采集过程就是一个线性投影过程，之所以能够以很大的概率完美重建信号，是因为随机投影矩阵φ在很大概率上保留了稀疏信号的结构和信息。

参见图2，基于压缩感知方法，针对网络流量的采集过程为：对于一个网络流包的序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0。|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小。通过这样的方式就可以用一个特征向量表示网络流量指纹，比如pi表示内部包时延上的特征向量，pn表示包大小上的特征向量。记fnх1为包序列p上的n维特征向量，根据压缩感知技术，压缩的特征向量可以由以下公式求解：

其中即为上面提到的压缩后的观测向量，φ为测量矩阵，压缩采样过程如前面所述，实际上就是利用测量矩阵φ的m个行向量对稀疏向量f进行投影。

s4：流量发送。

将采集后的流量可通过路由器的路由功能发送到远程的数据分析服务器。远程的数据分析服务器上可针对采集的流量判断当前是否存在危害网络空间安全行为。

本实施例所述的采样方法先对特定协议的流量进行识别缓存，然后采用基于压缩感知的方法对缓存的流量进行采样，最后将采样数据发送到远程进行数据分析，能够实现对路由器上流量数据的高速采集，对网络行为进行有效监控。

实施例2

本实施例提供一种基于压缩感知的高速网络流量采样装置，如图3所示，该采样装置包括：

流量识别单元，用于对路由器输入的流量进行识别；

流量缓存单元，用于对路由器上的流量进行流量缓存；

流量采集单元，用于基于压缩感知方法对缓存的流量进行采集；

流量发送单元，用于将采集后的流量发送到远程的数据分析服务器。

本实施例中，流量识别单元和流量缓存单元可视为一流量识别组件，流量采集单元和流量发送单元可视为一流量采集组件，流量流入流量识别组件后，最后经流量采集组件发送到远程的数据分析服务器。

本实施例中，流量识别单元用于对路由器输入的流量进行识别，判断其是否属于设定的协议传输的流量数据，如果是，则将流量输入到流量缓存单元，否则，不对其进行处理，这里所述设定的协议包括网络攻击常利用的tcp/ip协议、暗网通讯软件telegram所使用的mtproto协议等。

本实施例中，流量缓存单元可采用现有的具有一定存储容量的存储器。用于缓存还未被采集组件所处理的流量。

本实施例中，所述流量采集单元中基于压缩感知方法对缓存的流量进行采集时，对于一个网络流量包序列，记为p＝<(t1,s1),(t2,s2),...,(tn,sn)>，其中ti为包的内部时间间隔，t1满足t1＝0；|si|表示数据包的大小，s1正负表示流经方向，n为包序列的大小，通过这样的方式就可以用一个特征向量表示网络流量指纹，记fnх1为包序列p上的n维特征向量，根据压缩感知技术，压缩的特征向量可以由以下公式求解：

其中即为压缩后的观测向量，φ为测量矩阵，压缩采样过程是利用测量矩阵φ的m个行向量对稀疏向量f进行投影。

本实施例中，流量发送单元用于将采集后的流量通过路由器的路由功能发送到远程的数据分析服务器。远程的数据分析服务器上可针对采集的流量判断当前是否存在危害网络空间安全行为。

在实际制作过程中，所述采样装置中各个模块可集成到一个硬件实体模块上，然后将该采样装置内嵌到传统路由器中。路由器的结构如图4所示，包括以下功能模块：os协议栈fib表模块、os协议栈arp表模块、主机路由控制模块、路由表控制模块、动态路由消息处理模块、管理与配置模块、os适配层、接口管理模块、接口消息处理模块、驱动适配层和交换芯片驱动模块等。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。