本发明涉及一种基于网络流量的防火墙策略数据分析装置及方法。
背景技术：
国网各省电力公司营销业务应用信息系统是面向全省的集中化系统，其访问量大，使用人数多，尤其是四川这个人口大省。大量的访问，给系统造成了系统安全防护上的一些缺陷。如何配置一条正确的防火墙安全策略？如何确定防火墙上的安全策略配置是否正确？是当前营销系统防火墙安全亟需解决的两个问题。
技术实现要素：
本发明为了解决上述技术问题提供一种基于网络流量的防火墙策略数据分析装置及方法，其可生成防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。
本发明通过下述技术方案实现：
基于网络流量的防火墙策略数据分析装置，包括：连接在交换机上，用以获得防火墙所有访问数据的镜像交换机；对镜像交换机获得的数据进行预处理并生成相应的txt文件进行存储的镜像流量采集服务器；根据MapReduce算法对数据进行分析归并以生成统计报表的分析装置。本方案的镜像交换机通过在交换机上建立一旁路镜像，对防火墙访问数据的实时采集，由于通过镜像流量采集到的数据都是以txt文件进行存储，故对镜像数据进行预处理，将数据变换为适合数据分析的形式，分析装置对数据进行归并分析生成统计报表，即防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。
作为优选，所述镜像流量采集服务器将数据存储在分布式存储器中。
基于网络流量的防火墙策略数据分析方法，包括以下步骤：
步骤1、建立防火墙访问数据入口及出口的旁路镜像，对防火墙所有访问数据进行实时采集；
步骤2、对镜像数据格式进行预处理、提取特征矢量后以报文的形式进行存储；
步骤3、采用分布式计算框架对数据进行分析。
作为优选，在步骤3中，分析的过程具体包括：过滤非IPv4格式的访问流量、过滤不符合源IP前缀格式的访问数据、提取访问源IP数据及被访问的目的IP数据、根据访问IP或被访问IP的一致性规则对数据进行归并。
作为优选，所述过滤非IPv4格式的访问流量具体为：将IPv4格式的数据归并为某一掩码的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤。
进一步的，所述过滤不符合前缀的访问数据具体为：利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
进一步的，对数据进行归并通过mapreduce算法完成。
作为优选，所述步骤2中，利用数据平滑、数据概化、离散化特征值技术对镜像数据进行预处理。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明通过在交换机上建立一旁路镜像，对防火墙访问数据的实时采集，最终生成防火墙访问策略配置报表，为防火墙安全管理人员提供辅助决策作用，帮助工作人员对防火墙的策略配置的正确性进行判断，保证在信息系统的正常运行的情况下，提高其运行的安全性。。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
如图1所示基于网络流量的防火墙策略数据分析装置，包括：
镜像交换机，连接在交换机上，获得防火墙所有访问数据；
镜像流量采集服务器，对镜像交换机获得的数据进行预处理并生成相应的txt文件进行存储；
分析装置，根据MapReduce算法对数据进行分析归并以生成统计报表。
为了便于在大规模数据条件下的流量数据快速分析，镜像流量采集服务器将数据存储在分布式存储器中。
实施例2
基于网络流量的防火墙策略数据分析方法，包括以下步骤：
步骤1、建立防火墙访问数据入口及出口的旁路镜像，对防火墙所有访问数据进行实时采集；
步骤2、对镜像数据格式进行预处理、提取特征矢量后以报文的形式进行存储；
步骤3、采用分布式计算框架对数据进行分析。
在步骤3中，分析的过程具体包括：1.过滤非IPv4格式的访问流量；2.过滤不符合前缀的访问数据，比如，防火墙规则中需设置对目的IP访问的源IP前缀格式，譬如为192.168.15.*，则凡是不符合源IP前缀格式的所有访问地址均会被防火墙进行过滤，禁止访问；3.提取访问源IP数据及被访问的目的IP数据；4.根据访问IP或被访问IP的一致性规则对数据进行归并。
所述过滤非IPv4格式的访问流量具体为：将IPv4格式的数据归并为某一掩码的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤。
所述过滤不符合前缀的访问数据具体为：利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
所述步骤2中，利用数据平滑、数据概化、离散化特征值技术对镜像数据进行预处理。
下面以四川省电力公司营销系统防火墙的实例对本方案的方法进行详细说明。
如图1所示，因为防火墙的所有数据都会经过交换机，在交换机上建立一旁路镜像，镜像交换机对防火墙访问数据的实时采集后发送到镜像流量采集服务器，镜像流量采集服务器对该数据进行预处理并生成相应的txt文件进行存储，然后定时将数据传送到分布式存储器，完成数据采集。
预处理主要采用数据平滑、数据概化、离散化特征值等理论与技术进行预处理。
分析装置根据MapReduce算法对数据进行分析归并以生成统计报表。整个分析过程被分为过滤非IPv4格式的访问流量、过滤不符合前缀的访问数据、提取访问涉及的两个IP数据、对数据进行归并四大过程。
过滤非IPv4格式的访问流量即根据国网网络分配要求，IPv4格式的数据子网掩码均为255.255.255.0,因此，可以将IPv4格式的数据归并成掩码为255.255.255.0的子网，识别流量中格式为IPv4的数据，然后将子网间的流量进行归并，对非IPv4格式的访问流量进行过滤，为进一步验证提供基础。
过滤不符合前缀的访问数据即利用输入IPv4的前缀进行具体分析，过滤不符合前缀的访问数据流量。
根据客户端输入条件即提取访问设计的两个IP数据，为数据归并统计提供数据源。
对数据进行归即由于整个分析的中心思想即为数据归并，贯穿整个分析模型的计算框架即为MapReduce算法。整个分析过程中共产生两次mapreduce操作。第一次mapreduce操作是以获取的镜像文件中的网关为key值，以所有IP为value值，进行mapreduce操作后，生成以255.255.255.0为网关的key1值，以IPv4为value1值，作为下次进行mapreduce操作的数据源；第二次mapreduce操作则是以255.255.255.0的网关为key值，以IPv4为value值，与客户端输入的源IP条件、目的IP条件、访问端口号进行对比，进行map操作，提取出符合条件的IP及端口信息，最后通过reduce操作，对源IP相同或目的IP相同的结果进行归并，统计出IP访问次数或被访问次数，并生成统计报表。而该报表则会成为安全操作人员进行正确配置防火墙策略的一个重要判断依据。
由于MapReduce计算框架中将涉及到shuffle操作，而shuffle操作涉及到了大量的磁盘读写和网络传输，故在传统的Hadoop架构下运行会拖慢整个分析程序的执行效率效率。因此为了减小shuffle对程序执行效率的影响，在模型设计中，四川省电力公司加入了Spark分布式内存计算技术。由于Spark将大量的运算过程都存放到内存中计算，因此大幅度的减少了对磁盘的读写操作。从而提升了程序执行效率。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。