对超大网络流量处理的负载均衡方法及系统的制作方法
【技术领域】
[0001]本发明涉及计算机网络安全技术领域，尤其涉及对超大网络流量处理的负载均衡方法及系统。
【背景技术】
[0002]随着各类网络安全设备在互联网反病毒领域的广泛应用，其所应对的网络环境也越发复杂，这使各类网络安全设备在处理网络数据时的处理能力的要求也相应提高，高速的网络流量决定了网络安全设备需要采用多线程运行来使负载均衡，但对应的负载均衡策略也有诸多问题，例如:1、一些网络安全设备的均衡策略比较单一，导致某些任务队列的处理过于集中，多线程处理效果不佳；2、增加均衡策略后，由于网络安全设备部署的位置千差万别，无法让负载均衡方法自适应，甚至在更换应用环境后需要修改源代码；3、均衡策略选用不当，导致各个队列在使用数据时需要使用线程锁来保护。上述这些问题均会导致网络安全设备并发任务处理效率较低。
【发明内容】
[0003]针对上述技术问题，本发明提供了对超大网络流量处理的负载均衡方法及系统，该方法包含IP地址分类器和网络协议分类器，通过分类器将满足条件的报文送到特定任务队列中进行处理，避免队列之间线程锁的出现，其他报文通过选用的均衡策略分发至普通任务队列进行处理，实现负载均衡，同时定期评估均衡效果，在均衡效果不佳的情况下，重新选择适合当前网络的均衡策略。
[0004]对超大网络流量处理的负载均衡方法,包括:
初始化IP地址分类器和网络协议分类器，IP地址分类器用于识别带有特定IP地址段的报文，网络协议分类器用于识别带有特定网络协议传输的报文；
创建报文处理队列，包括特定任务队列和普通任务队列；
捕获报文；
利用IP地址分类器和网络协议分类器分类报文，判断报文是否符合分类规则，若是则将报文分发到对应分类的特定任务队列进行处理，否则将报文根据均衡策略分发到普通任务队列进行处理；
监测普通任务队列，定期评估当前均衡策略的均衡效果，若均衡效果不佳，重新选择适合当前网络的均衡策略。
[0005]进一步的，所述捕获报文的方式为pcap、零拷贝或者专用硬件捕包卡。
[0006]进一步的，均衡策略包括⑴四元组均衡策略:策略基于源/目的端口和源/目的IP地址，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号，此为系统默认的均衡策略；(2) IP 二元组均衡策略:策略基于源/目的IP地址，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号；
(3)端口二元组均衡策略:策略基于源/目的端口，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号。
[0007]进一步的，在报文分发到普通任务队列前，分别运用每种均衡策略进行模拟分发，分发的结果按照策略编号和队列编号对报文累计计数，分别评估每种均衡策略的均衡效果，选取均衡效果最好的均衡策略。
[0008]对超大网络流量处理的负载均衡系统,包括:
分类器初始化模块，用于初始化IP地址分类器和网络协议分类器，IP地址分类器用于识别带有特定IP地址段的报文，网络协议分类器用于识别带有特定网络协议传输的报文；创建队列模块，用于创建报文处理队列，包括特定任务队列和普通任务队列；
捕获报文模块，用于捕获报文；
报文分类模块，用于利用IP地址分类器和网络协议分类器分类报文，判断报文是否符合分类规则，若是则将报文分发到对应分类的特定任务队列进行处理，否则将报文根据均衡策略分发到普通任务队列进行处理；
监测队列模块，用于监测普通任务队列，定期评估当前均衡策略的均衡效果，若均衡效果不佳，重新选择适合当前网络的均衡策略。
[0009]进一步的，所述捕获报文模块的捕获方式为pcap、零拷贝或者专用硬件捕包卡。
[0010]进一步的，监测队列模块的均衡策略包括⑴四元组均衡策略:策略基于源/目的端口和源/目的IP地址，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号，此为系统默认的均衡策略；(2) IP 二元组均衡策略:策略基于源/目的IP地址，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号；(3)端口二元组均衡策略:策略基于源/目的端口，通过hash算法计算，得到对应hash值，再以普通任务队列数量求模，得到对应的队列序号。
[0011]进一步的，在报文分发到普通任务队列前，分别运用每种均衡策略进行模拟分发，分发的结果按照策略编号和队列编号对报文累计计数，分别评估每种均衡策略的均衡效果，选取均衡效果最好的均衡策略。
[0012]本发明涉及对超大网络流量数据均衡处理的方法，本方法中内嵌IP地址分类器和网络协议分类器，通过对分类器的初始化和创建报文处理队列达到前期条件，分类器将捕获的报文分类到特定任务队列和普通任务队列处理，并根据均衡策略分发普通任务队列的报文，克服了在超大网络流量中任务队列处理过于集中，多线程处理效果不佳的问题，进而提高了网络数据流多线程处理效率。
【附图说明】
[0013]为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本发明提供的对超大网络流量处理的负载均衡方法实施例流程图；
图2为本发明提供的对超大网络流量处理的负载均衡系统实施例结构图。
【具体实施方式】
[0015]本发明给出了对超大网络流量处理的负载均衡方法及系统，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明:
本发明首先提供了对超大网络流量处理的负载均衡方法，如图1所示，包括:
SlOl初始化IP地址分类器和网络协议分类器；
IP地址分类器用于识别带有特定IP地址段的报文，分类器识别的IP是任意IP(源IP和目的IP)，网络协议分类器用于识别带有特定网络协议传输的报文；
S102创建报文处理队列，包括特定任务队列和普通任务队列；
任务队列数量根据配置参数制定，特定任务队列数量与分类器的分类数量一致；
S103捕获报文；
所述捕获报文的方式为pcap、零拷贝或者专用硬件捕包卡；
S104利用IP地址分类器和网络协议分类器分类报文；
S105判断报文是否符合分类规则，若是则执行S106，否则执行S107 ；
S106将报文分发到对应分类的特定任务队列进行处理，结束；
S107将报文根据均衡策略分发到普通任务队列进行处理；
均衡策略包括(I)四元组均衡策略:策略基于源/目的端口和