数据处理方法及数据处理系统的制作方法

文档序号:8301599阅读:441来源:国知局
数据处理方法及数据处理系统的制作方法
【技术领域】
[0001]本申请涉及网络通信技术,特别涉及数据处理方法及数据处理系统。
【背景技术】
[0002]随着网络数据的爆炸式增长,目前,对于大多数网络设备而言,其在业务处理过程中,会因为网络数据的增多而出现网络资源不足的情况出现,比如出现CPU资源、存储资源不足的情况,这会导致网络设备的处理速度缓慢、甚至导致网络设备故障等情况。
[0003]下面以应用于入侵防御系统中的网络设备为例描述网络资源不足的情况。
[0004]通常入侵防御系统部署为在线(Inline)的工作模式,在数据传输的路径中,任何报文都必须经过其中的网络设备做检测,网络设备一旦发现有蠕虫、病毒、后门、木马、间谍软件、可疑代码、网络钓鱼等攻击行为,就会立即阻断攻击,隔离攻击源,屏蔽蠕虫、病毒和间谍软件等,同时记录日志告知网络管理员,这样就会预防病毒在网络中传播。图1具体示出了入侵防御系统对报文的处理流程图。
[0005]在图1所示的处理流程中,应用识别(UAAE)、深度检测(OCIF)两个处理操作大量占用网络设备的CPU资源,通过测试数据发现,UAAE、0CIF在运行时几乎占用了网络设备的所有CPU资源,这在目前入侵防御系统中计算的数据诸多的情况下,网络设备就会出现CPU资源不足的情况,无法满足入侵防御的需求,也会影响网络设备执行图1所示其他处理操作。

【发明内容】

[0006]本申请提供了数据处理方法及数据处理系统,以避免网络设备出现网络资源不足的情况。
[0007]本申请提供的技术方案包括:
[0008]一种数据处理系统,包括:
[0009]业务逻辑层模块,用于接收到任一网络设备转发的应用报文时,对所述应用报文的应用进行分类识别,并依据识别结果决策出对所述应用报文进行的处理操作;以及接收数据处理层模块反馈的处理结果,并依据处理结果决策出对应的处理操作;
[0010]数据处理层模块,包括单任务读/写(I/O)并发处理模块和检索模块;
[0011]其中,单任务I/O并发处理模块,用于用于在所述业务逻辑层模块决策出的处理操作为针对单任务的I/o处理操作时,控制单任务的I/O并发处理,并在执行完单任务的I/O并发处理后,会将最终的处理结果反馈给业务逻辑层模块;
[0012]检索模块,用于在所述业务逻辑层模块决策出的处理操作为数据检索时,执行数据检索以找到最终的检索结果,并将最终的检索结果反馈给业务逻辑层模块。
[0013]一种数据处理方法,该方法应用于如上所述的数据处理系统,包括:
[0014]业务逻辑层模块接收任一网络设备转发的原本由该网络设备处理的应用报文;
[0015]所述业务逻辑层模块对所述应用报文的应用进行分类识别,并依据识别结果决策出对所述应用报文进行的处理操作;
[0016]数据处理层模块的单任务读/写(I/O)并发处理模块在所述业务逻辑层模块决策出的处理操作为针对单任务的I/o处理操作时,控制单任务的I/O并发处理,并在执行完单任务的I/o并发处理后,会将最终的处理结果反馈给业务逻辑层模块;
[0017]数据处理层模块的检索模块在所述业务逻辑层模块决策出的处理操作为数据检索时,执行数据检索以找到最终的检索结果,并将最终的检索结果反馈给业务逻辑层模块;
[0018]业务逻辑层模块接收数据处理层模块反馈的处理结果,并依据处理结果继续决策出对应的处理操作。
[0019]由以上技术方案可以看出,本发明中,业务逻辑层模块能够对种类繁多的应用协议进行模型化,分类进行识别,同时在模型化识别的基础上进行智能决策,这能够提高数据处理精度;
[0020]进一步地,本发明中,通过单任务I/O并发处理模块能够实现单个任务并发执行,解决现有技术中单个任务无法并发执行的问题;
[0021]更进一步地,本发明中,通过将现有网络设备比较耗费CPU资源的检索模块移除出来,放至本发明提供的系统中执行,并且采用异构方式执行检索,这能够在任务层面实现I/o的并发,避免网络设备出现网络资源不足的情况。
【附图说明】
[0022]图1为现有入侵防御的流程图;
[0023]图2为本发明实施例提供的数据处理系统的结构图;
[0024]图3为本发明实施例提供的数据处理系统运行的硬件结构图;
[0025]图4为本发明实施例提供的数据处理系统的运行流程图;
[0026]图5为本发明实施例提供的单任务I/O并发处理模块的结构图;
[0027]图6为本发明实施例提供的检索模块的结构图;
[0028]图7为本发明实施例提供的检索处理模块实现流程图;
[0029]图8为本发明实施例提供的网络设备与本发明的数据处理系统相结合实现入侵防御的结构图。
【具体实施方式】
[0030]为了使本发明的目的、技术方案和优点更加清楚,下面结合附图和具体实施例对本发明进行详细描述。
[0031]本发明提供了一种数据处理系统,其中,该系统可以运行在一台由若干个虚拟机构成的物理主机上,也可以运行在一组物理主机组成的集群设备上。
[0032]下面对本发明提供的数据处理系统进行描述:
[0033]参见图2,图2为本发明实施例提供的数据处理系统的结构图。如图2所示,所述数据处理系统包括:业务逻辑层模块和数据处理层模块。下面对业务逻辑层模块和数据处理层模块这两个模块进行描述:
[0034]业务逻辑层模块:
[0035]本发明中,业务逻辑层模块,其存储了预先设置的业务逻辑,比如预设的用于对应用报文的数据特征进行跟踪的具有状态的特征状态机,以及预先针对至少一种应用协议建立的应用协议模型化,该应用协议模型化能够方便业务逻辑层模块对后续收到的应用报文进行应用识别。
[0036]当然,业务逻辑层模块存储的业务逻辑还包括目前安全产品常用的逻辑,这里不再赘述。
[0037]本发明中,所述业务逻辑层模块用于接收任一网络设备转发的原本由该网络设备处理的应用报文,当接收到所述应用报文时,利用预先设置的应用协议模型对所述应用报文的应用进行分类识别,和/或,对所述应用报文的数据特征进行识别,并通过预设的具有状态的特征状态机对所述应用报文的数据特征进行跟踪,以精确识别出所述应用报文的应用。
[0038]之后,所述业务逻辑层模块依据识别结果决策出对所述应用报文进行的处理操作,并通知数据处理层模块执行本业务逻辑层模块决策出的处理操作。反过来,业务逻辑层模块还会结合当前的应用环境对数据处理层模块执行完处理操作的结果进行分析,并依据分析结果继续决策出对应的处理操作,如果该处理操作需要数据处理层模块执行,则再通知数据处理层模块,而如果该处理操作需要网络设备执行,比如该处理操作为策略管理,其执行时占用的CPU资源比较少,则返回给网络设备执行。这能够提高数据处理精度。
[0039]作为本发明的一个实施例,本发明中,所述业务逻辑层模块接收到的来自所述网络设备的应用报文,是由所述网络设备依据所述应用报文本身的需求识别出针对该应用报文的处理满足设定条件时发送的。
[0040]优选地,所述设定条件包括但不限于:针对所述应用报文的处理占用所述网络设备的CPU资源大于设定阈值。这里,设定阈值可依据实际情况设置,其在设置时可考虑由网络设备将所有原由本设备处理的所有应用报文发送至本发明的数据处理系统,也可考虑由网络设备仅将原本由本设备处理的部分应用报文发送至本发明的数据处理系统,本发明并不具体限定。
[0041]优选地,本发明中,业务逻辑层模块内置统一的定义语言,为用户提供了可扩展、可升级的应用识别和行为识别能力。业务逻辑层的定义语言融合了协议定义、攻击特征定义、内容过滤特征定义、应用协议行为定义,能够很好地扩展各项功能。
[0042]以应用于入侵防御系统为例,由于应用识别UAAE执行时占用的网络设备的CPU资源比较大,以大于上述的设定阈值为例,则应用于本发明,当网络设备收到应用报文后,识别出该应用报文是用于入侵防御,则对该应用报文进行一些占用CPU资源远远小于设定阈值的处理,之后,将该处理后的应用报文发送至所述业务逻辑层模块。业务逻辑层模块收到应用报文后,在应用中识别攻击等特征行为,对应用报文的应用协议进行协议解析,然后决策出对应的处理操作为UAAE,并通知给数据处理层模块执行UAAE。反过来,业务逻辑层模块会结合当前的应用环境对数据处理层模块的UAAE结果进行分析,并继续智能决策出对应的处理操作,如果该处理操作需要数据处理层模块执行,则通知数据处理层模块,而如果该处理操作需要网络设备执行,比如该处理操作为策略管理,其执行时占用的CPU资源比较少,则返回给网络设备执行。这能够提高数据处理精度。
[0043]数据处理层模块:
[0044]数据处理层模块,其依赖于业务逻辑层模块决策出的处理操作执行,其中,数据处理层模块具体实现时可包括单任务读/写(I/O)并发处理模块和检索模块。
[0045]这里,单任务I/O并发处理模块,用于在所述业务逻辑层模块决策出的处理操作为针对单任务的I/o处理操作时,控制单任务的I/O并发处理,并在执行完单任务的I/O并发处理后,会将最终的处理结果反馈给业务逻辑层模块;
[0046]检索模块,用于在所述业务逻辑层模块决策出的处理操作为数据
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1