面向大数据的深度包检测系统及方法与流程

本发明涉及深度包检测领域，具体是涉及一种面向大数据的深度包检测系统及方法。

背景技术：

DPI(Deep Packet Inspection，深度包检测)技术基于从二层到七层网络协议的分析，能够实现对网络中数据的精确感知，从而做到对网络现状的精确把握，深度包检测技术也能够将网络中的数据进行分类、分析和初步处理，以提供给其它应用或技术进行进一步处理和使用。另一方面，大数据时代已经到来，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，也就是说，大数据需要新的技术和方法，被网络不断创造且持续存在于网络中的大数据包含的信息价值是不可估量的，但由于鱼龙混杂，大数据提取使用极端困难，使得处在网络中的各方既希望从大数据中收益，又无法轻松自如的从大数据中得到有价值的信息。

在大数据时代，大数据相关技术面向网络实时分析时，面临巨大困难和挑战。一方面网络产生的大数据庞大，另一方面，网络相关的应用对实时性要求较高。那么，如何解决上述问题就值得深入研究。

技术实现要素：

本发明的目的是为了克服上述背景技术的不足，提供一种面向大数据的深度包检测系统及方法，能显著提高大数据相关技术的实时性和效率。

本发明提供一种面向大数据的深度包检测系统，该深度包检测系统的核心组件是深度包检测引擎，它基于深度包检测策略规则库来实现深度包检测功能，深度包检测引擎包括数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体，其中：

数据包扫描子功能实体用于完成进入深度包检测系统的数据包的初步检测；

数据包分析子功能实体用于完成进入深度包检测系统的数据包的基本分析；

数据预提取子功能实体用于实现针对大数据需求的数据预提取；

数据预转换子功能实体用于实现针对大数据需求的数据预转换；

数据包操作执行子功能实体用于实现对进入系统的数据包的最终操作。

在上述技术方案的基础上，所述数据预提取子功能实体和数据预转换子功能实体配置成旁路状态，以实现所述深度包检测系统与传统深度包检测系统的兼容。

在上述技术方案的基础上，所述数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体分别由一个或多个对应的元引擎来实现，元引擎为实现某一特定的功能的基本部件。

在上述技术方案的基础上，所述数据包扫描子功能实体由一个数据包扫描元引擎单独实现数据包扫描功能，或由多个数据包扫描元引擎协同实现数据包扫描功能；

数据包分析子功能实体由一个数据包分析元引擎单独实现数据包分析功能，或由多个数据包分析元引擎协同实现数据包分析功能；

数据预提取子功能实体由一个数据预提取元引擎单独实现数据预提取功能，或由多个数据预提取元引擎协同实现数据预提取功能；

数据预转换子功能实体由一个数据预转换元引擎单独实现数据预转换功能，或由多个数据预转换元引擎协同实现数据预转换功能；

数据包操作执行子功能实体由一个数据包操作执行元引擎单独实现数据包操作执行功能，或由多个数据包操作执行元引擎协同实现数据包操作执行功能。

在上述技术方案的基础上，所述数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体的元引擎数量由深度包检测系统内部的硬、软件资源配置情况决定，各子功能实体对应的元引擎数量相同，或者不同。

在上述技术方案的基础上，不同类的元引擎按照流水线串行操作，同类的元引擎按照并行、串行或混合方式工作，根据配置信息确定。

在上述技术方案的基础上，在同一个子功能实体内的多个元引擎按照并行、串行或混合模式工作，不同在一个子功能实体内的多个元引擎按照串行方式工作。

本发明还提供一种应用于上述深度包检测系统的面向大数据的深度包检测方法，包括以下步骤：

S1、深度包检测系统获取给定的大数据采集和转换的需求；

S2、深度包检测系统将上述需求转换成系统的配置信息；

S3、深度包检测系统将配置信息下达数据包扫描功能子实体、数据包分析功能子实体、数据预提取功能子实体、数据预转换功能子实体、数据包操作执行功能子实体中；

S4、数据包扫描功能子实体、数据包分析功能子实体、数据预提取功能子实体、数据预转换功能子实体、数据包操作执行功能子实体分解功能，并分配到对应的元引擎中；

S5、深度包检测系统里已获配置的所有元引擎协同完成上述需求。

与现有技术相比，本发明的优点如下：

本发明的深度包检测系统的核心组件是深度包检测引擎，它基于深度包检测策略规则库来实现深度包检测功能，深度包检测引擎由数据包扫描、数据包分析、数据预提取、数据预转换、数据包操作执行等子功能实体组成，同时，上述五种子功能实体均由对应的元引擎来实现。具体来说，深度包检测引擎包括一个或多个数据包扫描元引擎、一个或多个数据包分析元引擎、一个或多个数据预提取元引擎、一个或多个数据预转换元引擎以及一个或多个数据包操作执行元引擎。本发明的深度包检测方法包括以下步骤：深度包检测系统获取大数据采集和转换的需求；深度包检测系统将上述需求转换成配置信息；配置信息下达数据包扫描、数据包分析、数据预提取、数据预转换、数据包操作执行等功能子实体中；上述功能子实体分解功能并分配到对应的元引擎中；深度包检测系统里的所有已获配置的元引擎协同完成上述需求。本发明基于大数据分析技术的架构，结合深度包检测技术的优势，使得深度包检测技术在大数据采集中扮演更重要的角色，不仅能够实现传统的深度包检测功能，同时能够根据需要实现部分的大数据提取和转换功能，替大数据上层技术和应用减轻负担，能显著提高大数据相关技术的实时性和效率。

附图说明

图1是本发明实施例中面向大数据的深度包检测系统的结构框图。

图2是典型大数据分析系统的功能结构示意图。

图3是本发明实施例中深度包检测系统多个同类元引擎的串行工作方式示意图。

图4是本发明实施例中深度包检测系统多个同类元引擎的并行工作方式示意图。

图5是本发明实施例中深度包检测系统多个同类元引擎的混合工作方式示意图。

图6是本发明实施例中面向大数据的深度包检测方法的流程图。

图7是本发明实施例中面向大数据的深度包检测系统与大数据分析服务器及控制或管理服务器的关系示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细描述。

参见图1所示，本发明实施例提供一种面向大数据的深度包检测系统，该深度包检测系统的核心组件是深度包检测引擎，它基于深度包检测策略规则库来实现深度包检测功能，深度包检测引擎包括数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体，其中：

数据包扫描子功能实体用于完成进入深度包检测系统的数据包的初步检测；

数据包分析子功能实体用于完成进入深度包检测系统的数据包的基本分析；

数据预提取子功能实体用于实现针对大数据需求的数据预提取，上述数据预提取功能可以根据应用需要和深度包检测系统的资源情况配置，它可以是大数据的数据提取的全部或部分功能。

数据预转换子功能实体用于实现针对大数据需求的数据预转换，同样，上述数据预转换功能可以根据应用需要和深度包检测系统的资源情况配置，转换后的数据能够更方便的为大数据上层技术和应用存储、处理和使用。

数据包操作执行子功能实体用于实现对进入系统的数据包的最终操作。

数据预提取子功能实体和数据预转换子功能实体可以配置成旁路状态，即数据预提取子功能实体、数据预转换子功能实体对应的功能可不执行，以实现本发明实施例中的深度包检测系统与传统深度包检测系统的兼容。

图2是大数据系统的典型功能结构示意图。从图2可以看出，大数据系统始于数据收集，在进入数据库之前还需提取清洗和转换，分别由数据预提取子功能实体、数据预转换子功能实体部分或完全实现。

数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体分别由一个或多个对应的元引擎来实现，元引擎为实现某一特定的功能的基本部件。

数据包扫描子功能实体由一个数据包扫描元引擎单独实现数据包扫描功能，或由多个数据包扫描元引擎协同实现数据包扫描功能。

数据包分析子功能实体由一个数据包分析元引擎单独实现数据包分析功能，或由多个数据包分析元引擎协同实现数据包分析功能。

数据预提取子功能实体由一个数据预提取元引擎单独实现数据预提取功能，或由多个数据预提取元引擎协同实现数据预提取功能。

数据预转换子功能实体由一个数据预转换元引擎单独实现数据预转换功能，或由多个数据预转换元引擎协同实现数据预转换功能。

数据包操作执行子功能实体由一个数据包操作执行元引擎单独实现数据包操作执行功能，或由多个数据包操作执行元引擎协同实现数据包操作执行功能。

数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体的元引擎数量由深度包检测系统内部的硬、软件资源配置情况决定，各子功能实体对应的元引擎数量可以相同，也可以不同。

如果一类元引擎有多个，多个同类元引擎实现的功能可以相同，也可以不相同。如果多个同类元引擎实现的功能相同，则多个同类元引擎的输入应不相同(为实现可靠性而设计的冗余除外)，以保证元引擎的资源利用率。

如果任一子功能实体包含多个元引擎，那么这多个元引擎互为同类元引擎，同类元引擎实现的功能并非完全相同，例如，数据预提取子功能实体有A、B、C三个元引擎，A、B、C可以具有完全相同的设计，用来处理不同的数据包；A、B、C也可以设计成不一样，分别处理同一数据包的不同部分。同类元引擎可有多种执行关系，分别为串行、并行和混合方式。

不同类的元引擎按照流水线串行操作。同类的元引擎可以按照并行、串行或混合方式工作，这根据配置信息确定。数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体对应的功能依次串行执行。

在同一个子功能实体内的多个元引擎可按照并行、串行或混合模式工作。不同在一个子功能实体内的多个元引擎按照串行方式工作。

图3、图4、图5分别描述上述串行、并行和混合方式。上述三种方式可以根据深度包检测系统的资源情况和需求情况进行选择。

数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体的元引擎可以根据需求来配置和调度，对于一个特定的需求，不需所有的元引擎都参与该需求的实现。

本发明实施例中的各子功能实体基于对应的元引擎来实现对应的功能。元引擎是实现某一功能的基本部件，可以是逻辑上独立的硬件资源，如多核处理器的一个核(CORE)，也可以是逻辑上独立的软件资源，如同一服务器上的一个进程。

分别对应数据包扫描子功能实体、数据包分析子功能实体、数据预提取子功能实体、数据预转换子功能实体、数据包操作执行子功能实体的元引擎为异类元引擎，异类元引擎以串行方式执行。

参见图6所示，本发明实施例还提供一种应用于上述深度包检测系统的面向大数据的深度包检测方法，包括以下步骤：

S1、深度包检测系统获取给定的大数据采集和转换的需求，该需求是基于整个大数据分析系统的功能和性能以及深度包检测系统的资源而定的。一方面，该需求能够为深度包检测系统的资源所支持，另一方面，实现该需求可以提高整个大数据分析系统的功能和性能。

参见图7所示，深度包检测系统与对应的控制或管理服务器以及大数据系统发生联系，这只是一个最简化的模型，实际应用时网络更为复杂。因此，上述需求可以来自控制或管理服务器，也可以直接来自于大数据系统。

需要注意的是，上述需求是基于整个大数据分析系统的功能和性能以及深度包检测系统的资源而定的。一方面，上述需求能够为深度包检测系统的资源所支持，另一方面，实现上述需求可以提高整个大数据分析系统的功能和性能。

S2、深度包检测系统将上述需求转换成系统的配置信息。

需求来自深度包检测系统外部，需要遵循深度包检测系统和外部的通信协议。但深度包检测系统的配置信息则依赖于系统资源的情况，两者之间需要映射，本步骤实现映射功能。

S3、深度包检测系统将配置信息下达数据包扫描功能子实体、数据包分析功能子实体、数据预提取功能子实体、数据预转换功能子实体、数据包操作执行功能子实体中。

S4、数据包扫描功能子实体、数据包分析功能子实体、数据预提取功能子实体、数据预转换功能子实体、数据包操作执行功能子实体分解功能，并分配到对应的元引擎中。

深度包检测系统需要基于系统的各子功能实体的情况，将配置信息分解，使得分解后的配置信息可以为各子功能实体所接受，对应的功能也可以由各子功能实体实现。

元引擎是实现需求的基本部件，因此，最终的功能都应落实到具体的元引擎中。不同的设计，元引擎的配置情况差别可以很大。而且，实现某一需求也不一定需要所有元引擎参与，因此，需要明确的信息来配置调度相应的元引擎。

S5、深度包检测系统里已获配置的所有元引擎协同完成上述需求。

上述五个步骤是实现本发明的方法的主要步骤，而每一步骤的具体实现细节依赖于具体的设计，不同的设计可有较大差异。

本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。