基于深度包检测的网络实时大数据系统及大数据分析方法
【技术领域】
[0001] 本发明涉及深度包检测和大数据分析领域，具体是涉及一种基于深度包检测的网 络实时大数据系统及大数据分析方法。
【背景技术】
[0002] 网络的飞速发展是近代最为明显的特征之一，网络给社会带来的好处难以胜数， 但随着网络的发展和云时代的到来，网络中产生的数据呈爆炸性增长，昭示着大数据时代 已经到来。业内一般认为"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力 和流程优化能力的海量、高增长率和多样化的信息资产；或者说大数据是指无法在可承受 的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。也就是说，大数据需要新 的技术和方法。
[0003] 另一方面，被网络不断创造且持续存在于网络中的大数据包含的信息价值是不可 估量的，但由于鱼龙混杂，金子隐于沙中，很难加以使用，使得处在网络中的各方既希望从 大数据中收益，又无法轻松自如的从大数据中得到有价值的信息。
[0004] 大数据的 4V 特点：Volume (大量）'Velocity (高速）、Variety (多样）、Value (价 值）决定了对它的处理需要与常规数据处理不同的方法。尽管关于大数据的分析和处理的 研究在不断的深入进行中，也取得了丰硕的成果，但网络产生的数据的增长速度仍然超出 了现有技术和方法的能力。
[0005] 参见图1所示，当前的大数据系统或方法，一般由如下几个环节组成：数据采集、 数据预处理、数据存储、数据分析/挖掘以及结果呈现。它们大多数将重点放在当前的数据 处理技术的应用上，而忽视了其他技术（如网络技术）对大数据系统或方法的帮助。因此， 它们通常具有以下缺陷：
[0006] (1)实时性差，由于网络中大数据的规模已达到了相当惊人的量级，而且网络产 生的数据容量对时间分布也表现出随机性，峰值数据规模远超出均值，处理这些数据需要 很长时间，现有方法多采用非实时方式，导致大数据系统的输出实时性差，降低了输出的价 值。
[0007] (2)对数据处理硬件的要求很高。正因为大数据的规模太大，普通的硬件配置不能 胜任对大数据的加工，因此，需要更强大、更高配置的硬件支持。
[0008] (3)分析过程弯路多、资源浪费严重。由于大数据中沙子（没有价值的数据）多、 金子（有价值的信息）少，提炼金子需要全面检查各种沙子，甚至，多次检查同一种沙子，这 使得分析过程曲折冗长，资源利用率差，分析处理效率低。
[0009] 因此，在面对网络产生的大数据庞大数量的情况下，网络相关的应用对实时性要 求较高，使得大数据相关技术面向网络实时分析时，面临着巨大的困难和挑战。
【发明内容】
[0010] 本发明的目的是为了克服上述【背景技术】的不足，提供一种基于深度包检测的网络 实时大数据系统及大数据分析方法，结合深度包检测技术和大数据分析技术各自的优势和 作用，将网络产生的海量大数据收集上来，提炼出上层应用需要的有价值的信息，既能满足 网络相关应用的要求，又不会大幅增加硬件的投入。
[0011] 本发明提供一种基于深度包检测的网络实时大数据系统，包括深度包检测控制单 元、深度包检测单元、数据库单元、数据挖掘单元和联机分析处理单元，其中：
[0012] 所述深度包检测控制单元用于：获取上层应用的信息需求；将上层应用的信息需 求用特定的信息转换为网络数据收集的策略，并将所述策略下达给深度包检测单元；
[0013] 所述深度包检测单元用于：根据所述策略从网络中收集相应的数据；同时，深度 包检测单元将收集的数据提交到数据库单元中；
[0014] 所述数据库单元用于：根据收集的数据建立数据库；
[0015] 所述数据挖掘单元和联机分析处理单元用于：基于数据库中的数据，进行挖掘和 联机分析处理，得到上层应用需要的信息，并将得到的信息提交给上层应用实体使用。
[0016] 在上述技术方案的基础上，所述深度包检测单元仅收集上层应用感兴趣的数据， 摒弃剩余的海量的对上层应用无价值的数据。
[0017] 在上述技术方案的基础上，所述系统包括一个或多个深度包检测单元、一个或多 个深度包检测控制单元，每个深度包检测控制单元控制一个或多个深度包检测单元。
[0018] 在上述技术方案的基础上，所述深度包检测单元在处理网络中的某数据包时，如 果发现某数据包匹配上已存在的策略、并且该策略指定的操作是送达数据库单元时，则将 该数据包携带的数据提交给数据库单元。
[0019] 在上述技术方案的基础上，所述深度包检测单元实现初步的信息解析和转换：将 数据包映射为数据库单元的接口模块要求的结构，再由数据库单元的接口模块映射到数据 库单元的存储结构。
[0020] 在上述技术方案的基础上，所述数据库单元的接口模块适配与数据库关联的各单 元或组件，即与数据库关联的各单元或组件不因数据库的改变而改变。
[0021] 本发明还提供一种基于深度包检测的网络实时大数据分析方法，包括以下步骤：
[0022] S1、获取上层应用对信息的需求；
[0023] S2、将上层应用的信息需求转换为网络数据收集的策略；
[0024] S3、根据上述策略从网络中得到相应的数据；
[0025] S4、根据步骤S3收集的数据建立数据库，起到衔接深度包检测技术和大数据分析 技术的作用；
[0026] S5、基于所述数据库，利用联机分析技术和数据挖掘技术，得到上层应用需要的信 息；
[0027] S6、将步骤S5得到的信息提交上层应用实体使用。
[0028] 在上述技术方案的基础上，步骤S3中仅收集上层应用感兴趣的数据，摒弃剩余的 海量的对上层应用无价值的数据。
[0029] 与现有技术相比，本发明的优点如下：
[0030] 本发明中的大数据系统包括深度包检测单元、深度包检测控制单元、数据库单元、 数据挖掘单元和联机分析处理单元，该大数据系统根据上层应用的需求，实时的收集网络 中的大数据，实时的将大数据中蕴含的有价值的信息提取出来，并提交给上层应用实体使 用。大数据分析方法包括以下步骤：获取上层应用的信息需求；将上层应用的信息需求转 换为网络数据收集的策略；根据上述策略从网络中收集相应的数据；根据收集的数据建立 数据库；基于上述数据库，分析和挖掘得到上层应用需要的信息；将得到的信息提交上层 应用实体使用。本发明将深度包检测技术和大数据相关技术有机结合起来，利用深度包检 测技术适用于网络和部分功能基于硬件实现的优势，以及大数据相关技术在数据处理上的 优势，使得将两者结合起来的大数据系统和大数据分析方法既适用于现有网络，又在不大 量增加硬件投入的前提下，提高大数据分析和处理的性能，为上层应用提供更好的支持。
【附图说明】
[0031] 图1是现有技术中一般大数据分析处理方法的流程图。
[0032] 图2是本发明实施例中基于深度包检测的网络实时大数据系统的结构框图。
[0033] 图3是本发明实施例中基于深度包检测的网络实时大数据分析方法的流程图。
【具体实施方式】
[0034] 下面结合附图及具体实施例对本发明作进一步的详细描述。
[0035] 参见图2所示，本发明实施例提供一种基于深度包检测的网络实时大数据系统， 包括深度包检测控制单元、深度包检测单元、数据库单元、数据挖掘单元和联机分析处理单 元，其中：
[0036] 深度包检测控制单元用于：获取上层应用的信息需求；将上层应用的信息需求用 特定的信息转换为网络数据收集的策略，并将上述策略下达给深度包检测单元；
[0037] 深度包检测单元用于：根据上述策略从网络中收集相应的数据；需要强调的是， 仅收集上层应用感兴趣的数据，而摒弃剩余的海量的对上层应用无价值的数据；同时，深度 包检测单元将收集的数据提交到数据库单元中；
[0038] 数据库单元用于：根据收集的数据建立数据库；
[0039] 数据挖掘单元和联机分析处理单元用于：基于数据库中的数据，进行挖掘和联机 分析处理，得到上层应用需要的信息，并将得到的信息提交给上层应用实体使用。
[0040] 该大数据系统包括一个或多个深度包检测单元、一个或多个深度包检测控制单 元，每个深度包检测控制单元可以控制一个或多个深度包检测单元。
[0041] 该大数据系统根据上层应用的需求，实时的收集网络中的大数据，实时的将大数 据中蕴含的有价值的信息提取出来，并提交给上层应用实体使用。
[0042] 参见图3所示，本发明实施例还提供一种基于深度包检测的网络实时大数据分析 方法，包括以下步骤：
[0043] S1、获取上层应用对信息的需求，因为大数据分析的目的是为上层应用提供信息 服务，因此，精确掌握上层应用对信息的需求是很重要的一步；
[0044] S2、将上层应用的信息需求转换为网络数据收集的策略，也就是说，将上述需求用 相关网络设备能接受的表达方式表不；
[0045] S3、根据上述策略从网络中收集相应的数据：针对性的，仅收集上层应用感兴趣的 数据，摒弃剩余的海量的对上层应用无价值的数据；
[0046] S4、根据步骤S3收集的数据建立数据库，这一步起到衔接深度包检测技术和大数 据分析技术的作用；
[0047] S5、基于上述数据库，利用联机分析技术和数据挖掘技术，得到上层应用需要的信 息；
[0048] S6、将步骤S5得到的信息提交上层应用实体使用。
[0049] 下面对本发明实施例中的大数据系统、大数据分析方法进行详细阐述。
[0050] -、上层应用的信息需求获取
[0051] 从图3可知，精确的掌握上层应用的需求是本发明实施例的第一步。网络中的大 数据多种多样，但在大多数情况下，某个上层应用仅关注某一个数据领域，或者说大数据中 极小的一部分。<