一种智能深度解析系统及解析方法与流程

本发明属于通信网络技术领域，具体涉及一种智能深度解析系统及解析方法。

背景技术：

深度解析设备是一种基于其特征库来针对不同的网络应用层载荷作深度解析并输出其内容及用户流行为的系统，在网络安全领域起着非常重要的作用。

随着互联网技术的高速发展，网络应用不断增加和变动，深度解析设备特征库也必须不断更新和升级，才能应对不断变化的应用层数据和用户流行为；此外，随着互联网安全的发展，越来越多的应用数据使用了加密传输，特征信息的提取日趋困难，使得现有深度解析设备面临特征库维护成本高以及随着加密应用数据比例日益增大，传统特征库升级模式无法应对的问题。

技术实现要素：

发明目的：为了解决现有技术的问题，本发明提供一种智能深度解析系统。

技术实现要素：
所述的智能深度解析系统包括：报文解析模块、深度报文解析模块、应用特征库管理模块、神经网络深度识别模块以及应用信息输出模块；所述报文解析模块对接收到的数据进行解析，解析出该数据包载荷是明文或密文；

当解析出该数据包载荷是明文时，所述深度报文解析模块从应用特征库管理模块读取应用特征库，对该数据包载荷进行深度解析，获取应用层信息；

当解析出该数据包载荷是密文时，所述神经网络深度识别模块利用神经网络算法对该数据包载荷进行识别和解析，并将已解析的数据的报文信息及特征封装并输出；

所述应用信息输出模块根据深度报文解析模块或神经网络深度识别模块解析出的应用信息，完成信息分类、封装和输出。

进一步，所述应用特征库管理模块包括：特征导出单元、特征输入单元和应用特征库查询单元；所述特征导出单元导出现有系统特征库，方便移植到其他智能设备；所述特征输入单元接收来自神经网络深度识别模块的报文特征信息或批量导入来自其他智能深度解析设备的特征库，并进一步添加或修改现有特征库；所述应用特征库查询单元为深度报文解析模块提供特征库的查询。

进一步，所述神经网络深度识别模块包括神经网络深度识别单元、节点参数导入单元、学习训练单元、节点参数导出单元和特征输出单元；所述神经网络深度识别单元利用神经网络算法解析出报文的应用信息，将该应用信息输出给应用信息输出模块，并输出已识别报文的应用特征到特征输出单元；所述节点参数导入单元读取管理员提供的能力配置文件，对整个神经网络指定的层和指定的节点进行参数设置和调整；所述学习训练单元对神经网络算法的学习训练；所述节点参数导出单元导出神经网络算法各个节点的参数到配置文件；所述特征输出单元按照应用特征库管理模块定义的格式封装并输出应用特征来完善当前特征库。

本发明还给出了一种智能深度解析系统的解析方法，包括如下步骤：

(1)报文解析模块接收数据，对数据流中的报文进行初步识别，识别出该数据是加密数据流或非加密数据流；如果是非加密数据流，将该非加密数据流输出给深度报文解析模块进行应用层信息识别和提取；如果是加密数据流，将该加密数据流输出给神经网络深度识别单元进行解析；

(2)深度报文解析模块利用应用特征库管理模块进行特征库的查询，根据查询到的特征对非加密数据流的应用层信息进行识别和提取；若该非加密数据流未被识别，将未识别的数据流输出给深度神经网络识别单元进行解析；

(3)神经网络深度识别单元对接收到的加密数据流或未被识别的非加密数据流利用神经网络算法进行解析和识别；

(4)应用信息输出模块接收深度报文解析模块和神经网络深度识别单元输出的应用信息，将应用信息组装，并进行发送封装后输出给日志服务器或大数据服务器；

(5)特征输出单元接收神经网络深度识别单元输出的特征信息并封装，并将封装后的特征信息发送给特征输入单元；

(6)特征输入单元获取特征输出单元输出的特征信息并更新当前特征库。

进一步，在步骤(3)中，神经网络深度识别单元需对接收的加密数据流或未被识别的非加密数据流中的报文进行信息采样，提取采样信息输入到神经网络输入层的输入端，利用神经网络算法进行解析和识别。

进一步，在步骤(3)中，如加密数据流或未被识别的非加密数据流被识别成功，将应用信息发给应用信息输出模块处理，并将组装好的特征信息输出给特征输出单元；如加密数据流或未被识别的非加密数据流未被识别，系统将未识别数据流按配置的采样方式，将未识别数据流全部或部分打包输出到日志服务器，留待线下分析。

进一步，将根据未识别数据流在线下分析出的结果，制定神经网络训练的学习数据，通过学习训练训练单元对神经网络进行训练。

有益效果：本发明在现有深度解析设备借助人工或自动化工具抓取应用报文、分析应用信息并完善特征库的模式提升为自主学习和能力升级的模式，可以通过从现有在线智能深度解析系统中移植特征库和神经网络能力系数的形式，迅速提升新入网设备的识别能力。设备在线工作时，借助神经网络深度识别模块识别加密或未知协议报文，并逐步完善其特征库；此外，根据该系统输出的未识别报文，进行线下的后期分析，可以制定出学习训练数据，在线对深度神经网络节点进行定向训练，提升神经网络深度识别模块对未知协议和加密报文的识别能力，大大降低了深度解析设备的特征库维护成本，提升了深度解析设备特征库的实时更新能力。

附图说明

图1是本发明的智能深度解析系统的框图；

图2是本发明的智能型深度解析系统的数据交互流程图。

具体实施方式

下面结合附图对本发明的智能深度解析系统做进一步说明。

图1为本发明的智能深度解析系统的框图，如图1所示，所述系统包括：报文解析模块100、深度报文解析模块200、应用特征库管理模块300、神经网络深度识别模块400、应用信息输出模块500。

所述报文解析模块100对接收到的网络流量作初步解析，根据协议类型初步解析出当前数据包载荷是明文还是密文，例如https报文的载荷是密文。

当解析出当前数据包载荷是明文时，所述深度报文解析模块200调用应用特征库管理模块300的查询接口读取应用特征库，根据特征库中定义的特征对网络流量的载荷进行深度解析，获取流量应用层的用户信息；所述应用特征库管理模块300负责特征库的查询、添加、修改、删除、批量导入和批量导出；

当解析出当前数据包载荷是密文时，所述神经网络深度识别模块400利用神经网络算法完成报文的识别和解析、已解析报文的特征封装及输出、神经网络各层神经节点参数的维护等功能；所述应用信息输出模块500根据深度报文解析模块200或神经网络深度识别模块400解析出的应用信息，完成信息分类、封装和输出。

其中，所述应用特征库管理模块300主要负责对特征库的管理和读写。该模块包含特征导出单元301、特征输入单元302和应用特征库查询单元303。所述特征导出单元301可以导出现有设备特征库，方便移植到其他智能设备；所述特征输入单元302负责接收来自神经网络深度识别模块的报文特征信息或批量导入来自其他智能深度解析设备的特征库，然后进一步添加或修改现有特征库；所述应用特征库查询单元303为深度报文解析模块200提供特征库查询功能。

所述神经网络深度识别模块400包括神经网络深度识别单元401、节点参数导入单元402、学习训练单元403、节点参数导出单元404和特征输出单元405；所述神经网络深度识别单元401利用神经网络算法解析出报文的应用信息，将该应用信息输出给应用信息输出模块500，输出已识别报文的应用特征到特征输出单元405；所述节点参数导入单元402通过管理接口读取管理员提供的调整后的或其他智能深度解析系统提供的能力配置文件，对整个神经网络指定的层和指定的节点进行参数设置和调整，通过这种记忆数据移植方式可以大大缩短当前设备的在线学习时间；所述学习训练单元403负责根据用户录入的数据流、流量解析结果和训练参数完成对神经网络算法的学习训练。训练参数包括但不限于加密识别训练、未知协议识别训练等训练模式以及训练的规模等参数；所述节点参数导出单元404负责按照系统定义格式导出神经网络算法各个节点的参数到配置文件，供管理员获取；所述特征输出单元405负责按照应用特征库管理模块定义的格式封装并输出应用特征来完善当前特征库。

图2为本发明提出的智能深度解析系统的解析流程图，包括以下步骤：

s1.所述报文解析模块100接收数据，该数据可为网络流量，对数据流中的报文进行初步识别，根据报文协议类型识别出是加密数据流还是非加密数据流。如果是非加密数据流，将该非加密数据流输出给深度报文解析模块200进行应用层信息识别和提取；如果是加密数据流，将该加密数据流输出给神经网络深度识别单元401进行解析。

s2.深度报文解析模块200利用应用特征库管理模块300进行特征库的查询，根据查询到的特征对非加密数据流的应用层信息进行识别和提取；若该非加密数据流未被识别，将未识别的数据流输出给深度神经网络识别单元401进行解析。

s3.神经网络深度识别单元401对接收到的加密数据流或未被识别的非加密数据流利用神经网络算法进行解析和识别。解析和识别前需要对接收到数据流中的报文进行信息采样。采样信息不限于：链路层信息如源mac、目的mac信息，ip层信息如源ip、目的ip信、协议字段、长度等信息，传输层源端口号、目的端口号信息，以及载荷部分的采样等。

将以上所有提取信息作为神经网络输入层的输入，最终得到识别结果。例如数据流的host、应用名称、动作类型等信息。

如果识别成功，将应用信息发给应用信息输出模块500处理，并将组装好的特征信息输出给特征输出单元405。

如果识别未成功，系统将未识别数据流按配置的采样方式，将未识别数据流全部或部分打包输出到日志服务器，留待线下分析。待这部分数据流在线下分析出结果后，可制定出对神经网络训练的学习数据，例如，数据流和分析结果等信息。然后将训练数据通过学习训练训练单元403对神经网络进行训练，以进一步提升神经网络识别能力。

s4.应用信息输出模块500接收深度报文解析模块200和神经网络深度识别单元401输出的应用信息，按照用户要求的如tlv或json等格式将应用信息组装，然后进行发送封装后输出给日志服务器或大数据服务器。

s5.特征输出单元405接收神经网络深度识别单元401输出的特征信息并封装，然后将封装后的特征信息发送给特征输入单元302。

s6.特征输入单元302获取特征输出单元405输出的特征信息并更新当前特征库。

本发明提出一种支持自主学习和能力升级的智能深度解析系统及方法。所述系统和方法能基于神经网络算法完成对加密报文和未识别报文的识别和解析，并将识别出的报文信息以应用特征库要求的格式完善到设备特征库中，做到了特征库的自我完善，同时所述系统依靠模拟数据和能力参数注入等方式完成自主学习和能力提升。