，其中，在将各个模块合一部署在一台硬件设备上时，各个模 块采用内部数据格式进行网络数据的封装传输；在将各个模块分离部署在多台硬件设备上 时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。
[0046] 优选地，将网路数据负载均衡分发到相应的下一跳模块进行处理具体包括；根据 网络数据识别规则中的负载均衡配置将网路数据负载均衡分发到相应的下一跳模块所在 的一个或多个服务器上进行处理。
[0047] 本发明有益效果如下：
[0048] 借助于本发明实施例的网络数据采集系统和方法，解决了现有技术中数据采集系 统的数据采集方法僵化和不灵活问题，能够实现数据采集的可配置和可定制，同时还能够 实现数据采集系统组网的灵活部署。
[0049] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予W实施，并且为了让本发明的上述和其它目的、特征和优点能够 更明显易懂，W下特举本发明的【具体实施方式】。
【附图说明】
[0050] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0051] 图1是现有技术中通信网络基本数据采集和分析系统的示意图；
[0052] 图2是现有技术中数据采集系统的示意图；
[0053] 图3是本发明实施例的网络数据采集系统的结构示意图；
[0054] 图4是本发明实施例的匹配条件的示意图；
[0055] 图5是本发明实施例的识别类型的示意图；
[0056] 图6是本发明实施例的决定报文的后续一系列处理的单向链表的示意图；
[0057] 图7是本发明实施例的下一跳配置的示意图；
[0058] 图8是本发明实施例的流量分栋和负载均衡模块转发数据格式的示意图；
[0059] 图9是本发明实施例的解码规则配置的示意图；
[0060] 图10是本发明实施例的解码输出的示意图；
[0061] 图11是本发明实施例的协议事件合成状态机的示意图；
[0062] 图12是本发明实施例的多接口事件合成状态机的示意图；
[0063] 图13是本发明实施例的信息元数据格式的示意图；
[0064] 图14是本发明实施例额数据采集系统原理图；
[0065] 图15是本发明实施例的数据采集系统IP组网图；
[0066] 图16是本发明实施例的数据采集网络逻辑接口图；
[0067] 图17是本发明实施例的流量分栋器基本工作流程图；
[0068] 图18是本发明实施例的协议解码器基本工作流程图；
[0069] 图19是本发明实施的多接口事件合成器基本工作流程图；
[0070] 图20是本发明实施例的网络数据采集方法的流程图。
【具体实施方式】
[0071] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开 的示例性实施例，然而应当理解，可W W各种形式实现本公开而不应被送里阐述的实施例 所限制。相反，提供送些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围 完整的传达给本领域的技术人员。
[0072] 为了解决现有技术中数据采集系统的数据采集方法僵化和不灵活的问题，本发明 提供了一种网络数据采集系统和方法，上述系统包括：接口适配模块、流量分栋和负载均衡 模块、协议解码和事件消息合成模块、多接口事件数据关联模块、W及控制器模块，W下结 合附图W及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用W解释本发明，并不限定本发明。
[0073] 系统实施例
[0074] 根据本发明的实施例，提供了一种网络数据采集系统，图3是本发明实施例的网 络数据采集系统的结构示意图，如图3所示，根据本发明实施例的网络数据采集系统包括： 接口适配模块30、流量分栋和负载均衡模块32、协议解码和事件消息合成模块34、多接口 事件数据关联模块36、W及控制器模块38, W下对本发明实施例的各个模块进行详细的说 明。
[00巧]接口适配模块30,用于适配接入各种不同制式的数据通信网络，并接收网络数 据；
[0076] 控制器模块38,用于定义网络数据识别规则、解码规则、采集事件合成规则、W及 多接口采集事件数据关联规则，并下发给相应的模块；其中，控制器模块38进一步用于；监 控网络数据采集系统中各个处理模块的负载状况，根据负载状况对网络数据采集系统的整 体负荷进行均衡调整。
[0077] 在本发明实施例中，网络数据识别规则具体包括：匹配条件、识别内容、处理动作、 和下一跳模块配置，其中，匹配条件包括；网络数据采集入口标识符、媒体访问控制MC层 匹配地址、虚拟局域网VLAN层匹配标识符、网络地址IP层匹配地址、W及应用层匹配端 口号等；识别内容包括：识别出的网络类型、识别出的逻辑接口类型、W及识别出的报文方 向；处理动作包括；根据识别结果将报文转发到协议解码和事件消息合成模块进行处理， 其中，在需要进行负载均衡分发时，负载均衡配置包括；负载均衡类型，如；轮询方式，加权 优先级，哈希取模等，分发关键字，如：源IP地址，源端口号等；下一跳模块配置包括：每个 下1跳处理服务器的索引号、流量分栋和负载均衡模块的出口索引号、下一跳处理服务器 的地址和端口、下一跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业 务处理模块的负荷百分比、W及下一跳模块上的业务处理模块的在线状态等；
[007引解码规则包括：网络类型、网络中的逻辑接口 W及该接口上的协议找协议、每层协 议的消息类型、消息中的字段、字段中的参数、W及指明该字段是否必须的标识，其中对网 络类型、逻辑接口、协议类型、消息类型、消息字段、字段中的参数赋予ID标记，确保每个解 码的字段参数有唯一的编码标识符标识，编码基本格式为；网络I化逻辑接口 I化上下行方 向1化协议类型1化消息类型1化消息字段1化参数ID;此外，解码规则中还包括解码后的 消息应该进入的事件合成状态机的标识符，W及消息中的字段和状态机关键字之间的一一 映射关系，W指明消息的下一步处理；
[0079] 采集事件合成规则包括：采集事件合成状态机的ID标识符、类型标识符、采集事 件合成状态机的关键字、采集事件合成状态机的输入消息编码（在解码规则中定义）、采集 事件合成状态机的中间数据生成规则、采集事件合成状态机的数据输出规则、W及采集事 件合成状态机输出数据的下一跳处理，其中，状态机的中间数据由输入消息的解码字段的 编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯 一标识符，在系统中W硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标 识符进行标识，确保每个字段在本状态机内部有唯一的编码，编码格式；状态机ID.中间数 据ID.字段ID ;状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂 计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中W硬编码的方式实 现，对状态机的输出数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的 编码，编码格式；状态机类型1化状态机标识1化输出数据1化字段ID，此外，规则中还包 括输出数据应该进入的多接口事件合成状态机的标识符，W及输出数据中的字段和多接口 事件合成状态机关键字之间的一一映射关系，W指明消息的下一步处理。
[0080] 多接口采集事件数据关联规则包括；多接口采集事件消息合成状态机的类型标 识、多接口采集事件消息合成状态机的关键字、多接口采集事件消息合成状态机的输入事 件消息编码（在协议事件合成规则中定义）、多接口采集事件消息合成状态机的数据生成 规则、多接口采集事件消息合成状态机的数据输出规则、W及多接口采集事件消息合成状 态机输出数据的下一跳处理，其中，状态机的中间数据由输入事件消息的字段编码组合而 成，若还存在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符， 在系统中W硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行 标识，确保每个字段有唯一的编码，编码格式；状态机类型ID.状态机标识ID.输出数据 H).字段ID ;状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计 算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中W硬编码的方式实现。
[0081] 流量分栋和负载均衡模块32,用于接收来自控制器模块38下发的网络数据识别 规则，根据网络数据识别规则对接口适配模块30采集到的网络数据进行规则匹配，获取符 合网络数据识别规则的网路数据，并识别网络数据的类型，根据识别出的网络数据的类型， 将网路数据负载均衡分发到相应的下一跳模块进行处理；流量分栋和负载均衡模块32具 体用于：根据网络数据识别规则中的负载均衡配置将网路数据负载均衡分发到相应的下一 跳模块所在的一个或多个服务器上进行处理。
[0082] 协议解码和事件消息合成模块34,用于接收来自控制器模块下发的协议解码和事 件合成规则，根据解码规则对来自流量分栋和负载均衡模块的网络数据进行协议解码，根 据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成 协议事件数据；
[0083] 协议解码和事件消息合成模块34具体包括：
[0084] 协议解码子模块，用于针对控制面协议的网络数据，根据控制器模块下发的解码 规则进行解码；针对用户面的网络数据，由DPI深度报文识别系统识别出应用层协议类型， 再依据解码规则进行相关字段信息的解码；
[0085] 协议事件合成子模块，用于接收来自控制器模块38下发的采集事件合成规则，根 据采集事件合成规则创建采集事件合成状态机，并设置状态数据触发机制，生产协议采集 事件数据。
[0086] 多接口事件数据关联模块36,用于接收来自控制器模块38的多接口采集事件数 据关联规则，根据多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，并 设置状态数据触发机制，接收来自协议解码和事件消息合成模块34的协议事件数据，将协 议事件数据合成采集信息元数据，并发送到上层应用分析系统。
[0087] 在本发明实施例中，网络数据采集系统中的各个模块根据被采集的网络数据的流 量大小，合一部署在一台硬件设备上、或者分离部署在多台硬件设备上，其中，在合一部署 在一台硬件设备上时，各个模块采用内部数据格式进行网络数据的封装传输；在分离部署 在多台硬件设备上时，各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络 数据的封装传输。
[0088] W下对本发明实施例的控制器模块38定义网络数据识别规则、解码规则、采集事 件合成规则、W及多接口采集事件数据关联规则进行详细说明。
[0089] 第一步：控制器模块38配置网络数据识别规则：
[0090] 在数据采集过程中，首先需要对采集到的网络原始报文进行一个基本的识别过 程，然后根据识别结果对杂乱的网络数据包进行分类处理。基本识别过程主要是基于数据 报文的承载信息来进行的，基本原理如下：
[0091] 1、匹配条件；如图4所示，其中，匹配条件不需要每层协议都进行配置，只需要配 置识别所需要的最小条件即可。
[0092] 2、识别类型；如图5所示；其中，网络类型指2G/3G/4G网络等；逻辑接口类型指 Gn/Sl-MME/SGI 口等；报文方向指采集到的数据是上行还是下行。
[0093] 3、动作；当报文基本信息识别出后，根据动作行为决定报文的后续一系列处理，处 理过程为单向链表，如图6所示。
[0094] 4、下一跳（nexthop配置）；如图7所示，每个下一跳处理单元可W包含有多台处 理设备，其中；1、2、3表示每台处理设备的索引号。
[0095] 匹配识别规则可W在控制器上通过Web页面进行配置，W XML数据格式下发到流 量分栋器。
[0096] 流量分栋和负载均衡模块32转发数据格式如图8所示。
[0097] 第二步；配置解码规则和采集事件合成规则：
[0098] 不同的上层应用数据分析系统，所需的信息元数据是不同的，对应的，进行数据采 集时，协议数据解码应该是可W定制的，可W根据需要采集不同的协议数据信息。
[0099] 解码规则配置原理；通信网络中，每种逻辑接口（两个逻辑网元之间的数据链路） 上的数据报文，所包含的协议找层次是确定的，对协议找中的每层协议，可W指明需要解码 的协议，协议中的消息类型，消息中的哪些字段，字段中的哪些参数，如图9所示，除字段名 称标识外，对每个应该解码的字段参数进行ID唯一编码，用来唯一定位该字段信息。
[0100] 采集解码规则可W在控制器上通过Web页面进行配置，并W XML格式下发给协议 解码模块。
[0101] 其中，解码输出的结果如图10所示，协议解码结果作为协议事务合成过程的输 入，配置上指明解码消息应该输入的状态机类型。
[0102] 采集事件合成规则配置原理：
[0103] 数据采集过程，一般不只是协议中的单条消息中的某些字段信息，更多的是采集 和协议事务流程相关的多条消息中所包含的信息数据，如：哪个位置上的哪个用户是否注 册成功，哪个用户的哪次会话是否建立成功，用户的数据业务TCP建连是否成功，注册、会 话及建链的消息延时又是多少等等，送些需要采集的信息数据都是和多条协议消息相关联 的，采集时，只有收集到了相关事务流程的所有消息时，才能生成所需要的信息数据。
[0104] 协议的多条事务消息的采集过程可W设计为一状态机，原理如下：
[0105] 状态机类型标识；标记状态机的类型，对应某种格式的数据采集内容。
[0106] 状态机关键字；采集事件流程的多条消息之间是具有一定关系的，总是可W通过 某（几）个共同字段的内容关联到一起的，该字段的内容就是该采集状态机的关键字，用来 关联该采集状态机的所有消息。
[0107] 状态机输入；根据采集需求，为状态机指定的接收消息序列及条件。
[010引状态机数据生成；根据采集需求，设置状态机的数据生成触发动作，触发数据生成 的输入条件可W是某个消息，某几条消息，或循环定时器，或超时定时器等。根据输入消息 的解码数据的字段编码，定义状态机中间数据的组成，若中间数据某字段内容并不存在于 输入消息中，如：响应相对请求的延时时长字段等，送些字段的生成需要提前预编码在系统 中，可W定义为特殊关键字段，并W标记符标识。状态机中间数据的每字段都进行编码。
[0109] 状态机数据输出；输入条件可能触发状态机输出合成数据，状态机的输出数据从 状态机中间数据中提取，具体字段组成通过中间数据字段的编码来确定。
[0110] 状态机输出数据的下一跳处理；状态机的输出数据，既可能是最终采集数据，也可 能是其它状态机的输入，输出的结果数据由配置指定下一步处理。
[0111] 状态机如图11所示，状态机的数据包括中间临时数据和最终输出数据，中间临时 数据中的每个字段由状态机输入消息中的字段组合而成，若数据中还存在某个字段需要涉 及到复杂的逻辑运算，该字段将在系统内唯一被唯一标识，并在系统内部W标准硬编码方 式实现该逻辑。
[0112] 采集事件合成规则在控制器上通过Web页面进行配置，并W XML格式下发给协议 解码模块。
[0113] 第H步；配置多接口采集事件数据关联规则：
[0114] 在进行网络数据采集时，很多场景情况下，所需采集的数据同时分布在网络中的 多个逻辑接口上。
[0115] 当采集信息元数