括其它实施例 中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的 范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任 意之一都可WW任意的组合方式来使用。
[0313] 本发明的各个部件实施例可W W硬件实现，或者W在一个或者多个处理器上运行 的软件模块实现，或者W它们的组合实现。本领域的技术人员应当理解，可W在实践中使用 微处理器或者数字信号处理器值S巧来实现根据本发明实施例的加载有排序网址的客户 端中的一些或者全部部件的一些或者全部功能。本发明还可W实现为用于执行送里所描述 的方法的一部分或者全部的设备或者装置程序（例如，计算机程序和计算机程序产品）。送 样的实现本发明的程序可W存储在计算机可读介质上，或者可W具有一个或者多个信号的 形式。送样的信号可W从因特网网站上下载得到，或者在载体信号上提供，或者W任何其他 形式提供。
[0314] 应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领 域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中， 不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词"包含"不排除存在 未列在权利要求中的元件或步骤。位于元件之前的单词"一"或"一个"不排除存在多个送 样的元件。本发明可W借助于包括有若干不同元件的硬件W及借助于适当编程的计算机来 实现。在列举了若干装置的单元权利要求中，送些装置中的若干个可W是通过同一个硬件 项来具体体现。单词第一、第二、W及第H等的使用不表示任何顺序。可将送些单词解释为 名称。
【主权项】
1. 一种网络数据采集系统，其特征在于，包括： 接口适配模块，用于适配接入各种不同制式的数据通信网络，并接收网络数据； 控制器模块，用于定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口 采集事件数据关联规则，并下发给相应的模块； 流量分拣和负载均衡模块，用于接收来自所述控制器模块下发的所述网络数据识别 规则，根据所述网络数据识别规则对所述接口适配模块采集到的所述网络数据进行规则匹 配，获取符合所述网络数据识别规则的网路数据，并识别所述网络数据的类型，根据识别出 的所述网络数据的类型，将所述网路数据负载均衡分发到相应的下一跳模块进行处理； 协议解码和事件消息合成模块，用于接收来自控制器模块下发的解码规则和采集事件 合成规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，并根 据采集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成 协议事件数据； 多接口事件数据关联模块，用于接收来自所述控制器模块的所述多接口采集事件数据 关联规则，根据所述多接口采集事件数据关联规则创建多接口采集事件消息合成状态机， 接收来自所述协议解码和事件消息合成模块的所述协议事件数据，将所述协议事件数据合 成采集信息元数据，并发送到上层应用分析系统。2. 如权利要求1所述的网络数据采集系统，其特征在于，所述控制器模块进一步用于： 监控所述网络数据采集系统中各个处理模块的负载状况，根据所述负载状况对所述网络数 据采集系统的整体负荷进行均衡调整。3. 如权利要求1所述的网络数据采集系统，其特征在于，所述协议解码和事件消息合 成模块设置于一个或多个服务器上； 所述协议解码和事件消息合成模块具体包括： 协议解码子模块，用于针对控制面协议的网络数据，根据控制器模块下发的解码规则 进行解码；针对用户面的网络数据，根据深度报文识别系统DPI识别出的应用层协议类型， 依据解码规则进行相关字段信息的解码； 协议事件合成子模块，用于接收来自所述控制器模块下发的采集事件合成规则，根据 所述采集事件合成规则创建事件合成状态机，并设置状态数据触发机制，生产协议采集事 件数据。4. 如权利要求1所述的网络数据采集系统，其特征在于， 所述网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置， 其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域 网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；所述识别内容 包括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；所述处理动作 包括：根据识别结果对所述网络数据进行处理，将报文转发到协议解码和事件消息合成模 块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配置 包括：负载均衡类型和分发关键字；所述下一跳模块配置包括：每个下一跳处理服务器的 索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一跳 处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百分 t匕、以及下一跳处理服务器上的业务处理模块的在线状态； 所述解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协 议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网 络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标 记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID.逻辑接 口 ID.上下行方向ID.协议类型ID.消息类型ID.消息字段ID.参数ID ;所述解码规则中 还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关 键字之间的一一映射关系，以指明消息的下一步处理； 所述采集事件合成规则包括：采集事件合成状态机的ID标识符、类型标识符、采集事 件合成状态机的关键字、采集事件合成状态机的输入消息编码、采集事件合成状态机的中 间数据生成规则、采集事件合成状态机的数据输出规则、以及采集事件合成状态机输出数 据的下一跳处理，其中，状态机的中间数据由输入消息的解码字段的编码组合而成，若还存 在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以 硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每 个字段在本状态机内部有唯一的编码，其编码格式为：状态机ID.中间数据ID.字段ID ; 状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结 果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现，对状态机的输 出数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码，其编码格式 为：状态机类型ID.状态机标识ID.输出数据ID.字段ID，此外，所述采集事件合成规则中 还包括输出数据是否进入的多接口事件合成状态机的标识符，以及输出数据中的字段和多 接口事件合成状态机关键字之间的一一映射关系，以指明消息的下一步处理； 所述多接口采集事件数据关联规则包括：多接口采集事件消息合成状态机的类型标 识、多接口采集事件消息合成状态机的关键字、多接口采集事件消息合成状态机的输入事 件消息编码、多接口采集事件消息合成状态机的数据生成规则、多接口采集事件消息合成 状态机的数据输出规则、以及多接口采集事件消息合成状态机输出数据的下一跳处理，其 中，状态机的中间数据由输入事件消息的字段编码组合而成，若还存在需要进行复杂计算 才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现；对 状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码， 其编码格式：状态机类型ID.状态机标识ID.输出数据ID.字段ID ;状态机的输出数据由 中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段 分配系统内唯一标识符，在系统中以硬编码的方式实现。5. 如权利要求1所述的网络数据采集系统，其特征在于，所述网络数据采集系统中的 各个模块根据被采集的网络数据的流量大小，合一部署在一台硬件设备上、或者分离部署 在多台硬件设备上，其中，在合一部署在一台硬件设备上时，各个模块采用内部数据格式 进行网络数据的封装传输；在分离部署在多台硬件设备上时，各个模块采用传输控制协议 TCP/用户数据包协议UDP通道进行网络数据的封装传输。6. 如权利要求4所述的方法，其特征在于，流量分拣和负载均衡模块具体用于：根据所 述网络数据识别规则中的所述负载均衡配置将所述网路数据负载均衡分发到相应的下一 跳模块所在的一个或多个服务器上进行处理。7. -种网络数据采集方法，其特征在于，包括： 接口适配模块适配接入各种不同制式的数据通信网络，并接收网络数据； 控制器模块定义网络数据识别规则、解码规则、采集事件合成规则、以及多接口采集事 件数据关联规则，并下发给相应的模块； 流量分拣和负载均衡模块接收来自所述控制器模块下发的所述网络数据识别规则，根 据所述网络数据识别规则对所述接口适配模块采集到的所述网络数据进行规则匹配，获取 符合所述网络数据识别规则的网路数据，并识别所述网络数据的类型，根据识别出的所述 网络数据的类型，将所述网路数据负载均衡分发到相应的下一跳模块进行处理； 协议解码和事件消息合成模块接收来自控制器模块下发的解码规则和采集事件合成 规则，根据解码规则对来自流量分拣和负载均衡模块的网络数据进行协议解码，并根据采 集事件合成规则创建事件合成状态机，对解码后的多条协议消息进行消息合成，生成协议 事件数据； 多接口事件数据关联模块接收来自所述控制器模块的所述多接口采集事件数据关联 规则，根据所述多接口采集事件数据关联规则创建多接口采集事件消息合成状态机，接收 来自所述协议解码和事件消息合成模块的所述协议事件数据，将所述协议事件数据合成采 集信息元数据，并发送到上层应用分析系统。8. 如权利要求7所述的网络数据采集方法，其特征在于，所述方法进一步包括： 所述控制器模块监控所述网络数据采集系统中各个处理模块的负载状况，根据所述负 载状况对所述网络数据采集系统的整体负荷进行均衡调整。9. 如权利要求7所述的网络数据采集方法，其特征在于，所述协议解码和事件消息合 成模块设置于一个或多个服务器上； 协议解码和事件消息合成模块接收来自所述流量分拣和负载均衡模块下发的网络数 据，根据所述解码规则对所述网络数据进行深度分析和解码，并根据所述控制器模块下发 的所述采集事件合成规则进行协议级别的事件流程消息的合成，生成协议事件数据具体包 括： 协议解码子模块针对控制面协议的网络数据，根据控制器模块下发的解码规则进行解 码；针对用户面的网络数据，根据深度报文识别系统DPI识别出的应用层协议类型，依据解 码规则进行相关字段信息的解码； 协议事件合成子模块接收来自所述控制器模块下发的采集事件合成规则，根据所述采 集事件合成规则创建事件合成状态机，并设置状态数据触发机制，生产协议采集事件数据。10. 如权利要求7所述的网络数据采集方法，其特征在于， 所述网络数据识别规则具体包括：匹配条件、识别内容、处理动作、和下一跳模块配置， 其中，匹配条件包括：网络数据采集入口标识符、媒体访问控制MAC层匹配地址、虚拟局域 网VLAN层匹配标识符、网络地址IP层匹配地址、以及应用层匹配端口号；所述识别内容包 括：识别出的网络类型、识别出的逻辑接口类型、以及识别出的报文方向；所述处理动作包 括：根据所述识别结果对所述网络数据进行处理，将报文转发到协议解码和事件消息合成 模块进行处理、或转发给抓包服务器处理，其中，在需要进行负载均衡分发时，负载均衡配 置包括：负载均衡类型和分发关键字；所述下一跳模块配置包括：每个下一跳处理服务器 的索引号、流量分拣和负载均衡模块的出口索引号、下一跳处理服务器的地址和端口、下一 跳处理服务器上的业务处理模块的索引号、下一跳处理服务器上的业务处理模块的负荷百 分比、以及下一跳处理服务器上的业务处理模块的在线状态； 所述解码规则包括：网络类型、网络中的逻辑接口以及该接口上的协议栈协议、每层协 议的消息种类、消息中的字段、字段中的参数、以及指明该字段是否必须的标识，其中，对网 络类型、逻辑接口、协议类型、消息类型、消息字段、以及字段中的参数赋予身份标识ID标 记，确保每个解码的字段参数有唯一的编码标识符标识，编码基本格式为：网络ID.逻辑接 口 ID.上下行方向ID.协议类型ID.消息类型ID.消息字段ID.参数ID ;所述解码规则中 还包括解码后的消息是否进入的事件合成状态机的标识符、以及消息中的字段和状态机关 键字之间的一一映射关系，以指明消息的下一步处理； 所述采集事件合成规则包括：采集事件合成状态机的ID标识符、类型标识符、采集事 件合成状态机的关键字、采集事件合成状态机的输入消息编码、采集事件合成状态机的中 间数据生成规则、采集事件合成状态机的数据输出规则、以及采集事件合成状态机输出数 据的下一跳处理，其中，状态机的中间数据由输入消息的解码字段的编码组合而成，若还存 在需要进行复杂计算才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以 硬编码的方式实现；对状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每 个字段在本状态机内部有唯一的编码，其编码格式为：状态机ID.中间数据ID.字段ID ; 状态机的输出数据由中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结 果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现，对状态机的输 出数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码，其编码格式 为：状态机类型ID.状态机标识ID.输出数据ID.字段ID，此外，所述采集事件合成规则中 还包括输出数据是否进入的多接口事件合成状态机的标识符，以及输出数据中的字段和多 接口事件合成状态机关键字之间的一一映射关系，以指明消息的下一步处理； 所述多接口采集事件数据关联规则包括：多接口采集事件消息合成状态机的类型标 识、多接口采集事件消息合成状态机的关键字、多接口采集事件消息合成状态机的输入事 件消息编码、多接口采集事件消息合成状态机的数据生成规则、多接口采集事件消息合成 状态机的数据输出规则、以及多接口采集事件消息合成状态机输出数据的下一跳处理，其 中，状态机的中间数据由输入事件消息的字段编码组合而成，若还存在需要进行复杂计算 才能获得结果的字段，为该字段分配系统内唯一标识符，在系统中以硬编码的方式实现；对 状态机的中间数据的每个字段需要赋予ID标识符进行标识，确保每个字段有唯一的编码， 其编码格式：状态机类型ID.状态机标识ID.输出数据ID.字段ID ;状态机的输出数据由 中间数据字段编码组合而成，若还存在需要进行复杂计算才能获得结果的字段，为该字段 分配系统内唯一标识符，在系统中以硬编码的方式实现。11. 如权利要求7所述的网络数据采集方法，其特征在于，所述方法进一步包括： 根据被采集的网络数据的流量大小，将各个模块合一部署在一台硬件设备上、或者分 离部署在多台硬件设备上，其中，在将各个模块合一部署在一台硬件设备上时，各个模块采 用内部数据格式进行网络数据的封装传输；在将各个模块分离部署在多台硬件设备上时， 各个模块采用传输控制协议TCP/用户数据包协议UDP通道进行网络数据的封装传输。12. 如权利要求10所述的网络数据采集方法，其特征在于，将所述网路数据负载均衡 分发到相应的下一跳模块进行处理具体包括：根据所述网络数据识别规则中的所述负载均 衡配置将所述网路数据负载均衡分发到相应的下一跳模块所在的一个或多个服务器上进
【专利摘要】本发明公开了一种网络数据采集系统及方法。该系统包括：接口适配模块、流量分拣和负载均衡模块、协议解码和事件消息合成模块、多接口事件数据关联模块、以及控制器模块，借助于本发明的技术方案，解决了现有技术中数据采集系统的数据采集方法僵化和不灵活问题，能够实现数据采集的可配置和可定制，同时还能够实现数据采集系统组网的灵活部署。
【IPC分类】H04W24/00
【公开号】CN105578488
【申请号】CN201410529542
【发明人】张勋牛
【申请人】中兴通讯股份有限公司
【公开日】2016年5月11日
【申请日】2014年10月10日
【公告号】WO2016054992A1