一种基于规则路由的数据流实时分类方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于规则路由的数据流实时分类方法及系统。
【背景技术】
[0002] 随着互联网的迅猛发展，公司业务数据的种类和数量不断增多。在数据总线中如 何对数据流进行高效地识别与分类，是大数据处理中一个亟待解决的问题。
[0003] 数据流分类是指系统能够按照一定的过滤规则对接收到的数据流进行业务识别 及分类，以便系统能够根据不同的数据流类别进行相应的后续业务处理。其中，数据流分类 规则一般都是基于数据流中的多个字段特征形成的。分类规则如何进行描述和存储、分类 方法流程如何设计是影响数据流分类性能的重要因素。
[0004] 目前对数据流进行分类的方法主要有以下几种：
[0005] 1)过滤规则用程序语言实现。这种方法实现比较直接，但由于规则写死在程序中， 导致规则无法进行灵活的通用配置。如果出现了具有新特征的数据源，或者规则特征发生 变更，通常需要重新编程才能对这些数据流加以识别和分类；
[0006] 2)使用脚本定制过滤规则。该方法比程序实现更加灵活，但脚本定制风格各异，规 则可读性不高，用户在使用该方法定制过滤规则时，仍然有较大的规则学习成本，不利于规 则进行扩展。
【发明内容】
[0007] 针对上述技术问题，本发明所要解决的技术问题是提供一种基于数据流特征，采 用路由方式，能够有效针对数据流实现实时过滤分类的基于规则路由的数据流实时分类方 法。
[0008] 与此相应，针对上述技术问题，本发明还要解决的技术问题是提供一种结构简洁， 用于实现本发明设计基于规则路由的数据流实时分类方法的基于规则路由的数据流实时 分类系统。
[0009] 本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于规则路 由的数据流实时分类方法，首先分别获取指定进行路由分类处理的各类数据流的特征，以 此分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，用于区分 各类目标数据流，同时，分别为各类目标数据流指定路由目标；然后，针对实时获得的各个 待处理数据流，分别进行如下步骤操作：
[0010] 步骤001.将待处理数据流与各类目标数据流分类特征规则分别进行匹配操作， 若匹配不成功，则该待处理数据流不属于指定进行路由分类处理的数据流种类，该待处理 数据流的操作结束；若匹配成功，则进入步骤002 ;
[0011] 步骤002.根据该待处理数据流匹配成功的目标数据流分类特征规则，获取该目 标数据流所对应的路由目标，将该待处理数据流根据该路由目标进行分类输出。
[0012] 作为本发明的一种优选技术方案：根据获得的指定进行路由分类处理的各类数据 流的特征，通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流 分类特征规则；
[0013] 在所述针对实时获得的各个待处理数据流分别进行的操作中，步骤001之前还包 括步骤000如下：
[0014] 步骤000.根据定义目标数据流分类特征规则的类SQL语言，采用指定数据模型将 待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。
[0015] 作为本发明的一种优选技术方案：所述步骤001中，针对待处理数据流与各类目 标数据流分类特征规则分别进行的匹配操作，具体包括如下步骤：
[0016] 步骤00101.根据树的数据结构形式，分别针对各类目标数据流分类特征规则进 行构造，获得分别对应各类目标数据流分类特征规则的各个分类树，其中，各个分类树的叶 子节点代表目标数据流分类特征规则中的子特征，中间节点代表各子节点的复合特征，根 部节点代表了目标数据流分类特征规则所对应的路由目标；进入步骤00102 ;
[0017] 步骤00102.将待处理数据流分别与各个分类树进行匹配操作，其中，待处理数据 流由叶子节点开始进行匹配操作，若叶子节点匹配成功，则向上与该叶子节点对应的父节 点进行匹配，以此类推，直至根节点进行匹配操作，上述过程中，若全部匹配成功，则该待处 理数据流符合当前与之进行匹配操作的规则树，进入步骤002 ;若出现匹配不成功的节点， 则该待处理数据流不符合当前与之进行匹配操作的规则树，该待处理数据流与该规则树的 匹配操作结束。
[0018] 本发明所述一种基于规则路由的数据流实时分类方法采用以上技术方案与现有 技术相比，具有以下技术效果：本发明设计的基于规则路由的数据流实时分类方法，基于数 据流特征，灵活配置目标数据流分类特征规则，采用过滤方式，针对来自不同源、不同类型 的数据流实现匹配操作，区分获得各类指定进行路由分类处理的数据流，最终针对数据流 实现实时高效过滤分类，有效提高了数据流实际应用的工作效率，并且具有很强的可扩展 性。
[0019] 与此相应，本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种 实现本发明所述基于规则路由的数据流实时分类方法的系统，包括规则定义模块、规则库、 事件过滤模块和路由分类模块，其中：
[0020] 规则定义模块，用于根据获得的指定进行路由分类处理的各类数据流的特征，分 别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规则，以及分别为各 类目标数据流指定路由目标；
[0021] 规则库，用于存储各类目标数据流分类特征规则，以及其对应的路由目标；
[0022] 事件过滤模块，用于将待处理数据流与各类目标数据流分类特征规则分别进行匹 配操作；
[0023] 路由分类模块，用于根据事件过滤模块针对待处理数据流的匹配操作结果，执行 对应的分类操作。
[0024] 作为本发明的一种优选技术方案：还包括预处理模块，其中：
[0025] 规则定义模块，用于根据获得的指定进行路由分类处理的各类数据流的特征，通 过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据流分类特征规 贝1J，以及分别为各类目标数据流指定路由目标；
[0026] 预处理模块，用于根据定义目标数据流分类特征规则的类SQL语言，采用指定数 据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式。
[0027] 本发明所述一种基于规则路由的数据流实时分类系统采用以上技术方案与现有 技术相比，具有以下技术效果：本发明设计的基于规则路由的数据流实时分类系统，结构简 洁，能够快速实现本发明所述基于规则路由的数据流实时分类方法的实际应用，能够显著 提高针对数据流进行实时过滤分类操作的工作效率。
【附图说明】
[0028] 图1为本发明设计基于规则路由的数据流实时分类方法的流程示意图；
[0029] 图2为本发明设计基于规则路由的数据流实时分类系统的模块结构示意图；
[0030] 图3为本发明设计中目标数据流分类特征规则的树结构示意图；
[0031] 图4为本发明设计基于规则路由的数据流实时分类的示意图。
【具体实施方式】
[0032] 下面结合说明书附图针对本发明的【具体实施方式】作进一步详细的说明。
[0033] 如图1和图2所示，本发明设计的一种基于规则路由的数据流实时分类方法及系 统在实际应用过程当中，首先分别获取指定进行路由分类处理的各类数据流的特征，规则 定义模块以此通过类SQL语言分别定义该各类数据流的分类特征规则，作为各类目标数据 流分类特征规则，用于区分各类目标数据流，同时，规则定义模块分别为各类目标数据流指 定路由目标，经规则定义模块定义、指定的各类目标数据流分类特征规则及其路由目标存 储于规则库当中，上述设计中，采用类SQL语言作为各类目标数据流分类特征规则的定义 语言，语言的语法和语义均高层和直观，易于理解，方便用户书写事件处理表达式，语言表 达性和机器执行性达到了较好的平衡。
[0034] 接下来，针对实时获得的各个待处理数据流，分别进行如下步骤操作：
[0035] 步骤000.预处理模块根据定义目标数据流分类特征规则的类SQL语言，采用指定 数据模型将待处理数据流的格式转化为类SQL语言可以识别的数据格式，进入步骤001。