一种基于实时计算数据标准化处理引擎及处理方法与流程

本发明属于数据处理技术领域，尤其是涉及一种基于实时计算数据标准化处理引擎及处理方法。

背景技术：

随着大数据技术发展，数字服务应用在生活的方方面面，数据量急剧暴增且数据结构不固定，如何快速归整出统一数据结构是一个问题。当前最常见解决办法是针对特定数据结构开发固定数据清洗任务，随着接入数据种类增加，清洗任务随之增加。

技术实现要素：

本发明旨在解决上述技术问题，提供一种能够通过配置化方式解决归整统一数据结构的基于实时计算数据标准化处理引擎及处理方法。

为了达到上述目的，本发明采用如下技术方案：

一种基于实时计算数据标准化处理引擎，包括：规则匹配模块，所述规则匹配模块用于依据传入消息头信息与已配置规则匹配消息与规则；规则配置模块，所述规则配置模块用于管理规则配置信息；规则编译模块，所述规则编译模块用于将规则编译成字节码；规则执行模块，所述规则执行模块用于将输入的消息输出清洗后结果；规则链模块，多个规则组成规则链，所述规则链模块用于对规则链的每一个规则进行规则处理。

作为优选，所述规则配置模块管理的规则配置信息包括字典映射规则，所述字典映射规则是指通过一个值映射到一个另一个值。

作为优选，所述规则配置模块管理的规则配置信息包括列表规则，所述列表规则是指将数组转成多条记录。

作为优选，所述规则配置模块管理的规则配置信息包括赋值规则，所述赋值规则是指将某个属性值加工处理赋值给另一个属性。

作为优选，所述规则配置模块管理的规则配置信息包括时间规则，所述时间规则是指对时间进行各类型格式化。

作为优选，所述规则配置模块管理的规则配置信息包括聚合规则，所述聚合规则是指对一个数组字段进行聚合，并将聚合结果值赋给另一个字段。

本发明还提供了一种基于实时计算数据标准化处理方法，包括以下步骤：

s1.判断传入消息头信息与规则是否匹配，若头信息与规则匹配，则通过规则匹配模块匹配头消息与规则，然后执行步骤s2，若头信息与规则不匹配，则结束数据处理；

s2.判断规则链缓存是否存在，若规则链缓存存在，则执行步骤s4，若规则链缓存不存在，则执行步骤s3；

s3.编译规则并缓存，以构建规则链，规则链生成后执行步骤s4；

s4.迭代规则链并执行规则链标准化。

采用上述技术方案后，本发明具有如下优点：

本发明的基于实时计算数据标准化处理引擎，能够通过配置化方式解决统一数据结构规整的问题，将传入消息头与规则信息进行匹配，构成规则链并缓存和执行，能够实现数据的统一规整。

附图说明

图1为本发明的一种基于实时计算数据标准化处理引擎的结构示意图；

图2为本发明的一种基于实时计算数据标准化处理方法的步骤流程图；

图中：

1-规则匹配模块；2-规则配置模块；3-规则编译模块；4-规则执行模块；5-规则链模块。

具体实施方式

以下结合附图及具体实施例，对本发明作进一步的详细说明。

如图1所示，一种基于实时计算数据标准化处理引擎，包括：规则匹配模块1，所述规则匹配模块1用于依据传入消息头信息与已配置规则匹配消息与规则；规则配置模块2，所述规则配置模块2用于管理规则配置信息；规则编译模块3，所述规则编译模块用于将规则编译成字节码bytecode，加快执行速度；规则执行模块4，所述规则执行模块用于将输入的消息输出清洗后结果；规则链模块5，多个规则组成规则链，所述规则链模块用于对规则链的每一个规则进行规则处理。

所述规则配置模块2管理的规则配置信息包括字典映射规则、列表规则、赋值规则、时间规则、聚合规则。所述字典映射规则是指通过一个值映射到一个另一个值，例如：f->女，m->男；所述列表规则是指将数组转成多条记录，例如：源订单数据里有多个商品，通过列表规则将数组转化成多条商品记录；所述赋值规则是指将某个属性值加工处理赋值给另一个属性；所述时间规则是指对时间进行各类型格式化例如：将时间戳转化为日期格式，1577808000000->2020-01-0100:00:00；所述聚合规则是指对一个数组字段进行聚合，并将聚合结果值赋给另一个字段，例如：订单数据包含3个子订单的数组，子订单价格分别是30、60、120，采用聚合规则的平均值，则计算子订单评价价格为(30+60+120)/3=70。

如图2所示，本发明还提供了一种基于实时计算数据标准化处理方法，包括以下步骤：

s1.判断传入消息头信息与规则是否匹配，若头信息与规则匹配，则通过规则匹配模块1匹配头消息与规则，然后执行步骤s2，若头信息与规则不匹配，则结束数据处理；

s2.判断规则链缓存是否存在，若规则链缓存存在，则执行步骤s4，若规则链缓存不存在，则执行步骤s3；

s3.编译规则并缓存，以构建规则链，规则链生成后执行步骤s4；

s4.迭代规则链并执行规则链标准化。

采用上述技术方案后，本发明具有如下优点：

本发明的基于实时计算数据标准化处理引擎，能够通过配置化方式解决统一数据结构规整的问题，将传入消息头与规则信息进行匹配，构成规则链并缓存和执行，能够实现数据的统一规整。

除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。

技术特征：

1.一种基于实时计算数据标准化处理引擎，其特征在于，包括：

规则匹配模块（1），所述规则匹配模块（1）用于依据传入消息头信息与已配置规则匹配消息与规则；

规则配置模块（2），所述规则配置模块（2）用于管理规则配置信息；

规则编译模块（3），所述规则编译模块（3）用于将规则编译成字节码；

规则执行模块（4），所述规则执行模块（4）用于将输入的消息输出清洗后结果；

规则链模块（5），多个规则组成规则链，所述规则链模块（5）用于对规则链的每一个规则进行规则处理。

2.如权利要求1所述的基于实时计算数据标准化处理引擎，其特征在于，所述规则配置模块（2）管理的规则配置信息包括字典映射规则，所述字典映射规则是指通过一个值映射到一个另一个值。

3.如权利要求1所述的基于实时计算数据标准化处理引擎，其特征在于，所述规则配置模块（2）管理的规则配置信息包括列表规则，所述列表规则是指将数组转成多条记录。

4.如权利要求1所述的基于实时计算数据标准化处理引擎，其特征在于，所述规则配置模块（2）管理的规则配置信息包括赋值规则，所述赋值规则是指将某个属性值加工处理赋值给另一个属性。

5.如权利要求1所述的基于实时计算数据标准化处理引擎，其特征在于，所述规则配置模块（2）管理的规则配置信息包括时间规则，所述时间规则是指对时间进行各类型格式化。

6.如权利要求1所述的基于实时计算数据标准化处理引擎，其特征在于，所述规则配置模块（2）管理的规则配置信息包括聚合规则，所述聚合规则是指对一个数组字段进行聚合，并将聚合结果值赋给另一个字段。

7.一种基于实时计算数据标准化处理方法，其特征在于，包括以下步骤：

s1.判断传入消息头信息与规则是否匹配，若头信息与规则匹配，则通过规则匹配模块（1）匹配头消息与规则，然后执行步骤s2，若头信息与规则不匹配，则结束数据处理；

s2.判断规则链缓存是否存在，若规则链缓存存在，则执行步骤s4，若规则链缓存不存在，则执行步骤s3；

s3.编译规则并缓存，以构建规则链，规则链生成后执行步骤s4；

s4.迭代规则链并执行规则链标准化。

技术总结
本发明提供一种基于实时计算数据标准化处理引擎及处理方法，属于数据处理技术领域。该基于实时计算数据标准化处理引擎，包括：规则匹配模块，所述规则匹配模块用于依据传入消息头信息与已配置规则匹配消息与规则；规则配置模块，所述规则配置模块用于管理规则配置信息；规则编译模块，所述规则编译模块用于将规则编译成字节码；规则执行模块，所述规则执行模块用于将输入的消息输出清洗后结果；规则链模块，多个规则组成规则链，所述规则链模块用于对规则链的每一个规则进行规则处理。本发明还提供一种基于上述处理引擎的基于实时计算数据标准化处理方法。

技术研发人员：付硕
受保护的技术使用者：杭州数云信息技术有限公司
技术研发日：2020.08.17
技术公布日：2020.11.27