一种基于动态规则的多数据源分析方法与流程

本发明涉及互联网数据流处理技术领域，特别涉及一种基于动态规则的多数据源分析方法。

背景技术：

随着近年来企业信息化的日臻成熟、社会化网络的兴起，以及云计算、移动互联网和物联网等新一代信息技术的广泛应用，全球数据的增长速度之快前所未有、数据的类型也变得越来越多。因此我们会将不同的数据汇聚起来进行解析，但每个数据解析的方式不一样，并且会因为数据的格式进行动态的调整。目前的处理过程中数据解析规则会作为内置配置集成到流处理引擎，即使调整也会牺牲性能或者有数据损失。

技术实现要素：

本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于动态规则的多数据源分析方法，本发明提供一种对不同数据源进行动态化的解析处理方法。可以支持多种数据源进行差异化的解析，使用本方法后，可以在不修改流处理的功能代码来动态的调整配置规则，支持针对不同数据源进行相应的规则配置。最重要的是几乎可以达到及时和无损。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明提供一种基于动态规则的多数据源分析方法，包括以下步骤：

(1)在运营平台上进行解析规则的管理，针对某数据源配置解析规则，可以是多条；流处理引擎将会对相应的数据源依次解析，成功就停止；

(2)将规则配置转换为配置流发送给流引擎，如：kafka；

(3)将配置流发送给流引擎，流处理引擎会持续的接收配置流，当有配置操作就发送配置流数据到流处理引擎中，可以实现及时的更新。收到配置后需要广播给其他流处理引擎，同步应用该配置；

(4)将数据发送到流处理引擎，会将数据跟与其数据源关联的规则配置进行组装，然后根据规则配置对数据进行解析，如果解析成功则直接输出相应的数据格式到下游，如果全解析失败，则标记该数据为错误，也发送到下游；

(5)其他数据源发来的数据处理流程等同于步骤(4)。

与现有技术相比，本发明的有益效果如下：

1.在现有的流处理引擎中，使用本方法后，可以在不修改流处理的功能代码来动态的调整配置规则；

2.支持针对不同数据源进行相应的规则配置。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的流程示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本发明如图1所示，本发明提供一种基于动态规则的多数据源分析方法，包括以下步骤：

(1)在运营平台上进行解析规则的管理，针对某数据源配置解析规则，可以是多条；流处理引擎将会对相应的数据源依次解析，成功就停止；

(2)将规则配置转换为配置流发送给流引擎，如：kafka；

(3)将配置流发送给流引擎，流处理引擎会持续的接收配置流，当有配置操作就发送配置流数据到流处理引擎中，可以实现及时的更新。收到配置后需要广播给其他流处理引擎，同步应用该配置；

(4)将数据发送到流处理引擎，会将数据跟与其数据源关联的规则配置进行组装，然后根据规则配置对数据进行解析，如果解析成功则直接输出相应的数据格式到下游，如果全解析失败，则标记该数据为错误，也发送到下游；

(5)其他数据源发来的数据处理流程等同于步骤(4)。

具体的，本专利中采用的方法使用在商业公司内部系统安全大脑的etl中；在采集器将多种数据源采集到后发到流处理引擎中，在安全大脑运营平台上对数据源配置解析规则，流处理引擎根据规则完成数据解析。

1.在现有的流处理引擎中，使用本方法后，可以在不修改流处理的功能代码来动态的调整配置规则。

2.支持针对不同数据源进行相应的规则配置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于动态规则的多数据源分析方法，其特征在于，包括以下步骤：

(1)在运营平台上进行解析规则的管理，针对某数据源配置解析规则，可以是多条；流处理引擎将会对相应的数据源依次解析，成功就停止；

(2)将规则配置转换为配置流发送给流引擎，如：kafka；

(3)将配置流发送给流引擎，流处理引擎会持续的接收配置流，当有配置操作就发送配置流数据到流处理引擎中，可以实现及时的更新。收到配置后需要广播给其他流处理引擎，同步应用该配置；

(4)将数据发送到流处理引擎，会将数据跟与其数据源关联的规则配置进行组装，然后根据规则配置对数据进行解析，如果解析成功则直接输出相应的数据格式到下游，如果全解析失败，则标记该数据为错误，也发送到下游；

(5)其他数据源发来的数据处理流程等同于步骤(4)。

技术总结
本发明涉及互联网数据流处理技术领域，公开了一种基于动态规则的多数据源分析方法。本发明提供一种对不同数据源进行动态化的解析处理方法。可以支持多种数据源进行差异化的解析，使用本方法后，可以在不修改流处理的功能代码来动态的调整配置规则，支持针对不同数据源进行相应的规则配置。最重要的是几乎可以达到及时和无损。

技术研发人员：吴朝亮;刘剑群;刘骁睿;马颂华;刘奇;彭大祥;王佳伟
受保护的技术使用者：天翼电子商务有限公司
技术研发日：2021.04.27
技术公布日：2021.07.23