多源异构实时数据处理方法、系统、设备和介质与流程

本发明属于数据处理，涉及一种多源异构实时数据处理方法、系统、设备和介质。

背景技术：

1、随着物联网设备的快速普及，实时数据处理在物联网领域的应用越来越广泛，同时物联网数据也呈现出结构差异性大、数据来源各异且难以统一管理与控制等特点。目前，针对多源异构物联网的实时数据处理方法实现，大多数传统方法基于预定义的数据模型和处理逻辑进行定制开发，对于新的数据类型与处理规则需求缺乏灵活性和扩展性；需要手动管理数据流，这可能需要大量的人力和资源，并且容易出现错误；同时存在诸多缺陷严重限制了在大规模实时数据处理场景中的应用。

2、随着大数据时代的到来，实时数据处理成为了各行各业的需求，基于模块化开发的实时数据处理与分析已是目前技术需求，往往根据不同数据处理需求创建不同类型的实时表及定制数据处理过程，目前支持多源异构数据实时处理则是技术实现的重要前提。现阶段，很多学者深入研究多源异构系统的实时数据处理方法，并取得了一定的研究成果，例如只采用一套解析程序对不同设备的电网数据进行数据规约解析处理的方法、基于多引擎支持插件式流程编排来实现实时数据处理的方法、在高速数据队列中基于传感器数据项对数据进行管理与处理的方法、采用至少一种数据解析插件，对消息队列中的服务器实时数据进行解析处理的方法以及确定实时数据处理启用手动模式或自动模式执行数据处理任务的方法等传统技术，然而，前述传统技术在多源异构实时数据处理过程中，仍然存在着复杂低效的技术问题。

技术实现思路

1、针对上述传统方法中存在的问题，本发明提出了一种多源异构实时数据处理方法、一种多源异构实时数据处理系统、一种计算机设备和一种计算机可读存储介质，能够大幅降低多源异构实时数据处理复杂度并提高效率。

2、为了实现上述目的，本发明实施例采用以下技术方案：

3、一方面，提供一种多源异构实时数据处理方法，包括步骤：

4、在异构数据源的数据源管理页面中添加各实时数据源、配置数据源连接信息并完成连通性测试；

5、在规则配置管理页面中添加各数据处理规则并保存至规则配置表；数据处理规则包括协议解析规则、sql处理规则、数据过滤规则、维度关联规则、主键去重规则、指标聚合规则和数据结构规则；

6、基于dag界面操作创建与编辑flink的dag实时处理画布并保存至画布表；在dag实时处理画布中基于dag拖拉拽动态选择数据处理插件，数据处理插件包括flink输入插件、flink转换插件和flink输出插件；

7、在dag实时处理画布中，采用flink实时数据处理构建模型将整个实时数据处理过程进行模块划分；划分的模块包括flink输入表处理模块、flink转换表处理模块、flink输出表处理模块和flink数据存储处理模块；

8、在dag实时处理画布中，选择flink输入插件并配置输入表，选择flink转换插件并配置转换规则，选择flink输出插件并配置输出表和存储表；

9、在实时数据处理过程中，基于flink内部临时表注册模型将模块中数据表注册为临时表对象；

10、在实时数据处理过程中，采用flink实时数据流转换模型从各模块插件已注册的临时表对象中获取实时数据流；

11、在实时数据处理过程中，采用数据表配置建模模型对各模块插件中的数据表配置进行数据建模并定义建模特征；

12、在flink输入表处理模块中，设置flink输入临时表构建过程并采用基于临时表注册模型对输入表进行临时表注册；

13、在flink转换表处理模块中，设置flink转换临时表构建过程并采用基于临时表注册模型对转换表进行临时表注册；

14、在flink输出表处理模块中，设置flink输出临时表构建过程并采用基于临时表注册模型对输出表进行临时表注册；

15、在flink数据存储处理模块中，设置flink存储临时表构建过程并采用基于临时表注册模型对存储表进行临时表注册；

16、在flink数据存储处理模块中，采用flink实时数据同步模型执行外部存储介质的实时数据同步过程，最终完成整个实时数据处理过程。

17、另一方面，还提供一种多源异构实时数据处理系统，包括：

18、源配置模组，用于在异构数据源的数据源管理页面中添加各实时数据源、配置数据源连接信息并完成连通性测试；

19、规则配置模组，用于在规则配置管理页面中添加各数据处理规则并保存至规则配置表；数据处理规则包括协议解析规则、sql处理规则、数据过滤规则、维度关联规则、主键去重规则、指标聚合规则和数据结构规则；

20、画布插件模组，用于基于dag界面操作创建与编辑flink的dag实时处理画布并保存至画布表；在dag实时处理画布中基于dag拖拉拽动态选择数据处理插件，数据处理插件包括flink输入插件、flink转换插件和flink输出插件；

21、过程划分模组，用于在dag实时处理画布中，采用flink实时数据处理构建模型将整个实时数据处理过程进行模块划分；划分的模块包括flink输入表处理模块、flink转换表处理模块、flink输出表处理模块和flink数据存储处理模块；

22、数据表配置模组，用于在dag实时处理画布中，选择flink输入插件并配置输入表，选择flink转换插件并配置转换规则，选择flink输出插件并配置输出表和存储表；

23、临时表注册模组，用于在实时数据处理过程中，基于flink内部临时表注册模型将模块中数据表注册为临时表对象；

24、实时流转模组，用于在实时数据处理过程中，采用flink实时数据流转换模型从各模块插件已注册的临时表对象中获取实时数据流；

25、配置建模模组，用于在实时数据处理过程中，采用数据表配置建模模型对各模块插件中的数据表配置进行数据建模并定义建模特征；

26、输入构建模组，用于在flink输入表处理模块中，设置flink输入临时表构建过程并采用基于临时表注册模型对输入表进行临时表注册；

27、转换构建模组，用于在flink转换表处理模块中，设置flink转换临时表构建过程并采用基于临时表注册模型对转换表进行临时表注册；

28、输出转换模组，用于在flink输出表处理模块中，设置flink输出临时表构建过程并采用基于临时表注册模型对输出表进行临时表注册；

29、存储构建模组，用于在flink数据存储处理模块中，设置flink存储临时表构建过程并采用基于临时表注册模型对存储表进行临时表注册；

30、数据同步模组，用于在flink数据存储处理模块中，采用flink实时数据同步模型执行外部存储介质的实时数据同步过程，最终完成整个实时数据处理过程。

31、又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的多源异构实时数据处理方法的步骤。

32、再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的多源异构实时数据处理方法的步骤。

33、上述技术方案中的一个技术方案具有如下优点和有益效果：

34、上述多源异构实时数据处理方法、系统、设备和介质，通过基于可视界面配置减少人工操作，降低系统开发难度；设计实时数据处理构建模型对整个实时数据处理过程进行划分；采用基于内部临时表注册模型将各模块插件中数据表注册为临时表对象，以及采用实时数据流转换模型从已注册的临时表中获取实时数据流；采用数据表配置建模模型对各模块插件中数据表配置进行数据建模；设计临时表构建过程并采用基于临时表注册模型对数据表进行临时表注册；采用实时数据同步模型实现外部存储介质的实时数据同步过程。最终，通过实时数据表处理实现数据处理在多个环节上一体化，最终完成整个实时数据处理的全部过程，解决了多源异构实时数据的统一管理与控制难题，解决了因处理流程繁多而数据开发杂乱的难题，同时也降低人工成本且简化系统开发流程。

35、相比于传统技术，上述方案制定了统一的数据处理标准模型，简化数据处理逻辑，降低系统架构复杂度；采用临时表的内存数据处理，大大的提高了实时数据处理速度和开发效率；兼容多种异构数据类型，兼容多种源系统，解决数据孤岛、沉淀数据资产；模块插件数据开发，对不同数据类型和规则处理需求具备灵活性与扩展性。