一种数据处理方法及装置、电子设备、存储介质与流程

本发明涉及数据处理，特别是涉及一种数据处理方法及装置、电子设备、存储介质。

背景技术：

1、etl(extract-transform-load)是一种数据处理方法，可以用于将分布的、异构数据源中的数据提取、转换、集成，并加载到数据仓库或数据集市中。

2、etl的三个主要功能包括：抽取、转换和加载。抽取：从多个数据源中提取数据。转换：对抽取的数据进行清洗、整合、转换和验证，以满足特定的需求。加载：将经过转换的数据加载到目标系统或数据仓库中。

3、目前，对于etl功能的实现仅仅在于etl流程中针对节点进行堆叠，没有系统性的etl模型创建的方法，从而，在etl处理过程中难以实现预期效果。

技术实现思路

1、鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理方法及装置、电子设备、存储介质，包括：

2、一种数据处理方法，所述方法包括：

3、获取数据源中第一数据的第一数据结构，以及获取目标数据库存储的第二数据的第二数据结构；

4、基于所述第一数据结构和所述第二数据结构，从预设的数据处理节点中确定多个目标数据处理节点，所述目标数据处理节点用于将所述第一数据转换为所述第二数据；

5、依照所述多个目标数据处理节点生成第一数据处理流程，并对所述多个目标数据处理节点依次进行节点配置；

6、响应于针对所述第一数据处理流程的提交操作，生成所述第一数据处理流程对应的流程实例，并针对所述第一数据应用所述流程实例。

7、可选地，所述对所述多个目标数据处理节点依次进行节点配置的步骤，包括：

8、将所述第一数据结构的第一字段作为所述第一为目标数据处理节点的输入字段；

9、构建所述目标数据处理节点的输出字段；

10、依照所述第一数据处理流程中多个目标数据处理节点的排列顺序，将所述输出字段传输至下一位目标数据处理节点，以将所述输出字段所述作为所述下一位目标数据处理节点的输入字段。

11、可选地，还包括：

12、在针对当前目标数据处理节点进行字段配置后，将所述第一数据按照所述第一数据处理流程的第一为目标数据处理节点至所述当前目标数据处理节点中包含的数据处理节点依次进行数据处理，得到节点转换数据。

13、可选地，在完成所述目标数据处理节点的配置后，还包括：

14、基于待处理的第一数据生成样本数据；

15、采用所述第一数据处理流程对所述样本数据进行数据处理，得到测试数据；

16、在所述测试数据与所述第二数据匹配时，确定所述第一数据处理流程测试成功。

17、可选地，所述响应于针对所述第一数据处理流程的提交操作，生成所述第一数据处理流程对应的流程实例的步骤，包括：

18、响应于针对所述第一数据处理流程的提交操作，确定所述第一数据处理流程的流程状态；

19、在所述流程状态为第一流程状态时，生成所述第一数据处理流程对应的流程实例。

20、可选地，所述方法还包括：

21、响应于针对处于第一流程状态的第一数据处理流程的编辑操作，生成第二数据处理流程。

22、可选地，所述方法还包括：

23、响应于针对处于第二流程状态的第一数据处理流程的编辑操作，更新所述第一数据处理流程。

24、一种数据处理装置，所述装置包括：

25、数据结构确定模块，用于获取数据源中第一数据的第一数据结构，以及获取目标数据库存储的第二数据的第二数据结构；

26、数据处理节点确定模块，用于基于所述第一数据结构和所述第二数据结构，从预设的数据处理节点中确定多个目标数据处理节点，所述目标数据处理节点用于将所述第一数据转换为所述第二数据；

27、节点配置模块，用于依照所述多个目标数据处理节点生成第一数据处理流程，并对所述多个目标数据处理节点依次进行节点配置；

28、实例生成和执行模块，用于响应于针对所述第一数据处理流程的提交操作，生成所述第一数据处理流程对应的流程实例，并针对所述第一数据应用所述流程实例。

29、一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述数据处理的方法。

30、一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述数据处理的方法。

31、本发明实施例具有以下优点：

32、本发明实施例，通过获取数据源中第一数据的第一数据结构，以及获取目标数据库存储的第二数据的第二数据结构；基于第一数据结构和第二数据结构，从预设的数据处理节点中确定多个目标数据处理节点，目标数据处理节点用于将第一数据转换为第二数据；依照多个目标数据处理节点生成第一数据处理流程，并对多个目标数据处理节点依次进行节点配置；响应于针对第一数据处理流程的提交操作，生成第一数据处理流程对应的流程实例，并针对第一数据应用流程实例。从而可以基于数据源和数据库中数据的数据结构选择合适的目标数据节点，进而生成第一数据处理流程，实现系统性的实现对数据进行etl处理，将数据源中的数据快速批量导入数据库。

技术特征：

1.一种数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述多个目标数据处理节点依次进行节点配置的步骤，包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1至3中任一项所述的方法，其特征在于，在完成所述目标数据处理节点的配置后，所述方法还包括：

5.根据权利要求1至3中任一项所述的方法，其特征在于，所述响应于针对所述第一数据处理流程的提交操作，生成所述第一数据处理流程对应的流程实例的步骤，包括：

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

8.一种数据处理装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述数据处理的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述数据处理的方法。

技术总结
本发明实施例提供了一种数据处理方法及装置、电子设备、存储介质，方法包括：获取数据源中第一数据的第一数据结构，以及获取目标数据库存储的第二数据的第二数据结构；基于第一数据结构和第二数据结构，从预设的数据处理节点中确定多个目标数据处理节点，目标数据处理节点用于将第一数据转换为第二数据；依照多个目标数据处理节点生成第一数据处理流程，并对多个目标数据处理节点依次进行节点配置；响应于针对第一数据处理流程的提交操作，生成第一数据处理流程对应的流程实例，并针对第一数据应用流程实例。通过本发明实施例，实现系统性的对数据进行ETL处理，将数据源中的数据快速批量导入数据库。

技术研发人员：李文斌,胡磊,王海,杨春晖
受保护的技术使用者：视联动力信息技术股份有限公司
技术研发日：
技术公布日：2024/1/15