基于智能制造数字底座平台的数据实时同步方法及装置与流程

本技术涉及数据同步，具体而言，涉及一种基于智能制造数字底座平台的数据实时同步方法及装置。

背景技术：

1、数据实时同步在数据中台和数据仓库中发挥着关键的作用，有助于实现数据的集成、一致性和实时性，提供数据驱动的洞察和决策支持，数据中台和数据仓库为数据分析和报告提供基础。数据实时同步可以将实时生成的数据或实时更新的数据传输至数据中台中或者数据仓库中，以支持实时数据分析、实时报表和仪表盘等需求，这样，业务用户和决策者可以获得最新的数据。

2、现有技术中，数据仓库和数据中台之间的数据同步是通过批处理作业进行的，可能产生一定的延迟。

技术实现思路

1、本技术的目的在于，针对上述现有技术中的不足，提供一种基于智能制造数字底座平台的数据实时同步方法及装置，减少任务同步的延迟。

2、为实现上述目的，本技术实施例采用的技术方案如下：

3、第一方面，本技术实施例提供了一种基于智能制造数字底座平台的数据实时同步方法，应用于智能制造数字底座平台的服务器，所述方法包括：

4、接收客户端发送的同步任务配置信息，所述同步任务配置信息由所述客户端根据用户在所述客户端上输入的配置数据生成，所述同步任务配置信息中包括：来源数据表的标识、目标数据表的标识以及数据映射信息；

5、根据所述同步任务配置信息，生成目标同步任务；

6、将所述目标同步任务添加至所述智能制造数字底座平台的任务列表中，并启动执行所述目标同步任务；

7、当所述目标同步任务执行时，由所述目标同步任务获取所述来源数据表的原始数据，将所述来源数据表中的数据转换为预设格式，得到待同步数据，并根据所述数据映射信息将所述待同步数据同步至所述目标数据表中。

8、可选的，所述将所述来源数据表中的数据转换为预设格式，得到待同步数据，包括：

9、根据所述来源数据表中的数据类型，确定目标格式转换策略；

10、将所述来源数据表中的数据使用所述目标格式转换策略进行数据的格式转换，得到所述待同步数据。

11、可选的，所述根据所述来源数据表中的数据类型，确定目标格式转换策略，包括：

12、若所述数据类型为复杂卡夫卡类型，则确定所述目标格式转换策略为js解析策略；

13、若所述数据类型为简单卡夫卡类型，则确定所述目标格式转换策略为信息抽取类解析策略；

14、若所述数据类型为复杂实时数据类型，则确定所述目标格式转换策略为模板引擎解析策略。

15、可选的，所述根据所述来源数据表中的数据类型，确定目标格式转换策略之前，还包括：

16、根据所述来源数据表的标识，获取所述来源数据表的数据；

17、对所述来源数据表中的数据进行解析，得到所述来源数据表中的数据类型。

18、可选的，所述根据所述数据映射信息将所述待同步数据同步至所述目标数据表中，包括：

19、根据所述数据映射信息，确定所述待同步数据中各字段在所述目标数据表中的对应字段；

20、将所述待同步数据中各字段的值同步至所述目标数据表中的各对应字段中。

21、可选的，还包括：

22、在所述目标同步任务执行时，监测所述目标数据表中各字段的值；

23、若监测到所述目标数据表中存在异常的字段的值，则输出报警信息，所述报警信息用于指示存在异常的字段的标识以及字段的值。

24、可选的，所述根据所述同步任务配置信息，生成目标同步任务，包括：

25、根据所述同步任务配置信息以及基于用户在客户端输入的任务类型，生成所述目标同步任务。

26、第二方面，本技术实施例还提供了一种基于智能制造数字底座平台的数据实时同步装置，所述装置包括：

27、接收模块，用于接收客户端发送的同步任务配置信息，所述同步任务配置信息由所述客户端根据用户在所述客户端上输入的配置数据生成，所述同步任务配置信息中包括：来源数据表的标识、目标数据表的标识以及数据映射信息；

28、生成模块，用于根据所述同步任务配置信息，生成目标同步任务；

29、启动模块，用于将所述目标同步任务添加至所述智能制造数字底座平台的任务列表中，并启动执行所述目标同步任务；

30、转换模块，用于当所述目标同步任务执行时，由所述目标同步任务获取所述来源数据表的原始数据，将所述来源数据表中的数据转换为预设格式，得到待同步数据，并根据所述数据映射信息将所述待同步数据同步至所述目标数据表中。

31、可选的，所述转换模块具体用于：

32、根据所述来源数据表中的数据类型，确定目标格式转换策略；

33、将所述来源数据表中的数据使用所述目标格式转换策略进行数据的格式转换，得到所述待同步数据。

34、可选的，所述转换模块具体用于：

35、若所述数据类型为复杂卡夫卡类型，则确定所述目标格式转换策略为js解析策略；

36、若所述数据类型为简单卡夫卡类型，则确定所述目标格式转换策略为信息抽取类解析策略；

37、若所述数据类型为复杂实时数据类型，则确定所述目标格式转换策略为模板引擎解析策略。

38、可选的，所述转换模块具体用于：

39、根据所述来源数据表的标识，获取所述来源数据表的数据；

40、对所述来源数据表中的数据进行解析，得到所述来源数据表中的数据类型。

41、可选的，所述转换模块，具体用于：

42、根据所述数据映射信息，确定所述待同步数据中各字段在所述目标数据表中的对应字段；

43、将所述待同步数据中各字段的值同步至所述目标数据表中的各对应字段中。

44、可选的，所述装置还包括：

45、监测模块，具体用于在所述目标同步任务执行时，监测所述目标数据表中各字段的值；若监测到所述目标数据表中存在异常的字段的值，则输出报警信息，所述报警信息用于指示存在异常的字段的标识以及字段的值。

46、可选的，所述生成模块具体用于：

47、根据所述同步任务配置信息以及基于用户在客户端输入的任务类型，生成所述目标同步任务。

48、第三方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的程序指令，当应用程序运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述程序指令，以执行上述第一方面所述的基于智能制造数字底座平台的数据实时同步方法的步骤。

49、第四方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被读取并执行上述第一方面所述的基于智能制造数字底座平台的数据实时同步方法的步骤。

50、本技术的有益效果是：

51、本技术提供的一种基于智能制造数字底座平台的数据实时同步方法及装置，通过接收客户端发送的同步任务的配置信息生成目标同步任务，将生成的目标同步任务添加至智能制造数字底座平台的任务列表中，并在智能制造数字底座平台上启动并执行目标同步任务，使得在执行目标同步任务时，可以将来源数据表中的数据转换为预设格式，得到待同步数据，并根据数据映射信息将待同步数据同步至目标数据表中。使得智能制造数字底座平台可以通过实时同步任务对数据进行实时同步，避免现有技术中批处理作业导致的一定的延迟。并且，将来源数据表中的数据均转换成预设格式，可以使得生成的同步任务适用于多种类型的数据，应用广泛，并且能够提高数据同步的准确性。