一种数据同步方法、装置、设备及存储介质与流程

本发明涉及计算机，具体而言，涉及一种数据同步方法、装置、设备及存储介质。

背景技术：

1、数据同步可以用来表示使得不同数据平台中的数据内容保持一致性，一般的数据同步，依赖于数据库功能和相关三方控件，通过内存或建立数据通道，在同步完成后通过数据清理，分库等方式进行数据转换，此种数据同步方式人力运维成本过高。随着技术发展及业务的需要，在某些业务场景下，比如商品买卖系统，订单交易业务交互的微商城系统，业务系统平台输出能力需要整合各类不同第三方的业务系统功能及标准化数据，从而基于用户需求打造更丰富的平台化功能。此种场景下，存在尽可能减少对业务系统平台和与该业务系统平台进行数据交互的第三方平台自身进行改造的需求，同时能够满足业务系统平台与第三方平台的数据同步的需求，此时，现有的依赖于数据库自身的数据同步功能，通过内存或建立数据通道的方式完成数据同步的方式，则不能满足需求。

技术实现思路

1、本发明提供一种数据同步方法及装置，用以克服现有技术中存在的至少一个技术问题。

2、根据本发明实施例的第一方面，提供一种数据同步方法，包括：

3、获取第三方平台与数据平台进行数据交互时所要发送的json格式的输入参数的数据结构信息；

4、基于所述数据结构信息在所述数据平台中配置json格式的数据结构，所述json格式的数据结构用于表示处理所述输入参数的参数处理规则；

5、当监测到所述第三方平台向所述数据平台发送json格式的待同步数据时，拦截所述json格式的待同步数据，然后将所述json格式的待同步数据转换为树形结构的待同步数据，其中，所述树形结构的待同步数据中的每个结点表示所述json格式的待同步数据中的一个键值对中的数据属性值；

6、对所述树形结构的待同步数据进行循环遍历操作，将结点中的属性值与所述json格式的数据结构中的规则节点进行数据验证，若验证通过，则基于键值继续进行数据匹配，得到转换后的数据；

7、将所述json格式的数据结构进行代码化处理，转换为可进行操作的jsonschema类；基于所述转换后的数据得到jsonschema类的一个对象。

8、优选的，所述获取第三方平台与数据平台进行数据交互时所要发送的json格式的输入参数的数据结构信息，具体包括：

9、获取多个第三方平台中的任意一个第三方平台与数据平台进行数据交互时所要发送的json格式的输入参数的数据结构信息。

10、对相关业务的请求，利用上一步转化的实体对象进行操作。

11、优选的，所述json格式的数据结构包括若干必需字段标识符，所述若干必需字段标识符用于标明所述第三方平台所发送的输入参数必需含有的字段。

12、一种数据同步装置，包括：

13、数据结构信息获取模块，用于获取第三方平台与数据平台进行数据交互时所要发送的json格式的输入参数的数据结构信息；

14、数据结构配置模块，用于基于所述数据结构信息在所述数据平台中配置json格式的数据结构，所述json格式的数据结构用于表示处理所述输入参数的参数处理规则；

15、数据转换模块，用于当监测到所述第三方平台向所述数据平台发送json格式的待同步数据时，拦截所述json格式的待同步数据，然后将所述json格式的待同步数据转换为树形结构的待同步数据，其中，所述树形结构的待同步数据中的每个结点表示所述json格式的待同步数据中的一个键值对中的数据属性值；

16、循环遍历模块，用于对所述树形结构的待同步数据进行循环遍历操作，将结点中的属性值与所述json格式的数据结构中的规则节点进行数据验证，若验证通过，则基于键值继续进行数据匹配，得到转换后的数据；

17、对象生成模块，用于将所述json格式的数据结构进行代码化处理，转换为可进行操作的jsonschema类；基于所述转换后的数据得到jsonschema类的一个对象。

18、一种设备，包括：

19、至少一个处理器；以及，

20、与所述至少一个处理器通信连接的存储器；其中，

21、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述用户终端能够：

22、获取第三方平台与数据平台进行数据交互时所要发送的json格式的输入参数的数据结构信息；

23、基于所述数据结构信息在所述数据平台中配置json格式的数据结构，所述json格式的数据结构用于表示处理所述输入参数的参数处理规则；

24、当监测到所述第三方平台向所述数据平台发送json格式的待同步数据时，拦截所述json格式的待同步数据，然后将所述json格式的待同步数据转换为树形结构的待同步数据，其中，所述树形结构的待同步数据中的每个结点表示所述json格式的待同步数据中的一个键值对中的数据属性值；

25、对所述树形结构的待同步数据进行循环遍历操作，将结点中的属性值与所述json格式的数据结构中的规则节点进行数据验证，若验证通过，则基于键值继续进行数据匹配，得到转换后的数据；

26、将所述json格式的数据结构进行代码化处理，转换为可进行操作的jsonschema类；基于所述转换后的数据得到jsonschema类的一个对象。

27、一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前文阐述的数据同步方法。

28、本说明书一个实施例至少能够达到以下有益效果：本申请技术方案通过数据同步过程中数据转换标准化格式处理，实现了对业务数据同步的转换简化，使数据同步过程中的数据转换及校验有章可循、有条可依。同时，本申请技术方案可以解决复杂的业务数据同步过程中的数据转换问题，提供标准化输出结果，使各业务系统数据同步更加简单，不需要额外对业务系统进行技术改造。

技术特征：

1.一种数据同步方法，应用于数据平台，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取第三方平台与数据平台进行数据交互时所要发送的json格式的输入参数的数据结构信息，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述json格式的数据结构包括若干必需字段标识符，所述若干必需字段标识符用于标明所述第三方平台所发送的输入参数必需含有的字段。

4.一种数据同步装置，其特征在于，包括：

5.一种设备，包括：

6.一种计算机存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现权利要求1至3中任一项所述的数据同步方法。

技术总结
本发明公开一种数据同步方法、装置、设备及存储介质，方案可以包括：获取第三方平台要发送的JSON格式的输入参数的数据结构信息；在数据平台中配置JSON格式的数据结构；当监测到第三方平台向数据平台发送JSON格式的待同步数据时，拦截JSON格式的待同步数据，将JSON格式的待同步数据转换为树形结构的待同步数据，其中，树形结构的待同步数据中的每个结点表示JSON格式的待同步数据中的一个键值对中的数据属性值；进行循环遍历操作，将结点中的属性值与JSON格式的数据结构中的规则节点进行数据验证，若验证通过，则基于键值继续进行数据匹配，得到转换后的数据；将JSON格式的数据结构进行代码化处理，转换为可进行操作的JSONSchema类；基于转换后的数据得到JSONSchema类的一个对象。

技术研发人员：董艳飞,李力伟,林震,王鹏,包金岩,吴立军
受保护的技术使用者：内蒙古航天信息有限公司
技术研发日：
技术公布日：2024/1/11