基于分布式调度的JSON格式接口智能解析入库的方法及系统与流程

本发明涉及数据处理领域，尤其涉及一种基于分布式调度的json格式接口智能解析入库的方法及系统。

背景技术：

1、数字孪生系统所需数据通常来自于原来已有的应用系统数据。在对接集成原有数据时，需要对接各种异构的json格式数据接口。各个数据接口结构不同。需要对不同结构的接口数据进行解析，并进行数据智能入库存储。

2、数字孪生系统所对接的接口通常包含很多实时数据接口，实时要求高，并发性强，需要对数据解析程序进行分布式调度处理，保障接口解析系统的处理效率。

3、但是由于json结构中的数组和对象可以无限嵌套其他基本数据结构、数组和对象结构，所以json格式数据接口结构支持无限多异构类型，各种json格式数据接口结构各异，各公司各项目的各个接口结构都不相同，对接数据时，接口解析工作繁琐。解析后，数据入库，需要智能设计数据库结构，进行数据存储有些接口和接口之间返回的数据可能存在重复，某些接口的某些字段数据无需存储。数据更新方式为插入或是替换更新需要进行判断。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种基于分布式调度的json格式接口智能解析入库的系统及方法，可以提高解析系统效率和可靠性。

2、根据本发明的第一方面，提供了一种基于分布式调度的json格式接口智能解析入库的系统，包括：接口解析程序、入库程序、执行器和调度中心；接口解析程序，用于将json格式接口的json数据解析成字段，基于字段的类型创建json数据字段的类的属性；入库程序包括配置中心，配置中心用于将各json数据字段与数据库表进行关联配置，入库程序根据配置中心的配置以及json数据字段与数据库表的关联关系，将各个json数据字段存入对应的数据库表；接口解析程序和入库程序分布式部署在执行器中，调度中心调度执行各个执行器。

3、在上述技术方案的基础上，本发明还可以作出如下改进。

4、可选的，所述接口解析程序将json数据解析成字段之后的处理过程包括：

5、步骤a，自动识别所述json数据字段的类型，包括：数字、字符串和布尔类型，基于素数类型创建类的属性；

6、步骤b，对所述json数据中类型为数组和对象的数据进行进一步解析；

7、步骤c，递归重复所述步骤a和步骤b，直至解析完成json格式接口中所有数据字段。

8、可选的，所述接口解析程序还包括：使用json解析器将json字符串解析为对象。

9、可选的，所述根据所述配置中心的配置将各个json数据字段存入对应的数据库表包括：

10、以所述json数据字段的类的类名为表名自动创建数据库表，根据所述json数据字段的类的属性自动创建数据库表的字段；

11、或者通过所述配置中心将所述json数据字段存入到指定的已经创建的数据库表中。

12、可选的，所述配置中心还包括：配置各个json数据字段是否存入所述数据库表。

13、可选的，所述根据所述配置中心还包括：配置数据更新方式为插入或者替换更新。

14、可选的，所述调度中心基于xxl-job调度系统进行调度管理各个所述执行器。

15、根据本发明的第二方面，提供一种基于分布式调度的json格式接口智能解析入库的方法，包括：

16、步骤1，通过接口解析程序将json格式接口的json数据解析成字段，基于字段的类型创建json数据字段的类的属性。

17、步骤2，通过配置中心将各json数据字段与数据库表进行关联配置，入库程序根据配置中心的配置以及json数据字段与数据库表的关联关系，将各个json数据字段存入对应的数据库表。

18、步骤3，将接口解析程序和入库程序分布式部署在执行器中，通过调度中心调度执行各个执行器。

19、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于分布式调度的json格式接口智能解析入库的方法的步骤。

20、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于分布式调度的json格式接口智能解析入库的方法的步骤。

21、本发明提供的一种基于分布式调度的json格式接口智能解析入库的系统、方法、电子设备及存储介质，不用手动解析各种结构不同的接口，通过接口解析程序可减轻系统接口集成时解析数据的工作量，提升工作效率。通过智能接口解析程序，可以实现各类数据接口数据的自动解析，提高接口解析效率。解析程序较为通用，适配各类数据结构的接口。解析后自动创建表结构，存入数据库。通过xxl-job调度系统调用解析程序，实现分布式智能调度，提高解析系统效率和可靠性。

技术特征：

1.一种基于分布式调度的json格式接口智能解析入库的系统，其特征在于，所述系统包括：接口解析程序、入库程序、执行器和调度中心；

2.根据权利要求1所述的系统，其特征在于，所述接口解析程序将json数据解析成字段之后的处理过程包括：

3.根据权利要求1所述的系统，其特征在于，所述接口解析程序还包括：使用json解析器将json字符串解析为对象。

4.根据权利要求1所述的系统，其特征在于，所述根据所述配置中心的配置将各个json数据字段存入对应的数据库表包括：

5.根据权利要求1所述的系统，其特征在于，所述配置中心还包括：配置各个json数据字段是否存入所述数据库表。

6.根据权利要求1所述的系统，其特征在于，所述根据所述配置中心还包括：配置数据更新方式为插入或者替换更新。

7.根据权利要求1所述的系统，其特征在于，所述调度中心基于xxl-job调度系统进行调度管理各个所述执行器。

8.一种基于分布式调度的json格式接口智能解析入库的方法，其特征在于，包括：

9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求8所述的基于分布式调度的json格式接口智能解析入库的方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求8所述的基于分布式调度的json格式接口智能解析入库的方法的步骤。

技术总结
本发明涉及一种基于分布式调度的JSON格式接口智能解析入库的系统，包括：接口解析程序、入库程序、执行器和调度中心；接口解析程序，用于将JSON格式接口的JSON数据解析成字段，基于字段的类型创建JSON数据字段的类的属性；入库程序包括配置中心，配置中心用于将各JSON数据字段与数据库表进行关联配置，入库程序根据配置中心的配置以及JSON数据字段与数据库表的关联关系，将各个JSON数据字段存入对应的数据库表；接口解析程序和入库程序分布式部署在执行器中，调度中心调度执行各个执行器，可以提高解析系统效率和可靠性。

技术研发人员：杨梦琪,方强,朱中响,万党水,张志军,王勇
受保护的技术使用者：上海中海庭数智技术有限公司
技术研发日：
技术公布日：2024/4/17