接口数据集成方法、装置、计算机设备及存储介质与流程

本发明涉及数据处理方法，更具体地说是指接口数据集成方法、装置、计算机设备及存储介质。

背景技术：

1、在当前的信息化社会中，数据已经成为最重要的资源之一。随着互联网的快速发展，每天都有海量的数据被产生、传输和处理。在这种环境下，数据库管理系统成为了数据存储和管理的关键工具。

2、目前，许多应用需要访问和整合来自多个源的数据，例如，来自不同数据库的数据、文件系统中的数据以及通过api接口获取的数据。然而，对于这种情况，现有的数据库管理系统常常遇到很多挑战，如数据源的异构性、数据的实时性和一致性问题等。

3、特别是，对于基于postgresql的数据库系统，虽然其提供了fdw (外部数据包装器，foreign data wrapper)的功能，使其能够访问和操作外部数据源，但如何有效地整合来自api接口的数据，依然是一个待解决的问题。因为在实际应用中，这些api接口的数据类型、格式以及访问方式等可能存在很大的差异，使得直接使用fdw进行数据整合变得困难。

4、因此，有必要设计一种新的方法，实现有效地整合来自api接口的数据，使其能够在postgresql数据库中进行统一的管理和操作。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供接口数据集成方法、装置、计算机设备及存储介质。

2、为实现上述目的，本发明采用以下技术方案：接口数据集成方法，包括：

3、设定需要获取数据的外部api接口；

4、创建postgresql数据库的fdw，并定义与所述外部api接口返回数据匹配的外部表结构；

5、通过sql语句查询或操作所述外部表，以获取所述外部api接口的数据，以得到查询结果；

6、保存所述查询结果。

7、其进一步技术方案为：所述设定需要获取数据的外部api接口，包括：

8、确定外部api接口；

9、设定所述外部api接口的参数，其中，所述参数包括api接口的url、所需参数以及预期的返回数据格式；

10、验证所述外部api接口。

11、其进一步技术方案为：所述创建postgresql数据库的fdw，并定义与所述外部api接口返回数据匹配的外部表结构，包括：

12、根据所述外部api接口返回的数据格式定义外部表的结构，设定列名和数据类型；

13、编写javascript程序，以编写fdw；

14、设定数据获取方式；

15、将所述fdw注册到postgresql数据库。

16、其进一步技术方案为：所述通过sql语句查询或操作所述外部表，以获取所述外部api接口的数据，以得到查询结果，包括：

17、通过sql语句查询所述外部表，获取所述外部api接口的数据；

18、对所述外部表进行操作，以通过fdw转化为对所述外部api接口的相应操作，以得到操作结果；

19、整合所述外部api接口的数据以及所述操作结果，以得到查询结果。

20、其进一步技术方案为：所述对所述外部表进行操作，以通过fdw转化为对所述外部api接口的相应操作，以得到操作结果，包括：

21、对所述外部表进行插入、更新和删除操作，以通过fdw转化为对所述外部api接口的相应操作，以得到操作结果。

22、本发明还提供了接口数据集成装置，包括：

23、接口设定单元，用于设定需要获取数据的外部api接口；

24、创建单元，用于创建postgresql数据库的fdw，并定义与所述外部api接口返回数据匹配的外部表结构；

25、外部表处理单元，用于通过sql语句查询或操作所述外部表，以获取所述外部api接口的数据，以得到查询结果；

26、保存单元，用于保存所述查询结果。

27、其进一步技术方案为：所述接口设定单元包括：

28、接口确定子单元，用于确定外部api接口；

29、参数设定子单元，用于设定所述外部api接口的参数，其中，所述参数包括api接口的url、所需参数以及预期的返回数据格式；

30、验证子单元，用于验证所述外部api接口。

31、其进一步技术方案为：所述创建单元包括：

32、定义子单元，用于根据所述外部api接口返回的数据格式定义外部表的结构，设定列名和数据类型；

33、编写子单元，用于编写javascript程序，以编写fdw；

34、方式设定子单元，用于设定数据获取方式；

35、注册子单元，用于将所述fdw注册到postgresql数据库。

36、本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

37、本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

38、本发明与现有技术相比的有益效果是：本发明通过设定外部api接口，创建fdw以及与该外部api接口返回数据匹配的外部表结构，查询或操作该外部表，获取对应的数据，保存查询的结果，实现有效地整合来自api接口的数据，使其能够在postgresql数据库中进行统一的管理和操作。

39、下面结合附图和具体实施例对本发明作进一步描述。

技术特征：

1.接口数据集成方法，其特征在于，包括：

2.根据权利要求1所述的接口数据集成方法，其特征在于，所述设定需要获取数据的外部api接口，包括：

3.根据权利要求1所述的接口数据集成方法，其特征在于，所述创建postgresql数据库的fdw，并定义与所述外部api接口返回数据匹配的外部表结构，包括：

4.根据权利要求1所述的接口数据集成方法，其特征在于，所述通过sql语句查询或操作所述外部表，以获取所述外部api接口的数据，以得到查询结果，包括：

5.根据权利要求4所述的接口数据集成方法，其特征在于，所述对所述外部表进行操作，以通过fdw转化为对所述外部api接口的相应操作，以得到操作结果，包括：

6.接口数据集成装置，其特征在于，包括：

7.根据权利要求6所述的接口数据集成装置，其特征在于，所述接口设定单元包括：

8.根据权利要求6所述的接口数据集成装置，其特征在于，所述创建单元包括：

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

技术总结
本发明实施例公开了接口数据集成方法、装置、计算机设备及存储介质。所述方法包括：设定需要获取数据的外部API接口；创建PostgreSQL数据库的FDW，并定义与所述外部API接口返回数据匹配的外部表结构；通过SQL语句查询或操作所述外部表，以获取所述外部API接口的数据，以得到查询结果；保存所述查询结果。通过实施本发明实施例的方法可实现有效地整合来自API接口的数据，使其能够在PostgreSQL数据库中进行统一的管理和操作。

技术研发人员：柳遵梁,陈波,王利强,闻建霞,汤国胜,张浩,王伟峰
受保护的技术使用者：杭州美创科技股份有限公司
技术研发日：
技术公布日：2024/1/14