一种企业标准化统一接口数据集成方法及装置与流程

本发明涉及计算机网络及数据处理，尤其是一种企业标准化统一接口数据集成方法及装置。

背景技术：

1、在当今的商业环境中，企业数据呈现出快速增长的趋势。特别是对于大集团公司而言，其旗下可能存在多个子公司，每个子公司可能使用不同的外部系统服务和供应商，必然存在多业务系统和数据库系统共存，导致数据存储分散且格式不统一的数据问题，这种情况给数据管理、数据质量和数据使用甚至数据赋能业务都带来了巨大的挑战。为了解决这些问题，越来越多的企业开始关注和搭建数据集成系统。

2、在过去，企业通常使用接口定制化集成开发、接口数据转数据文件或对接源系统数据库的方式来集成和抽取源数据。然而，随着数据系统、数据表数量和数据量的快速增长和数据来源的多样化，传统的方法开发成本较高且周期较长，无法满足企业快速集成数据并支持业务分析的需求。

3、传统方法中存在的技术问题如下：

4、1.采集场景复杂，接口多样，无法统一管理。

5、2.数据集成规则不可配置且不支持参数化。

6、3.不同场景数据集成定制开发较多，工作量不可预估。

7、4.现有技术目前只能通过文本文件的方式，在数据库图形化工具将单表数据录入表中，这种方式要求数据操作人员必须具备一定的数据库开发经验，且每次只能通过对单表的数据进行上传。

8、5.数据传输过程中会存在表字段数据类型不统一、字段内容存在非法字符、字段类型长度不足、目标表不存在、目标表字段个数不统一等问题。

9、由此可见，引入一个企业级标准化统一接口数据集成系统变得至关重要。因此，本发明针对以上技术问题提供了一套标准化统一接口数据集成装置。

技术实现思路

1、针对现有技术存在的问题，本发明的目的在于提供一种企业标准化统一接口数据集成方法及装置，通过标准化统一接口数据集成系统提供多端多平台的统一集成机制，通过设定元数据与规则，高效地实现数据标准化接入，使数据集成统一化，标准化，可配置化。进而提升整体数据质量和集成效率，为企业数字化运营，数智化转型提供强有力保障。

2、为实现上述目的，本发明提供一种企业标准化统一接口数据集成方法，所述方法包括以下步骤：

3、s1.统一参数格式；确定需要导入的数据的目标库的表名以及字段信息；以excel将元数据上传，以post的请求方式调用目标api；

4、s2.代码部署；配置数据库连接信息配置文件，将代码和配置文件部署到服务器中；

5、s3.接口执行；接口接收到请求后，对请求体做标准化的验证，验证无误后，根据传输请求体数量的大小，将数据平均分成若干等分，拼接成不同的sql语句，最后以多线程的方式插入到目标库中。

6、进一步，步骤s1中，首先需要明确需要导入的数据的目标库的表名以及字段信息，以excel将元数据上传，将目标库的表名、字段名分别填写在excel的sheet页和单元格表头中。

7、进一步，步骤s1中，数据来源可以是库表或手工文件，将来源数据的值填充到表头对应的单元格中。

8、进一步，步骤s2中，代码部署具体包括：

9、s2.1.配置好标准格式的数据库连接信息配置文件；

10、s2.2.将代码和配置文件打包，部署到服务器中；

11、s2.3.设置开放的端口以及可访问的ip段。

12、进一步，步骤s3中，接口执行过程中，接口接收到请求后对请求体做标准化的验证，其校验逻辑包括：

13、1.目标库配置文件内容及格式校验，是否存在内容缺失；

14、2.目标库连通行校验；

15、3.文件格式校验，是否有缺失字段、拼接格式是否正确；

16、4.文件总行数校验，设置最大行数阈值；

17、5.文件目标表名、字段名、字段内容类型及长度校验；

18、6.源文件缺失列提醒，提示是否填充默认空值；

19、7.目标表字段长度不足提醒，提示是否自动截取字段数据；

20、8.对已设置主键的目标表，对导入的重复数据进行校验，并提示是否需要自动去重。

21、另一方面，一种企业标准化统一接口数据集成装置，所述装置包括：

22、统一参数格式模块，用于确定需要导入的数据的目标库的表名以及字段信息；以excel将元数据上传，以post的请求方式调用目标api；

23、代码部署模块，用于配置数据库连接信息配置文件，将代码和配置文件部署到服务器中；

24、接口执行模块，用于接口接收到请求后，对请求体做标准化的验证，验证无误后，根据传输请求体数量的大小，将数据平均分成若干等分，拼接成不同的sql语句，最后以多线程的方式插入到目标库中。

25、进一步，统一参数格式模块首先明确需要导入的数据的目标库的表名以及字段信息，以excel将元数据上传，再将目标库的表名、字段名分别填写在excel的sheet页和单元格表头中。

26、进一步，统一参数格式模块的数据来源可以是库表或手工文件，将来源数据的值填充到表头对应的单元格中。

27、进一步，代码部署模块的工作流程为：

28、s2.1.配置好标准格式的数据库连接信息配置文件；

29、s2.2.将代码和配置文件打包，部署到服务器中；

30、s2.3.设置开放的端口以及可访问的ip段。

31、进一步，接口执行模块接收到请求后对请求体做标准化的验证，其校验逻辑包括：

32、1.目标库配置文件内容及格式校验，是否存在内容缺失；

33、2.目标库连通行校验；

34、3.文件格式校验，是否有缺失字段、拼接格式是否正确；

35、4.文件总行数校验，设置最大行数阈值；

36、5.文件目标表名、字段名、字段内容类型及长度校验；

37、6.源文件缺失列提醒，提示是否填充默认空值；

38、7.目标表字段长度不足提醒，提示是否自动截取字段数据；

39、8.对已设置主键的目标表，对导入的重复数据进行校验，并提示是否需要自动去重。

40、有益效果：本发明实现了通过一个统一的api接口，以excel配置的方式，将不同结构不同格式的数据做到统一入库的功能。能够实现代码灵活部署；支持多种目标数据库，oracle、mysql等，均在配置文件中进行配置即可。代码可实现轻量化部署，以极小的成本完成数据的灵活接收。返回结果多样性；针对请求体每一种格式的错误，都会有相应返回值内容。本发明能够很好的满足用户数据集成的需求，通过代码轻量化部署，依照标准的数据结构，即可快速的实现大批量数据的导入。与目前一些定制化数据集成的接口相比，本发明的接口更具有灵活性和易用性，大大减少了重复开发接口成本以及数据传输的成本。

技术特征：

1.一种企业标准化统一接口数据集成方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的企业标准化统一接口数据集成方法，其特征在于，步骤s1中，首先需要明确需要导入的数据的目标库的表名以及字段信息，以excel将元数据上传，将目标库的表名、字段名分别填写在excel的sheet页和单元格表头中。

3.根据权利要求2所述的企业标准化统一接口数据集成方法，其特征在于，步骤s1中，数据来源可以是库表或手工文件，将来源数据的值填充到表头对应的单元格中。

4.根据权利要求1所述的企业标准化统一接口数据集成方法，其特征在于，步骤s2中，代码部署具体包括：

5.根据权利要求1所述的企业标准化统一接口数据集成方法，其特征在于，步骤s3中，接口执行过程中，接口接收到请求后对请求体做标准化的验证，其校验逻辑包括：

6.一种企业标准化统一接口数据集成装置，其特征在于，所述装置用于实施根据权利要求1-5任一项所述的企业标准化统一接口数据集成方法，所述装置包括：

7.根据权利要求6所述的企业标准化统一接口数据集成装置，其特征在于，统一参数格式模块首先明确需要导入的数据的目标库的表名以及字段信息，以excel将元数据上传，再将目标库的表名、字段名分别填写在excel的sheet页和单元格表头中。

8.根据权利要求7所述的企业标准化统一接口数据集成装置，其特征在于，统一参数格式模块的数据来源可以是库表或手工文件，将来源数据的值填充到表头对应的单元格中。

9.根据权利要求6所述的企业标准化统一接口数据集成装置，其特征在于，代码部署模块的工作流程为：

10.根据权利要求6所述的企业标准化统一接口数据集成装置，其特征在于，接口执行模块接收到请求后对请求体做标准化的验证，其校验逻辑包括：

技术总结
本发明公开了一种企业标准化统一接口数据集成方法及装置，所述方法包括以下步骤：S1.统一参数格式；确定需要导入的数据的目标库的表名以及字段信息；以Excel将元数据上传，以POST的请求方式调用目标API；S2.代码部署；配置数据库连接信息配置文件，将代码和配置文件部署到服务器中；S3.接口执行；接口接收到请求后，对请求体做标准化的验证，验证无误后，根据传输请求体数量的大小，将数据平均分成若干等分，拼接成不同的SQL语句，最后以多线程的方式插入到目标库中。高效地实现数据标准化接入，使数据集成统一化，标准化，可配置化。

技术研发人员：王阳,尚晓阳,张金银,王乐珩
受保护的技术使用者：杭州比智科技有限公司
技术研发日：
技术公布日：2024/4/29