一种数据库导入数据方法、装置及存储介质与流程

本发明属于数据处理，具体涉及一种数据库导入数据方法、装置及存储介质。

背景技术：

1、由于数据仓库与下游数据库环境隔离，导致使用现有的数据导入方式给下游数据库导入数据流程繁杂。在导入数据过程中需要编写大量sql语句,花费时间较多，效率较低。在实际应用中，由于需要导入的数据文件的文件格式多样，目标数据库结构各异，导致使用现有的数据导入方式导入数据过程中容易出现异样数据，准确性较低。如果想要导入多分区的数据，使用现有的数据导入方式无法一次性导入成功，那么就需要进行多次重复导入操作，操作效率低。现有的数据导入方式无法灵活配置文件路径、库表信息，无法灵活的将数据导入到非结构化数据库，而且步骤较多，操作复杂，对人员的要求很高，导致无法高效、准确的导入数据。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、为此，本发明提供一种数据库导数方法、装置及存储介质，有助于帮助解决现有的数据导入方式无法高效、准确的导入数据的问题。

2、为实现以上目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种数据库导入数据方法，该方法包括：

4、获取初始数据文件、目标数据库、用户输入的表名；

5、从所述初始数据文件中提取与所述目标数据库匹配的配置信息；其中，所述配置信息包括：字段名、表中的首行数据；

6、在所述目标数据库中存储有与所述表名对应的目标表的情况下，根据所述配置信息，判断所述初始数据文件中数据的字段名称内容和字段数量是否与所述目标表中的字段内容和字段数量相匹配；

7、在所述初始数据文件中数据的字段名称内容和字段数量与所述目标表中的字段名称内容和字段数量相匹配的情况下，根据所述配置信息提取所述初始数据文件中需要导入目标表中的目标数据；

8、根据所述目标数据库、所述目标表和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中；

9、根据所述表名和所述目标数据库生成数据查询代码，利用所述数据查询代码查询导入所述目标表中数据，并显示查询结果。

10、进一步地，该方法还包括：

11、在所述初始数据文件中数据的字段名称内容和字段数量与所述目标表中的字段名称内容和字段数量不相匹配的情况下，反馈提示信息，以提示用户修改初始数据文件中的数据。

12、进一步地，在所述根据所述配置信息提取所述初始数据文件中需要导入目标表格中的目标数据之前，还包括执行以下至少一种操作：

13、对所述初始数据文件中的数据进行字段内容格式的校验；

14、对所述初始数据文件中数据进行纠错和补全；

15、对所述初始数据文件进行文件格式转换；

16、获取用户输入的分区字段内容，并对所述初始数据文件根据所述分区字段内容进行拆分，以得到至少一个数据文件，每个数据文件中包括与所述分区字段内容相匹配的数据。

17、进一步地，所述根据所述目标数据库、所述目标表和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中，包括：

18、上传所述目标数据到所述目标数据库所在的服务器；

19、根据所述目标数据库、所述目标表和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中。

20、进一步地，该方法还包括：

21、在所述目标数据库中未存储有与所述表名对应的目标表的情况下，根据所述表名、字段名、用户选择的字段类型和用户填写的字段注释内容创建目标表；

22、根据所述配置信息提取所述初始数据文件中需要导入目标表中的目标数据；

23、根据所述目标数据库、所述目标表和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中；

24、根据所述表名和所述目标数据库生成数据查询代码，利用所述数据查询代码查询导入所述目标表中数据，并显示查询结果。

25、进一步地，所述获取初始数据文件，包括：

26、上传存储在本地的数据文件得到所述初始数据文件。

27、进一步地，所述获取初始数据文件，包括：

28、利用预设接口获取预设系统中的数据，并对获取的数据进行解析，得到所述初始数据文件。

29、进一步地，所述获取初始数据文件，包括：

30、获取用户配置的初始数据；

31、根据所述初始数据生成所述初始数据文件。

32、第二方面，本发明提供一种数据库导入数据装置，该装置包括：

33、数据获取模块，用于获取初始数据文件、目标数据库、用户输入的表名、用户输入的分区字段内容；其中，所述分区字段内容用于对所述初始数据文件根据所述分区字段内容进行拆分；

34、数据导入模块，用于从所述初始数据文件中提取与所述目标数据库匹配的配置信息；其中，所述配置信息包括：字段名、表中的首行数据；在所述目标数据库中存储有与所述表名对应的目标表的情况下，根据所述配置信息，判断所述初始数据文件中数据的字段名称内容和字段数量是否与所述目标表中的字段内容和字段数量相匹配；

35、在所述初始数据文件中数据的字段名称内容和字段数量与所述目标表中的字段内容和字段数量相匹配的情况下，根据所述配置信息提取所述初始数据文件中需要导入目标表中的目标数据；

36、根据所述目标数据库、所述目标表和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中；

37、查询显示模块，用于根据所述表名生成数据查询代码，利用所述数据查询代码查询导入所述目标表中数据，并显示查询结果。

38、第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行上述任一项所述方法的步骤。

39、本发明采用以上技术方案，至少具备以下有益效果：

40、本发明数据库导入数据方法，通过获取初始数据文件、目标数据库、用户输入的表名；从所述初始数据文件中提取与所述目标数据库匹配的配置信息；在所述目标数据库中存储有与所述表名对应的目标表的情况下，根据所述配置信息，判断所述初始数据文件中数据的字段名称内容和字段数量是否与所述目标表中的字段名称内容和字段数量相匹配；在所述初始数据文件中数据的字段名称内容和字段数量与所述目标表中的字段名称内容和字段数量相匹配的情况下，根据所述配置信息提取所述初始数据文件中需要导入目标表中的目标数据；根据所述目标数据库、所述目标表格和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中；根据所述表名生成数据查询代码，利用所述数据查询代码查询导入所述目标表中数据，并显示查询结果。本发明方法，根据所述配置信息，判断所述初始数据文件中数据的字段名称内容和字段数量是否与所述目标表中的字段名称内容和字段数量相匹配，如果匹配，根据所述配置信息提取所述初始数据文件中需要导入目标表中的目标数据，有效避免了异样数据出现，提高了数据准确性；根据所述目标数据库、所述目标表和所述目标数据，生成数据导入代码，并利用所述数据导入代码，将所述目标数据导入所述目标表中，通过使用生成的数据导入代码导入数据解决现有的数据导入方式无法高效导入数据的问题。

41、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。