数据处理方法、装置、电子设备和存储介质与流程

本公开涉及数据处理，尤其涉及一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、目前，随着大数据技术的不断发展，数据处理在车辆、智能家电、手机等领域得到了广泛应用，且各个领域中的数据处理需求种类繁多。然而，相关技术中的数据处理方法，无法适用于多种数据处理需求，存在灵活性低的问题。

技术实现思路

1、本公开提供一种数据处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品，以至少解决相关技术中数据处理方法灵活性低的问题。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种数据处理方法，包括：获取多个数据源的配置文件；基于所述配置文件，确定目标字段名称；基于所述目标字段名称，生成总查询语句；执行所述总查询语句，并基于所述总查询语句，对多个所述数据源进行数据处理，得到数据处理结果。

3、在本公开的一个实施例中，所述基于所述配置文件，确定目标字段名称，包括：从所述配置文件中提取出候选字段名称和候选字段类别之间的映射关系；将与候选字段类别为设定字段类别具有映射关系的候选字段名称确定为所述目标字段名称。

4、在本公开的一个实施例中，所述基于所述目标字段名称，生成总查询语句，包括：对同一设定字段类别的多个目标字段名称进行拼接，生成子查询语句；基于多个所述子查询语句，生成所述总查询语句。

5、在本公开的一个实施例中，所述设定字段类别包括核对字段，所述子查询语句包括第一查询语句；

6、所述对同一设定字段类别的多个所述目标字段名称进行拼接，生成子查询语句，包括：对设定字段类别为核对字段的多个第一字段名称进行拼接，生成所述第一查询语句；

7、所述基于所述总查询语句，对多个所述数据源进行数据处理，得到数据处理结果，包括：基于所述总查询语句，从多个所述数据源中分别查询所述第一字段名称对应的原始字段值；对多个所述数据源的第一字段名称对应的原始字段值进行核对处理，得到所述数据处理结果。

8、在本公开的一个实施例中，所述对多个所述数据源的第一字段名称对应的原始字段值进行核对处理，得到所述数据处理结果，包括：对所述数据源的第一字段名称对应的多个原始字段值进行汇总处理，得到所述数据源的第一字段名称对应的汇总字段值；对多个所述数据源的第一字段名称对应的汇总字段值进行核对处理，得到所述数据处理结果。

9、在本公开的一个实施例中，还包括：对多个所述数据源的第一字段名称对应的原始字段值进行组合，得到所述数据处理结果。

10、在本公开的一个实施例中，所述设定字段类别包括展示字段，所述子查询语句包括第二查询语句；

11、所述对同一设定字段类别的多个所述目标字段名称进行拼接，生成子查询语句，包括：对设定字段类别为展示字段的多个第二字段名称进行拼接，生成所述第二查询语句；

12、所述基于所述总查询语句，对多个所述数据源进行数据处理，得到数据处理结果，包括：基于所述总查询语句，从多个所述数据源中分别查询所述第二字段名称对应的原始字段值；对多个所述数据源的第二字段名称对应的原始字段值进行组合，得到所述数据处理结果。

13、在本公开的一个实施例中，还包括：基于所述配置文件，确定所述数据处理结果的目标存储空间的目标标识；创建标识为所述目标标识的目标存储空间；将所述数据处理结果存储至所述目标存储空间。

14、根据本公开实施例的第二方面，提供一种数据处理装置，包括：获取模块，被配置为获取多个数据源的配置文件；确定模块，被配置为基于所述配置文件，确定目标字段名称；生成模块，被配置为基于所述目标字段名称，生成总查询语句；处理模块，被配置为执行所述总查询语句，并基于所述总查询语句，对多个所述数据源进行数据处理，得到数据处理结果。

15、在本公开的一个实施例中，所述确定模块，还被配置为：从所述配置文件中提取出候选字段名称和候选字段类别之间的映射关系；将与候选字段类别为设定字段类别具有映射关系的候选字段名称确定为所述目标字段名称。

16、在本公开的一个实施例中，所述生成模块，还被配置为：对同一设定字段类别的多个目标字段名称进行拼接，生成子查询语句；基于多个所述子查询语句，生成所述总查询语句。

17、在本公开的一个实施例中，所述设定字段类别包括核对字段，所述子查询语句包括第一查询语句；

18、所述生成模块，还被配置为：对设定字段类别为核对字段的多个第一字段名称进行拼接，生成所述第一查询语句；

19、所述处理模块，还被配置为：基于所述总查询语句，从多个所述数据源中分别查询所述第一字段名称对应的原始字段值；对多个所述数据源的第一字段名称对应的原始字段值进行核对处理，得到所述数据处理结果。

20、在本公开的一个实施例中，所述处理模块，还被配置为：对所述数据源的第一字段名称对应的多个原始字段值进行汇总处理，得到所述数据源的第一字段名称对应的汇总字段值；对多个所述数据源的第一字段名称对应的汇总字段值进行核对处理，得到所述数据处理结果。

21、在本公开的一个实施例中，所述处理模块，还被配置为：对多个所述数据源的第一字段名称对应的原始字段值进行组合，得到所述数据处理结果。

22、在本公开的一个实施例中，所述设定字段类别包括展示字段，所述子查询语句包括第二查询语句；

23、所述生成模块，还被配置为：对设定字段类别为展示字段的多个第二字段名称进行拼接，生成所述第二查询语句；

24、所述处理模块，还被配置为：基于所述总查询语句，从多个所述数据源中分别查询所述第二字段名称对应的原始字段值；对多个所述数据源的第二字段名称对应的原始字段值进行组合，得到所述数据处理结果。

25、在本公开的一个实施例中，还包括：存储模块，所述存储模块，被配置为：基于所述配置文件，确定所述数据处理结果的目标存储空间的目标标识；创建标识为所述目标标识的目标存储空间；将所述数据处理结果存储至所述目标存储空间。

26、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如前第一方面所述的数据处理方法。

27、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前第一方面所述的数据处理方法。

28、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前第一方面所述的数据处理方法。

29、本公开的实施例提供的技术方案至少带来以下有益效果：可考虑到多个数据源的配置文件，确定目标字段名称，以生成总查询语句，提高了总查询语句的灵活性，并执行总查询语句，以对多个数据源进行数据处理，提高了数据处理的灵活性，相较于相关技术中需要为数据处理需求定制化开发代码，本方案适用于多种数据处理需求，扩展性较好。

30、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。