一种图像数据处理方法、装置、设备及介质与流程

本发明涉及计算机，特别是涉及一种图像数据处理方法、装置、设备及介质。

背景技术：

1、随着计算机视觉、自然语言处理的发展，深度神经网络在这些人工智能领域越发凸显重要的地位。

2、由于在图像数据处理过程中，用到的模型压缩方法得到的深度神经网络的层数多、参数量较大带来的较大的存储空间，使得降低占用存储空间具有较大的意义。当前深度神经网络参数在采用张量分解的参数压缩过程中，直接对原始高维张量进行分解，导致张量分解过程中数据处理的计算复杂度较高；同时，原始高维张量对应的存储量较大，使得高维张量在分解后对应的存储空间也较大，对应图像数据处理过程中的数据占用空间较大。

3、因此，如何在图像数据处理过程中减少存储空间和降低张量分解过程时数据处理的计算复杂度是本领域技术人员亟需要解决的技术问题。

技术实现思路

1、本发明的目的是提供一种图像数据处理方法、装置、设备及介质，以解决当前图像数据处理过程中对应的张量分解过程中的计算复杂度高和存储空间较大的技术问题。

2、为解决上述技术问题，本发明提供一种图像数据处理方法，包括：

3、获取初始图像数据；

4、调用深度学习模型以输入所述初始图像数据，并获取所述深度学习模型的输出结果；

5、将输出结果作为所述初始图像数据的处理结果；

6、其中，所述深度学习模型的参数包括第一张量；所述第一张量由第二张量的逼近张量替换得到；第二张量的逼近张量由各元素规模对应的子张量进行张量分解和组合得到；各元素规模对应的子张量由第二张量进行粗采样处理和细采样处理得到；粗采样处理和细采样处理的处理方式是第二张量的张量维度不变，对第二张量的张量维度对应的元素个数变化得到子张量的方式。

7、一方面，各元素规模对应的子张量包括初始子张量和重叠子张量，各元素规模对应的子张量由第二张量进行粗采样处理和细采样处理得到，包括：

8、将第二张量的第一个维度到最后一个维度对应的元素分别进行细采样处理以作为各元素规模对应的初始子张量对应的目标维度的维度元素，其中，细采样处理的元素个数与第二张量对应的维度的元素个数相同；

9、获取粗采样处理的采样比例；

10、根据所述采样比例对各元素规模对应的初始子张量内除所述目标维度之外的其余维度的元素分别进行粗采样处理得到采样后的维度元素，其中，粗采样处理的元素个数与第二张量对应的维度的元素个数不同；

11、将采样后的维度元素与所述目标维度的维度元素组合形成初始子张量；并根据第二张量的维度个数对采样后的维度元素进行处理得到重叠子张量；

12、将初始子张量和重叠子张量作为各元素规模对应的子张量。

13、另一方面，在粗采样处理的所述采样比例相同时，根据所述采样比例对各元素规模对应的初始子张量内除所述目标维度之外的其余维度的元素分别进行粗采样处理得到采样后的维度元素，包括：

14、以所述目标维度为固定维度，将所述其余维度对应第二张量的维度位置对应的元素个数按照所述采样比例进行粗采样处理得到采样后的维度元素。

15、另一方面，初始子张量的个数和第二张量的维度数相同。

16、另一方面，保留的重叠子张量的个数为一个，第二张量、初始子张量和重叠子张量对应的关系如下：

17、将第二张量的维度数减1得到重叠子张量对应的重复系数；

18、将所述重复系数与重叠子张量进行相乘处理得到第一子张量；

19、将各初始子张量进行相加处理得到第二子张量；

20、将所述第二子张量与所述第一子张量进行相减处理得到第二张量。

21、另一方面，在粗采样处理的所述采样比例为多个，且不同时，根据所述采样比例对各元素规模对应的初始子张量内除所述目标维度之外的其余维度的元素分别进行粗采样处理得到采样后的维度元素，包括：

22、以所述目标维度为固定维度，将所述其余维度对应第二张量的维度位置对应的元素个数分别按照各所述采样比例进行粗采样处理得到采样后的维度元素，其中，所述采样比例的个数小于或等于所述其余维度的维度数量。

23、另一方面，粗采样处理的所述采样比例的确定过程，包括：

24、获取粗采样处理的维度元素个数规则和整数规则；

25、根据所述维度元素个数规则和所述整数规则确定所述采样比例；

26、其中，所述维度元素个数规则为初始子张量的采样后的维度元素个数小于第二张量的维度元素个数；

27、所述整数规则为初始子张量的采样后的维度元素个数与第二张量的维度元素个数之间存在系数为整数的正比例关系。

28、另一方面，所述采样比例为第二张量的维度元素个数的n次方，其中，n大于0且小于1。

29、另一方面，第二张量的逼近张量由各元素规模对应的子张量进行张量分解和组合得到，包括：

30、将各元素规模对应的子张量内的初始子张量和重叠子张量分别进行张量分解得到对应的低秩张量；

31、将各所述低秩张量进行组合得到第二张量的逼近张量。

32、另一方面，将各元素规模对应的子张量内的初始子张量和重叠子张量分别进行张量分解得到对应的低秩张量，包括：

33、在各元素规模对应的子张量内的初始子张量和重叠子张量内选取当前子张量；

34、根据当前子张量的各维度确定各维度对应的张量秩；

35、将各维度对应的张量秩以及对应的元素确定当前子张量对应的张量核；

36、将当前子张量对应的张量核作为当前子张量的张量分解后的所述低秩张量。

37、另一方面，在各张量核中第一个维度对应的张量核和最后一个维度对应的张量核为二维矩阵。

38、另一方面，将各所述低秩张量进行组合得到第二张量的逼近张量，包括：

39、将各初始子张量对应的低秩张量进行相加处理得到第一组合张量；

40、将重叠子张量对应的低秩张量与对应的重复系数进行相乘处理得到第二组合张量；

41、将所述第一组合张量与所述第二组合张量进行相减处理得到第二张量的逼近张量。

42、另一方面，在将第二张量进行粗采样处理和细采样处理得到各元素规模对应的子张量之后，在将各元素规模对应的子张量进行张量分解和组合得到第二张量的逼近张量之前，还包括：

43、获取第二张量对应的存储复杂度和各元素规模对应的子张量对应的存储复杂度；

44、判断第二张量对应的存储复杂度是否均大于各元素规模对应的子张量对应的存储复杂度；

45、若是，则确定各元素规模对应的子张量验证成功。

46、另一方面，在所述采样比例的数量为一个时，各元素规模对应的子张量对应的存储复杂度的确定过程包括：

47、初始子张量的存储复杂度对应的度量由所述采样比例得到；

48、重叠子张量的存储复杂度对应的度量由所述采样比例与重叠子张量对应的重复系数之间的关系得到。

49、另一方面，在将第二张量进行粗采样处理和细采样处理得到各元素规模对应的子张量之后，在将各元素规模对应的子张量进行张量分解和组合得到第二张量的逼近张量之前，还包括：

50、获取各元素规模对应的子张量对应的各维度下的元素个数和第二张量对应的各维度下的元素个数；

51、基于各元素规模对应的子张量对应的各维度下的元素个数和第二张量对应的各维度下的元素个数确定各子张量对应的各维度的压缩比；

52、判断各子张量对应的各维度的压缩比是否与所述采样比例相同；

53、若相同，则确定各元素规模对应的子张量验证成功。

54、另一方面，在将各元素规模对应的子张量进行张量分解和组合得到第二张量的逼近张量之后，还包括：

55、获取第二张量对应的低秩张量逼近结果的第一存储复杂度；

56、根据各元素规模对应的子张量对应的低秩张量确定对应的低秩张量逼近结果，并根据各子张量对应的低秩张量逼近结果进行空间复杂度处理得到对应的第二存储复杂度；

57、判断所述第一存储复杂度是否均大于各所述第二存储复杂度；

58、若是，则确定各元素规模对应的子张量验证成功。

59、另一方面，若第二张量对应的存储复杂度存在小于或者等于各元素规模对应的子张量对应的存储复杂度时，还包括：

60、获取第二张量对应的存储复杂度小于或者等于各元素规模对应的子张量对应的存储复杂度所属的实际子张量；

61、根据所述实际子张量的个数与各元素规模对应的子张量的个数的关系，对所述采样比例进行调整得到调整后的采样比例，并返回至所述根据所述采样比例对各元素规模对应的初始子张量内除所述目标维度之外的其余维度的元素分别进行粗采样处理得到采样后的维度元素的步骤。

62、为解决上述技术问题，本发明还提供了一种图像数据处理装置，包括：

63、获取模块，用于获取初始图像数据；

64、调用模块，用于调用深度学习模型以输入所述初始图像数据，并获取所述深度学习模型的输出结果；

65、确定模块，用于将输出结果作为所述初始图像数据的处理结果；

66、其中，所述深度学习模型的参数包括第一张量；所述第一张量由第二张量的逼近张量替换得到；第二张量的逼近张量由各元素规模对应的子张量进行张量分解和组合得到；各元素规模对应的子张量由第二张量进行粗采样处理和细采样处理得到；粗采样处理和细采样处理的处理方式是第二张量的张量维度不变，对第二张量的张量维度对应的元素个数变化得到子张量的方式。

67、为解决上述技术问题，本发明还提供了一种图像数据处理设备，包括：

68、存储器，用于存储计算机程序；

69、处理器，用于执行所述计算机程序时实现如上述所述的图像数据处理方法的步骤。

70、为解决上述技术问题，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的图像数据处理方法的步骤。

71、本发明提供的一种图像数据处理方法，获取初始图像数据；调用深度学习模型以输入初始图像数据，并获取深度学习模型的输出结果以作为初始图像数据的处理结果；其中，深度学习模型的参数包括第一张量；第一张量由第二张量的逼近张量替换得到；第二张量的逼近张量由各元素规模对应的子张量进行张量分解和组合得到；各元素规模对应的子张量由第二张量进行粗采样处理和细采样处理得到；粗采样处理和细采样处理的处理方式是第二张量的张量维度不变，对第二张量的张量维度对应的元素个数变化得到子张量的方式。

72、本发明的有益效果在于图像数据处理过程中，由于深度学习模型的参数包括第一张量，第一张量通过第二张量的逼近张量替换得到，其第二张量的逼近张量通过第二张量进行粗采样和细采样的元素规模处理，得到各元素规模下的子张量，再由各元素规模对应的子张量进行张量分解和组合得到，对应的粗采样和细采样使得子张量的张量维度的元素个数发生变化，相对于第二张量(传统张量分解直接进行分解的原始高维张量)的高阶以及元素个数较多的情况，在各子张量进行张量分解时，降低张量分解时的计算复杂度，也降低了图像处理过程中数据处理的计算复杂度。各子张量相对于第二张量来说，通过各子张量进行张量分解和组合得到第二张量的逼近张量，具有较低的存储复杂度，在一定程度上对于图像数据处理过程中降低了内存空间，使得图像数据处理效率提高。

73、本实施例提供的粗采样处理和细采样处理过程，使之各元素规模的子张量相比于第二张量的元素个数减少，以便于在各子张量进行张量分解时，降低张量分解时的计算复杂度，也降低了图像处理过程中数据处理的计算复杂度；在采样比例为一个的情况下，粗采样处理过程以及对应的初始子张量、重叠子张量和第二张量的对应关系，消除重复的重叠子张量，使得到的各元素规模下的子张量准确性提高；在采样比例为多个的情况下，粗采样处理过程以及对应的初始子张量的个数确定过程，使得各元素规模下的子张量有序化和准确化，便于后续的张量分解；通过粗采样处理和细采样处理以及张量分解得到各低秩张量，将各低秩张量进行组合得到逼近第二张量，各子张量相对于第二张量来说，通过各子张量进行张量分解以及组合得到第二张量的逼近张量，具有较低的存储复杂度，在一定程度上对于图像数据处理过程中降低了内存空间，使得图像数据处理效率提高；在子张量进行张量分解之前，对各子张量与第二张量的存储复杂度进行比较，以验证子张量的存储复杂度比第二张量的存储复杂度低，在验证成功的情况下，再进行后续的子张量的张量分解，提高数据存储效率，避免验证不成功进行张量分解造成的数据处理占用的计算量和存储空间较大的问题；对低秩逼近结果的存储复杂度的对比验证，对子张量的粗采样后进行的张量分解的存储复杂度双重验证，相比直接对原始高阶张量(第二张量)直接进行张量分解的方法，前者具有更低的存储复杂度；验证失败的情况下，调节采样比例，基于不同的采样比例进行粗采样处理和细采样处理确定子张量，便于后续的张量分解。及时调整采样比例，以提高图像数据处理的准确性。

74、另外，本发明还提供了一种图像数据处理装置、设备及介质，具有如上述图像数据处理方法相同的有益效果。