数据处理方法、数据处理装置以及计算机可读存储介质与流程

本技术涉及计算机深度学习，特别是涉及一种数据处理方法、数据处理装置以及计算机可读存储介质。

背景技术：

1、深度学习是当前机器学习的热门领域，而卷积层是深度学习网络中的重要结构，卷积计算性能对深度学习的性能有重要的影响。在部分可编程设备(比如dsp)上，卷积计算通常使用向量指令实现，以实现高度的并行计算。

2、为了尽可能提高向量指令的效率，会引入不同的数据排布格式：比如宽度w较大的特征数据，使用nchw排布；宽度w较小，而通道c较大的特征数据，会使用nhwc排布。这样在同一个网络的计算过程中，可能会使用不同的排布格式，需要选择最优的排布格式，并且在不同的排布格式之间进行数据转换。

3、如果卷积计算使用nchw排布方式，向量计算的维度为w方向，那么当w维度上的数据量较小的时候，或刚好超过向量长度几个数据时，向量计算的性能将大幅降低，因为其有效计算量可能只占向量长度的一小部分。如果卷积计算中根据特征维度信息动态选择排布格式，那么需要添加在不同的排布格式(比如nchw和nhwc)之间的数据转换，并且nhwc排布时要求c维度的数据量(即数据的通道数)对齐到向量长度的倍数时向量计算指令才有较高的利用率。想要保证向量运算有较高的性能，则对卷积层较多的限制条件，实际网络不易满足且处理比较复杂。

技术实现思路

1、本技术提供了一种数据处理方法、数据处理装置以及计算机可读存储介质。

2、本技术提供了一种数据处理方法，所述数据处理方法包括：

3、基于待处理图像获取卷积输入数据，其中，所述卷积输入数据按照预设数据排布格式排布；

4、基于卷积参数，获取所述卷积输入数据的融合参数；

5、基于所述融合参数以及卷积输出数据的尺寸参数，获取卷积输出数据的数据量；

6、在所述数据量满足判别条件时，基于所述融合参数对所述卷积输入数据进行融合处理，获取融合卷积数据；

7、按照所述卷积参数对所述融合卷积数据进行单行卷积计算，获取单行输出数据；

8、基于所述融合参数对所述单行输出数据进行拆分，获取所述卷积输入数据的卷积输出数据，所述卷积输出数据用于对所述待处理图像进行图像识别。

9、其中，所述融合参数包括无效数据量；

10、所述基于卷积参数，获取所述卷积输入数据的融合参数，包括：

11、获取所述卷积参数中的填充参数，以及卷积核尺寸；

12、基于所述填充参数以及所述卷积核尺寸，获取无效数据量。

13、其中，所述基于所述融合参数以及卷积输出数据的尺寸参数，获取卷积输出数据的数据量，包括：

14、获取所述卷积输出数据的第一尺寸参数和第二尺寸参数；

15、获取所述第二尺寸参数与所述无效数据量的参数和；

16、基于所述第一尺寸参数与所述参数和的乘积，与所述无效数据量的差值，获取所述卷积输出数据的数据量；

17、其中，所述无效数据量的维度与所述第二尺寸参数的维度相同。

18、其中，所述基于所述填充参数以及所述卷积核尺寸，获取无效数据量，包括：

19、获取所述卷积参数中的跨距参数；

20、基于所述卷积输入数据的第三尺寸参数，以及所述跨距参数、所述填充参数，获取连接数据量；

21、基于所述连接数据量以及所述第二尺寸参数、所述第三尺寸参数，获取所述无效数据量；

22、其中，所述第二尺寸参数的维度与所述第三尺寸参数的维度相同。

23、其中，所述按照所述卷积参数对所述融合卷积数据进行单行卷积计算，包括：

24、获取所述卷积参数中的空洞参数；

25、按照所述空洞参数以及所述跨距参数定位每一融合卷积数据的数据位置；

26、基于所述空洞参数、所述跨距参数、所述第三尺寸参数以及所述连接数据量获取所述每一融合卷积数据的偏移量；

27、按照所述数据位置和所述偏移量提取所述融合卷积数据进行单行卷积计算。

28、其中，所述基于所述融合参数对所述卷积输入数据进行融合处理，获取融合卷积数据，包括：

29、按照所述填充参数对所述卷积输入数据进行扩充；

30、按照所述跨距参数将所述卷积输入数据划分为若干组别，得到融合卷积数据，其中，每一组内的相邻行数据使用所述连接数据量的零数据连接；

31、其中，所述组别的数量由所述跨距参数确定。

32、其中，所述基于所述融合参数对所述卷积输入数据进行融合处理，获取融合卷积数据，包括：

33、按照所述跨距参数将所述卷积输入数据划分为若干组别，得到融合卷积数据，其中，每一组内的相邻行数据使用所述连接数据量的零数据连接；

34、其中，所述组别的数量由所述跨距参数确定；

35、所述按照所述卷积参数对所述融合卷积数据进行单行卷积计算，包括：

36、按照所述填充参数对所述融合卷积数据的每一组数据进行扩充；

37、按照所述卷积参数对扩充后的融合卷积数据进行单行卷积计算。

38、其中，所述基于所述融合参数对所述单行输出数据进行拆分，获取所述卷积输入数据的卷积输出数据，包括：

39、获取所述卷积输出数据的第一尺寸参数和第二尺寸参数；

40、按照所述单行输出数据的数据顺序，获取所述第二尺寸参数对应的输出数据作为所述卷积输出数据的第一行输出；

41、按照所述单行输出数据的数据顺序，丢弃所述无效数据量对应的输出数据；

42、按照所述单行输出数据的数据顺序，获取所述第二尺寸参数对应的输出数据作为所述卷积输出数据的第二行输出；

43、直至获取所述第一尺寸参数对应行数的输出，组成所述卷积输出数据。

44、其中，所述数据处理方法，还包括：

45、获取设备的向量长度；

46、基于所述卷积输出数据的数据量以及所述向量长度，获取第一判别参数；

47、基于预设判断因子、所述卷积输出数据的第一尺寸参数和第二尺寸参数，以及所述向量长度，获取第二判别参数；

48、在所述第一判别参数小于所述第二判别参数时，确定所述数据量满足判别条件。

49、本技术还提供了一种数据处理装置，所述数据处理装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的数据处理方法。

50、本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的数据处理方法。

51、本技术的有益效果是：数据处理装置基于待处理图像获取卷积输入数据，其中，卷积输入数据按照预设数据排布格式排布；基于卷积参数，获取卷积输入数据的融合参数；基于融合参数以及卷积输出数据的尺寸参数，获取卷积输出数据的数据量；在数据量满足判别条件时，基于融合参数对卷积输入数据进行融合处理，获取融合卷积数据；按照卷积参数对融合卷积数据进行单行卷积计算，获取单行输出数据；基于融合参数对单行输出数据进行拆分，获取卷积输入数据的卷积输出数据，卷积输出数据用于对待处理图像进行图像识别。通过上述方式，数据处理装置结合对输入数据进行融合和对输出数据进行拆分，将多行卷积计算转换为单行计算，提升使用向量进行计算时的计算速度。