一种图像数据处理方法和装置与流程

本技术实施例涉及图像，尤其涉及一种图像数据处理方法和装置。

背景技术：

1、在目前的一些算法中，例如对图像数据的检测，可通过检测类的算法，根据图像的输入源数据，对图像划定感兴趣的区域，明确感兴趣区域的坐标标识。通过坐标标识，仅对感兴趣区域内的图像数据进行人工智能相关的计算。对感兴趣区域外的图像数据不进行任何处理。之后，再将对感兴趣区域内图像数据的计算结果和非感兴趣区域内的源数据进行拼接后得到输出特征图。

2、但是，感兴趣区域通常为图像中的一块矩形区域，而用户实际关注物体的物理形状是更为复杂的。考虑算法的鲁棒性，感兴趣区域通常需要能够完全覆盖目标物体。因此，感兴趣区域内，可能仍包含着很大一部分不感兴趣的图像数据，这些不感兴趣的图像数据也会参与人工智能计算，计算成本和功耗较高。

技术实现思路

1、本技术实施例提供一种图像数据处理方法和装置，能够对图像数据通过有效标识进行稀疏化处理，减少无效计算，降低计算成本和功耗。

2、为达到上述目的，本技术实施例采用如下技术方案：

3、第一方面，提供一种图像数据处理方法，确定第一图像帧中的有效数据，有效数据是第一图像帧中的敏感数据或突变数据，突变数据包括第一图像帧相对于第二图像帧动态变化的数据；对第一图像帧的数据进行处理，其中，对第一图像帧中的有效数据进行图像处理的运算资源大于第一图像帧中除有效数据以外的数据的运算资源。

4、其中，第二图像帧可以是在第一图像帧之前，在根据一段时间的多个图像帧确定的基准帧，基准帧中包括一段时间内相对保持不变的图像数据。或者，第二图像帧为第一图像帧的前一个图像帧。

5、由此，本技术对于任一第一图像帧，可通过敏感数据或突变数据确定出第一图像帧的数据是否为有效数据，而不局限于划分的感兴趣区域为有效数据。也即，本技术在处理第一图像帧时，对第一图像帧中的有效数据可分配更多的运算资源，例如可只对第一图像帧中的有效数据进行运算，无效数据不参与运算。相当于对第一图像帧进行了稀疏化处理，可降低图像理过程中的运算量，提升图像处理效率。

6、在一种可能的设计中，有效数据为敏感数据时，确定第一图像帧中的有效数据包括：当第一图像帧中的第一数据在第一阈值范围内时，确定第一数据为有效数据。例如，在终端处理屏幕触控中触控点的识别时，可根据获取的图像帧数据的传感器压力大小确定出敏感数据。这样，可稀疏化第一图像帧中使用更多运算资源的数据量，提升图像处理效率。

7、在一种可能的设计中，有效数据为突变数据时，确定第一图像帧中的有效数据包括：当第一图像帧中的第二数据与第三数据的差值在第二阈值范围内时，确定第二数据为有效数据，第三数据为第二图像帧中与第二数据具有相同坐标的数据。例如，第二图像帧是第一图像帧的前一个图像帧，如果第二数据和第三数据的差值在第二阈值范围内时，可认为第二数据为突变数据，即为有效数据，可对第二数据的运算资源赋予更多，也可以达到稀疏化第一图像帧中使用更多运算资源的数据量，提升图像处理效率的效果。

8、在一种可能的设计中，第二图像帧是根据多个图像帧确定的基准帧，基准帧中的数据包括多个图像帧中在预设时间段内保持不变的数据。例如在监控设备监控场景中，基准帧可理解为包括不经常变化的数据的图像帧，例如基准帧包括一些静态的花、草、树木的图像数据。在监控设备视场范围内经过的人和物等的数据为突变数据。这样，监控设备可对突变数据的运算资源赋予更多，对不经常变化的非突变数据的运算资源赋予较少，可提升图像处理效率。

9、在一种可能的设计中，在对第一图像帧中的有效数据进行图像处理之前，方法还包括：建立第一图像帧中的有效数据与有效标识的对应关系，有效标识用于指示有效数据参与图像处理。即本技术可针对第一图像帧中的每个数据点都建立对应的标识，具体到每个数据点是否有效。这样区别于现有技术中根据区域确定有效区域和无效区域这种粗略的划分。本技术根据每个数据点的有效和无效对图像帧中的数据进行稀疏化处理，提升图像处理效率。

10、在一种可能的设计中，对第一图像帧中的有效数据进行图像处理包括：根据对应关系，对第一图像帧中的有效数据进行图像处理。这样，根据每个图像帧的这种对应关系，可根据标识确定数据是否有效，只对有效数据赋予较多的运算资源。相对于现有技术中划区域进行有效区域的运算，本技术可进一步降低图像数据的运算量。

11、在一种可能的设计中，建立第一图像帧中的有效数据与有效标识的对应关系包括：确定第一图像帧对应的第一标识矩阵，第一标识矩阵与第一图像帧的分辨率相同，第一标识矩阵包括多个有效标识，有效标识用于指示第一图像帧中与有效标识具有相同坐标的数据为有效数据。由此，可根据标识矩阵确定出图像帧中的有效数据和无效数据，即使读取了无效数据，也可通过有效标识区分出数据是否有效，避免对无效数据参与运算操作，降低了运算资源。

12、在一种可能的设计中，图像处理包括卷积操作。对第一图像帧中的有效数据进行图像处理包括：根据第一图像帧、第一标识矩阵、第一卷积层的滑动步长、第一卷积层的卷积核对第一图像帧中的有效数据进行卷积操作，得到图像处理结果；其中，第一图像帧中的无效数据不参与卷积操作。这样，在对图像帧中的数据进行卷积计算时，可根据标识矩阵对图像帧中的有效数据进行卷积计算即可，可降低图像数据参与卷积计算的计算量，提升图像处理效率。

13、在一种可能的设计中，第一标识矩阵还包括多个无效标识，多个无效标识中的每个无效标识指示第一输入特征图中与无效标识具有相同坐标的数据为无效数据。这样，即使读取了无效数据，也可通过无效标识识别出无效数据，避免对无效数据参与运算操作，降低运算资源占用量。

14、在一种可能的设计中，第一图像帧的数据为第一输入特征图时，根据第一标识矩阵对第一图像帧中的有效数据进行卷积操作包括：根据第一标识矩阵、第一卷积层的滑动步长、第一卷积层的卷积核对第一输入特征图中的有效数据进行卷积操作，得到第一输出特征图。相对现有技术而言，在进行卷积操作时，需根据第一标识矩阵对第一输入特征图中的有效数据进行卷积操作，可有效筛选出第一输入特征图中的有效数据，避免对无效数据参与卷积操作，降低卷积操作的计算量。

15、第二方面，提供一种图像处理装置，图像处理装置包括：确定单元，用于确定第一图像帧中的有效数据，有效数据是第一图像帧中的敏感数据或突变数据，突变数据包括第一图像帧相对于第二图像帧动态变化的数据；运算单元，用于对第一图像帧进行处理，其中，对第一图像帧中的有效数据进行图像处理的运算资源大于第一图像帧中除有效数据以外的数据的运算资源。

16、第二方面的有益效果可以参见第一方面的说明。

17、在一种可能的设计中，有效数据为敏感数据时，确定单元用于：当第一图像帧中的第一数据在第一阈值范围内时，确定第一数据为有效数据。

18、在一种可能的设计中，有效数据为突变数据时，确定单元用于：当第一图像帧中的第二数据与第三数据的差值在第二阈值范围内时，确定第二数据为有效数据，第三数据为第二图像帧中与第二数据具有相同坐标的数据。

19、在一种可能的设计中，第二图像帧是根据多个图像帧确定的基准帧，基准帧中的数据包括多个图像帧中在预设时间段内保持不变的数据。

20、在一种可能的设计中，还包括建立单元，用于：建立第一图像帧中的有效数据与有效标识的对应关系，有效标识用于指示有效数据参与图像处理。

21、在一种可能的设计中，运算单元，用于：根据对应关系，对第一图像帧中的有效数据进行图像处理。

22、在一种可能的设计中，建立单元，用于：确定第一图像帧对应的第一标识矩阵，第一标识矩阵与第一图像帧的分辨率相同，第一标识矩阵包括多个有效标识，有效标识用于指示第一图像帧中与有效标识具有相同坐标的数据为有效数据。

23、在一种可能的设计中，图像处理包括卷积操作；运算单元，用于：根据第一图像帧、第一标识矩阵、第一卷积层的滑动步长、第一卷积层的卷积核对第一图像帧中的有效数据进行卷积操作，得到图像处理结果；其中，第一图像帧中的无效数据不参与卷积操作。

24、第三方面，提供一种通信装置，包括至少一个处理器，所述至少一个处理器与存储器相连，所述至少一个处理器用于读取并执行所述存储器中存储的程序，以使得所述装置执行如上述第一方面或第一方面的任一项所述的方法。

25、第四方面，提供一种芯片，所述芯片与存储器耦合，用于读取并执行所述存储器中存储的程序指令，以实现如上述第一方面或第一方面的任一项所述的方法。

26、第五方面，本技术实施例提供了一种图像处理装置，该装置包含在电子设备中，该装置具有实现上述任一方面及任一项可能的实现方式中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，确定模块或单元、运算模块或单元等。

27、第六方面，提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面或第一方面的任一项所述的方法。

28、第七方面，提供一种计算机程序产品，当计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述第一方面及任一项可能的实现方式中的图像数据处理方法。

29、可以理解的是，上述提供的任一种图像数据处理装置、通信装置、芯片、计算机可读存储介质或计算机程序产品等均可以应用于上文所提供的对应的方法，因此，其所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。

30、本技术的这些方面或其他方面在以下的描述中会更加简明易懂。