一种结合区域划分的图像识别方法及装置与流程

本发明公开了一种结合区域划分的图像识别方法及装置，属于图像处理。

背景技术：

1、目前现有的图像识别方法，在进行图像识别时，为使图像尺寸满足图像识别模型所需大小，需要对待识别图像进行缩放，再对处理后的图像进行识别。这一方法存在一定的局限性。

2、局限性一：当目标在图像中占比较小时，对图像进行缩放会使得图像分辨率下降，目标所占据的像素同样会随之减小，进而导致图像识别模型无法正确识别图像的目标。

3、局限性二：当目标偏离图像中心时，现有图形识别模型对图像的识别率较低。

技术实现思路

1、本发明的目的在于提供一种结合区域划分的图像识别方法及装置，在现有图像识别的基础上，通过对图像进行隐式划分的方式，将图像隐式地划分为了多个区域，并使用修改后的图像识别模型对划分后的区域进行识别，提高了图像识别模型在目标区域较小或目标偏离图像中心场景下的识别性能。

2、为达到上述目的，本发明采用的技术方案如下：

3、本发明提供一种结合区域划分的图像识别方法，包括：

4、构建图像识别模型并修正；

5、基于修正后的图像识别模型，对待识别图像进行初步识别；

6、对于未识别到目标物的待识别图像按照所述图像识别模型输入图像大小进行划分；

7、将划分后的待识别图像输入修正后的所述图像识别模型，基于识别结果构建置信度图；

8、基于所述置信度图识别目标物。

9、进一步的，所述构建图像识别模型并修正，包括：

10、搭建特征检测器与分类器构成模型，所述特征检测器包括卷积层和池化层，最后一层为全局平均池化层；所述分类器包括全连接层；

11、根据目标任务采集训练数据集对所述模型进行训练，得到图像识别模型；

12、采用平均池化层替代所述全局平均池化层，且令所述平均池化层的核函数大小与所述全局平均池化层的特征输入大小一致；

13、采用卷积核大小为1×1×c1×c2的卷积层替代所述全连接层，且使用训练好的所述全连接层权重与偏置为所述卷积层赋值，其中c1为所述全连接层的特征输入，c2为所述全连接层的特征输出。

14、进一步的，所述基于修正后的图像识别模型，对待识别图像进行初步识别，包括：

15、将待识别图像缩放为l×l大小，并输入修正后的所述图像识别模型，获取识别置信度，当目标物的识别置信度大于非目标物的识别置信度时，输出目标物识别结果；筛选出目标物的识别置信度小于非目标物的识别置信度的图像。

16、进一步的，所述对于未识别到目标物的待识别图像按照所述图像识别模型输入图像大小进行划分，包括：

17、对筛选出的待识别图像进行自适应缩放、裁剪或填充处理，使其各边长为所述图像识别模型输入图像边长的整数倍，将待识别图像划分为多个l×l大小的区域。

18、进一步的，所述对筛选出的待识别图像进行自适应缩放处理，包括：

19、将待识别图像的短边记为lmin：

20、

21、其中，w0和h0分别为待识别图像的宽和高；

22、当0<lmin≤l时，记缩放因子为：r＝l/lmin；

23、当l<lmin≤2l时，记缩放因子为r＝2l/lmin；

24、当lmin>3l时，记缩放因子为r＝3l/lmin；

25、将待识别图像的宽和高乘以所述缩放因子进行缩放。

26、进一步的，进行裁剪或填充处理包括：

27、对经自适应缩放处理后的待识别图像的长边lmax，计算lmax与l的余数m，当余数m大于l/2时，按如下方式对长边两侧进行填充：

28、

29、其中，和分别为长边两侧填充宽度，floor为向下取整操作，ceil为向上取整操作；

30、将待识别图像在上下左右四个方向的填充宽度记为dy1,dy2,dx1,dx2，则：

31、

32、当余数m小于l/2时，按如下方式对长边两侧进行裁剪：

33、

34、其中，和分别为长边两侧裁剪宽度；

35、将待识别图像在上下左右四个方向的裁剪宽度记为dy1,dy2,dx1,dx2，则：

36、

37、进一步的，所述将划分后的待识别图像输入修正后的所述图像识别模型，基于识别结果构建置信度图，包括：

38、将划分后的待识别图像输入修正后的所述图像识别模型，

39、获取各区域的目标物与非目标物的识别置信度，构成识别置信度图。

40、进一步的，基于所述置信度图识别目标物，包括：

41、对所述置信度图进行双线性插值，使其大小与原待识别图像经裁剪或填充处理后大小一致；

42、对插值后的所述置信度图进行二值化处理；

43、采用轮廓检测算法，获取所述二值化处理后的置信度图中的外接矩形轮廓，如果无法获得外接矩形轮廓，则不存在目标物，识别结束；如果存在外接矩形轮廓，则记为(x0,y0,w0,h0)，其中(x0,y0)为所述外接矩形轮廓的左上角坐标，w0与h0分别为宽度与高度；

44、按如下方式将所述外接矩形轮廓映射到原图：

45、

46、其中max()为求取最大值操作，min()为求取最小值操作，(x1,y1)为所述外接矩形轮廓在原待识别图像上的左上角坐标，w1和h1为所述外接矩形轮廓在原待识别图像上的宽和高。

47、进一步的，所述待识别图像为在街道上采集获取的图像，所述目标物为车辆。

48、本发明第二方面提供一种结合区域划分的图像识别装置，用于实现上述的结合区域划分的图像识别方法，所述装置包括：

49、模型构建模块，用于构建图像识别模型并修正；

50、初步识别模块，用于基于修正后的图像识别模型，对待识别图像进行初步识别；

51、预处理模块，用于对于未识别到目标物的待识别图像按照所述图像识别模型输入图像大小进行划分；

52、二次识别模块，用于将划分后的待识别图像输入修正后的所述图像识别模型，基于识别结果构建置信度图；

53、三次识别模块，用于基于所述置信度图识别目标物。

54、与现有图像识别方法相比，本发明提出的结合区域划分的图像识别方法在现有图像识别方法的基础进行了进一步的图像识别；当现有图像识别方法无法正确识别图像中的目标时，通过对图像进行隐式划分的方式，将图像隐式地划分为了多个区域，并使用修改后的图像识别模型对划分后的区域进行识别，使得能够对图像中较小的目标、图像中偏离中心的目标进行识别，并可给出目标所处的范围。经本发明方法进行图像识别，具有更高的识别率与更好的泛化性。

技术特征：

1.一种结合区域划分的图像识别方法，其特征在于，包括：

2.根据权利要求1所述的一种结合区域划分的图像识别方法，其特征在于，所述构建图像识别模型并修正，包括：

3.根据权利要求2所述的一种结合区域划分的图像识别方法，其特征在于，所述基于修正后的图像识别模型，对待识别图像进行初步识别，包括：

4.根据权利要求3所述的一种结合区域划分的图像识别方法，其特征在于，所述对于未识别到目标物的待识别图像按照所述图像识别模型输入图像大小进行划分，包括：

5.根据权利要求4所述的一种结合区域划分的图像识别方法，其特征在于，所述对筛选出的待识别图像进行自适应缩放处理，包括：

6.根据权利要求5所述的一种结合区域划分的图像识别方法，其特征在于，进行裁剪或填充处理包括：

7.根据权利要求6所述的一种结合区域划分的图像识别方法，其特征在于，所述将划分后的待识别图像输入修正后的所述图像识别模型，基于识别结果构建置信度图，包括：

8.根据权利要求7所述的一种结合区域划分的图像识别方法，其特征在于，基于所述置信度图识别目标物，包括：

9.根据权利要求1至8任意一项所述的结合区域划分的图像识别方法，其特征在于，所述待识别图像为在街道上采集获取的图像，所述目标物为车辆。

10.一种结合区域划分的图像识别装置，其特征在于，用于实现权利要求1至8任意一项所述的结合区域划分的图像识别方法，其特征在于，所述装置包括：

技术总结
本发明公开了一种结合区域划分的图像识别方法及装置，该方法对训练好的图像识别模型进行修正，使之接收的输入图像可为任意大小的图像；然后，对待识别图像进行缩放至原图像识别模型所需大小，并进行图像识别；当识别结果为图像中不存在目标时，对待识别图像首先进行自适应缩放、边界填充或裁剪处理，隐式地将图像划分为多个区域，再将处理后的图像输入至修正后的图像识别模型进行二次识别，得到多个区域的识别置信度；对多个区域的识别置信度进行双线性插值、二值化处理，获取识别结果与目标所在区域信息，进而获得最终的图像识别结果。本发明能够对图像中较小的目标、图像中偏离中心的目标进行识别，并可给出目标所处的范围，提高了图像识别率。

技术研发人员：王路远,李原超,尚德龙,周玉梅
受保护的技术使用者：中科南京智能技术研究院
技术研发日：
技术公布日：2024/3/11