一种图像识别方法、电子设备以及计算机可读存储介质与流程

本发明实施例涉及通信技术领域，特别涉及一种图像识别方法、电子设备以及计算机可读存储介质。

背景技术：

随着公共安全要求的日益提高，智能视频监控技术在安全防范预警中发挥的作用及优势愈发明显。作为智能视频监控技术中的一个重要组成部分，对公共场所中物体的检测与识别，有助于及时发现视频监控场景中的不明物品所带来的安全隐患。物体检测与识别的主要任务是要对视频监控场景进行智能分析，从视频监控场景中分割出不明物体对象，并及时发出告警信号。

在现有的物体检测与识别方法中，一类是基于双背景模型差分的方法提取静态前景。一类是基于混合高斯背景建模方法，使用三高斯混合模型将前景分类为移动前景对象、所要检测与识别的物体对象以及移除物体对象。还有基于对二值前景图像进行累积的方法来定位所要检测与识别的物对象候选区域。

发明人发现现有技术中至少存在如下问题：基于双背景模型差分的识别方法往往因为背景差分时的“鬼影”而具有较高的误报率；基于混合高斯背景建模的识别方法运算量较大，很难满足实时性要求；基于对二值前景图像进行累积的识别方法在复杂场景下应用时，其效果往往不理想。

技术实现要素：

本发明实施方式的目的在于提供一种图像识别方法、电子设备以及计算机可读存储介质，使得可以通过简单的运算更加精准地识别图像，且增加识别图像的成功率。

为解决上述技术问题，本发明的实施方式提供了一种图像识别方法，包括：

获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度；

若候选物体集合中存在与待测图像块的相似度大于第一预设阈值的候选图像块，将相似度大于第一预设阈值的候选图像块作为目标候选图像块；

若在与视频帧连续的第一预设帧数中，始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块，并且第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，则将待测图像块判定为真实图像块。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的图像识别方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的图像识别方法。

本发明实施方式相对于现有技术而言，通过获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度，若候选物体集合中存在与待测图像块的相似度大于第一预设阈值的候选图像块，将相似度大于第一预设阈值的候选图像块作为目标候选图像块，选出与视频帧中待测图像块相似的候选集合中的图像块。若在与视频帧连续的第一预设帧数中，始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块，并且第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，则将待测图像块判定为真实图像块。即通过判断与目标候选图像块相似的待测图像块在视频帧后的连续第一预设帧数中的是否皆存在且位置变化较小，如果是，则认为待测图像块并不是错误识别的图像块，而是准确识别出的与候选物体集合中的图像块相似的图像块。

另外，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度之前，还包括：检测视频帧中与参考帧存在差异的图像块；将检测到的存在差异的图像块，作为待测图像块。通过将参考帧与视频帧作对比，获取视频帧中相似度较低的图像块，即待测图像块所代表的图像相较于参考帧所代表的图像是发生了变化的，待测图像块相比于参考帧的图像块有差异，说明待测图像块并不是图像中的背景，因此把它设为识别的目标，将增加了识别的成功率。

另外，将相似度大于第一预设阈值的候选图像块作为目标候选图像块后，还包括：若视频帧中的待测图像块的位置信息，与目标候选图像块的位置信息之间的距离大于预设门限，则将候选物体集合中的目标候选图像块更新为待测图像块。即如果待测图像块相比与目标候选图像块位置较远，为了避免视频帧后面的帧数进行识别时，目标候选图像块由于与待测图像块的位置相距较远，而无法正确检测出目标候选图像块是否与待测图像块相匹配，因此将视频帧的待测图像块替换目标候选图像块，以达到对视频帧后面的帧数也能准确进行识别的目的。

另外，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度，具体为：逐一获取视频帧中的各个待测图像块与候选物体集合中的各候选图像块的相似度，得到每一个待测图像块与候选物体集合中的各候选图像块的相似度；获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度后，还包括：若候选物体集合中存在与视频帧中所有的待测图像块的相似度均小于第一预设阈值的候选图像块，将均小于第一预设阈值的候选图像块作为待删除图像块；若在与视频帧连续的第三预设帧数中，始终不存在与待删除图像块的相似度大于第一预设阈值的待测图像块，则将待删除图像块从候选物体集合中删除。通过判断是否在候选物体集合中存在与所有待测图像块都不相似的图像块，如果存在则判断是否在与视频帧连续的第三预设帧数中都不存在待测图像块与其相似，如果判断结果也为是，则说明此候选物体集合中的图像块已经没有与之相匹配的待检测图像块，将此图像块从候选物体集合中删除，使得判断待测图像块与此图像块是否相似而增加的运算负担得以解决。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式的一种图像识别方法的流程图；

图2是根据本发明第二实施方式的一种图像识别方法的流程图；

图3是根据本发明第三实施方式的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种图像识别方法。本实施方式的核心在于获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度；若候选物体集合中存在与待测图像块的相似度大于第一预设阈值的候选图像块，将相似度大于第一预设阈值的候选图像块作为目标候选图像块；若在与视频帧连续的第一预设帧数中，始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块，并且第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，则将待测图像块判定为真实图像块。使得通过简单的运算更加精准地识别图像，且增加识别图像的成功率。下面对本实施方式的图像识别方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施方式中的图像识别方法的流程图如图1所示，具体包括：

步骤s101，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度。

具体的说，首先获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度，从视频帧中筛选出待测图像块，而候选物体集合可以开始为空集合，然后将初始帧的后一帧与初始帧进行比较，将变化较大的图像块筛选出来，加入到候选物体集合中，作为候选图像块，此时候选物体集合中的图像块代表的是运动物体的图像块。候选物体集合也可以为用户想要识别的物体的图像集合，此时在候选物体集合中的图像块即为用户想要识别的物体的图像块，是作为识别的参照对象而存在的。

将视频帧中的待测图像块与候选物体集合中的各候选图像块进行比较，获取它们的相似度，具体方法可以为获取待测图像块的二维坐标位置同时获取各候选图像块的二维坐标位置,将待测图像块以及从候选图像块选出的作为匹配对象的图像块映射到同一坐标系，然后计算两个团块的交叠区域面积，并计算交叠区域面积分别占两个团块面积的比例，取两个比例值的较大者作为相互覆盖比例。当两个团块的相互覆盖比例很高时，即认为两个团块是相互匹配的。否则，认为两个团块相互匹配失败。即将相互覆盖比例作为待测图像块与候选物体集合中的各候选图像块的相似度。然后从候选图像块选出另外的匹配对象与待测图像块进行匹配，直至候选图像块全部与待测图像块都进行了匹配并获取了相应的相似度。

优选的，当有多个待测图像块时，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度的具体步骤为逐一获取视频帧中的各个待测图像块与候选物体集合中的各候选图像块的相似度，得到每一个待测图像块与候选物体集合中的各候选图像块的相似度。且获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度后，还包括：若候选物体集合中存在与视频帧中所有的待测图像块的相似度均小于第一预设阈值的候选图像块，将均小于第一预设阈值的候选图像块作为待删除图像块；若在与视频帧连续的第三预设帧数中，始终不存在与待删除图像块的相似度大于第一预设阈值的待测图像块，则将所述待删除图像块从所述候选物体集合中删除。当候选物体集合中存在一个候选图像块与视频帧中所有的待测图像块皆不匹配，说明有两种可能：第一种可能为匹配结果出现了错误，其实是存在待测图像块与待删除图像块匹配的，还有一种可能是待删除图像块代表的物体已经离开了此拍摄机拍摄的范围，此拍摄机拍摄的图像中再也不会出现待删除图像块代表的物体了，因此为了确认待删除图像块是哪种可能，在于与视频帧连续的第三预设帧数中观察是否依然没有待测图像块与带删除图像块匹配，如果依然没有，说明并不是匹配结果出现了错误，而是待删除图像块代表的物体已经离开了此拍摄机拍摄的范围，因此为了使得减轻识别图像的运算负担，将待删除图像从候选物体集合中删除。

优选的，当有多个待测图像块时，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度后，还包括：若视频帧中存在与所述候选物体集合中的各候选图像块的相似度均小于第一预设阈值的待测图像块，将与候选物体集合中的各候选图像块的相似度均小于第一预设阈值的待测图像块作为待加入图像块；若在与视频帧连续的第三预设帧数中，始终存在待加入图像块，且候选物体集合中始终不存在与待加入图像块的相似度大于第一预设阈值的候选图像块，则将待加入图像块加入候选物体集合中。

当需要识别视频帧中运动的物体时，候选物体集合中的候选物体图像为视频帧所有能动的物体时，视频帧中如果存在待测图像块与候选物体集合中的各候选图像块皆不匹配，则有两种可能。一种可能是待测图像块为因为检测错误而得到的图像块，另一种可能是视频帧刚好相对于上一帧加入了新的物体，因此候选物体集合中没有能与之相匹配的图像块，这时需要更新候选物体集合。为了检测与候选物体集合中的各候选图像块皆不匹配的待测图像块究竟属于哪种可能，首先将此待测图像块先作为待加入图像块，通过检测与视频帧连续的第三预设帧数中，是否始终存在待加入图像块，如果是，则说明待加入图像块确实是存在的而不是为因为检测错误而得到的图像块。而且如果在与视频帧连续的第三预设帧数中，始终不存在与待加入图像块的相似度大于第一预设阈值的候选图像块，说明候选物体集合中确实不存在候选图像块能与待加入图像块匹配。即待加入图像块代表的是视频帧刚好相对于上一帧加入了新的物体，为了在视频帧之后的帧数中能准确地识别出待加入图像块，将待加入图像块加入候选物体集合中。

步骤s102，判断是否存在目标候选图像块，如果判断结果为是，则进入步骤s102，如果判断结果为否，则结束流程。

具体的说，若所述候选物体集合中存在与所述待测图像块的相似度大于第一预设阈值的候选图像块，将所述相似度大于第一预设阈值的候选图像块作为目标候选图像块，如果存在目标候选图像块，则说明待测图像块可能正是识别图像。如果不是，则说明待测图像块并不是识别图像。这是因为候选图像块皆为识别图像的图像块，如果待测图像块与目标候选图像块的相似度较高，则可以认为待测图像块可能为识别图像。

优选的是，如果判定存在目标候选图像块，可以检测视频帧中的待测图像块的位置信息与目标候选图像块的位置信息之间的距离，若视频帧中的待测图像块的位置信息，与所述目标候选图像块的位置信息之间的距离大于所述预设门限，则将候选物体集合中的目标候选图像块更新为待测图像块。即如果待测图像块相比与目标候选图像块位置较远，为了避免视频帧后面的帧数进行识别时，目标候选图像块由于与待测图像块的位置相距较远，而无法正确检测出目标候选图像块是否与待测图像块相匹配，因此将视频帧的待测图像块替换目标候选图像块，以达到对视频帧后面的帧数也能准确进行识别的目的。

步骤s103，判断与视频帧连续的第一预设帧数中是否始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块。如果是，则进入步骤s104，如果否，则结束流程。

具体的说，如果判定了待测图像块可能为需要识别的图像，为了减少误判的可能性，需要判断与视频帧连续的第一预设帧数中是否始终存在与目标候选图像块较为相似的待测图像块。如果是，则说明视频帧中的与目标候选图像块相似的待测图像块并不是误判，而是真实存在的。这是因为证明存在最好的方法便是验证与视频帧连续的其他帧是否也有与目标候选图像相似的待测图像，如果有可以说明视频帧中对待测图像块进行匹配时获取的匹配结果并不是偶然误判获得的。

步骤s104，若在第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，则将待测图像块判定为真实图像块。

具体的说，若候选物体集合中存在与待测图像块的相似度大于第一预设阈值的候选图像块，将相似度大于第一预设阈值的候选图像块作为目标候选图像块；若在与视频帧连续的第一预设帧数中，始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块，并且第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，则将待测图像块判定为真实图像块。

也就是说，若与目标候选图像块匹配的待测图像块在与视频帧连续的第一预设帧数中皆存在，且在与视频帧连续的第一预设帧数中的待测图像块的位置与在视频帧中的待测图像块的位置相近，可以因为在视频帧中以及与视频帧连续的第一预设帧数中待测图像块的位置并没有发生突变，所以更加确定待测图像块代表的是同一个物体，而这个物体就是需要在图像上识别的物体，利用这个方法可以在视频帧中准确识别出想要的图像。

顺便一提，本实施例以一个待测图像块作为举例，在实际应用中，视频帧中可存在多个待测图像块，每一个待测图像块重复步骤s101到步骤s104的流程，以准确地确定待测图像块是否为识别对象的图像块。

与现有技术相比，本实施方式通过判断候选物体集合中是否存在与视频帧中待测图像块的相似度大于第一预设阈值的候选图像块，将相似度大于第一预设阈值的候选图像块作为目标候选图像块，判断与视频帧连续的第一预设帧数中是否始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块，如果是，则若在第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，将待测图像块判定为真实图像块。将与候选图像块匹配的能连续多帧检测出来且在检测出来的帧数中位置变化不大的图像块作为识别对象，能准确的识别出图像中的对象，减少误判的情况发生。

本发明的第二实施方式涉及一种图像识别方法。本实施方式是在第一实施方式的基础上做了进一步改进，具体改进之处在于：本实施方式中，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度之前，还包括：检测视频帧中与参考帧存在差异的图像块，将检测到的存在差异的图像块，作为待测图像块。获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度后，还包括：若候选物体集合中不存在与待测图像块的相似度大于第一预设阈值的候选图像块，且在与视频帧连续的第二预设帧数中，始终不存在与候选物体集合中的图像块的相似度大于第一预设阈值的待测图像块，则将参考帧更新为视频帧。其流程图如图2所示，包括：

步骤s201，检测视频帧中与参考帧存在差异的图像块，将检测到的存在差异的图像块，作为待测图像块。

具体的说，获取视频帧以及参考模型的方向梯度直方图(histogramoforientedgradient，简称“hog”)特征向量，获取视频帧的方向梯度直方图特征向量以及参考模型的方向梯度直方图特征向量的归一化相关系数，将归一化相关系数的大小作为相似度的大小。

参考帧可以为起始帧，可以将参考帧制作为参考模型，实现参考帧以及视频帧的对比，参考模型可以为起始帧的hog特征向量组，即首先存储起始帧的hog特征向量组，并将其作为物体检测与识别过程中的参考模型。比较时，可以对视频图像进行均匀网格划分,将视频图像切分为若干同样大小的图像子块。在提取视频帧的特征时，优选地将视频图像转换为灰度图像，并使用hog作为特征表示方法，然后提取每个图像子块的hog特征向量并按照图像子块的二维坐标位置以二维阵列方式记录下hog特征向量组。利用在当前帧视频图像中提取到的hog特征向量组与参考模型中存储的hog特征向量组进行有序的特征向量匹配。在特征向量匹配时，利用两个向量的归一化相关系数作为特征向量的相似性度量指标。即视频帧与参考模型的相似度的大小可以用两个向量的归一化相关系数表示。

当两个向量的归一化相关系数低于一定程度时,即认为该特征向量对应的图像子块发生了变化。说明这个图像块并不是背景的图像块而是能运动的物体的图像块，因此把它们设为待测图像块，将增加了识别的成功率，免去了背景的图像块的识别，减少了识别图像的运算压力。为记录变化检测结果以便观察以及识别，可以依据hog特征向量组二维阵列的尺寸产生一张像素值全零的图像，当两个向量的归一化相关系数低于一定程度时，即认为该特征向量对应的图像子块发生了变化。此时,依据hog特征向量在二维阵列中的存储坐标，将变化检测结果上的对应像素点置为255。在完成特征向量组中所有的特征向量匹配以后，便可以得到一张变化检测结果的二值图像，同时采用中值滤波方式进行平滑处理以消除二值图像上的孤立点。这样识别图像将变得更简单快捷。

步骤s202，获取视频帧中的待测图像块与候选物体集合中的各候选图像块的相似度。由于本实施方式中步骤s203与第一实施方式中步骤s101大致相同，此处不再赘述。

步骤s203，判断是否存在目标候选图像块，如果判断结果为是，则进入步骤s204，如果判断结果为否，则进入步骤s206。

由于本实施方式中步骤s203与第一实施方式中步骤s102致相同，此处不再赘述。

步骤s204，判断与视频帧连续的第一预设帧数中是否始终存在与目标候选图像块的相似度大于第一预设阈值的待测图像块。如果是，则进入步骤s205，如果否，则结束。

由于本实施方式中步骤s204与第一实施方式中步骤s103大致相同，此处不再赘述。

步骤s205，若在第一预设帧数中的任意一帧内的待测图像块的位置信息，与视频帧中的待测图像块的位置信息之间的距离均小于预设门限，则将待测图像块判定为真实图像块。

由于本实施方式中步骤s205与第一实施方式中步骤s104大致相同，此处不再赘述。

步骤s206，判断在与视频帧连续的第二预设帧数中，是否始终不存在与候选物体集合中的图像块的相似度大于第一预设阈值的待测图像块。如果是，则进入步骤s208，如果否，则结束流程。

具体的说，若候选物体集合中不存在与待测图像块的相似度大于第一预设阈值的候选图像块，说明在视频帧中没有待测图像块与候选物体集合中的图像块有所匹配，即可认为视频帧中没有识别物体的图像块，但是为了避免误判的情况发生，需要同时判断在与视频帧连续的第二预设帧数中，是否始终不存在与候选物体集合中的图像块的相似度大于第一预设阈值的待测图像块。如果是，则说明与视频帧连续的第二预设帧数中依旧没有识别物体的图像块，说明并不是对视频帧中没有识别物体的图像块的判断并不是误判。

步骤s207，将参考帧更新为视频帧。

具体地说，若候选物体集合中不存在与待测图像块的相似度大于第一预设阈值的候选图像块，且在与视频帧连续的第二预设帧数中，始终不存在与候选物体集合中的图像块的相似度大于第一预设阈值的待测图像块，则将视频帧制作为参考模型。由于参考模型是作为筛选出待测图像块的参考对象，因此制作为参考模型的参考帧不应该包含识别物体的图像块，即不包含候选物体集合中的图像块，不然在将视频帧与参考帧作对比时，容易因为识别对象的动作幅度较小而将识别对象识别为背景图像块，排除出待测图像块中，从而不能在视频帧的待测图像块中识别出识别对象。因此除初始帧外的参考帧中没有识别对象的图像，才能保证参考帧制作的参考模型能正确发挥出筛选出待测图像块的作用，而且随着新的缺少识别对象图像块的帧数的出现，参考模型也将不断更新，以防止因为背景图像块有所变化而引起的待测图像块筛选错误。

与现有技术相比，本实施方式通过获取视频帧与参考帧的相似度，若视频帧中存在与参考帧有差异的图像块，将这种图像块作为待测图像块，若候选物体集合中不存在与待测图像块的相似度大于第一预设阈值的候选图像块，且在与视频帧连续的第二预设帧数中，始终不存在与候选物体集合中的图像块的相似度大于第一预设阈值的待测图像块，则将视频帧制作为参考模型，使得免去了对背景图像块的识别，减少了识别图像的运算压力，也保证参考帧能正确发挥出筛选出待测图像块的作用，也防止了防止因为背景图像块有所变化而引起的待测图像块筛选错误，保证了能准确识别图像。

本发明第三实施方式涉及一种电子设备，如图3所示，包括至少一个处理器31；以及，与至少一个处理器通信连接的存储器32；其中，存储器32存储有可被至少一个处理器31执行的指令，指令被至少一个处理器31执行，以使至少一个处理器31能够执行上述方法实施例所述的图像识别方法。

其中，存储器32和处理器31采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器31和存储器32的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器31处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器31。

处理器31负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器32可以被用于存储处理器31在执行操作时所使用的数据。

本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。