一种复杂场景下的特定物体识别方法与流程

本发明涉及数字图像处理领域，具体是一种复杂场景下的特定物体识别方法。

背景技术：

在复杂场景中识别特定物体是机器视觉和数字图像处理领域的重要内容，该方法广泛应用于工业自动化，智能机器人领域。特定物体识别是指在场景图像中识别出特定的物体(例如：我的杯子)，相对应的通用物体识别是指在场景图像中识别出一类物体(例如：杯子)。目前，在数字图像处理领域，一般采用局部不变特征的方法识别复杂场景中的特定物体，采用深度学习的方法来识别复杂场景中的通用物体。

局部不变特征的设计思想认为图像是由不同类型的目标区域构成，它们的颜色、亮度、分布形式等参数各不相同，而且每个目标区域都有其特定的控制范围，即每个目标区域只影响图像的局部。由于包含有丰富的图像信息，这些局部结构具有较强的代表性。一方面不容易受到外界环境平移、旋转、缩放、尺度、视角、光照、模糊以及压缩等变化因素的影响；另一方面可以较大程度地避免传统的全局特征容易受到复杂背景或者噪声攻击等影响的缺陷。此外，相比于传统全局特征的盲目性，局部化的特征处理方法更加符合图像数据与人类视觉的实际情况，从局部入手更加有针对性地寻找有用的信息。因此，局部不变特征在稳定性、可重复性和区分性方面具有较大的优势。

局部不变特征分为特征角点和特征斑点，在复杂场景中识别特定物体，采用特征斑点的识别方法鲁棒性好，但是复杂度较高，不能满足工业自动化，智能机器人等领域的实时性要求，采用特征角点的识别方法虽然计算效率较高，但是鲁棒性低，正确匹配的特征点对的数量很少，定位不准确。

造成定位不准确的第一个原因是尺度空间的问题：在采用特征角点识别的方法中，一般通过建立图像金字塔来模拟图像匹配间的尺度变化，所以在跨尺度匹配时会存在很多的错误匹配；第二个原因是图像分辨率的问题：图像金字塔的分辨率是逐层递减的，所以会对检测出的关键点的数量造成很大的影响，尤其是采用角点识别的方法中采用的基于邻域检测的角点检测子；第三个原因是由特定物体识别方法的本身特性决定的，不同于图像特征匹配应用(例如：宽基线匹配)，特定物体的参考图像是场景图像的一部分，因此场景图像中其他物体的特征点会对匹配结果产生干扰。

技术实现要素：

本发明的目的在于提供一种复杂场景下的具有高鲁棒性，并且计算效率较高的特定物体识别的方法，以解决上述背景技术中存在的问题。

为实现上述目的，本发明提供如下技术方案：

一种复杂场景下的特定物体识别方法，具体步骤如下：

(1)输入采集的特定物体的参考图像和包含该物体的场景图像；

(2)建立参考图像ir(x，y)的图像金字塔pr(x，y，n)：

pr(x，y，n)＝fs(n)[ir(x，y)]，n＝0，1，2…n(公式1)

其中fs(n)是以s(n)为尺度因子的双线性插值，n是图像金字塔的总层数；

(3)提取图像金字塔pr(x，y，n)中每一层的局部不变特征角点cr(nr，n)并生成相应的特征描述符dr(nr，n)：

其中cr(nr，n)表示第n层参考图像金字塔的特征角点，dr(nr，n)表示第n层参考图像金字塔的特征描述符，nr，n为第n层参考图像金字塔特征数量；

(4)根据nr，n计算出将与参考图像金字塔进行特征匹配的场景图像的特征数量，公式如下：

其中nos，n为与第n层参考图像金字塔进行特征匹配的场景图像的特征数量，rr，n为第n层参考图像金字塔的图像分辨率，rs为场景图像的分辨率；

(5)使用高斯滤波器g(x，y，σ)对于场景图像is(x，y)进行滤波，然后提取滤波后的场景图像的局部不变特征角点cs(ns)并生成相应的特征描述符ds(ns)：

其中σ为滤波核参数，ns为滤波后场景图像的特征数量；

(6)依据步骤(4)中得到的nos，n对场景图像特征描述符ds(ns)的数量进行限制，得到ds(nos，n)，然后与参考图像金字塔的对应层上的特征描述符进行特征匹配，得到尺度空间每一层匹配的特征点对k(n)：

(7)基于参考图像金字塔的初始尺度因子sinit对k(n)分配不同的权重，其中的最大值即为对应匹配层数c：

(8)通过对应匹配层数c计算出双边插值的尺度因子然后使用该尺度因子对场景图像进行扩展插值，得到扩展后的场景图像es(x，y)：

(9)提取es(x，y)的局部不变特征角点c′s(n′s)并生成相应特征描述符d′s(n′s)：

其中n′s为扩展后的场景图像的特征数量；

(10)对参考图像ir(x，y)使用高斯滤波器滤波，然后提取滤波后的参考图像的局部不变特征角点c′r(n′r)并生成相应的特征描述符d′r(n′r)：

其中n′r为滤波后的参考图像的特征数量；

(11)根据n′r计算出将与滤波后的参考图像进行特征匹配的场景图像特征数量，公式如下：

其中n′os为与滤波后的参考图像进行特征匹配的场景图像的特征数量，α为系数因子，βr和βs分别为参考图像与场景图像的熵值；

(12)依据步骤(11)中得到的n′os对特征描述符d′s(n′s)的数量进行限制，得到d′s(n′os)，然后与滤波后的参考图像特征描述符d′r(n′r)进行特征匹配，得到匹配的特征点对k′：

(13)根据匹配特征点对k′计算出参考目标在场景图像中的几何变换，从而得到该目标在场景中的位置信息，即完成识别。

作为本发明进一步的方案：所述(公式1)中尺度因子s(n)的计算方法如下：

其中sinit为尺度因子的初始化常数。

作为本发明进一步的方案：所述(公式2)中初始化常数sinit的值为1.2。

作为本发明进一步的方案：所述(公式1)中n的值为7。

作为本发明进一步的方案：所述(公式5)中滤波核参数σ的值为0.3。

作为本发明进一步的方案：所述(公式11)中系数因子α的值为2。

与现有技术相比，本发明的有益效果是：

本发明的特定物体识别方法不仅计算效率高，而且在自然复杂的场景下具有很高的鲁棒性，可以正确快速的识别出特定物体。

附图说明

图1为本发明具体实施方式中的待识别特定物体的参考图像。

图2为本发明具体实施方式中的包含待识别物体的场景图像。

图3为本发明具体实施方式中采用本发明方法进行物体识别后标记出匹配的特征点对的效果图。

图4为本发明具体实施方式中采用本发明方法进行物体识别后标记出物体位置的效果图。

图5为本发明具体实施方式中采用本发明方法进行物体识别的流程图。

具体实施方式

下面结合附图和具体实施方式对本专利的技术方案作进一步详细地说明。

一种复杂场景下的特定物体识别方法，具体步骤如下：

(1)输入采集的特定物体的参考图像和包含该物体的场景图像；

(2)建立参考图像ir(x，y)的图像金字塔pr(x，y，n)：

pr(x，y，n)＝fs(n)[ir(x，y)]，n＝0，1，2…n(公式1)

其中fs(n)是以s(n)为尺度因子的双线性插值，sinit＝1.2为尺度因子的初始化常数，n＝7是图像金字塔的总层数；

(3)提取图像金字塔pr(x，y，n)中每一层的局部不变特征角点cr(nr，n)并生成相应的特征描述符dr(nr，n)：

其中cr(nr，n)表示第n层参考图像金字塔的特征角点，dr(nr，n)表示第n层参考图像金字塔的特征描述符，nr，n为第n层参考图像金字塔特征数量；

(4)根据nr，n计算出将与参考图像金字塔进行特征匹配的场景图像的特征数量，公式如下：

其中nos，n为与第n层参考图像金字塔进行特征匹配的场景图像的特征数量，rr，n为第n层参考图像金字塔的图像分辨率，rs为场景图像的分辨率；

(5)使用滤波核参数σ＝0.3的高斯滤波器g(x，y，σ)对于场景图像is(x，y)进行滤波，然后提取滤波后的场景图像的局部不变特征角点cs(ns)并生成相应的特征描述符ds(ns)：

其中ns为滤波后场景图像的特征数量；

(6)依据步骤(4)中得到的nos，n对场景图像特征描述符ds(ns)的数量进行限制，得到ds(nos，n)，然后与参考图像金字塔的对应层上的特征描述符进行特征匹配，得到尺度空间每一层匹配的特征点对k(n)：

(7)基于参考图像金字塔的初始尺度因子sinit对k(n)分配不同的权重，其中的最大值即为对应匹配层数c：

(8)通过对应匹配层数c计算出双边插值的尺度因子然后使用该尺度因子对场景图像进行扩展插值，得到扩展后的场景图像es(x，y)：

(9)提取es(x，y)的局部不变特征角点c′s(n′s)并生成相应特征描述符d′s(n′s)：

其中n′s为扩展后的场景图像的特征数量；

(10)对参考图像ir(x，y)使用滤波核参数σ＝0.3的高斯滤波器滤波，然后提取滤波后的参考图像的局部不变特征角点c′r(n′r)并生成相应的特征描述符d′r(n′r)：

其中n′r为滤波后的参考图像的特征数量；

(11)根据n′r计算出将与滤波后的参考图像进行特征匹配的场景图像特征数量，公式如下：

其中n′os为与滤波后的参考图像进行特征匹配的场景图像的特征数量，α＝2为系数因子，βr和βs分别为参考图像与场景图像的熵值；

(12)依据步骤(11)中得到的n′os对特征描述符d′s(n′s)的数量进行限制，得到d′s(n′os)，然后与滤波后的参考图像特征描述符d′r(n′r)进行特征匹配，得到匹配的特征点对k′：

(13)根据匹配特征点对k′计算出参考目标在场景图像中的几何变换，从而得到该目标在场景中的位置信息，即完成识别。

在实施例中，采用本发明方法在如图2所示的场景图像中识别如图1所示的特定物体，其过程如下：

(1)输入采集的特定物体的参考图像(如图1所示)和包含该物体的场景图像(如图2所示)。

(2)建立参考图像ir(x，y)的图像金字塔pr(x，y，n)：

pr(x，y，n)＝fs(n)[ir(x，y)]，n＝0，1，2…n(公式1)

其中fs(n)是以s(n)为尺度因子的双线性插值，sinit＝1.2为尺度因子的初始化常数，n＝7是图像金字塔的总层数。

(3)提取图像金字塔pr(x，y，n)中每一层的orb特征角点cr(nr，n)并生成相应的orb二进制特征描述符dr(nr，n)：

其中cr(nr，n)表示第n层参考图像金字塔的特征角点，dr(nr，n)表示第n层参考图像金字塔的特征描述符，nr，n为第n层参考图像金字塔特征数量。

(4)因为场景图像包含的物体要多于参考图像，所以场景图像的特征点数量远远多于场景图像的特征点数量，因此需要对将与参考图像金字塔进行特征匹配的场景图像的特征数量进行限制，根据nr，n计算出将与参考图像金字塔进行特征匹配的场景图像特征数量，公式如下：

其中nos，n为与第n层参考图像金字塔进行特征匹配的场景图像的特征数量，rr，n为第n层参考图像金字塔的图像分辨率，rs为场景图像的分辨率。

(5)使用滤波核参数σ＝0.3的高斯滤波器g(x，y，σ)对于场景图像is(x，y)进行滤波，减少场景图像中其他部分对匹配结果的干扰，然后提取滤波后的场景图像的orb特征角点cs(ns)并生成相应的orb二进制特征描述符ds(ns)：

其中ns为滤波后的场景图像的特征数量。

(6)依据步骤(4)中得到的nos，n对场景图像特征描述符ds(ns)的数量进行限制，得到ds(nos，n)，然后计算与参考图像金字塔的对应层上的特征描述符之间的汉明距离进行特征匹配，得到尺度空间每一层匹配的特征点对k(n)：

(7)基于参考图像金字塔的初始尺度因子sinit对k(n)分配不同的权重，其中的最大值即为对应匹配层数c：

(8)通过对应匹配层数c计算出双边插值的尺度因子然后使用该尺度因子对场景图像进行扩展插值，得到扩展后的场景图像es(x，y)：

(9)提取es(x，y)的orb特征角点c′s(n′s)并生成相应的orb二进制特征描述符d′s(n′s)：

其中n′s为扩展后的场景图像的特征数量。

(10)由于步骤(8)中对场景图像扩展插值会造成图像细节信息的损失，因此对参考图像ir(x，y)使用滤波核参数σ＝0.3的高斯滤波器滤波来模拟这部分的损失，然后提取滤波后的参考图像的orb特征角点c′r(n′r)并生成相应的orb二进制特征描述符d′r(n′r)：

其中n′r为滤波后的参考图像的特征数量。

(11)限制场景图像特征点的数量不仅与图像的分辨率相关，而且与图像中待识别物体的纹理信息相关，如果待识别物体的纹理信息较少，那么其就很容易受到场景图像中其他物体的干扰，所以为了提高正确匹配的特征点对的数量，在根据n′r计算将与滤波后的参考图像进行特征匹配的场景图像特征数量的时候将图像的信息熵值考虑在内，公式如下：

其中n′os为与滤波后的参考图像进行特征匹配的场景图像的特征数量，α＝2为系数因子，βr和βs分别为参考图像与场景图像的熵值。

(12)依据步骤(11)中得到的n′os对特征描述符d′s(n′s)的数量进行限制，得到d′s(n′os)，然后计算与滤波后的参考图像特征描述符d′r(n′r)之间的汉明距离进行特征匹配，得到匹配的特征点对k′：

如图3所示，在参考图像和场景图像中分别标记了匹配的特征点，并且用直线标记了匹配的特征点对。

(13)根据匹配特征点对k′计算出参考目标在场景图像中的几何变换，从而得到该目标在场景中的位置信息，即完成识别，如图4所示。

在实际应用中，预先保存待识别物体的参考图像，预先建立参考图像的图像金字塔并提取特征，然后将特征保存待用，因此本发明方法中的步骤(2)，步骤(3)和步骤(4)不产生计算资源消耗。在实际操作中，虽然本发明方法比传统的局部不变角点特征方法多了寻找对应匹配层数这一步骤，但是在计算效率上仍然有优势，原因在于：传统的特征提取方法对参考图像和场景图像的图像金字塔的每一层都需要进行特征点的提取和匹配(比如：参考图像有7层图像金字塔，场景图像有7层图像金字塔，则需要匹配49次)。而本发明提出的方法根据对应匹配层数，一次匹配即可得出结果，更重要的是此举可以减少跨层匹配时产生的错误匹配点，在精度上可以显著的提高正确匹配的特征点对的数量。

本发明提出的特定物体识别方法不仅计算效率高，而且在自然复杂的场景下具有很高的鲁棒性，可以正确快速的识别出特定物体。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。