一种基于RGB‑D图像的三维场景特征表达与高精度匹配方法与流程

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于rgb-d图像的三维场景特征表达与高精度匹配方法。

背景技术：

局部特征因对图像尺度、旋转、光照和视角等变换具有不变性，并在噪声、遮挡等因素的影响下具有很好的匹配性能，广泛应用于图像匹配、物体识别与分类、图像检索等领域。局部特征的提取主要包括特征点检测和特征描述生成两个步骤。相对于特征点检测步骤选择的检测算法，特征描述生成步骤使用的特征描述算法对提取出的局部特征性能具有更显著的影响。因此，如何构建具有鲁棒性和独特性的特征描述子是研究的重点。

构建特征描述子是对特征点邻域信息的描述，并在此描述的基础上构建特征描述向量。lowe提出的sift特征描述子是最为经典的特征描述子，sift特征描述子是根据特征点邻域梯度信息生成128维特征向量。但sift特征描述子需要为特征点分配一个主方向，以确保描述子具有旋转不变性。分配主方向需要计算每个特征点邻域内的梯度信息，且sift特征向量维数较高，计算量大、耗时长，影响算法的实时性。

因此，希望有一种技术方案来克服或至少减轻现有技术的上述缺陷中的至少一个。

技术实现要素：

本发明的目的在于提供一种基于rgb-d图像的三维场景特征表达与高精度匹配方法来克服或至少减轻现有技术的上述缺陷中的至少一个。

为实现上述目的，本发明提供一种基于rgb-d的场景三维特征表达与高精度匹配方法，其中，包括：

步骤101，利用透视投影模型和尺度空间理论，检测并提取rgb-d图像的三维特征点；

步骤102，利用圆的旋转不变性，为每一个由步骤101获得的特征点选定以其为圆心的四个同心圆区域为此特征点所需的特征描述区域；

步骤103，在由步骤102确定的每个圆环区域以及最里面的中心圆区域内分别计算像素点的梯度模值和方向，建立方向直方图；其中，“圆环区域”为相邻的两同心圆之间的环形区域；

步骤104，利用步骤103得到的方向直方图，建立环形描述子，对每一个特征点进行特征描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。

进一步地，步骤102具体包括：

为保证三维特征点具有旋转不变性，利用圆的旋转不变性，为每个特征点选定以其为圆心，半径分别为2、4、6、8的四个同心圆区域为此特征点特征描述所需区域；当图像发生旋转时，特征点周围邻域内像素点会发生相应的改变，但同一个圆环内像素点的相对位置不变。

进一步地，步骤103具体包括：

将0°～360°均分为12个方向区间，分别在每个圆环区域内统计12个方向区间上的梯度累加值，建立方向直方图，方向直方图的横轴为梯度的方向，纵轴为方向对应的梯度模值加权累加值，其中权重函数为高斯函数，梯度模值和方向的计算公式如(13)式和(14)式所示：

进一步地，步骤104具体包括：

步骤1041，通过上述计算，特征点的四个同心圆环都分别对应一个方向直方图，由方向直方图中纵轴梯度模值加权累加值，每个圆环得到一个12维向量其中i＝1，2，3，4；

步骤1042，由内向外，取最里面中心圆的12维向量作为初始特征向量的第1～12个元素，取紧邻最里面的中心圆的第一个圆环的12维向量为特征向量的第13～24个元素，以此类推，即得rgb-d图像三维特征点的48维初始特征向量

步骤1043，为保障旋转不变性，对初始特征向量des进行排序：令标记出φ的最大分量；若φ1是φ中最大分量，则不对初始特征向量des做任何处理；若φ1不是φ的最大分量，假设φj＝max{φ1，φ2，…，φ11，φ12}，则将循环左移，直至位于的首位，即同时对进行与一致的循环左移，得排序后的初始特征向量：

步骤1044，为增强匹配的鲁棒性，对特征点分配辅向量；

步骤1045，为减少光照的影响，对初始特征向量进行尺度归一化处理，生成最终的特征描述向量；

步骤1046，提取三维特征点并生成特征描述向量之后，将特征向量间的欧式距离作为相似性度量，匹配特征点。

进一步地，步骤1044具体包括：

若φ的其它分量中有超过φ最大分量80％的分量，则将按此分量循环左移，使其位于首位；该特征点就复制成多个特征点，这些特征点位置、尺度相同，初始特征向量不同。

进一步地，步骤1045中的“对初始特征向量进行尺度归一化处理”具体如(15)式所示：

进一步地，步骤101具体包括：

步骤111，利用透视投影模型，给出rgb-d图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示；

步骤112，由扩散方程出发，利用有限差分与尺度空间理论，建立检测rgb-d图像三维特征点的rgb-d尺度空间；

步骤113，在rgb-d尺度空间上极值检测，获取特征点的位置；以及

步骤114，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。

进一步地，步骤111中的“场景中物点在相机坐标系中的参数表示”为：

(1)式中，是物点p在相机坐标系中的坐标，(u，v)平面为成像平面，ω为相机的水平视角，w，h表示图像i0的分辨率，d(u，v)为物点到相机的水平距离。

进一步地，步骤112具体包括：

根据尺度空间理论，图像i0(x，y)的高斯尺度空间l(x，y，σ)表示为高斯函数g(x，y，σ)与原始图像i0的卷积，如下(2)式所示：

l(x，y，σ)＝g(x，y，σ)*i0(x，y)，(2)

其中则图像i0的高斯尺度空间等价于扩散方程(3)初值问题，即：

扩散方程(3)有唯一解*表示卷积；

利用有限差分理论，得到扩散方程初值问题的差分近似形式包括：

对图像i0的支撑域ω进行步长为h的离散得ωd，引入以下差分量，得到扩散方程(3)的差分形式，进而建立rgb-d尺度空间，差分量的表达如下：

其中和为简化符号；

同理，定义类似，即：

因此，引入拉普拉斯算子l的离散二阶微分算子，有以下差分方程(9)式：

将(9)式写成矩阵形式，令，再由导数的定义，(9)式近似于为(10)式：

(10)式中，τ为图像层间的尺度差，即τ＝σ⁽ⁿ⁺¹⁾-σ⁽ⁿ⁾，由(10)式迭代求解，即可建立rgb-d尺度空间。

进一步地，步骤114具体包括：

为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：

步骤1141，令f(u，v)＝af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将f(u，v)taylor展开，并求驻点得到偏移量

步骤1142，根据偏移量中所有分量与0.5的大小关系定位特征点；

为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：

步骤1143，删除定位出的特征点中低对比度的特征点；

步骤1144，删除定位出的特征点中的边缘响应点；

步骤1145，经过步骤1143和步骤1144的筛选，保留下来的特征点即为rgb-d图像的稳定三维特征点。

由于本发明利用了圆具有旋转不变性，通过选定以特征点为圆心，半径为预设值的多个同心圆区域为特征描述所需区域，这样在图像发生旋转时，特征点周围邻域内像素点会发生相应的改变，但同一个圆环内像素点的相对位置不变，因此，无需为特征点分配方向，就可以保证三维特征点具有旋转不变性，从而省去了为特征点分配方向的步骤，进而为构建特征描述子使用的特征描述算法的计算过程节省了大量的时间，为特征描述算法的实时性提供了有利条件。

附图说明

图1是本发明实施例提供的基于rgb-d的场景三维特征表达与高精度匹配方法的流程图。

图2示出物点在相机坐标系中的参数表示示意图。

图3示出特征描述的采样区域与方向直方图。

图4示出实例图片1在图像平移、缩放和旋转变换下的匹配结果。

图4a示出示例图片1在视点沿相机坐标系中x轴方向移动时的匹配结果。

图4b示出示例图片1在视点沿相机坐标系中y轴方向移动时的匹配结果。

图4c示出示例图片1在视点沿相机坐标系中z轴方向移动时的匹配结果。

图4d示出示例图片1在视点沿光轴旋转时的匹配结果。

图5示出实例图片2在图像平移、缩放和旋转变换下的匹配结果。

图5a示出示例图片2在视点沿相机坐标系中x轴方向移动时的匹配结果。

图5b示出示例图片2在视点沿相机坐标系中y轴方向移动时的匹配结果。

图5c示出示例图片2在视点沿相机坐标系中z轴方向移动时的匹配结果。

图5d示出示例图片2在视点沿光轴旋转时的匹配结果。

具体实施方式

在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。

在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。

本发明实施例提供一种基于rgb-d的场景三维特征表达与高精度匹配方法，如图1所示，包括以下步骤：

步骤101，利用透视投影模型和尺度空间理论，检测并提取rgb-d图像的三维特征点。

步骤102，利用圆的旋转不变性，为每一个由步骤101获得的特征点选定以其为圆心的四个同心圆区域为此特征点所需的特征描述区域。

步骤103，在由步骤102确定的每个圆环区域以及最里面的中心圆区域内分别计算采样点的梯度模值和方向，建立方向直方图。其中，“圆环区域”为相邻的两同心圆之间的环形区域。

步骤104，利用步骤103得到的方向直方图，建立环形描述子，对每一个特征点进行特征描述，生成特征向量，并根据特征向量间的欧式距离匹配特征点。

下面分别就本发明的五个步骤进行详细阐述。

步骤101具体包括：

步骤111，利用透视投影模型，给出rgb-d图像保三维几何结构的降维计算方法，得到场景在相机坐标系中的参数表示。

步骤112，由扩散方程出发，利用有限差分与尺度空间理论，建立检测rgb-d图像三维特征点的rgb-d尺度空间。

步骤113，在rgb-d尺度空间上极值检测，获取特征点的位置。

步骤114，利用子像元插值法，精确定位特征点，并筛除低对比度和边缘响应点，增强特征匹配稳定性和抗噪能力。

步骤111中，rgb-d图像可以有目前市面上出现的rgb-d相机、微软的kinect、光场相机等获得。rgb-d图像是两幅图像：一个是rgb三通道彩色图像，另一个是depth图像。depth图像类似于灰度图像，只是它的每个像素值是传感器距离物体的实际距离。但文中提到的图像i0是指rgb图像，同时图像i0中每个像点对应的depth也可知，即下文中提及的“图像i0”是携带depth信息的rgb图像。

步骤111中，透视投影模型是现有的技术，图2是透视投影示意图，表示了物点与像点在相机坐标系中的关系。图2中，坐标系oxyz为相机坐标系。坐标系o’uv为相机中成像面坐标系。(u，v)平面为成像平面，是实际场景中物体上的点(简称物点)，p：m(u，v)为物点对应的像点。f表示相机光心o到成像面(u，v)的距离即像距。d(u，v)是rgb图像(u，v)处像点p对应的实际场景物点p的深度，即物点p到相机的水平距离。ω为相机的水平视角。w，h表示图像i0的分辨率，图中以图像i0的中心为坐标原点，则图像i0在o’uv坐标系中的范围为：

并且，从图2中可以推导出场景中的物点在相机坐标系中的坐标为，

公式(1)给出的是图像i0中像点对应实际场景中物点在相机坐标系中的参数表示。其中u、v分别是图像i0中像素的下标。

步骤111中，“rgb-d图像保三维几何结构的降维计算方法”具体包括：

利用透视投影，即专利中的图2，将rbg图像和depth图像结合，得到了实际场景物体在相机坐标系中的参数表示，即函数，该函数不仅包含了rgb图像的灰度信息和depth图像的深度信息，并将三维空间结构转化为二维图像平面上，对rgb-d图像进行了降维处理，且该降维处理保留了物体的三维几何结构信息。

步骤112中，由尺度空间理论知，图像i0(x，y)的高斯尺度空间l(x，y，σ)表示为高斯函数g(x，y，σ)与原始图像i0的卷积，如下式(2)所示：

l(x，y，σ)＝g(x，y，σ)*i0(x，y)，(2)

式(2)中

图像i0的高斯尺度空间亦可以表示为扩散方程初值问题，即如下(3)式：

扩散方程(3)有唯一解*表示卷积。由此可将图像信息处理的尺度空间与扩散方程(3)联系起来。

再根据有限差分理论，对图像i0的支撑域ω进行步长为h的离散得ωd。引入差分量，得到扩散方程(3)的差分形式，进而建立rgb-d尺度空间，差分量的表达如下：

其中和为简化符号。同理，定义类似，即，

因此，引入拉普拉斯算子l的离散二阶微分算子，有以下差分方程(9)式：

将(9)式写成矩阵形式，令，再由导数的定义，(9)式近似于为式(10)：

其中，τ为图像层间的尺度差，即τ＝σn+1-σn。σn+1和σn分别表示图像f⁽ⁿ⁺¹⁾和f⁽ⁿ⁾的模糊度，即尺度。由(10)式知，给定图像i0，由(10)式迭代求解出模糊后的图像，即可建立rgb-d尺度空间。

步骤113中，因为尺度归一化的高斯拉普拉斯函数的极值同其它的特征提取函数(如：梯度，hessian或harris)比较，能够产生最稳定的图像特征。而本实施例建立rgb-d尺度空间的差分方程(9)式又是尺度归一化的高斯拉普拉斯函数的近似，所以本实施例在rgb-d尺度空间上检测极值，可得到图像潜在的特征点。

步骤114中，由于步骤113获得的极值是在离散情况下检测得到的，并非连续情况下的极值。为获取连续情况下的极值点，需要通过子像元插值法，得到连续情况下的极值点，并根据对比度和边缘响应筛选特征点。

步骤114具体包括：

为获取连续情况下的极值点，利用子像元插值法，精确定位特征点，其具体如下：

步骤1141，令f(u，v)＝af(u，v)，假设经上述极值检测得到的极值点为(u1，v1)，则在此极值点(u1，v1)处将f(u，v)taylor展开，并求驻点得到偏移量

步骤1142，根据偏移量中所有分量与0.5的大小关系定位特征点；

为增强特征匹配稳定性和抗噪能力，筛除低对比度和边缘响应点，其具体如下：

步骤1143，删除定位出的特征点中低对比度的特征点；

步骤1144，删除定位出的特征点中的边缘响应点；

步骤1145，经过步骤1143和步骤1144的筛选，保留下来的特征点即为rgb-d图像的稳定三维特征点。

步骤1141中的“在此极值点处将f＝aftaylor展开”具体如下：

在上述检测到的极值点(u1，v1)处taylor展开：

(11)式中，为偏移量，fu，fv分别表示f(u，v)对变量u，v的一阶偏导数，fuu，fvv分别表示f(u，v)对变量u，v的二阶偏导数，fuv表示f(u，v)对变量u，v的混合偏导数。

步骤1141中的“求驻点得到偏移量”具体如下：

对(11)式求驻点，则有

步骤1142中的“根据偏移量中所有分量与0.5的大小关系定位特征点”包括：

若偏移量中全部分量的绝对值都小于0.5，保留此极值点(u1，v1)和其偏移量并根据此极值点(u1，v1)和偏移量定位连续情况下的极值点(u，v)；若偏移量中有绝对值大于0.5的分量，则需要根据具体情况替换极值点的位置为(u1，v1)周围的像素点：

(1)若中|u-u1|＞0.5，即u＞u1+0.5或者u＜u1-0.5，则说明分量u相对于相对于u1，更接近u1+1或者u1-1，则连续情况下的极值点(u，v)更接近像素点(u1+1，v1)或者(u1-1，v1)；下面在像素点(u1+1，v1)或者(u1-1，v1)处重复步骤1041-1042，并给定最高重复次数n。若在重复上述步骤1041-1042n次以内，已有像素点对应的偏移量满足全部分量的绝对值都小于0.5，则保留此像素点，并根据此像素点和偏移量即可定位连续情况下的极值点；若重复上述步骤1041-1042n次后计算得到的偏移量仍有绝对值大于0.5的分量，则直接删除此像素点；

(2)对于中|v-v1|＞0.5的情况，同上述(1)做相应处理。

本实施例中，建立rgb-d尺度空间时降采样因子设置为2(可以根据实际情况设置为其它数值)，根据偏移量中所有分量与0.5的大小关系即可精确定位特征点。

步骤1143具体包括：精确定位的特征点(u，v)处的极值为给定阈值τ1，若f(u，v)小于阈值τ1，则认为此特征点为低对比度的特征点，删除，否则保留。

步骤1144具体包括：

因边缘点不容易定位，且对噪声敏感，则需要删除边缘效应。对于边缘响应点，利用特征点(u，v)处的2×2的hessian矩阵hf来筛选特征点：

计算hessian矩阵hf的迹和行列式。给定阈值τ2，判定是否小于若小于，则保留特征点，否则删除。

步骤102中，为保证三维特征点具有旋转不变性，考虑圆具有旋转不变性，为每个特征点选定以其为圆心，半径分别为2、4、6、8的四个同心圆区域为此特征点特征描述所需区域。当图像发生旋转时，特征点周围邻域内像素点会发生相应的改变，但同一个圆环内像素点的相对位置不变。因此，不必为特征点分配方向，即可使其具有旋转不变性。需要说明的是，本实施例的同心圆的数目是4个，还可以是2个、3个或更多，若不考虑计算效率和后续特征向量的维数，实质上同心圆的数目越多越好。

如图3所示，步骤103中，在由步骤102确定的每个圆环区域以及最里面的中心圆区域内，分别利用直方图统计每个圆环内像素的梯度大小和方向。具体包括：

将0°～360°均分为12个方向区间，分别在每个圆环区域内统计12个方向区间上的梯度累加值，建立方向直方图。方向直方图的横轴为梯度的方向，纵轴为方向对应的梯度模值加权累加值，其中权重函数为高斯函数。梯度模值和方向的计算公式如(13)式和(14)式所示：

步骤104中，针对特征描述时，分配方向耗时长及特征向量维数高问题，本发明考虑到圆的旋转不变性，提出环形特征描述子，具体步骤如下：

步骤1041，通过上述计算，特征点的四个同心圆环都分别对应一个方向直方图，由方向直方图中纵轴梯度模值加权累加值，每个圆环得到一个12维向量其中i＝1，2，3，4。

步骤1042，由内向外，取最里面的中心圆的12维向量作为初始特征向量的第1～12个元素，取紧邻最里面的中心圆的第一个圆环的12维向量为特征向量的第13～24个元素，以此类推，即得rgb-d图像三维特征点的48维初始特征向量

步骤1043，为保障旋转不变性，对初始特征向量des进行排序：令标记出φ的最大分量；若φ1是φ中最大分量，则不对初始特征向量des做任何处理；若φ1不是φ的最大分量，假设φj＝max{φ1，φ2，…，φ11，φ12}，则将循环左移，直至位于的首位，即同时对进行与一致的循环左移，得排序后的初始特征向量：

步骤1044，为增强匹配的鲁棒性，对特征点分配辅向量：若φ的其它分量中有超过φ最大分量80％的分量，则将按此分量循环左移，使其位于首位；该特征点就复制成多个特征点，这些特征点位置、尺度相同，初始特征向量不同。

步骤1045，为减少光照的影响，对特征向量进行尺度归一化处理，生成最终的特征描述向量，“特征描述向量”具体如(15)式所示：

步骤1046，提取三维特征点并生成特征描述向量之后，将特征向量间的欧式距离作为相似性度量，匹配特征点。

设待匹配图像的一个特征点d，其特征向量为d＝(d1，d2，...，d47，d48)，基准图像的特征点对应的特征向量集为：i＝1，2，3，...，n，其中n为基准图像中特征向量的个数。则待匹配特征点d对应的特征向量d＝(d1，d2，...，d47，d48)与基准图像中所有特征向量间的欧式距离为：

设定一个阈值λ，若最近距离比次近欧氏距离，比值小于此阈值λ，则认为待匹配特征点d与基准图像中最小欧氏距离对应的特征点匹配。

图4示出根据本发明提供的方法进行特征匹配的效果示例1，其中(a)为视点沿相机坐标系图2中x轴移动时的特征匹配结果，(b)为视点沿相机坐标系图2中y轴移动时的特征匹配结果，(c)为视点沿相机坐标系图2中z轴移动时的特征匹配结果，(d)为为视点沿相机光轴旋转时的特征匹配结果。

图5示出根据本发明提供的方法进行特征匹配的效果示例2，其中(a)为视点沿相机坐标系图2中x轴移动时的特征匹配结果，(b)为视点沿相机坐标系图2中y轴移动时的特征匹配结果，(c)为视点沿相机坐标系图2中z轴移动时的特征匹配结果，(d)为为视点沿相机光轴旋转时的特征匹配结果。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。