在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法与流程

本发明涉及计算机图像处理领域，尤其涉及通过融合光流和SIFT特征点匹配方法从而得到更高精度的移动载体速度的设计，适用于移动机器人的视觉辅助导航。

背景技术：

目前，获取移动载体速度的方法主要有两种，一种为利用传统的码盘，另一种为基于视觉的方法。相比较于传统码盘的方法，利用视觉方法获取移动载体速度的方法不会受到轮子侧滑的影响，在车体没有运动的情况下，也不会出现结果上的漂移。近年来，基于视觉测量低动态移动载体速度的方法逐渐成为一种重要的选择。但是某一种单一的基于视觉测量速度的方法不能同时满足实时性和在光照不均匀情况下高鲁棒性的要求,因此如何提高在光照不均匀环境下利用视觉方法求得速度的精度和实时性成为工程应用中的一个重点和难点。

使用视觉求移动载体速度主要分为基于光流法和基于特征匹配跟踪两种方法。光流法对于图像运动的估计已经可以满足一定的精度和稳定度的要求，并且由于计算速度快，基于光流法的速度测量方法可以达到实际应用的要求，但是它在光照不均匀环境下测量的速度精度不高。SIFT特征点匹配方法具有尺度和旋转不变性，在光照不均匀情况下仍具有较高的显著性和高精度特性，但缺点是特征提取和匹配过程相对耗时较多，从而导致移动载体速度测量过程较慢。在光照不均匀环境下提高视觉方法求得速度的精度和实时性，主要有物理方法和软件算法，物理方法虽效果较好，却带来了成本等问题；相比而言，软件算法具有更高的灵活性及经济性。

基于上述单一视觉方法在光照不均匀条件下测量速度存在的问题，更多地关注软件算法，可以在不增加成本等问题的前提下，提高解决问题的精度和实时性。

技术实现要素：

发明目的：为了克服现有技术中存在的不足，本发明提出了一种在不增加成本等问题的前提下，提高解决问题的精度和实时性的在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法。通过本发明的方法可以克服在光强分布不均匀环境下金字塔Lucas-Kanade光流法求取速度精度差和SIFT特征点匹配方法求取速度慢的缺点，突出了光流法的实时性和SIFT特征点匹配的准确性特点，显著提高了低动态载体速度的估计精度和实时性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法，包括以下步骤：

(1)在移动载体上安装车载摄像机，使其镜头垂直向下放置，用于拍摄地面图像，在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进行。

(2)在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点，并记录下角点在图像坐标系中的坐标。

(3)采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪，从而获取这些角点在下一帧图像坐标系中的坐标位置。

(4)通过RANSAC方法筛选并剔除跟踪异常的角点，对跟踪正常的角点在前后两帧图像坐标系中的坐标进行处理，计算出这些正常角点的横向和纵向位移并进行叠加，将叠加值求平均得到横向和纵向位移的平均值

(5)在进行步骤(2)、(3)、(4)步骤的同时，在感兴趣区域ROI中采用SIFT算法对相邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量。

(6)获取SIFT特征向量后，进行特征点匹配。以特征向量的欧式距离作为匹配准则。在前一帧图像中的特征点R_i，在后一帧中计算距离特征点R_i最近的2个特征点并且记录2个距离d₁和d₂，计算2个距离之比，比例在一定阈值范围之内的，可以认为是匹配点。

前一帧图像中的特征点R_i和后一帧图像中的特征点S_i描述子分别表示为：

R_i＝(r_i1,r_i1,…,r_i128) (1)

S_i＝(s_i1,s_i1,…,s_i128) (2)

任意两个特征点相似性度量：

要得到配对的特征点描述子(R_i,S_j)，需满足：

(7)重复步骤(4)中的方法，得到正常匹配特征点的横向和纵向位移的平均值

(8)假设摄像头光心到地面的距离为Z_R，考虑地面水平则Z_R为一常数，归一化焦距分别f₁，f₂。为了简化计算，在不考虑摄像机镜头畸变和摄像机成像平面坐标系中坐标轴倾斜的情况下，使用公式(5)、(6)、(7)可以求出移动载体沿摄像机坐标系X轴和Y轴的速度。

式(5)、(6)中，分别为正常匹配特征点的横向和纵向位移的平均值，F为摄像机的帧率。

(9)利用步骤(8)，载体分别在光流法、SIFT方法下解算出的速度为V_x光流、V_y光流、V_xSIFT、V_ySIFT。在考虑移动载体只做前进和旋转运动的情况下，便可由V_y光流、V_ySIFT表示移动载体前进方向上的速度，并将两者做差得ΔV，两者的加速度差Δa设为常数。把ΔV、Δa共同输入到改进的自适应卡尔曼滤波器中进行数据融合。

(10)改进的自适应卡尔曼滤波器的系统方程以解算出的V_y光流、V_ySIFT两者之差ΔV和Δa作为状态变量，以每一时刻视觉测量得到的V_y光流、V_ySIFT之差ΔV作为观测量，在该系统中由于光流法视觉速度信息计算较快，SIFT视觉速度信息计算较慢，如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成，则使用前一次SIFT速度信息进行信息融合。

滤波器的系统方程和观测方程如式(8)、(9))所示：

Z(k)＝H(k)X(k)+V(k) (9)

式(8)中T为相邻时刻间隔周期，α为载体加速度差值时间常数的倒数，的值取为k时刻加速度差的估计值Δa(k/k-1)，最优控制信号式(9)中H(k)＝[1 0]，V(k)为观测方程噪声

系统噪声矩阵Q(k-1)如式(10)所示：

上式中加速度差值的方差σ²表示为：

式(11)中，Δa_new-max，Δa_new-min分别为加速度差值所能达到的最大值与最小值，其值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa_-up,Δa_up]区间内，并且设定两个阈值Δa_y与Δa_-y，使得Δa_y>Δa_up,Δa_-y<Δa_-up，则Δa_new-max与Δa_new-min的值由下列公式确定：

为了进一步提高滤波算法的估计精度，引入滤波残差err(k)来调整系数k₁、k₂。k₁、k₂的取值可用公式(14)、(15)、(16)表示。

err(k)＝Z(k)-H(k)X(k/k-1) (16)

式(14)、(15)中n为设定的一个正数，k₁₁、k₁₂、k₂₁、k₂₂均为常数。k₁₁的取值空间为k₁₂的取值空间k₂₁的取值范围为k₂₂的取值范围为

(11)使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度V_y光流进行直接校正，从而得到了精度较高的移动载体速度。

本发明相比现有技术，具有以下有益效果：

本发明使用光流和SIFT特征点匹配两种方法，通过安装在移动载体上的车载摄像机采集载体的动态图像，采用金字塔Lucas-Kanade光流和SIFT特征点匹配两种算法分别检测出当前帧和下一帧图像中的特征点并对其进行匹配，然后根据匹配成功的特征点对的像素位移计算出在载体坐标系下的速度V_光流、V_SIFT，并将两者的差值ΔV以及加速度差值Δa输入到改进的自适应卡尔曼滤波器，最后使用改进的自适应卡尔曼滤波器输出的估计值对光流法计算得到的载体速度V_SIFT进行直接校正；上述方法的提出克服了在光强分布不均匀条件下金字塔Lucas-Kanade光流法求取速度精度差和SIFT特征点匹配方法求取速度慢的缺点，突出了光流法的实时性和SIFT特征点匹配的准确性特点。

附图说明

图1为一种在光照不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法的系统示意图。

图2为一种在光照不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法的控制方法示意图。

图3为本发明的流程示意图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法，如图2、3所示，包括以下步骤：

(1)在移动载体上安装车载摄像机，使其镜头垂直向下放置，用于拍摄地面图像，在所拍摄的图像中选取一个矩形区域作为感兴趣的区域ROI,后续的图像处理均在ROI中进行。

(2)在感兴趣区域ROI中使用Shi-Tomasi角点检测方法检测提取图像中的角点，并记录下角点在图像坐标系中的坐标。

(3)采用金字塔Lucas-Kanade光流法对步骤(2)中所提取地角点进行跟踪，从而获取这些角点在下一帧图像坐标系中的坐标位置。

(4)通过RANSAC方法筛选并剔除跟踪异常的角点，对跟踪正常的角点在前后两帧图像坐标系中的坐标进行处理，计算出这些正常角点的横向和纵向位移并进行叠加，将叠加值求平均得到横向和纵向位移的平均值

(5)在进行步骤(2)、(3)、(4)步骤的同时，在感兴趣区域ROI中采用SIFT算法对相邻两帧图像进行特征点的检测及生成两幅图像的SIFT特征向量。

(6)获取SIFT特征向量后，进行特征点匹配。以特征向量的欧式距离作为匹配准则。在前一帧图像中的特征点R_i，在后一帧中计算距离特征点R_i最近的2个特征点并且记录2个距离d₁和d₂，计算2个距离之比，比例在一定阈值范围之内的，可以认为是匹配点。

前一帧图像中的特征点R_i和后一帧图像中的特征点S_i描述子分别表示为：

R_i＝(r_i1,r_i1,…,r_i128) (1)

S_i＝(s_i1,s_i1,…,s_i128) (2)

任意两个特征点相似性度量：

要得到配对的特征点描述子(R_i,S_j)，需满足：

(7)重复步骤(4)中的方法，得到正常匹配特征点的横向和纵向位移的平均值

(8)假设摄像头光心到地面的距离为Z_R，考虑地面水平则Z_R为一常数，归一化焦距分别f₁，f₂。为了简化计算，在不考虑摄像机镜头畸变和摄像机成像平面坐标系中坐标轴倾斜的情况下，使用公式(5)、(6)、(7)可以求出移动载体沿摄像机坐标系X轴和Y轴的速度。

式(5)、(6)中，分别为正常匹配特征点的横向和纵向位移的平均值，F为摄像机的帧率。

(9)利用步骤(8)，载体分别在光流法、SIFT方法下解算出的速度为V_x光流、V_y光流、V_xSIFT、V_ySIFT。在考虑移动载体只做前进和旋转运动的情况下，便可由V_y光流、V_ySIFT表示移动载体前进方向上的速度，并将两者做差得ΔV，两者的加速度差Δa设为常数。把ΔV、Δa共同输入到改进的自适应卡尔曼滤波器中进行数据融合。

(10)改进的自适应卡尔曼滤波器的系统方程以解算出的V_y光流、V_ySIFT两者之差ΔV和Δa作为状态变量，以每一时刻视觉测量得到的V_y光流、V_ySIFT之差ΔV作为观测量，在该系统中由于光流法视觉速度信息计算较快，SIFT视觉速度信息计算较慢，如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成，则使用前一次SIFT速度信息进行信息融合。

滤波器的系统方程和观测方程如式(8)、(9))所示：

Z(k)＝H(k)X(k)+V(k) (9)

式(8)中T为相邻时刻间隔周期，α为载体加速度差值时间常数的倒数，的值取为k时刻加速度差的估计值Δa(k/k-1)，最优控制信号式(9)中H(k)＝[1 0]，V(k)为观测方程噪声

系统噪声矩阵Q(k-1)如式(10)所示：

上式中加速度差值的方差σ²表示为：

式(11)中，Δa_new-max，Δa_new-min分别为加速度差值所能达到的最大值与最小值，其值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa_-up,Δa_up]区间内，并且设定两个阈值Δa_y与Δa_-y，使得Δa_y>Δa_up,Δa_-y<Δa_-up，则Δa_new-max与Δa_new-min的值由下列公式确定：

为了进一步提高滤波算法的估计精度，引入滤波残差err(k)来调整系数k₁、k₂。k₁、k₂的取值可用公式(14)、(15)、(16)表示。

err(k)＝Z(k)-H(k)X(k/k-1) (16)

式(14)、(15)中n为设定的一个正数，k₁₁、k₁₂、k₂₁、k₂₂均为常数。k₁₁的取值空间为k₁₂的取值空间k₂₁的取值范围为k₂₂的取值范围为

(11)使用改进的自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度V_y光流进行直接校正，从而得到了精度较高的移动载体速度。

如图1所示，一种在光强分布不均匀环境下的融合光流和SIFT特征点匹配的低动态载体速度计算方法的系统，包括视觉摄像头和数据处理计算机。

改进的自适应卡尔曼滤波器的系统方程以解算出的V_y光流、V_ySIFT两者之差ΔV和Δa作为状态变量，以每一时刻视觉测量得到的V_y光流、V_ySIFT之差ΔV作为观测量，在该系统中由于光流法视觉速度信息计算较快，SIFT视觉速度信息计算较慢，如果同一帧图像下光流法视觉速度计算完成而SIFT视觉速度信息计算未完成，则使用前一次SIFT速度信息进行信息融合。

滤波器的系统方程和观测方程如式(17)、(18))所示：

Z(k)＝H(k)X(k)+V(k) (18)

式(17)中T为相邻时刻间隔周期，α为载体加速度差值时间常数的倒数，的值取为k时刻加速度差的估计值Δa(k/k-1)，最优控制信号式(18)中H(k)＝[1 0]，V(k)为观测方程噪声

系统噪声矩阵Q(k-1)如式(19)所示：

上式中加速度差值的方差σ²表示为：

式(20)中，Δa_new-max，Δa_new-min分别为加速度差值所能达到的最大值与最小值，其值随Δa(k/k-1)的改变而改变。假定载体加速度的差值在[Δa_-up,Δa_up]区间内，并且设定两个阈值Δa_y与Δa_-y，使得Δa_y>Δa_up,Δa_-y<Δa_-up，则Δa_new-max与Δa_new-min的值由下列公式确定：

为了进一步提高滤波算法的估计精度，引入滤波残差err(k)来调整系数k₁、k₂。k₁、k₂的取值可用公式(23)、(24)、(25)表示。

err(k)＝Z(k)-H(k)X(k/k-1) (25)

式(23)、(24)中n为设定的一个正数，k₁₁、k₁₂、k₂₁、k₂₂均为常数。k₁₁的取值空间为k₁₂的取值空间k₂₁的取值范围为k₂₂的取值范围为

通过自适应卡尔曼滤波器的估计值对光流法测量得到视觉速度V_y光流进行直接校正，从而得到了精度较高的移动载体速度。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。