一种改进的图像拼接关键帧快速提取方法与流程

本发明涉及计算机视觉领域，特指一种改进的图像拼接关键帧快速提取方法。

背景技术：

图像拼接是计算机视觉和图像处理领域的研究热点，它是将多幅相互间存在重叠部分的图像序列进行空间匹配对准，经重采样融合后形成一幅包含各图像序列信息的、宽视角场景的、高清晰的新图像。

图像配准作为图像拼接技术的关键与核心，它是依据两幅图像重叠区域的一致性求解出图像间的几何变换模型，即将一幅图像经几何模型变化到另一幅图像的坐标平面上并将图像的重叠区域对准。目前，基于特征的图像配准方法是研究的主要趋势，此方法是通过对特征属性的直接比较来实现，即通过两幅图像的特征来判断它们之间的相似程度，该方法不仅计算量较小，而且具有仿射不变性与稳定性等优点。在图像的精确匹配方面，最常用的是ransac(randomsampleconsensus)算法，但是由于初始特征点对的数量往往较多，匹配特征点对的内点比例相对较少，使得ransac算法执行效率较低。

在车载摄像平台系统中为拍摄道路面图像，相机以固定的倾斜角度和高度安装在车载平台上，不同于全景图拍摄或航拍方式。另外在车辆行驶过程中会采集大量序列图像，按传统方式依次对全部图像拼接，计算量偏大，耗时较长。而且由于车辆行驶过程中变速、转弯、颠簸等因素的影响会导致相机拍摄视角的改变，这些因素都加大了车载摄像平台序列图像的拼接难度。

技术实现要素：

本发明所要解决的技术问题在于提出一种具有良好的鲁棒性、能够实现高质量的图像拼接的图像拼接关键帧快速提取方法，该方法对车辆直线行驶或转弯变速行驶均可实现快速拼接，具有较强的鲁棒性，拼接图像自然、清晰。

本发明提出的改进的图像拼接关键帧快速提取方法，其技术方案具体如下，包括如下步骤：

第一步，输入原始图像，进行图像预处理；

第二步，sift特征提取；

第三步，特征点的匹配；

第四步，自动提取关键帧；

第五步，全局配准和融合。

作为本发明技术方案的进一步改进，所述第一步包括：

s1.1对原始序列图像进行镜头畸变校正；

s1.2根据车辆的姿态信息和相机的安装参数计算出相机在地面坐标系的旋转矩阵，将图像校正为俯视图；

作为本发明技术方案的进一步改进，所述第二步包括：

s2.1尺度空间极值的检测；

利用不同尺度的高斯差分核与图像进行卷积构成高斯差分尺度空间，进而得到多尺度空间内的稳定关键点，

d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ)*i(x,y))＝l(x,y,kσ)-l(x,y,σ)(1)

其中，k是相邻尺度空间的常数，g(x,y,σ)为尺度可变高斯函数，i(x,y)为图像位于(x,y)的像素值，d(x,y,σ)为高斯差分尺度空间，σ是尺度坐标，l(x,y,σ)是二维图像的尺度空间；

检测尺度空间的极值点时，每个采样点和与其同尺度的8个相邻点以及上下相邻尺度的18个点进行比较，将比较得到的极值点作为候选点提取出来；

s2.2精确定位极值点；

通过拟合三维二次函数精确定位极值点的位置和尺度，并利用hessian矩阵方法计算去除不稳定的边缘响应点，并过滤对比度特征点；

s2.3确定关键点的主方向；

选取关键点邻域梯度像素的分布特性为每个关键点指定方向参数，

m(x,y)＝((l(x+1,y)-l(x-1,y))²+(l(x,y+1)-l(x,y-1))²)^1/2(4)

上述公式(3)和公式(4)分别为关键点(x,y)处梯度的方向和模值公式，m(x,y)为每幅图像l(x,y)在(x,y)点的梯度值，θ(x,y)则为方向，其中l所用的尺度为每个关键点各自所在的尺度；

在以关键点为中心的邻域窗口内采样，利用直方图统计邻域像素的梯度方向，直方图峰值为特征点的主方向；

s2.4生成特征向量描述子点；

首先将坐标轴旋转为关键点的主方向，以确保旋转不变性，然后以关键点为中心取8×8的窗口，并将其分为16个小块，在每个小块的8个方向的梯度直方图上绘制方向的累加值，形成一个种子点；

作为本发明技术方案的进一步改进，所述第三步包括：

根据匹配对之间映射关系的对称性，采用双向互匹配的方法来进行初始匹配；

假设有匹配点对由匹配映射可知，存在p、q两点间的映射关系和m为第一幅图像与第二幅图像进行匹配的结果，n为第二幅图像与第一幅图像进行匹配的结果，最终的匹配结果为m与n的交集。

作为本发明方法的进一步改进，所述第四步包括：

定义两帧图像提取sift特征点数目分别为ni、nj，min(ni,nj)视为特征点总样本数allnum，记为allnum＝min(ni,nj)，匹配后的特征点数目记为matchnum；

定义特征点匹配率为匹配特征点数目占特征点总样本数的比值，记为r，以r值来作为图像相似性的度量，r的表达式为：

从而以匹配率r作为图像的相似性度量，通过限定r值的范围来提取关键帧，如果匹配率r过高则增加步长，反之则减少步长；

定义num为输入图像数目，i为图像序号，j为检测两帧图像的次数，h为提取关键帧数，step为检测步长，初始i＝j＝h＝1；

图像ii、ii+step提取sift特征点数目分别为ni，ni+step，此时特征点总样本数为allnum＝min(ni,ni+step)；

限定r的阈值范围在[a,b]之间，其中0＜a＜b＜1，以特征点匹配率r为图像相似性度量，变步长自动提取关键帧的判定条件如下：

1)若a≤r≤b，在阈值范围内，步长合适不改变，i＝i+step，j＝j+1，h＝h+1，保存当前匹配特征点对及特征描述子，为后续相邻关键帧特征点匹配做准备；

2)若r＞a，低于阈值下限，步长过小应增大，step＝step+1，i＝i+step，j＝j+1；

3)若r＜b，高于阈值上限，步长过大应减少，step＝step-1，i＝i+step，j＝j+1；

如果满足条件1)则步长合适，提取当前帧为关键帧，继续按当前步长step检测下一帧图像ni+step，并根据上述条件进行判定，重复操作直至最后一帧，为保证图像具有代表性，最后一帧即便不满足关键帧提取的条件也作为关键帧。

作为本发明技术方案的进一步改进，所述第五步包括：

选取相似变换模型为：

式中：s为缩放因子；α为旋转角度；x1和y1为平移量；

随机采样次数使用下面的公式表示：

其中：t表示模型估计需要的匹配点对数，本发明取t＝4；u表示采样的t对匹配点懂事内点的概率，ω表示匹配点为外点的概率；

先利用相邻特征点之间的关系对误匹配点进行剔除，再利用ransac算法进行提纯并计算变换矩阵h；

其中，剔除原理如下：

假设(pi,qi)和(pj,qj)是两两正确的匹配对，pi和pj的距离d(pi,pj)相似于qi和qj的距离d(qi,qj)，利用pi与第一幅图像中所有兴趣点pj的关系和qi与第二幅图像中所有兴趣点qj的相似性来评价两点的对应关系，提出如下评价函数：

其中：d(i,j)＝[d(pi,pj)+d(qi,qj)]/2是pi和qi与每对兴趣点的平均距离；r(i,j)＝exp(-uij)，uij＝|d(pi,pj)-d(qi,qj)|/d(i,j)是pi和qi与每对兴趣点距离的相对差异；

其中，ransac算法步骤如下：

(1)计算评价函数ω(i)的所有值；

(2)求出所有的ω(i)的均值σ；

(3)对ω(i)进行判断，如果ω(i)＞0.8ω，pi和qi作为正确的匹配点保留，否则删除；

(4)将筛选过滤后的特征点对作为ransac算法的初始迭代特征点对，计算出稳定的变换矩阵h；

其中，全局配准策略的步骤包括：以第一帧为基准图像，利用全局变换模型，将每帧图像进行插值，变换到基准图像坐标下，完成全局配准；

最后，根据计算出的图像变换模型参数实现图像之间的融合，并采用加权平滑算法实现图像内容的平滑过渡。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种改进的图像拼接关键帧快速提取方法，通过图像预处理消除了图像畸变的影响，采用sift检测特征点，依据相邻帧特征点匹配率作为图像的相似性度量实现自动提取关键帧，对关键帧图像进行拼接，大大地提高了图像拼接的速度；并对现有技术中的ransac算法进行改进，利用改进的ransac算法对初始匹配对进行筛选，并计算出图像间的准确的变换矩阵，从而实现图像配准，最后使用加权平滑的融合方法实现图像的无缝拼接。该方法以特征点匹配率作为图像相似性度量，实现了关键帧的自动提取，大幅压缩了序列图像的拼接时间，提升了最后拼接图像的质量。

附图说明

图1是本发明改进的图像拼接关键帧快速提取方法流程图；

图2是本发明图像预处理前后对比图；

图3是本发明改进的图像拼接关键帧快速提取方法与其他方法的效果对比图。

具体实施方式

下面结合附图对本发明的面向图像拼接的关键帧快速提取方法的具体实施方式作详细说明。

本发明的面向图像拼接的关键帧快速提取方法的流程如图1所示，其具体可分为五个步骤。

第一步，图像预处理

相机倾斜架设在车载平台上对地面进行拍摄时，相机所采集到的图像会存在镜头畸变和透视畸变，因此需要对采集到的图像进行预处理。

预处理过程包括：

首先，对原始序列图像进行镜头畸变校正。

其次，根据车辆的姿态信息和相机的安装参数计算出相机在地面坐标系的旋转矩阵，将图像校正为俯视图，所述车辆的姿态信息通过架设在车载平台上的姿态角传感器实时测量得到。

经预处理后的序列图像消除了畸变的影响，作为图像拼接的输入图像。图像预处理前后的对比情况具体如图2所示。

第二步，sift特征提取

sift算法是一种基于尺度空间的、对图像缩放、旋转具有不变性，对仿射变换具有一定鲁棒性的图像局部特征匹配算法。

sift特征提取具体分为如下4个步骤：

step1:尺度空间极值的检测

利用不同尺度的高斯差分核与图像进行卷积构成高斯差分尺度空间，进而得到多尺度空间内的稳定关键点。

d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ)*i(x,y))＝l(x,y,kσ)-l(x,y,σ)(1)

其中，k是相邻尺度空间的常数，g(x,y,σ)为尺度可变高斯函数，i(x,y)为图像位于(x,y)的像素值，d(x,y,σ)为高斯差分尺度空间，σ是尺度坐标，l(x,y,σ)是二维图像的尺度空间。

检测尺度空间的极值点时，每个采样点和与其同尺度的8个相邻点以及上下相邻尺度的18个点进行比较，通过上述比较过程，将比较得到的极值点作为候选点提取出来。

step2:精确定位极值点

通过拟合三维二次函数精确定位极值点的位置和尺度，并利用hessian矩阵方法计算去除不稳定的边缘响应点，并过滤对比度特征点，以增强匹配的稳定性，提高抗噪声能力。

step3:确定关键点的主方向

为了使sift特征点具备局部旋转不变形，本发明选取关键点邻域梯度像素的分布特性为每个关键点指定方向参数。

m(x,y)＝((l(x+1,y)-l(x-1,y))²+(l(x,y+1)-l(x,y-1))²)^1/2(4)

上述公式(3)和公式(4)分别为关键点(x,y)处梯度的方向和模值公式，m(x,y)为每幅图像l(x,y)在(x,y)点的梯度值，θ(x,y)则为方向；其中l所用的尺度为每个关键点各自所在的尺度。

在以关键点为中心的邻域窗口内采样，利用直方图统计邻域像素的梯度方向，选取梯度方向直方图峰值作为特征点的主方向，并将大于直方图最大值的80％的极值保留下来作为该特征点的辅方向。

step4:生成特征向量描述子点

首先将坐标轴旋转为关键点的主方向，以确保旋转不变性，然后以关键点为中心取8×8的窗口，并将其分为16个小块，在每个小块的8个方向的梯度直方图上绘制方向的累加值，形成一个种子点，则每个种子点含有8个方向的向量信息。一个特征点用16个种子点描述，即由128维向量来描述。

第三步，特征点的匹配

本发明根据匹配对之间映射关系的对称性，采用双向互匹配的方法来进行初始匹配：假设有匹配点对由匹配映射可知，存在p、q两点间的映射关系和m＝(第一幅图像与第二幅图像进行匹配的结果)，n＝(第二幅图像与第一幅图像进行匹配的结果)，最终的匹配结果为m与n的交集，双向互匹配的方法有效地提高了正确匹配对的数目，从而增强了匹配精度。

第四步，自动提取关键帧

自动提取关键帧的基本思想为：图像特征点匹配数目与图像重叠比例成正比关系，特征点匹配数目可反映图像间的重叠比例和相似程度。在特征点匹配后，加入限定匹配特征点数目的条件，满足条件，则认为重叠比例合适，提取为关键帧，不改变当前步长进行后续处理；不满足条件则改变步长继续检测其他图像，由此可见，自动提取关键帧有效地避免了检测全部图像，大大节省了运算时间。

自动提取关键帧的具体包括:

定义两帧图像提取sift特征点数目分别为ni、nj，min(ni,nj)视为特征点总样本数allnum，记为allnum＝min(ni,nj)。匹配后的特征点数目记为matchnum。

定义特征点匹配率为匹配特征点数目占特征点总样本数的比值，记为r，以r值来作为图像相似性的度量，r的表达式为：

从而以匹配率r作为图像的相似性度量，通过限定r值的范围来提取关键帧，如果匹配率r过高则增加步长，反之则减少步长。

定义num为输入图像数目，i为图像序号，j为检测两帧图像的次数，h为提取关键帧数，step为检测步长，初始i＝j＝h＝1。

图像ii、ii+step提取sift特征点数目分别为ni，ni+step，此时特征点总样本数为allnum＝min(ni,ni+step)，由(3)式可求出当前图像间的特征点匹配率r。

为提取关键帧，本发明限定r的阈值范围在[a,b]之间，其中0＜a＜b＜1，a,b可依据实际情况取合理的值。以特征点匹配率r为图像相似性度量，变步长自动提取关键帧的判定条件如下：

4)若a≤r≤b，在阈值范围内，步长合适不改变，i＝i+step，j＝j+1，h＝h+1，保存当前匹配特征点对及特征描述子，为后续相邻关键帧特征点匹配做准备；

5)若r＞a，低于阈值下限，步长过小应增大，step＝step+1，i＝i+step，j＝j+1；

6)若r＜b，高于阈值上限，步长过大应减少，step＝step-1，i＝i+step，j＝j+1。

如果满足条件1)则步长合适，提取当前帧为关键帧，继续按当前步长step检测下一帧图像ni+step，并根据上述条件进行判定，重复操作直至最后一帧，为保证图像具有代表性，最后一帧即便不满足关键帧提取的条件也作为关键帧。

第五步，全局配准和融合

图像经透视畸变校正后生成俯视图，可认为相邻帧仅存在旋转、缩放、平移关系，选取相似变换模型为：

式中：s为缩放因子；α为旋转角度；x1和y1为平移量。

采用双向互匹配方法进行初始匹配时，误匹配点仍然比较多，因此需要对误匹配点进行剔除，进而估计变换矩阵。ransac算法充分利用了所有的初始匹配点对，根据一个容许的误差将所有匹配对分为内点和外点，利用内点数据比较准的特点来进行参数估计，但如果直接使用ransac算法进行估计，算法运行效率较低。ransac算法的随机采样次数直接体现出了ransac算法的运行效率。随机采样次数使用下面的公式表示：

其中：t表示模型估计需要的匹配点对数，本发明取t＝4；u表示采样的t对匹配点懂事内点的概率，根据经验值设置u＝0.99；ω表示匹配点为外点的概率。由公式(5)可以得知，当匹配点中外点比例过高时，ransac算法的随机采样次数也会增多，导致其运行效率低下，并且求出的变换矩阵精度不高。

本发明对ransac算法进行改进，先利用相邻特征点之间的关系对误匹配点进行剔除，再利用ransac算法进行提纯并计算变换矩阵h。剔除原理如下：

如果(pi,qi)和(pj,qj)是两两正确的匹配对，那么pi和pj的距离d(pi,pj)应该相似于qi和qj的距离d(qi,qj)。利用pi与第一幅图像中所有兴趣点pj的关系和qi与第二幅图像中所有兴趣点qj的相似性来评价两点的对应关系，提出如下评价函数：

其中：d(i,j)＝[d(pi,pj)+d(qi,qj)]/2是pi和qi与每对兴趣点的平均距离；r(i,j)＝exp(-uij)，uij＝|d(pi,pj)-d(qi,qj)|/d(i,j)是pi和qi与每对兴趣点距离的相对差异。

改进后的ransac算法步骤如下：

(1)计算评价函数ω(i)的所有值；

(2)求出所有的ω(i)的均值σ；

(3)对ω(i)进行判断，如果ω(i)＞0.8σ，pi和qi作为正确的匹配点保留，否则删除；

经过以上步骤(1)-(3)对初始特征点的筛选，排除了大部分外点，内点比例进一步提高。

(4)将筛选过滤后的特征点对作为ransac算法的初始迭代特征点对，计算出稳定的变换矩阵h。

完成相邻关键帧的配准后，需要进一步求解全局配准模型。传统的全局配准策略，通过变换矩阵连乘，得到每帧图像的全局变换关系，但矩阵连乘会造成配准误差的累积和传播。针对上述情况，本发明采用一种改进的全局配准策略，避免了变换矩阵连乘导致的误差累积，具体为以第一帧为基准图像，利用全局变换模型，将每帧图像进行插值，变换到基准图像坐标下，完成全局配准。

根据计算出的图像变换模型参数，可以实现图像之间的融合，为实现图像内容的平滑过渡，本发明采用加权平滑算法，使颜色逐步过渡，消除图像模糊和缝合线，合成新图像，拼接结果具体如图3所示。

表1

表1为现有技术的拼接方法与本发明方法的耗时对比，对同一组序列图像进行拼接时，采用本发明的面向图像拼接的关键帧快速提取方法运算仅12.742s，相比基于sift算法未提取关键帧的拼接方法耗时48.683s，本发明方法在速度上提升了近4倍，由此可见，本发明方法计算时间短，测量精度高，能满足自主车辆实时环境测量的要求。

本发明中提出的方法实际上可嵌入fpga实现，开发具有图像拼接功能的相机或摄像机。以上实施例仅起到解释本发明技术方案的作用，本发明所要求的保护范围并不局限于上述实施例所述的实现系统和具体实施步骤。因此，仅对上述实施例中具体的公式及算法进行简单替换，但其实质内容仍与本发明所述方法相一致的技术方案，均应属于本发明的保护范围。