基于多航带起始航迹约束的图像拼接与定位方法与流程

本发明涉及计算机图像处理与地图测绘领域，具体为一种基于多航带起始航迹约束的图像拼接与定位方法，主要用于提高航带间图像的拼接质量和全景图的定位精度。

背景技术：

uav(unmannedaerialvehicle无人机)具有运行简单、反应迅速、飞行灵活、成本低等特点，已被广泛应用于抗灾救灾、军事侦察、海上检测、环境保护等测绘技术领域。其中大多数需求都直接表现为得到飞行作业区全景图及图中各点的gps信息。

目前无人机航拍图像拼接方法主要为基于图像特征的拼接方法，该方法对单航带图像的拼接效果比较理想，但多航带拼接时常出现两条甚至多条航带相互交叉，重叠等情况；传统的无人机图像定位方法主要通过一帧图像的中心点gps，利用地面分辨率与比例尺递推出该帧图像中其他各点的gps信息，但这种方法计算每帧图像的分辨率、比例尺时会出现误差，而且整体误差会随拼接过程逐渐累加。

如何提高航带间图像的拼接质量和全景图的定位精度是亟需解决的难题。

技术实现要素：

本发明的目的在于针对上述技术问题，提供一种基于多航带起始航迹约束的图像拼接与定位方法，用于提高航带间图像拼接质量和全景图定位精度。

为实现上述目的，本发明采用的技术方案为：

基于多航带起始航迹约束的图像拼接与定位方法，包括以下步骤：

步骤1.航带图像拼接

步骤1-1.按照以下方法完成航带中前k帧图像的拼接：

步骤1-1-1.图像预处理：对接收到的每帧视频图像进行灰度化；

步骤1-1-2.图像特征提取：每帧图像用surf算子检测图像特征得到特征点集，并采用brisk特征描述子对特征点计算生成特征描述向量；

步骤1-1-3.图像特征匹配：对步骤1-1-2中得到的第k-1帧与第k帧图像的特征描述向量进行bf匹配得到初始匹配结果，k＝1,2,3,...k；再通过ransac算法将初始匹配结果中剔除异常匹配值，得到获得最佳匹配点对集；最后，根据最佳匹配点对集，通过最小二乘法计算第k-1帧与第k帧的透视变换单应性矩阵hk-1；

步骤1-1-4.图像拼接：计算出第k帧相对于第1帧的单应性矩阵：

hk＝hk-1*hk-2*...*h0；

将第k帧图像的四个角点通过单应性矩阵hk变换为新坐标更新到全景图对应位置，并将已拼接图像的像素中心点存储至点集p1；

步骤1-2.第1条航带中k+1帧至最后1帧图像的拼接

由步骤1完成前k帧图像拼接，并根据点集p中元素，拟合得直线l；

针对第k帧图像，k＝k+1,k+2,k+3,...,k1；k1为航带的总视频图像帧数；

采用步骤1-1-1至步骤1-1-3相同处理，得到第k帧图像的单应性矩阵hk-1，根据单应性矩阵hk-1计算出第k帧图像中心点a(xa，ya)；将点a投影至直线l上，得到投影点b(xb，yb)；进而得到第k帧图像的偏移矩阵：bk＝[1,0,xb-xa；0,1,yb-ya]；

更新h′k-1＝hk-1*bk，进而得到第k帧相对于第1帧的累计单应性矩阵：

hk＝h′k-1*h′k-2*...*h′k+1*h′k*hk-1*...*h0

将第k帧图像的四个角点通过单应性矩阵hk变换为新坐标更新到全景图对应位置；

步骤2.第1个悬停处拼接：采用步骤1-1相同处理过程，完成悬停处所有图像拼接；

步骤3.重复步骤1～2，依次完成第2条航带、第2个悬停处、第3条航带、第3个悬停处，直至最后1条航带拼接；完成全景图像的拼接；

步骤4、全景图任意点gps定位

步骤4-1.将全景图像中所有拼接帧的像素中心点的utm与像素坐标分别存入utm点集与像素中心点集，使用透视变换求出utm点集与像素中心点集的映射函数关系；

步骤4-2.全景图中任意点的像素点坐标根据步骤4-1中映射函数关系计算得到对应utm坐标，实现定位。

进一步的，步骤4-1中，若映射函数关系无法求出，则依次等概率的减少点集数量，直至求出为止。

本发明的有益效果在于：

本发明提供基于多航带起始航迹约束的图像拼接与定位方法，根据每一条航带起始航迹，使用线性回归，确定的拟合直线，根据拟合直线，矫正该航带之后的拼接图像，减少累积误差，使后续拼接图像与起始拼接图像产生依赖关系，从而避免出现航带交叉或者分叉等现象的出现，同时可以适应更加复杂的飞行航迹，只要单航带为直线即可，从而不仅仅局限于矩形航迹.提高航带间图像的拼接质量和全景图的定位精度。

附图说明

图1为本发明偏移矫正向量示意图。

图2为本发明实施例中三行带起始航迹约束的结果图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明；为方便描述本发明内容，首先对涉及术语进行必要的解释：

surf：surf(speededuprobustfeatures,加速稳健特征)是一个稳健的图像识别和描述算法，是sift算法的继承和发展；surf特征的提取包括：构建hessian矩阵，生成所有特征点、构建尺度空间、对特征点进行定位、特征点主方向分配、生成特征点描述子、特征点匹配等步骤，通过这些步骤计算得到相邻图像的surf特征匹配点对，但surf算法在特征描述阶段与特征匹配阶段耗时较多，难以满足实时性要求高的场合；本发明采用surf算子检测图像的特征特征点并确定主方向。

brisk：binaryrobustinvariantscalablekeypoints提出了一种特征提取算法和二进制特征描述算子，在对有较大模糊的图像配准时，brisk算法在众多算法中表现最为出色，但该算法特征检测算子为fast算子，该算子提取的特征特征点精细度和准确度不如sift和surf算子；考虑到检测速度和模糊拼接的鲁棒性，本发明采用brisk算子作为特征描述子。

bf：bf算法，即暴风(bruteforce)算法，是普通的模式匹配算法，bf算法的思想就是将目标串s的第一个字符与模式串t的第一个字符进行匹配，若相等，则继续比较s的第二个字符和t的第二个字符；若不相等，则比较s的第二个字符和t的第一个字符，依次比较下去，直到得出最后的匹配结果。

ransac：randomsampleconsensus是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。

单应性矩阵：在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射，单应性矩阵便是描述该映射关系的映射矩阵。

utm坐标：utm(universaltransversemercartorgridsystem，通用横墨卡托格网系统)坐标是一种平面直角坐标，这种坐标格网系统及其所依据的投影已经广泛用于地形图，作为卫星影像和自然资源数据库的参考格网以及要求精确定位的其他应用；因为图像拼接完成后为二维平面图像，因此原有的gps坐标必须转换为utm坐标才能适用。

本实施例提供一种基于多航带起始航迹约束的图像拼接与定位方法，能够提高航带间图像的拼接质量和全景图的定位精度，包括图像预处理、图像特征提取、图像特征匹配、航迹约束、全景图任意点gps定位五个步骤；具体如下：

步骤1.第1条航带图像拼接

步骤1-1.按照以下方法完成第1条航带中前k帧图像的拼接：

步骤1-1-1.图像预处理：对每帧视频图像进行灰度化

灰度化：将彩色图像的rgb三个分量以对应的权值进行加权平均；本实施例中，按下式对rgb三分量进行加权平均能得到较合理的灰度图像：

f(i,j)＝0.30r(i,j)+0.59g(i,j)+0.11b(i,j)；

步骤1-1-2.图像特征提取

surf采用近似hessian矩阵检测特征点，并使用积分图像进行卷积运算，减少运算从而提高特征提取速度；brisk二进制描述符通过特征点周围像素点对简单的强度对比直接产生二进制比特串，计算特征点之间的相似距离简单有效，占用内存少；本发明采用surf检测特征点，采用brisk计算特征描述符；具体过程如下：

a)构建hessian矩阵，构造尺度空间：设定图像上某点为x(x，y)，在σ尺度下的矩阵m定义为：

其中，lxx为高斯滤波二阶导同x卷积的结果，lxy等的含义类似，σ为空间尺度；当hessian矩阵的的判别式取得局部极大值时，认为定位到关键点的位置；

b)检测特征点：在得到的尺度空间中，将经过hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，初步定位出关键点，再经过滤去除能量弱的关键点以及错误定位的关键点，筛选出最终的稳定特征点；

c)brisk计算特征描述符：将稳定特征点通过brisk描述符算法，得到对应的brisk二进制特征描述符(特征描述向量)；

步骤1-1-3.图像特征匹配，并对匹配结果计算得到单应性矩阵：

a)brisk描述符是1和0组成的二进制比特串，本发明中采用汉明距离(异或操作)可以实现其高速的匹配，效率突出；对步骤1-1-2中得到的第k-1帧与第k帧图像的特征描述向量进行bf匹配得到初始匹配结果，k＝1,2,3,...k；

b)ransac算法容错能力强，对噪声点和误匹配点鲁棒性强，能够较好地剔除误匹配点对；通过ransac算法对a)中的初始匹配结果剔除异常匹配值，得到获得稳定的、精度高的最佳匹配点对集；

c)根据最佳匹配点对集，通过最小二乘法计算第k-1帧与第k帧的透视变换单应性矩阵hk-1；

步骤1-1-4.图像拼接；

计算出第k帧相对于第1帧的单应性矩阵：hk＝hk-1*hk-2*...*h0；将第k帧图像的四个角点通过单应性矩阵hk变换为新坐标更新到全景图对应位置，并将已拼接图像的像素中心点存储至点集p1；

步骤1-2.第1条航带中k+1帧至最后1帧图像的拼接

由步骤1完成前k帧图像拼接，并根据点集p1中元素，拟合得直线l1；

针对第k帧图像，k＝k+1,k+2,k+3,...,k1；k1为第1条航带的总视频图像帧数；

采用步骤1-1-1至步骤1-1-3相同处理，得到第k帧图像的单应性矩阵hk-1，根据单应性矩阵hk-1计算出第k帧图像中心点，即为a点，坐标表示为(xa，ya)，如图1所示；将a点投影至直线l1上，得到投影点，即为b点，坐标表示为(xb，yb)，如图1所示；进而得到第k帧图像的偏移矩阵：bk＝[1,0,xb-xa；0,1,yb-ya]；更新h′k-1＝hk-1*bk；

进而得到第k帧相对于第1帧的累计单应性矩阵：

hk＝h′k-1*h′k-2*...*h′k+1*h′k*hk-1*...*h0

将第k帧图像的四个角点通过单应性矩阵hk变换为新坐标更新到全景图对应位置；

步骤2.第1个悬停处拼接

经步骤1完成第1条航带所有帧图像拼接后，得到累计单应性矩阵为：

ha1＝h′k1-1*h′k1-2*...*h′k+1*h′k*hk-1*...*h0；

采用步骤1-1相同处理过程，完成悬停处所有图像拼接；

步骤3.重复步骤1～2，依次完成第2条航带、第2个悬停处、第3条航带、第3个悬停处，直至最后1条航带拼接；完成全景图像的拼接；

步骤4、全景图任意点gps定位

拼接完成后，为了提高定位精度，回避了成像的空间几何过程，直接对图像变形进行数学模拟，具体步骤如下：

步骤4-1.拼接结束后，将全景图像中所有拼接帧的像素中心点的utm与像素坐标分别存入utm点集与像素中心点集，使用透视变换求出utm点集与像素中心点集的映射函数关系，并考虑到可能存在的空矩阵问题，若映射函数关系无法求出，则依次等概率的减少点集数量，直至求出为止；

步骤4-2.全景图中任意点的像素点坐标根据步骤4-1中映射函数关系计算得到对应utm坐标，实现定位。

本实施例中，采用上述方法三航带起始航迹约束的结果如图2所示，由图中可以看出，车辙印的吻合程度较高，图像拼接效果在左右方向上误差极小，依据本方法能够得到较为精准拼接图像，从而可以实现无人机飞行图像拼接为大地图，并且为大地图定位打下良好基础.

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。