专利名称：无控制点图像拼接方法
技术领域：
本发明属于计算机视觉图像处理技术领域，特别是涉及一种从变化场景的视频帧自动 连续拼接成一幅完整图像的方法，这种技术不需要相机位姿和地面控制点信息，考虑视频(或 图像序列)任意角度旋转，比例以及透视变换，实现一种全自动彩色视频图像无缝拼接技术。
背景技术：
图像自动拼接技术在遥感勘测，军事侦察，航天探索(如月球，火星表面影像拼接)、360° 全景影像生成以及无人机遥感影像自动拼接等领域有着广泛的需求和应用。传统的影像拼接 过程一旦存在旋转，比例、光照变换等干扰因素往往需要人工参与，费时费力，精度不髙， 难以实现自动化。特别是在军事领域中往往无GPS可用，相机姿态，位置都无法准确获知， 迫切需要一种无控制点及相机姿态的实时视频图像自动拼接方法。
图像拼接就是将多幅相互间存在重叠部分的图像序列进行空间匹配对准，经采样融合后 形成一幅包含各图像序列信息的、宽视角场景的、完整的、高清晰的新图像的过程。目前图 像的拼接的研究工作已经成为一个需求热点。很多传统的配准拼接方法，都存在拼接精度差， 效率低，自动化程度低等弊病，有的需要飞机或者相机的姿态和GPS信息或者地面控制点 的绝对坐标，这在很多情况下是难以提供的(如在战时根本无法得到GPS信息；航拍未知地 域(如火星表面)控制点的信息难以获知)，有的难以对抗旋转，比例变化和光照的干扰影响。 因此对于遥感勘探或者军事侦察工作者而言，迫切需要一种考虑旋转、比例和光照变化的快 速视频图像自动拼接方法。
自动图像拼接主要涉及以下3方面技术
1. 图像特征点自动提取，必须对于各种类型的图像，都能稳定有效的提取到特征点，不依 赖于图像旋转、大小，分辨率，光照及色彩饱和度的变化。
2. 被拼接图像或视频帧之间同名特征点的自动匹配，这个过程必须快速稳健。
3. 根据同名特征点对，计算两图像之间的透视变换矩阵，算法必须能自动抛弃掉错误的同 名点对。
灰度图像sift特征的方法[LOWE D G， Distinctive image features from scale-invariant key points [J].International journal of Computer vision, 2004 60(2):91-110通过在图像多尺
度空间金字塔中寻找极值点确定较为稳定的尺度不变的特征点位置；通过统计梯度方向直方图确定特征点方向。文献主要利用这种方法实现对被旋转和遮挡的物体的识别。但该文献并 未讨论视频图像拼接中的如下几个关键问题
l如何提取彩色图像的尺度旋转不变特征。实验表明简单将RGB3通道特征合并会产生非 常差的效果。
2. 如何利用这些特征点实现全自动图像或视频帧之间的稳定拼接。
3. 如何实现大量图像序列之间的连续拼接。
4. 如何实现并行特征点快速计算使得特征提取速度成倍提高。 如何解决自动拼接过程中的这些关键问题，都是本发明所要解决的问题。
2叉树快速模式分类算銜Beis， J. and Lowe, D. (i 1997. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces. In Conference on Computer Vision and Pattern Recognition, Puerto Rico, pp. 1000-1006.通过待分类模式在特征空间中的分布，自 动建立一种所谓最优分类2叉树。使得匹配效率得到很大提高。这种算法通过进一步改造可 实现对海量图像特征点的快速匹配。
相比于特征点匹配，特征提取也是拼接算法中的重要一环，也是比较耗时的一环。为进 一步提高匹配效率，可在拼接算法过程中实现一种并行计算，使得拼接效率成倍提高。之所 以可考虑采用帧间并行计算是由于
1. 各帧之间计算无因果关系，可独立运行，以充分发挥并行计算的优势。
2. 多核计算机硬件环境己日益普及，即使是笔记本电脑，目前市场基本上不销售单核 而逐步普及双核或4核机型，这极大降低了本项并行拼接技术的应用推广成本。
RANSAC容错技术用于直线拟合，除此以外进一步可推广到平面拟合以及其他一切需 要进行容错处理的领域等等。RANSAC算法是通过随机搜索符合条件的对象数量并最大化 该数量的来实现的，但这并未考虑所选中对象与条件的误差程度，而这种误差条件在图像拼 接中也是相当重要的。推广利用结合条件误差的RANSAC技术可以更好地解决图像拼接中 的特征点容错匹配的计算问题。
目前图像的拼接的研究工作己经成为一个需求热点。很多传统的配准拼接方法,都存在拼 接精度差，效率低，自动化程度低等弊病，有的需要飞机或者相机的姿态和GPS信息或者 地面控制点的绝对坐标，这在很多情况下是难以提供的(如在战时根本无法得到GPS信息； 航拍未知地域(如火星表面)控制点的信息难以获知)，有的难以对抗旋转，比例变化和光照的 干扰影响。因此对于遥感勘探或者军事侦察工作者而言，迫切需要一种考虑旋转、比例和光 照变化的快速视频图像自动拼接方法。
发明内容
本发明正是针对上述问题提供一种无控制点图像拼接方法。该方法可实现从变化场景的视频帧(如连续移动或旋转的摄像机拍摄的视频帧或连续多幅图像)连续拼接成一幅完整图 像，不需要相机位姿和地面控制点信息、考虑视频(或图像序列)任意角度旋转、比例以及透 视变换。拼接精度高。
本发明提供的技术方案是
一种无控制点图像拼接方法，包括以下步骤-
(1) 获取图像序列
采用数码相机获取图像序列或者采用数码摄像机获取视频；对于图像序列，相邻图像 之间有40%以上的重叠影像；对于视频，通过视频解码得到图像序列，且相邻图像有40% 以上的重叠影像；
(2) 提取图像序列中每幅图像的特征点集
a、 首先建立图像多尺度金字塔；当图像为彩色图像时，多尺度金字塔为RGB三个颜 色通道的多尺度金字塔；
b、 对于多尺度金字塔的每层图像进行z=4~8次高斯模糊得到z+l层高斯模糊图像 gausse[i]， i=0，l，2， ...，z，其中gaussc
图像， e=0，l，2， ...，z-l;其中dogc[el=gaussc[e+l_gaussce；c代表灰色图像或彩色图像；当图 像为彩色图像时，c^R，GB" R、 G、 B表示红、绿、蓝三个颜色通道；
c、 寻找e4，2， ...，z-2层中每层dogcel图像里面的满足dogcel[x，yl比6个相邻元素值 dogc[e] [x+l，y，dogc[ex,y+l，dogc[e[x-l，y，dogc[e[x，y-lj，dogc[e-l[x，y，dogc[e+l] [x，y〗都大 的局部极值点；其中x，y是像素坐标，x-l，y、 x+l，y、 x，y+l和x，y-l分别表示x，y左邻、 右邻、上邻和下邻像素坐标；dog￡ [e[x，y表示颜色通道c中第e层模糊图像上坐标x，y处 的像素值；
当图像为灰色图像时，局部极值点作为特征点进入步骤(3);当图像为彩色图像时， 进入步骤d找出特征点后，再进入步骤(3);
d、 提取步骤c中每层dogc[e图像里面的局部极值点的特征显著度Crf[x，y，e最大值作 为特征点，得到不依赖于比例的特征点集
其中Ccf[x，y，eI=dogc[e][x,y]—
(dogc[e[x+l，y+ dogc[e[x，y+lj+ dogc[e[x-l，y]+ dogc[e[x，y-l+ dogcle-l[x,y+ dogc[e+lx,yl) / 6;
(3)搜索相邻两幅图像之间的特征点的同名点对 (4)利用RANSAC容错算法计算相邻图像之间的Homograph变换关系利用RANSAC容错算法找出相邻两幅图像t-l， t帧之间正确的同名点对(x"，k，y"，k)和 (xtk，ytk)， k=l，..，m ， m》4为正确的同名点对；t=2 N， N为图像序列的图像幅数； 解下面方程
x,
-1,1
■1,1
力—U1 -X,lA-!,1
少,-
1 u",
-W'-1,1 少/,w l，附
12
13
21
22
23
31
得到相邻两幅图像t-l，t帧之间的Homograph变换关系Hn产A.
'32
入l
X, m
;其中^
(5)利用连乘公式和融合技术得到拼接结果
根据相邻两幅图像t-l，t帧之间的Homograph变换关系通过如下矩阵乘法连接起来
如下式得到第1幅图像与第t幅图像之间的变换关系//,
当t=2
时，//1，,一1=//11为单位矩阵；
先将第1幅图像Wx，，y，)直接拷贝到F"x，y)，再采用如下公式将第1幅图像F"x，y) 与第2幅图像12(x，，y，)拼接得到拼接图像F2(x,y)，将拼接图像F办，y)与第3幅图像拼接 得到拼接图像F3(x，y),将拼接图像F"x，y)与第4幅图像拼接得到拼接图像F4(x，y)，……， 将拼接图像F^Kx，y)与第N幅图像拼接得到拼接图像FN(x，y)，这样从第1幅图像到第N 幅图像逐幅拼接得到最终拼接结果图像FN(x，y): Ft(x，y)= aIt(x，，y，) + (l-a)Ft—"x，y)其中t =2,3,4，….,N， a =0.3~1; 其中x'，y'通过下式计算得到
X
11
本发明可利用计算机多线程同时提取多幅图像的特征点集:对于有N个CPU的计算机， 先分配N个线程同时提取视频前N个待拼接图像的不变特征；这N个线程分别负责编号为 0，1，2，...，N-1的N个待拼接图像的特征点集，最先完成的那个线程则自动负责编号为N的第 N+l个待拼接图像的特征点集提取，接着第二完成的那个线程则自动负责编号为N+l的第N+2个待拼接图像的特征点集提取，这样依次交替前进，直到完成全部待拼接图像的特征点 集提取。
上述步骤(3)中搜索相邻两幅图像之间的特征点的同名点对可按下述方法实现 按照每个特征点x，y为中心的(nXn) gaussc[e图像像素域的梯度方向ori统计像素域内 ori在各个方向的直方图，出现次数最多的ori即为主方向；其中ori=arc tan[dy / dxj， dy=gaussc[e[x,y+l卜gaussc[ex，y画l，dx= gaussc[e] [x+l，y] - gaussc[ej [x画l，y；再将该特征点 周围的(nXn) gaussc[e]图像像素分布按照各自梯度主方向进行纠正；纠正后位于该特征点周 围的(nXn)gaussc[e]图像像素分布就构成该特征点的描述子f[l， 2， ...n2];其中n=3~5;
根据特征点的描述子在nXn维描述子空间中的距离搜索出相邻两幅图像之间的特征点 同名点对。
上述相邻两幅图像之间的特征点同名点对可按下法确定求出相邻两幅图像之一图像a 上的特征点？与另一图像1>上的特征点9的距离01)(!=^;(//^]-/9
I， p=l，...r， r是图像b上特征点总数，则Dpq的最小值对应的二特征
点即构成一同名点对；按此方法找出相邻两幅图像中的其它同名点对。
本发明还可采用2叉树快速模式分类算法搜索相邻两幅图像之间的同名点对。 本发明基于特征点容错匹配技术的大量多幅彩色或灰度图像帧的连续无缝拼接计算方 法及其计算机软件实现。该图像拼接方法既不需要任何地面控制点，也不需要任何关于相机 位置及姿态的信息，而是完全根据图像帧之间图像信息的关联关系确定的。
本发明提出一种彩色图像的最大显著度特征点自动提取方法，针对每个特征点，能自动 搜集特征显著度最大的颜色通道，这不仅大大提高了特征点的数量，而且也提高了特征点的 显著性和准确性。相对于灰度图像，彩色图像能生成更丰富的特征以便实现更准确稳定的图 像拼接效果。
本发明可采用并行计算方法，同时提取多个视频帧的特征点集用于拼接，使得图像拼接 效率成倍提高。该技术是的图像拼接中最耗时的环节——不变特征提取过程，实现了并行计 算。同时拼接过程中主程序不断地监测新提取出的特征点并用于拼接视频帧的计算,这样又实现了提取特征点集与拼接计算和输出过程之间的并行。
本发明采用一种考虑条件误差的容错匹配方法，使得本项拼接技术具有稳健性和容错 性。采用该方法拼接误差明显降低。
本发明可作为人机交互航片的校正方法，对拼接过程中累积的微小误差进行修正。 本发明的优点和效果
1.不需要控制点精度高，应用成本低，效率高
本发明可实现从变化场景的视频帧(如连续移动或旋转的摄像机拍摄的视频帧或连续多 幅图像)自动连续拼接成一幅完整图像的方法，该方法不需要相机位姿和地面控制点信息，考 虑视频(或图像序列)任意角度旋转，比例以及透视变换。拼接精度高。大量实验表明相对精
度能达到亚像素级(对于1024*1024像素的图像实验拼接误差<1像素)。实验结果见附图2至 附图7，其中附图3中飞机航带经过旋转以后图像仍能与前面已经过的路线图像吻合。能应 用在包括无人机军事侦察，月球、火星表面影像拼接，360。全景影像生成，国土资源调查， 卫星遥感对地观测图像分析等领域。该图像拼接方法既不需要任何地面控制点，也不需要任 何关于相机位置及姿态的信息，而是完全根据图像帧之间图像信息的关联关系确定的，这使 其在各个领域中的应用成本低，效率高。
本发明可实现从变化场景的视频帧(如连续移动或旋转的摄像机拍摄的视频帧或连续多 幅图像)连续拼接成一幅完整图像的方法，这种技术不需要相机位姿和场景控制点信息，考虑 视频(或图像序列)任意角度旋转，比例以及透视变换，实现了全自动彩色视频图像无缝拼接， 充分利用图像序列间显著性强的各种关联信息进行自动拼接计算，相邻帧拼接精度达到亚像 素，并且利用并行技术使得拼接速度成倍提高。 (b)并行效率高
由于釆用了并行技术，多帧图像特征提取过程，特征提取与拼接过程之间都实现了并行 运算。使得该方法在多核计算机上的运算速度成倍提高，能实现实时的，考虑旋转比例光照 变化的视频流拼接。
图l为本发明流程图2为本发明对600帧视频(每隔10帧拼接一次共60张图像)的拼接结果图3为本发明对3200帧视频(每隔10帧拼接一次共320张图像)的拼接结果，丛中可以
看出飞机飞行航带路线，也可以看出该算法是考虑了拼接过程中图像序列之间所存在的旋转
变换；
图4为本发明对3张卫星遥感影像的拼接结果；
图5为本发明对80帧视频(每隔10帧拼接一次共8张图像)的拼接结果；图6为本发明对用普通数码相机从5个任意角度拍摄的5张照片的拼接结果。
具体实施方式
1.理论基础
(1)多帧图像连续拼接技术
序列影像(如空中拍摄的地面遥感图像，用于拼接的全景场景图像等)可以利用多帧图 像连续拼接技术拼接成一幅完整的大范围空间分布的图像。根据计算机视觉理论，相邻帧图 像之间的空域变换关系可以用Homograph矩阵来描述，相邻帧之间匹配主要采用 Homograph矩阵得到两帧之间的透视变换关系，那么两幅图像上的像点P(P(xo，yo，l)和 P尸(A，ya)之间的空间变换关系表示为
尸,=雄o (1) 其中入为某一系数，H为一 3*3矩阵
/zn / 12 / 13 / 21 /z22 /z23
/731 /232 /233
这是一种考虑透视变换的空间图像变换关系，利用这种变换关系就能得到两幅图像与空
间面之间的位置关系a那么对于一序列图像j，k，l，m，n，...可以通过相邻两帧之间的这种变换关
系通过矩阵乘法连接起来如下式
i/y =/^*//w (2)
该方法不仅能得到任意帧(视频)图像所在的相对位置，而且能得到其对应的相对方向，实验 结果图2。图2为600帧视频(每隔10帧拼接一次共60张图像)的拼接结果，相邻帧平均拼接 误差<0.15像素，图中箭头坐标系表示起始，终止帧图像对应的映射矩形框。
(2)并行特征提取技术
实验发现图像不变特征提取是拼接过程中最耗时的过程，利用多线程同时计算多幅图像 的不变量特征，这样能使整个拼接效率在多核计算机中成倍增长。因为不同帧计算不变特征 过程是完全独立的，并不相互依赖，这种方法不仅可行，实现起来也非常简单。总体思想如 下假设计算机有n个CPU，视频每间隔m帧捕捉一个拼接帧。那么可先分配n个线程同时 提取视频前n个拼接帧图像的不变特征。这n个线程分别负责编号为0，l，2，...，n-l的n个待 拼接图像的不变量特征，最先完成的那个线程则自动负责编号为n(第ii+l拼接帧)的特征提 取，接着第二完成的那个线程则自动负责编号为n+l(第n+2拼接帧)的特征提取.....，这样依 次交替前进，能使最耗时的图像特征提取效率提高接近n倍。(3) 彩色图像特征提取技术 本发明采用一种彩色图像的最大显著度特征点自动提取方法，针对每个特征点，能自动
搜集特征显著度最大的颜色通道，这不仅大大提高了特征点的数量，而且也提高了特征点的
显著性和准确性。如果把所有通道的每一个特征全部收集起来，不仅会由于计算量爆增而降
低速度，而且对于灰度图像，3个通道信息重复，会造成大量重复特征，这使得最优匹配特
征点与次优匹配特征点的特征空间距离比值永远=1(一般要求该比值<0.5~0.6)，而最终造成
最优次优比值匹配算法也失效。
本发明定义显著度如下
Ccf[x，yl= dogc[ply[x，y
-(dogc[ply[x+l，y]+ dogc[ply[x，y+l+ dogc[ply] [x-l，y]+ dogc[plyx，y誦l
+dogc[ply-l[x,y+ dogc[ply+l[x，y)/6
其中c^r，g，W表示颜色通道，ply表示不同高斯模糊程度得到的dog图像的不同itval层。
在图像金字塔提取不变特征点位过程中可通过上式选择Crf[x，yCgfx，yl Cbflx，y，相对于 灰度图像，彩色图像能生成更丰富的特征以便实现更准确稳定的图像拼接效果。
(4) 特征误差容错拼接技术
本发明对BBF算法选择的同名点对信息进行相邻拼接帧拼接容错计算。理论上只需要4 个点就可以得到相邻拼接帧之间的Homograph矩阵。实际情况是前期的同名点对数量远远 大于4，这可以用最小2乘法得到一个最优解。而另一方面，前期BBF方法得到的同名点对 不可能100%正确，采用RANSAC容错算法可剔除掉错误的点对，但RANSAC算法往往只 考虑最大化符合几何误差条件的点的数量，并未考虑同名点特征的相似程度。比如BBF搜 索一共得到150对同名点对，而满足几何误差<0.8像素的同名点对最多有100对，而满足几 何误差<0.8像素的100对同名点组合可能有30种，其中有可能会选错。本发明则进一步考 虑了匹配点之间的特征空间距离，能在这30种组合中进一步选择匹配点之间的特征空间距 离最小的最优点集。这一技术使得拼接的精度和稳定性得到更大提高。 2.技术条件
拼接算法可在未知飞机自身坐标，姿态以及地面控制点条件下，完全根据图像信息进行 拼接，拼接计算时考虑旋转，比例，光照，对比度以及小量噪声及模糊，通过插值达到亚像 素级精度。拼接算法稳定可靠。
建议相邻拼接帧有40% (最好60%以上)以上重叠影像区，就能达到很好的拼接效果。
采用DirectShow技术支持多种视频格式(支持默认两种视频分辨率320*240,640*480); 也支持多张序列影像之间的拼接(各个图像的大小比例不限)。
通过无线传输装置与视频接口可实现地面视频图像软件实时观察无人机空中采集的视频。
本发明比较重要的一个应用是实现遥感影像的无控制点自动拼接。这需要一个用于装载 相机的小型无人机装置或安装垂直向下针孔摄像机，为防止摔坏可采用伞降方式降落。在这 些无人机上能安装垂直向下的摄像机用于拍摄地面视频影像。由于相机分辨率和视野范围有 限，始终无法得到完整的大范围地面图像，这正好有必要利用本发明提出的自动视频影像拼 接技术来实现。 3、实现过程
如图1所示，本发明具体实现步骤如下
(1) 获取视频中的图像帧序列
采用数码相机获取图像序列或者采用数码摄像机获取视频；对于图像序列，相邻图像之 间有40%以上的重叠影像；对于视频，通过视频解码得到图像序列，且相邻图像有40%以 上的重叠影像;如采用摄像机无人机航拍图片的方法获取图像序列，不需要飞机姿态和地面控 制点信息。
(2) 提取图像序列中每幅图像的特征点集
a、 首先建立图像多尺度金字塔；当图像为彩色图像时，多尺度金字塔为RGB三个颜 色通道的多尺度金字塔；
b、 对于多尺度金字塔的每层图像进行z=4~8次高斯模糊得到z+l层高斯模糊图像 gausse[i，i=0，l，2， ...，z，其中gaussc
比6个相邻元素值 dogc[e][x+l，y]，dogc[e[x，y+l，dogc[el[x-l，y，dogc[e][x，y-l，dogc[e-l]x,y]，dogce+l][x,y]都大的 局部极值点；其中x，y是像素坐标，x-l，y、 x+l，y、 x，y+l和x，y-l分别表示x，y左邻、右邻、 上邻和下邻像素坐标；d0ge [ex，y]表示颜色通道c中第e层模糊图像上坐标x，y处的像素值；
当图像为灰色图像时，局部极值点作为特征点进入步骤e;当图像为彩色图像时，进 入步骤d找出特征点后，再进入步骤e;
d、 提取步骤c中每层doge[e]图像里面的局部极值点的特征显著度Cef[x，y，e最大值作 为特征点，得到不依赖于比例的特征点集
其中Ccf[x，y，e]=dogc[e][x,y一
(dogce[x+l，y+dogc[e[x，y+l]+dogc[e[x-l，y]+dogc[ex，y-l+ dogc[e-l[x，y+ dogc[e+l[x，y]) / 6;
选择CRf[x，yI 、CGf[x，y和CBf[x，yI三者最大值作为特征点，对于CRf[x，y、CGfx，yI和CBfx，yl中只有一个是局部极值点，则以其作为特征点。
e、按照每个特征点x，y为中心的(nXn) gaiisse[el图像像素域的梯度方向ori统计像素 域内ori在各个方向的直方图，出现次数最多的ori即为主方向；其中ori-arctan[dy/dx， dy=gaussc[e] [x，y+l-gaussc[el [x，y誦l，dx= gaussc[e] [x+l，y-gaussc[e[x陽l，y；再将该特征点 周围的(nXn)gausse[e图像像素分布按照各自梯度主方向进行纠正；纠正后位于该特征点周 围的(nXn)gaussc[e]图像像素分布就构成该特征点的描述子f[l， 2， ...n2；其中n=3~5 (如 取4);
本发明对于彩色图像，采用彩色图像的最大显著度特征点自动提取方法，针对每个特征 点，能自动搜集特征显著度最大的颜色通道，这不仅大大提高了特征点的数量，而且也提高 了特征点的显著性和准确性。
本发明可利用计算机多线程同时提取多幅图像的特征点集:对于有N个CPU的计算机， 先分配N个线程同时提取视频前N个待拼接图像的不变特征；这N个线程分别负责编号为 0，1,2，...，N-1的N个待拼接图像的特征点集，最先完成的那个线程则自动负责编号为N的第 N+l个待拼接图像的特征点集提取，接着第二完成的那个线程则自动负责编号为N+l的第 N+2个待拼接图像的特征点集提取，这样依次交替前进，直到完成全部待拼接图像的特征点 集提取。
(3)搜索匹配同名点对
搜索相邻两幅图像之间的特征点的同名点对根据特征点所具有的描述子在特征空间中 的距离搜索出相邻两幅图像之间的特征点同名点对(即相邻两幅图像中一图像上的特征点与
另一图像上的特征点的距离最小的二个特征点即构成一同名点对)；搜索相邻两幅图像之间 的特征点同名点对可按现有技术已有的方法进行；也可按下法进行
按照每个特征点x，y为中心的(iiXn) gaussc[e]图像像素域的梯度方向ori统计像素域内 ori在各个方向的直方图，出现次数最多的ori即为主方向；其中ori-arc tan[dy / dx， dy=gaussc[e][x，y+l]-gaussc[e[x,y-l]， dx= gaussc[e]x+l，yl - gaussc[e][x-l,yj;再将该特征点 周围的(nxn)gaussc[e]图像像素分布按照各自梯度主方向进行纠正；纠正后位于该特征点周 围的(nXn)gausse[e图像像素分布就构成该特征点的描述子f1， 2， ...n2];其中n=3~5;
根据特征点的描述子在nXn维描述子空间中的距离搜索出相邻两幅图像之间的特征点 同名点对
求出相邻两幅图像之一图像a上的特征点p与另一图像b上的特征点q的距离 DPq=f;a》']-/J。)2，或Dpff 1/。p[/]-/J/]1，其中力[/]、 /q[/]分别为特征点p、 q的
,=1 f=l描述子，p=l，...r， r是图像b上特征点总数，则Dpq的最小值对应的二特征点即构成一同名
点对；按此方法找出相邻两幅图像中的其它同名点对(其个数应至少满足下述步骤(4)中
得到的正确的同名点对不少于4个)。
为提高匹配效率，可采用BBF2叉树快速模式分类算法，快速搜索相邻两帧之间的同名
点对，为下一步进行相邻帧容错拼接计算作准备。步骤(3)-(6)不断获取步骤(2)已得到的帧特
征集完成拼接工作。除前两帧外，步骤(3)-(6)与步骤(2)也都实现了并行，这样实现了边提取多
帧特征，边进行拼接操作并输出当前部分的拼接结果。
(4)容错算法计算相邻帧之间的Homograph单应变换关系
在RANSAC容错算法基础上进一步考虑了匹配点之间的特征空间距离，能在满足几何
误差最小的最优组合中进一步选择匹配点之间的特征空间距离最小的最优点集。这一技术使
得拼接的精度和稳定性得到更大提高。 利用RANSAC容错算法计算相邻图像之间的Homograph变换关系
利用RANSAC容错算法找出相邻两幅图像t-1, t帧之间正确的同名点对(x,.,，k，yM，k)和 (xtk,ytk)， k=l，..，m， m^4为正确的同名点对(理论上有4个正确的同名点对即可实现本 发明，但正确的同名点对越多效果越好)；t = 2 N， N为图像序列的图像幅数；
解下面方程
少,-
一i,i
乂-
一^ ,m少/ —l，m
11
"2
13
21
22
23
'31
'32
,，l
凡， 乂,,
得到相邻两幅图像t-l，t帧之间的Homograph变换关系H"，产
■^3] 3》32 "^33 ■
;其中^
(5)将Homograph矩阵左上角2*2子阵单位化(本步骤可选)
若影像倾斜比较厉害，可采用正交化Homograph矩阵方法把图像纠正成正射影像，将
/z13
Homograph矩阵// =〃22转换成<formula>formula see original document page 16</formula>
其中^
<formula>formula see original document page 16</formula>
这保证了 Homograph矩阵左上角2*2子阵一定是单位正交矩阵。 (6)利用连乘公式和融合公式获取序列帧转换关系得到拼接结果 利用连乘公式和融合技术得到拼接结果
根据相邻两幅图像t-l，t帧之间的Homograph变换关系通过如下矩阵乘法连接起来
如下式得到第1幅图像与第t幅图像之间的变换关系F,
当t=2
时，/^,—,//u为单位矩阵；
先将第1幅图像I"x，,y，)直接拷贝到F"x,y)，再采用如下公式将F,(x，y)与第2幅图像 12(x，，y，)拼接得到拼接图像F2(x，y)，将拼接图像F办，y)与第3幅图像13(x，，y，)拼接得到拼 接图像F3(x，y)，将拼接图像F办，y)与第4幅图像14(x，，y，)拼接得到拼接图像F4(x，y)，……， 将拼接图像FN-,(x，y)与第N幅图像I"x，，y，)拼接得到拼接图像FN(x，y)，这样从第1幅图 像到第N幅图像逐幅拼接得到最终拼接结果图像FN(x，y):
F t(x，y) = a I t(x，，y，) + (1- a ) F"(x，y)其中t =2，3，4，..…N ，a =0.3 1; 其中x，,y，通过下式计算得到<formula>formula see original document page 16</formula>
其中= A，,—,A—M ，(方程中包含l，x，，y，三个未知数共有3个方程，可
以求解得到)。
采用本发明上述方法对采用数码相机获取图像序列或者采用数码摄像机获取视频的拼 接结果见图2—图6:图2为本发明对600帧视频(每隔10帧拼接一次共60张图像)的拼接结 果图；图3为本发明对3200帧视频(每隔10帧拼接一次共320张图像)的拼接结果，丛中可 以看出飞机飞行航带路线,也可以看出该算法是考虑了拼接过程中图像序列之间所存在的旋 转变换；图4为本发明对3张卫星遥感影像的拼接结果；图5为本发明对80帧视频(每隔10 帧拼接一次共8张图像)的拼接结果；图6为本发明对用普通数码相机从5个任意角度拍摄 的5张照片的拼接结果。由图2 —图6可见本方法用于无控制点图像拼接具有精度高，能抵 抗视频或图像序列在拍摄过程中的旋转，比例变化，光照变化和少量噪声等影响的效果，具 有较稳定的拼接效果。
权利要求
1. 一种无控制点图像拼接方法，包括以下步骤(1)获取图像序列采用数码相机获取图像序列或者采用数码摄像机获取视频；对于图像序列，相邻图像之间有40％以上的重叠影像；对于视频，通过视频解码得到图像序列，且相邻图像有40％以上的重叠影像；(2)提取图像序列中每幅图像的特征点集a、首先建立图像多尺度金字塔；当图像为彩色图像时，多尺度金字塔为RGB三个颜色通道的多尺度金字塔；b、对于多尺度金字塔的每层图像进行z＝4～8次高斯模糊得到z+1层高斯模糊图像gaussc[i]，i＝0，1，2，...，z，其中gaussc
为该层原始图像；并获得到z层dogc[e]图像，e＝0，1，2，...，z-1；其中dogc[e]＝gaussc[e+1]—gaussc[e]；c代表灰色图像或彩色图像；当图像为彩色图像时，c＝{R，G，B}，R、G、B表示红、绿、蓝三个颜色通道；c、寻找e＝1，2，...，z-2层中每层dogc[e]图像里面的满足dogc[e][x，y]比6个相邻元素值dogc[e][x+1，y]，dogc[e][x，y+1]，dogc[e][x-1，y]，dogc[e][x，y-1]，dogc[e-1][x，y]，dogc[e+1][x，y]都大的局部极值点；其中x，y是像素坐标，x-1，y、x+1，y、x，y+1和x，y-1分别表示x，y左邻、右邻、上邻和下邻像素坐标；dogc[e][x，y]表示颜色通道c中第e层模糊图像上坐标x，y处的像素值；当图像为灰色图像时，局部极值点作为特征点进入步骤(3)；当图像为彩色图像时，进入步骤d找出特征点后，再进入步骤(3)；d、提取步骤c中每层dogc[e]图像里面的局部极值点的特征显著度Ccf[x，y，e]最大值作为特征点，得到不依赖于比例的特征点集其中Ccf[x，y，e]＝dogc[e][x，y]—(dogc[e][x+1，y]+dogc[e][x，y+1]+dogc[e][x-1，y]+dogc[e][x，y-1]+dogc[e-1][x，y]+dogc[e+1][x，y])/6；(3)搜索相邻两幅图像之间的特征点的同名点对；(4)利用RANSAC容错算法计算相邻图像之间的Homograph变换关系利用RANSAC容错算法找出相邻两幅图像t-1，t帧之间正确的同名点对(xt-1，k，yt-1，k)和(xtk，ytk)，k＝1，..，m，m≥4为正确的同名点对；t＝2～N，N为图像序列的图像幅数；解下面方程得到相邻两幅图像t-1，t帧之间的Homograph变换关系其中h33＝1；(5)利用连乘公式和融合技术得到拼接结果根据相邻两幅图像t-1，t帧之间的Homograph变换关系通过如下矩阵乘法连接起来如下式得到第1幅图像与第t幅图像之间的变换关系H1，tH1，t＝H1，t-1Ht-1，t；当t＝2时，H1，t-1＝H1，1为单位矩阵；先将第1幅图像I1(x’，y’)直接拷贝到F1(x，y)，再采用如下公式将F1(x，y)与第2幅图像I2(x’，y’)拼接得到拼接图像F2(x，y)，将拼接图像F2(x，y)与第3幅图像I3(x’，y’)拼接得到拼接图像F3(x，y)，将拼接图像F3(x，y)与第4幅图像I4(x’，y’)拼接得到拼接图像F4(x，y)，……，将拼接图像FN-1(x，y)与第N幅图像IN(x’，y’)拼接得到拼接图像FN(x，y)，这样从第1幅图像到第N幅图像逐幅拼接得到最终拼接结果图像FN(x，y)Ft(x，y)＝αIt(x’，y’)+(1-α)Ft-1(x，y)其中t＝2，3，4，.....N，α＝0.3～1；其中x’，y’通过下式计算得到其中H1，t＝H1，t-1Ht-1，t。
2.根据权利要求1所述的方法，其特征在于利用计算机多线程同时提取多幅图像的特征点 集对于有N个CPU的计算机，先分配N个线程同时提取视频前N个待拼接图像的不 变特征；这N个线程分别负责编号为0，1，2,…,N-l的N个待拼接图像的特征点集，最先完成的那个线程则自动负责编号为N的第N+l个待拼接图像的特征点集提取，接着第二 完成的那个线程则自动负责编号为N+l的第N+2个待拼接图像的特征点集提取，这样依 次交替前进，直到完成全部待拼接图像的特征点集提取。
3. 根据权利要求1或2所述的方法，其特征在于按下述方法实现步骤(3)中搜索相邻两幅图 像之间的特征点的同名点对按照每个特征点x，y为中心的(nXn) gaussUel图像像素域的梯度方向ori统计像素域 内ori在各个方向的直方图，出现次数最多的ori即为主方向；其中ori=arctan[dy/dxI， dy=gausscfelx，y+ll-gausscej[x，y-ll， dx= gausscejx+l，yj - gaussce"x-l，yl;再将该特 征点周围的(nXn) gausse[e]图像像素分布按照各自梯度主方向进行纠正；纠正后位于该 特征点周围的(nXn) gaussjej图像像素分布就构成该特征点的描述子f[l， 2， ...n2j;其 中n=3~5;根据特征点的描述子在nXn维描述子空间中的距离搜索出相邻两幅图像之间的特 征点同名点对。
4. 根据权利要求3所述的方法，其特征在于按下法确定相邻两幅图像之间的特征点同名点 对求出相邻两幅图像之一图像a上的特征点p与另一图像b上的特征点q的距离DPq=f(/。PW-厶W])2 ， P=l,...r, r是图像b上特征点总数，则Dpq的最小值对应的二,.=1特征点即构成一同名点对；按此方法找出相邻两幅图像中的其它同名点对。
5. 根据权利要求3所述的方法，其特征在于按下法确定相邻两幅图像之间的特征点同名点 对求出相邻两幅图像之一图像a上的特征点p与另一图像b上的特征点q的距离DPq=^]| |， p-l，...r， r是图像b上特征点总数，则Dpq的最小值对应的二特征点即构成一同名点对；按此方法找出相邻两幅图像中的其它同名点对。
6. 根据权利要求1或2所述的方法，其特征在于采用2叉树快速模式分类算法搜索相邻 两幅图像之间的同名点对。
全文摘要
本发明涉及一种无控制点图像拼接方法，包括以下步骤(1)获取图像序列；(2)提取图像序列中每幅图像的特征点集；(3)搜索相邻两幅图像之间的特征点的同名点对；(4)利用RANSAC容错算法计算相邻图像之间的Homograph变换关系；(5)利用连乘公式和融合技术得到拼接结果。本发明针对每个特征点，能自动搜集特征显著度最大的颜色通道，这不仅大大提高了特征点的数量，而且也提高了特征点的显著性和准确性。相对于灰度图像，彩色图像能生成更丰富的特征以便实现更准确稳定的图像拼接效果。本发明可作为人机交互航片的校正方法，对拼接过程中累积的微小误差进行修正。本发明不需要控制点精度高，应用成本低，效率高。
文档编号H04N5/262GK101442619SQ20081023742
公开日2009年5月27日 申请日期2008年12月25日 优先权日2008年12月25日
发明者进 刘, 李德仁 申请人:武汉大学