专利名称：抗字幕干扰的图像无缝自动拼接方法
技术领域：
本发明属于计算机视觉图像处理技术领域，特别是涉及一种抗字幕干扰的全自动视频图像无缝拼接技术。
背景技术：
图像自动拼接技术在遥感勘测，军事侦察，航天探索(如月球，火星表面影像拼接)、360°全景影像生成以及无人机遥感影像自动拼接等领域有着广泛的需求和应用。传统的影像拼接过程一旦存在旋转，比例、光照变换等干扰因素往往需要人工参与，费时费力，精度不高，难以实现自动化。特别是在军事领域中往往无GPS可用，相机姿态，位置都无法准确获知，迫切需要一种无控制点及相机姿态的实时视频图像自动拼接方法。图像拼接就是将多幅相互间存在重叠部分的图像序列进行空间匹配对准，经采样融合后形成一幅包含各图像序列信息的、宽视角场景的、完整的、高清晰的新图像的过程。目前图像的拼接的研究工作已经成为一个需求热点。很多传统的配准拼接方法，都存在拼接精度差，效率低，自动化程度低等弊病，有的需要飞机或者相机的姿态和GPS信息或者地面控制点的绝对坐标，这在很多情况下是难以提供的，例如在战时根本无法得到GPS信息、航拍未知地域(如火星表面)控制点的信息难以获知，有的难以对抗旋转，比例变化和光照的干扰影响。因此对于遥感勘探或者军事侦察工作者而言，迫切需要一种考虑旋转、比例和光照变化的快速视频图像自动拼接方法。并且，有很多视频在播放过程中会存在字幕，而这些字幕通常会在一些比较固定的区域出现(如图像的正下方)。字幕的存在会对RANSAC匹配算法造成很大的影响，因此需要在匹配前排除掉字幕区域的sift特征。因此，自动视频图像拼接主要涉及以下4方面技术1.图像特征点自动提取，必须对于各种类型的图像，都能稳定有效的提取到特征点，不依赖于图像旋转、大小，分辨率，光照及色彩饱和度的变化。2.被拼接图像或视频帧之间同名特征点的自动匹配，这个过程必须快速稳健。3.字幕区域的特征滤除。4.快速融合技术。灰度图像sift 特征的方法[LOWE D G, Distinctive image features fromscale-1nvariant key points[J] · International journal of Computer vision, 200460(2) :91-110]通过在图像多尺度空间金字塔中寻找极值点确定较为稳定的尺度不变的特征点位置；通过统计梯度方向直方图确定特征点方向。文献主要利用这种方法实现对被旋转和遮挡的物体的识别。但该文献并未讨论视频图像拼接中的如下几个关键问题1.字幕区域的特征滤除。2.快速融合技术。这两个关键问题，都是本技术领域亟待解决的。
发明内容
本发明正是针对上述问题提供一种无控制点图像拼接方法，该方法可实现从变化场景的视频帧(如连续移动或旋转的摄像机拍摄的视频帧或连续多幅图像)连续拼接成一幅完整图像，不需要相机位姿和地面控制点信息、考虑视频(或图像序列)任意角度旋转、比例以及透视变换。本发明的技术方案为一种抗字幕干扰的图像无缝自动拼接方法，包括以下步骤步骤I，获取图像序列；步骤2，提取图像序列中每幅图像的特征点集；步骤3，过滤图像序列中每幅图像的字幕区域；步骤4，搜索图像序列中相邻两幅图像之间的特征点的同名点对； 步骤5，从步骤4搜索结果中找出图像序列中相邻两幅图像之间的特征点的正确的同名点对，根据正确的同名点对计算相邻两幅图像之间的Homograph变换关系；步骤6,根据步骤5所得图像序列中相邻两幅图像之间的Homograph变换关系,获取拼接几何转换矩阵；步骤7，根据步骤6所得拼接几何转换矩阵，对图像序列中所有图像进行无缝融
口 ο而且，步骤3实现方式如下，设图像序列中某幅图像的特征点集中任一特征点的坐标(feat_>x, feat_>y),特征点的尺度为feat_>scale,首先，根据坐标(feat_>x, feat_>y)计算特征中心到字幕区域的距离dist,然后，判断是否diSt>KXfeat->SCale，是则保留，否则认为特征点是字幕而删除。而且，步骤4实现方式如下，设特征空间为nXn空间，计算相邻两幅图像中第I张图像上的第P个特征点与第2张图像上的第q个特征点的距离Dpq = Σ(/Ιμ[ ]~ f7Ji])
i=l如果Dpq ( Dpr, r=l, 2，是第2张图像上特征点总数,那么第I张图像上的第P个特征点与第2张图像上的第q个特征点是同名点；其中，Dpr是第I张图像上的第P个特征点到第2张图像上的第r个特征点在特征空间里的距离，flp[i]，f2q[i]分别为第I张图上第P个特征点的第i维特征、第2张图上第q个特征点的第i维特征i = 1，2，…nXrio而且，步骤5实现方式如下，设图像序列中相邻两幅图像分别为第t-Ι帧、第t帧，用RANSAC容错算法找出第t-1, t巾贞图像之间正确的同名点对并记为(XtO yt-1,k)和(xtk，Ytk)，k = I, · ·，m。，m。为正确匹配点总数，t = 2，..，N，N为图像序列的图像幅数。解下面方程
权利要求
1.一种抗字幕干扰的图像无缝自动拼接方法，其特征在于，包括以下步骤步骤I，获取图像序列；步骤2，提取图像序列中每幅图像的特征点集；步骤3，过滤图像序列中每幅图像的字幕区域；步骤4，搜索图像序列中相邻两幅图像之间的特征点的同名点对；步骤5，从步骤4搜索结果中找出图像序列中相邻两幅图像之间的特征点的正确的同名点对，根据正确的同名点对计算相邻两幅图像之间的Homograph变换关系；步骤6,根据步骤5所得图像序列中相邻两幅图像之间的Homograph变换关系,获取拼接几何转换矩阵；步骤7，根据步骤6所得拼接几何转换矩阵，对图像序列中所有图像进行无缝融合。
2.根据权利要求1所述抗字幕干扰的图像无缝自动拼接方法，其特征在于步骤3实现方式如下，设图像序列中某幅图像的特征点集中任一特征点的坐标(feat_>x, feat->y),特征点的尺度为feat_>scale,首先，根据坐标(feat_>x, feat->y)计算特征中心到字幕区域的距离dist,然后，判断是否diSt>KXfeat->SCale，是则保留，否则认为特征点是字幕而删除。
3.根据权利要求2所述抗字幕干扰的图像无缝自动拼接方法，其特征在于步骤4实现方式如下，设特征空间为nXn空间，计算相邻两幅图像中第I张图像上的第P个特征点与第2张图像上的第q个特征点的距离
4.根据权利要求3所述抗字幕干扰的图像无缝自动拼接方法，其特征在于步骤5实现方式如下，设图像序列中相邻两幅图像分别为第t-Ι帧、第t帧，用RANSAC容错算法找出第t-1，t 中贞图像之间正确的同名点对并记为(Xt-U, yt-1,k)和(xtk，ytk)，k = I, · ·，m。，m。为正确匹配点总数，t = 2，..，N，N为图像序列的图像幅数。解下面方程
5.根据权利要求4所述抗字幕干扰的图像无缝自动拼接方法，其特征在于步骤6实现方式如下，根据第t-1，t帧图像之间的Homograph变换关系得到第I幅图像与第t幅图像之间的变换关系 Hljt = Hljt^1HwjtO
6.根据权利要求5所述抗字幕干扰的图像无缝自动拼接方法，其特征在于对矩阵H1t左上角2x2矩阵正交化处理，得到处理后的矩阵H’ U=K1原始的矩阵H1, t，J 1，用处理后的矩阵H’u替换假设
7.根据权利要求5或6所述抗字幕干扰的图像无缝自动拼接方法，其特征在于步骤7实现方式如下，设图像序列中图像记为先将第I幅图像I1O^，y’)直接拷贝得到图像F1(Xj),再采用融合计算式逐幅将FwUy)与第t幅图像It(X’，y’ )拼接得到最终拼接结果图像Fn(X，y)，t=2，3，ν..··Ν;所述融合计算式为 Ft (X，y) = a It (X，，y’ ) + (1- a ) Ft^1 (x, y),其中，(x，y)是拼接结果图像上的坐标，(X’，y’ )是(x，y)对应单帧图像上的坐标，U，，y，)通过下式计算得到，
全文摘要
本发明提出一种抗字幕干扰的图像无缝自动拼接方法，可实现从变化场景的视频帧(如连续移动或旋转的摄像机拍摄的视频帧或连续多幅图像)连续拼接成一幅完整图像。这种技术不需要相机位姿和场景控制点信息、考虑视频(或图像序列)任意角度旋转，比例以及透视变换，实现了全自动彩色视频图像无缝拼接，充分利用图像序列间显著性强的各种关联信息进行自动拼接计算，相邻帧拼接精度达到亚像素，并且可利用并行技术使得拼接速度成倍提高。
文档编号G06T5/50GK103020934SQ20121053381
公开日2013年4月3日 申请日期2012年12月12日 优先权日2012年12月12日
发明者刘进, 眭海刚, 马国锐, 刘俊怡 申请人:武汉大学