视频拼接矫正的方法与流程

文档序号:14679107发布日期:2018-06-12 21:56阅读:361来源:国知局

本发明涉及视频处理技术领域,具体涉及一种视频拼接矫正的方法。



背景技术:

全景视频是一种用3D摄像机进行全方位360度进行拍摄的视频,用户在观看视频的时候,可以随意调节视频上下左右进行观看。全景视频在拍摄过程中需要多台摄像机从不同角度同时进行拍摄,最后将各镜头拍摄得到的视频进行拼接,从而形成全景视频。

全景视频拼接过程中,拼接处经常出现错误。目前的技术是手动修补,在A镜头中选取特征点,然后在B镜头中选取对应的特征点,进行人工特征点匹配,计算拼接几何矩阵拼接A,B镜头内容。

现有技术的缺点在于:手动修补存在肉眼误差,更依靠个人的经验,对于刚入行的人而言通常修补的画面不能达到需求。



技术实现要素:

本发明的目的在于克服现有技术的不足,提供一种视频拼接矫正的方法,用于自动完成全景视频的拼接,使用计算机进行拼接可以减少人为误差,且操作简单上手容易。

本发明的目的是通过以下技术方案来实现的:

视频拼接矫正的方法,其特征在于包括以下步骤:

S01:用矩形框选中全景画面中拼接有问题的区域;

S02:使用特征点算法计算矩形框内选中区域内图像的特征点;

S03:矩形框区域内的特征点重新自动匹配,提高该区域特征点匹配精度;

S04:利用矩形框区域内匹配点和矩形框外的匹配点重新计算拼接参数。

S05:按照新计算的拼接参数完成全景视频的二次拼接。

优选的,所述特征点算法可以是FAST特征点检测算法或Harris角点检测算法或SIFT算法、SURF算法,用于检测特征点的位置。

作为本方案的进一步改进,为了提交匹配精度,应适当的增加矩形框内选中区域内的特征点个数。

优选的,所述步骤S03中的特征点重新自动匹配包括以下子步骤:

S11:对矩形框区域内的图像A选中某个特征点XN;

S12:在矩形框区域内的图像B中搜索与XN特征值相近的特征点YN、然后进行排序,选择最相近的特征点Y1和Y2,其中N为大于0的整数;

S13:定义k值,并计算如果K≤k,则该特征点匹配成功,否则计算下一个特征点,其中k取值为0.7~0.9。

优选的,所述XN与YN是向量。

进一步的,所述特征点匹配成功后则从所有特征点中移除特征点XN和YN。

更进一步的,所述步骤S04中的新计算拼接参数是在匹配成功的特征点中,选中相似度最近的四组匹配点,即|YN-XN|最小的四组点计算变换参数。

作为本方案的进一步改进,还包括检查步骤,检测画面中的线型特征点,如果线型特征点位置连续,则效果合适,如果特征点不连续,即特征点位置间隔超过一定阈值,则效果不合适,需要重新计算,则以问题区域为中心,自动缩小选择区域,返回步骤S01继续执行直至如果特征点连续为止。

本发明的有益效果是:和传统的手工拼接相比较,本发明的优势在于仅需手动将拼接有问题的区域框选出来,然后将本发明提供的方法通过程序语言植入系统,从而系统可以自动进行特征点匹配、参数计算等步骤,从而完成图像的自动拼接矫正。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合具体实施例进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。

视频拼接矫正的方法,其特征在于包括以下步骤:

S01:用矩形框选中全景画面中拼接有问题的区域;

S02:使用特征点算法计算矩形框内选中区域内图像的特征点;

S03:矩形框区域内的特征点重新自动匹配,提高该区域特征点匹配精度;

S04:利用矩形框区域内匹配点和矩形框外的匹配点重新计算拼接参数。

S05:按照新计算的拼接参数完成全景视频的二次拼接。

优选的,所述特征点算法可以是FAST特征点检测算法或Harris角点检测算法或SIFT算法、SURF算法,用于检测特征点的位置。

作为本方案的进一步改进,为了提交匹配精度,应适当的增加矩形框内选中区域内的特征点个数。

优选的,所述步骤S03中的特征点重新自动匹配包括以下子步骤:

S11:对矩形框区域内的图像A选中某个特征点XN;

S12:在矩形框区域内的图像B中搜索与XN特征值相近的特征点YN、然后进行排序,选择最相近的特征点Y1和Y2,其中N为大于0的整数;

S13:定义k值,并计算如果K≤k,则该特征点匹配成功,否则计算下一个特征点,其中k取值为0.7~0.9。

优选的,所述XN与YN是向量。

进一步的,所述特征点匹配成功后则从所有特征点中移除特征点XN和YN。

更进一步的,所述步骤S04中的新计算拼接参数是在匹配成功的特征点中,选中相似度最近的四组匹配点,即|YN-XN|最小的四组点计算变换参数。

作为本方案的进一步改进,还包括检查步骤,检测画面中的线型特征点,如果线型特征点位置连续,则效果合适,如果特征点不连续,即特征点位置间隔超过一定阈值,则效果不合适,需要重新计算,则以问题区域为中心,自动缩小选择区域,返回步骤S01继续执行直至如果特征点连续为止。

下面结合附图对本发明进一步说明

如图1所示,一种视频拼接矫正的方法,首先找到已经拼接完成的全景图像效果不佳的区域,用矩形框选出该区域,接着将镜头组图像划分为两个区域;通过框选将用来拼接的图像划分为矩形框内和矩形框外,之后的主要对矩形框内区域进行操作;重新计算每个镜头组图像在矩形区域内部的特征点,本实施中采用SIFT算法,但不局限于SIFT算法。与矩形框没有交集的图像不用计算,为了提交匹配精度,应适当的增加该区域内的特征点个数,特征点个数属于用户自定义选择,用户可以根据当前图像拼接的误差大小选择特征点过数,例如偏差较大可以选用较少的特征点进行矫正,如果图像拼接偏差已经非常小,只有细微之处存在误差,则需要选择较多的特征点进行匹配,优选的,特征点的个数至少应在3个以上。

矩形区域内的特征点根据算法重新自动匹配,提高该区域特征点匹配精度。通常匹配算法如下:假设矩形框内的图像由图像A和图像B拼接而成,首先在图像A中选中区域的某个特征点X1,然后在图像B中搜索特征值相近的特征点YN,然后排序,假设最相近的两个特征点为Y1和Y2,计算如果K小于或等于某个阈值k(k设为0.7~0.9之间),这认为该特征点匹配成功,从待匹配的特征点队列中移除特征点X1,Y1,继续匹配其他的点。如果K大于阈值k,则计算下一个特征点。利用新计算矩形区域内匹配点和之前矩形框外面的匹配点重新计算拼接参数。在匹配点中,选中相似度最近的四组匹配点(即|YN-XN|最小的四组点),计算变换参数,其计算公式如下:

根据该公式求出m1,m2…..m8.其中式中xmoi,ym oi为图像A上第m点的横、纵坐标,xm′oi,ym′oi为图像B上第m点的横、纵坐标。

其中各参数为

然后按照上述公式计算出的新参数进行拼接,从而得到矫正拼接结果,最后判断效果是否满意。检测画面中的线型特征点,如果线型特征点位置连续,则效果合适,如果特征点不连续(特征点位置间隔超过一定阈值),则效果不合适,需要重新计算,则以问题区域为中心,自动缩小选择区域,返回初始步骤,重新开始计算。

以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1