一种基于三维重建的序列图像自动拼接方法与流程

本发明涉及图像处理领域，尤其是涉及一种基于三维重建的序列图像自动拼接方法。

背景技术：

lucasbd,kanadet1981年在第7届internationaljointconferenceonartificialintelligence上发表了题为aniterativeimageregistrationtechniquewithanapplicationtostereovision的文章，提出了光流法(opticalflow)来进行图像的配准。使光流成为当时图像配准的最佳算法。此类光流估计一般被认为需要实时的稠密采样来支持。虽然由粗到精的采样方法可以在某种程度上缓解这一约束，采样的规模和估计的速度依然有着内生的联系。broxt，malikj2011年在ieeetransactiononpatternanalysisandmachineintelligence(pami)的第33卷第3期发表了题为largedisplacementopticalflow:descriptormatchinginvariationalmotionestimation的文章，通过将丰富描述子，例如sift或hog描述子，引入变分光流法来解决匹配场景大规模位移的问题。在broxt的基础上，chenz,jinh,linz,cohens,wuy2013年在computervisionandpatternrecognition(cvpr)上发表了题为largedisplacementopticalflowfromnearestneighborfields的文章，采用位移分割的方法。xul,jiaj,matsushitay2012年在pami第34卷第9期发表了题为motiondetailpreservingopticalflowestimation的文章，通过减少由粗到精采样时所传递的初值的权重，并在每次尺度变化时尝试复原动作细节，来改善光流估计的性能。wangh,klasera,schmidc,liucl2011年在cvpr上发表了题为actionrecognitionbydensetrajectories的文章，采用基于运动边界柱状图的描述子，使光流匹配不受相机运动影响。liuc,yuenjtorralbaa2011年在pami第33第5期siftflow:densecorrespondenceacrossscenesanditsapplicationsliu通过引入sift算子，使光流能够进行语义级别的匹配。

songx,seneviratneld,althoeferk2011年在ieee/asmetransactionsonmechatronics第16卷第3期上发表了题为akalmanfilter-integratedopticalflowmethodforvelocitysensingofmobilerobots的文章，使用卡尔曼滤波对图像进行预处理，lempitskyv,rotherc,roths,blakea2009年在pami第32卷第8期发表了题为fusionmovesformarkovrandomfieldoptimization的文章，使用一个5x5的拉普拉斯算子对图像进行预处理来改善光流匹配的准确性。sund,suddertheb,blackmj2012年在cvpr上发表了题为layeredsegmentationandopticalflowestimationovertime的文章，采用新的图割优化法以及马尔科夫随机场改进分层光流模型，并在2013年cvpr上发表了题为afully-connectedlayeredmodelofforegroundandbackgroundflow的文章，提出一种全关联的分层模型，改善光流细节的恢复和大规模遮挡下的匹配性能。mullert,rannacherj,rabec,frankeu2011在cvpr上发表了题为feature-anddepth-supportedmodifiedtotalvariationopticalflowfor3dmotionfieldestimationinrealscenes的文章，使用立体相机与惯性感应元件，benosmanr,iengsh,clercqc,bartolozzic,srinivasanm2012年neuralnetworks第27卷第3期发表了题为asynchronousframelessevent-basedopticalflow的文章，提出使用异步事件驱动的人造视网膜辅助三维光流物体追踪。

lowedg1999年在internationalconferenceoncomputervision(iccv)会议上发表了题为objectrecognitionfromlocalscale-invariantfeatures的文章，提出了应用相当广泛的sift特征及其提取算法，并在2004年internationaljournalofcomputervision第60卷第2期发表了题为distinctiveimagefeaturesfromscale-invariantkeypoints的文章加以改进。sift使用128维的描述子，具有平移、缩放、旋转、尺度、光照、旋转不变性，并对仿射和三维投射保持部分不变性。这些重要性质使其替代了harris角点(harrisc,stephensm1988年在4thalveyvisionconference上发表题为acombinedcornerandedgedetector的文章)，大幅提升了基于特征检测的图像匹配性能。liuc,yuenj,torralbaa结合sift算法与光流的思想，2010年在pami第33卷第5期发表了题为siftflow:densecorrespondenceacrossscenesanditsapplications.的文章，提出了siftflow，使用sift的128维描述子而不是三维的rgb信息进行光流匹配，达到语义级别的图像识别。bayh,essa,tuytelaarst,vangooll在sift的基础上，于2008年在computervision&imageunderstanding第110卷第3期发表了题为speeded-uprobustfeatures(surf)的文章，提出了surf算法，在保持光照，旋转，尺度不变性的同时，surf使用64维的特征描述，并且提高了运算速度，更适合大规模图像的拼接工作。

fischlerma,bollesrc1981年在communicationsoftheacm第24卷第6期发表了题为randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography的文章，提出了ransac(randomsampleconsensus，随机抽样一致)算法，通过重复随机抽样并计算单应矩阵的方法，大幅降低得到错误单应性估计的概率，使得得到两视图单应矩阵变得鲁棒。2012年，lebedak,matasj,chumo在britishmachinevisionconference会议上发表了题为fixingthelocallyoptimizedransac的文章，对ransac算法进行了改进。

多张图像的拼接是另一个研究热点，怎样有效的拼接多张图像，生成单张全景同样已经经过了长时间的研究。szeliskir,shumhy1997年24thannualconferenceoncomputergraphicsandinteractivetechniques会议上发表了题为creatingfullviewpanoramicimagemosaicsandenvironmentmaps的文章，率先尝试增量配准并融合图像至同一参考平面。然而增量拼接方法会传递并放大配准误差。为了解决这一问题，一种方法是使用一个最小二乘框架同时对所有图像进行配准，从而正确地分布产生的匹配误差。这一流程被称为bundleadjustment(光束法平差)，由triggsb,mclauchlanpf,hartleyri,fitzgibbonaw1999年在iccv会议上发表了题为bundleadjustment-amodernsynthesis的文章，该技术被广泛的运用于各商业软件，以最小化单应性假设下的匹配误差。

bundleadjustment是一套对于配准误差鲁棒的非线性最小化过程。它不仅能够被用于批量拼接图像上，亦可被用于从图像间稀疏的相关特征点集信息中恢复点集的三维坐标。由于这一过程常常同时计算物体的三维结构及相机的姿态，其通常被称作structurefrommotion(sfm)。尽管sfm时常被用于三维重建工作中，也有研究试图使用其生成的三维点集输出高质量的全景图像。agarwalaa,agrawalam,cohenm,salesind,szeliskir基于sfm于2006年在acmtransactionsongraphics第25卷第3期发表了题为photographinglongsceneswithmulti-viewpointpanoramas的文章，使用手持相机拍摄了107张长街图像，并据此生成一副全景。sfm算法在拼接非摄于同一点的图像时能带来巨大的帮助。

随着研究的深入，人们意识到单应性假设渐渐成为图像配准的瓶颈，并提出方法试图强化这一经典模型。gaoj,kimsj,brownms2011年在cvpr上发表了题为constructingimagepanoramasusingdual-homographywarping的文章，提出双单应性模型，并将其应用于图像拼接问题上，其相较于使用经典单应性模型具有更好的自由度。zaragozaj,chintj,brownms,suterd在2013年cvpr和2014年pami第36卷第7期上发表题为as-projective-as-possible(apap)imagestitchingwithmovingdlt的文章，提出基于movingdtl(滑动直接线性变换)的图像配准方法，其中movingdlt是dlt(直接线性变换)算法的加权变化版本，apap提供了位置相关的单应性矩阵计算和投影方法，极大地增强了经典单应性模型的描述力。zaragozaj在后来提出了apap的bundleadjustment版本。然而这一改动使得apap这一轻量级算法变得相当笨重。更重要的是，当待拼接图像不满足单应性假设时，bundleadjustmentapap无法很好地处理序列图像拼接结果中的畸变。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维重建的序列图像自动拼接方法。主要针对壁画照片处理，由于整幅壁画面积较大，往往通过相机分块进行拍摄，后期再对拍摄的照片进行拼接，将壁画以电子版形式保存。由于壁画所在墙面本身存在凹凸不平的特点，在对照片进行处理的过程中，本发明采用sfm方法进行三维点云重建，进而“恢复被摄结构”，替代了常规图像拼接流程中的“全局相机参数优化”，不再假设图像与被摄体的之间满足单一的单应性关系，而是专注于获取原始图像特征点在最优拟合平面中分布的极大似然估计。而且基于movingdlt方法可以很好地剔除输入图像的单应性畸变，有利于改善最终图像序列的自动拼接质量。

本发明的目的可以通过以下技术方案来实现：

一种基于三维重建的序列图像自动拼接方法，用于对壁画的分块拍摄图像进行整体拼接，该方法包括以下步骤：

s1、对输入的n幅图像分别提取尺度不变特征变换特征点；

s2、构建k-d树算法，为每个特征点搜寻k个最近匹配点；

s3、根据特征点匹配情况，选取每幅图像对应的m幅候选匹配图像，并利用随机抽样一致ransac算法估计相机初始参数，通过概率模型验证图像匹配的正确性；

s4、搜索并记录每幅图像的候选匹配图像集；

s5、对候选匹配图像集考虑相机初始参数利用运动结构重建sfm算法进行三维重建，得到反投射后的三维平面；

s6、求解三维平面对应的二维参考平面；

s7、将二维参考平面投影至指定二维坐标平面；

s8、求解每幅图像的镜像畸变参数，优化相邻图像间的拼接效果；

s9、基于多波段融合算法multi-bandblending，实现全景图像的自动拼接。

步骤s6具体为：利用最小二乘法求解所述三维平面与二维参考平面之间的最小化距离，求解二维参考平面方程，其中最小化距离公式为：

其中，xi'是点云中与第i个特征点相匹配的三维点，x′*代表点云的中心，d(x′i,l^*)是点xi'到拟合平面的距离。

步骤s7具体为：对于候选匹配图像集应用movingdlt算法将候选匹配图像集中的每一个图像分割成100×100共10000个网格区块，对每一个网格区块计算单应性矩阵，并进行投影变换，投影至指定二维坐标平面。

步骤s8中利用光束法平差最小化公式求解每幅图像的相似性变换矩阵，得到每幅图像的镜像畸变参数。

所述的光束法平差最小化公式为：

其中，cij、cik表示第j幅图像和第k幅图像不同特征之间的协方差矩阵，

第j张图像中的第i个特征点；

第k张图像中的第i个特征点；

a^j：第j张图像的投影矩阵；

a^k：第k张图像的投影矩阵；

s^j：第j张图像的形变参数；

s^k：第k张图像的形变参数；

λ：目标精度；

a：图像的变换矩阵，s：隐含着长宽比，

步骤s3中利用随机抽样一致ransac算法计算所选图像与候选匹配图像间的射影几何约束，估计相机初始参数。

与现有技术相比，本发明具有以下优点：

1、较好地还原原图像、较少误差：采用sfm算法，很好地抓住了高低起伏的原壁面上的图像特征，减少拼接之后的误差，使最终的图像误差保持在亚像素精度，为高精度拼接提供良好的基础；

2、消除常规图像拼接中的单应性畸变：本发明基于sfm方法实现三维点云重建，进而“恢复被摄结构”，替代了常规图像拼接流程中的“全局相机参数优化”，不再假设图像与被摄体的之间满足单一的单应性关系，而是专注于获取原始图像特征点在最优拟合平面中分布的极大似然估计，基于movingdlt方法可以很好地剔除输入图像的单应性畸变，有利于改善最终图像序列的自动拼接质量；

3、参考平面更接近三维平面，采用带有权值的最小化距离公式，找到最佳拟合平面，使得三维平面上的图像更好地在拟合的二维参考平面上展开，经过投影的特征点很好的保持了三维点集中的位置信息；

4、改善图像拼接质量：利用光束法平差最小化公式，消除了镜像畸变，改善了图像拼接质量。

附图说明

图1为本发明的流程图；

图2为用于图像拼接的原始图像序列图；

图3为基于sfm算法的特征点云三维重建图；

图4是基于sfm算法生成的拟合参考平面图；

图5是基于三维重建的图像序列自动拼接图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明的目的在于提出一种基于三维重建的序列图像自动拼接方法，该方法针对n幅无序的图像序列，分别提取sift特征点并建立k-d树，对每一幅图像选取m幅候选匹配图像，使用ransac算法，计算与候选图像间最有可能的摄影几何约束，形成正确匹配图像集，并运用sfm算法进行三维重建，得到最优的拟合参考平面。使用movingdlt方法剔除输入图像的单应性畸变，最后使用bundleadjustment方法求解每幅图像的相似性变换矩阵，最后基于多波段融合(multi-bandblending)算法，实现全景图像的自动拼接。

一种基于三维重建的序列图像自动拼接方法，其具体步骤如下：

(1)对输入的n幅图像提取尺度不变特征变换(scale-invariantfeaturetransform，sift)特征点；

(2)构建k-d树算法，为每一特征点搜寻k个最近邻匹配点；

(3)对于每一幅图像：基于与该图像间的特征点匹配情况，选取最匹配的m幅候选图像；使用随机抽样一致(randomsampleconsensus，ransac)算法，计算与候选图像间最有可能的摄影几何约束，估计相机初始参数；通过概率模型验证图像匹配的正确性；

(4)搜索并记录通过图像匹配获得匹配的图像集；

(5)对正确匹配图像集运用运动结构重建(structurefrommotion，sfm)算法进行三维重建；

(6)通过带有权值的最小化距离公式求解拟合的二维参考平面l^*为ax+by+cz+d＝0，其中，xi'是点云中与第i个特征点相匹配的三维点，x′*代表点云的中心，d(x′i,l^*)是点xi'到拟合平面的距离，其相关特征点为x′i＝[xiyizi]，则

(7)对于正确匹配图像集应用movingdlt算法，即对图像集中的每一图像分割成100×100共10000个网格区块，对每一个区块应用dlt(直接线性变换)计算单应性矩阵h^*并投影变换；

(8)相对于参考平面，使用光束法平差(bundleadjustment)最小化公式其中cij、cik表示第j幅图像和第k幅图像不同特征之间的协方差矩阵，

第j张图像中的第i个特征点；

第k张图像中的第i个特征点；

a^j：第j张图像的投影矩阵；

a^k：第k张图像的投影矩阵；

s^j：第j张图像的形变参数；

s^k：第k张图像的形变参数；

λ：目标精度；

a：图像的变换矩阵，s：隐含着长宽比，

将第j张图像投射至第k张图像的单一性变换函数得到每幅图像的相似性变换矩阵a，最后实现图像序列的自动拼接。

参阅附图，在图1中给出了本发明的方法流程图，按此图示流程，给出一组实例。该方法针对给定的原始图像序列，如图2所示为用于图像拼接的原始图像序列图，分别提取每幅图像的sift特征并构建特征点匹配k-d树，基于经典的ransac算法估计相机初始参数，得到每幅图像对应的匹配图像集。

图3是基于sfm算法的特征点云三维重建结果，从重建结果中可以清楚的发现，sfm算法很好的抓住了原壁面的特征：画作附着于一块整体为平面同时存在高低起伏的壁面上，这一精确的描述为高精度拼接提供了良好的基础。

图4是基于sfm算法生成的拟合参考平面，展示了投射至拟合平面l^*的特征点集与图3进行对比可以发现，所拟合的平面将壁画最大限度的在最终投影上展开，以及经过投影的特征点很好的保持了三维点集中的位置信息。

图5是基于三维重建的图像序列自动拼接结果，无论是从全局还是细节，均达到了无缝拼接的结果。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。