基于图割能量优化的影像间最优拼接线寻找方法及系统的制作方法
【专利摘要】一种基于图割能量优化的影像间最优拼接线寻找方法及系统，进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重叠度；对待拼接影像进行预处理，综合考虑颜色、梯度以及纹理信息确定图割全局能量函数，图割全局能量函数包括数据项和平滑项，平滑项能量权重设置，采用图割能量优化方法，对总能量进行优化，获取最优拼接线。本发明所得拼接线尽量避免通过色差过大、纹理复杂区域以及明显地物的边缘，从而最大程度上保证了拼接线的最优化，解决了多影像多度重叠区域拼接线联合优化的问题，适用性广。
【专利说明】基于图割能量优化的影像间最优拼接线寻找方法及系统
【技术领域】
[0001]本发明属于数字影像处理【技术领域】，特别是涉及一种基于图割(Graph-CutS)能量优化的影像间最优拼接线寻找技术方案及系统。
【背景技术】
[0002]在数字影像拼接过程中，由于受到影像配准几何误差以及影像色差等因素的影响，在拍摄视角或目标运动等造成影像间差异较大的区域(如建筑物、车辆以及行人等明显地物)，拼接后的影像往往存在较为明显的错位现象。因此，如何快速高效地寻找一条最优的拼接线(避免穿过影像差异较大区域)，是影像拼接中最为关键的技术，也是计算机视觉和摄影测量领域研究的热点课题之一，在全景影像拼接和航空影像拼接(尤其是低空倾斜影像拼接)等中应用最为广泛。
[0003]目前拼接线自动寻找的方法主要有三种技术路线:一是基于辅助数据的方法，二是基于对象的拼接线寻找方法，三是基于重叠区域影像差异的方法。
[0004]基于辅助数据的拼接线寻找方法主要利用辅助数据(道路矢量数据、LiDAR点云数据等)对拼接线的走向进行约束，从而取得较好的拼接结果。该方法的主要缺陷在于对辅助数据的依赖性，拼接结果的好坏很大程度上取决于辅助数据的精度。
[0005]基于对象的拼接线寻找方法结合影像分割算法，对重叠区域进行影像分割，得到明显地物的分 布区域，从而用于指导最优拼接线的寻找。该方法的局限性主要在于目标分割的准确性得不到保证，影响拼接的效果。
[0006]基于重叠区域影像差异的拼接线寻找方法利用重叠区域对应像素的差异，构建合理的能量函数，并采用适当的能量优化方法进行优化。该方法能够得到较好的拼接效果，但耗时较长，计算复杂度较高，效率较低。
【发明内容】
[0007]为了解决上述技术问题，能快速、稳定、准确地从影像间重叠区域中寻找到最优的拼接线，本发明提供了一种基于图割(Graph-Cuts)能量优化的影像间最优拼接线寻找技术。
[0008]本发明所采用的技术方案提供了一种基于图割能量优化的影像间最优拼接线寻找方法，包括以下步骤:
[0009]步骤1，进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重
叠度；
[0010]步骤2，对待拼接影像进行预处理；
[0011]步骤3，确定图割全局能量函数如下，
[0012]设当前待拼接影像为N张，分别为影像I1, I2, I3,…，In，构成的影像集为5 = m，图割全局能量函数包括Edata和Es_th两项，
[0013]
【权利要求】
1.一种基于图割能量优化的影像间最优拼接线寻找方法，包括以下步骤: 步骤1，进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重叠度； 步骤2，对待拼接影像进行预处理； 步骤3，确定图割全局能量函数如下， 设当前待拼接影像为N张，分别为影像I1, I2, I3,…，In，构成的影像集为7 = {I/JL1-图割全局能量函数包括Edata和Es_th两项，
2.根据权利要求1所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于:当根据步骤5所得最优拼接线进行优化后出现局部优化效果不佳时，对局部优化效果不佳区域的每个重叠区域分别加入干预，优化拼接线，步骤如下， 步骤Al，在重叠区域中选取点集，并赋予相应影像归属编号，设选取的M个点的集合定义为Y = (Xjfl1,相应赋予的影像归属编号表示为
3.根据权利要求1或2所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于:所述相邻像素P和q在IjP Ib重叠区域对应的颜色空间平滑项能量和梯度空间平滑项能量^color (.Pf iI, 32)和(P, tI, 的犹取方式如下， 针对拼接后影像J中每个像素P来自影像对％ = (IrtJb)的纹理空间能量Etextur ,(P,72)定义如下，
4.根据权利要求1或2所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于:步骤2所述对待拼接影像进行预处理，包括影像降采样、影像颜色空间转换及灰度化、影像梯度计算和纹理复杂度计算。
5.根据权利要求4所述基于图割能量优化的影像间最优拼接线寻找方法，其特征在于:当待拼接影像为全景图像时，步骤2所述对待拼接影像进行预处理中包括进行影像扩展。
6.一种基于图割能量优化的影像间最优拼接线寻找系统，包括以下模块: 数据准备模块，用于进行待拼接影像数据准备，获得各待拼接影像之间所有重叠区域及相应重叠度； 预处理模块，用于对待拼接影像进行预处理； 能量函数确定模块，用于确定图割全局能量函数如下， 设当前待拼接影像为N张，分别为影像I1, I2, I3,…，In，构成的影像集为3 = {I,JL1-图割全局能量函数包括Edata和Es_th两项，
7.根据权利要求6所述基于图割能量优化的影像间最优拼接线寻找系统，其特征在于:设置干预模块，用于当根据优化模块所得最优拼接线进行优化后出现局部优化效果不佳时，对局部优化效果不佳区域的每个重叠区域分别加入干预，优化拼接线，步骤如下， 步骤Al，在重叠区域中选取点集，并赋予相应影像归属编号，设选取的M个点的集合定义为
8.根据权利要求6或7所述基于图割能量优化的影像间最优拼接线寻找系统，其特征在于:所述相邻像素P和q在、和Ib重叠区域对应的颜色空间平滑项能量和梯度空间平滑项能量
9.根据权利要求6或7所述基于图割能量优化的影像间最优拼接线寻找系统，其特征在于:预处理模块对待拼接影像进行的预处理，包括影像降采样、影像颜色空间转换及灰度化、影像梯度计算和纹理复杂度计算。
10.根据权利要求9所述基于图割能量优化的影像间最优拼接线寻找系统，其特征在于:当待拼接影像为全景图像时 ，预处理模块待拼接影像进行的预处理中包括进行影像扩展。
【文档编号】G06T5/50GK103985133SQ201410242353
【公开日】2014年8月13日 申请日期:2014年5月30日 优先权日:2014年5月30日
【发明者】姚剑, 李礼, 唐文莉, 常娟 申请人:武汉大学