一种基于Lucas-Kanade算法的图像配准和拼接方法
【技术领域】
[0001 ]本发明涉及图像处理技术领域，具体涉及一种基于Lucas-Kanade算法的图像配准 和拼接方法。
【背景技术】
[0002]图像拼接(Image Mosaic)技术是指将通过摄像机对同一场景拍摄的、彼此之间存 在重叠区域的多幅图像序列进行坐标配准，然后经坐标变换、拼接融合后形成一幅宽视角、 无失真、高分辨率、包含更多图像信息的新图像。图像拼接技术较早在遥感技术领域得到应 用，局限于拍摄视角，摄像机只能够拍到某一个场景的局部区域。而局部区域的场景图像无 法完整地展现场景信息，所以需要把在不同的成像条件下拍摄的多幅局部场景图像进行空 间配准和融合拼接，形成高分辨率的、宽视角的完整遥感图像。近年来，随着信息科技和电 子技术的飞速发展，诸如医学图像、航拍以及日常生活需求等领域，都需要高分辨率的图 像，如果是借助于全景相机或者广角相机来获取，拍摄得到的图像不仅分辨率有限，而且往 往会出现图像边缘扭曲变形、模糊等现象，另外，受限于这些专业设备的昂贵性和不易操作 性，此类方法无法得到普及。然而，图像拼接技术通过对图像的分析和处理，应用前沿的配 准和拼接方法，能够得到满足于多个领域、多场景的高分辨率、无失真的宽视角图像。小波 分析是一种窗口大小（即窗口面积)固定但其形状可变的时频局部化分析方法，即在低频部 分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间分辨率和较低 的频率分辨率。但在实际应用中，往往希望提高高频频带的频率分辨率。
[0003] 本发明正是针对当前图像拼接技术中的精确配准问题和全景图像拼接问题进行 研究，对拼接技术中的各个步骤进行详细分析和研究，并依据当前技术的不足，提出了有效 的改进方法。因此，图像拼接技术有着广阔的应用领域和前景，研究高性能、实时性强、适用 于大多数场景的图像配准和拼接方法有着非常重要的研究意义。
【发明内容】
[0004] 为克服上述现有技术所述的至少一种缺陷（不足），本发明提供一种基于Lucas-Kanade 算法的图像配准和拼接方法，能更好的实现对图像进行配准并拼接。
[0005] 为解决上述技术问题，本发明的技术方案如下：
[0006] -种基于Lucas-Kanade算法的图像配准和拼接方法，包括：
[0007] 1)对初始图像预处理；
[0008] 2)对预处理之后的图像用Lucas-Kanade算法进行配准，具体方式为：
[0009] (1)对待配准的两幅图像11和21分别提取Harr i S角点；
[0010] (2)应用NCC匹配算法对两幅图像中的角点进行初始匹配；
[0011] (3)应用RANSAC算法去除外点，并获得最优单应性矩阵H;
[0012] (4)分别将两幅待配准的图像转换为灰度图像；
[0013] (5)以第(3)步得到的Η为初始值，并设定一个的收敛精度ε以及最大的迭代次数， 应用逆向组成算法对齐II和21的灰度图像直至收敛，得到求精之后的单应性矩阵Η;
[0014] 3)对配准之后的图像利用加权平均法进行图像融合。
[0015] 优选的，预处理包括对图像进行平滑滤波、直方图匹配、图像增强变换的操作。
[0016] 优选的，对配准之后的图像利用加权平均法进行图像融合的过程为：
[0017] Szeliski通过使用一个"帽状函数"，对每个重叠帧的对应像素进行加权平均;设 心和5是两幅已经配准好准备拼接的图像，f表示融合拼接后的图像，则有：
[0019] 其中，〇1和〇2分别是两幅需要融合的图像中重叠位置对应像素的权重值，两者满足 (6^+(12 = 1 ,?ΚαΚΙ，〇〈α2〈1。在重叠区域中，随着像素位置的变化，权值α#Ρα2也会有相应的变 化。
[0020] 采用重叠区域的加权平均法实现过渡平滑，消除拼接缝，从而获得无缝、高分辨率 的拼接图。
[0021] 与现有技术相比，本发明技术方案的有益效果是:本发明的图像配准和拼接方法 能够有效地消除特殊场景对拼接效果的影响，适用性强，能够拼接出无失真、无断层、分辨 率高的宽视角图像，优于现有的图像配准和拼接技术。
【附图说明】
[0022]图1是中山大学牌坊图像序列图；
[0023]图2是中山大学牌坊无缝拼接图。
[0024]图3是图像拼接流程图。
[0025]图4是实验参数图表。
【具体实施方式】
[0026] 下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的 实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都 属于本发明保护的范围。
[0027] 本发明提供一种图像处理方法，能更好的实现对图像配准拼接。
[0028] 本发明采用Lucas-Kanade算法，Lucas-Kanade图像对齐算法，包括对该算法的原 始算法(前向加性算法）以及改进算法(前向组成算法和逆向组成算法)分别做了深入的研 究。
[0029]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述。
[0030] 图3是本发明混合图像去噪方法的具体实现流程图；一种基于Lucas-Kanade算法 的图像配准和拼接方法，包括：
[0031] 1)对初始图像预处理；
[0032] 2)对预处理之后的图像用Lucas-Kanade算法进行配准，具体方式为：
[0033] (1)对待配准的两幅图像11和21分别提取Harr i s角点；
[0034] (2)应用NCC匹配算法对两幅图像中的角点进行初始匹配；
[0035] (3)应用RANSAC算法去除外点，并获得最优单应性矩阵H;
[0036] (4)分别将两幅待配准的图像转换为灰度图像；
[0037] (5)以第(3)步得到的Η为初始值，并设定一个的收敛精度ε以及最大的迭代次数， 应用逆向组成算法对齐II和21的灰度图像直至收敛，得到求精之后的单应性矩阵Η;
[0038] 3)对配准之后的图像利用加权平均法进行图像融合。
[0039]为验证本发明的优越性，进行以下实验：
[0040] 实验采用Visual Studio 2010开发环境、OpenCV库以及C语言编程实现仿真代码， 并在Intel Core 3.4GHz处理器加4GB内存的计算机上进行实验。实验关于Harris角点检 测、NCC匹配、RANSAC算法等步骤的设定如图4，全局对齐算法的最大迭代次数为100，收敛值 为0.001。对中山大学牌坊图像序列图1进行拼接，拼接结果如图2。
[0041 ]可以看出本发明提出的基于Lucas-Kanade逆向组成算法的方法能够有效地对齐 两幅图像，得到无缝、高分辨率的拼接结果图，具有优越性。
[0042]显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对 本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可 以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本 发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求 的保护范围之内。
【主权项】
1. 一种基于Lucas-Kanade算法的图像配准和拼接方法，其特征在于，包括： 1) 对初始图像预处理； 2) 对预处理之后的图像用Lucas-Kanade算法进行配准，具体方式为： (1) 对待配准的两幅图像11和21分别提取Harr i S角点； (2) 应用NCC匹配算法对两幅图像中的角点进行初始匹配； (3) 应用RANSAC算法去除外点，并获得最优单应性矩阵H; (4) 分别将两幅待配准的图像转换为灰度图像； (5) W第(3)步得到的Η为初始值，并设定一个的收敛精度εΚ及最大的迭代次数，应用 逆向组成算法对齐II和21的灰度图像直至收敛，得到求精之后的单应性矩阵Η; 3) 对配准之后的图像利用加权平均法进行图像融合。2. 根据权利要求1所述的基于Lucas-Kanade算法的图像配准和拼接方法，其特征在于， 预处理包括对图像进行平滑滤波、直方图匹配、图像增强变换的操作。3. 根据权利要求1所述的基于Lucas-Kanade算法的图像配准和拼接方法，其特征在于， 对配准之后的图像利用加权平均法进行图像融合的过程为： Szeliski通过使用一个"帽状函数"，对每个重叠帖的对应像素进行加权平均;设fi和f2 是两幅已经配准好准备拼接的图像，f表示融合拼接后的图像，则有：其中，αι和02分别是两幅需要融合的图像中重叠位置对应像素的权重值，两者满足αι+α2 =1，0<日1<1，0<日2<1，在重叠区域中，随着像素位置的变化，权值αι和日2也会有相应的变化。
【专利摘要】本发明公开一种基于Lucas-Kanade算法的图像配准和拼接方法，该方法包括：对原始图像的预处理，由于拍摄角度、拍摄距离和拍摄时光照等差异，可能会造成两幅图像之间的参数不匹配，所以在图像配准之前先对图像进行预处理；图像配准，作为图像拼接技术中的关键步骤，图像拼接质量的高低，很大程度上由图像配准的精度来决定；图像融合，融合的目的是将已经配准好的待拼接图像通过坐标变换关系，将图像变换到某个同一的坐标系下进行像素级别的融合，以此更加全面的展示场景信息。本发明针对特征点较少、噪声干扰造成的单应性矩阵估计精度不高的问题，创新的提出了用LK图像对齐算法以及其改下算法来优化单应性矩阵估计，通过基于整幅图像的迭代优化，使得图像见的均方误差最小化，提高了单应性矩阵估计的精度，进而改善了图像配准和拼接融合的效果。
【IPC分类】G06T3/00, G06T3/40
【公开号】CN105550981
【申请号】CN201510854403
【发明人】陈佩, 闫欢
【申请人】中山大学
【公开日】2016年5月4日
【申请日】2015年11月27日