一种拼接图像的方法和装置与制造工艺

本发明涉及图像处理领域，尤其涉及一种拼接图像的方法和装置。

背景技术：
随着数字成像技术的发展，数字成像设备因其具有传统成像设备无可比拟的优势，在各个领域得到越来越广泛的应用。但是在一些特殊的应用场景，普通的数字成像设备还不能满足人们的需求，比如普通数字成像系统的视角（FOV，FieldofView）要远小于人眼，无法获得与人眼视角相同的全景图像。故而，研发人员提出了图像拼接的方法，即对给定的一系列顺序拍摄相互重叠的图像，通过相关算法自动的拼接出一幅具有高FOV的全景图像。可以理解的，图像拼接算法一般包含两个步骤，即图像匹配和图像融合，其中，图像匹配的目的是确定相邻图像间准确的位置关系。现有技术中，图像匹配算法主要是基于特征的图像匹配算法，包括特征提取、特征描述、特征匹配等几个步骤。但是特征匹配的算法复杂度较高，会导致图像拼接速度比较慢，不适合图像处理器配置不高或者对拼接速度要求较高的应用场景。比如，当数字成像系统应用于手机等通信终端时，其中的处理器可能并不能承担大量的图像处理任务，而且用户对图像拼接的速度有较高的要求，因此需要一种快速的图像拼接的方法，以满足用户要求。相关技术可以参考公开号为US5764366A的美国专利申请。

技术实现要素：
本发明解决的问题是如何快速、高效地拼接图像，并确保较高的拼接精度。为解决上述问题，本发明提供一种拼接图像的方法，包括：基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，所述第一图像和第二图像为两个相邻的待拼接图像；按照所述位置匹配后的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接。可选的，所述第一图像为拼接后的图像。可选的，所述基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配包括：对所述第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像，其中第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2n，其中m为大于或者等于2的整数，n∈{1,2,…,m}，m的取值基于所述第一图像和第二图像的分辨率确定；将所述第一图像的尺度为m+1的子图像中与所述第二图像的尺度为m+1的子图像的归一化正交相关系数最高的位置确定为第一匹配位置；将所述第一匹配位置经过亚像素估计，得到第二匹配位置。可选的，所述将所述第一匹配位置经过亚像素估计，得到第二匹配位置包括：基于所述第一图像的相邻尺度的各子图像之间的像素比，得到所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置；对所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置进行二次拉普拉斯拟合估计，得到所述第二匹配位置。可选的，所述按照所述位置匹配后的结果确定图像拼接边缘包括：按照所述第二匹配位置确定亚像素拼接边缘，所述亚像素拼接边缘为所述第一图像的尺度为2的子图像与第二图像的尺度为2的子图像的拼接边缘；基于所述第一图像的相邻尺度的各子图像之间的像素比将所述亚像素拼接边缘转换为所述图像拼接边缘。可选的，所述按照所述第二匹配位置确定所述亚像素拼接边缘包括：将所述第二匹配位置对应的列确定为所述亚像素拼接边缘。可选的，所述按照所述第二匹配位置确定所述亚像素拼接边缘包括：根据所述第二匹配位置确定所述第一图像的尺度为2的子图像与所述第二图像的尺度为2的子图像的重叠区域；基于所述重叠区域内各像素点的像素平方差动态规划出所述亚像素拼接边缘。可选的，所述基于所述重叠区域的像素平方差动态规划出所述亚像素拼接边缘包括：按照如下公式计算所述重叠区域各像素点的像素平方差e(h,w)：e(h,w)=(I1(h,w)-I2(h,w+1)+I1-I2)2，其中，h、w分别为所述重叠区域内各像素点的行号、列号，I1(h,w)表示所述第一图像的重叠区域内(h,w)位置的像素，I2(h,w)表示所述第二图像的重叠区域内(h,w)位置的像素，I1和I2分别为所述第一图像和第二图像的重叠区域内的像素均值；基于所述重叠区域内各像素点的像素平方差计算所述重叠区域内各像素点的累积像素平方差E(h,w)，公式如下：E(h,w)=e(h,w)+min(e(h-1,w-1),e(h-1,w),e(h-1,w+1))，其中，min为求最小值运算；确定所述重叠区域的最底部一行中的累积像素平方差最小的像素点的位置，向上回溯得到所述亚像素拼接边缘。可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述拼接图像的方法还包括：对所述全景图像进行基于二次规划的增益补偿。可选的，所述对所述全景图像进行基于二次规划的增益补偿包括：确定用于计算拼接形成所述全景图像中的各图像的补偿增益的代价函数；基于各图像的补偿增益的限制条件将所述代价函数转化为二次规划计算，得到所述各图像各自的补偿增益，所述各图像的限制条件为各图像的补偿增益的和等于图像的个数。可选的，所述拼接图像的方法还包括对增益补偿后的全景图像进行图像融合处理，所述图像融合处理包括：将以所述图像拼接边缘为中心、宽度为融合距离的区域确定为融合区域，所述融合距离取值范围为[80,120]，单位为像素；对所述融合区域内各像素点进行平滑处理。可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述拼接图像的方法还包括：对所述全景图像进行图像融合处理，所述图像融合处理包括：将以所述图像拼接边缘为中心、宽度为融合距离的区域确定为融合区域，所述融合距离取值范围为[80,120]，单位为像素；对所述融合区域内各像素点进行平滑处理。为解决上述问题，本发明技术方案还提供了一种拼接图像的装置，包括：位置匹配单元，用于基于金字塔结构的归一化正交相关系数和亚像素估计对第一图像和第二图像进行位置匹配，所述第一图像和第二图像为两个相邻的待拼接图像；拼接单元，用于按照所述位置匹配单元的结果确定图像拼接边缘，沿所述图像拼接边缘完成所述第一图像与第二图像的拼接。可选的，所述位置匹配单元包括：降采样单元，用于对所述第一图像和第二图像分别进行m次降采样，生成各自对应的金字塔结构的子图像，其中第n次降采样得到的子图像的尺度为n+1且其像素等于待拼接图像的像素的1/2n，其中m为大于或者等于2的整数，n∈{1,2,…,m}，m的取值基于所述第一图像和第二图像的分辨率确定；第一匹配单元，用于将所述降采样单元得到的所述第一图像的尺度为m+1的子图像中与所述第二图像的尺度为m+1的子图像的归一化正交相关系数最高的位置确定为第一匹配位置；亚像素估计单元，用于将所述第一匹配单元确定的所述第一匹配位置经过亚像素估计，得到第二匹配位置。可选的，所述亚像素估计单元包括：对应单元，用于基于所述第一图像的相邻尺度的各子图像之间的像素比，得到所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置；拟合单元，用于对所述对应单元得到的所述第一图像的尺度为2的子图像中与所述第一匹配位置对应的位置进行二次拉普拉斯拟合估计，得到所述第二匹配位置。可选的，所述拼接单元包括：确定单元，用于按照所述第二匹配位置确定亚像素拼接边缘，所述亚像素拼接边缘为所述第一图像的尺度为2的子图像与第二图像的尺度为2的子图像的拼接边缘；转换单元，用于基于所述第一图像的相邻尺度的各子图像之间的像素比将所述确定单元得到的亚像素拼接边缘转换为所述图像拼接边缘。可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述的拼接图像的装置还包括：增益补偿单元，用于对所述全景图像进行基于二次规划的增益补偿。可选的，所述拼接图像的装置还包括：融合处理单元，用于对增益补偿后的全景图像进行图像融合处理。可选的，所述第一图像和第二图像拼接后的图像为全景图像，所述的拼接图像的装置还包括：融合处理单元，用于对所述全景图像进行图像融合处理。与现有技术相比，本发明的技术方案具有以下优点：结合金字塔结构的归一化正交相关系数算法和亚像素估计算法，使得位置匹配的计算时间和计算量都有大幅度的减少，能够更快的得到图像拼接边缘，使得图像拼接的处理过程更加的快速和高效；另外，在实现图像快速拼接的同时，还能保证位置匹配的结果具有相当的精确性，使拼接图像具有较高的拼接质量。通过直接将第二位置所在的列确定为图像拼接边缘，能够以简单、快速的完成相邻的待拼接图像的拼接。基于动态规划确定优化的图像拼接边缘，即基于待拼接图像的尺度为2的子图像的重叠区域内各像素点的像素平方差动态规划出一条代价最小的图像拼接边缘，以保证拼接后的图像中不会出现伪影。第一图像也可以是由其他待拼接图像形成的拼接图像，由此还提供了一种快速、准确的全景图像拼接的方法，尤其是按照拍摄顺序依次进行图像拼接的全景图像拼接的方法，能为拍摄设备节约大量的内存空间，使全景图像拼接的效率更高。通过对拼接形成的全景图像进行增益补偿，能够消除待拼接图像之间的亮度差异，优化相邻待拼接图像的视觉相似度。通过对拼接形成的全景图像或经过增益补偿的全景图像进行图像融合处理，以调整相邻待拼接图像的色差，以使拼接图像达到更好的拼接效果。附图说明图1是本发明实施例一的拼接图像的方法的流程示意图；图2是本发明实施例一的步骤S100的执行过程的流程示意图；图3是本发明实施例一的第一图像和第二图像金字塔结构的子图像示意图；图4是本发...