图像拼接方法、存储介质和计算机与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像拼接方法、存储介质和计算机。


背景技术：

2.图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)，拼成一张大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像时，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率就越低；而全景相机、广角镜头等不仅非常昂贵，而且失真也比较严重。为了在不降低图像分辨率的条件下获取超宽视角甚至360
°
的全景图，利用计算机进行图像拼接这一理念被提出并逐步研究发展起来。现在，图像拼接技术己经成为计算机图形学的研究焦点，被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。所以把各幅子图像真实、无失真地拼接起来是实现以上领域的关键环节。
3.从以上方面可以看出，图像拼接技术的应用前景十分广阔，深入研究图像拼接技术有着很重要的意义。


技术实现要素：

4.本发明的目的在于提供一种图像拼接方法、存储介质和计算机，其可以将有重叠的两张图像进行全景拼接融合，生成优质的全景拼接图像。
5.为实现发明目的，根据本发明的一个方面，本发明提供一种图像拼接方法，其包括：提供有重叠部分的第一图像和第二图像；提取每张图像中的特征点并生成每个特征点的特征描述子；根据所述特征描述子将第一图像中的特征点与第二图像中的特征点进行配对；通过配对的特征点计算平移量以及旋转角度，得到第一图像和第二图像的变换矩阵数学模型；根据所述变换矩阵数学模型进行第一图像和第二图像之间的变换配准；将变换配准后的第一图像和第二图像进行拼接融合得到拼接图像。
6.根据本发明的另一个方面，本发明提供一种存储介质，其存储有程序指令，在所述程序执行被运行上文所述的图像拼接方法。
7.根据本发明的再一个方面，本发明提供一种计算机，其包括处理器和存储器，所述存储器中存储有程序指令，所述处理器运行所述程序指令以执行上文所述的图像拼接方法。
8.与现有技术相比，本发明可以将不同时间、不同角度、不同传感器采集等情况下获得的两张有重叠的图像，进行全景拼接融合，生成优质的全景拼接图，以供后续的图像算法做进一步处理。
附图说明
9.图1为本发明中的图像拼接方法在一个实施例中的流程示意图；
10.图2为本发明中图像拼接方法的一个拼接示例。
具体实施方式
11.为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。
12.本发明提供一种图像拼接方法，其可以将有重叠的多张图像进行全景拼接融合，生成优质的全景拼接图像。
13.图1为本发明中的图像拼接方法100在一个实施例中的流程示意图。如图1所示的，所述图像拼接方法100包括如下步骤。
14.步骤110，提供有重叠部分的第一图像和第二图像；
15.对多张图像进行拼接，仍然要以两张图像的拼接为基础，因此本文中以两张图像的拼接为例进行介绍。很显然，根据同样的拼接原理可以重复的被使用，用于进行三张或更多张图像的拼接。
16.如图2所示的(a)，其示出了两张图像的示例，两者有重叠的部分。这两张图像可能是不同时间、不同传感器采集的不同角度的图像。
17.在一个实施例中，在进行后续的图像拼接前，需要对第一图像和第二图像进行预处理。
18.对待拼接的图像进行图像预处理，主要为以下几方面，其一从图像变换考虑，包括畸变、几何校正、缩放等；其二从光照角度考虑，包括亮度、对比度等的处理；其三从色彩与细节考虑，包括噪声、清晰度等的处理；其四是特殊处理：遮挡、变形等。在实际操作过程中，针对性的图像进行处理有助于提升后续配准算法的精度。
19.适用于工业检测的拍摄条件复杂，各种干扰情况频繁出现：拍摄视野出现干扰，常见于镜头表面存在污渍、人员或设备闯入视野；图像拍摄光线条件不定，常见于光源强弱改变、光源移动错位，可在一定范围内改变图像亮度与对比度等参数，按照规律改变原始图像各像素的数值；拍摄视野模糊不清，常见于相机焦点改变、拍摄视野存在烟雾类因素及硬件性能衰落，可适当对图像增强锐化、模糊或添加高斯噪声，对原始图像像素进行滤波、卷积等操作；拍摄产品出现异位，不在视野内固定位置，可对原始图像进行水平、竖直翻转和角度旋转、缩放，以及随机裁剪等操作。尽量考虑到所有可能出现的因素，以便后续的配准算法有更高的鲁棒性。
20.在本发明中，所述预处理包括几何校正、边缘提取、直方图处理、降低灰度差异、噪声抑制中的一种或几种。
21.步骤120，提取每张图像中的特征点并生成每个特征点的特征描述子。
22.在一个实施例中，本发明利用akaze算法提取每张图像中的特征点并生成每个特征点的特征描述子。利用akaze算法提取的特征点具备光照不变性、尺度不变性、旋转不变性和视觉变化鲁棒性。
23.在一个实施例中，所述步骤120包括：通过图像灰度的扩散来构建每张图像的非线性尺度空间；基于每张图像的非线性尺度空间提取每张图像的特征点；将每张图像分成多个网格单元，获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述子。
24.具体的，所述通过图像灰度的扩散来构建每张图像的非线性尺度空间包括：
25.设置层数o与塔数s，其中：
[0026][0027]
使用非线性扩散函数进行非线性尺度空间的构建，所述非线性扩散函数的方程为：
[0028][0029]
其中l为图像，div表示非线性散度函数，表示梯度求解函数，c为在图像l上x、y、xy三个方向上的传导函数：
[0030][0031]
为经过高斯平滑的图像l，g为针对区域扩散平滑最优选择的传导核函数：
[0032][0033]
其中参数λ控制扩散的程度，所述非线性尺度空间包括多层。
[0034]
具体的，所述基于每张图像的非线性尺度空间提取每张图像的特征点包括；采用hessian矩阵在每张图像的非线性尺度空间中进行特征点检测。具体的，构造非线性尺度空间内各像素位置的hessian矩阵判别式，将每个像素位置的hessian矩阵判别式与该每个像素位置的上下两层与当前层的3*n*n-1个像素位置的hessian矩阵判别式进行对比，若当前像素位置的hessian矩阵判别式在周围邻域内为局部最大值，则判定为极值点，提取该像素位置作为特征点,其中n为大于等于3的奇数。
[0035]
该每个像素位置的上下两层与当前层的3*n*n-1个像素位置包括该每个像素位置的上层的n*n个像素位置，该每个像素位置的下层的n*n个像素位置，该每个像素位置的当前层的n*n-1(除去当前像素位置)个像素位置。这3*n*n-1个像素位置就是该每个像素位置的周围邻域。
[0036]
hessian矩阵：
[0037][0038]
为了对特征点进行描述，在传统二值描述子的基础上，本发明的akaze算法提出了改进的局部差分二值描述子，即m-ldb描述子。m-ldb描述子将每张图像分成多个网格单元，比如为，l*l的网格单元，l为大于等于2的自然数。具体的，所述获取每张图像的特征点所在的网格单元内的特征以生成该特征点的特征描述子包括：计算每张图像的特征点所在的网格单元的一阶梯度和灰度；获取每张图像的特征点所在的网格单元内部的特征，所述特征包括边缘大小和方向；对所述特征进行二值化处理构建出二值描述向量，将所述二值描述向量作为该特征点的特征描述子。
[0039]
步骤130，根据所述特征描述子将第一图像中的特征点与第二图像中的特征点进行配对。
[0040]
在一个实施例中，步骤130包括：计算第一图像和第二图像之间的特征描述子的欧式距离，得到每个特征点的最佳匹配特征点；选择距离最近的前m对特征点配对，其中m为大于等于2的自然数，m可以根据需要设定。
[0041]
只有第一图像中的重叠部分的特征点才会与第二图像中的重叠部分的特征点完成配对，或者说，配对成功。第一图像中的非重叠部分的特征点在第二图像中不会有配对的特征点，第二图像中的非重叠部分的特征点在第一图像中也不会有配对的特征点。
[0042]
图2中的(b)中示意中出了第一图像的多个特征点、第二图像的多个特征点，以及配对的特征点。
[0043]
步骤140，通过配对的特征点计算平移量以及旋转角度，得到第一图像和第二图像的变换矩阵数学模型。
[0044]
在一个实施例中，所述步骤140包括：计算配对的特征点在x、y方向上的平移距离，获取众数，得到平移量；选取众数对应配对的特征点中距离最近的两对配对的特征点，将选取的两对配对的特征点中在第一图像中的两个特征点连线得到第一配对线，将选取的两对配对的特征点中在第二图像中的两个特征点连线得到第二配对线，计算第一配对线和第二配对线的角度差异，以得到旋转角度；基于平移量和旋转角度生成具有平移旋转的变换矩阵数学模型。
[0045]
本发明中利用图像的明显特征点来估计图像之间的变换，而不是利用全部图像信息；这些特征点在保留图像重要特征的同时，可以有效减少算法的图像信息数据运算量，能够有效的提高计算速度和算法的可靠性。
[0046]
步骤150，根据所述变换矩阵数学模型进行第一图像和第二图像之间的变换配准，为后续拼接提供同一视角的两张图像。
[0047]
步骤160，将变换配准后的第一图像和第二图像进行拼接融合得到拼接图像。
[0048]
由于两两图像间的拼接可能因为拍摄环境不同出现不自然，需要加权融合处理，以消除全局匹配的累计误差和图像重合区域的失真。在一个实施例中，对于重叠区域，第一图像中的一像素位置的值和第二图像的对应像素位置的值的加权和作为拼接图像的对应像素位置的值，完成图像的无缝拼接，其中对于重叠区域，从第一图像至第二图像，第一图像的像素位置的值的权重逐渐降低，第二图像的像素位置的值的权重逐渐升高。
[0049]
具体的，对于重叠区域，从第一图像至第二图像，第一图像的像素位置的值的权重由1线性降为0，第二图像的像素位置的值的权重由0线性升到1。所述加权和为第一图像中的一像素位置的值与其权重的乘积与第二图像中的对应像素位置的值与其权重的乘积的和。
[0050]
如图2所示的(c)，其示出了第一图像和第二图像的拼接图像。
[0051]
本发明可以将不同时间、不同角度、不同传感器采集等情况下获得的两张有重叠的图像，进行全景拼接融合，能够充分考虑到可能出现的各种外界噪声、光照影响等因素，生成优质的全景拼接图，以供后续的图像算法做进一步处理。
[0052]
下面介绍一下本发明中的图像拼接方法100的应用示例。
[0053]
某公司车间生产现场某产品缺陷检测。该产品俯视图为长方形，由产品的中心点将该产品分成4个子部分，4个相机分别处在对应4个子部分中心点的正上方，当产品运行到当前工位时，4个相机同时拍照，并进行全景拼接，在该车间内拍摄环境条件教差，镜头表面可能存在污渍、相机周边光照条件时亮时暗、拍摄视野可能出现较高浓度粉尘或水汽影响成像质量，挡板位置不固定造成拍摄场景中挡板成像可能不够完整，要求图像拼接算法适应兼容这些干扰因素。
[0054]
算法难点：拍摄环境条件差，该产品表明光滑，照明光源打在产品上易出现发光现象，产品本身的缺陷易出现拍照面的四周，图像拼接融合易造成误拼接，会造成后续算法实际检测的准确率难以满足要求。
[0055]
尝试原有图像分开检测的情况下，更改为使用图像拼接融合后全景。在原有整个检测流程不变的基础上，将原有分开检测的图像通过全景拼接融合成一张图像，然后再进行针对性地加以传统算法处理：针对复杂成像条件的图像，通过前期预处理后进行图像配准，能够很好的将多张子图像融合成一张全景图像。最后将得到的拼接图像，用于后续的图像算法中，算法整体准确率明显提升。
[0056]
根据本发明的另一个方面，本发明提供一种存储介质，其存储有程序指令，在所述程序执行被运行以执行上文所述图像拼接方法100。为了简便，所述图像拼接方法100的具体内容在此处不再重复。
[0057]
根据本发明的另一个方面，本发明提供一种计算机，其包括处理器和存储器，所述存储器中存储有程序指令，所述处理器运行所述程序指令以执行上文所述图像拼接方法100。为了简便，所述图像目标匹配定位方法的具体内容在此处不再重复。
[0058]
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
[0059]
在本文中，所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的，只是为了表达技术方案的清楚及方便。应当理解，所述方位词的使用不应限制本技术请求保护的范围。
[0060]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0061]
本技术是参照根据本技术实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理装置的处理器以产生一个机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0062]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0063]
这些计算机程序指令也可装载到计算机或其他可编程数据处理装置上，使得在计算机或其他可编程装置上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程装置上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0064]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造
性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。