一种基于深度学习的图像拼接方法、系统、介质及计算机与流程

1.本发明涉及纺织缺陷检测技术领域，更具体地说，它涉及一种基于深度学习的图像拼接方法、系统、存储介质及计算装置。


背景技术：

2.纺织过程中需要使用工业相机不断地对向前移动的坯布进行拍摄，在纺织过程中，坯布的宽度通常在2米左右，因此为了将坯布的宽度拍摄完整，需要使拍摄的照相机进行横向的往复移动，通过拍摄多张照片，然后进行相互拼接，以达到拍摄完整的坯布的目的。当相机在横向往复运动的时候，由于坯布是不断前进的，因此拍摄到的图像会存在一定的段差，给拼接过程造成困难。
3.对于现有的图像拼接处理技术，通常使用角点拼接法，也就是在两张图片上寻找特征相近的角点，然后根据两张图片的角点的坐标信息，进行旋转、放缩和裁切，以达到相互适应的目的来完成拼接，但是对于纺织状态的坯布来说，由于坯布的纹路为周期性的，因此在拼接过程中难以寻找到对应的角点，容易形成错位拼接。


技术实现要素：

4.针对现有技术存在的不足，本发明的目的在于提供一种基于深度学习的图像拼接方法、系统、存储介质及计算装置，具有的优点。
5.本发明的上述技术目的是通过以下技术方案得以实现的：包括以下步骤：
6.s1、获取坯布表面的第一待拼接图片和第二待拼接图片，并分别对其进行矫正，对应得到预定尺寸的第一矫正图片和第二矫正图片；
7.s2、对所述第一矫正图片和第二矫正图片分别进行预处理，生成对应的第一增强图片和第二增强图片；
8.s3、将所述第一增强图片和第二增强图片输入预先训练好的深度学习神经网络中，获得预拼接图片；
9.s4、对所述预拼接图片进行后处理，生成拼接部位过渡平滑的拼接图片。
10.可选的，所述步骤s1，包括以下步骤：
11.s11、将缺陷检测相机架设在坯布正上方，水平移动缺陷检测相机，并对坯布表面进行图像采集，获取第一待拼接图片和第二待拼接图片；
12.s12、对所述第一待拼接图片和第二待拼接图片分别使用图像金字塔或者opencvresize函数进行尺寸调整，对应获得第一裁切图和第二裁切图；
13.s13、对所述第一裁切图和第二裁切图的边缘进行畸变调整，获得第一矫正图片和第二矫正图片。
14.可选的，所述步骤s2，包括以下步骤：
15.s21、对所述第一矫正图片和第二矫正图片分别进行灰度处理，对应生成第一灰度图片和第二灰度图片；
16.s22、对所述第一灰度图和第二灰度图分别进行亮度调整，生成对应的第一增强图片和第二增强图片。
17.可选的，所述步骤s22，包括：对所述第一灰度图和第二灰度图分别使用直方图均衡化，得到对应的第一增强图片和第二增强图片。
18.可选的，所述步骤s3，包括以下步骤：
19.s31、所述将所述第一增强图片和第二增强图片输入预先训练好的深度学习神经网络中生成对应的平移参数、旋转参数以及放缩参数；
20.s32、根据所述平移参数、旋转参数以及放缩参数，对所述第二增强图片进行空间变换，获得第三增强图片；
21.s33、将所述第一增强图片和第三增强图片的重叠部分在空间上进行对准，获得预拼接图片。
22.可选的，所述步骤s32；所述旋转参数包括：图片的旋转角度α；所述放缩参数包括：像素点的横坐标的放大倍数sx，像素点的纵坐标的放大倍数sy；所述平移参数包括：像素点的水平移动距离tx，像素点的纵坐标的放大倍数ty；
23.还包括以下步骤：
24.s311、使用旋转公式对所述第二增强图片进行旋转处理，生成对应的旋转图片；
25.所述旋转公式为：式中，x1和y1为像素点在第二增强图片上的坐标，x2和y2为对应的像素点在旋转图片上的坐标；
26.s312、使用尺度放缩公式对所述旋转图片进行旋转处理，生成对应的放缩图片；
27.所述尺度放缩公式为：式中，x3和y3为像素点在放缩图片上的坐标；
28.s313、使用平移公式对所述放缩图片进行旋转处理，生成对应的第三增强图片；
29.所述平移公式为：式中，x4和y4为像素点在第三增强图片上的坐标。
30.可选的，所述步骤s4，包括以下步骤：
31.s41、确定所述预拼接图片上的拼接区域，并分别确定所述第一增强图片上对应的第一拼接区域以及第二增强图片上对应的第二拼接区域；
32.s42、分别提取所述第一拼接区域中的第一像素点亮度值g(x，y)以及第二拼接区域中的第二像素点亮度值f(x，y)；
33.s43、计算对应的第一像素点亮度值与第二像素点亮度值之间的亮度差值：v(x，y)＝g(x，y)-f(x，y)；
34.s44、获取所述拼接区域的宽度值x，并根据所述宽度值x以及亮度差值v(x，y)，进行加权平均处理，生成加权平均亮度；
35.s45、将所述第一像素点亮度值g(x，y)均与所述加权平均亮度相加，作为所述预拼接图片上的拼接区域，生成拼接部位过渡平滑的拼接图片。
36.一种图像拼接系统，包括：
37.图像获取模块，用于对坯布表面进行图像采集，获取第一待拼接图片和第二待拼接图片；
38.图像校正模块，用于对图片进行尺寸调整和边缘畸变调整，生成第一矫正图片和第二矫正图片；
39.灰度处理模块：用于对图片进行灰度处理，生成对应的灰度图片；
40.亮度处理模块：用于对灰度图片进行亮度调整，生成对应的亮度增强图片；
41.图像变换模块：用于根据所述平移参数、旋转参数以及放缩参数，对所述图片进行空间变换；
42.拼缝消除模块：用于对所述预拼接图片进行后处理，生成拼接部位过渡平滑的拼接图片。
43.一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
44.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
45.综上所述，本发明具有以下有益效果：
46.本发明通过提供一种基于深度学习的图像拼接方法，可以有效地将坯布缺陷检测相机拍摄到的坯布照片进行拼接，形成一张完整的坯布纹理照片，解决了传统的图像处理方法，容易导致坯布纹理拼接错位的问题。
附图说明
47.图1为本发明一种基于深度学习的图像拼接方法的流程图；
48.图2为本发明的矫正待拼接图片的流程图；
49.图3为本发明的对带矫正图片进行预处理的流程图；
50.图4为本发明的获取预拼接图片的流程图；
51.图5为本发明的对第二增强图片机型空间变换的流程图；
52.图6为本发明的对过渡区域进行后处理的流程图；
53.图7为本发明的一种基于深度学习的图像拼接系统结构图；
54.图8为本发明实施例中计算机设备的内部结构图。
55.图中：1、图像获取模块；2、图像校正模块；3、灰度处理模块；4、亮度处理模块；5、图像变换模块；6、拼缝消除模块。
具体实施方式
56.为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。
57.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等
术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
58.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”以及类似的表述只是为了说明的目的，而不是指示或暗示所指装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
59.下面结合附图和实施例，对本发明进行详细描述。
60.本发明提供了一种基于深度学习的图像拼接方法,如图1-6所示，包括以下步骤：
61.s1、获取坯布表面的第一待拼接图片和第二待拼接图片，并分别对其进行矫正，对应得到预定尺寸的第一矫正图片和第二矫正图片；
62.s2、对所述第一矫正图片和第二矫正图片分别进行预处理，生成对应的第一增强图片和第二增强图片；
63.s3、将所述第一增强图片和第二增强图片输入预先训练好的深度学习神经网络中，获得预拼接图片；
64.s4、对所述预拼接图片进行后处理，生成拼接部位过渡平滑的拼接图片。
65.具体来说，传统的图像处理拼接，通过寻找两个图片对应的角点，以一张图片为基础，将另一张图片进行对应的仿射变换，然后将仿射变换后的图片与基础图片进行空间连接，以实现图片拼接，但是坯布的图片为周期性的纹路图片，因此在使用传统的角点法拼接图片的时候，纹路之间的角点十分相似，容易导致纹理的错位拼接。为了解决上述问题，本技术提供一种基于深度学习的图片拼接方法，首先获取坯布表面的待拼接图片，具体来说，在纺织过程中，坯布的宽度通常为2m左右，而相机的拍摄宽度通常在50cm左右，因此需要拍摄四次，才可以将坯布的一个宽度拍摄完毕，因此不仅需要将相机架设在坯布的顶部进行拍摄，还需要通过滑轨控制相机来回移动，以拍摄不同位置的坯布，但是由于坯布是在不断向前移动的，因此在拍摄过程中，照片之间会产生错位，为了使图片拼接的更加准确；本技术首先对待拼接图片进行矫正，矫正的目的是使待拼接的图片可以保持在统一的尺寸，且方便深度学习网络进行识别特征，同时可以调整摄像机拍摄的照片的边缘部位的畸变，使拍摄的待拼接图片的边缘更接近矩形，使图片的边缘更容易被拼接。对矫正图片进行预处理，可以提高图片的对比度，使图片的特征点更加清晰。将第一增强图片和第二增强图片输入预先训练好的以pp-lcnet为主干的神经网络中，神经网络会对应输出以第一增强图片为基础的，第二增强图片对应的需要进行的调整参数，将第二增强图片对应进行变换后，与第一图片相互结合，以实现对图片的拼接。在拼接过后，还需要将两张图片的拼接区域进行后
处理，降低拼接部位的拼接缝，使图片的拼接区域更加顺滑。
66.进一步的，所述步骤s1，包括以下步骤：
67.s11、将缺陷检测相机架设在坯布正上方，水平移动缺陷检测相机，并对坯布表面进行图像采集，获取第一待拼接图片和第二待拼接图片；
68.s12、对所述第一待拼接图片和第二待拼接图片分别使用图像金字塔或者opencvresize函数进行尺寸调整，对应获得第一裁切图和第二裁切图；
69.s13、对所述第一裁切图和第二裁切图的边缘进行畸变调整，获得第一矫正图片和第二矫正图片。
70.在实际应用中，具体来说，将第一待拼接图片和第二待拼接图片进行尺寸调整，目的是为了降低设备的计算压力，提高神经网络的运算速度，对于工业相机来说，通常使用的是鱼眼镜头，以扩大相机的拍摄面积，但是鱼眼镜头会导致照片的边缘位置发生较大的畸变，而导致两张照片不能顺利地拼接在一起。
71.可选的，所述步骤s2，包括以下步骤：
72.s21、对所述第一矫正图片和第二矫正图片分别进行灰度处理，对应生成第一灰度图片和第二灰度图片；
73.s22、对所述第一灰度图和第二灰度图分别进行亮度调整，生成对应的第一增强图片和第二增强图片。
74.在实际应用中，灰度图可以降低图片的包含的信息量，令图片的特征更加突出；对灰度图进行亮度调整，可以使所有的照片都处于同一个亮度水平，避免因为外界光线变化原因，导致特征识别存在错误。
75.可选地，所述步骤s22，包括：对所述第一灰度图和第二灰度图分别使用直方图均衡化，得到对应的第一增强图片和第二增强图片。
76.进一步地，所述步骤s3，包括以下步骤：
77.s31、所述将所述第一增强图片和第二增强图片输入预先训练好的深度学习神经网络中生成对应的平移参数、旋转参数以及放缩参数；
78.s32、根据所述平移参数、旋转参数以及放缩参数，对所述第二增强图片进行空间变换，获得第三增强图片；
79.s33、将所述第一增强图片和第三增强图片的重叠部分在空间上进行对准，获得预拼接图片。
80.在实际应用中，所述深度学习神经网络的主干网络为pp-lcnet结构。在本技术中，所述深度学习神经网络输出的部分监督信号改成了两个图像的对齐的参数。也就是图片的旋转角度α、像素点的横坐标的放大倍数sx、像素点的纵坐标的放大倍数sy、像素点的水平移动距离tx以及像素点的纵坐标的放大倍数ty。
81.进一步地，所述步骤s32；所述旋转参数包括：图片的旋转角度α；所述放缩参数包括：像素点的横坐标的放大倍数sx，像素点的纵坐标的放大倍数sy；所述平移参数包括：像素点的水平移动距离tx，像素点的纵坐标的放大倍数ty；
82.还包括以下步骤：
83.s311、使用旋转公式对所述第二增强图片进行旋转处理，生成对应的旋转图片；
84.所述旋转公式为：式中，x1和y1为像素点在第二增强图片上的坐标，x2和y2为对应的像素点在旋转图片上的坐标；
85.s312、使用尺度放缩公式对所述旋转图片进行旋转处理，生成对应的放缩图片；
86.所述尺度放缩公式为：式中，x3和y3为像素点在放缩图片上的坐标；
87.s313、使用平移公式对所述放缩图片进行旋转处理，生成对应的第三增强图片；
88.所述平移公式为：式中，x4和y4为像素点在第三增强图片上的坐标。
89.进一步地，所述步骤s4，包括以下步骤：
90.s41、确定所述预拼接图片上的拼接区域，并分别确定所述第一增强图片上对应的第一拼接区域以及第二增强图片上对应的第二拼接区域；
91.s42、分别提取所述第一拼接区域中的第一像素点亮度值g(x，y)以及第二拼接区域中的第二像素点亮度值f(x，y)；
92.s43、计算对应的第一像素点亮度值与第二像素点亮度值之间的亮度差值：v(x，y)＝g(x，y)-f(x，y)；
93.s44、获取所述拼接区域的宽度值x，并根据所述宽度值x以及亮度差值v(x，y)，进行加权平均处理，生成加权平均亮度；
94.s45、将所述第一像素点亮度值g(x，y)均与所述加权平均亮度相加，作为所述预拼接图片上的拼接区域，生成拼接部位过渡平滑的拼接图片。
95.在实际应用中，由于摄像机是沿着坯布的横向进行移动的，因此，对于拍摄到的图像通常是需要进行水平方向的拼接，假设拼接区域的宽度为x,且以第一增强图片为基础图片，第二增强图片的左边缘与第一增强图片的右边缘进行拼接，则第x列的像素值的亮度差值可得：v(x)＝w1(x)v1(x)+w2(x)v2(x)，x∈(0,x)其中，w1为第一拼接区域的权值，w2为第二拼接区域的权值，设w2＝x/x，则w1＝1-w2,其中，根据上述公式可知，当w2逐渐递增的时候，w1逐渐递减；这样可以使重叠区域的亮度差值过渡平滑，这样像素点之间的亮度差值过渡平滑，将像素点之间的亮度差值与第一像素点的第一像素点亮度值对应相加，以实现对拼接区域的亮度调整。
96.综上所述，本技术提供了一种基于深度学习神经网络的图片拼接方法，可以针对坯布纺织过程中所拍摄的照片进行图像拼接，使照片可以完整的体现坯布的宽度范围内所存在的瑕疵，相比传统的使用角点法的图像处理方法来说，大大降低了因为坯布的周期性纹理导致拼接发生错位的情况，且拼接区域过渡平滑，没有明显的拼接缝。
97.如图7所示，本发明还提供了一种图像拼接系统，包括：
98.图像获取模块，用于对坯布表面进行图像采集，获取第一待拼接图片和第二待拼
接图片；
99.图像校正模块，用于对图片进行尺寸调整和边缘畸变调整，生成第一矫正图片和第二矫正图片；
100.灰度处理模块：用于对图片进行灰度处理，生成对应的灰度图片；
101.亮度处理模块：用于对灰度图片进行亮度调整，生成对应的亮度增强图片；
102.图像变换模块：用于根据所述平移参数、旋转参数以及放缩参数，对所述图片进行空间变换；
103.拼缝消除模块：用于对所述预拼接图片进行后处理，生成拼接部位过渡平滑的拼接图片。
104.关于图像拼接系统的具体限定可以参见上文中对于图像拼接方法的限定，在此不再赘述。上述图像拼接系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
105.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现前述的图像拼接方法。
106.本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
107.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
108.s1、获取坯布表面的第一待拼接图片和第二待拼接图片，并分别对其进行矫正，对应得到预定尺寸的第一矫正图片和第二矫正图片；
109.s2、对所述第一矫正图片和第二矫正图片分别进行预处理，生成对应的第一增强图片和第二增强图片；
110.s3、将所述第一增强图片和第二增强图片输入预先训练好的深度学习神经网络中，获得预拼接图片；
111.s4、对所述预拼接图片进行后处理，生成拼接部位过渡平滑的拼接图片。
112.在一个实施例中，所述步骤s1，包括以下步骤：
113.s11、将缺陷检测相机架设在坯布正上方，水平移动缺陷检测相机，并对坯布表面进行图像采集，获取第一待拼接图片和第二待拼接图片；
114.s12、对所述第一待拼接图片和第二待拼接图片分别使用图像金字塔或者opencvresize函数进行尺寸调整，对应获得第一裁切图和第二裁切图；
115.s13、对所述第一裁切图和第二裁切图的边缘进行畸变调整，获得第一矫正图片和第二矫正图片。
116.在一个实施例中，所述步骤s2，包括以下步骤：
117.s21、对所述第一矫正图片和第二矫正图片分别进行灰度处理，对应生成第一灰度图片和第二灰度图片；
118.s22、对所述第一灰度图和第二灰度图分别进行亮度调整，生成对应的第一增强图片和第二增强图片。
119.在一个实施例中，所述步骤s22，包括：对所述第一灰度图和第二灰度图分别使用直方图均衡化，得到对应的第一增强图片和第二增强图片。
120.在一个实施例中，所述步骤s3，包括以下步骤：
121.s31、所述将所述第一增强图片和第二增强图片输入预先训练好的深度学习神经网络中生成对应的平移参数、旋转参数以及放缩参数；
122.s32、根据所述平移参数、旋转参数以及放缩参数，对所述第二增强图片进行空间变换，获得第三增强图片；
123.s33、将所述第一增强图片和第三增强图片的重叠部分在空间上进行对准，获得预拼接图片。
124.在一个实施例中，所述步骤s32；所述旋转参数包括：图片的旋转角度α；所述放缩参数包括：像素点的横坐标的放大倍数sx，像素点的纵坐标的放大倍数sy；所述平移参数包括：像素点的水平移动距离tx，像素点的纵坐标的放大倍数ty；
125.还包括以下步骤：
126.s311、使用旋转公式对所述第二增强图片进行旋转处理，生成对应的旋转图片；
127.所述旋转公式为：式中，x1和y1为像素点在第二增强图片上的坐标，x2和y2为对应的像素点在旋转图片上的坐标；
128.s312、使用尺度放缩公式对所述旋转图片进行旋转处理，生成对应的放缩图片；
129.所述尺度放缩公式为：式中，x3和y3为像素点在放缩图片上的坐标；
130.s313、使用平移公式对所述放缩图片进行旋转处理，生成对应的第三增强图片；
131.所述平移公式为：式中，x4和y4为像素点在第三增强图片上的坐标。
132.在一个实施例中，所述步骤s4，包括以下步骤：
133.s41、确定所述预拼接图片上的拼接区域，并分别确定所述第一增强图片上对应的第一拼接区域以及第二增强图片上对应的第二拼接区域；
134.s42、分别提取所述第一拼接区域中的第一像素点亮度值g(x，y)以及第二拼接区域中的第二像素点亮度值f(x，y)；
135.s43、计算对应的第一像素点亮度值与第二像素点亮度值之间的亮度差值：v(x，y)＝g(x，y)-f(x，y)；
136.s44、获取所述拼接区域的宽度值x，并根据所述宽度值x以及亮度差值v(x，y)，进行加权平均处理，生成加权平均亮度；
137.s45、将所述第一像素点亮度值g(x，y)均与所述加权平均亮度相加，作为所述预拼接图片上的拼接区域，生成拼接部位过渡平滑的拼接图片。
138.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
139.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
140.综上所述，本技术提供了一种基于深度学习神经网络的图片拼接方法，可以针对坯布纺织过程中所拍摄的照片进行图像拼接，使照片可以完整的体现坯布的宽度范围内所存在的瑕疵，相比传统的使用角点法的图像处理方法来说，大大降低了因为坯布的周期性纹理导致拼接发生错位的情况，且拼接区域过渡平滑，没有明显的拼接缝。
141.以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。