一种基于深度学习和边缘计算的多图像拼接方法

1.本发明涉及一种基于深度学习和边缘计算的多图像拼接方法，属于图像拼接处理技术领域。


背景技术：

2.在日常生活中，需要将多幅图片拼接成一幅大图时，经常会因为拍照角度等问题，拍出来的图片明晦程度不一致，拼接出的图像缝合线明显，且拼出的大图极其不美观。
3.对于图像拼接技术领域，常用的拼接方法主要有两种：一种方法是找出两幅图像相同内容的位置后，直接进行重叠并拼接。这种方法在尽可能多地利用完图像内的可用数据后实现较高精度的匹配，但是对于待拼接的图像尺寸和拍摄角度等都需要严格要求，且初始化阶段需要严格要求。另一种是方法是基于图像局部不变特征进行拼接。该方法不需要初始化，可以直接提取待拼接图像的特征，然后进行特征检测和匹配，并计算匹配的图像特征之间的单应矩阵，再将待拼接图像按该单应矩阵进行变换，最后将所有进行拼接。该方法对比第一种方法，有着较强的易用性和高效性。
4.但是第二种常用的拼接方法在进行多幅图像拼接时，容易因图像间亮度差异将单应矩阵计算错误，从而导致多图像的拼接出现错位。
5.造成拼接错位有以下两个主要原因：一是有些图像之间的光照强度差异极大，直接提取图像的特征点进行匹配，会导致能正确匹配的特征点对数量极少。二是待拼接的图像之间只有边缘附近少数几个特征区域可以识别，若有跨尺度匹配的情况出现，则会出现很多错误匹配的特征点。
6.总之，对于多图像拼接的情况，目前常用的两种拼接方法对存在巨大光照变化的图像进行拼接，会造成鲁棒性不足，且在进行大图拼接时需要耗费很多时间，难以完成相关的拼接工作。


技术实现要素：

7.为解决上述存在的问题，本发明提供了一种基于深度学习和边缘计算的多图像拼接方法，包括以下步骤：（1）将待拼接图片集输入已经植入深度神经网络的边缘计算系统中，（2）将图像分离出各自的细节层图像和基础层图像；（3）对分离好的图像进行灰度化处理，得到各自的灰度图；（4）对所得灰度图进行直方图均衡化，使两幅图像内的细节层更清晰；（5）对前几步处理产生的噪声进行滤除；（6）对步骤（5）所得图像进行采样和重构；（7）对步骤（6）的图像进行特征点检测和匹配；（8）消除步骤（7）中产生的误匹配点并计算待拼接图像间的单应矩阵；（9）将两幅图像根据单应矩阵拼接在一起，并对结合线使用小波变换进行滤波处理和融合，最后得到所需图像。
8.作为本发明的进一步方案，步骤1具体包括以下内容：使用乘性分解法将昼夜图像分别分离出细节层和基础层作为本发明的进一步方案，步骤2具体包括以下内容：对亮度图像的rgb三个分量
使用加权平均法得到相关的灰度图。
9.作为本发明的进一步方案，步骤3具体包括以下内容：利用数学的累积分布函数变换法进行灰度图像的直方图均衡化。
10.作为本发明的进一步方案，步骤4具体包括以下内容：使用高斯核对整幅图像进行加权平均消除前述图像处理过程中的高斯噪声。
11.作为本发明的进一步方案，步骤5具体包括以下内容：使用高斯金字塔和拉普拉斯金字塔对图像进行采样和重构，使获得的图像分辨率更协调。
12.作为本发明的进一步方案，步骤6具体包括以下内容：利用基于高斯差分的多尺度特征检测子和最邻近方法进行图像的特征点检测和匹配。
13.作为本发明的进一步方案，步骤7具体包括以下内容：根据ransac算法去除所得匹配点集中的误匹配点，再用纯特征点进行单应矩阵的求解。
14.作为本发明的进一步方案，步骤8具体包括以下内容：利用小波变换对拼接图像间的结合线进行滤波和融合最终所需图像。
15.与现有技术相比，本发明方法的有益效果是：本发明方法将昼夜图像的细节层和基础层分离后再进行图形拼接，使用小波变换对两拼接图像间的缝合线进行融合，在小波域内进行图像拼接，利用了小波变换能根据缝合线的灰度变换进行自适应滤波的特点，能有效消除直接拼接产生的明显拼缝，使昼夜图像更好地拼接。
附图说明
16.图1为本发明的流程图。
具体实施方式
17.下面结合流程图对本专利的技术方案作进一步详细说明。
18.本发明涉及一种基于深度学习和边缘计算的多图像拼接方法，按照以下步骤具体实施。
19.（1）本发明使用pytorch框架和oxflower17对mobilenetv3深度神经网络进行训练，并将训练好的mobilenetv3深度神经网络植入边缘计算系统中，从而使边缘计算系统能对多图像进行预处理。
20.（2）使用乘性分解法将昼夜图像分别分离出细节层和基础层，获取基础层的过程为：b=f(i) 其中i表示待分解的图像，f(i)表示对图像i进行低通滤波操作，b为提取到的基础层；获取细节层的过程为：其中
ϵ
是很小的常数，在opencv中为epsilon。
21.（2）根据各分量的重要性和其他指标要求，图像的rgb三个分量进行加权后平均，
其过程为：gray(i,j)=0.299*r(i,j)+0.578*g(i,j)+0.114*b(i,j)其中，r(i,j)、g(i,j)、b(i,j)分别为图像的红、绿、黄分量，gray(i,j)为所得的灰度图。
22.（3）所用到的直方图均衡化处理，是利用数学的累积分布函数变换法对过于灰度级过于集中的区域均衡分摊到各个灰度级中，映射函数表示为：其中，n为图像中像素总和，ni为灰度层级为k的像素总和。
23.（4）使用高斯核滤波函数对整幅图像进行加权平均进行线性平滑，用以消除图像处理中的高斯噪声。
24.（5）使用高斯金字塔和拉普拉斯金字塔对图像进行采样和重构，利用了高斯核对图像进行卷积平滑操作并进行下采样，依次迭代最后形成多分辨率的高斯金字塔，卷积操作的过程为：l(x,y,δ)=g(x,y,δ)*i(x,y)其中g(x,y,δ)为高斯函数，i(x,y)为所要卷积的灰度图像；拉普拉斯金字塔的层由高斯金字塔的同层和上一层的图像作差得到的，转换过程为：li=g
i-pyrup(g
i+1
)其中pyrup(g
i+1
)表示对高斯金字塔进行上采样操作。
25.（6）利用基于高斯差分的多尺度特征检测子进行特征点的检测，可以使特征点具有尺度不变性；采用最邻近方法，对计算某特征点与领一幅图中所有特征点之间的欧氏距离值大小进行排列，找出最小值和次小值并进行计算，小于某个阈值则为匹配点，欧氏距离的计算公式为：其中xi和yi分别为点x和点y相对应的分量，在本发明中，欧式距离阈值取0.6。
26.（7）由于使用ransac算法寻找最佳单应性矩阵h，对于3*3的矩阵而言，该单应性矩阵就有8个未知参数，一组点对可以列出两个方程，故从匹配数据集中随机抽取4个不共线的样本，单应矩阵的计算过程为：其中(x,y)为一幅图像的特征点位置，(x’,y’)为另一幅图对应的特征点位置，s为尺度参数；将4个样本点代入公式后，解算出单应矩阵，并用该矩阵模型测算所有数据点，若
某数据点与单应矩阵之间的投影误差小于阈值，则该数据点为内点，并将大于阈值的点作为误匹配点去除掉，统计所有数据点与单应矩阵之间的投影误差：若所得代价函数最小，则所得模型为最优。
27.（8）将各个经过边缘计算系统预处理后的图像传回中央处理系统，从而对各图像在小波域上进行拼接和融合。令两幅图像经过匹配处理后的小波系数矩阵低频分量分别为al和bl，权值矩阵的初始值为：对于矩阵的第b列和第b+1列元素，由两幅图像边界灰度值共同决定：和，根据所得的，向两边经过增强或衰减之后变到1和0，并得到小波域内的权值矩阵，则小波系数矩阵为：根据上式可以实现图像在小波域内的拼接和融合。
28.本发明的优点在于：首先本发明在图像预处理过程中将图像进行亮度分离，避免昼夜图像亮度差异过大造成的拼接困难；其次，本发明对灰度化后的图像进行直方图均衡化，进一步减小昼夜图像之间的亮度差异；本发明采用高斯核构建高斯金字塔过程中，对于分辨率过低的部分进行上采样建立拉普拉斯金字塔，实现合成的大图美观和协调。
29.以上所述仅是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理基础上做出的若干改进，或者对其中部分技术特征进行等同替代，这些改进和替换也应视为本发明的保护范围。