一种继电保护柜端子排全景图拼接方法与流程

本发明涉及计算机图形拼接和继电保护柜的，更具体地，涉及一种继电保护柜端子排全景图拼接方法。

背景技术：

1、在继电保护柜日常维护和巡检过程中，会对继电保护柜端子排进行图像拍摄采集，单独拍摄的照片幅面有限，不利于进行存档和查阅，因此有必要对采集的继电保护柜端子排图像进行全景图拼接。

2、图像拼接技术将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术。

3、图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法,这类方法速度慢、精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合。图像拼接的方法很多,不同的算法步骤会有一定差异,但大致的过程是相同的。

4、图像拼接分为四个步骤：图像匹配(registration)、重投影(reprojection)、缝合(stitching)和融合(blending)。

5、图像匹配：是指一对描绘相同场景之间的几张图片的几何对应关系，一组照片可以是不同时间不同位置的拍摄，或者由多个传感器同时拍摄多张图像。

6、重投影：通过图像的几何变换，把一系列图片转换成一个共同的坐标系

7、缝合：通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像

8、融合：通过几何和光度偏移错误通常导致对象的不连续，并在两个图像之间的边界附近产生可见的接缝。因此，为了减小接缝的出现，需要在缝合时或缝合之后使用混合算法。

技术实现思路

1、本发明旨在至少在一定程度上解决上述技术问题，提供一种继电保护柜端子排全景图拼接方法，用于对继电保护柜端子排进行图像拼接。

2、本发明的技术方案是：一种继电保护柜端子排全景图拼接方法，包括以下步骤：

3、s1.图像预处理,图像预处理采用数字图像处理的基本操作，去噪和图像增强，去噪算法采用非局部均值滤波算法；

4、s2.图像配准，特征点被检测出来之后，得到两幅待拼接图的匹配点集，接下来进行图像的配准；

5、s3.图像融合，使用multi-band bleing策略实现图像融合，获得拼接的全景图以后，进行去黑边裁剪处理，即可得到符合要求的全景图。

6、进一步的，所述的步骤s1具体如下：

7、非局部均值滤波算法需要遍历整个原图像：首先取出一个原图像pixel，以该pixel坐标为中心，圈出一大、一小两个矩形，大的矩形表示纹理替换搜索区域r，小的矩形表示待处理pixel的纹理区域l，将r矩形区域，分成若干个和l矩形区域一样的大小的矩形li，计算出每块li和l之间的权重，将l的像素值都设置为0，然后根据l与每块li的权重w，叠加当前l的像素值为：w×li，将l和每块li之间的权重w，同样累加起来到wall,所有li遍历完了之后，就得到了经过去噪处理之后的l区域像素。

8、图像预处理：

9、遍历读取指定后缀的图像文件，判断分辨率是否统一，并resize到统一尺寸。

10、图像预处理采用数字图像处理的基本操作，去噪和图像增强，去噪算法采用非局部均值滤波算法，该算法需要遍历整个原图像：首先取出一个原图像pixel，以该pixel坐标为中心，圈出一大、一小两个矩形，大的矩形表示纹理替换搜索区域r，小的矩形表示待处理pixel的纹理区域l，将r矩形区域，分成若干个和l矩形区域一样的大小的矩形li，计算出每块li和l之间的权重，将l的像素值都设置为0，然后根据l与每块li的权重w，叠加当前l的像素值为：w×li，将l和每块li之间的权重w，同样累加起来到wall,所有li遍历完了之后，就得到了经过去噪处理之后的l区域像素，图像增强算法采用laplace变换，图像进行二阶微分操作可以突出图像边缘，构造出应该同性滤波器，其对图像方向的变化不敏感，将laplace变换的结果按照一定比例加入到原灰度图像中实现图像增强。

11、进一步的，所述的步骤s2具体如下：

12、特征点被检测出来之后，得到两幅待拼接图的匹配点集，接下来进行图像的配准，将两张图像转换为同一坐标下，使用findhomography函数求变换矩阵，findhomography函数所要用到的点集为point2f类型，对刚得到的点集goodmatchepoints再做一次处理，使其转换为point2f类型的点集，然后用imagepoints1,imagepoints2去求变换矩阵，并且实现图像配准。

13、优选的，所述的findhomography函数的参数中选泽cv_ransac。这表明选择ransac算法，可以继续筛选可靠匹配点，这使得匹配点解更为精确。

14、进一步的，所述的步骤s3具体如下：

15、使用multi-band bleing策略实现图像融合，采用laplacian金字塔，通过对相邻两层的高斯金字塔进行差分，将原图分解成不同尺度的子图，对每一个之图进行加权平均，得到每一层的融合结果，最后进行金字塔的反向重建，得到最终融合效果过程，最终通过graph cut寻找拼接缝，最后要做的就是寻找一个切割缝，当找到这条缝之后，左边的像素从a中拷贝而来，而右边的像素则从b中拷贝而来即可，接下来就可以不断的拼合更多的patch，目标是用越来越多次的覆盖输出图片中的缝隙，使得图像重合部分越来越多，直到代价值收敛，获得算法拼接的全景图以后，进行去黑边裁剪处理，即可得到符合要求的全景图。

16、具体的，所述的通过graph cut寻找拼接缝的过程具体如下：

17、把两个patch拼合到一起，它们首先被放置为有一定重合区域，为了让两者之间的缝隙尽可能的不明显，需要知道一个分割线，在这个分割线的左边，图像像素由a贡献，相反在其右边，图像像素则由b贡献，这里将输出的图像看做是由graph所表示，并且给这个graph两个端点，一个是a，一个是b，重合区域的像素，从某个连接上剪掉某些连接，并且要使得被剪掉的连接的代价之和最小化，这是最典型的图算法中的最小割问题，它也对应着所谓的最大流问题；这里假设在重合区域两个相邻的输出像素分别是s和t，知道输出的像素既可能来自于a，也可能来自于b，于是用a(s)，b(s)来表示s点在a图和b图的颜色,用a(t)，b(t)来表示t点在a图和b图的颜色；于是，s点和t点的连接的代价被定义为：

18、m(s，t，a，b)＝||a(s)-b(s)||+||a(t)-b(t)||

19、最后要做的就是寻找一个切割缝，最小化m(s,t,a,b),当找到这条缝之后，左边的像素从a中拷贝而来，而右边的像素则从b中拷贝而来即可，接下来就可以不断的拼合更多的patch，目标是用越来越多次的覆盖输出图片中的缝隙，使得图像重合部分越来越多，直到代价值收敛。

20、优选的，所述的去噪算法也可以采用bm3d算法。

21、所述的bm3d算法，其主要步骤分为基础估计和最终估计，在这两大步中，分别又有三小步：相似块分组，协同滤波和聚合，在基础估计中，第一步相似块分组的主要任务是在噪声图像中选择一些像素块作为参考，然后在这些像素块周围适当区域进行搜索，找到与选择的像素块最相似的块，并把这些相似的块叠加成一个三维矩阵；第二步协同滤波的任务是将分组的若干三维矩阵块通过小波变换转换到频域上，将小于设定阈值的系数置0，即频域滤波，然后再通过逆小波变换得到处理后的像素块；最后一步聚合，是将分组处理后的像素块通过一定加权融合到其原来的位置上，这时像素块的值是对噪声图像的估计，最终估计的流程与基础估计相同，也是第一步相似块分组，不过这时的相似块分组会考虑到基础估计中相似块分和聚合后的结果，第二步协同滤波时使用了用维纳滤波代替了硬阈值处理，第三步将三维像素块加权融合，得到对噪声图像的最终估计，即可完成图像去噪任务。

22、所述的特征是要匹配的两个输入图像中的元素，为了给图像提供更好的特征匹配，采用角点检测，进行定量测量；在视点变化时，角点特征是稳定的；角点检测算法：harris角点检测算法、sift特征点检测算法、surf特征点检测算法。

23、优选的，harris角点检测原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像，计算差分图像，高斯平滑，计算局部极值，确认角点。

24、harris角点检测算法具有如下一些特点：

25、1.harris角点检测算子对亮度和对比度的变化不敏感，可能会影响角点检测的数量；

26、2.harris角点检测算子具有旋转不变性；

27、3.harris角点检测算子不具有尺度不变性，随几何尺度变化，harris角点检测的性能下降。

28、优选的，sift特征点检测算法是一种检测局部特征的算法，它是通过求一幅图中的特征点及其有关scale和orientation的描述子得到特征并进行图像特征点匹配，sift算法具有如下一些特点：

29、1.sift特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

30、2.独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

31、3.多量性，即使少数的几个物体也可以产生大量的sift特征向量；

32、4.高速性，经优化的sift匹配算法甚至可以达到实时地要求；

33、优选的，surf是一种类似于sift的特征点检测及描述子算法，其通过hessian矩阵的行列式来确定兴趣点位置，再根据兴趣点邻域点的haar小波响应来确定描述子，其描述子大小只有64维(也可以扩展到128维，效果更好)，是一种非常优秀的兴趣点检测算法，该算子在保持sift算子优良性能特点的基础上，同时解决了sift计算复杂度高、耗时长的缺点，对兴趣点提取及其特征向量描述方面进行了改进，且计算速度得到提高。

34、优选的，在拼接中，需要判断两幅图像是否匹配估计的异常值数量可能是一个标准，但是，对于高分辨率图像，通常会发现具有大量内点的错误匹配，只要执行了足够多的ransac迭代，为了解决这个问题，由于错误匹配通常在空间上更随机分布，匹配的几何约束也可以帮助过滤掉错误匹配，因此，在ransac完成并返回一组内点后，可以使用一些重叠测试来进一步验证匹配。

35、优选的，针对待拼接图片序列中可能存在重复拍摄的图像问题，可采用图像去重算法计算phash处理，通过感知哈希算法对每张图片生成一个“指纹”字符串，然后通过比较“指纹”字符串的距离(采用汉明距离，hammingdistance，两个等长字符串之间的汉明距离，是两个字符串对应位置的不同字符的个数)，这个距离越小，代表两个图片越相似。

36、其他计算图像哈希的算法如下：

37、ahash：平均值哈希，转灰度压缩之后计算均值，最终通过像素比较得出哈希值，速度很快，但敏感度很高，稍有变化就会极大影响判定结果，精准度较差，比较适用于缩略图比较。

38、phash：感知哈希，在均值哈希基础上加入dct(离散余弦变化)，两次dct就可以很好的将图像按照频度分开，取左上角高能低频信息做均值哈希，精确度很高，但是速度方面较差一些。

39、dhash：差异值哈希，转灰度压缩之后，比较相邻像素之间差异。

40、假设有10×10的图像，每行10个像素，就会产生9个差异值，一共10行，就一共有9×10＝90个差异值，最终生成哈希值即指纹，通过对比图像指纹去剔除重复图像。

41、优选的，在图像拼接融合的过程中，受客观因素的影响，拼接融合后的图像可能会存在“鬼影现象”以及图像间过度不连续等问题，可采用改进的apap算法，其算法流程如下：

42、apap算法流程:

43、1.sift得到两幅图像的匹配点对；

44、2.通过ransac剔除外点，得到n对内点；

45、3.利用dlt和svd计算全局单应性；

46、4.将源图划分网格，取网格中心点，计算每个中心点和源图上内点之间的欧式距离和权重；

47、5.将权重放到dlt算法的a矩阵中，构建成新的w*a矩阵，重新svd分解，自然就得到了当前网格的局部单应性矩阵；

48、6.遍历每个网格，利用局部单应性矩阵映射到全景画布上，就得到了apap变换后的源图；

49、7.最后就是进行拼接线的加权融合。

50、与现有技术相比，有益效果是：本发明拼接速度快，拼接效果好，对继电保护柜端子排进行图像拍摄采集后拼接出来全景图方便进行归档和查阅，有效提高了继电保护柜日常运维的智能化水平。