一种计量设备指导配准的计量箱全貌图像拼接方法及设备与流程

本发明涉及一种计量设备指导配准的计量箱全貌图像拼接方法及设备，属于图像拼接领域。

背景技术：

1、计量箱全貌图像拼接技术可以实现将来源于不同时间，不同视角甚至不同设备拍摄的计量箱图像拼接成一张视野更加宽广的计量箱全貌图。但是，该技术对待拼接图像的成像规范十分苛刻，一旦不满足成像规范，即会出现对齐不精确造成的伪影以及不自然的变形等问题。目前，主要的图像拼接算法有：

2、(1)传统图像拼接算法主要通过特征点检测与匹配算法检测并匹配待拼接图像的特征点，使用过滤算法筛选离群特征点，计算待拼接图像之间的变换，最后对图像进行拼接和融合。该种方法高度依赖于特征点的匹配准确性，在特征点匹配不准确和待拼接图像视差较大的情况下，最终的拼接图像会同时出现重叠区域产生模糊的伪影和非重叠区域引入严重的透视失真的问题。

3、(2)基于深度学习的图像拼接算法主要利用大量待拼接图像以及全貌图进行训练。该种方法依赖于训练样本的规模与标签的准确性。而图像拼接仍然是一个没有标准答案的问题，即无法给定一个标准角度作为最终拼接图像的成像角度，使得基于深度学习的图像拼接算法的样本难以收集以及评估。

4、计量箱大多安装于物业间或地下室等光线不佳的位置，为了对计量箱及箱内设备的现场情况进行全方位管理，往往需要对计量箱全貌照片进行拍照记录，而相机捕获到的图像的清晰程度依赖于相机的分辨率，当捕捉较大视野的场景时，计量箱箱内设备局部的清晰度就会下降。使用计量箱图像拼接算法可以将计量箱局部的精细图像拼接成清晰自然的计量箱全貌图像。

技术实现思路

1、为了克服现有技术中存在的问题，本发明设计了一种计量设备指导配准的计量箱全貌图像拼接方法。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种计量设备指导配准的计量箱全貌图像拼接方法，包括以下步骤：

4、选取一待拼接图像为参考图像，选取至少一待拼接图像为目标图像；对各待拼接图像进行语义分割，得到语义分割结果，语义分割结果包括图像中各像素属于某种计量设备的概率；

5、利用特征匹配算法，检测参考图像与目标图像的特征点并进行特征匹配，得到若干匹配特征对；根据语义分割结果，删除不属于同一计量设备类别的匹配特征对；

6、根据所属计量设备类别，将匹配特征对分为若干组；分别根据各组匹配特征对，求解多个变换矩阵；计算各变换矩阵的变换误差；选取误差最小的变换矩阵对目标图像进行图像变换；

7、拼接参考图像与完成变换的目标图像。

8、进一步地，所述对各待拼接图像进行语义分割，具体为：

9、构建并训练级联语义分割模型；所述级联语义分割模型包括主干网络、第一子网络和第二子网络；第一子网络用于分割计量箱体和背景，第二子网络用于进一步分割计量箱内单设备，并生成密集的计量箱内对象映射，该映射指示像素属于某种计量设备的概率；将第一子网络和第二子网络的输出结果进行合并，得到语义分割结果。

10、进一步地，所述级联语义分割模型的损失函数为：

11、loss＝lbackground+lobject

12、

13、

14、式中，xi是真实类，yi是预测类，m是背景类别数目，n是计量设备类别数目。

15、进一步地，所述拼接参考图像与完成变换的目标图像，包括：

16、构建切割线能量函数；通过切割线能量函数求解像素集合为切割线；

17、对切割线进行羽化处理；应用切割线融合目标图像和参考图像。

18、进一步地，所述构建切割线能量函数，以公式表达为：

19、

20、

21、

22、式中，n代表四连通域，ed(p,lp)为将标签lp分配给像素p的数据成本；表示像素p处的梯度；es(p,q,lp,lq)代表标签lp和标签lq分别分配给四连通域的像素p和像素q的平滑成本；代表像素位置在参考图像和目标图像中的梯度差和；δ(p,q)表示平均像素显著性定义的权重。

23、一种计量设备指导配准的计量箱全貌图像拼接设备，包括处理器和用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现以下步骤：

24、选取一待拼接图像为参考图像，选取至少一待拼接图像为目标图像；对各待拼接图像进行语义分割，得到语义分割结果，语义分割结果包括图像中各像素属于某种计量设备的概率；

25、利用特征匹配算法，检测参考图像与目标图像的特征点并进行特征匹配，得到若干匹配特征对；根据语义分割结果，删除不属于同一计量设备类别的匹配特征对；

26、根据所属计量设备类别，将匹配特征对分为若干组；分别根据各组匹配特征对，求解多个变换矩阵；计算各变换矩阵的变换误差；选取误差最小的变换矩阵对目标图像进行图像变换；

27、拼接参考图像与完成变换的目标图像。

28、进一步地，所述对各待拼接图像进行语义分割，具体为：

29、构建并训练级联语义分割模型；所述级联语义分割模型包括主干网络、第一子网络和第二子网络；第一子网络用于分割计量箱体和背景，第二子网络用于进一步分割计量箱内单设备，并生成密集的计量箱内对象映射，该映射指示像素属于某种计量设备的概率；将第一子网络和第二子网络的输出结果进行合并，得到语义分割结果。

30、进一步地，所述级联语义分割模型的损失函数为：

31、loss＝lbackground+lobject

32、

33、

34、式中，xi是真实类，yi是预测类，m是背景类别数目，n是计量设备类别数目。

35、进一步地，所述拼接参考图像与完成变换的目标图像，包括：

36、构建切割线能量函数；通过切割线能量函数求解像素集合为切割线；

37、对切割线进行羽化处理；应用切割线融合目标图像和参考图像。

38、进一步地，所述构建切割线能量函数，以公式表达为：

39、

40、

41、

42、式中，n代表四连通域，ed(p,lp)为将标签lp分配给像素p的数据成本；表示像素p处的梯度；es(p,q,lp,lq)代表标签lp和标签lq分别分配给四连通域的像素p和像素q的平滑成本；代表像素位置在参考图像和目标图像中的梯度差和；δ(p,q)表示平均像素显著性定义的权重。

43、与现有技术相比本发明有以下特点和有益效果：

44、针对现有方法特征点匹配准确性不高，导致最终拼接图像出现伪影和扭曲的问题，本发明结合图像语义分割处理，利用语义分割对待拼接的计量箱局部图像进行识别，将计量箱图像按照计量设备类别进行分割，并对检测的特征点按照计量设备类别进行分类。利用不同设备的特征点计算其对应的变换矩阵，并选取全图最佳的变换映射。

技术特征：

1.一种计量设备指导配准的计量箱全貌图像拼接方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种计量设备指导配准的计量箱全貌图像拼接方法，其特征在于，所述对各待拼接图像进行语义分割，具体为：

3.根据权利要求1所述的一种计量设备指导配准的计量箱全貌图像拼接方法，其特征在于，所述级联语义分割模型的损失函数为：

4.根据权利要求1所述的一种计量设备指导配准的计量箱全貌图像拼接方法，其特征在于，所述拼接参考图像与完成变换的目标图像，包括：

5.根据权利要求1所述的一种计量设备指导配准的计量箱全貌图像拼接方法，其特征在于，所述构建切割线能量函数，以公式表达为：

6.一种计量设备指导配准的计量箱全貌图像拼接设备，其特征在于，包括处理器和用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现以下步骤：

7.根据权利要求6所述的一种计量设备指导配准的计量箱全貌图像拼接设备，其特征在于，所述对各待拼接图像进行语义分割，具体为：

8.根据权利要求6所述的一种计量设备指导配准的计量箱全貌图像拼接设备，其特征在于，所述级联语义分割模型的损失函数为：

9.根据权利要求6所述的一种计量设备指导配准的计量箱全貌图像拼接设备，其特征在于，所述拼接参考图像与完成变换的目标图像，包括：

10.根据权利要求6所述的一种计量设备指导配准的计量箱全貌图像拼接设备，其特征在于，所述构建切割线能量函数，以公式表达为：

技术总结
本发明涉及一种计量设备指导配准的计量箱全貌图像拼接方法，包括：选取一待拼接图像为参考图像，选取至少一待拼接图像为目标图像；对各待拼接图像进行语义分割，得到语义分割结果，语义分割结果包括图像中各像素属于某种计量设备的概率；利用特征匹配算法，检测参考图像与目标图像的特征点并进行特征匹配，得到若干匹配特征对；根据语义分割结果，删除不属于同一计量设备类别的匹配特征对；根据所属计量设备类别，将匹配特征对分为若干组；分别根据各组匹配特征对，求解多个变换矩阵；计算各变换矩阵的变换误差；选取误差最小的变换矩阵对目标图像进行图像变换；拼接参考图像与完成变换的目标图像。

技术研发人员：黄华峰,高琛,詹世安,詹文,丁忠安,鄢盛腾,林华,戴蓉,刘佳宁,陈前,林胤戎,林峰,谢静怡,王欣妍,曾潇宛
受保护的技术使用者：国网福建省电力有限公司营销服务中心
技术研发日：
技术公布日：2024/1/16