巡检机器人的高清全景深图像获取方法、系统、介质及设备与流程

1.本发明主要涉及仪表测量技术领域，具体涉及一种巡检机器人的高清全景深图像获取方法、系统、介质及设备。


背景技术：

2.在电力巡检机器人巡检过程中，对于远距离的各种仪表进行高倍镜拍摄时云台对焦，由于并不清楚拍摄目标的具体对焦点，并且高倍镜下景深较小，故对焦可能在其他背景物上，从而导致景深错误，拍摄出目标物模糊而背景清楚的图像，影响后期的仪表值读取。


技术实现要素：

3.本发明要解决的技术问题就在于：针对现有技术存在的问题，本发明提供一种实现复杂背景干扰下对焦清晰的巡检机器人的巡检机器人的高清全景深图像获取方法、系统、介质及设备。
4.为解决上述技术问题，本发明提出的技术方案为：
5.一种巡检机器人的高清全景深图像获取方法，包括步骤：
6.s1、建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
7.s2、筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
8.s3、对变焦图像子集中的图像进行图像融合得到高清全景深图像。
9.优选地，步骤s2的具体过程为：
10.s201、对变聚焦图像库m中各元素进行高斯模糊处理，得到模糊图像库g；
11.s202、对m中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图mf；对g中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图gf；
12.s203、对mf和gf中各元素按照索引号配对的方式进行交叉熵计算，获得集合h；
13.s204、对集合h按熵值的绝对值进行大到小排序，取前n个索引对应到变聚焦图像库m中，获得变焦图像子集。
14.优选地，步骤s3的具体过程为：
15.s301、对变焦图像子集中的各元素进行小波变换分离出高频信号与低频信号；
16.s302、对高频信号进行处理得到小波系数高阶分量；对低频信号进行处理得到小波系数低阶分量；
17.s303、对各图像的小波系数高阶分量和小波系数低阶分量进行合并，再做小波反变换，得到对应的高清全景深图像。
18.优选地，所述步骤s302中，对高频信号进行处理得到小波系数高阶分量的具体过程为：
19.对每层高阶谐波信号的每一个level1的水平、垂直、对角三个方向的分量图进行领域方差计算，获得各方向对应的局部方差图像集合varfeq；
20.对各个方向的局部方差图像集合varfeq中的各个元素分别做最大值索引提取，获得每个图像的小波系数高阶分量。
21.优选地，所述步骤s302中，对低频信号进行处理得到小波系数低阶分量的具体过程为：
22.获取低频信号的方差；
23.根据低频信号的方差得到平均加权系数；
24.根据平均加权系数得到对应图像的小波系数低阶分量。
25.本发明还公开了一种巡检机器人的高清全景深图像获取系统，包括：
26.第一程序模块，用于建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
27.第二程序模块，用于筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
28.第三程序模块，用于对变焦图像子集中的图像进行图像融合得到高清全景深图像。
29.本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
30.本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
31.与现有技术相比，本发明的优点在于：
32.本发明的巡检机器人的高清全景深图像获取方法，通过建立机器人云台的变聚焦图像库；构建评价机制筛选局部对焦清晰的变焦图像子集；再对变焦图像子集进行图像融合从而获得高清全景深图像，解决目标物受复杂背景干扰导致高倍镜下自动对焦模糊的问题，从而便于后续读取图像中的仪表值。
附图说明
33.图1为本发明的获取方法在实施例的流程图。
34.图2为本发明方法中步骤s2在实施例的流程图。
35.图3为本发明方法中步骤s3在实施例的流程图。
具体实施方式
36.以下结合说明书附图和具体实施例对本发明作进一步描述。
37.如图1所示，本发明实施例提供了一种巡检机器人的高清全景深图像获取方法，包括步骤：
38.s1、建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
39.s2、筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
40.s3、对变焦图像子集中的图像进行图像融合得到高清全景深图像。
41.本发明的巡检机器人的高清全景深图像获取方法，通过建立机器人云台的变聚焦图像库，构建评价机制筛选局部对焦清晰的变焦图像子集，再对变焦图像子集进行图像融合从而获得高清全景深图像，解决目标物受复杂背景干扰导致高倍镜下自动对焦模糊的问题，从而便于读取图像中的仪表值。
42.在一具体实施例中，步骤s2的具体过程为：
43.s201、对变聚焦图像库m中各元素进行高斯模糊处理，得到模糊图像库g；
44.s202、对m中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图mf；对g中各元素的水平方向分别进行多次卷积运算，多次卷积结果叠加后生成高频信号图gf；
45.s203、对mf和gf中各元素按照索引号配对的方式进行交叉熵计算，获得集合h；
46.s204、对集合h按熵值的绝对值进行大到小排序，取前n个索引对应到变聚焦图像库m中，获得变焦图像子集；其中n取3～5。
47.在一具体实施例中，步骤s3的具体过程为：
48.s301、对变焦图像子集中的各元素进行小波变换分离出高频信号与低频信号；
49.s302、对高频信号进行处理得到小波系数高阶分量；对低频信号进行处理得到小波系数低阶分量；
50.s303、对各图像的小波系数高阶分量和小波系数低阶分量进行合并，再做小波反变换，得到对应的高清全景深图像。
51.具体地，在步骤s302中，其中对高频信号进行处理得到小波系数高阶分量的具体过程为：
52.对每层高阶谐波信号的每一个level1的水平、垂直和对角三个方向的分量图进行领域方差计算，获得各方向对应的局部方差图像集合varfeq；
53.对各个方向的局部方差图像集合varfeq中的各个元素分别做最大值索引提取，获得每个图像的小波系数高阶分量。
54.其中对低频信号进行处理得到小波系数低阶分量的具体过程为：
55.获取低频信号的方差；
56.根据低频信号的方差得到平均加权系数；
57.根据平均加权系数得到对应图像的小波系数低阶分量。
58.上述得到小波系数高阶分量和小波系数低阶分量的具体过程操作简便且易于实现。
59.本发明实施例还提供了一种巡检机器人的高清全景深图像获取系统，包括：
60.第一程序模块，用于建立巡检机器人云台的变聚焦图像库；其中变聚焦图像库中的图像为巡检机器人云台在预设拍摄点，预设云台倍镜以及预设初始对焦距离下，以固定的焦距变化率进行拍照而得到的；
61.第二程序模块，用于筛选变聚焦图像库中对焦清晰的图像而得到变焦图像子集；
62.第三程序模块，用于对变焦图像子集中的图像进行图像融合得到高清全景深图像。
63.本发明的获取系统与获取方法相对应，同样具有如上获取方法对应的优点。
64.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。本发明实施例进一步提供了一种计算机设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
65.下面通过一个完整的具体实施例来对本发明作进一步详细说明：
66.s1、建立机器人云台的变聚焦图像库：巡检机器人云台在预设拍摄点，机器人本体与云台均保持静止状态，在预设云台倍镜，预设初始对焦距离下，以固定的焦距变化步长，如0.1mm进行焦距调整，按增加焦距与减少焦距两个方向均拍摄一定数量的图像，保存至临时的图像库m中，作为变聚焦图像库；该图像库中包含三种图像：背景清晰目标模糊图像、背景模糊目标清晰图像、背景与目标均模糊图像；
67.s2、筛选机器人云台的变聚焦图像库获得变焦图像子集：由于m{p1,p2,...,p3}中包含大量的背景与目标均模糊图像，该类图像会影响该方法的运算效率，故需要剔除，具体步骤如下：
68.s201、对m{p1,p2,...,p3}各元素进行5
×
5的gaussblur平滑(高斯模糊处理)，得到模糊图像库g{q1,q2,...,q3}；
69.s202、对m各元素以及g中各元素的水平方向分别进行两次卷积运算，卷积核分别为两次卷积结果叠加后生成高频信号图mf和gf；
70.s203、对mf和gf中个元素按照索引号配对的方式进行交叉熵计算，如{mf(pm),gf(pm)}作为一组输入，mf(pm)中像素矩阵展平为pm{a1,a2,...,an}，gf(qm)中像素矩阵展平为qm{a1,a2,...,an}，则交叉熵获得集合h{h1,h2,
……
hm}；
71.s204、对h集合按熵值的绝对值进行大到小排序，取前3～5个索引对应到m集合，获得变焦图像子集mselect。
72.s3、对变焦图像子集mselect进行图像融合。该集合包括3～5个背景或者目标对焦清楚的图像；以3个元素为例，需要对该集合的各元素进行小波变换分离出高频信号f
high
{fh1,fh2,fh3}和低频信号f
low
{fl1,fl2,fl3}。
73.其中对该元素任意通道的低频信号f
low
做如下处理：
74.(1)获取f
low
{fl1,fl2,fl3}的方差var1、var2、var3；
75.(2)由var1、var2、var3获得平均加权系数weight1、weight2、weight3，故低频分类的融合信号获得小波系数低阶分量
76.freq
low
＝weight1×
fl1+weight2×
fl2+weight3×
fl377.其中对该元素任意通道的f
high
做如下处理：
78.(1)对每层高阶谐波信号fhigh{fhi(level1,level2,level3,level4)}的每一个level1的水平、垂直、对角分量图进行10
×
10的领域方差计算，获得对应的局部方差图像集
合:varfeq{fhh,fhv,fhd}＝fhigh{fhh(var(level1),var(level2),var(level3),var(level4)),.....,fhd(var(level1),var(level2),var(level3),var(level4))}，
79.(2)三个方向的局部方差图像矩阵各个元素分别做最大值索引提取，该索引对应的leveli作为该方向的小波系数，以水平方向为例：
[0080][0081]
其中
[0082]
保留该index集合作为三个通道的小波系数索引，从而获得每个通道的小波系数高阶分量高阶分量
[0083]
s3、每个通道均合并高低小波信号分量，分别做小波反变换获得该通道的高清图像，再做三通道融合，就此可获得最终的高清全景深图像。
[0084]
如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
[0085]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。