一种变电站机器人巡检目标自动跟踪方法及系统与流程

1.本发明涉及机器人巡检技术领域，尤其涉及一种变电站机器人巡检目标自动跟踪方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.变电站巡检机器人系统是集机电一体化、多传感器融合、导航及行为规划、机器人视觉、无线传输等于一体的复杂系统。巡检机器人携带ccd摄像机、红外热成像仪、拾音器、超声波，通过导航定位，并规划最优路径对室外高压设备进行自主或者遥控巡检，采集设备的红外热图、图像和音频等信息，并自动识别设备的热缺陷、开关或刀闸状态，生成统一规范的告警事项和巡检报告。
4.由于机器人的定位误差和机器人本体自由度的误差，会造成机器人到固定点取图像时巡检目标偏移甚至丢失。
5.现有技术采用传统的机器学习算法对巡检图像中的目标进行定位，识别错误率较高，定位也不准确，无法实现使得机器人的摄像头始终对准巡检目标，从而不利于巡检目标的提取。


技术实现要素：

6.为了解决上述问题，本发明提出了一种变电站机器人巡检目标自动跟踪方法及系统，利用基于深度学习的多目标检测算法yolo来对巡检目标进行定位；通过视觉伺服的方法，结合巡检目标在图像中的位置坐标计算摄像头的偏转方向，使巡检目标始终处于视频的中间区域。
7.在一些实施方式中，采用如下技术方案：
8.一种变电站机器人巡检目标自动跟踪方法，包括：
9.获取机器人巡检视频数据，并进行预处理；
10.基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
11.确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
12.作为可选的方案，获取机器人巡检视频数据，并进行预处理，具体为：
13.将视频帧分解为多张图像，分析巡检图像的背景特征，采用直方图均衡化技术对巡检图像进行滤波处理。
14.作为可选的方案，所述训练好的目标检测模型具体为：改进的yolo目标检测模型。
15.作为可选的方案，所述改进的yolo目标检测模型以残差网络作为特征提取网络。
16.作为可选的方案，所述改进的yolo目标检测模型在特征提取网络之前，设置数据
增强模块。
17.作为可选的方案，所述改进的yolo目标检测模型在原始yolo算法的基础上，去掉全连接层。
18.作为可选的方案，所述改进的yolo目标检测模型的最后设置空洞卷积网络，增加特征图的语义特征。
19.在另一些实施方式中，采用如下技术方案：
20.一种变电站机器人巡检目标自动跟踪系统，包括：
21.数据获取模块，用于获取机器人巡检视频数据，并进行预处理；
22.巡检目标识别模块，用于基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
23.目标跟踪模块，用于确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
24.在另一些实施方式中，采用如下技术方案：
25.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的变电站机器人巡检目标自动跟踪方法。
26.在另一些实施方式中，采用如下技术方案：
27.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的变电站机器人巡检目标自动跟踪方法。
28.与现有技术相比，本发明的有益效果是：
29.(1)本发明创造性的提出了巡检目标自动跟踪方法，能够准确并实时的对巡检设备进行目标检测和自动跟踪，使得目标图像始终处于图像的中心区域，解决了现有技术中对巡检目标识别不准确的问题，提高了目标识别及定位的准确性。
30.(2)本发明创造性的提出了改进的yolo目标检测模型，在原有yolo算法的基础上，增加数据增强模块，能够扩充训练数据，增加训练样本的多样性；增加空洞卷积网络，以突出特征图的语义特征；改进的yolo目标检测模型能够减少显存的占用率，降低巡检目标识别的误检率，提高目标检测的准确度。
31.本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
32.图1为本发明实施例中的变电站机器人巡检目标自动跟踪方法示意图；
33.图2为本发明实施例中的改进的yolo目标检测模型训练过程示意图。
具体实施方式
34.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
35.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根
据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
36.实施例一
37.在一个或多个实施方式中，公开了一种变电站机器人巡检目标自动跟踪方法，首先变电站巡检机器人通过搭载的可见光相机采集巡检视频，并将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰；然后利用基于深度学习的多目标检测算法yolo来对巡检目标进行定位；最后通过视觉伺服的方法，结合巡检目标在图象中的位置坐标计算摄像头的偏转方向，使巡检目标始终处于视频的中间区域。
38.作为具体的实施方式，本实施例一种变电站机器人巡检目标自动跟踪方法，结合图1，具体包括以下过程：
39.s101：获取机器人巡检视频数据，将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰。
40.具体地，变电站机器人通过搭载可见光相机拍摄巡检视频，分析巡检视频的背景特征，采用直方图均衡化技术对巡检视频进行滤波处理，提升视频画面的对比度和清晰度，保证采集视频的质量，从而为接下来的智能识别奠定基础；
41.将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰。
42.s102：基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
43.本实施例中，为了能够实现变电站机器人前端化实时检测和识别，对原始的yolov1算法进行改进，设计了基于残差网络结构的yolo目标检测模型，选择残差网络模型作为目标检测器的特征提取模块。改进措施如下：
44.1)添加数据增强模块(包含调整图象饱和度、亮度、平移、随机裁剪等)；
45.2)去掉全连接层，这样模型可以接受多个尺寸的输入(必须是32的倍数)，从而可以多尺度训练和预测。(默认输入是448
×
448
×
3，网格的数量是14
×
14，每个网格检测一个物体，最多检测256个物体)；
46.3)特征提取网络替换成resnet系列(选取resnet18)；
47.4)在模型的最后添加空洞卷积模块，在保持特征图的分辨率情况下，增加特征图的语义特征。
48.通过yolo算法进行巡检图象识别，可以减少模型运算的复杂度，缩短深度学习模型的推理时间，对与提高智能识别的实时性具有重大意义。
49.结合图2，本实施例对于改进的yolo目标检测模型的训练过程如下：
50.(1)采集变电站巡检图像样本，并对图像中的目标位置进行标定，制作好样本后，划分训练集和测试集。
51.(2)使用resnet18作为yolo框架的基础网络来提取图像特征；
52.(3)利用后续的分类模块和边框回归模块来对目标进行分类和定位。
53.(4)根据模型的预测值和真实值计算训练损失，并对网络的参数不断进行优化。
54.s103：确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
55.本实施例中，通过视觉伺服实现变电站机器人巡检目标自动跟踪；首先使用yolo目标检测算法得到巡检设备的中心点在图象中的坐标位置，然后计算巡检设备的中心点与图象中心点的距离以及巡检设备相对于图象中心的位置。最后根据中心点间距和相对位置关系计算变电站机器人搭载摄像头的偏转方向，不断按照一定的方向移动摄像头，直到巡检目标处于图象的中心区域。
56.按照上述方法，能够实现巡检目标始终处于巡检图像的中心区域，能够准确并实时的对巡检设备进行目标检测和自动跟踪。
57.实施例二
58.在一个或多个实施方式中，公开了一种变电站机器人巡检目标自动跟踪系统，包括：
59.数据获取模块，用于获取机器人巡检视频数据，并进行预处理；
60.巡检目标识别模块，用于基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
61.目标跟踪模块，用于确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
62.需要说明的是，上述模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。
63.实施例三
64.在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的变电站机器人巡检目标自动跟踪方法。为了简洁，在此不再赘述。
65.应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
66.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
67.在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
68.实施例四
69.在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的变电站机器人巡检目标自动跟踪方法。
70.上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。