变电站巡检机器人辅助避障训练方法、设备及介质与流程

本发明涉及计算机视觉技术领域，特别涉及深度学习和目标检测领域，尤其涉及基于知识蒸馏的变电站巡检机器人辅助避障训练方法、设备及介质。

背景技术：

随着社会的不断发展，对用电的依赖程度也越来越高，供电和输电一直关系到国民生产生活的正常运行。伴随着科学技术的进步，为了保障输电线路的正常运行及执行巡检任务工作人员的安全，现在输电线路多采用电力巡检机器人。

近年来深度学习视觉算法快速发展，其应用方向也越来越广泛，由于传统电力巡检机器人采用雷达避障，对一些障碍物(杂草、检修网、坑洞等)识别效果不理想，导致实际应用会产生一些问题(机器人无法识别，停留原地耗电等待，或者对巡检机器人造成损害)，故采用视觉深度学习算法在电力巡检机器人上进行视觉辅助避障。由于现有机器人通常使用传统视觉深度学习模型，又因为显卡及内存不足等问题导致识别效率低、应用效果不佳。

技术实现要素：

本发明旨在至少在一定程度上解决以下技术问题：

传统视觉深度学习模型的需要的存储空间和计算能力过大，机器人的硬件条件不能提供有效的支持，无法识别复杂的环境。

本发明实施例的第一方面提供了一种变电站巡检机器人辅助避障训练方法，包括：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。

在一个示例中，所述使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障之后，还包括：多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。

在一个示例中，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。

在一个示例中，所述接收第一图像并形成第一数据集，包括：标识所述第一图像的指定区域，所述指定区域与变电站内的设备、仪表和障碍物相关；标识完成后，将所述第一数据集分为训练集和测试集。

在一个示例中，所述根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，包括：将所述教师网络通过所述温度参数进行计算，得到软目标；将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；将所述学生网络直接获得的第二结果与硬目标的交叉熵函数，作为所述学生网络的损失值的另一部分，所述硬目标包括所述指定区域在图像中的位置信息。

在一个示例中，所述使用第二数据集训练所述第一学生网络之前，还包括：使用图像处理算法对所述第二数据集内的第一图片和第二图片进行处理，得到每个所述第一图片和所述第二图片的余弦相似度；将所述余弦相似度与预设阈值进行比较，确定所述第二数据集中的未识别图像，统计所述未识别图像的数量；通过所述未识别图像的数量，使用算法计算是否剔除所述未识别图像。

在一个示例中，所述学生网络包括所述教师网络的部分神经网络层和部分神经元。

本发明实施例的第二方面提供了一种变电站巡检机器人辅助避障训练设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。

本发明实施例的第三方面提供了一种变电站巡检机器人辅助避障训练的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。

本发明实施例采用知识蒸馏和教师网络训练学生网络，提高学生网络的泛化能力；通过机器人获取训练用的图像，基于机器人的视角进行训练，更有助于提高模型的准确率；通过多个机器人对学生网络进行多场景的训练，并进行集成，提高了学生网络的环境适应能力和准确率；通过调整神经网络模型中监督和半监督的权重，使机器人在巡检过程中的实时训练。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的方法流程示意图；

图2为本发明实施例的知识蒸馏框架示意图；

图3为本发明实施例的训练逻辑示意图；

图4为本发明实施例的设备框架示意图。

具体实施方式

为了更清楚的阐释本申请的整体构思，下面结合说明书附图以示例的方式进行详细说明。

知识蒸馏是一种神经网络模型的压缩方法，这类方法通过构建教师网络和学生网络框架，为了便于描述，本申请实施例中将神经网络模型简称为网络，由教师网络指导学生网络的训练，将网络结构复杂、参数量大、学习能力强的教师网络所学到关于特征表示的“知识”“蒸馏”出来，将这些知识迁移到网络结构简单、参数量少、学习能力弱的学生网络。知识蒸馏方法能为学生网络提供硬标注信息中学不到的软标注信息，包括类别间信息和教师网络学到的特征表示知识。通过知识蒸馏方法能够在不增加网络复杂度的情况下，提升网络的性能。

本发明实施例的第一方面提供了一种变电站巡检机器人辅助避障训练方法，图1为本发明实施例的方法流程示意图，如图1所示，方法包括：

s101接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；

s102使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；

s103根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；

s104使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。

根据本发明的具体实施例，在步骤s101中，变电站内，在不同的光照条件、天气环境下，分别从不同角度使用图像传感器获取第一图像，第一图像具体有识别目标，所述识别目标包括设备开关状态、仪表、障碍物的图像，其中，图像传感器可以是变电站内的监控摄像机，获取的第一图像可以是rgb图像，障碍物可以是变电站内的杂草、施工车辆或者其他影响机器人移动的物体。

然后利用图像标注工具(labelimg)标注出图像中的设备开关状态、仪表和障碍物的区域，制作成第一数据集。在第一数据集中，选取其中一部分图像作为训练集，剩余部分作为测试集。需要注意的是，本发明实施例对图像传感器、第一图像的类型和标注工具的具体选择不作特别的限制，上述只是本发明的一些优选的实施例。

根据本发明的具体实施例，步骤s102中，将yolov3特征提取网络作为教师网络，yolo(youonlylookonce)是一种用于目标检测的神经网络，v3表示第三代。可以理解的是，本发明实施例对选取的神经网络并不做特别的限制，也可以是其他的神经网络。

将第一训练集输入到教师网络中，对教师网络进行训练，在训练时，加入温度参数t，增大教师网络的训练难度，使得教师网络能够获得更好的识别精度。一般而言，温度参数的数值越大，能够识别目标的概率的分布越缓和(识别多种类型的目标)，在训练过程中，不断调整温度参数t，再使用归一化指数函数(softmax)进行变换，可以得到一个合适的软化的概率分布软目标(softtarget)，概率介于0～1之间，取值分布较为缓和时达到最大性能，确定教师网络的温度参数t。归一化指数函数(softmax)的公式如下：

其中，t为温度参数，zi为神经网络。

根据本发明的具体实施例，学生网络为yolov3-tiny神经网络(简化后的yolov3神经网络)，可以理解的是，学生网络包括教师网络的部分神经网络层和部分神经元。因此在硬件上，需要的算力和存储空间都远小于教师网络。

现有变电站巡检机器人的仪表识别、设备检测多采用传统机器学习完成，精度较高但使用范围局限易受光照、雨雪环境影响，同时也无法实现变电站设备缺陷识别、异物入侵检测、障碍物分类判定。神经网络模型可以达到这一需求，但受限于工控机的计算能力，重量级的神经网络无法运行，而知识蒸馏后的学生网络模型参数显著减少，准确率却十分接近教师网络模型。

根据本发明的具体实施例，步骤s103中，使用同样的温度参数t来训练学生网络。总体而言，包括两部分，第一部分是将所述教师网络通过所述温度参数进行计算，得到软目标(softtarget)；将所述学生网络通过所述温度参数进行计算，得到第一结果，并将所述第一结果与所述软目标的交叉熵函数，作为所述学生网络的损失值的一部分；第二部分是将所述学生网络直接获得的第二结果与硬目标(hardtargets)的交叉熵函数，作为所述学生网络的损失值的另一部分，所述硬目标包括所述指定区域在图像中的位置信息，也可以理解为真实标注。

具体而言，图2是本发明实施例的知识蒸馏框架示意图，如图所述，将教师模型除以温度系数t，然后使用归一化指数函数(sofmax)进行变换，得到软目标；将学生网络除以温度系数t，然后使用归一化指数函数(softmax)进行变换，得到的输出结果与软目标的交叉熵作为训练的损失值的一部分(权重为x)；不使用温度t，使用归一化指数函数(softmax)做变换后的输出结果和硬目标的交叉熵做为损失值的另外一部分(权重为1-x)，最终用总目标对学生网络进行训练。学生网络的训练初期阶段时将软目标交叉熵的加权系数权重x设置偏大有助于让学生网络更轻松的鉴别简单样本，但训练后期需要适当减小软目标的权重，让真实标注帮助鉴别困难样本。以下为学生网络的损失函数。

loss＝x*loss(softtargets)+(1-x)*loss(hardtargets)

根据本发明的具体实施例，步骤s104可以在大型的计算设备上执行，也可以在机器人上执行。下面介绍在机器人上执行的场景。

由于巡检机器人巡检范围固定，可能造成场景固定，加上模型小，可能会导致识别效果不是特别好，由于各个巡检机器人的实际使用场景不同，为了最大程度提升算法模型识别的准确率，需要将各个巡检机器人收集的数据，进行重新汇总，再进行数据清洗，并进行处理，重新将各个小的学生模型集成，将数据进行训练，并对新的模型进行优化，调参，对模型识别准确率进行对比，将准确率最高的模型重新部署在巡检机器人。

图3为本发明实施例的训练逻辑示意图，如图3所示，在步骤s104之后，还包括：多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，直至达到第二目标避障率，以辅助所述机器人进行避障，其中，多个所述机器人位于变电站的不同区域。具体而言，所述多个所述机器人接收所述第一学生网络，所述多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第一学生网络，包括：所述机器人对所述第一学生网络训练预设时间后，分别接收多个所述机器人各自的所述第一学生网络，合并多个所述第一学生网络，得到第二学生网络；将所述第二学生网络发送到多个所述机器人中，并使多个所述机器人分别通过各自获取的所述第二图像和所述第一图像，训练所述第二学生网络。

本发明实施例将学生网络部署到变电站巡检机器人的移动计算板卡上，利用其gpu(graphicsprocessingunit)和cuda(computeunifieddevicearchitecture)可以加速本发明的许多计算(特别是视差计算)，能够在机器人的终端应用上运行更庞大、更具有深度的神经网络，让机器人更加智能，具有更高的精度和更快的响应时间，以执行如图像识别、分类，基于视觉的定位与建图(vslam)和语音识别等任务。

首先需要在机器人的移动计算板卡进行开箱上电，接着进行刷机工作，刷机的目的主要是安装cuda(computeunifieddevicearchitecture)和基于gpu(graphicsprocessingunit)的加速库等运行环境，加速库可以是cudnn(nvidiacuda@deepneuralnetworklibrary)，以方便模型在机器人的移动计算板卡上运行；将学生模型的运行环境配置好以后，就需要开始下载学生网络模型，将模型在深度学习的移动计算板卡上进行适配调试，同时将机器人所用的双目摄像头进行适配，并做好图像取流；将取到视频流同已经训练好的神经网络进行调试，这里的神经网络包括教师网络和第一学生网络，并实际效果进行测试。依靠机器人的移动计算板卡的计算能力，利用摄像头采集的第二图片在学生网络上进行运算识别，并将图片存入到原有数据集中，形成第二数据集。

然后使用图像处理算法对当前数据集进行清理，具体而言，使用特征检测技术检测第二数据集内的图片的识别目标，所述识别目标包括设备开关状态、仪表、障碍物的图像。对识别目标进行包括角点，blob(图像中的一块连通区域)点和边缘点的进行检测，形成新的数据集；然后通过类似于非极大值抑制、对比度阈值约束等条件清理新的数据集中未检测到上述识别目标的图像；对新数据集内的图像运用阈值、模板匹配和霍夫变换、灵活变形分析等手段进行特征提取。然后对不同图像提取的特征向量进行余弦距离相似性计算，下式中是两个特征向量a和b的角度，计算其余弦距离作为相似度s。

使用等误差率作为判断是否为已有识别类型的阈值。当相似度超过该阈值k时，认定为是已有识别类型，小于阈值k时为未知识别类型。对于进行相似度计算后的图像，1表示为已有识别类型，0表示图像是未知类型。

式中pi、pj表示一类图像中的第i和j张图像的特征向量，lij表示第i和j张图像是否为已知类型。

根据公式ni对数据集中与识别目标不相似的图像数量进行统计；

ni＝count(lij＝0)，j＝1，2，…..，n

其中，ni表示第i张识别类型不相似的图像数目，i＝1，2，…，n。

根据公式c判断是否清理该图像。

其中，n表示一类障碍物所有图像数目；参数α的值需要根据实际数据集来确定，最终确定第二数据集。

本发明实施例通过使用图像特征检测、特征提取、特征匹配等算法实现对变电站巡检现场拍摄图片的清洗。相较于需要人工对巡检现场拍摄图片数据进行筛查清理，以及不能对巡检现场拍摄图片数据经行保存的传统巡检机器人而言，本发明实施例既减轻劳动量又扩充数据集容量，减少过拟合，提高准确率，而且运维人员也能在日后对结果进行核实

根据本发明的具体实施例，多个所述机器人分别将各自的第一学生网络训练一定时间后，分别将多个所述机器人的所述第一学生网络进行集成，得到第二学生网络。具体包括：采用自助聚合(bagging)的方法进行集合，将几个不同位置的机器人上的第一学生网络作为单独学习器，利用自助统计技术随机抽取n个观测值，同时将规模为n的数据集生成新的样本大小为n；然后用自助样本可以估计每个样本的值，可以近似得到估计量的方差，根据所得方差进行模型集成，具体过程和公式如下：

其中，m为学生网络(第一学生网络)的模型基数，μ为集成后学生网络的模型期望值，f为集成后的学生网络(第二学生网络)，f为学生网络，γ为基模型的权重、方差及两两间的相关系数，每个模型的方差均为σ²，ρ为相关系数。

在自助聚合(bagging)的方法中，每个基模型的权重等于1/m且期望近似相等(子训练集都是从原训练集中进行子抽样)，由上式e(f)可以看出，集成后的学生网络的期望值近似于基模型的期望值，即集成后的学生网络的偏差和基模型的偏差近似。一般来说，整体模型的方差小于等于基模型的方差(当相关性为1时取等号)，故如果基模型数m的增多，整体模型的方差就会减少，可以有效防止过拟合的能力，也提升模型的准确度。同时，当基模型数增加到一定程度时，模型的准确度也会到极限，其特征为方差公式e(f)中第二项的变化对集成后的学生网络的整体方差的作用不大，并达到防止过拟合的极限。另外，自助聚合中的基模型要是强模型(偏差低方差高)，否则将导致整体模型的偏差度低。

根据本发明的具体实施例，还可以采用第二种降低方差的方法，即公式var(f)，随机森林(randomforest)是典型的基于自助聚合框架的模型，随机森林中基模型是树模型，通过在自助聚合的基础上，在树的内部节点分裂过程中，随机抽样一部分特征纳入分裂的候选项(不再是将所有特征)，在方差公式var(f)中，第一项σ²*ρ显著减少，第二项稍微增加，基模型之间的相关性降低，降低了模型的方差，模型的准确度得到提升。本发明实施例可基于不同场景的数据特性选取其中的一种。

根据本发明的具体实施例，由于巡检机器人巡检范围固定，可能造成场景固定，加上模型小，可能会导致识别效果不是特别好，由于各个巡检机器人的实际使用场景不同，为了最大程度提升算法模型识别的准确率，需要将各个巡检机器人收集的数据，进行重新汇总，再进行数据清洗，并进行处理，重新将各个小的学生模型集成，将数据进行训练，并对新的模型进行优化，调参，对模型识别准确率进行对比，将准确率最高的模型重新部署在巡检机器人。

图3为本发明实施例的训练逻辑示意图，如图所示，学生网络训练一定时间后，分别将多个所述机器人的生网络进行合并，得到新的学生网络；将新的学生网络再次部署到多个所述机器人中，并进行训练。每间隔一个月循环机器人训练学生网络的步骤，清洗数据，对模型进行集成，进行12次可以完成模型收敛，使得模型在巡检周边自然环境发生变化时准确率依然能得到保证。进行12次的原因是，使机器人可以适应四季的变化，提高学生网络的环境适应能力。

根据本发明的具体实施例，本申请实施例可以通过调整深度学习模型监督和半监督的权重进行实时训练。

本发明实施例的第二方面提供了一种变电站巡检机器人辅助避障训练设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；

使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；

根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；

使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。

本发明实施例的第三方面提供了一种变电站巡检机器人辅助避障训练的非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：

接收第一图像并形成第一数据集，所述第一图像与变电站内的设备、仪表和障碍物相关；

使用所述第一数据集训练教师网络，以获取所述教师网络的温度参数，所述温度参数值与所述教师网络的训练难度有关；

根据所述温度参数，通过知识蒸馏神经网络，训练学生网络，得到第一学生网络；

使用第二数据集训练所述第一学生网络，直至达到第一目标避障率，以使所述机器人进行避障，所述第二数据集包括所述第一图像和通过所述机器人的图像传感器收集的第二图像。

本发明实施例本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在申请中。