一种适用于巡检机器人的多类型仪表自动定位与识别方法与流程
本发明涉及图像处理和机器学习领域，尤其涉及一种适用于巡检机器人的多类型仪表自动定位和识别方法。
背景技术
仪表作为一种测量仪器，被广泛应用于化工、机械、电力等行业，如电网中的电流表、电压表、温度表等。传统的仪表定位识别方法需要人工肉眼判断，需要花费大量人力，劳动强度大，同时效率极其低下，过程十分繁琐，并且在某些高危环境中并不适宜人工作业。所以，目前人工仪表巡检正逐渐向智能巡检机器人巡检发展，智能巡检机器人的任务是通过自主信息采集与处理来获知设备的运行状态，为运维检修提供信息支持。自动定位与识别巡检任务场景下的各种不同类型的仪表是准确识别各种仪表读数及状态的基础，对智能巡检机器人的商业应用具有重要意义。
专利申请号为201611031884.2，名为《一种数字仪表读数图像识别方法》的中国专利申请，根据事先标定的数字仪表图像，使用模板匹配方法在全景图像中提取感兴趣区域，再根据标定字符的相对位置关系提取感兴趣区域中单个字符区域和小数点待检测区域；对单个字符区域，利用事先训练好的卷积神经网络字符模型进行单个字符识别；对小数点待检测区域，利用事先训练好的基于分块lbp编码特征及adaboost分类器的cascade目标检测子进行小数点检测，并对检测结果进行后处理；最后根据字符、小数点及正负号识别结果获取读数。该方法依赖于事先标定好的模板进行模板匹配时的准确度，如果在任务图像光照变化明显的情况下，定位的准确率会大大降低，进而识别准确率大幅下降，另外该方法只针对数字仪表的识别，无法进行多类型仪表的识别。
专利申请号为201610697650.5，名为《一种基于对称性特征的仪表指针图像识别方法》的中国专利申请，通过提取被识别图像中对称性特征，并在此基础上进一步处理得到被识别指针的一系列参数信息；在全景图的感兴趣区域内，对边缘像素点在指针转角和参考距离的量化空间上进行累计矩阵投票，得到若干组候选指针对称轴。通过指针边缘像素点共线性特性和指针对称轴线段对应的图像像素值近似一致性特点，对候选指针进行提炼，使得最终的对称像素点对基本上都属于指针。候选指针合并去除重叠的候选指针，选择边缘像素点集最多的候选指针作为最终的指针识别结果。该方法同样依赖于事先的标定好的模板进行模板匹配时的准确度，会受到光照或者拍摄角度大幅变化的极大的影响，并且识别对象单一。
现有的仪表定位与识别方法只针对解决某种特定单一种类仪表的定位与识别，例如指针类仪表定位识别方法就只能识别指针类仪表，不能定位识别数字类仪表，应用领域局限，无法满足例如变电站巡检场景下的各种仪表巡检需求。
技术实现要素：
本发明的目的在于提供一种适用于巡检机器人的多类型仪表自动定位与识别方法，可解决智能巡检机器人在例如变电站场景下需要准确定位与识别各种不同仪表的需求，且对各种类型仪表的定位与识别具有很高的准确度。
为实现上述目的，本发明的技术方案如下：
一种适用于巡检机器人的多类型仪表自动定位与识别方法，包括以下步骤：
步骤一：根据事先收集多类型仪表场景图片，标注场景图片中的仪表区域并对应标注信息文件，制作训练样本集；
步骤二：将训练样本集送入设计好的卷积神经网络进行离线模型训练得到卷积神经网络仪表模型；
步骤三：利用卷积神经网络仪表模型对任务场景图片进行仪表类型识别和位置检测，初步得出系列仪表类型、置信度和位置矩形框；
步骤四：对步骤三中得到的初步结果进行后处理，最终得出场景图片中仪表类型和对应位置。
上述方案中，步骤一中，根据事先收集的多类型仪表场景图片，手动选择场景图像中仪表的区域，以矩形框标定仪表的边界，记录矩形左上角和右下角坐标和仪表类型，制成训练样本集。
上述方案中，步骤二中卷积神经网络离线模型训练包括深度残差网络特征提取、多尺度特征提取和反卷积处理。
上述方案中，步骤四中对位置矩形框进行后处理，具体包括：
检测矩形框的合并：若任意两个矩形框ru和rv，若满足
伪矩形框的去除：若任意检测识别结果的置信度cconf≤δ,δ∈[0,1]，则将该结果剔除，δ为置信度阈值。
上述方案中，步骤四中，τ取值0.7，δ取值0.7。
本发明的适用于巡检机器人的多类型仪表自动定位与识别方法，具有以下有益效果：1、对各种仪表都有很高的准确度，可以准确的同时识别各种仪表类型以及仪表位置；2、能够克服光线变化、表盘杂质、遮挡等干扰，准确识别仪表类型，具有高鲁棒性；3、本发明可以大大增强仪表自动化检测与识别装置的适应性，解放人力工作，提高效率。
附图说明
图1是本发明指针表样本标注图；
图2是本发明状态表样本标注图；
图3是本发明数字表样本标注图；
图4是本发明任务图像指针表的识别结果图；
图5是本发明任务图像状态表的识别结果图；
图6是本发明任务图像数字表的识别结果图；
图7是本发明仪表样本训练流程图；
图8是本发明任务图像仪表识别流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明。
一种适用于巡检机器人的多类型仪表自动定位与识别方法，包括以下步骤，如图7和图8所示：
步骤一：根据事先收集的多类型仪表场景图片，手动选择标注场景图像中仪表的区域，以矩形框标定仪表的上下左右边界，记录矩形的左上角和右下角坐标，分别标记为xmin，ymin，xmax，ymax，仪表的类型记为对应仪表的名称，将标注的图片和对应的标注信息文件，制作成训练样本集。
步骤二：将训练样本集送入设计好的卷积神经网络进行离线模型训练得到卷积神经网络仪表模型，其中，卷积神经网络离线模型训练包括深度残差网络特征提取、多尺度特征提取和反卷积处理。
步骤三：将任务场景图片输入卷积神经网络仪表模型进行仪表类型识别和位置检测，初步得出系列仪表类型、置信度和位置矩形框；
步骤四：对初步识别结果进行后处理，合并重叠面积较大并且是同一物体的识别结果，去除置信度低于阈值的识别结果，最终得出场景图片中仪表类型和对应位置，其中后处理具体包括：
检测矩形框的合并：若任意两个矩形框ru和rv，若满足
伪矩形框的去除：若任意检测识别结果的置信度cconf≤δ,δ∈[0,1]，则将该结果剔除，δ为置信度阈值，根据经验δ一般取值0.7。
以电网中室内的仪表任务场景图片为例，本发明提供一种适用于巡检机器人的多类型仪表自动定位与识别方法，包括训练样本集制作，训练及任务场景图片识别三个阶段：
1、样本制作阶段：样本制作阶段分为数据标注及训练集制作。
数据包括指针电流表等多个类别，如指针表、状态表和数字表，手动选择仪表在场景图像中的区域，如图1、图2和图3所示，以矩形框标定仪表的上下左右边界，仪表的类型记为对应仪表的名称，矩形的左上角和右下角坐标分别记为xmin，ymin，xmax，ymax，将这些信息写入文件进行记录。
训练集制作：将标注的图片以及对应的标注信息文件，分成训练文件以及测试文件，制作lmdb格式的训练样本集。
2、训练阶段：采用卷积神经网络进行离线模型训练，整个卷积神经网络分为三个部分。
2.1深度残差网络(resnet)进行特征提取：
输入层：将仪表场景样本图片以rgb三通道作为输入层数据。
卷积层1：采用大小为7*7的卷积核参数，特征图的个数为64。
池化层1：采用窗口尺寸为3*3的最大池化。
接下来是resnet的主体，由4个带残差模块的部分组成，分别命名为：conv2_x，conv3_x，conv4_x，conv5_x，同时，每个卷积层后均有一个bn层，scale层和relu层，bn层：将参数归一化到(0,1]；scale层：尺度变换；relu层，对卷积结果进行非线性变换。
conv2_x：由3个残差模块串联组成，每个残差模块均由3个卷积层组成，分别为：
采用大小为1*1的卷积核参数，特征图的个数为64。
采用大小为3*3的卷积核参数，特征图的个数为64。
采用大小为1*1的卷积核参数，特征图的个数为256。
conv3_x：由4个残差模块串联组成，每个残差模块均由3个卷积层组成，分别为：
采用大小为1*1的卷积核参数，特征图的个数为128。
采用大小为3*3的卷积核参数，特征图的个数为128。
采用大小为1*1的卷积核参数，特征图的个数为512。
conv4_x：由23个残差模块串联组成，每个残差模块均由3个卷积层组成，分别为：
采用大小为1*1的卷积核参数，特征图的个数为256。
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为1024。
conv5_x：由3个残差模块串联组成，每个残差模块均由3个卷积层组成，分别为：
采用大小为1*1的卷积核参数，特征图的个数为512。
采用大小为3*3的卷积核参数，特征图的个数为512。
采用大小为1*1的卷积核参数，特征图的个数为2048。
2.2多尺度的特征提取部分：
conv6：大小为2*2的卷积核参数，特征图个数为1024。
接下来是1个残差模块，本发明命名为conv6_x，由三个卷积层组成，分别为：
采用大小为2*2的卷积核参数，特征图的个数为256。
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为1024。
conv7：大小为2*2的卷积核参数，特征图的个数为1024。
接下来是1个残差模块，本发明命名为conv7_x，由三个卷积层组成，分别为：
采用大小为2*2的卷积核参数，特征图的个数为256。
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为1024。
conv8：大小为3*3的卷积核参数，特征图个数为1024。
接下来是1个残差模块，本发明命名为conv8_x，由三个卷积层组成，分别为：
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为1024。
conv9：大小为3*3的卷积核参数，特征图个数为1024。
接下来是1个残差模块，本发明命名为conv9_x，由三个卷积层组成，分别为：
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为3*3的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为1024。
2.3反卷积层：
针对多尺度特征提取部分的结果进行反卷积，使特征图的大小回到conv6输入的大小，主要包含两个模块：预测模块和反卷积模块。
反卷积模块：分为2条支路，共同的输入为conv9。
支路1：
反卷积层：采用大小为2*2的反卷积核参数，特征图的个数为512。
卷积层：采用大小为3*3的卷积核参数，特征图的个数为512。
支路2：
卷积层：采用大小为3*3的卷积核参数，特征图的个数为512。
卷积层：采用大小为3*3的卷积核参数，特征图的个数为512。
将支路1和支路2的结果进行元素点积得到最后的特征图
依次调用反卷积模块，使得特征图的大小回到conv6的输入大小。
预测模块：输入为每一次反卷积的结果，对每一次反卷积得到的特征图进行残差计算，由三个卷积层组成，分别为：
采用大小为1*1的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为256。
采用大小为1*1的卷积核参数，特征图的个数为1024。
concat层：输入是预测模块的结果，输出是特征图串联结果。
输出层：输出对应仪表的名称、置信度以及位置坐标。
3、任务图识别阶段
任务场景图片与样本场景图片的最大区别即仪表的位置变化，以及仪表的种类变化，如图4、图5和图6所示，显示了任务场景图片的指针表识别结果、状态表识别结果和数字表识别结果，在图中框出了指针表、状态表和数字表的位置，并在矩形框的左上角标识了各类仪表对应的类别以及置信度信息。
在任务场景图片的识别阶段，根据事先训练好的仪表模型，在全景图像中进行仪表检测与识别，若检测识别失败，则说明不存在仪表；若检测识别成功，则标出图中仪表的位置、类别以及置信度信息。
在检测识别的过程中可能会存在误检的情况，因此需要进行后处理，具体包括：
(1)检测矩形框的合并：在检测识别过程中，可能会存在对同一物体识别出现“框中框”的现象，所以需要对此进行合并，若任意两个矩形框ru和rv，若满足
(2)伪矩形框的去除：若任意检测识别结果的置信度cconf≤δ,δ∈[0,1]，则将该结果剔除，根据经验δ一般取值0.7。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是，以上所述仅为本发明的具体实施方式，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！