一种指示灯状态识别方法与流程

[0001]
本发明涉及电力设备运维领域，尤其涉及一种指示灯状态识别方法。


背景技术：

[0002]
目前，指示灯、压板与空气开关是室内变电站巡检的重要内容，对于日常电力调度与运维起着重要作用。目前，室内变电站的巡检任务多为人工巡检方式，由巡检人员定期对室内变电站屏柜上的指示灯、压板和空气开关进行巡查。然而，室内变电站存在大量的压板、指示灯和空气开关，特别是指示灯目标小且不易觉察，仅依靠人工巡视存在效率低、出错率和数据管理困难、人力成本高等缺点。


技术实现要素：

[0003]
本发明所要解决的技术问题是提供一种指示灯状态识别方法，解决人工巡视存在效率低、出错率和数据管理困难、人力成本高的问题。
[0004]
本发明解决上述技术问题的技术方案如下：一种指示灯状态识别方法，包括如下步骤：
[0005]
s1、采集指示灯的原始图像数据；
[0006]
s2、采用目标检测方法提取指示灯特征信息并进行位置预测，对指示灯定位并将目标裁剪；
[0007]
s3、利用分类器对裁剪后的指示灯状态进行判断；
[0008]
s4、将指示灯状态信息、属性信息传至监控系统。
[0009]
进一步，所述步骤s1中，原始图像数据包括照片和/或视频。
[0010]
进一步，所述步骤s2中，目标裁剪的方法包括如下步骤：
[0011]
m1、对原始图像数据进行处理，建立标签数据文件；
[0012]
m2、创建指示灯目标检测模型并进行指示灯目标检测模型训练；
[0013]
m3、将待检测的指示灯原始图像输入到训练好的指示灯目标检测模型；对包含指示灯的待检测的指示灯原始图像进行检测，标注指示灯位置并对指示灯位置进行裁剪提取，形成指示灯图像。
[0014]
进一步，所述指示灯目标检测模型为yolov3网络。
[0015]
进一步，所述步骤m1中，标签数据文件的建立方法包括如下步骤：
[0016]
p1、对采集的原始图像数据进行均衡化处理；
[0017]
p2、将经过均衡化处理的原始图像数据建立形成指示灯训练图像库；
[0018]
p3、对指示灯训练图像库内的原始图像数据进行标注，形成标签数据文件。
[0019]
进一步，所述标签数据文件为pascal voc格式的xml标签文件，包括图像id、图像路径、图像名称、图像目标像素高度及宽度信息。
[0020]
进一步，所述步骤m2中，指示灯目标检测模型训练方法为：
[0021]
q1、将标签数据文件按比例分为训练集和测试集；
[0022]
q2、采用训练集进行模型训练；
[0023]
q3、测试集进行模型参数固化。
[0024]
进一步，所述步骤s3中，指示灯状态判断方法包括：
[0025]
n1、对指示灯样本进行处理，建立标签文件；
[0026]
n2、创建指示灯状态分类模型并进行指示灯状态分类模型训练；
[0027]
n3、将指示灯图像输入到训练好的指示灯状态分类模型；以置信度最高的结果作为输出。
[0028]
进一步，所述指示灯状态分类模型采用vgg分类网络。
[0029]
进一步，所述步骤n2中，指示灯状态分类模型训练方法为：
[0030]
o1、将标签文件按比例分为训练集和测试集；
[0031]
o2、采用训练集进行模型训练；
[0032]
o3、测试集进行模型参数固化。
[0033]
本发明提供一种指示灯状态识别方法，包括如下步骤：
[0034]
s1、采集指示灯的原始图像数据；
[0035]
s2、采用目标检测方法提取指示灯特征信息并进行位置预测，对指示灯定位并将目标裁剪；
[0036]
s3、利用分类器对裁剪后的指示灯状态进行判断；
[0037]
s4、将指示灯状态信息、属性信息传至监控系统。
[0038]
这样，通过目标检测方法实现指示灯roi区域的定位，进一步，通过分类器对指示灯颜色和亮灭状态进行分类，不依赖于颜色特征的处理方法，不受环境光照等因素小，能够有效提高复杂背景下指示灯状态识别效率，减轻人工工作量，出错率极低和数据管理更加容易。
附图说明
[0039]
图1为本发明指示灯状态识别方法流程示意图；
[0040]
图2为本发明指示灯状态识别方法中目标裁剪流程示意图；
[0041]
图3为本发明指示灯状态识别方法中标签数据文件的建立流程示意图；
[0042]
图4为本发明指示灯状态识别方法中指示灯目标检测模型训练流程示意图；
[0043]
图5为本发明指示灯状态识别方法中指示灯状态判断流程示意图；
[0044]
图6为本发明指示灯状态识别方法中指示灯状态分类模型训练流程示意图；
[0045]
图7为本发明指示灯状态识别方法中步骤s2流程示意图；
[0046]
图8为本发明指示灯状态识别方法中步骤s3流程示意图。
具体实施方式
[0047]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0048]
如图1-图8所示，本发明提供一种指示灯状态识别方法，包括如下步骤：
[0049]
s1、采集指示灯的原始图像数据；
[0050]
s2、采用目标检测方法提取指示灯特征信息并进行位置预测，对指示灯定位并将
目标裁剪；
[0051]
s3、利用分类器对裁剪后的指示灯状态进行判断；
[0052]
s4、将指示灯状态信息、属性信息传至监控系统。
[0053]
这样，通过目标检测方法实现指示灯roi区域的定位，进一步，通过分类器对指示灯颜色和亮灭状态进行分类，不依赖于颜色特征的处理方法，不受环境光照等因素小，能够有效提高复杂背景下指示灯状态识别效率，减轻人工工作量，出错率极低和数据管理更加容易。
[0054]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述步骤s1中，原始图像数据包括照片和/或视频。这样，照片和视频是所能取得的数据中最直接方便的，数据采集容易，成本低；采集到的原始图像使用的颜色模型为rgb、hsv或lab，rgb颜色模型称为与设备相关的颜色模型，rgb颜色模型所覆盖的颜色域取决于显示设备荧光点的颜色特性，是与硬件相关的。它是我们使用最多，最熟悉的颜色模型。它采用三维直角坐标系。红、绿、蓝原色是加性原色，各个原色混合在一起可以产生复合色；hsv颜色模型所代表的颜色域是国际照明委员会色度图的一个子集，这个模型中饱和度为百分之百的颜色，其纯度一般小于百分之百。在圆锥的顶点(即原点)处，v＝0，h和s无定义，代表黑色，圆锥的顶面中心处s＝0，v＝1，h无定义，代表白色。从该点到原点代表亮度渐暗的灰色，即具有不同灰度的灰色。对于这些点，s＝0，h的值无定义，在一种纯色中加入白色以改变色浓，加入黑色以改变色深，同时加入不同比例的白色，黑色即可获得各种不同的色调；lab颜色模型是由国际照明委员会制定的一种色彩模式，自然界中任何一点色都可以在lab空间中表达出来，它的色彩空间比rgb空间还要大。另外，这种模式是以数字化方式来描述人的视觉感应，与设备无关，所以它弥补了rgb和cmyk模式必须依赖于设备色彩特性的不足。本申请中，优选采集到的原始图像使用的颜色模型为rgb。
[0055]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述步骤s2中，目标裁剪的方法包括如下步骤：
[0056]
m1、对原始图像数据进行处理，建立标签数据文件；
[0057]
m2、创建指示灯目标检测模型并进行指示灯目标检测模型训练；
[0058]
m3、将待检测的指示灯原始图像输入到训练好的指示灯目标检测模型；对包含指示灯的待检测的指示灯原始图像进行检测，标注指示灯位置并对指示灯位置进行裁剪提取，形成指示灯图像。
[0059]
这样，收集足够数量的原始图像数据，原始图像数据的样本场景应尽量与步骤s1保持一致，且不同颜色指示灯样本尽量保持均衡，并制作对应样本的标签文件。选取目标检测网络并初始化网络参数，采用随机梯度下降方式进行网络参数训练。当训练步数达到10万步或损失函数逐渐趋于收敛时对网络进行验证，当识别目标漏检率小于5％时停止训练，否则重复步骤m3继续进行网络参数训练。
[0060]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述目标检测方法为采用深度卷积神经网络的图像目标检测方法，包括但不限于ssd、yolo、faster rcnn。这样，yolo目标检测方法采用全图信息来进行预测，用yolo处理图像简单直接，预测流程简单，速度很快，yolo目标检测方法可以学习到目标的概括信息，具有一定普适性。faster rcnn目标算法的准确度非常高，ssd结合了yolo中的回归思想和
faster-rcnn中的anchor机制，使用全图各个位置的多尺度区域进行回归，既保持了yolo速度快的特性，也保证了窗口预测的跟faster-rcnn一样比较精准。
[0061]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述指示灯目标检测模型为yolov3网络。这样，yolov3在pascal titan x上处理608x608图像速度达到20fps，在coco test-dev上map@0.5达到57.9％，与单阶段网络的结果相近，并且速度快4倍。yolo v3的模型比之前的模型复杂了不少，可以通过改变模型结构的大小来权衡速度与精度。
[0062]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述步骤m1中，标签数据文件的建立方法包括如下步骤：
[0063]
p1、对采集的原始图像数据进行均衡化处理；
[0064]
p2、将经过均衡化处理的原始图像数据建立形成指示灯训练图像库；
[0065]
p3、对指示灯训练图像库内的原始图像数据进行标注，形成标签数据文件。
[0066]
这样，准备图像数据。首先，对采集的原始指示灯数据进行均衡化处理，确保不同类别的指示灯数量比例接近或相差不大。针对样本数量差别大情况，采用旋转、翻转、噪声、色彩抖动等样本增量扩容方法进行调整，保持各类样本分布均衡；然后建立指示灯训练图像库，对目标检测库每张目标图像进行标注，建立标签数据文件。进一步优选的技术方案是：标签文件满足pascal voc格式的xml标签文件标准，包括图像id、图像路径、图像名称、图像目标像素高度及宽度。其中图像目标的像素高度和宽度通过矩形框的四个坐标来表示，包括xmax，xmin，ymax，ymin。其中(xmin，ymin)是矩形框的左上顶点的坐标，(xmax，ymax)是矩形框右下顶点坐标。
[0067]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述步骤m2中，指示灯目标检测模型训练方法为：
[0068]
q1、将标签数据文件按比例分为训练集和测试集；
[0069]
q2、采用训练集进行模型训练；
[0070]
q3、测试集进行模型参数固化。
[0071]
这样，将指示灯训练图像库按比例分为训练集和测试集，采用训练集进行模型训练，测试集进行模型参数固化，其中固化模型的步骤是：训练过程中每间隔一定步数对模型参数进行保存，并将保存的模型参数在数据集进行测试，选择性能稳定的模型并进一步将权重、偏置等参数保存，同时将不稳定的模型进行覆盖；将待检测的指示灯原始图像数据输入到步骤m2训练好的目标检测网络模型，当检测到指示灯目标，且置信度大于50％时，标注指示灯位置并进行裁剪提取，否则，输入图像中不含指示灯目标。
[0072]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述步骤s3中，指示灯状态判断方法包括：
[0073]
n1、对指示灯样本进行处理，建立标签文件；
[0074]
n2、创建指示灯状态分类模型并进行指示灯状态分类模型训练；
[0075]
n3、将指示灯图像输入到训练好的指示灯状态分类模型；以置信度最高的结果作为输出。
[0076]
这样，收集足够数量的指示灯样本，图像样本中应仅包含指示灯目标，且不同颜色、不同状态(亮、灭)指示灯样本尽量保持均衡，并制作对应样本的标签文件；选取图像分
类网络并初始化网络参数，采用随机梯度下降方式进行网络参数训练；当训练步数达到10万步或损失函数逐渐趋于收敛时对网络进行验证，当分类准确率大于95％时停止训练，否则重复步骤n3继续进行网络参数训练。
[0077]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述指示灯状态分类模型采用vgg分类网络。这样，vgg网络深度上层数很深，可以适用于大数据集，其最初的提出也是为了解决imagenet中的1000类图像分类和定位问题。vgg使用小卷积核(3*3为主)。卷积核的大小影响模型的参数量(训练的难易程度、是否方便部署到移动端)和感受野(参数的更新、特征图的大小、特征是否提取的足够多、模型的复杂程度)。vgg网络采用深网络层数和小卷积核，可以在保证感受野的前提下减少模型参数(两个3*3的卷积层叠加等价于一个5*5卷积核果，3*3*3卷积核叠加相加相当于一个7*7的卷积核，而且参数更少)
[0078]
另外，vgg网络的池化层从alexnet的kernel size为33，stride为2的max-pooling改变为kernel size均为22，stride为2的max-pooling，便于更好的获取图形细节信息。
[0079]
本发明的指示灯状态识别方法，如图1-图8所示，在前面描述的技术方案的基础上还可以是：所述步骤n2中，指示灯状态分类模型训练方法为：
[0080]
o1、将标签文件按比例分为训练集和测试集；
[0081]
o2、采用训练集进行模型训练；
[0082]
o3、测试集进行模型参数固化。
[0083]
数据准备与网络训练与步骤m2大致相同，具体差异体现在以下步骤；指示灯样本为仅含有指示灯的图像，即指示灯面积占图像面积比例不小于75％，指示灯样本标签仅包含指示灯的颜色和状态标签信息，本实例中采用二进制编码进行标签，白色为00，红色为01，绿色为10，黄色为11。指示灯灭状态为0，亮状态为1；如白色指示灯亮为001，红色指示灯灭为010；待测图像为目标识别后裁剪的指示灯图像，并以置信度最高的结果作为输出。
[0084]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。