基于机器视觉与深度学习的配电柜方形压板状态识别方法与流程

本发明属于电气设备图像识别领域，具体涉及一种采用机器视觉与深度学习的配电柜方形压板状态识别方法。

背景技术：

随着电力系统的发展，电力设备越来越复杂，各个子系统联系越来越密切，那么对各个子系统状态的检测显得尤其重要，在电气控制柜中存在有较多方形压板子系统，如下图1所示。上述压板阵列状态需要通过人工巡检和人工排查来记录当前开关状态，较为耗费时间与人力，且效率低下。

技术实现要素：

本发明针对上述现有技术的不足，利用机器视觉与图像处理技术来解决上述技术问题的技术方案，具体技术方案如下：

基于几何特征聚类划分与深度学习的配电柜方形压板状态识别方法，包括如下步骤：

步骤(1)图像采集：采集压板图像，并以图片格式保存压板图像信息；

步骤(2)图像校正：根据压板上设定的4个校正基准点，识别4个校正基准点的压板图像位置，并以此将压板图像进行校正；

步骤(3)投影聚类：对校正后的压板图像进行一次整体投影聚类，获取开关阵列的开关阵列数；

步骤(4)图像切割：根据所获取的开关阵列数对校正后的压板图像进行等距切割，从而得到关于压板图像中每一开关的区域图像；

步骤(5)图像识别：将切割后的每一开关的区域图像依次送入训练好的神经网络，确定每一开关的状态；

步骤(6)结果输出：最后组合输出整块压板开关的检测识别结果。

根据上述步骤，对压板进行图像采集、图像校正、图像预处理后，将压板中的每个开关进行等距切割，即对原有图像进行一次区域划分，将原有的对整体图像进行识别的方式转化为对单一开关的空间区域进行状态识别，根据切割后每个开关的图样送入到已经训练好的模型中进行识别，检测出每个开关的状态，并输出所有开关的状态信息。

进一步地，在步骤(1)中，通过手机、平板电脑、usb摄像头等进行压板图像的采集。

进一步地，步骤(2)中所述的校正基准点即人为标定的直线或者黑点；直线的校正基准点设置在压板的边框及每两行开关的中间；黑点的校正基准点设置在压板区域的4个角点。

进一步地，步骤(2)中，获取直线的校正基准点的4个角点或4个黑点的校正基准点在图像中的像素坐标，以此为基准将倾斜或者变形的压板图像进行校正。由于拍摄角度的限制，往往存在俯拍或者仰拍的情况，以压板的4个角点为基准，将图像校正至以4个角点为压板矩形尺寸的4个角，即4个角点的中心作为校正后图像的4个角。

进一步地，步骤(3)中，对步骤(2)中校正后的压板图像进行预处理之后再使用纵向和横向投影方法获取开关阵列数，即开关的行列数。

进一步地，步骤(4)中，根据步骤(3)中获取的压板图像的阵列数对校正后的压板图像进行等距切割，将每一开关进行独立划分，从而获得关于压板图像中每一开关的区域图像，大大减低了识别难度，便于后续的图像识别。

进一步地，步骤(5)中，将切割后独立划分的每一开关的区域图像依次送入步骤(0)中训练好的神经网络进行识别，计算输出得到每一开关的状态及判别概率，确定每一开关的状态。

进一步地，步骤(6)中，以矩阵形式组合输出压板开关的检测识别结果。

进一步地，还包括步骤(0)：训练判别模型：建立训练好的神经网络包括具体如下步骤：获取每一开关区域图像，并根据开关的状态将图像分到相应状态的文件夹，搭建卷积神经网络框架，训练网络参数。

进一步地，步骤(0)中，将开关状态分为“关闭”和“开启”2种状态，“关闭”状态设置标签为“0”，“开启”状态设置标签为“1”，根据开关的状态将图像分到相应状态的文件夹；每个文件夹以图像数据总数的70％作为训练集，30％作为测试集，利用tensorflow搭建卷积神经网络框架，输出通过softmax函数得到识别结果概率模型，在gpu上训练网络，得到网络模型参数。

本发明的有益效果：

本发明利用机器学习与图像处理技术，将前端获取的压板图像通过必要的预处理工作之后，根据图像的几何特征对其进行分割，将分割后的所有小开关图像依次输入系统，识别模块负责对输入的每个个小开关图像进行分类判决确定开关状态的归属，最后组合输出整块压板的状态信息，将前端获取的压板图像进行处理后反馈出各个开关状态的识别结果，不仅能节约时间与人力，还方便后期记录与复查压板开关在不同时间下的情况。

附图说明

图1是基于机器视觉与深度学习的配电柜方形压板状态识别方法的实现流程图。

图2是基于机器视觉与深度学习的配电柜方形压板状态识别方法的压板原图。

图3是基于机器视觉与深度学习的配电柜方形压板状态识别方法的程序识别结果图。

具体实施方式

以下结合附图对本发明进行详细说明：

如图1所示，本发明的基于机器视觉与深度学习的配电柜方形压板状态识别方法包括如下步骤：

步骤(0)训练判别模型：

将开关状态为“关闭”设置标签为“0”，“开启”状态设置为“1”，建立相应状态的文件夹；

采集图像数据集，获取每一开关区域图像，生成每张开关图像的开关状态所对应的标签，保存于txt文本中，并根据开关的状态将图像分到相应状态的文件夹；

每个文件夹以图像数据总数的70％作为训练集，30％作为测试集，利用tensorflow搭建卷积神经网络框架，其包含3层卷积层(卷积核大小为3*3，卷积核数量为{16，32，16}，每层包含relu激活函数)，3层最大池化层(步长设置为2)，两层全连接层，输出通过softmax函数得到识别结果概率模型，在gpu上训练网络，得到网络模型参数。

步骤(1)图像采集：通过手机、平板电脑、usb摄像头等进行压板图像的采集，并以图片格式保存压板图像信息；

步骤(2)图像校正：

在压板上设定4个校正基准点，校正基准点即人为标定的直线或者黑点；直线的校正基准点设置在压板的边框及每两行开关的中间；黑点的校正基准点设置在压板区域的4个角点；图2所示的压板校正基准点为在压板区域4个角点设置黑点作为校正基准点；

获取直线的校正基准点的4个角点或4个黑点的校正基准点在图像中的像素坐标，以此为基准将倾斜或者变形的压板图像进行校正。由于拍摄角度的限制，往往存在俯拍或者仰拍的情况，以压板的4个角点为基准，将图像校正至以4个角点为压板矩形尺寸的4个角，即4个角点的中心作为校正后图像的4个角。

步骤(3)投影聚类：对步骤(2)中校正后的压板图像进行一次整体投影聚类，即进行预处理之后再使用纵向和横向投影方法获取开关阵列数，即开关的行列数。

步骤(4)图像切割：根据步骤(3)中获取的压板图像的阵列数对校正后的压板图像进行等距切割，将每一开关进行独立划分，从而获得关于压板图像中每一开关的区域图像，大大减低了识别难度，便于后续的图像识别。

步骤(5)图像识别：将切割后独立划分的每一开关的区域图像依次送入步骤(0)中训练好的神经网络进行识别，计算输出得到每一开关的状态及判别概率，确定每一开关的状态。

步骤(6)结果输出：以矩阵形式组合输出压板开关的检测识别结果，如图3所示。

本发明具体实现的硬件过程：通过手机、平板电脑、usb摄像头等设备对压板图像进行采集，图像通过光缆传输给中央处理器，中央处理器对图像进行校正、一次整体聚类划分、模型训练和目标识别，在现场采集大量图片并将其分割后批量将开关状态为“0”或者是“1”的分到相应的文件夹。将卷积神经网络参数设置好，进行训练。生成模型。把所要识别的图像切割后的独立的单一开关图像送入模型进行识别，得出识别结果，并通过矩阵形式显示于电子显示器。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。