一种基于二维码的变电站开关柜设备对象自动识别方法与流程

本发明属于变电站图像智能分析领域及变电站设备状态在线监测领域，涉及图像处理和计算机等技术，特别是涉及一种通过自动搜索并识别开关柜监控视频中二维码来自动识别开关柜设备的方法。

背景技术：

变电站的视频监控技术为远程监控变电站开关柜等设备的可视化提供了技术手段，为变电站调度运行提供了可视化监控及辅助决策依据。

随着视频监控的网络化、高清化、智能化技术的不断发展，视频监控技术在电网安全、生产运行中的应用不断深入和广泛，传统方式所采用的视频监控技术为电网设备远程监控提供远程可视化的监控手段，为远程确认设备实际的状态与监控数据显示状态是否一致，提供了可靠和有效的确认手段，为准确做出决策提供了依据。

然而，由于变电站开关柜室内开关柜数量众多、且摆放密集，对于每个开关柜设备的查看，都要事先通过人工设置预置位的方式，若开关柜位置变更，还需重新设置视频设备的预置位信息，浪费了人力资源。因此，如何提高视频监控技术在电网智能化监控技术中的应用，将对电网智能化水平的提升起到促进作用。同时，将为电网设备的智能化监控、智能化巡视提供技术手段。

随着二维码技术的不断发展，通过识别粘贴在开关柜上的二维码来自动识别开关柜信息将大大降低人工成本。二维码具有信息容量大、错误纠正能力强、译码可靠性高、成本低等特点，将二维码应用于开关柜的自动识别，不仅降低了人工成本，更增强了电网智能化水平，对电网智能化水平的发展和提高具有一定的促进作用。由于变电站设备场景的复杂性，如果有效实现对变电站开关柜设备的识别将是该技术的核心研究内容。

目前，对于开关柜的识别，普遍采用的技术方法为模板匹配技术和基于机器学习算法的视频智能识别技术。基于模板匹配技术的方法，主要通过收集指定设备的图片，并构建设备对象的特征模型，基于变电站视频监控系统的实时视频数据，采用实时监控的对象特征和已构建的设备对象的特征模型之间进行对比匹配，从而判断出监控对象的设备类型；基于机器学习算法的视频智能识别技术，主要通过收集大量的设备样本数据，通过机器学习算法，形成设备模型数据，基于设备模型数据，再通过实时视频数据对图像中的设备对象进行识别，识别出设备类型后，根据设备在平面结构中所处的位置，结合变电站一次设备安装结构图，从而判断出设备名称。上述两种已有技术方法，主要是完全采用视频智能分析技术，而不借助于其他技术手段，通过机器自动对设备对象进行识别。

针对上述对各现有技术方案的技术分析，采用基于模板匹配技术的方法，需要先构建开关柜设备对象的特征模型，由于变电站视频监控设备所拍摄的角度不同、设备之间的遮挡情况很多、天气影响较大、摄像机清晰度不同、光照条件不同等各种因数，导致所构建的开关柜特征模型很难在实际应用中进行匹配，仅能够用于在实验室测试和验证中，实际应用意义不大。采用基于机器学习算法的视频智能识别技术，需要取决于收集大量的开关柜设备模型样本，所收集的模型样本全面性和准确性，将直接影响机器学习所构建的设备模型的准确性，进一步将影响视频识别的准确性，工作量大，需要不断优化和调整样本库和机器学习算法，且由于变电站视频监控的场景中通常包含了众多设备，将在很大程度上影响视频识别的准确性和可靠性，同时，采用上述两种方法都是只能识别开关柜设备类型，而无法具体识别开关柜设备名称，很难满足生产运行中需要进行开关柜设备状态的识别。

传统的通过人工设置预置位的方法来识别开关柜，每次开关柜位置变更时都需要重新设置预置位，浪费了人力资源。同时，仅通过视频监控开关柜，无法获知开关柜的详细信息，如开关柜名称、型号等。由于变电站内开关柜数量较大，设备电压等级不同，虽然有监控，仍需人工确认开关柜具体信息，因此，传统的监控系统对识别开关柜的作用非常小。

技术实现要素：

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于二维码的变电站开关柜设备对象自动识别方法。

为了解决上述技术问题，本发明提供的基于二维码的变电站开关柜设备对象自动识别方法，包括图片获取及初始化处理、定位图片中二维码标签所在区域、通过图像平面校正将形变的二维码图像转化为标准二维码图像和二维码信息读取和开关柜设备对象识别，该方法包括步骤如下：

S1：图片获取及初始化处理；

S2：定位图片中二维码标签所在区域；

S3：通过图像平面校正将形变的二维码图像转化为标准二维码图像；

S4：二维码信息读取和开关柜设备对象识别。

其中，图片获取及初始化处理具体步骤如下：

S11：通过厂家SDK获取变电站视频监控系统的实时视频数据；

S12：获取实时视频中的某一帧，用于后续检测；

S13：帧图像处理，并裁剪边缘；

S14：对裁剪后的图片进行灰度处理，转换为灰度图片。

其中，定位图片中二维码标签所在区域具体步骤如下：

S21：使用Scharr操作(指定使用ksize＝-1)构造灰度图在水平和竖直方向上的梯度幅值表示；

S22：Scharr操作后，从x的梯度减去y的梯度；

S23：对上述的梯度图采用用9x9的核进行平均模糊，进行二值化处理；

S24：使用cv2.getStructuringElement构造一个长方形内核。这个内核的宽度大于长度，消除二维码中的缝隙。然后，使用腐蚀和膨胀来处理模糊和二值化后的图像，来去除白色的斑点；

S25：查找最大轮廓，确定二维码区域。

其中，通过图像平面校正将形变的二维码图像转化为标准二维码图像具体步骤如下：

S31：在查找到的二维码区域中使用霍夫变换寻找直线；

S32：使用角点检测算法寻找二维码区域内的角点；

S33：采用仿射变换校正二维码图像。

其中，二维码信息读取和开关柜设备对象识别具体步骤如下：

S41：对于校正后的二维码图像，使用zxing开源库对标准二维码图像进行识别，得到设备具体信息；

S42：根据识别的二维码信息，获得开关柜设备信息；

S43:保存视频位置信息。

本发明的方法，具备对视频图像中所监控的开关柜，采用通过识别粘贴在开关柜上的二维码自动识别开关柜的能力。传统的通过人工设置预置位的方法来识别开关柜，每次开关柜位置变更时都需要重新设置预置位，浪费了人力资源。同时，仅通过视频监控开关柜，无法获知开关柜的详细信息，如开关柜名称、型号等。由于变电站内开关柜数量较大，设备电压等级不同，虽然有监控，仍需人工确认开关柜具体信息，因此，传统的监控系统对识别开关柜的作用非常小。

本发明中的一种基于二维码的变电站开关柜设备对象自动识别方法，基于二维码技术、图像识别技术，能够准确且自动查找开关柜对象及获取设备名称，同时，无需提前构建设备模型和样本库，无需人工配置，且由于二维码标签的可识别率高，受外界影响性较小，能够很好地保证识别的准确性和可靠性，且根据二维码标签中所包含的设备信息，能够方便地判断出所监控的设备对象类型和名称，同时，该技术能够很方便地进行应用和推广，不受变电站规模和电压等级的影响。

本发明通过粘贴在开关柜上的二维码来识别开关柜设备信息，具有全面性、准备性、智能化等特点。二维码具有信息容量大、错误纠正能力强、译码可靠性高、成本低等特点，将二维码应用于开关柜的自动识别，不仅降低了人工成本，更增强了电网智能化水平，对电网智能化水平的发展和提高具有一定的促进作用。

本发明的方法易于实现和应用，主要可以应用于电网智能化设备状态巡视、设备告警联动等电网生产运行智能化远程监控中，对电网智能化水平的发展和提高具有一定的促进作用。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述优点将会变得更加清楚。

图1为本发明的流程框图。

具体实施方式

下面结合附图详细说明本发明技术方法中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

图1所示为基于二维码的变电站开关柜设备对象自动识别方法的流程框图，本方法分为图片获取及初始化处理、定位图片中二维码标签所在区域、通过图像平面校正将形变的二维码图像转化为标准二维码图像、二维码信息读取和开关柜设备对象识别四个过程。

所述的图片获取及初始化处理包括步骤：通过厂家SDK获取变电站视频监控系统的实时视频数据；获取实时视频中的某一帧，用于后续检测；帧图像处理，并裁剪边缘；对裁剪后的图片进行灰度处理，转换为灰度图片。

所述的定位图片中二维码标签所在区域包括步骤：使用Scharr操作构造灰度图在水平和竖直方向上的梯度幅值表示，Scharr操作后，从x的梯度减去y的梯度，对上述的梯度图进行平均模糊、二值化处理，构造一个长方形内核，这个内核的宽度大于长度，消除二维码中的缝隙。然后，使用腐蚀和膨胀来处理模糊和二值化后的图像，来去除白色的斑点，最后查找最大轮廓，确定二维码区域。

所述的通过图像平面校正将形变的二维码图像转化为标准二维码图像包括步骤：在查找到的二维码区域中使用霍夫变换寻找直线。使用角点检测算法寻找二维码区域内的角点，采用仿射变换校正二维码图像。

所述的二维码信息读取和开关柜设备对象识别包括步骤：对于校正后的二维码图像，使用zxing开源库对标准二维码图像进行识别，得到设备具体信息。根据识别的二维码信息，获得开关柜设备信息。

本发明的方法需要的硬件最低配置为：P4、3.0G CPU、512M内存的PC机，在此配置水平的硬件上，采用C/C++语言编程实现本方法。操作系统可基于Windows或Linux的各类操作系统。下面对本发明的方法设计的关键步骤进行逐一详细说明，本发明的方法中的基本步骤相同，具体形式如下所述：

首先，是图片获取及初始化处理：

(1)通过厂家SDK实时获取变电站摄像机的实时视频数据；

(2)在获取到实时数据时间间隔5秒后，从实时数据中获取一帧图片数据，采用5秒后再截取图片数据的原因主要为：由于变电站与远端之间的网络带宽有限，若获取到视频后直接截图图片，可能会出现图片截取失败或截取的图片存在异常等原因；

(3)在截取完图片后，检查图片是否正常，如果图片存在异常，则重新获取图片，获取图片成功后，保存图片数据为OrgImg；

(4)通常此时获取的图片格式为YUV格式，为了便于后续的图像分析，将该图片进行格式转换，转换为RGB图片格式，转换后的图片数据为OrgImg_RGB[]；

(5)后续图像处理主要是根据灰度图像的处理，因此，需要将RGB格式转换为灰度格式，根据RGB转灰度公式：Gray＝R*0.299+G*0.587+B*0.114，从而将OrgImg_RGB[]计算得到对应的灰度图片数据：gray[]；

(6)由于实际图片中左上角或右上角、左下角或右下角通常均包含一些文字信息，避免文字信息对监测的影响，假设图片横坐标为0<x<W1，图片纵坐标为0<y<H1，其中的H1表示图片的高度，W1表示图片的宽度，将图片横坐标截取为W1/8<x<7*W1/8，将图片纵坐标截取为H1/8<y<7*H1/8，得到灰度图片矩阵Mat_Gray[]，新的灰度图片的宽度为W2，高度为H2。

其次，定位图片中二维码标签所在区域：

(1)使用Scharr操作构造灰度图在水平和竖直方向上的梯度幅值表示。

(2)Scharr操作后，从x的梯度减去y的梯度。

gradient＝cv2.subtract(gradX,gradY)；

gradient＝cv2.convertScaleAbs(gradient)；

其中，gradX、gradY分别为使用Scharr操作构造的水平方向和竖直方向的梯度图。gradient为相减后的梯度图。

(3)对上述的梯度图采用用9x9的核进行平均模糊。

(4)然后对平均模糊后的图像进行二值化处理。

(5)上面的操作后发现有一些缝隙，并使算法能检测到斑点区域，进行一些基本的形态学操作，首先使用cv2.getStructuringElement构造一个长方形内核。这个内核的宽度大于长度，因此我们可以消除缝隙。这里进行形态学操作，将上一步得到的内核应用到的二值图中，以此来消除缝隙。

kernel＝cv2.getStructuringElement(cv2.MORPH_RECT,(21,7))；

closed＝cv2.morphologyEx(thresh,cv2.MORPH_CLOSE,kernel)；

其中，kernel为构造的长方形内核，closed为进行形态学操作后的图像。

(6)使用opencv里面的腐蚀和膨胀来处理他们，来去除白色的斑点

(7)接下来寻找轮廓

cv2.findContours(closed.copy(),cv2.RETR_EXTERNAL,

cv2.CHAIN_APPROX_SIMPLE)；

(8)给最大的轮廓找到边框，即为二维码标签区域。

再次，通过图像平面校正将形变的二维码图像转化为标准二维码图像：

(1)将上述二值化的二维码图像进行腐蚀操作，找到形态学边界，

erode(image,image1,element)；

image1＝image-image1；

(2)对处理后的图像使用霍夫变换进行寻找直线操作。

vector<Vec2f>lines；

HoughLines(image1,lines,1,CV_PI/150,250,0,0)；

(3)角点定位。

Mat DrawLine＝Mat::zeros(image1.size(),CV_8UC1)；

goodFeaturesToTrack(DrawLine,corners,4,0.1,10,Mat())；

(4)仿射变换，获得校正的二维码图像。

Mat elementTransf；

elementTransf＝getAffineTransform(P1,P2)；

warpAffine(imageSource,imageSource,elementTransf,imageSource.size(),1,0,Scalar(255))；

其中，getAffineTransform用于生成仿射变换矩阵。

warpAffine用于旋转图像。

P1为角点检测的四个角点，P2为校正后的四个角点。

imageSource为形变的原二维码图像。

最后，二维码信息读取和开关柜设备对象识别：

(1)对于校正后的二维码图像，使用zxing开源库对标准二维码图像进行识别，得到设备具体信息。

(2)根据识别的二维码信息，获得开关柜设备信息。

(3)保存视频位置信息。

总之，本发明提出了一种基于二维码的变电站开关柜设备对象自动识别方法的流程框图。通过在电力系统中实际的现场视频图片进行了大量的实验验证了本发明的有效性和稳定性。本发明易于实现，且性能稳定可靠。本发明有效实现了通过识别粘贴在开关柜上的二维码自动识别开关柜。变电站开关柜的图像识别对于电网智能化设备状态巡视、设备告警联动等电网生产运行监控具有重要意义，对电网智能化水平的发展和提高具有一定的促进作用。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围内，因此，本发明的保护范围应该以权利要求书的保护范围为准。