一种继电保护装置面板与屏幕内容自动化识别方法与流程

文档序号：22430818发布日期：2020-10-02 10:12阅读：134来源：国知局

本发明属于面板与屏幕内容自动化识别技术领域，具体涉及一种继电保护装置面板与屏幕内容自动化识别方法。

背景技术：

随着公司规模的逐渐扩大，设备数据的不断增加，传统变电站中的继电保护管理信息化水平低，缺少统一的继电保护信息维护模型等问题日益严重。因此，开发一套现代化智能继电保护信息管理系统成了当务之急。而继电保护装置台账信息的建立是系统工作的重点之一，设备台账主要记录设备的固有属性，这些属性参数都记录在继电保护设备的面板与屏幕中。

传统的产参数信息获取主要依靠人工，由现场工作人员靠人眼辨别并手动录入系统，而这种方法造成极大的人力资源浪费且效率低下。

近年来随着图像识别技术的发展，开始将其应用于面板与屏幕的图像的识别上，但效果并未达到预期，主要受到以下两个方面的影响：(1)图像的质量问题。所采集图像受到光照或拍照时的抖动及其他噪声等影响，易产生曝光，像素失真或难以辨别文本区域等质量问题。(2)处理算法的选择。算法太复杂会造成运算时间过长，造成用户长时间等待；算法过于简单又会使识别的精确度太低无法达到要求。

技术实现要素：

本发明要解决的技术问题是：提供一种继电保护装置面板与屏幕内容自动化识别方法，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种继电保护装置面板与屏幕内容自动化识别方法，该方法包括以下步骤：

s1：获取继电保护装置面板与屏幕图像；

s2：对所述继电保护装置面板与屏幕图像进行预处理；

s3：对所述预处理后图像使用ctpn模型进行文本的检测；

s4：使用lstm+ctc文本识别网络来对所述检测出文本进行文本的识别。

步骤s2中预处理方法包括以下步骤：

s201：对所述继电保护装置面板与屏幕图像进行灰度化处理，转成灰度图像；

s202：对所述灰度图像增强，采用一种双直方图均衡的算法来对图像进行增强，即选择一个合适的灰度阈值，将原图像划分为两个子图，分别进行直方图均衡，最后将两个子图像合并；

s203：对所述灰度阈值的选取，采用以下准则：

1.图像的信息熵

2.图像的亮度差

将图像的信息熵定义如下：

其中，pi表示灰度i的概率，l表示输入图像总的灰度级数；

图像的亮度差由输入图像的平均亮度与输出图像的平均亮度表示，定义如下：

g(x)＝|g(m)-f(l)|

其中，g(m)表示输出图像m的平均亮度，f(l)表示输入图像l的平均亮度，n1i和n2i分别表示输出与输入图像灰度值为i的像素个数，n1和n2分别表示输出与输入图像的总像素个数；

综上，所述灰度阈值为:

s204：通过所述灰度阈值，将所述缩放后继电保护装置面板与屏幕图像划分成两个子图像，分别进行直方图均衡化，最后将俩个子图像合并，得到合并图像；

s205：对所述合并图像进行缩放。

步骤s3中使用ctpn模型进行文本的检测方法包括以下步骤：

s301：输入所述增强后图像，使用vgg16进行特征的提取，得到conv5_3(vgg第5个block的第三个卷积层)的特征作为featuremap；

s302：在这个featuremap上做滑窗；

s303：将每一行的所有窗口对应的特征输入到rnn(blstm，双向lstm)中；

s304：将rnn的结果输入到fc层(全连接层)；

s305：fc层特征输入到三个回归层中；

s306：使用文本构造的算法，将得到的细长的矩形框，作为候选区，将每两个相近的候选区组成一个pair，合并不同的pair成文本序列框直到无法再合并为止。

步骤s4中使用lstm+ctc文本识别网络来对所述检测出文本进行文本的识别方法包括以下步骤：

s401：传统的cnn网络只能通过文本的外形特征来进行识别，而在继电保护装置面板与屏幕内容的识别过程中，文本的上下文联系至关重要，因此对网络搭建lstm(longshort-termmemory)层来进行文本的识别；

s402：对lstm层的输出数据进行解码，引入ctc(connectionisttemporalclassification)层，ctc层根据空白符分割序列，合并相邻且相同的字符；

s403：解码后进行网络的训练，采用m.jaderberg的开源工程人工生成训练数据；

s404：将所述训练数据导入到构建好网络模型中，使用梯度下降法最小化损失函数如下所示：

o＝-∑logp(li|yi)，i＝(0,1,2...n)

其中，yi、li分别代表第i个输入和其对应的真实标签序列，p(li|yi)表示第i个输入对应其真实标签序列的概率；

通过训练修改网络参数，得出训练好的lstm+ctc文本识别网络；

s405：将检测出文本的图像输入训练好的lstm+ctc文本识别网络，得出最终的文本识别结果。

本发明的有益效果：本发明主要是将图像增强、基于ctpn网络的文本检测和基于lstm+ctc网络的文本识别方法应用到继电保护装置的面板与屏幕识别中，改善现有识别方法的不足，从而提高文字识别的准确性。与现有技术相比，本发明通过对图像预处理部分的图像增强操作，可以有效提升图像的对比度，消除亮度噪音，提升图像质量，解决因图像质量而影响识别准确度的问题；而通过ctpn模型进行的文本检测，准确率较高，且网络层级简单，运行时间较快；lstm+ctc的文本识别方法可以引入对识别文本的上下文分析，进一步提升文字识别准确性。将本方法应用到实际工作中，可以提升现场工作人员采集保护设备信息的准确性和工作效率，并能够有效的减少工作人员的工作量，提高继电保护设备信息管理水平。

附图说明

图1是本发明的流程图；

图2是本发明的识别流程图。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例1：如图1-图2所示，一种继电保护装置面板与屏幕内容自动化识别方法，该方法包括以下步骤：

s1：获取继电保护装置面板与屏幕图像；

s2：对所述继电保护装置面板与屏幕图像进行预处理；

预处理方法包括以下步骤：

s201：对所述继电保护装置面板与屏幕图像进行灰度化处理，转成灰度图像，方法如下：

i(x,y)＝0.3*i_r(x,y)+0.59*i_g(x,y)+0.11*i_b(x,y)

其中，i(x,y)表示在坐标x,y处像素的灰度值，i_r(x,y)，i_g(x,y)，i_b(x,y)分别在坐标x，y处图像r、g和b三个通道的值。

s202：对所述灰度图像增强，由于受现场光线及拍摄角度等影响，所拍摄图像易产生曝光、对比度不明显等问题，因此采用一种改进后的双直方图均衡的算法来对图像进行增强，传统的直方图均衡化处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，而这种处理会使一部分灰度被拉伸，而一部分灰度被合并，表现为图像被过度增强。改进后的双直方图均衡算法选择一个合适的灰度阈值，将原图像划分为两个子图，分别进行直方图均衡，最后将两个子图像合并；