电力设备铭牌识别方法、装置、计算机设备和存储介质与流程

本申请涉及电力系统领域，特别是涉及一种电力设备铭牌识别方法、装置、计算机设备和存储介质。

背景技术：

随着南方电网经营范围(南方五省)内社会经济的快速发展，生产生活领域对电力使用的需求迅速增长，输电、变电和配电各个环节所涉及到的电力设备也迅速增多。电力设备铭牌记录着设备的基本参数和身份信息，对电力设备进行统计、管理、巡检时常常需要获取设备的铭牌信息。

近些年来随着人工智能技术的发展，开始使用智能图像识别来进行铭牌信息的识别录入。现有的智能铭牌识别办法，一般是通过神经网络对铭牌图像进行铭牌文字识别。但是，在利用深度神经网络对进行铭牌区域进行文字识别时，识别的准确度并不高。

因此，现有的铭牌识别方法存在识别准确度不高的问题。

技术实现要素：

基于此，本发明提出了一种电力设备铭牌识别方法、装置、计算机设备和存储介质，以解决传统电力设备铭牌识别不准确的问题。

一种电力设备铭牌识别方法，包括步骤：

获取铭牌图像；

识别所述铭牌图像中的铭牌类型；

根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

在其中一个实施例中，所述识别所述铭牌图像中的铭牌类型，包括：

通过铭牌分类模型，从所述铭牌图像中提取出所述图像区域的图像特征；

根据所述图像区域的图像特征，识别铭牌区域；所述铭牌区域为包含有铭牌特征的图像区域；

根据所述铭牌区域，确定所述铭牌类型。

在其中一个实施例中，所述根据所述铭牌区域，确定铭牌类型，包括：

根据所述铭牌区域中的图像特征，对所述铭牌区域进行评价，得到铭牌区域评分；

根据所述铭牌区域评分，对所述铭牌区域进行分类，得到所述铭牌类型。

在其中一个实施例中，所述通过铭牌分类模型，识别所述铭牌图像中的铭牌类型之前，还包括：

获取大量铭牌图像；

标注所述铭牌图像中的所述铭牌区域与所述铭牌类型；

将标注后的所述铭牌图像输入深度神经网络模型中进行训练，得到所述铭牌分类模型。

在其中一个实施例中，所述根据所述铭牌类型，确定对应的文字识别模型，包括：

获取多个候选识别模型；所述候选识别模型具有对应的铭牌类型；

在所述多个候选识别模型中，提取出与所述铭牌类型对应的候选识别模型，作为所述文字识别模型。

在其中一个实施例中，所述利用文字识别模型识别铭牌文字，包括：

获取文字候选框；

获取所述文字候选框的文字置信度；

根据所述文字置信度对所述文字候选框进行过滤，得到所述文字识别框；

根据所述文字识别框，获取所述铭牌文字。

在其中一个实施例中，所述根据所述文字识别框，获取所述铭牌文字，包括：

识别所述文字识别框，得到候选文字；

获取所述候选文字与所述铭牌文字的匹配程度；

根据所述匹配程度，确定所述候选文字为所述铭牌文字。

一种电力设备铭牌识别装置，所述装置包括：

图像获取模块，用于获取铭牌图像；

类型识别模块，用于识别所述铭牌图像的铭牌类型；

文字识别模块，用于根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取铭牌图像；

识别所述铭牌图像中的铭牌类型；

根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取铭牌图像；

识别所述铭牌图像中的铭牌类型；

根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

上述电力设备铭牌识别方法、装置、计算机设备和存储介质，通过铭牌分类模型识别铭牌图像中的铭牌类型，根据铭牌类型，从候选文字识别模型中确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字，避免了利用同一种深度识别网络对不同种类型的铭牌进行识别，而导致识别不准的问题，从而提升了电力设备铭牌识别准确率。

附图说明

图1是一个实施例的一种电力设备铭牌识别方法的流程示意图；

图2是一个实施例的一种电力设备铭牌识别方法的应用环境图；

图3是一个实施例的一种电力设备铭牌识别方法的具体流程示意图；

图4是一个实施例的一种电力设备铭牌识别的具体方法示意图；

图5是一个实施例的一种电力设备铭牌识别装置的结构框图；

图6是一个实施例的一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种电力设备铭牌识别方法。本申请提供的电力设备铭牌识别方法，可以应用于如图2所示的应用环境中。

图2所示的应用环境包括了图像采集装置210、电力设备铭牌220、铭牌识别服务器230和终端240，其中，图像采集装置210采集电力设备铭牌220的图像后，通过网络将铭牌图像传输至铭牌识别服务器230中进行文字识别，识别后的铭牌文字通过终端240显示，终端240通过网络与铭牌识别服务器230进行通信。其中，图像采集装置210可以具体为摄像头，铭牌识别服务器230可以用独立的服务器或者是多个服务器组成的服务器集群来实现，终端240可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。本申请实施例的电力设备铭牌识别方法，可以包括以下步骤：

步骤s110，获取铭牌图像。

其中，铭牌图像可以为针对铭牌拍摄得到的图像。铭牌可以是电力设备上的、记载生产厂家及额定工作情况等技术参数的标牌。

具体实现中，用户通过图像采集装置210采集初始铭牌图像，并将初始铭牌图像进行降噪、矫正等预处理，得到铭牌图像，将铭牌图像输入至铭牌识别服务器230中进行处理。

步骤s120，识别所述铭牌图像中的铭牌类型。

具体实现中，铭牌识别服务器230获取到铭牌图像之后，将铭牌图像输入铭牌分类模型中进行卷积池化处理，得到多个尺度标准的图像区域，从图像区域中提取出图像特征，根据图像特征，对图像区域进行过滤，从而确定铭牌区域；将铭牌区域的图像特征进行卷积池化处理，得到铭牌区域评分，根据铭牌区域评分，对铭牌区域进行分类，得到铭牌类型。

步骤s130，根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

具体实现中，当获取到铭牌类型后，将该铭牌类型传送至配置文件中进行匹配，得到对应的文字识别模型；将铭牌区域输入文字识别模型，生成文字识别框，对文字识别框进行文字识别，得到铭牌文字信息。

根据本申请实施例的技术方案，通过铭牌分类模型识别铭牌图像中的铭牌类型，根据铭牌类型，从候选文字识别模型中确定对应的文字识别模型，并利用文字识别模型识别出铭牌文字，避免了利用同一种深度识别网络对不同种类型的铭牌进行识别，导致识别不准的问题，从而提升了电力设备铭牌识别准确率。

在另一个实施例，所述铭牌图像包括图像区域，所述识别所述铭牌图像中的铭牌类型，包括：

通过铭牌分类模型，从所述铭牌图像中提取出所述图像区域的图像特征；根据所述图像区域的图像特征，识别铭牌区域；所述铭牌区域为包含有铭牌特征的图像区域；根据所述铭牌区域，确定所述铭牌类型。

具体实现中，铭牌识别服务器230获取到铭牌图像之后，将铭牌图像输入卷积神经网络层中进行卷积运算，生成多个尺寸标准的图像区域，截取图像区域中的图像，得到区域图像，将区域图像经过卷积池化处理后，得到区域图像的图像特征。图像特征为矩阵，矩阵元素对应图像特征区域的像素，通过根据像素点的像素数值对区域图像进行过滤，从而确定铭牌区域。根据所述铭牌区域，确定铭牌类型。

本实施例的技术方案，通过提取图像区域的图像特征，并通过图像特征对图像区域进行过滤，确定铭牌区域，从而缩小了铭牌识别服务器230识别铭牌区域时的识别范围，进而提升了电力设备铭牌识别效率。

在另一个实施例，所述根据所述铭牌区域，确定铭牌类型，包括：

根据所述铭牌区域中的图像特征，对所述铭牌区域进行评价，得到铭牌区域评分；根据所述铭牌区域评分，对所述铭牌区域进行分类，得到所述铭牌类型。

具体实现中，铭牌识别服务器230获取到铭牌区域的图像特征后，将图像特征进行卷积运算，得到铭牌区域评分，将铭牌评分输入判定函数进行判断，从而得到铭牌类型。

例如，提取铭牌区域中的图像特征，如铭牌材质特征、铭牌颜色特征、铭牌大小等特征输入神经网络中进行处理，根据铭牌分类模型中的网络权值和节点阈值计算网络输出，将网络输出通过判定函数进行类别判定，从而得到铭牌类型。

本实施例的技术方案，通过铭牌区域中的图像特征对所述铭牌区域进行评分，并根据评分对铭牌区域进行分类，得到所述铭牌类型，从而使得铭牌识别服务器230能够精准识别出铭牌类别，进而提升了电力设备铭牌识别准确度。

在另一个实施例，所述通过铭牌分类模型，识别所述铭牌图像中的铭牌类型之前，还包括：

获取大量铭牌图像；标注所述铭牌图像中的所述铭牌区域与所述铭牌类型；将标注后的所述铭牌图像输入深度神经网络模型中进行训练，得到所述铭牌分类模型。

具体实现中，选择铭牌样本集合的一个样本(ai，bi)，ai为数据、bi为标签，送入神经网络，计算网络的实际输出y，计算d＝bi-y(即预测值与实际值相差多少)，根据误差d调整权重矩阵w，对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围，从而得到铭牌分类模型。

在另一个实施例，所述根据所述铭牌类型，确定对应的文字识别模型，包括：

获取多个候选识别模型；所述候选识别模型具有对应的铭牌类型；在所述多个候选识别模型中，提取出与所述铭牌类型对应的候选识别模型，作为所述文字识别模型。

具体实现中，当获取铭牌类型后，将该类型输入配置文件中进行匹配，从铭牌类型对应文字识别模型关系表中获取对应的识别模型。

实际应用中，可以首先建立配置文件，在配置文件中记录铭牌类型对应文字识别模型关系表。

在另一个实施例，所述利用文字识别模型识别铭牌文字，包括：

获取文字候选框；获取所述文字候选框的文字置信度；根据所述文字置信度对所述文字候选框进行过滤，得到所述文字识别框；根据所述文字识别框，获取所述铭牌文字。

其中，文字置信度可以是指标文字选框具有铭牌文字特征的概率。

具体实现中，铭牌识别服务器230将铭牌区域输入文字识别模型中进行处理，得到文字候选框，将文字候选框引入一个双向长短时记忆循环神经网络层中进行计算。具体地，双向长短时记忆循环神经网络层由两个标准的一层lstm(longshort-termmemory，长短记忆网络)模块组成，其中一个lstm模块用于预测文字候选框的坐标中心点和文字候选框的长宽偏差修正值,另一个lstm模块用于预测该候选框的文字置信度。根据文字置信度，对所有文字候选框进行过滤，得到具有铭牌文字信息的文字识别框，根据文字识别框，获取铭牌文字。

本实施例的技术方案，通过获取铭牌区域的文字候选框和候选框的文字置信度，根据文字置信度过滤文字候选框，得到文字识别框，从而准确识别出铭牌文字，提升了电力设备铭牌识别准确度。

在另一个实施例，所述根据所述文字识别框，获取所述铭牌文字，包括：

识别所述文字识别框，得到候选文字；获取所述候选文字与所述铭牌文字的匹配程度；根据所述匹配程度，确定所述候选文字为所述铭牌文字。

具体实现中，铭牌识别服务器通过调用对应的文字识别模型获取文字识别框，提取文字识别框中的文字字符形态特征，得到初始文字。此时文字识别框中的文字特征可能会因为铭牌生锈、铭牌图像曝光等原因，导致文字特征残缺，因此此时的初始文字并不准确。例如，当具有“电压表”文字特征的铭牌出现生锈后，“电压表”文字特征变为“电土表”文字特征，此时文字识别模型获取到的初始文字为“电土表”。铭牌识别服务器230预先建立有设备名称数据库，铭牌识别服务器230从设备名称数据库获取与初始文字匹配的候选文字，并计算候选文字与初始文字的匹配度，根据匹配程度，确定候选文字为铭牌文字。

本实施例的技术方案，通过识别文字识别框，得到初始文字，通过初始文字获取对应的候选文字，通过计算候选文字与初始文字的匹配程度，确定铭牌文字，从而提高了识别电力设备铭牌文字的准确程度。

为了便于本领域技术人员深入理解本申请实施例，以下将结合具体的示例进行说明。图3是一个实施例的一种电力设备铭牌识别的具体方法流程示意图。如图所示，图像采集电力铭牌图像，并将铭牌图像传输至铭牌识别服务器230中，利用铭牌分类模型对传输至服务器中的铭牌图像进行铭牌分类，将分类后的铭牌图像传输至对应的文字识别模型，文字识别模型通过提取铭牌文字特征，确定铭牌文字。

为了便于本领域技术人员深入理解本申请实施例，以下将结合具体的示例进行说明。图4是一个实施例的一种电力设备铭牌识别的具体方法示意图。如图所示，因为不同铭牌的文字位置和内容不同，所以需要对铭牌区域进行分类，首先建立铭牌分类模型，对搜集到的各种铭牌图像进行铭牌特征标记，将标记后的铭牌图像输入深度神经网络进行训练，得到铭牌分类模型；然后建立文字区域检测和识别的模型，对搜集的各种铭牌图像进行文字字段的框选标记，不同的铭牌类型因字段不同需要分别框选标记，将框选标记好的铭牌图像输入深度神经网络进行训练，得到文字区域检测和识别的模型；将待测铭牌图像输入铭牌分类模型中进行铭牌分类检测，得到铭牌类型，根据配置文件查询铭牌类型对应的文字识别模型，文字识别模型通过提取铭牌文字特征，确定铭牌文字。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种电力设备铭牌识别装置，包括：

图像获取模块510，用于获取铭牌图像；

类型识别模块520，用于识别所述铭牌图像的铭牌类型；

文字识别模块530，用于根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

在一个实施例中，所述类型识别模块520，包括：

图像特征提取子模块，用于从所述铭牌图像中的图像区域中提取出图像特征；

类型确定子模块，用于根据所述铭牌区域，确定所述铭牌类型。

在一个实施例中，所述类型确定子模块，包括：

区域评分单元，用于根据所述铭牌区域中的图像特征，对所述铭牌区域进行评价，得到铭牌区域评分；

区域分类单元，用于根据所述铭牌区域评分，对所述铭牌区域进行分类，得到所述铭牌类型。

在一个实施例中，所述电力设备铭牌识别装置，还包括：

铭牌图像获取模块，用于获取大量铭牌图像；

标注模块，用于标注所述铭牌图像中的所述铭牌区域与所述铭牌类型；

训练模块，用于将标注后的所述铭牌图像输入深度神经网络模型中进行训练，得到所述铭牌分类模型。

在一个实施例中，所述文字识别模块530，包括：

识别模型获取子模块，用于获取多个候选识别模型；所述候选识别模型具有对应的铭牌类型；

文字识别模型获取子模块，用于在所述多个候选识别模型中，提取出与所述铭牌类型对应的候选识别模型，作为所述文字识别模型。

在一个实施例中，所述文字识别模型获取子模块，包括：

文字候选框获取单元，用于获取文字候选框；

文字置信度计算单元，用于获取所述文字候选框的文字置信度；

文字识别框获取单元，用于根据所述文字置信度对所述文字候选框进行过滤，得到所述文字识别框；

铭牌文字获取单元，用于根据所述文字识别框，获取所述铭牌文字。

关于电力设备铭牌识别装置的具体限定可以参见上文中对于电力设备铭牌识别方法的限定，在此不再赘述。上述电力设备铭牌识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种电力设备铭牌识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取铭牌图像；

识别所述铭牌图像中的铭牌类型；

根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取铭牌图像；

识别所述铭牌图像中的铭牌类型；

根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

通过铭牌分类模型，从所述铭牌图像中提取出所述图像区域的图像特征；

根据所述图像区域的图像特征，识别铭牌区域；所述铭牌区域为包含有铭牌特征的图像区域；

根据所述铭牌区域，确定所述铭牌类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述铭牌区域中的图像特征，对所述铭牌区域进行评价，得到铭牌区域评分；

根据所述铭牌区域评分，对所述铭牌区域进行分类，得到所述铭牌类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取大量铭牌图像；

标注所述铭牌图像中的所述铭牌区域与所述铭牌类型；

将标注后的所述铭牌图像输入深度神经网络模型中进行训练，得到所述铭牌分类模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取多个候选识别模型；所述候选识别模型具有对应的铭牌类型；

在所述多个候选识别模型中，提取出与所述铭牌类型对应的候选识别模型，作为所述文字识别模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取文字候选框；

获取所述文字候选框的文字置信度；

根据所述文字置信度对所述文字候选框进行过滤，得到所述文字识别框；

根据所述文字识别框，获取所述铭牌文字。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

识别所述文字识别框，得到候选文字；

获取所述候选文字与所述铭牌文字的匹配程度；

根据所述匹配程度，确定所述候选文字为所述铭牌文字。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取铭牌图像；

识别所述铭牌图像中的铭牌类型；

根据所述铭牌类型，确定对应的文字识别模型，并利用所述文字识别模型识别铭牌文字。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

通过铭牌分类模型，从所述铭牌图像中提取出所述图像区域的图像特征；

根据所述图像区域的图像特征，识别铭牌区域；所述铭牌区域为包含有铭牌特征的图像区域；

根据所述铭牌区域，确定所述铭牌类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述铭牌区域中的图像特征，对所述铭牌区域进行评价，得到铭牌区域评分；

根据所述铭牌区域评分，对所述铭牌区域进行分类，得到所述铭牌类型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取大量铭牌图像；

标注所述铭牌图像中的所述铭牌区域与所述铭牌类型；

将标注后的所述铭牌图像输入深度神经网络模型中进行训练，得到所述铭牌分类模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取多个候选识别模型；所述候选识别模型具有对应的铭牌类型；

在所述多个候选识别模型中，提取出与所述铭牌类型对应的候选识别模型，作为所述文字识别模型。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取文字候选框；

获取所述文字候选框的文字置信度；

根据所述文字置信度对所述文字候选框进行过滤，得到所述文字识别框；

根据所述文字识别框，获取所述铭牌文字。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

识别所述文字识别框，得到候选文字；

获取所述候选文字与所述铭牌文字的匹配程度；

根据所述匹配程度，确定所述候选文字为所述铭牌文字。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。