仪表图像识别方法及装置与流程

本发明涉及工业图像处理技术领域，具体而言，涉及一种仪表图像识别方法及装置。

背景技术：

随着工业互联网的发展和落地、以及图像识别处理技术的不断成熟，基于图像处理方法的自动化数字仪表识别逐渐成为工业自动化的重要环节。

现有技术中，通常采用基于像素点的字符分割方法对仪表图像进行分割，在分割完成后，再通过图像识别算法，对分割出的字符进行识别，获取最终识别结果。

但是，基于像素点的字符分割效果受图像像素点干扰严重，字符分割效果相对较差，从而导致识别准确度较低。

技术实现要素：

本发明的目的在于，针对上述现有技术中的不足，提供一种仪表图像识别方法及装置，以解决现有技术中，仪表图像识别准确率低的问题。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种仪表图像识别方法，包括：

对待识别的仪表图像进行预分割，得到多个初始字符区域；

根据预设字符识别模型，对每个初始字符区域进行字符识别，得到所述每个初始字符区域的字符置信度；

根据所述多个初始字符区域的字符置信度，确定分割模板；

根据所述分割模板，以及所述多个初始字符区域在所述仪表图像上位置，对所述仪表图像进行再次分割，得到多个目标字符区域；

根据所述预设字符识别模型，对每个所述目标字符区域进行字符识别，得到每个所述目标字符区域的字符识别结果，所述字符识别结果中每个所述目标字符区域的字符置信度大于或等于预设阈值。

可选地，所述根据所述多个初始字符区域中字符置信度，确定分割模板，包括：

比较所述每个初始字符区域的字符置信度，与所述预设阈值；

根据比较结果，确定所述分割模板。

可选地，所述根据比较结果，确定所述分割模板，包括：

若所述多个初始字符区域中存在字符置信度大于或等于所述预设阈值的初始字符区域，则根据所述多个初始字符区域中字符置信度最高的初始字符区域，确定所述分割模板。

可选地，根据比较结果，确定所述分割模板，包括：

若所述多个初始字符区域中不存在字符置信度大于或等于所述预设阈值的初始字符区域，则根据所述仪表图像的尺寸，确定所述分割模板。

可选地，所述根据所述分割模板，以及所述多个初始字符区域在所述仪表图像上位置，对所述仪表图像进行再次分割，得到多个目标字符区域，包括：

根据所述多个初始字符区域在所述仪表图像上位置，将所述分割模板采用预设的单位移动距离在所述仪表图像进行移动，以对所述仪表图像进行再次分割，得到所述多个目标字符区域。

可选地，所述根据所述多个初始字符区域在所述仪表图像上位置，将所述分割模板采用预设的单位移动距离在所述仪表图像进行移动，包括：

若所述多个初始字符区域中异常初始字符区域的长度，小于所述分割模板的长度，则以所述异常初始字符区域在所述仪表图像上的位置为中心，将所述分割模板采用所述单位移动距离，在所述仪表图像上进行移动；所述异常初始字符区域的字符置信度小于所述预设阈值。

可选地，所述根据所述多个初始字符区域在所述仪表图像上位置，将所述分割模板采用预设的单位移动距离在所述仪表图像进行移动，包括：

若所述多个初始字符区域中异常初始字符区域的长度，大于所述分割模板的长度，则根据所述异常初始字符区域在所述仪表图像上的位置，将所述分割模板采用所述单位移动距离，在所述仪表图像内进行移动；所述异常初始字符区域的字符置信度小于所述预设阈值。

第二方面，本申请实施例提供一种仪表图像识别装置，包括：第一分割模块、计算模块、确定模块、第二分割模块及识别模块；

所述第一分割模块，用于对待识别的仪表图像进行预分割，得到多个初始字符区域；

所述计算模块，用于根据预设字符识别模型，对每个初始字符区域进行字符识别，得到所述每个初始字符区域的字符置信度；

所述确定模块，用于根据所述多个初始字符区域中字符置信度，确定分割模板；

所述第二分割模块，用于根据所述分割模板，以及所述多个初始字符区域在所述仪表图像上位置，对所述仪表图像进行再次分割，得到多个目标字符区域；

所述识别模块，用于根据所述预设字符识别模型，对每个所述目标字符区域进行字符识别，得到每个所述目标字符区域的字符识别结果，所述字符识别结果中每个所述目标字符区域的字符置信度大于或等于预设阈值。

可选地，所述确定模块，具体用于比较所述每个初始字符区域的字符置信度，与所述预设阈值；根据比较结果，确定所述分割模板。

可选地，所述第二分割模块，具体用于根据所述多个初始字符区域在所述仪表图像上位置，将所述分割模板采用预设的单位移动距离在所述仪表图像进行移动，以对所述仪表图像进行再次分割，得到所述多个目标字符区域。

本申请的有益效果是：本申请实施例提供的仪表图像识别方法及装置，通过对待识别仪表图像进行预分割，获取多个初始字符区域，根据多个初始字符区域的置信度，确定分割模板，采用分割模板对仪表图像中目标字符位置区域进行再次分割，获取多个目标字符区域，对每个目标字符区域进行字符识别，得到每个目标字符区域的字符识别结果，其中，每个目标字符区域的字符置信度大于或等于预设阈值。通过对待识别仪表图像进行预分割，并根据预分隔之后的每个初始字符区域的字符置信度，确定分隔模板，继而根据分割模板对待识别仪表图像进行再次分割，并对分割结果进行识别，可使得识别得到的每个目标字符区域的字符置信度大于或等于预设阈值字符，提高了仪表图像中字符识别的精确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种仪表图像识别方法流程示意图；

图2为本申请实施例提供的另一种仪表图像识别方法流程示意图；

图3为本申请实施例提供的一种仪表图像识别装置结构示意图；

图4为本申请实施例提供的另一种仪表图像识别装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本申请实施例提供的一种仪表图像识别方法流程示意图，该方法的执行主体可以是仪表图像识别设备，该仪表图像识别设备可以为计算机、服务器、处理器等具备处理功能的设备，如图1所示，方法包括：

s101、对待识别的仪表图像进行预分割，得到多个初始字符区域。

本申请下述各实施例所提供的方法可用于工业控制领域，数字仪表图像中数字的识别进行具体展开，本申请提供的方法可应用于工业控制领域，用以对仪表图像中的字符进行识别。实际应用中，本申请提供的方法所涉及的仪表图像不局限于数字仪表图像，也可以是其他类型的仪表图像。仪表图像例如可以为仪表显示区的图像，该仪表图像中可包括数字、字母、或是文字等至少一种类型的字符。

可选地，上述待识别的仪表图像可以是用户通过摄像机拍摄获取，并上传至仪表图像识别设备，用以进行字符识别，也可以是通过仪表与计算机设备之间的通信功能，将仪表图像传送至计算机设备中，具体对于待识别仪表图像的获取方式本实施例不做具体限制。

在一些实施例中，可以采用基于像素点的图像分割方法，对获取的待识别仪表图像进行预分割，得到多个初始字符区域。其中，每个初始字符区域中可以包括一个或多个完整字符，也可以包括残缺字符，或者不包括任何字符，当初始字符中仅包括一个完整字符时，可以确定该字符区域为正常字符区域，而当初始字符中包括多于或者少于一个完整字符时，其均可以确定该字符区域为异常字符区域。需要说明的是，基于像素点的图像分割，得到的分割结果很容易受图像像素点的干扰，从而导致误分割，分割结果准确性较差。故，还需要对预分割后产生的异常字符区域中包含的字符进行优化分割，以提高识别准确度。而在对待识别仪表图像进行预分割之前，还可以先对待识别图像进行二值化处理，以减少后续图像计算过程的复杂度。

s102、根据预设字符识别模型，对每个初始字符区域进行字符识别，得到每个初始字符区域的字符置信度。

可选地，可以通过采集预设的多个字符样本，训练并获取字符识别模型，利用该字符识别模型，对上述通过预分割获取到的每个初始字符区域中的字符进行识别，获取每个初始字符区域的字符置信度。

在一些实施例中，可以通过将每个初始字符区域中的字符与字符识别模型中训练好的字符进行比对，当初始字符区域中的字符与字符识别模型中字符相似度越高时，其初始字符区域对应的字符置信度也越高。

s103、根据多个初始字符区域中字符置信度，确定分割模板。

可选地，上述得到的多个初始字符区域中不同的初始字符区域的字符置信度可能相同，也可不同，可以根据该多个初始字符区域的字符置信度，确定分割模板。

需要说明的是，本申请实施例以仪表图像中的数字进行字符识别为例进行说明，而通常，采用标准的数字表示形式来表示0-9时，其所占的区域的大小均是相同的。在一些实施例中，可以根据字符置信度最高的初始字符区域确定分割模板，继而利用该分割模板对异常分割字符进行再分割，其分割准确度相对较高。

s104、根据分割模板，以及多个初始字符区域在仪表图像上位置，对仪表图像进行再次分割，得到多个目标字符区域。

在一些实施例中，在对待识别仪表图像进行预分割，得到多个初始字符区域的同时，还可以获取并记录每个初始字符区域的坐标信息，坐标信息用于指示每个初始字符区域在仪表图像中的对应位置。

可以采用上述确定出的分割模板，对仪表图像中目标区域进行再次分割，其中，目标区域可以包括一个或多个。该一个或多个目标区域还可以包括：该仪表图像中多个初始字符区域中的所有或部分字符区域。若为部分字符区域，该一个或多个目标区域例如可以为预分割后得到的多个初始字符区域中字符置信度小于预设阈值的字符区域，即异常字符。

s105、根据预设字符识别模型，对每个目标字符区域进行字符识别，得到每个目标字符区域的字符识别结果，字符识别结果中每个目标字符区域的字符置信度大于或等于预设阈值。

对于基于分隔模板进行再次分割所得到的目标字符区域中的字符，同样需要采用预设的字符识别模型进行识别，计算字符置信度。对于任一目标字符区域中的字符，当计算出的字符置信度大于或等于预设阈值时，则确定其被正确识别，对该目标字符区域的字符识别结束，无需继续进行分隔和识别。其中，预设阈值也即置信度阈值，当计算出的字符置信度低于置信度阈值时，确定字符分割存在误差，还需要继续进行分割并进行字符识别，直到字符置信度大于或等于置信度阈值结束。需要指出的是，后续的分隔可以与上述s104实现类似，后续分隔后的识别可以与上述s105的实现类似，具体参照上述，在此不再赘述。

置信度越大，字符区域被分隔的准确度越大，从而使得字符识别准确度增大。反之，置信度越大，字符区域被分隔的准确度越小，从而使得字符识别准确度减小。

综上，本申请实施提供的仪表图像识别方法，通过对待识别仪表图像进行预分割，获取多个初始字符区域，根据多个初始字符区域的置信度，确定分割模板，采用分割模板对仪表图像中目标字符位置区域进行再次分割，获取多个目标字符区域，对每个目标字符区域进行字符识别，得到每个目标字符区域的字符识别结果，其中，每个目标字符区域的字符置信度大于或等于预设阈值。通过对待识别仪表图像进行预分割，并根据预分隔之后的每个初始字符区域的字符置信度，确定分隔模板，继而根据分割模板对待识别仪表图像进行再次分割，并对分割结果进行识别，可使得识别得到的每个目标字符区域的字符置信度大于或等于预设阈值字符，提高了仪表图像中字符识别的精确度。

图2为本申请实施例提供的另一种仪表图像识别方法流程示意图，进一步地，如图2所示，上述s103中根据多个初始字符区域中字符置信度，确定分割模板，可包括：

s201、比较每个初始字符区域的字符置信度，与预设阈值。

s202、根据比较结果，确定分割模板。

具体地，将上述得到的每个初始字符区域的字符置信度与预设阈值进行比较，根据比较结果，确定分割模板。其中，比较结果可以是字符置信度大于或等于预设阈值，也可以是字符置信度小于预设阈值。

可选地，在一种方式中，上述s202中根据比较结果，确定分割模板，可以包括：

若多个初始字符区域中存在字符置信度大于或等于预设阈值的初始字符区域，则根据多个初始字符区域中字符置信度最高的初始字符区域，确定分割模板。

若上述s202中得到的比较结果中，当存在字符置信度大于或等于预设阈值的初始字符区域时，可以将字符置信度大于预设阈值，且字符置信度最高的初始字符区域作为分割模板。其中，字符置信度最高的初始字符区域中，包含的字符可确定是被正确分割的字符。

可选地，在另一种方式中，上述s202中根据比较结果，确定分割模板，可以包括：

若多个初始字符区域中不存在字符置信度大于或等于预设阈值的初始字符区域，则根据仪表图像的尺寸，确定分割模板。

若上述s202中得到的比较结果中，不存在字符置信度大于或等于预设阈值的初始字符区域时，则可根据待识别仪表图像的尺寸信息，确定分割模板。

可选地，一种可行的方式中，可以根据待识别仪表图像的宽度，确定分割模板。具体地，可以将待识别仪表图像的宽度的一半作为分割模板的长度，将仪表图像的宽度作为分割模板的宽度，如此便可得到分割模板。需要说明的是，上述将仪表图像的宽度的一半作为分割模板的长短仅为一种示例，还可以将小于该仪表图像的宽度的其他尺寸作为分割模板的长短，如1/3、1/4等，在此不再赘述。

当不存在字符置信度大于或等于预设阈值的初始字符区域时，也即经过预分割，并没有正确分割任一字符，故可以通过更小的分割模板，更加细化的对仪表图像进行分割，以使得分割模板的遍历范围更细，从而提高分割准确率。

进一步地，上述s104中根据分割模板，以及多个初始字符区域在仪表图像上位置，对仪表图像进行再次分割，得到多个目标字符区域，可以包括：

根据多个初始字符区域在仪表图像上位置，将分割模板采用预设的单位移动距离在仪表图像进行移动，以对仪表图像进行再次分割，得到多个目标字符区域。

需要说明的是，对于预分割后获取的初始字符区域中，字符置信度小于预设阈值的字符区域，可以根据初始字符区域的坐标信息，确定每个初始字符区域在仪表图像上的位置。

在一些实施例中，初始字符区域的坐标信息可以是初始字符区域右下角点的坐标信息，根据该坐标信息，可以确定该初始字符区域的边框起始位置，进而可以对应在仪表图像中确定该初始字符区域中字符的位置。

进一步地，将上述确定的分割模板，在仪表图像上进行移动，具体地，将分割模板在仪表图像上确定出的多个字符位置处进行移动，以对仪表图像进行再次分割，并得到多个目标字符区域。

进一步地，上述s104中根据多个初始字符区域在仪表图像上位置，将分割模板采用预设的单位移动距离在仪表图像进行移动，可以包括：

若多个初始字符区域中异常初始字符区域的长度，小于分割模板的长度，则以异常初始字符区域在仪表图像上的位置为中心，将分割模板采用单位移动距离，在仪表图像上进行移动；异常初始字符区域的字符置信度小于预设阈值。

需要说明的是，上述对待识别仪表图像预分割后，得到多个初始字符区域，其中，多个初始字符区域中字符置信度小于预设阈值的均可以确定是异常初始字符区域，而异常初始字符区域中可以包括多个未被分割开的字符，例如：59，5和9两个字符未被分割开，或者是包括残缺的一个字符，例如：将7分割到两个初始字符区域中，每个初始字符区域中均只包含7的一部分。

可选地，同样可以计算获取每个异常初始字符区域的尺寸信息，尺寸信息可以包括：异常初始字符区域的长度或是宽度。

假设任意异常初始字符区域的长度为x1，分割模板的长度为x0，当x1小于x0时，则异常初始字符区域中包含的可以是一个字符的部分分割结果，例如，是数字7的左半部分，或者是右半部分，根据该异常初始字符区域的坐标信息，对应获取数字7在仪表图像中的位置，通过该异常初始字符区域的坐标信息确定的仪表图像中的位置只是数字7在仪表图像中的大致位置，并不会确定出完整的数字7的位置，故，还需要采用分割模板，以单位移动距离，在获取的数字7在仪表图像中的位置上，以该位置为中心进行左右移动，并在预设范围内进行左右移动，可选地，可以是向左右移动1/2(x0-x1)，并且，每移动一次，对应计算一次字符置信度，直到字符置信度大于或等于预设阈值，则停止移动，并确定该数字7所在的字符区域被正确分割，即数字7被正确识别。同时，将数字7所在的字符区域从待识别仪表图像包含的字符区域集中删除。

需要说明的是，上述向左右移动1/2(x0-x1)，可以保证遍历到完整的字符，也即可以保证数字7最终可以被准确分割，若左右移动范围小于1/2(x0-x1)，则分割得到的目标字符区域中包含的依然只是数字7的某一部分，这样，计算获取的字符置信度并不能达到预设阈值，从而无法完成正确分割。

进一步地，上述s104中根据多个初始字符区域在仪表图像上位置，将分割模板采用预设的单位移动距离在仪表图像进行移动，可以包括：

若多个初始字符区域中异常初始字符区域的长度，大于分割模板的长度，则根据异常初始字符区域在仪表图像上的位置，将分割模板采用单位移动距离，在仪表图像内进行移动；异常初始字符区域的字符置信度小于预设阈值。

另外，对于x1大于x0的情况，则可以确定异常初始字符区域中包含多于一个字符，也即，可能包含了两个、三个字符等，也可能包含了一个完整字符及另一个字符的一半等。例如：异常初始字符区域包括了59两个字符。

同样的，可以根据该异常初始字符区域的坐标信息，确定其包含的字符在仪表图像上的位置，并将分割模板按照单位移动距离，在对应的位置处进行移动，以进行再次分割。同时，每次移动，也都对应计算一次字符置信度，直到字符置信度大于或等于预设阈值，则确定正确分割。

可选地，对于x1大于x0的情况，因异常初始字符区域中包含了至少一个完整字符，故，还可以将分割模板按照单位移动距离，在该异常初始分割字符上进行移动，以对其中包含的完整字符进行正确分割。

另外，对于x1大于x0的情况，不需要限制分割模板在仪表图像或者是异常初始分割字符上移动的范围，按照单位移动距离进行移动，直到字符置信度大于或等于预设阈值即可。

在一些实施例中，上述的单位移动距离可以是1/10(x0)，根据该单位移动距离，可以使得分割模板移动时遍历范围更加精确，可选地，也可以是1/8(x0)或是1/5(x0)等，本申请实施例对于单位移动距离不做具体限制，只要满足分割模板可以对仪表图像进行精确遍历，保证分割效果即可。

本申请实施例，通过对待识别仪表图像进行预分割，获取多个初始字符区域，根据多个初始字符区域的置信度，确定分割模板，采用分割模板对仪表图像中目标字符位置区域进行再次分割，获取多个目标字符区域，对每个目标字符区域进行字符识别，得到每个目标字符区域的字符识别结果，其中，每个目标字符区域的字符置信度大于或等于预设阈值。通过对待识别仪表图像进行预分割，进一步根据确定的分割模板对待识别仪表图像进行再次分割，并对分割结果进行识别，从而实现了仪表图像的精确识别。

图3为本申请实施例提供的一种仪表图像识别装置结构示意图，如图3所示，装置包括：第一分割模块301、计算模块302、确定模块303、第二分割模块304及识别模块305；

第一分割模块301，用于对待识别的仪表图像进行预分割，得到多个初始字符区域；计算模块302，用于根据预设字符识别模型，对每个初始字符区域进行字符识别，得到每个初始字符区域的字符置信度；确定模块303，用于根据多个初始字符区域的字符置信度，确定分割模板；第二分割模块304，用于根据分割模板，以及多个初始字符区域在仪表图像上位置，对仪表图像进行再次分割，得到多个目标字符区域；识别模块305，用于根据预设字符识别模型，对每个目标字符区域进行字符识别，得到每个目标字符区域的字符识别结果，字符识别结果中每个目标字符区域的字符置信度大于或等于预设阈值。

进一步地，确定模块303，具体用于比较每个初始字符区域的字符置信度，与预设阈值；根据比较结果，确定分割模板。

进一步地，第二分割模块304，具体用于根据多个初始字符区域在仪表图像上位置，将分割模板采用预设的单位移动距离在仪表图像进行移动，以对仪表图像进行再次分割，得到多个目标字符区域。

上述装置可用于执行上述方法实施例提供的方法，具体实现方式和技术效果类似，这里不再赘述。

图4为本申请实施例提供的另一种仪表图像识别装置结构示意图，如图4所示，该装置包括：处理器401和存储器402，其中：存储器402用于存储程序，处理器401调用存储器402存储的程序，以执行上述方法实施例。具体实现方式和技术效果类似，这里不再赘述。

该装置可以集成于终端或服务器等设备，本申请中不作限制。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述方法实施例。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。