灌装桶标签文字定位识别方法、装置、设备及检测方法与流程

本发明涉及灌装，特别是涉及一种灌装桶标签文字定位识别方法、装置、设备及检测方法。

背景技术：

1、近年来自然场景下的文字定位与识别技术得到了广泛的应用，但是由于工业场景背景复杂、字体多样、成像质量不佳等问题，导致文字定位识别精度低下，应用受限。在灌装技术领域，灌装桶的身份识别、传输、贴标、物流、仓储等工业场景下，都需要对灌装桶铭牌、标签等进行文字定位识别，因其工作环境恶劣，铭牌、标签经常被物料污染、腐蚀，并且铭牌、标签中包含中文、英文、符号和数字等多种字符，使得工业场景下的文字定位和识别具有很大的挑战性。

2、目前现有的文字定位识别软件对英文和数字的识别效果较好，但是对中文的识别准确率低，甚至大部分软件不能识别中文，因此没有办法将该技术应用到工业环境中带有中文文字的识别任务中；另外在工业环境中，灌装桶标签上内容较多，包含文字、特殊的字符和图像，使用市面提供的软件和方法也没有办法识别，因此大部分工业环境下灌装桶的标签还是依赖于人工识别，不但生产效率低，而且随着工人工作时间的增长，识别准确率也会随之下降。

技术实现思路

1、本发明的目的是提出一种灌装桶标签文字定位识别方法、装置、设备及检测方法，解决工业环境下灌装桶标签文字识别效率低、准确率差的问题。

2、为实现上述目的，本发明提供如下技术方案。

3、一方面，本技术提供一种灌装桶标签文字定位识别方法，包括以下步骤：

4、s10，将标签划分为显著特征区域、识别区域和掩膜区域；

5、s20，获取标签图像，识别定位标签图像中的所述显著特征区域，根据所述显著特征区域与所述识别区域和所述掩膜区域固定的相对位置关系，计算出所述识别区域和所述掩膜区域位置，并对所述掩膜区域添加掩膜；

6、s30，对上一步获得的所述识别区域内的文字进行定位，获取文字框的位置坐标；

7、s40，对上一步获得的所述文字框进行文字识别，输出文字识别结果。

8、进一步地，在执行所述步骤s20之前，还包括以下步骤：

9、构建工业场景下标签数据集，并对标签数据集内的标签图像的所述显著特征区域、识别区域和掩膜区域进行标注，使用标注好的工业场景下标签数据集训练神经网络定位模型。

10、进一步地，计算所述识别区域和所述掩膜区域位置的方法为：

11、首先通过所述神经网络定位模型定位所述显著特征区域的位置，得到位置坐标，并计算得到所述显著特征区域的中心点坐标；

12、然后根据标注好的所述识别区域和所述掩膜区域中心点与所述显著特征区域中心点的偏移量，计算出所述识别区域和所述掩膜区域的中心点坐标；

13、最后根据标注好的所述识别区域和所述掩膜区域的宽度和高度，计算得到所述识别区域和所述掩膜区域的位置坐标。

14、进一步地，所述显著特征区域的定位方法为：

15、s21,首先对获取的标签图像行特征提取，对输入图像进行切片操作，在不损失任何信息的情况下增加特征图的维度来缩小特征图的尺寸，使特征图在每个特征信息没有变化的前提下增加图像的特征数；然后对输入信息使用残差结构处理后再进行反向传播，采用四种尺寸的最大池化操作，然后再进行合并操作，增大特征网络的感受野，分离特征信息；

16、s22,经过上述处理得到的特征图，利用上采样的方式自顶向下传达强语义特征，同时使用跨阶段局部网络加强网络的特征融合能力，输出端采用加权非极大值抑制对多个目标框进行筛选，保留最优目标框。

17、进一步地，所述输出端对生成的特征图分别经过卷积操作生成大小为76×76×255、38×38×255、19×19×255的特征图，做为最终的特征图用于预测目标的类别，所述神经网络定位模型使用ciou_loss做为损失函数，，其中，iou代表预测框和真实框的交集面积与并集面积之比，代表预测框的中心点和真实框的中心点的欧式距离，代表预测框和真实框最小外接矩阵的对角线距离，v代表长宽比影响因子， ，gt代表真实框，p代表预测框，w代表宽；h代表高，考虑重叠面积，长宽比和中心点距离，其数值越小，代表预测结果越好。

18、进一步地，所述步骤s30中对上一步获得的所述识别区域内的文字进行定位，获取文字框的位置坐标的方法，具体包括以下步骤：

19、s31,首先对所述步骤s20中添加掩膜后的标签图像进行特征提取，得到四个大小不同的特征图，再将四个特征图采用concat方式进行融合得到最后的特征图；

20、s32,把得到的所述特征图输入到预测网络，得到概率图和阈值图；

21、s33,再将概率图和阈值图自适应二值化得到二值化预测图；

22、s34, 由所述概率图得到文本连通区域，最后利用偏移量将连通区域缩放得到文本区域，再经过后处理画出文本框，得到图像中文本的位置信息。

23、进一步地，所述步骤s40中对上一步获得的所述文字框进行文字识别，输出文字识别结果的方法，具体包括以下步骤：

24、s41,从上一步骤获得的标注所述文本框后的标签图像中提取特征；

25、s42,然后经过循环层预测真实结果的概率，循环层利用两个相连的双向lstm网络层来预测特征序列中每个特征向量的标签分布，输出字符类别数的向量构成后验概率矩阵，然后将其传入转录层，即预测真实结果的概率列表；同时，循环层的误差可以转换成特征序列，反向传播到卷积层；

26、s43,最后通过转录层利用ctc模型来对循环层输出的标签分布转换为最终的识别结果，输出识别内容。

27、另一方面，本技术还提供一种灌装桶标签文字定位识别设备，包括处理器和存储器，所述处理器执行所述存储器中存储的计算机程序时实现上述方法。

28、另一方面，本技术还提供一种灌装桶标签文字定位识别装置，包括：

29、图像获取模块，用于获取待识别标签图像；

30、区域定位模块，用于识别定位标签图像中的所述显著特征区域，根据所述显著特征区域与所述识别区域和所述掩膜区域固定的相对位置关系，计算出所述识别区域和所述掩膜区域位置，并对所述掩膜区域添加掩膜；

31、文字定位模块，用于对所述识别区域内的文字进行定位，获取文字框的位置坐标；

32、文字识别模块，用于对所述文字框进行文字识别，输出文字识别结果。

33、另一方面，本技术还提供一种灌装桶标签文字检测方法，采用的检测系统包括上述的文字定位识别装置，以及上位机和下位机，所述文字定位识别装置同时和所述上位机和所述下位机进行通信，所述检测方法具体包括以下步骤：

34、步骤一，所述文字定位识别装置接收所述上位机发出的指令，对实时获取的标签图像进行文字定位和识别操作，并将识别结果返回给所述上位机；

35、步骤二，所述上位机将识别结果与所述下位机预设的标签信息进行比对，并根据预设的比对规则，所述上位机做出下一步指令。

36、与现有技术相比本发明的有益效果是：

37、本发明提供一种灌装桶标签文字定位识别方法，首先使用事先标注好的工业场景标签数据集训练神经网络定位模型，对输入标签图像的显著区域进行定位，计算得到需要识别区域和不需要识别区域的位置，对不需要识别的区域添加掩膜，减少定位与识别范围，提高文字识别效率；其次使用事先标注好的工业场景标签数据集训练文字定位模型，获取需要识别区域文字框的位置坐标，把定位结果传递给文字识别模块；最后使用事先做好的文字识别数据集训练文字识别模型，对上阶段定位区域内的文字进行识别，输出文字识别结果，完成整个文字定位识别处理，该方法可以提高文字识别效率以及识别结果的准确性。通过获取各种场景下的灌装桶标签图像，构建灌装桶标签数据集，训练文字定位和识别模型，保证算法能够对各种类型的标签中的各种文字进行准确的定位和识别，该方法能够识别英文、数字、中文以及特殊字符。

38、本发明提供一种工业环境下一种灌装桶标签文字检测方法，该方法可以根据实际生产需求，设定标签中需要识别的区域，不同的生产环境、不同类型的标签可以设定不同的识别区域；同时通过和上位机，下位机进行通信，判断桶标签文字是否和预先设定的标签内容一致，上位机根据预设规则发出进一步的指令。减轻车间工人的工作量的同时，能够提高生产效率。