一种基于深度学习的高温板坯ID字符识别方法和系统与流程

本发明涉及钢坯制造、深度学习和字符识别，更具体地，涉及一种基于深度学习的高温板坯id字符识别方法和系统。

背景技术：

1、板坯库是钢铁企业连铸-热轧生产工序间的缓冲环节，起着承上启下的关键作用，其管理自动化水平的高低，直接影响着连铸-热轧的生产连续性和一体化生产的成本。目前，库存优化是板坯库管理中存在的主要问题，其中关键的物流步骤是板坯入库、出库和倒垛，对板坯库从入库到出库的跟踪、调度与管理从而实现对整个板坯库的无人化管理逐渐成为一种趋势。

2、在板坯生产过程中，每个板坯对应一个id字符，用于表示其生产批次、尺寸、型号等相关信息。板坯id能够方便检测人员进行质量检查，通过id字符的识别来实现产品质量的跟踪和管理。

3、板坯库实现无人化管理的首要前提是实现高精度的高温板坯id字符识别，然而由于板坯的温度较高，id字符易发生形变，且实际拍摄的板坯id图像和背景图像随产品的变化、批次的变化和环境的变化差异巨大；同时，拍摄的图片存在亮度太暗、字迹模糊和字迹缺失等问题，进一步加大了id字符识别的困难，容易识别错误。因此，亟需开发一种用于高温板坯id字符识别的高精度、高稳定性的方案。

4、现有技术中公开了一种板坯号自动识别方法，包括以下步骤：步骤一，图像预处理；步骤二，板坯号区域截取与透视变换；步骤三，图像灰度处理；步骤四，二值化处理；步骤五，数字符号切割；步骤六，字符标准化；步骤七，相似度计算和字符识别；步骤八，判定板坯号是否有误；该现有技术中的方法仅通过计算板坯id与预设模板之间的相似度来进行字符识别，由于模板有限，因此对于id图像复杂多变的高温板坯则具有一定的局限性，泛用性较低；另外，该方法并未引入神经网络模型，检测精度和自动化程度也较低，无法满足板坯库无人化管理的要求。

5、现有技术中还公开了一种钢卷标号识别方法及系统，包括步骤：s01、实时检测钢卷是否出现；当检测到钢卷时，截取钢卷图像；s02、检测钢卷图像中的钢卷边缘，然后计算钢卷图形的梯度，得到钢卷圆周线，最终提取钢卷圆心；s03、基于深度学习的语义分割模型和钢卷圆心，对钢卷不同位置上的标号字符进行定位和方位调整；s04、基于端到端神经网络模型，对方位调整好的钢卷标号字符进行识别；尽管该现有技术中的识别方法能够识别易形变、长宽比不统一等id字符，但其仅通过单一模型进行字符识别，缺少有效的监督策略，鲁棒性较差，且模型需要大量数据进行训练，识别效率较低。

技术实现思路

1、本发明为克服上述现有技术在识别高温板坯id时存在识别精度和效率较低、鲁棒性和稳定性较差的缺陷，提供一种基于深度学习的高温板坯id字符识别方法和系统，能够有效提升id字符识别的效率、准确率和稳定性。

2、为解决上述技术问题，本发明的技术方案如下：

3、一种基于深度学习的高温板坯id字符识别方法，包括以下步骤：

4、s1：获取板坯图像数据集；

5、所述板坯图像数据集包括若干张带有板坯id字符的板坯图像；

6、s2：建立板坯id字符识别模型，包括依次连接的ocr文本检测模型、ocr方向分类器和ocr文本识别模型；

7、s3：将板坯图像数据集输入所述ocr文本检测模型中进行id文本区域检测和互学习优化训练，获取id文本区域数据集，以及最优的ocr文本检测模型；

8、所述id文本区域数据集包括若干张id文本区域图像，id文本区域图像与所述板坯图像一一对应；

9、s4：将获取到的id文本区域数据集输入所述ocr方向分类器中进行id文本区域的方向旋转调整和训练，获取方向调整后的id文本区域数据集，以及最优的ocr方向分类器；

10、s5：将方向调整后的id文本区域数据集输入所述ocr文本识别模型中进行id文本识别和联合互学习优化训练，获取最优的ocr文本识别模型；

11、将所述最优的ocr文本检测模型、最优的ocr方向分类器和最优的ocr文本识别模型共同保存为最优的板坯id字符识别模型；

12、s6：在高温板坯生产过程中，利用工业相机拍摄带有板坯id字符的待识别板坯图像；将待识别板坯图像输入最优的板坯id字符识别模型中进行id检测和识别，获取板坯id字符识别结果，完成高温板坯的id字符识别。

13、优选地，所述步骤s1中，获取板坯图像数据集的具体方法为：

14、利用训练好的yolov5神经网络模型生成初始板坯图像数据集，并对初始板坯图像数据集依次进行二值化处理、灰度处理、尺寸裁剪和随机旋转操作，获取所述板坯图像数据集。

15、优选地，所述步骤s2中的ocr文本检测模型具体为：

16、所述ocr文本检测模型包括：教师网络，以及结构相同且并列设置的第一学生网络和第二学生网络；

17、所述教师网络的结构包括依次连接的：第一输入层、resnet子网络、lk-pan子网络和第一输出层；

18、所述resnet子网络包括依次连接的：第一残差卷积块、第二残差卷积块、第三残差卷积块、第四残差卷积块和第五残差卷积块；

19、所述lk-pan子网络包括：卷积层1、卷积层2、卷积层3、卷积层4、卷积层5、卷积层6、卷积层7、卷积层8、卷积层9、卷积层10、卷积层11、卷积层12、卷积层13、卷积层14、卷积层15和第一全连接层；所述卷积层1～4参数相同，卷积层5～12参数相同，卷积层13～15参数相同；

20、所述lk-pan子网络包括并列设置的支路1、支路2、支路3和支路4，支路1具体为依次连接的卷积层1、卷积层5和卷积层9；支路2具体为依次连接的卷积层2、卷积层6和卷积层10；支路3具体为依次连接的卷积层3、卷积层7和卷积层11；支路4具体为依次连接的卷积层4、卷积层8和卷积层12；卷积层9～12的输出端分别连接第一全连接层的输入端，第一全连接层的输出端连接教师网络的第一输出层；

21、所述卷积层2的输出还上采样至卷积层5的输入，卷积层3的输出还上采样至卷积层6的输入，卷积层4的输出还上采样至卷积层7的输入；

22、所述卷积层5的输出还经卷积层13下采样至卷积层10的输入，卷积层6的输出还经卷积层14下采样至卷积层11的输入，卷积层7的输出还经卷积层15下采样至卷积层12的输入；

23、每个所述学生网络的结构均包括依次连接的：第二输入层、mobilenet子网络、rse-fpn子网络和第二输出层；

24、所述mobilenet子网络包括依次连接的：卷积层16、第一批归一化层、第一h-swish激活层、bneck通道注意力卷积模块、第一全局平均池化层、第一fc层、第二批归一化层、第二h-swish激活层、第二fc层和第二全连接层；

25、所述rse-fpn子网络包括：rse卷积层1、rse卷积层2、rse卷积层3、rse卷积层4、rse卷积层5、rse卷积层6、rse卷积层7、rse卷积层8和第三全连接层；rse卷积层1～8的结构和参数相同；

26、所述rse-fpn子网络包括并列设置的支路5、支路6、支路7和支路8，支路5具体为依次连接的rse卷积层1和rse卷积层5，支路6具体为依次连接的rse卷积层2和rse卷积层6，支路7具体为依次连接的rse卷积层3和rse卷积层7，支路8具体为依次连接的rse卷积层4和rse卷积层8，rse卷积层4～8的输出端分别连接第三全连接层的输入端，第三全连接层的输出端连接对应的学生网络的第二输出层；

27、所述rse卷积层2的输出还上采样至rse卷积层5的输入，rse卷积层3的输出还上采样至rse卷积层6的输入，rse卷积层4的输出还上采样至rse卷积层7的输入；

28、所述上采样均为2倍上采样；

29、每个所述rse卷积层的结构均包括依次连接的第三输入层、se激励块和第三输出层；

30、所述se激励块包括依次连接的第二全局平均池化层、se卷积层1、relu激活层、se卷积层2和hardsigmoid激活层；se卷积层1和se卷积层2的参数相同；第二全局平均池化层的输入还与hardsigmoid激活层的输出进行加权相乘操作，将加权相乘结果作为se激励块的输出；

31、所述第三输入层的输出还与se激励块的输出构成残差加和连接。

32、优选地，所述ocr文本检测模型中还设置有gt损失函数和蒸馏损失函数。

33、优选地，所述教师网络中的resnet子网络具体为resnet50神经网络；

34、每个所述学生网络中的mobilenet子网络具体为mobilenet v3神经网络。

35、优选地，所述lk-pan子网络中，卷积层1～4的大小均为1×1，卷积层5～12的大小均为9×9，卷积层5～12的大小均为3×3。

36、优选地，所述步骤s3中对ocr文本检测模型进行互学习优化训练的具体方法为：

37、s3.1：获取2个所述教师网络，利用dml深度互学习策略对获取到的2个教师网络进行蒸馏学习训练，获取2个训练好的教师网络；

38、s3.2：将板坯图像数据集分别输入ocr文本检测模型中的第一学生网络和第二学生网络，将任意一个训练好的教师网络作为ocr文本检测模型中的教师网络，对第一学生网络和第二学生网络进行监督和互学习训练，并计算gt损失函数和蒸馏损失函数，获取gt损失值和蒸馏损失值；

39、s3.3：判断gt损失值和蒸馏损失值是否满足预设条件，若不满足，则重复步骤s3.1～s3.2；若满足，则获取最优的ocr文本检测模型，完成ocr文本检测模型的互学习优化训练。

40、优选地，所述步骤s2中的ocr文本识别模型具体为：

41、所述ocr文本识别模型包括依次连接的：第四输入层、pp-lcnet网络、卷积层17、第三全局平均池化层、svtr全局混合块、第四全连接层和第四输出层；

42、所述pp-lcnet网络包括依次连接的：卷积层17、depthsep卷积层1、depthsep卷积层2、depthsep卷积层3、depthsep卷积层4、depthsep卷积层5、depthsep卷积层6、depthsep卷积层7、depthsep卷积层8、depthsep卷积层9、depthsep卷积层10、depthsep卷积层11、depthsep卷积层12、depthsep卷积层13、gap层和第五全连接层；

43、所述svtr全局混合块包括依次连接的：第一ln层、混合层、第二ln层、多层感知器mlp层；

44、所述第一ln层的输入还与混合层的输出构成残差连接，第二ln层的输入还与多层感知器mlp层的输出构成残差连接。

45、优选地，所述步骤s5中对ocr文本识别模型进行联合互学习优化训练的具体方法为：

46、s5.1：利用textconaug策略对方向调整后的id文本区域数据集进行数据增广，获取增广训练数据集；

47、s5.2：获取2个所述ocr文本识别模型，并利用自监督的预训练模型textrotnet对2个ocr文本识别模型进行参数初始化，获取2个初始化后的ocr文本识别模型；

48、s5.3：将增广训练数据集分别输入2个初始化后的ocr文本识别模型，对于2个初始化后的ocr文本识别模型分别进行注意力机制引导ctc训练，获取2个ctc训练后的ocr文本识别模型；

49、s5.4：利用udml联合深度互学习策略对2个ctc训练后的ocr文本识别模型进行联合互学习优化训练，并利用预设的特征蒸馏损失函数、svtr互学习损失函数和注意力互学习损失函数分别计算特征蒸馏损失值、svtr互学习损失值和注意力互学习损失值；

50、s5.5：判断特征蒸馏损失值、svtr互学习损失值和注意力互学习损失值是否满足预设条件，若不满足，则重复步骤s5.2～s5.4；若满足，则获取最优的ocr文本识别模型，完成ocr文本识别模型的联合互学习优化训练。

51、本发明还提供一种基于深度学习的高温板坯id字符识别系统，应用上述的一种基于深度学习的高温板坯id字符识别方法，包括：

52、数据集获取单元：用于获取板坯图像数据集；

53、所述板坯图像数据集包括若干张带有板坯id字符的板坯图像；

54、模型构建单元：用于建立板坯id字符识别模型，包括依次连接的ocr文本检测模型、ocr方向分类器和ocr文本识别模型；

55、文本检测训练单元：用于将板坯图像数据集输入所述ocr文本检测模型中进行id文本区域检测和互学习优化训练，获取id文本区域数据集，以及最优的ocr文本检测模型；

56、所述id文本区域数据集包括若干张id文本区域图像，id文本区域图像与所述板坯图像一一对应；

57、方向分类训练单元：用于将获取到的id文本区域数据集输入所述ocr方向分类器中进行id文本区域的方向旋转调整和训练，获取方向调整后的id文本区域数据集，以及最优的ocr方向分类器；

58、文本识别训练单元：用于将方向调整后的id文本区域数据集输入所述ocr文本识别模型中进行id文本识别和联合互学习优化训练，获取最优的ocr文本识别模型；

59、将所述最优的ocr文本检测模型、最优的ocr方向分类器和最优的ocr文本识别模型共同保存为最优的板坯id字符识别模型；

60、板坯id字符识别单元：用于在高温板坯生产过程中，利用工业相机拍摄带有板坯id字符的待识别板坯图像；将待识别板坯图像输入最优的板坯id字符识别模型中进行id检测和识别，获取板坯id字符识别结果，完成高温板坯的id字符识别。

61、与现有技术相比，本发明技术方案的有益效果是：

62、本发明提供一种基于深度学习的高温板坯id字符识别方法和系统，首先获取板坯图像数据集；建立板坯id字符识别模型，包括依次连接的ocr文本检测模型、ocr方向分类器和ocr文本识别模型；将板坯图像数据集输入所述ocr文本检测模型中进行id文本区域检测和互学习优化训练，获取id文本区域数据集，以及最优的ocr文本检测模型；将获取到的id文本区域数据集输入所述ocr方向分类器中进行id文本区域的方向旋转调整和训练，获取方向调整后的id文本区域数据集，以及最优的ocr方向分类器；将方向调整后的id文本区域数据集输入所述ocr文本识别模型中进行id文本识别和联合互学习优化训练，获取最优的ocr文本识别模型；将所述最优的ocr文本检测模型、最优的ocr方向分类器和最优的ocr文本识别模型共同保存为最优的板坯id字符识别模型；最后在高温板坯生产过程中，利用工业相机拍摄带有板坯id字符的待识别板坯图像；将待识别板坯图像输入最优的板坯id字符识别模型中进行id检测和识别，获取板坯id字符识别结果，完成高温板坯的id字符识别；

63、本发明通过建立板坯id字符识别模型，并对其检测模型和识别模型进行优化，在训练时引入深度互学习等策略进行训练，能够有效提升id字符识别的效率、准确率和稳定性；其中，检测模型基于db算法进行优化，教师网络中引入的lk-pan子网络具有更大的感受野，更容易检测大字体的文字以及极端长宽比的文字，并结合dml的预训练策略进一步提高检测精度；学生网络中的rse-fpn子网络引入残差结构和通道注意力结构，能够有效提高特征的检测精度；在识别模型中引入了文本识别算法svtr，先利用textconaug进行数据增广，接着利用textrotnet进行自监督预训练，最后引入gtc和udml联合互学习策略进行互学习优化训练，能够有效提高模型的识别准确性和稳定性。