一种基于深度学习的轻量型集装箱编号识别方法

本发明属于集装箱编号检测，具体是涉及一种基于深度学习的轻量型集装箱编号识别方法。

背景技术：

1、传统的集装箱登记都是由起重机工人手动登记它们的编号，不仅效率十分低下而且还会有人身安全的隐患。随着深度学习理论的不断发展和计算机硬件水平的提高，许多基于深度学习的方法广泛应用于集装箱编号识别领域。集装箱编号识别方法一般分为两种，一种是一阶段识别方法，该算法直接在图片上检测到集装箱编号区域并识别结果。另一种是二阶段识别方法，在图片上检测到集装箱编号区域进行定位操作，再提取定位的区域并进行识别。前者识别方法模型简单，只需要设计一种网络,同时完成定位和识别的步骤，但是输入的图片背景占比大，容易受外界因素干扰，并且模型复杂，无法在嵌入式或移动设备上有效运行。后者识别方法通过模板匹配方法进行定位，再通过设计网络完成识别，虽然降低了图片背景的干扰影响，但是模板匹配方法比较耗时且精度不高。yolov4是一个目标识别的深度学习算法，用以识别图片中存在的物体，但是用以集装箱编号的识别存在以下两个问题：运算过程中过多的特征图冗余造成内存过大，不能应用在移动嵌入式设备上；鲁棒性差，在复杂背景中不能有效完成识别任务。

2、cn110321755a的发明告知了一种识别方法及装置，包括获取模块、第一处理模块、第二处理模块，用于解决识别装置对场景文本识别方法的识别效果较差的技术问题；场景文本识别是文本检测与识别中的一个重要方向，在智能车牌识别、港口集装箱编号识别以及基于摄像头的文本翻译等方面有着广泛的应用。但是其无法实现快速高精度地识别集装箱上的编号。

技术实现思路

1、本发明要解决的技术问题是提供一种基于深度学习的轻量型集装箱编号识别方法，用以提供快速高精度地识别集装箱上的编号。

2、为了解决上述技术问题，本发明提供一种基于深度学习的轻量型集装箱编号识别方法，包括采集包含集装箱编号的集装箱图片，将采集的图片的两端增加灰度条调整大小后输入到集装箱编号区域检测模型中进行检测，获得字母类区域图片和数字类区域的图片，将提取出的字母类区域图片输入字母识别网络模型，输出字母回归预测框，并根据预测框的横坐标按照从小到大的顺序打印字母，将提取出的数字类区域图片输入数字识别网络模型，输出数字回归预测框，并根据预测框的横坐标按照从小到大的顺序打印数字；最后根据iso6346(1995)规则，将字母和数字组合起来作为集装箱编号识别的结果；

3、所述集装箱编号区域检测模型、字母识别网络模型和数字识别网络模型均为yolov4-gse网络分别通过训练所得；yolov4–gse基于yolov4网络，采用ghost-enet网络作为主干网络输出13×13特征图和26×26特征图，13×13特征图经过ghost卷积后输入到sppfa模块，sppfa模块的输出经过ghost卷积和eca注意力机制模块处理，获得的13×13特征图输出到fpn网络中；在fpn网络中，将输入的13×13特征图先进行卷积和上采样，再进行eca注意力机制模块操作，同时将输入的26×26特征图经过卷积和eca注意力机制模块操作，然后将二个结果再进行堆叠和ghost卷积操作；最后输出大小为13×13和26×26的yolo检测头。

4、作为本发明的一种基于深度学习的轻量型集装箱编号识别方法的改进：

5、所述ghost-enet网络基于ghostnet网络改进，将ghostnet网络中的bottleneck结构均替换为bottleneck-e结构；bottleneck-e结构为将ghostnet网络中步长为2的bottleneck结构中的se注意力机制替换为eca注意力机制模块。

6、作为本发明的一种基于深度学习的轻量型集装箱编号识别方法的进一步改进：

7、所述sppfa模块基于sppf模块改进，利用空洞卷积代替sppf模块中的最大池化操作。

8、作为本发明的一种基于深度学习的轻量型集装箱编号识别方法的进一步改进：

9、所述集装箱编号区域检测模型的训练过程为：

10、采集一组包含集装箱编号位置的集装箱图片，通过随机平移、旋转和色调变换进行数据增强操作，然后将数据增强操作后的图片通过两端增加灰度条的方法调整大小后随机按9：1的比例分为训练集和测试集；然后将训练集输入至yolov4-gse网络，训练过程采用adam优化器，学习率设置为0.0001，置信度设置为0.5，非极大值抑制设置为0.5，通过损失函数lobject不断更新参数，根据设置的训练次数保留效果最好的模型权重得到训练好的集装箱编号区域检测模型。

11、作为本发明的一种基于深度学习的轻量型集装箱编号识别方法的进一步改进：

12、所述字母识别网络模型的训练过程为：

13、所述训练集和测试集经过集装箱编号区域检测模型的训练过程获得的字母类区域图片进行数据增强操作，包括改变饱和度和随机旋转平移，并对每个图片按图片中的字母进行标注，记为“a”、“b”、“c”……“z”；然后将数据增强操作后的图片随机按9：1的比例分为字母训练集和字母测试集；带有字母训练集输入yolov4-gse网络中，采用adam优化器，学习率设置为0.0001，经过500轮训练后得到字母识别网络模型。

14、作为本发明的一种基于深度学习的轻量型集装箱编号识别方法的进一步改进：

15、所述数字识别网络模型的训练过程为：

16、所述训练集和测试集经过集装箱编号区域检测模型的训练过程获得的数字类区域图片进行数据增强操作，包括改变饱和度和随机旋转平移，并对每个图片按图片中的数字进行标注，记为“0”、“1”、“2”……“9”；然后将数据增强操作后的图片随机按9：1的比例分为数字训练集和数字测试集；带有标注的数字训练集输入yolov4-gse网络中，采用adam优化器，学习率设置为0.0001，经过500轮训练后得到数字识别网络模型。

17、作为本发明的一种基于深度学习的轻量型集装箱编号识别方法的进一步改进：

18、所述损失函数lobject为边界框回归损失、置信度损失和分类损失之和。

19、本发明的有益效果主要体现在：

20、1.采用了二阶段识别方法，先对集装箱编号区域进行定位，只有定位正确的集装箱编号后才能进行接下来的集装箱编号识别，大大降低了漏检，错检的概率。

21、2.在集装箱编号定位识别部分设计了轻量型网络yolov4-gse，合理分配了资源，节省了大量的网络参数，能够有效应用在移动嵌入式设备中。

22、3.将数字与字母分开进行识别，避免了数字与字母中存在相似字符从而导致错误识别情况的发生，例如(“0”和“o”，“1”和“i”，“8”和“b”)。

技术特征：

1.一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：包括采集包含集装箱编号的集装箱图片，将采集的图片的两端增加灰度条调整大小后输入到集装箱编号区域检测模型中进行检测，获得字母类区域图片和数字类区域的图片，将提取出的字母类区域图片输入字母识别网络模型，输出字母回归预测框，并根据预测框的横坐标按照从小到大的顺序打印字母，将提取出的数字类区域图片输入数字识别网络模型，输出数字回归预测框，并根据预测框的横坐标按照从小到大的顺序打印数字；最后根据iso6346(1995)规则，将字母和数字组合起来作为集装箱编号识别的结果；

2.根据权利要求1所述的一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：

3.根据权利要求2所述的一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：

4.根据权利要求3所述的一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：

5.根据权利要求4所述的一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：

6.根据权利要求5所述的一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：

7.根据权利要求6所述的一种基于深度学习的轻量型集装箱编号识别方法，其特征在于：

技术总结
本发明涉及集装箱编号检测技术领域，公开了一种基于深度学习的轻量型集装箱编号识别方法，采集包含集装箱编号的集装箱图片，将采集的图片的两端增加灰度条调整大小后输入到集装箱编号区域检测模型中获得字母类区域图片和数字类区域的图片，将提取出的字母类区域图片输入字母识别网络模型，按输出的字母回归预测框横坐标顺序打印字母，将提取出的数字类区域图片输入数字识别网络模型，按输出数字回归预测框横坐标顺序打印数字；最后根据ISO6346(1995)规则，将字母和数字组合起来作为集装箱编号识别的结果。本发明采用轻量型网络YOLOv4‑GSE，合理分配了资源，节省了大量的网络参数，能够应用在移动嵌入式设备中。

技术研发人员：刘涛,武宪青,李芳
受保护的技术使用者：浙江理工大学
技术研发日：
技术公布日：2024/3/12