一种基于深度学习的单号识别方法、装置及存储介质与流程

1.本发明涉及深度学习技术领域，尤其是涉及一种基于深度学习的单号识别方法、装置及存储介质。


背景技术：

2.随着社会的发展，越来越多的场合需要进行单号识别，例如快递单号的识别，银行卡号的识别等。现有的单号识别方法通常是采用模板匹配的方式进行单号识别，但是模板匹配方式的模型泛化能力较差，应用场景较为局限，导致对单号识别的准确性较低。


技术实现要素：

3.本发明提供了一种基于深度学习的单号识别方法、装置及存储介质，以解决现有的单号识别方法对单号识别的准确性较低的技术问题。
4.本发明的一个实施例提供了一种基于深度学习的单号识别方法，包括：
5.采集初始单号图片集，并制作所述初始单号图片集的分割标签；
6.提取所述初始单号图片集的目标特征，将所述目标特征输入至分割模型中进行训练，分割得到所述初始单号图片集的单号区域；
7.通过对所述单号区域的单号图片进行截取，得到待测单号图片集，并制作所述待测单号图片集的定位标签；
8.根据所述定位标签采用目标检测模型进行训练，得到每一待测单号图片集对应的单号识别结果，将所述单号识别结果进行拼接得到最终单号识别结果。
9.进一步的，所述制作所述初始单号图片集的分割标签，具体为：
10.利用labelme标签工具制作所述初始单号图片集的分割标签。
11.进一步的，所述提取所述初始单号图片集的目标特征，将所述目标特征输入至分割模型中进行训练，分割得到所述初始单号图片集的单号区域，具体为：
12.利用下采样提取所述初始单号图片集的目标特征，将所述目标特征输入至分割模型中，利用上采样将所述目标特征的尺寸恢复至所述初始单号图片集的尺寸，对所述分割模型进行训练，将训练得到的模型参数作为预测模型，对所述目标特征进行图像分割得到单号区域。
13.进一步的，所述通过对所述单号区域的单号图片进行截取，得到待测单号图片集，并制作所述待测单号图片集的定位标签，具体为：
14.截取所述单号区域中的单号图片，得到待测单号图片集，并采用labelimg标签工具制作所述待测单号图片集的定位标签。
15.进一步的，所述根据所述定位标签采用目标检测模型进行训练，包括：
16.采用模型剪枝对所述目标检测模型进行模型压缩。
17.进一步的，所述采集初始单号图片集，还包括：
18.采集所述单号图片集，通过边缘检测算法识别出所述单号图片集中的每一单号图
片的四条边界线，根据四条所述边界线确定所述单号图片的四个边界点，通过对四个所述边界点进行透视变换，对所述单号图片进行位置矫正。
19.本发明的一个实施例提供了一种基于深度学习的单号识别装置，包括：
20.分割标签制作模块，用于采集初始单号图片集，并制作所述初始单号图片集的分割标签；
21.单号区域分割模块，用于提取所述初始单号图片集的目标特征，将所述目标特征输入至分割模型中进行训练，分割得到所述初始单号图片集的单号区域；
22.定位标签制作模块，用于通过对所述单号区域的单号图片进行截取，得到待测单号图片集，并制作所述待测单号图片集的定位标签；
23.单号识别模块，用于根据所述定位标签采用目标检测模型进行训练，得到每一待测单号图片集对应的单号识别结果，将所述单号识别结果进行拼接得到最终单号识别结果。
24.进一步的，所述单号区域分割模块，具体用于：
25.利用下采样提取所述初始单号图片集的目标特征，将所述目标特征输入至分割模型中，利用上采样将所述目标特征的尺寸恢复至所述初始单号图片集的尺寸，对所述分割模型进行训练，将训练得到的模型参数作为预测模型，对所述目标特征进行图像分割得到单号区域。
26.进一步的，所述定位标签制作模块，具体用于：
27.截取所述单号区域中的单号图片，得到待测单号图片集，并采用labelimg标签工具制作所述待测单号图片集的定位标签。
28.本发明的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于深度学习的单号识别方法。
29.本发明实施例采用语义分割模型进行单号区域的分割，通过对单号区域的单号图片进行截取得到待测单号图片集，并进一步采用目标检测模型提取待测单号图片的单号识别结果，通过将所有的单号识别结果拼接得到最终的单号识别结果，适用于多种应用场景下的单号识别，从而能够有效提高单号识别的准确性。
附图说明
30.图1是本发明实施例提供的一种基于深度学习的单号识别方法的流程示意图；
31.图2是本发明实施例提供的一种基于深度学习的单号识别装置的结构示意图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.在本技术的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第
一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
34.在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
35.请参阅图1，本发明的一个实施例提供了一种基于深度学习的单号识别方法，包括：
36.s1、采集初始单号图片集，并制作初始单号图片集的分割标签；
37.本发明实施例可适用于银行卡号的识别，快递单号的识别等。在一个实施例中，利用labelme标签工具制作初始单号图片集的分割标签，labelme标签工具与labelimg标签工具类似，都属于对图像数据集进行标注的软件。本发明实施例采用的labelme标签工具更关心对象的边缘和轮廓细节，通过生成和训练图像对应的mask来实现图像分割的目的。
38.s2、提取初始单号图片集的目标特征，将目标特征输入至分割模型中进行训练，分割得到初始单号图片集的单号区域；
39.在一个具体的实施方式中，在制作得到分割标签后，对单号图片进行随机翻转处理，通过模拟拍摄图片时为止的不同，得到水平翻转或垂直翻转或水平和垂直同时翻转的不同单号图片，从而增加训练的数据量，提高模型的泛化能力。可选地，本发明实施例还可以通过增加噪声数据，以提升模型的鲁棒性。
40.本发明实施例的分割模型为unet分割模型，unet分割模型由一个编码器和和解码器组成，其中编码器用于进行下采样处理，解码器用于进行上采样处理，为了更稳健的学习到图像特征并减少可训练参数的数量，本发明实施例使用一个预训练的模型mobilenetv2作为编码器，在训练时采用cetegforicalcrossentropy(from_logits＝true)作为标准的损失函数。
41.s3、通过对单号区域的单号图片进行截取，得到待测单号图片集，并制作待测单号图片集的定位标签；
42.在本发明实施例中，通过之所待测单号图片集的定位标签，已该标签进行模型训练，进一步得到每一待测单号图片集的单号识别结果。
43.s4、根据定位标签采用目标检测模型进行训练，得到每一待测单号图片集对应的单号识别结果，将单号识别结果进行拼接得到最终单号识别结果。
44.在本发明实施例中，将每一个单号识别结果按照横坐标拼接得到最终的单号。
45.本发明实施例采用语义分割模型进行单号区域的分割，通过对单号区域的单号图片进行截取得到待测单号图片集，并进一步采用目标检测模型提取待测单号图片的单号识别结果，通过将所有的单号识别结果拼接得到最终的单号识别结果，适用于多种应用场景下的单号识别，从而能够有效提高单号识别的准确性。
46.在一个实施例中，制作初始单号图片集的分割标签，具体为：
47.利用labelme标签工具制作初始单号图片集的分割标签。
48.在本发明实施例中，还可以采用labelimg标签工具制作初始单号图片集的分割标
签。
49.在一个实施例中，提取初始单号图片集的目标特征，将目标特征输入至分割模型中进行训练，分割得到初始单号图片集的单号区域，具体为：
50.利用下采样提取初始单号图片集的目标特征，将目标特征输入至分割模型中，利用上采样将目标特征的尺寸恢复至初始单号图片集的尺寸，对分割模型进行训练，将训练得到的模型参数作为预测模型，对目标特征进行图像分割得到单号区域。
51.在一个实施例中，unet分割模型由一个编码器和和解码器组成，其中编码器用于进行下采样处理，解码器用于进行上采样处理。
52.在一个实施例中，通过对单号区域的单号图片进行截取，得到待测单号图片集，并制作待测单号图片集的定位标签，具体为：
53.截取单号区域中的单号图片，得到待测单号图片集，并采用labelimg标签工具制作待测单号图片集的定位标签。
54.在一个实施例中，根据定位标签采用目标检测模型进行训练，包括：
55.采用模型剪枝对目标检测模型进行模型压缩。
56.在本发明实施例中，目标检测模型为yolov4目标检测模型，采用模型剪枝对yolov4目标检测模型进行模型压缩，从而能够加快训练的速度，进一步提高单号识别的效率。
57.在一个实施例中，采集初始单号图片集，还包括：
58.采集单号图片集，通过边缘检测算法识别出单号图片集中的每一单号图片的四条边界线，根据四条边界线确定单号图片的四个边界点，通过对四个边界点进行透视变换，对单号图片进行位置矫正。
59.本发明实施例通过定位单号图片的四个边界点，并对四个边界点进行透视变换，矫正单号图片的位置，能够有效提高对单号图片进行单号识别的准确性。
60.在一个实施例中，将单号识别结果进行拼接得到最终单号识别结果，具体为：
61.将多个单号识别结果按照横坐标拼接成最终单号识别结果。
62.在一个实施例中，设定一个坐标系，将多个单号识别结果按照横坐标拼接成最终的识别结果。
63.实施本发明实施例，具有以下有益效果：
64.本发明实施例采用语义分割模型进行单号区域的分割，通过对单号区域的单号图片进行截取得到待测单号图片集，并进一步采用目标检测模型提取待测单号图片的单号识别结果，通过将所有的单号识别结果拼接得到最终的单号识别结果，适用于多种应用场景下的单号识别，从而能够有效提高单号识别的准确性。
65.进一步的，本发明实施例还能够有效提高单号识别的速度，单张图片单号识别耗时为1.2s，且通过手动标记少量图片即可进行训练，从而能够有效提高单号识别的效率。
66.请参阅图2，基于与上述实施例相同的技术构思，本发明的一个实施例提供了一种基于深度学习的单号识别装置，包括：
67.分割标签制作模块10，用于采集初始单号图片集，并制作初始单号图片集的分割标签；
68.单号区域分割模块20，用于提取初始单号图片集的目标特征，将目标特征输入至
分割模型中进行训练，分割得到初始单号图片集的单号区域；
69.定位标签制作模块30，用于通过对单号区域的单号图片进行截取，得到待测单号图片集，并制作待测单号图片集的定位标签；
70.单号识别模块40，用于根据定位标签采用目标检测模型进行训练，得到每一待测单号图片集对应的单号识别结果，将单号识别结果进行拼接得到最终单号识别结果。
71.在一个实施例中，分割标签制作模块10，具体用于：
72.利用labelme标签工具制作初始单号图片集的分割标签。
73.在一个实施例中，单号识别模块40，还用于：
74.采用模型剪枝对目标检测模型进行模型压缩。
75.在一个实施例中，单号识别模块40，还用于：
76.将多个单号识别结果按照横坐标拼接成最终单号识别结果。
77.在一个实施例中，单号区域分割模块20，具体用于：
78.利用下采样提取初始单号图片集的目标特征，将目标特征输入至分割模型中，利用上采样将目标特征的尺寸恢复至初始单号图片集的尺寸，对分割模型进行训练，将训练得到的模型参数作为预测模型，对目标特征进行图像分割得到单号区域。
79.在一个实施例中，定位标签制作模块30，具体用于：
80.截取单号区域中的单号图片，得到待测单号图片集，并采用labelimg标签工具制作待测单号图片集的定位标签。
81.在一个实施例中，采集初始单号图片集，还包括：
82.采集单号图片集，通过边缘检测算法识别出单号图片集中的每一单号图片的四条边界线，根据四条边界线确定单号图片的四个边界点，通过对四个边界点进行透视变换，对单号图片进行位置矫正。
83.本发明的一个实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如上述的基于深度学习的单号识别方法。
84.以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。