破损包裹检测方法、装置、计算机设备及存储介质与流程

1.本技术涉及通信技术领域，具体涉及一种破损包裹检测方法、装置、计算机设备及存储介质。


背景技术：

2.近年来，我国的物流行业取得了飞速的发展，企业之间的竞争愈加激烈，大众对于物流品质的需求也愈加严格。而包裹在运输过程中的发生的破损，是造成客户满意度下降乃至发起投诉的重要原因，如果能够在包裹中转过程中就能自动监控包裹的外包装是否破损，对于提升物流品质，降低理赔成本具有重要的意义。因此包裹的外包装破损检测问题，对于整个行业的降本增效具有极大的市场价值。
3.破损检测属于目标检测领域，相比于传统的目标检测，包裹外包装的破损的模式未知繁杂，很难学习；包裹的外包装体积和图案复杂多样，容易误检，且生产场景对于模型的检测速度和资源占用有较高要求，因此，当前包裹外包装破损检测很困难，检测效率较低。


技术实现要素：

4.本技术实施例提供一种破损包裹检测方法、装置、计算机设备及存储介质，通过不同模型不同检测功能的细致划分，不同网络模型进行不同方向的检测，有效提高了包裹检测的效率和准确率，能够适应复杂的物流生产场景。
5.一方面，本技术提供一种破损包裹检测方法，所述破损包裹检测方法包括：
6.获取包裹运输过程中的包裹图像；
7.通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；
8.通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；
9.若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；
10.其中，所述第一网络模型、所述第二网络模型和所述第三网络模型组成三级级联网络模型。
11.在本技术一些实施方式中，在所述通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像之前，所述方法还包括：
12.采集包裹样本图像，得到包裹样本图像集；
13.根据预设的增强比例，确定所述包裹样本图像集中需要进行图像增强的第一图像数量；
14.在所述包裹样本图像集中选取所述第一图像数量的图像，作为待增强图像；
15.对所述待增强图像进行图像增强，得到增强后的包裹样本图像集；
16.基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型。
17.在本技术一些实施方式中，所述对所述待增强图像进行图像增强，得到增强后的包裹样本图像集，包括：
18.分别以所述包裹样本图像集中的每一张包裹样本图像为目标包裹样本图像；
19.判断所述目标包裹样本图是否为待增强图像；
20.若是，对所述目标包裹样本图像进行增强，得到增强后的目标包裹样本图像；
21.在所述包裹样本图像集中所有待增强图像完成图像增强后，得到所述增强后的包裹样本图像集。
22.在本技术一些实施方式中，所述对所述目标包裹样本图像进行增强，得到增强后的目标包裹样本图像，包括：
23.对所述目标包裹样本图像按预设尺寸进行裁剪，得到裁剪后图像；
24.将所述裁剪后图像的尺寸恢复到所述目标包裹样本图像的尺寸，得到恢复图像；
25.对所述恢复图像进行对比度处理，得到第一对比度处理图像；
26.对所述第一对比度处理图像进行明亮度处理，得到第一明亮度处理图像；
27.对所述第一明亮度处理图像进行高斯噪声处理，得到所述增强后的目标包裹样本图像。
28.在本技术一些实施方式中，所述在所述包裹样本图像集中选取所述第一图像数量的图像，作为待增强图像之后，所述方法还包括：
29.根据预设的裁剪比例，确定所述待增强图像中需要进行裁剪的第二图像数量；
30.根据预设的对比度处理比例，确定所述待增强图像中需要进行对比度处理的第三图像数量；
31.根据预设的明亮度处理比例和所述第三图像数量，确定对比度处理后的图像中需要进行明亮度处理的第四图像数量；
32.根据预设的高斯噪声处理比例和所述第三图像数量，确定明亮度处理后的图像中需要进行高斯噪声处理的第五图像数量。
33.在本技术一些实施方式中，所述对所述待增强图像进行图像增强，得到增强后的包裹样本图像集，包括：
34.在所述待增强图像中选取所述第二图像数量的图像分别进行裁剪，得到裁剪图像，并将裁剪图像恢复到裁剪前的尺寸，得到裁剪后图像集；
35.在所述裁剪后图像集中选取所述第三图像数量的图像进行对比度处理，得到第二对比度处理图；
36.在所述第二对比度处理图中选取所述第四图像数量的图像进行明亮度处理，得到第二明亮度处理图；
37.在所述第二明亮度处理图中选取所述第五图像数量的图像进行高斯噪声处理，得到增强后的包裹样本图像集。
38.在本技术一些实施方式中，在所述基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型之前，所述方法还包括：
39.获取未训练的ssd模型；
40.将所述ssd模型中的vgg骨干网络替换为预设的第一轻量化网络，得到所述第一初始网络模型；
41.将所述ssd模型中的vgg骨干网络替换为预设的第二轻量化网络，得到所述第二初始网络模型；
42.将预训练的resnet网络模型作为所述第三初始网络模型；
43.将所述第一初始网络模型、所述第二初始网络模型和所述第三初始网络模型进行依次级联，得到初始三级级联网络模型。
44.在本技术一些实施方式中，所述基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型，包括：
45.将所述增强后的包裹样本图像集输入所述初始三级级联网络模型进行训练，得到训练后的三级级联网络模型；
46.对所述训练后的三级级联网络模型进行轻量化处理，得到由所述第一网络模型、所述第二网络模型和所述第三网络模型组成的三级级联网络模型。
47.另一方面，本技术提供一种破损包裹检测装置，所述破损包裹检测装置包括：
48.获取模块，用于获取包裹运输过程中的包裹图像；
49.提取模块，用于通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；
50.破损检测模块，用于通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；
51.破损类型分类模块，用于若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；
52.其中，所述第一网络模型、所述第二网络模型和所述第三网络模型组成三级级联网络模型。
53.在本技术一些实施方式中，所述装置还包括训练模块，所述训练模块用于：
54.在所述通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像之前，采集包裹样本图像，得到包裹样本图像集；
55.根据预设的增强比例，确定所述包裹样本图像集中需要进行图像增强的第一图像数量；
56.在所述包裹样本图像集中选取所述第一图像数量的图像，作为待增强图像；
57.对所述待增强图像进行图像增强，得到增强后的包裹样本图像集；
58.基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型。
59.在本技术一些实施方式中，所述训练模块具体用于：
60.分别以所述包裹样本图像集中的每一张包裹样本图像为目标包裹样本图像；
61.判断所述目标包裹样本图是否为待增强图像；
62.若是，对所述目标包裹样本图像进行增强，得到增强后的目标包裹样本图像；
63.在所述包裹样本图像集中所有待增强图像完成图像增强后，得到所述增强后的包
裹样本图像集。
64.在本技术一些实施方式中，所述训练模块具体用于：
65.对所述目标包裹样本图像按预设尺寸进行裁剪，得到裁剪后图像；
66.将所述裁剪后图像的尺寸恢复到所述目标包裹样本图像的尺寸，得到恢复图像；
67.对所述恢复图像进行对比度处理，得到第一对比度处理图像；
68.对所述第一对比度处理图像进行明亮度处理，得到第一明亮度处理图像；
69.对所述第一明亮度处理图像进行高斯噪声处理，得到所述增强后的目标包裹样本图像。
70.在本技术一些实施方式中，所述训练模块具体用于：
71.在所述包裹样本图像集中选取所述图像数量的图像，作为待增强图像之后，根据预设的裁剪比例，确定所述待增强图像中需要进行裁剪的第二图像数量；
72.根据预设的对比度处理比例，确定所述待增强图像中需要进行对比度处理的第三图像数量；
73.根据预设的明亮度处理比例和所述第三图像数量，确定对比度处理后的图像中需要进行明亮度处理的第四图像数量；
74.根据预设的高斯噪声处理比例和所述第三图像数量，确定明亮度处理后的图像中需要进行高斯噪声处理的第五图像数量。
75.在本技术一些实施方式中，所述训练模块具体用于：
76.在所述待增强图像中选取所述第二图像数量的图像分别进行裁剪，得到裁剪图像，并将裁剪图像恢复到裁剪前的尺寸，得到裁剪后图像集；
77.在所述裁剪后图像集中选取所述第三图像数量的图像进行对比度处理，得到第二对比度处理图；
78.在所述第二对比度处理图中选取所述第四图像数量的图像进行明亮度处理，得到第二明亮度处理图；
79.在所述第二明亮度处理图中选取所述第五图像数量的图像进行高斯噪声处理，得到增强后的包裹样本图像集。
80.在本技术一些实施方式中，所述装置还包括模型调整模块，所述模型调整模块用于：
81.在所述基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型之前，获取未训练的ssd模型；
82.将所述ssd模型中的vgg骨干网络替换为预设的第一轻量化网络，得到所述第一初始网络模型；
83.将所述ssd模型中的vgg骨干网络替换为预设的第二轻量化网络，得到所述第二初始网络模型；
84.将预训练的resnet网络模型作为所述第三初始网络模型；
85.将所述第一初始网络模型、所述第二初始网络模型和所述第三初始网络模型进行依次级联，得到初始三级级联网络模型。
86.在本技术一些实施方式中，所述训练模块具体用于：
87.将所述增强后的包裹样本图像集输入所述初始三级级联网络模型进行训练，得到训练后的三级级联网络模型；
88.对所述训练后的三级级联网络模型进行轻量化处理，得到由所述第一网络模型、所述第二网络模型和所述第三网络模型组成的三级级联网络模型。
89.另一方面，本技术还提供一种计算机设备，所述计算机设备包括：
90.一个或多个处理器；
91.存储器；以及
92.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现任一项所述的破损包裹检测方法。
93.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行任一项所述的破损包裹检测方法中的步骤。
94.本技术提供的破损包裹检测方法通过获取包裹运输过程中的包裹图像；通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型。本技术在现有技术包裹外包装破损检测很困难，检测效率较低的基础上，通过三级级联网络分别进行包裹区域检测、破损目标检测和破损类型分类，通过不同模型不同检测功能的细致划分，不同网络模型进行不同方向的检测，有效提高了包裹检测的效率和准确率，能够适应复杂的物流生产场景。
附图说明
95.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
96.图1是本技术实施例提供的破损包裹检测系统的场景示意图；
97.图2是本技术实施例中提供的破损包裹检测方法的一个实施例流程示意图；
98.图3是本技术实施例中在图2所示实施例基础上，破损包裹检测方法的另一个实施例流程示意图；
99.图4是本技术实施例中提供的破损包裹检测装置的一个实施例结构示意图；
100.图5是本技术实施例中提供的计算机设备的一个实施例结构示意图。
具体实施方式
101.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
102.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示
的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
103.在本技术中，“示例性”一词用来表示“用作例子、例证或说明”。本技术中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本技术的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术所公开的原理和特征的最广范围相一致。
104.需要说明的是，本技术实施例方法由于是在计算机设备中执行，各计算机设备的处理对象均以数据或信息的形式存在，例如时间，实质为时间信息，可以理解的是，后续实施例中若提及尺寸、数量、位置等，均为对应的数据存在，以便计算机设备进行处理，具体此处不作赘述。
105.本技术实施例提供一种破损包裹检测方法、装置、计算机设备及存储介质，以下分别进行详细说明。
106.请参阅图1，图1为本技术实施例所提供的破损包裹检测系统的场景示意图，该破损包裹检测系统可以包括计算机设备100，计算机设备100中集成有破损包裹检测装置，如图1中的计算机设备。
107.本技术实施例中计算机设备100主要用于获取包裹运输过程中的包裹图像；通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；其中，所述第一网络模型、所述第二网络模型和所述第三网络模型组成三级级联网络模型。
108.本技术实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本技术实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(cloud computing)的大量计算机或网络服务器构成。
109.可以理解的是，本技术实施例中所使用的计算机设备100可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的计算机设备100具体可以是台式计算机设备或移动计算机设备，计算机设备100具体还可以是手机、平板电脑、笔记本电脑等中的一种。
110.本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本技术方案一种应用场景，并不构成对本技术方案应用场景的限定，其他的应用环境还可以包括比图1中所示更
多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该破损包裹检测系统还可以包括一个或多个其他计算机设备，具体此处不作限定。
111.另外，如图1所示，该破损包裹检测系统还可以包括存储器200，用于存储数据，如存储物流数据，例如采集的包裹图像，包裹类型信息等。
112.需要说明的是，图1所示的破损包裹检测系统的场景示意图仅仅是一个示例，本技术实施例描述的破损包裹检测系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着破损包裹检测系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
113.首先，本技术实施例中提供一种破损包裹检测方法，该破损包裹检测方法的执行主体为破损包裹检测装置，该破损包裹检测装置应用于计算机设备，该破损包裹检测方法包括：获取包裹运输过程中的包裹图像；通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；其中，所述第一网络模型、所述第二网络模型和所述第三网络模型组成三级级联网络模型。
114.如图2所示，为本技术实施例中破损包裹检测方法的一个实施例流程示意图，该破损包裹检测方法包括如下步骤201～步骤204，具体如下：
115.201、获取包裹运输过程中的包裹图像。
116.本技术实施例中，包裹运输过程中的包裹图像可以包括包裹从运输起点到运输终点整个运输过程中各个环节拍摄的图像，例如包裹运输过程中包裹在物流网点进行分拣时，在传输装置(如传送带等)上拍摄的包裹图像，或者包裹在装车或者卸车时拍摄的包裹图像，具体此处不作限定。
117.另外，获取包裹运输过程中的包裹图像的方式可以是通过物流网点设置的拍摄装置(如工业相机)采集的，例如在物流网点的传输装置对应设置有工业相机，拍摄在传输装置上的包裹图像，得到包裹运输过程中的包裹图像。获取包裹运输过程中的包裹图像的方式还可以是物流人员(如快递员，分拣员等)通过手持物流终端采集包裹图像。
118.202、通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像。
119.203、通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损。
120.204、若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型。
121.本技术实施例中，包裹破损类型可以按严重程度进行分类，分为四类：穿透性破损、裂痕破损、人工打孔、误检等，可以理解的是，在实际应用中，可以结合具体应用场景进行分类，例如可以分出更多或更少的包裹破损类型，具体此处不作限定。
122.其中，所述第一网络模型、所述第二网络模型和所述第三网络模型组成三级级联网络模型。所述第一网络模型、所述第二网络模型和所述第三网络模型可以为不同类型的网络模型，例如第一网络模型为目标检测网络(single shot multibox detector，ssd)模
型，所述第二网络模型为googlenet模型，所述第三网络模型为resnet模型等，可以理解的是，在本技术其他一些实施例中，所述第一网络模型、所述第二网络模型和所述第三网络模型也可以是同类型的网络模型，但是经过不同训练数据训练的网络模型，例如，所述第一网络模型、所述第二网络模型均为ssd网络模型。
123.进一步的，所述第一网络模型、所述第二网络模型可以是同样结构的ssd网络模型，也可以是不同结构的ssd网络模型，第三网络模型与第一网络模型、第二网络模型不同，例如第三网络模型可以是resnet网络模型，例如resnet101网络模型。
124.本技术实施例中提供的破损包裹检测方法通过获取包裹运输过程中的包裹图像；通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型。本技术在现有技术包裹外包装破损检测很困难，检测效率较低的基础上，通过三级级联网络分别进行包裹区域检测、破损目标检测和破损类型分类，通过不同模型不同检测功能的细致划分，不同网络模型进行不同方向的检测，有效提高了包裹检测的效率和准确率，能够适应复杂的物流生产场景。
125.本技术实施例中，在使用第一网络模型、第二网络模型和第三网络模型之前，会预先训练得到第一网络模型、第二网络模型和第三网络模型，具体的，如图3所示，在本技术一些实施方式中，在所述通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像之前，所述方法还包括如下步骤301～304，具体如下：
126.301、采集包裹样本图像，得到包裹样本图像集。
127.本技术实施例中，采集包裹样本图像的方式与获取包裹运输过程中的包裹图像的方式类似，包裹样本图像也可以是一些包裹在包裹运输过程中的拍摄的图像，具体此处不作限定。
128.302、根据预设的增强比例，确定所述包裹样本图像集中需要进行图像增强的第一图像数量。
129.其中，预设的增强比例可以是根据实际需求预先确定的，例如，针对物流领域的典型场景，设定50％的增强比例，即在包裹样本图像集中选取50％的包裹样本图像进行图像增强。
130.303、在所述包裹样本图像集中选取所述第一图像数量的图像，作为待增强图像。
131.304、对所述待增强图像进行图像增强，得到增强后的包裹样本图像集。
132.例如，会预先测试得到一个概率(即增强比例)，例如0.8，假设包裹样本图像集中有100张图像，按照0.8*100＝80，选取其中80张作为待增强图像，对这80张图像进行数据增强，得到所述增强后的包裹样本图像集。
133.需要说明的是，增强后的包裹样本图像集除了包括进行数据增强的80张图像之外，还包括原包裹样本图像集中未进行数据增强的图像，以形成完整的训练数据集。
134.305、基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型。
135.针对物流领域的典型情景，本技术实施例中设计了专门的数据增强策略，不仅较
好的解决了少样本的问题，而且模型对于环境也更具有鲁棒性。
136.具体的，在本技术一些实施方式中，所述对所述待增强图像进行图像增强，得到增强后的包裹样本图像集，包括：分别以所述包裹样本图像集中的每一张包裹样本图像为目标包裹样本图像；判断所述目标包裹样本图是否为待增强图像；若是，对所述目标包裹样本图像进行增强，得到增强后的目标包裹样本图像；在所述包裹样本图像集中所有待增强图像完成图像增强后，得到所述增强后的包裹样本图像集。
137.在本技术一些实施方式中，所述对所述目标包裹样本图像进行增强，得到增强后的目标包裹样本图像，包括：对所述目标包裹样本图像按预设尺寸进行裁剪，得到裁剪后图像；将所述裁剪后图像的尺寸恢复到所述目标包裹样本图像的尺寸，得到恢复图像；对所述恢复图像进行对比度处理，得到第一对比度处理图像；对所述第一对比度处理图像进行明亮度处理，得到第一明亮度处理图像；对所述第一明亮度处理图像进行高斯噪声处理，得到所述增强后的目标包裹样本图像。
138.在本技术一些实施方式中，所述在所述包裹样本图像集中选取所述第一图像数量的图像，作为待增强图像之后，所述方法还包括：根据预设的裁剪比例，确定所述待增强图像中需要进行裁剪的第二图像数量；根据预设的对比度处理比例，确定所述待增强图像中需要进行对比度处理的第三图像数量；根据预设的明亮度处理比例和所述第三图像数量，确定对比度处理后的图像中需要进行明亮度处理的第四图像数量；根据预设的高斯噪声处理比例和所述第三图像数量，确定明亮度处理后的图像中需要进行高斯噪声处理的第五图像数量。
139.在本技术一些实施方式中，所述对所述待增强图像进行图像增强，得到增强后的包裹样本图像集，包括：在所述待增强图像中选取所述第二图像数量的图像分别进行裁剪，得到裁剪图像，并将裁剪图像恢复到裁剪前的尺寸，得到裁剪后图像集；在所述裁剪后图像集中选取所述第三图像数量的图像进行对比度处理，得到第二对比度处理图；在所述第二对比度处理图中选取所述第四图像数量的图像进行明亮度处理，得到第二明亮度处理图；在所述第二明亮度处理图中选取所述第五图像数量的图像进行高斯噪声处理，得到增强后的包裹样本图像集。
140.例如，对选取的80张待增强图像，按照预先确定的需要裁剪的裁剪比例，例如0.5，即对40张图像进行裁剪；对裁剪得到图像恢复裁剪前的尺寸；对裁剪图像按照预先确定的对比度处理比例，例如0.5进行预设的对比度处理，例如对20张图像进行对比度处理；对对比度处理后的20张图像，按照预设明亮度处理比例(假设0.5)，进行明亮度处理，即对10张图像进行明亮度处理；对明亮度处理的图像，按照预设高斯处理比例，选取图像进行高斯处理，得到增强后的包裹样本图像。
141.在本技术一些实施方式中，在所述基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型之前，所述方法还包括：获取未训练的ssd模型；将所述ssd模型中的vgg骨干网络替换为预设的第一轻量化网络，得到所述第一初始网络模型；将所述ssd模型中的vgg骨干网络替换为预设的第二轻量化网络，得到所述第二初始网络模型；将未训练的resnet网络模型(例如resnet101网络模型)作为所述第三初始网络模型；将所述第一初始网络模型、所述第二初始网络模型和所述第三初始网络模型进行依次级联，得到
初始三级级联网络模型。
142.本技术实施例中，发明人在本方案中使用原始ssd网络模型时，发现ssd网络模型中的vgg网络在处理层数较多时，应用会存在过拟合现象，对未训练过的图像识别准确率低，因此，本技术实施例中创造性的采用轻量化网络替换原ssd中的vgg骨干网络，作为检测网络，使用梯度下降法，用rmsprop优化器，最小化损失函数，训练第一初始网络模型、所述第二初始网络模型和所述第三初始网络模型，处理图像速度会大大加快，且不存在过拟合现象。进一步的，轻量化网络采用mobilenet-v2能取得更优的效果，例如采用mobilenet-v2替换原ssd中的vgg骨干网络，作为检测网络等，其他轻量化网络如shufflenet也可以使用，但是没有mobilenet效果好。
143.rmsprop优化器是采用rmsprop算法的优化器，rmsprop算法的全称叫root mean square prop，是geoffrey e.hinton在coursera课程中提出的一种优化算法，rmsprop优化算法是adagrad算法的一种改进，rmsprop优化算法和adagrad算法唯一的不同，就在于累积平方梯度的求法不同。rmsprop算法不是像adagrad算法那样暴力直接的累加平方梯度，而是加了一个衰减系数来控制历史信息的获取多少。
144.需要说明的是，本技术实施例中，第一轻量化网络、第二轻量化网络可以是同类型的轻量化网络，例如均为mobilenet-v2，也可以是不同类型的轻量化网络，例如第一轻量化网络、第二轻量化网络为mobilenet-v2或shufflenet，具体此处不作限定。经过发明人测试，第一轻量化网络、第二轻量化网络采用同样的mobilenet-v2级联处理图像速度最快，且不存在过拟合现象。
145.在本技术一些实施方式中，所述基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型，包括：
146.将所述增强后的包裹样本图像集输入所述初始三级级联网络模型进行训练，得到训练后的三级级联网络模型；
147.对所述训练后的三级级联网络模型进行轻量化处理，得到由所述第一网络模型、所述第二网络模型和所述第三网络模型组成的三级级联网络模型。
148.具体的，对于训练好的三个模型，可以采用tensorrt技术对其进行轻量化，利用张量融合和数据精度校准的技术手段对模型内部的连接和权重进行优化，可以大大提高部署后模型的吞吐率和边缘端内存占用。
149.tensorrt是一个高性能的深度学习推理(inference)优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。tensorrt可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。tensorrt现已能支持tensorflow、caffe、mxnet、pytorch等几乎所有的深度学习框架，将tensorrt和nvidia的gpu结合起来，能在几乎所有的框架中进行快速和高效的部署推理。
150.相比于python这种解释性语言，c++语言的运行效率要更高，因此对于tensorrt优化后的三个模型，可以使用c++语言对其进行推理，并部署在边缘端。
151.为了更好实施本技术实施例中破损包裹检测方法，在破损包裹检测方法的基础之上，本技术实施例中还提供一种破损包裹检测装置，如图4所示，图4是破损包裹检测装置的一个实施例结构示意图，所述破损包裹检测装置400包括：
152.获取模块401，用于获取包裹运输过程中的包裹图像；
153.提取模块402，用于通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；
154.破损检测模块403，用于通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；
155.破损类型分类模块404，用于若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；其中，所述第一网络模型、所述第二网络模型和所述第三网络模型组成三级级联网络模型。
156.本技术实施例通过获取包裹运输过程中的包裹图像；通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型。本技术在现有技术包裹外包装破损检测很困难，检测效率较低的基础上，通过三级级联网络分别进行包裹区域检测、破损目标检测和破损类型分类，通过不同模型不同检测功能的细致划分，不同网络模型进行不同方向的检测，有效提高了包裹检测的效率和准确率，能够适应复杂的物流生产场景。
157.在本技术一些实施方式中，所述装置还包括训练模块，所述训练模块用于：
158.在所述通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像之前，采集包裹样本图像，得到包裹样本图像集；
159.根据预设的增强比例，确定所述包裹样本图像集中需要进行图像增强的第一图像数量；
160.在所述包裹样本图像集中选取所述第一图像数量的图像，作为待增强图像；
161.对所述待增强图像进行图像增强，得到增强后的包裹样本图像集；
162.基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型。
163.在本技术一些实施方式中，所述训练模块具体用于：
164.分别以所述包裹样本图像集中的每一张包裹样本图像为目标包裹样本图像；
165.判断所述目标包裹样本图是否为待增强图像；
166.若是，对所述目标包裹样本图像进行增强，得到增强后的目标包裹样本图像；
167.在所述包裹样本图像集中所有待增强图像完成图像增强后，得到所述增强后的包裹样本图像集。
168.在本技术一些实施方式中，所述训练模块具体用于：
169.对所述目标包裹样本图像按预设尺寸进行裁剪，得到裁剪后图像；
170.将所述裁剪后图像的尺寸恢复到所述目标包裹样本图像的尺寸，得到恢复图像；
171.对所述恢复图像进行对比度处理，得到第一对比度处理图像；
172.对所述第一对比度处理图像进行明亮度处理，得到第一明亮度处理图像；
173.对所述第一明亮度处理图像进行高斯噪声处理，得到所述增强后的目标包裹样本图像。
174.在本技术一些实施方式中，所述训练模块具体用于：
175.在所述包裹样本图像集中选取所述图像数量的图像，作为待增强图像之后，根据预设的裁剪比例，确定所述待增强图像中需要进行裁剪的第二图像数量；
176.根据预设的对比度处理比例，确定所述待增强图像中需要进行对比度处理的第三图像数量；
177.根据预设的明亮度处理比例和所述第三图像数量，确定对比度处理后的图像中需要进行明亮度处理的第四图像数量；
178.根据预设的高斯噪声处理比例和所述第三图像数量，确定明亮度处理后的图像中需要进行高斯噪声处理的第五图像数量。
179.在本技术一些实施方式中，所述训练模块具体用于：
180.在所述待增强图像中选取所述第二图像数量的图像分别进行裁剪，得到裁剪图像，并将裁剪图像恢复到裁剪前的尺寸，得到裁剪后图像集；
181.在所述裁剪后图像集中选取所述第三图像数量的图像进行对比度处理，得到第二对比度处理图；
182.在所述第二对比度处理图中选取所述第四图像数量的图像进行明亮度处理，得到第二明亮度处理图；
183.在所述第二明亮度处理图中选取所述第五图像数量的图像进行高斯噪声处理，得到增强后的包裹样本图像集。
184.在本技术一些实施方式中，所述装置还包括模型调整模块，所述模型调整模块用于：
185.在所述基于所述增强后的包裹样本图像集，训练第一初始网络模型、第二初始网络模型和第三初始网络模型，得到所述第一网络模型、所述第二网络模型和所述第三网络模型之前，获取未训练的ssd模型；
186.将所述ssd模型中的vgg骨干网络替换为预设的第一轻量化网络，得到所述第一初始网络模型；
187.将所述ssd模型中的vgg骨干网络替换为预设的第二轻量化网络，得到所述第二初始网络模型；
188.将预训练的resnet网络模型作为所述第三初始网络模型；
189.将所述第一初始网络模型、所述第二初始网络模型和所述第三初始网络模型进行依次级联，得到初始三级级联网络模型。
190.在本技术一些实施方式中，所述训练模块具体用于：
191.将所述增强后的包裹样本图像集输入所述初始三级级联网络模型进行训练，得到训练后的三级级联网络模型；
192.对所述训练后的三级级联网络模型进行轻量化处理，得到由所述第一网络模型、所述第二网络模型和所述第三网络模型组成的三级级联网络模型。
193.本技术实施例还提供一种计算机设备，其集成了本技术实施例所提供的任一种破损包裹检测装置，所述计算机设备包括：
194.一个或多个处理器；
195.存储器；以及
196.一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并
配置为由所述处理器执行上述破损包裹检测方法实施例中任一实施例中所述的破损包裹检测方法中的步骤。
197.本技术实施例还提供一种计算机设备，其集成了本技术实施例所提供的任一种破损包裹检测装置。如图5所示，其示出了本技术实施例所涉及的计算机设备的结构示意图，具体来讲：
198.该计算机设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图5中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
199.处理器501是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。
200.存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。
201.计算机设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
202.该计算机设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
203.尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：
204.获取包裹运输过程中的包裹图像；
205.通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；
206.通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；
207.若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；
208.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
209.为此，本技术实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本技术实施例所提供的任一种破损包裹检测方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
210.获取包裹运输过程中的包裹图像；
211.通过预置的第一网络模型对所述包裹图像进行包裹区域检测，提取包裹区域图像；
212.通过预置的第二网络模型对所述包裹区域图像进行破损目标检测，以确定所述包裹区域图像中包裹是否破损；
213.若包裹区域图像中包裹破损，通过预置的第三网络模型对所述包裹区域图像进行破损类型分类，以确定包裹破损类型；
214.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
215.具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
216.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
217.以上对本技术实施例所提供的一种破损包裹检测方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。