一种基于离线数据增强的固废数据集生成方法

1.本发明涉及深度学习及固废识别领域，特别涉及基于离线数据增强的固废固废数据集生成方法。


背景技术：

2.随着近年来的快速发展，深度学习在越来越多的领域发挥作用，其中就包括固废检测领域。为了让深度学习能够在固废上取得良好的效果，企业往往需要获得高质量的固废数据集。对于企业来说，获取图像数据是很容易的。只要搭建好检测平台，通过工业相机的连续拍摄仅需一天就能获得上万张图像。然而，对于用于检测的深度学习网络模型来说，用于模型训练的固废数据集不是单一的图像数据，而是带有标签的图像。为了获取高质量的标签，现阶段常见的方法是请专业的人员对每张图像进行仔细标注，而繁琐的标注过程不仅会耗费大量人力，而且需要长时间的标注才能得到所需数量要求的固废数据集。
3.此外，由于背景的变化、光照的影响等等，使用某一场景下标注好的固废数据集进行训练的深度学习模型，换个场景就可能检测效果不好，这往往会导致工程师需要重新采集大量的图像并进行长时间的标注。如果仅是采用人工标注模式来得到固废数据集，会延长项目的研发周期，从而拖慢生产进程。


技术实现要素：

4.本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于离线数据增强的固废数据集生成方法，能够快速有效地扩充标注的固废数据集，代替人工标注，节省时间人力，并提高深度学习模型检测的性能，进一步提升固废识别的准确率。
5.本发明采用如下技术方案：
6.一种基于离线数据增强的固废数据集生成方法，方法具体步骤如下：
7.手动标注第一固废数据集a1；
8.对第一固废数据集a1进行离线数据增强生成第二固废数据集a2，合并第一固废数据集a1和第二固废数据集a2，形成合并固废数据集；
9.使用深度学习模型对合并固废数据集进行训练；
10.使用训练好的深度学习模型对未标注的固废数据集d进行预测；
11.通过查询函数找出深度学习模型预测不准确的图像集，并进行手动标注得到第三固废数据集b1；
12.对第三固废数据集b1进行离线数据增强生成第四固废数据集b2。
13.具体地，所述的深度学习模型包括但不限于实例分割模型和目标检测模型。
14.具体地，所述的固废数据集离线数据增强，包括如下步骤：
15.读取需要进行离线数据增强的固废数据集的标签，分离出固废数据集中每个物体以及物体的标签信息；
16.将分离出的物体进行几何变换、改变图像亮度与图像对比度，得到增强的物体以
及标签信息；
17.随机将n个增强之后的物体粘贴到一个图像模板上，同时将该n个物体的标签信息存入该模板对应的标签文件当中，n为整数。
18.具体地，所述标签信息包括物体的轮廓信息以及物体的类别信息。
19.具体地，所述分离出固废数据集中每个物体以及物体的标签信息固废数据集有如下步骤：
20.读取图像的标签文件，所述标签文件为json格式；
21.根据物体的轮廓点集生成包围每个物体的矩形框、x横坐标，y纵坐标、以及w宽、h高；
22.将物体的轮廓点集减去x横坐标、y纵坐标得到分离好的物体轮廓标签；
23.根据x横坐标、y纵坐标、w宽、h高以及物体的轮廓点集，将图像中的物体裁剪出来。
24.具体地，所述的图像模板随机选择以下两种模板：纯传送带背景没有固废、含固废传送带背景。
25.具体地，所述使用深度学习模型对合并固废数据集进行训练，包括以下步骤：
26.对需要进行训练的固废数据集进行线上数据增强，包括但不限于：裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度和部分像素置零；
27.使用sgd优化器进行训练，使用的学习率策略为带预热的余弦退火。
28.具体地，所述通过查询函数找出深度学习模型预测不准确的图像集，包括如下步骤：
29.使用深度学习模型对未标注固废数据集d中的每张图像进行检测，得到每个物体的类别和置信度；
30.对每张图像中所有的物体的置信度进行求平均得到一个分数；
31.将所有分数按从低到高进行排序，取前m个分数得到模型预测不准确的的m张图像,m为正整数
32.由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
33.(1)本发明提出的一种基于离线数据增强的固废数据集生成方法，首先手动标注第一固废数据集a1；对第一固废数据集a1进行离线数据增强生成第二固废数据集a2，合并第一固废数据集a1和第二固废数据集a2，形成合并固废数据集；使用深度学习模型对合并固废数据集进行训练；使用训练好的深度学习模型对未标注的固废数据集d进行预测；通过查询函数找出深度学习模型预测不准确的图像集，并进行手动标注得到第三固废数据集b1；对第三固废数据集b1进行离线数据增强生成第四固废数据集b2，本发明通过离线数据增强的方式，可以自动生成大量具有丰富信息的固废数据集用于深度学习模型的训练。
34.(2)本发明通过查询函数的筛选出模型检测效果不准确的图像进行再一次标注，然后再结合离线数据增强该类固废数据集的数量，针对性强，能够在模型迭代中快速提高模型的检测效果。
附图说明
35.图1为本发明实施例固废数据集的图像示例；
36.图2为本发明实施例提供的基于离线数据增强的固废数据集生成方法流程图；、
37.图3为本发明实施例提供的手动标注的含标签的图像示例；
38.图4为本发明实施例提供的离线数据增强的方法流程图；
39.图5为本发明实施例提供的分离固废数据集中图像物体的方法流程图；
40.图6为本发明实施例提供的利用深度学习模型预测得到的结果示例。
具体实施方式
41.以下通过具体实施方式对本发明作进一步的描述。
42.一种基于离线数据增强的固废数据集生成方法，关于固废数据集的图像获取具体为，背景为固定的传送带，该图像集由固定于传送带上方的工业相机由上向下拍摄得到，固废数据集的图像示例如图1所示。
43.一种基于离线数据增强的固废数据集生成方法，具体步骤参见图2所示：
44.s101:手动标注第一固废数据集a1，该固废数据集的图像为人为挑选，使得标注的各个种类的数量尽可能均衡。其中，该固废数据集的种类为不同颜色的聚丙烯(pp)、聚对苯二甲酸乙二醇酯(pet)以及高密度聚乙烯(hdpe)。手动标注图像得到的标签如图3所示；
45.s102:对第一固废数据集a1进行离线数据增强生成新第二固废数据集a2，合并第一数据集a1和第二数据集a2，形成合并数据集；
46.对第一固废数据集a1进行离线数据增强生成新第二固废数据集a2，具体步骤参见图4所示：
47.s201:读取需要进行离线数据增强的固废数据集的标签；
48.s202:分离出固废数据集中每个物体以及物体的标签信息；
49.所述的分离出固废数据集物体的分离方法，具体步骤参见图5所示：
50.s301:读取固废数据集的标签信息；标签文件为json格式；
51.s302:根据物体的轮廓点集生成包围该物体的矩形框，该矩形框包含信息(x,y)坐标，以及宽w，高h；
52.s303:将原标签的轮廓点集减去(x,y)坐标得到分离后的物体轮廓点集；
53.s304:结合矩形框的信息(x,y,w,h)以及物体的轮廓点集，将图像中的物体分离出来。
54.s203:对分离出的物体进行数据增强；
55.s204:随机将n个增强之后的物体粘贴到一个图像模板上,得到生成的固废数据集,n为整数。
56.所述的图像模板随机选择以下两种模板：纯传送带背景没有固废、含固废传送带背景；
57.s103:使用深度学习模型对合并固废数据集(a1+a2)进行训练；
58.用深度学习模型对合并固废数据集进行训练，包括以下步骤：
59.(1)对需要进行训练的固废数据集进行线上数据增强，包括：裁剪、水平翻转、竖直翻转、旋转、改变图像亮度和对比度、部分像素置零。
60.(2)使用动量的sgd优化器对模型进行优化，该优化器l的公式如(1)所示，使用的学习率策略为带预热的余弦退火。
[0061][0062]
其中v
t
表示t时刻积攒的加速度，α表示动力的大小，w
t
表示t时刻模型的参数，η
t
为学习率，x
(is)
为训练集中的第i
s
个样本，y
(is)
为第i
s
样本的真实值,f(x)为模型的预测值，δj为模型的梯度。
[0063]
s104:使用训练好的模型对未标注的固废数据集d进行预测；
[0064]
s105:通过查询函数找出深度学习模型预测不准确的图像集，并进行手动标注得到固废数据集b1；
[0065]
所述通过查询函数找出深度学习模型预测不准确的图像集，包括如下步骤：
[0066]
(1)使用深度学习模型对未标注固废数据集d中的每张图像进行检测，该深度学习模型为端到端的实例分割模型mask r
‑
cnn,即输入图像，可得到该图像上每个物体的类别和置信度，预测结果如图6所示；
[0067]
(2)图像的分数由公式(2)求得，当图像上有n个物体时，每个物体都有一个由模型预测得到的置信度s
i
,对该图像中所有的物体的置信度进行求平均即可得到该图像的分数。
[0068][0069]
(3)对所有检测后的图像应用公式(2)求得图像的分数，将所有分数按从低到高进行排序，取前m个分数得到模型检测效果不好的m张图像，m为正整数。
[0070]
s106:对固废数据集b1进行离线数据增强生成固废数据集b2。
[0071]
本发明提出的一种基于离线数据增强的固废数据集生成方法，首先手动标注第一固废数据集a1；对第一固废数据集a1进行离线数据增强生成第二固废数据集a2，合并第一固废数据集a1和第二固废数据集a2，形成合并固废数据集；使用深度学习模型对合并固废数据集进行训练；使用训练好的深度学习模型对未标注的固废数据集d进行预测；通过查询函数找出深度学习模型预测不准确的图像集，并进行手动标注得到第三固废数据集b1；对第三固废数据集b1进行离线数据增强生成第四固废数据集b2，本发明通过离线数据增强的方式，可以自动生成大量具有丰富信息的固废数据集用于深度学习模型的训练。
[0072]
(2)本发明通过查询函数的筛选出模型检测效果不准确的图像进行再一次标注，然后再结合离线数据增强该类固废数据集的数量，针对性强，能够在模型迭代中快速提高模型的检测效果。
[0073]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。