一种图像目标检测模型训练方法、装置、设备及存储介质与流程

1.本发明涉及目标检测领域，特别涉及一种图像目标检测模型训练方法、装置、设备及存储介质。


背景技术：

2.客户上传人脸影像照片，背景中蕴含大量可用于反欺诈的信息，例如客户在黑产中介进行申请，人脸影像中的背景往往呈现一定的相似性；可通过客户与客户之间的背景相似情况判断客户出现集团欺诈的可能性；但在识别客户人像背景图像的时候存在标志性物品被人像遮挡或角度问题造成的物体没有完全进入画面，造成目标检测的时候出现部分肉眼可识别的物体没有被识别到。并且现有技术的目标检测模型需要收集较多的影像数据对目标进行检测，使得在影像数据不够多时，影响目标检测训练模型对目标进行识别的准确性。因此，如何在实现目标检测的基础上提升识别目标检测物体准确性的同时，减少模型训练所需要的样本是本发明所要解决的技术问题。


技术实现要素：

3.有鉴于此，本发明的目的在于提供图像目标检测模型训练方法、装置、设备及存储介质，解决了现有技术中对目标检测模型进行训练时，需要采集大量的原始数据进行训练，以及现有的目标检测模型对目标进行检测的准确性较低的技术问题。
4.为解决上述技术问题，本发明提供了一种图像目标检测模型训练方法，包括：
5.获取原始数据和生成数据；其中，所述生成数据是指将所述原始数据中的图像作为目标图像和遮挡图像进行融合得到的数据；
6.获取所述生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，所述遮挡面积是指所述目标图像被所述遮挡图像遮挡的面积；
7.不断使用基础目标检测模型对所述生成训练数据和所述原始数据进行训练，得到所述原始数据对应的loss1和所述生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用所述基础目标检测模型对所述生成训练数据和所述原始数据进行训练的次数；通过不断上调所述预设遮挡阈值的值，来调整所述生成训练数据，以进行下一个内循环进行迭代训练；
8.不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，所述外循环使用混合数据进行迭代训练；所述混合数据由所述原始数据和所述生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环；
9.当loss3在连续预设次数内不发生改变时，停止使用所述基础目标检测模型进行
训练，得到图像目标检测模型。
10.可选的，所述图像目标检测模型训练方法，还包括：
11.对第一次上采样结果进行一次最大池化，得到最大池化结果；其中，使用所述基础目标检测模型训练的过程中包括上采样；
12.对第二次上采样结果进行平均池化，并对平均池化结果进行三次向量转置，得到转置结果；
13.将所述最大池化结果和所述转置结果进行相加，得到加和结果；
14.将所述加和结果与上采样过程中的图像向量进行相加，得到向量加和结果，并传入解码网络；其中，使用所述基础检测模型训练的过程中包括所述解码网络。
15.可选的，所述获取生成数据之前，还包括：
16.使用cycle-gan对所述原始数据进行随机扩充，得到所述生成数据。
17.可选的，所述使用cycle-gan对所述原始数据进行随机扩充，得到所述生成数据，包括：
18.利用随机点位算子对所述原始数据进行处理，得到合成图像数据；
19.对所述合成图像数据进行卷积处理，得到卷积图像数据；
20.利用残差网络对所述卷积图像数据进行残差处理，得到残差图像数据；
21.对所述卷积图像数据和所述残差图像数据进行相加，得到增强图像数据，并利用编码器对所述增强图像数据进行处理得到编码图像数据；
22.对所述编码图像数据进行卷积处理，得到所述生成数据。
23.可选的，计算所述loss1和所述loss2的损失函数，包括：
24.其中，a为所述原始数据和所述生成数据对应的实际目标区域，b为使用所述基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示所述实际目标区域和所述推理目标区域的面积并集和交集，l表示所述实际目标区域和所述推理目标区域的长，h表示所述实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示所述推理目标区域和所述实际目标区域之间关于中心点的欧式距离与所述推理目标区域和所述实际目标区域之间的最大外顶角连线的比值，pa表示遮挡面积。
25.可选的，所述外循环中的损失函数模型，包括：
26.其中，其中，a为所述原始数据和所述生成数据对应的实际目标区域，b为使用所述基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示所述实际目标区域和所述推理目标区域的面积并集和交集，l表示所述实际目标区域和所述推理目标区域的长，h表示所述实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示所述推理目标区域和所述实际目标区域之间关于中心点的欧式距离与所述推理目标区域和所述实际目标区域之
间的最大外顶角连线的比值。
27.可选的，所述混合数据的生成方式，包括：
28.所述混合数据是由所述原始数据和所述生成数据进行无放回随机抽样预设百分比而成。
29.本发明还提供了一种图像目标检测模型训练装置，包括：
30.原始数据和生成数据获取模块，用于获取原始数据和生成数据；其中，所述生成数据是指将原始数据中的图像作为目标图像和遮挡图像进行融合得到的数据；
31.生成训练数据获取模块，用于获取所述生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，所述遮挡面积是指所述目标图像被所述遮挡图像遮挡的面积；
32.内循环模块，用于不断使用基础目标检测模型对所述生成训练数据和所述原始数据进行训练，得到所述原始数据对应的loss1和所述生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用所述基础目标检测模型对所述生成训练数据和所述原始数据进行训练的次数；通过不断上调预设遮挡阈值的值，来调整所述生成训练数据，以进行下一个内循环进行迭代训练；
33.外循环模块，用于不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，所述外循环使用混合数据进行迭代训练；所述混合数据由所述原始数据和所述生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环；
34.图像目标检测模型计算模块，用于当loss3在连续预设次数内不发生改变时，停止使用所述基础目标检测模型进行训练，得到图像目标检测模型。
35.本发明还提供了一种图像目标检测模型训练设备，包括：
36.存储器，用于存储计算机程序；
37.处理器，用于执行所述计算机程序实现上述的图像目标检测模型训练方法的步骤。
38.本发明还提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的图像目标检测模型训练方法。
39.可见，本发明通过获取原始数据和生成数据；其中，所述生成数据是指将所述原始数据中的图像作为目标图像和遮挡图像进行融合得到的数据；获取所述生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，所述遮挡面积是指所述目标图像被所述遮挡图像遮挡的面积；不断使用基础目标检测模型对所述生成训练数据和所述原始数据进行训练，得到所述原始数据对应的loss1和所述生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用所述基础目标检测模型对所述生成训练数据和所述原始数据进行训练的次数；通过不断上调所述预设遮挡阈值的值，来调整所述生成训练数据，以进行下一个
内循环进行迭代训练；不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，所述外循环使用混合数据进行迭代训练；所述混合数据由所述原始数据和所述生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环；当loss3在连续预设次数内不发生改变时，停止使用所述基础目标检测模型进行训练，得到图像目标检测模型。和现有的目标训练模型需要开发者自行收集标注，仅仅只能使用原始数据进行训练相比，本发明由于可通过对原始数据进行处理，得到大量的生成数据，并且可以使用原始数据和生成数据进行内循环的迭代训练，使用混合数据进行外循环的迭代训练，使得仅仅需要少量的原始数据就可以进行基础目标检测模型的训练，得到图像目标检测训练模型。由于可以利用少量的原始数据，生成大量的生成数据，并且对生成数据和原始数据进行混合，得到外循环需要的混合数据，极大的降低了训练模型所需数据的收集时间。并且由于存在可以使用原始数据和生成数据进行内循环迭代训练，使用混合数据进行外循环迭代训练，使得对基础目标检测模型进行内外循环迭代训练后，得到的图像目标检测训练模型可以更加准确的识别目标物品。
40.此外，本发明还提供了图像目标检测训练模型装置、设备及存储介质，同样具有上述有益效果。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
42.图1为本发明实施例提供的一种图像目标检测模型训练方法的流程图；
43.图2为本发明实施例提供的一种全局特征优化方法的流程示例图；
44.图3为本发明实施例提供的一种训练集衍生方法的流程示例图；
45.图4为本发明实施例提供的一种优化cycle-gan的流程示例图；
46.图5为本发明实施例提供的一种图像目标检测模型训练方法的流程示例图；
47.图6为本发明实施例提供的一种图像目标检测模型训练使用装置的结构示意图；
48.图7是本发明实施例提供的一种图像目标检测模型训练装置的结构示意图；
49.图8为本发明实施例提供的一种图像目标检测模型训练设备的结构示意图。
具体实施方式
50.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.请参考图1，图1为本发明实施例提供的图像目标检测模型训练方法的流程图。该方法可以包括：
52.s100，获取原始数据和生成数据；其中，生成数据是指将原始数据中的图像作为目
标图像和遮挡图像进行融合得到的数据。
53.该实施例并不限定获取原始数据的具体方法。例如，可以自行对需要的原始数据进行拍照收集，或者可以去网络上下载相关的原始数据。该实施例并不限定生成数据的获取方法，只要该生成数据是由原始数据进行扩充得到的即可。例如，可以利用原始数据中的图像作为一个目标图像和一个遮挡图像进行不同角度的合成，获得生成数据，或者可以利用原始数据中的图像作为一个目标图像和多个遮挡图像进行不同角度的合成，获得生成数据。由于生数据是由原始数据得到，所以在得到生成数据之前需要对原始数据进行相应处理，这样生成数据也具有和原始数据相对应的属性，所以虽然以下内容是关于原始数据的处理，实际上得到的生成数据也具有与原始数据对应的特征属性。该实施例并不限定对原始数据标注工具，例如可以使用label-image(图像标注)python版对原始数据和生成数据进行标注；或者也可以使用label-image-windows版对原始数据和生成数据进行标注。该实施例并不限定对原始数据进行编码标注的具体方法，例如，使用物体的英文名称+细分类英文+全任务总编号。例如细毛牙刷可给定编号为toothbrush-ine-00001、toothbrush-ine-00002、toothbrush-ine-00003等。或者使用物体的细分类英文+英文名称+全任务总编号，例如细毛牙刷可给定编号为ine-toothbrush-00001、ine-toothbrush-00002、ine-toothbrush-00003等。全任务总编号可以从0开始，也可以从1开始，确定编码标注的方法后，可以将不同类别的原始数据和生成数据单独建立文件。该实施例并不限定原始数据的具体数量。例如，原始数据的数量可以是50个，或者原始数据的数量可以是60个，或者原始数据的数量也可以是70个。该实施例并不限定对原始数据进行编号的方法。例如，将收集到的原始数据全部放入一次文件夹，进行一次md5(信息－摘要算法5)有效编码(意思为照片有自己独立的编码，删除和新增不会将赋予该照片的编码给其他照片)；或者也可以根据时间戳进行唯一编号，照片删除后再添加进训练集该照片的编码不发生改变(为后续进行标注合并做准备)。无论是使用md5还是时间戳进行编码，如果出现一张照片有两个或两个以上需要识别的物体(例如细毛牙刷toothbrush-ine-00001和保温杯cup-vacuum-00002)需要将该照片分别放入两个目标任务的文件夹，但照片文件的名称需要保持一致。该实施例并不限定对原始数据进行标注的方法。例如，可以通过label studio(命名实体识别标注器)对原始数据进行标注，或者可以通过labelimg(图片标注工具)对原始数据进行标注，并增加物体中心锚点，通过opencv(跨平台计算机视觉和机器学习软件库)，centerofcontour(轮廓中心)方法，计算原始数据的图像中心点位置c(x，y)并将中心点坐标位置写入txt标注文档。
54.s101，获取所生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，遮挡面积是指目标图像被遮挡图像遮挡的面积。
55.该实施例并不限定预设遮挡阈值的具体数值。例如，预设遮挡阈值可以是1％，或者预设遮挡阈值可以是5％。
56.s102，不断使用基础目标检测模型对生成训练数据和原始数据进行训练，得到原始数据对应的loss1和生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用基础目标检测模型对生成训练数据和原始数据进行训练的次数；通过不断上调预设遮挡
阈值的值，来调整生成训练数据，以进行下一个内循环进行迭代训练。
57.该实施例并不限定基础检测模型的具体模型。例如，基础目标检测模型可以是yolov3，或者基础目标检测模型可以是yolov5；或者基础目标检测模型可以是yolov7。该实施例中原始数据与达到预设遮挡阈值的生成训练数据(遮挡面积最小的一组)同时进入训练集，经过模型一次训练迭代获得验证集对应的损失函数loss1(原始数据)和loss2(生成数据)，再通过两个损失函数之间的差值loss
2-loss1(由于loss2为生成数据，损失函数天然大于原始数据loss1)获得一个新的损失函数初始差loss
d0
，此时模型进入第一轮内循环的第二轮迭代。第二轮迭代重复上述过程，得到loss
dn
，当时，更改预设遮挡阈值的值，触发下一轮内循环，(下一次的预设遮挡阈值范围大于上一次预设遮挡阈值的范围)进行下一个内循环的迭代。
58.s103，不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，所述外循环使用混合数据进行迭代训练；所混合数据由原始数据和生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环。
59.该实施例并不限定loss
dn
的数量，例如，loss
dn
可以是3个，或者loss
dn
也可以是10个，或者loss
dn
可以是12个。该实施例中通过不断进行内循环的多轮迭代，每一轮内循环都对应lossd0......lossdn，此时不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环，该实施例中外循环使用的混合数据由原始数据和生成数据混合而成。
60.s104，当loss3在连续预设次数内不发生改变时，停止使用基础目标检测模型进行训练，得到图像目标检测模型。
61.该实施例并不限定连续预设次数的具体次数。例如，连续预设次数可以是5次，或者连续预设次数可以是6次，或者连续预设次数可以是8次。该实施例在外循环连续循环对应的loss3在连续预设次数内不发生改变时(中间可以交叉有内循环)，停止使用基础目标检测模型进行训练，得到图像目标检测模型。
62.进一步，为了增强生成数据的特征局部和全局的联系性，上述图像目标检测模型训练方法，还可以包括：
63.对第一次上采样结果进行一次最大池化，得到最大池化结果；其中，使用基础目标检测模型训练的过程中包括上采样；
64.对第二次上采样结果进行平均池化，并对平均池化结果进行三次向量转置，得到转置结果；
65.将最大池化结果和转置结果进行相加，得到加和结果；
66.将加和结果与上采样过程中的图像向量进行相加，得到向量加和结果，并传入解码网络；其中，使用基础检测模型训练的过程中包括所述解码网络。
67.该实施例中考虑到现有目标检测相关的神经网络结构，对特征的局部和全局联系性不强，容易使损失函数无法下降，造成内外循环无法继续，所以在目标检测模型解码网络
阶段引入一层层全局特征优化如图2所示，该层的作用可以优化模型的感受野，使目标的局部特征或非连贯特征能更好的传递至更靠后的网络层中，有效解决模型对目标局部特征的感知过强。图2表示基础目标检测模型在进行解码过程中从上采样过程结果通过管道传入后续的解码过程中，对上采样过程中第一次上采样结果进行一次最大池化，将最大池化结果传入下一步骤，第二次上采样过程结果进行平均池化，并对结果进行3次向量转置，并将最大池化结果和转置结果进行加和后再将结果和上采样过程获得图像张量进行加，后再将图像传入解码过程。
68.进一步，为了快速对原始数据进行扩充，得到生成数据，上述获取生成数据之前，还可以包括：
69.使用cycle-gan对原始数据进行随机扩充，得到生成数据。
70.该实施例并不限定使用cycle-gan模型对原始数据进行随机扩充的具体过程，只要可以得到生成数据即可。例如，进行cycle-gan扩充的原始数据为，包括目标图像的原始数据a，以及包括遮挡图像m的原始数据b，利用遮挡图像对原始数据进行遮挡，获得生成数据；或者进行cycle-gan扩充的原始数据为，包括目标图像的原始数据b，以及包括遮挡图像m、n和h的原始数据b，所有遮挡图像进行随机编码并获得其轮廓剪影素材数据，和对应的轮廓坐标数据txt(文本格式)文档，以及对应该目标物体的随机算子。利用之前步骤生成的图像素材进行图像合并，被合并图像会根据周围环境融合进原始数据b。
71.为使本实施例便于理解具体请参考图3，图3为本发明实施例提供的一种训练集衍生方法的流程示例图，具体可以包括：
72.对原始数据进行扩充的流程为原图像a包含目标物体a原图像b包含目标物体b(本方案中b和b数量是不固定的根据需要生成的遮挡物场景复杂度而定)也可以b中包含其他种类bcd等目标物体。随机算子模块将b或b到n的所有照片中的所有混淆物体进行随机编码并获得其轮廓剪影素材数据(4通道rgba格式包含透明背景的图像)，和对应的轮廓坐标数据txt文档，以及对应该目标物体的随机算子r，r(r1，r2)表示图像融合时混淆物体的中心在图像中需要融合的初始位置坐标r1，该坐标位置需要落入a照片中a的坐标轮廓范围内，增加物体中心锚点，通过opencv(软件库)，center ofcontour(确定图像中心点)方法，计算图像中心点位置c(x，y)并将中心点坐标位置写入txt标注文档。确认靶点中心位置，r2表示该物品的旋转角度，默认不进行旋转。随机算子模块中还包含随机算子有效性检验，当混淆物品遮挡目标物品a的面积小于95％或大于10％(a标注面积－相互重叠部分面积)时，在标注文件中添加新属性，遮挡面积百分比pa，cg表示cycle-gan图像合成模型，利用之前步骤生成的图像素材进行图像合并，被合并物体会根据周围环境融合进原图像，形成相对自然的被遮挡情况，这里引入图像合成而非简单的将物体直接覆盖粘贴进图像，意在保证合成图像的真实性，减少人为因素对模型结构的干扰，锐利突兀的边缘容易造成模型效果的下降，无法在算法层面进行优化。在cg过程后生成n个a被不同物体不同角度遮挡的新图像，结果可获得比原先多出数倍的训练集并且是目标被多种物体遮挡的生成数据，有利于模型对被遮挡物体识别场景下的准确率。
73.进一步，为了在合成数据网络结构较深的情况下提高特征的有效性，防止合成图像所对应的生成数据中的混淆物过大或过小，上述使用cycle-gan对原始数据进行随机扩充，得到生成数据，包括：
74.利用随机点位算子对原始数据进行处理，得到合成图像数据；
75.对合成图像数据进行卷积处理，得到卷积图像数据；
76.利用残差网络对卷积图像数据进行残差处理，得到残差图像数据；
77.对卷积图像数据和残差图像数据进行相加，得到增强图像数据，并利用编码器对增强图像数据进行处理得到编码图像数据；
78.对编码图像数据进行卷积处理，得到生成数据。
79.该实施例中通过利用对合成图像数据进行残差处理，来对合成图像数据进行优化。该实施例中的为了便于理解，具体请参考图4，图4为本发明实施例提供的一种优化cycle-gan的流程示例图，即利用残差网络对卷积图像数据进行残差处理得到残差图像数据的示例图。进行2轮卷积后得到合成图像数据，进而对合成图像数据进行卷积处理，得到卷积图像数据，利用残差网络对卷积图像数据进行残差处理，得到残差图像数据；对卷积图像数据和残差图像数据进行相加，得到增强图像数据，这个操作可有效避免梯度消失，在网络结构较深的情况下提高特征的有效性，防止合成图像的混淆物过大或过小。
80.进一步，为了在利用基础目标检测模型进行训练时能够快速跳出当前的局部最优的网络结构，加快达到全局最优的目的，计算上述loss1和loss2的损失函数，可以包括：
81.其中，a为原始数据和生成数据对应的实际目标区域，b为使用基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示实际目标区域和推理目标区域的面积并集和交集，l表示实际目标区域和推理目标区域的长，h表示实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示推理目标区域和实际目标区域之间关于中心点的欧式距离与推理目标区域和实际目标区域之间的最大外顶角连线的比值，pa表示遮挡面积。
82.该实施例并不限定l和h的具体数值。例如l可以是3cm，h可以是2cm，或者如l可以是5cm，h可以是4cm。该实施例也并不限定pa表示遮挡面积的具体数值，例如遮挡面积可以是25％，或者遮挡面积也可以是19％，或者遮挡面积还可以是65％。
83.进一步，为了模拟真实情况，检测内循环的模型是否达到收敛标准，上述外循环中的损失函数模型，包括：
84.其中，其中，a为所述原始数据和所述生成数据对应的实际目标区域，b为使用所述基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示所述实际目标区域和所述推理目标区域的面积并集和交集，l表示所述实际目标区域和所述推理目标区域的长，h表示所述实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示所述推理目标区域和所述实际目标区域之间关于中心点的欧式距离与所述推理目标区域和所述实际目标区域之间的最大外顶角连线的比值。
85.该实施例并不限定l和h的具体数值。例如l可以是2cm，h可以是1cm，或者如l可以
是3cm，h可以是4cm。
86.进一步，上述使用混合数据进行外循环训练时，数据更加符合真实情况，上述混合数据的生成方式，包括：
87.混合数据是由原始数据和生成数据进行无放回随机抽样预设百分比而成。
88.该实施例并不限定具体的预设百分比，例如预设百分比可以是35％，或者预设百分比可以是40％，或者预设百分比还可以是65％。
89.本发明实施例提供的图像目标检测模型训练方法，包括获取原始数据和生成数据；获取生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，遮挡面积是指目标图像被遮挡图像遮挡的面积；不断使用基础目标检测模型对生成训练数据和原始数据进行训练，得到原始数据对应的loss1和生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用基础目标检测模型对生成训练数据和原始数据进行训练的次数；通过不断上调预设遮挡阈值的值，来调整生成训练数据，以进行下一个内循环进行迭代训练；不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，外循环使用混合数据进行迭代训练；混合数据由原始数据和生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环；当loss3在连续预设次数内不发生改变时，停止使用基础目标检测模型进行训练，得到图像目标检测模型。和现有的目标训练模型需要开发者自行收集原始数据进行标注，仅仅只能使用原始数据进行训练相比，本发明由于可通过对原始数据进行处理，得到大量地生成数据，并且可以使用原始数据和生成数据进行内循环的迭代训练，使用混合数据进行外循环的迭代训练，使得仅仅需要少量的原始数据就可以进行基础目标检测模型的训练，得到图像目标检测训练模型。由于可以利用少量的原始数据，生成大量的生成数据，并且对生成数据和原始数据进行混合，得到外循环需要的混合数据，极大地降低了训练模型所需数据的收集时间。并且由于存在可以使用原始数据和生成数据进行内循环迭代训练，使用混合数据进行外循环迭代训练，使得对基础目标检测模型进行内外循环迭代训练后，得到的图像目标检测训练模型可以更加准确的识别目标物品。并且，由于可以在上采样的过程中利用最大池化进行全局特征优化，使得生成数据的局部特征和整体特征联系大大增强；并且，使用cycle-gan对原始数据进行扩充，使得训练数据量大大增强；并且，在利用cycle-gan进行数据扩充的过程中利用随机点位算子进行有效性校验，使得生成数据更加具有真实性；并且对内循环损失函数进行重构时加入遮挡面积和遮挡位置，使得进行内循环时确保全局最优；并且在外循环损失函数进行重构时加入遮挡位置，使得到的图像目标检测模型的识别准确率大大提高。
90.为了使本发明更便于理解，具体请参考图5，图5为本发明实施例提供的图像目标检测模型训练方法的流程示例图，具体可以包括：
91.如图5所示，该图像目标检测模型训练方法共分为两个部分，内循环部分利用原始数据和生成数据进行基础目标检测模型训练，外循环使用混合数据进行基础目标检测模型训练。该模型训练使用到的装置如图6所示，对原始数据通过一台或多台电脑设备进行标注，完成标注后，将标注完成的原始数据存储在服务器，进而在服务器集群中进行样本衍生
(生成数据和混合数据)以及利用基础目标检测模型进行迭代训练并将训练得到的图像目标检测模型部署在一台带有显卡的服务器上，通过影像设备或直接传入图像数据进行目标检测。该图像目标检测模型训练方法在内循环中，原始数据与生成数据中达到最小预设遮挡阈值的生成训练数据(一组或几个)同时进入训练集，经过基础目标检测模型一次训练迭代获得验证集对应的损失函数loss1(原始数据)和loss2(生成数据)，其中，内循环使用的损失函数为其中，其中，a为所述原始数据和所述生成数据对应的实际目标区域，b为使用所述基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示所述实际目标区域和所述推理目标区域的面积并集和交集，l表示所述实际目标区域和所述推理目标区域的长，h表示所述实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示所述推理目标区域和所述实际目标区域之间关于中心点的欧式距离与所述推理目标区域和所述实际目标区域之间的最大外顶角连线的比值。再通过两个损失函数之间的差值loss
2-loss1(由于loss2来自生成数据，损失函数天然大于原始数据的loss1)获得一个新的损失函数初始差lossd0，此时不断利用基础目标检测模型进行迭代训练，迭代训练重复上述过程，获取第一轮内循环迭代训练对应的loosd0......lossdn，当时，触发下一轮内循环，将生成数据中遮挡面积达到下一个预设遮挡阈值范围的生成训练数据(遮挡面积值排名靠后的一组数据)和原始数据进行组合进入基础目标检测模型训练的迭代中，其中epoch表示模型初始化预设的迭代次数，该阈值表示损失函数的优化步长要满足一定的值，才可以进行下一轮内循环迭代训练。在内循环中，由于现有目标检测相关的神经网络结构，对特征的局部和全局联系性不强，容易使损失函数无法下降，造成循环无法继续，所以在目标检测模型解码网络阶段引入一层全局特征优化如图2所示，该层的作用可以优化模型的感受野，使目标的局部特征或非连贯特征能更好地传递至更靠后的网络层中，有效解决模型对目标局部特征的感知过强。可显著降低损失函数lossdn的值，可加速内循环进入下一个迭代周期。图2表示目标检测模型在进行解码过程中从上采样过程结果通过管道传入后续的解码过程中，对上采样过程中第一次上采样结果进行一次最大池化，将最大池化结果传入下一步骤，第二次上采样过程结果进行平均池化，并对结果进行3次向量转置，并将最大池化结果和转置结果进行加和后再将结果和上采样过程获得图像张量进行加，后再将图像传入解码过程。
92.该图像目标检测模型训练方法在当利用基础目标检测模型在内循环中进行多轮迭代后，损失函数lossdn《上一轮内循环迭代lossdn的1/2时触发一次外循环，使用混合数据进行模型训练，进行多轮迭代。外循环一次迭代获得损失函数loss3，当连续两轮loss3＝下一轮loss3时，训练开始触发内循环，继续进行内循环模型优化。当连续5轮内外循环无法使loss3得到降低模型训练终止；此时获得图像目标检测模型。
93.下面对本发明实施例提供的图像目标检测模型训练装置进行介绍，下文描述的图像目标检测模型训练装置与上文描述的图像目标检测模型训练方法可相互对应参照。
94.具体请参考图7，图7为本发明实施例提供图像目标检测模型训练装置的结构示意
图，可以包括：
95.原始数据和生成数据获取模块100，用于获取原始数据和生成数据；其中，所述生成数据是指将原始数据中的图像作为目标图像和遮挡图像进行融合得到的数据；
96.生成训练数据获取模块200，用于获取所述生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，所述遮挡面积是指所述目标图像被所述遮挡图像遮挡的面积；
97.内循环模块300，用于不断使用基础目标检测模型对所述生成训练数据和所述原始数据进行训练，得到所述原始数据对应的loss1和所述生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用所述基础目标检测模型对所述生成训练数据和所述原始数据进行训练的次数；通过不断上调预设遮挡阈值的值，来调整所述生成训练数据，以进行下一个内循环进行迭代训练；
98.外循环模块400，用于不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，所述外循环使用混合数据进行迭代训练；所述混合数据由所述原始数据和所述生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环；
99.图像目标检测模型计算模块500，用于当loss3在连续预设次数内不发生改变时，停止使用所述基础目标检测模型进行训练，得到图像目标检测模型。
100.进一步，基于上述实施例，所述图像目标检测模型训练装置，还可以包括：
101.最大池化模块，用于对第一次上采样结果进行一次最大池化，得到最大池化结果；其中，使用所述基础目标检测模型训练的过程中包括上采样；
102.转置模块，用于对第二次上采样结果进行平均池化，并对平均池化结果进行三次向量转置，得到转置结果；
103.加和单元，用于将所述最大池化结果和所述转置结果进行相加，得到加和结果；
104.解码单元，用于将所述加和结果与上采样过程中的图像向量进行相加，得到向量加和结果，并传入解码网络；其中，使用所述基础检测模型训练的过程中包括所述解码网络。
105.进一步，基于上述任意实施例，所述图像目标检测模型训练装置，还可以包括：
106.扩充模块，用于使用cycle-gan对所述原始数据进行随机扩充，得到所述生成数据。
107.进一步，基于上述任意实施例，所述扩充模块，可以包括：
108.合成图像数据获取单元，用于利用随机点位算子对所述原始数据进行处理，得到合成图像数据；
109.卷积图像数据获取单元，用于对所述合成图像数据进行卷积处理，得到卷积图像数据；
110.残差图像数据获取单元，用于利用残差网络对所述卷积图像数据进行残差处理，得到残差图像数据；
111.编码图像数据获取单元，用于对所述卷积图像数据和所述残差图像数据进行相加，得到增强图像数据，并利用编码器对所述增强图像数据进行处理得到编码图像数据；
112.生成数据生成单元，用于对所述编码图像数据进行卷积处理，得到所述生成数据。
113.进一步，基于上述任意实施例，所述内循环模块300，可以包括：
114.内循环损失函数计算单元，用于其中，a为所述原始数据和所述生成数据对应的实际目标区域，b为使用所述基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示所述实际目标区域和所述推理目标区域的面积并集和交集，l表示所述实际目标区域和所述推理目标区域的长，h表示所述实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示所述推理目标区域和所述实际目标区域之间关于中心点的欧式距离与所述推理目标区域和所述实际目标区域之间的最大外顶角连线的比值，pa表示遮挡面积。
115.进一步，基于上述任意实施例，所述外循环模块400，可以包括：
116.外循环损失函数计算单元，用于其中，其中，a为所述原始数据和所述生成数据对应的实际目标区域，b为使用所述基础训练模型得到的推理目标区域，s
a∪b
和s
a∩b
分别表示所述实际目标区域和所述推理目标区域的面积并集和交集，l表示所述实际目标区域和所述推理目标区域的长，h表示所述实际目标区域和所述推理目标区域的宽，gt在公式中表示该数据来自推理结果，表示所述推理目标区域和所述实际目标区域之间关于中心点的欧式距离与所述推理目标区域和所述实际目标区域之间的最大外顶角连线的比值。
117.进一步，基于上述任意实施例，所述图像目标检测模型训练装置，可以包括：
118.混合数据获取模块，用于所述混合数据是由所述原始数据和所述生成数据进行无放回随机抽样预设百分比而成。
119.需要说明的是，上述图像目标检测模型训练装置中的模块以及单元在不影响逻辑的情况下，其顺序可以前后进行更改。
120.本发明实施例提供的图像目标检测模型训练装置，包括原始数据和生成数据获取模块100，用于获取原始数据和生成数据；其中，所述生成数据是指将原始数据中的图像作为目标图像和遮挡图像进行融合得到的数据；生成训练数据获取模块200，用于获取所述生成数据中遮挡面积达到预设遮挡阈值的数据，得到生成训练数据；其中，所述遮挡面积是指所述目标图像被所述遮挡图像遮挡的面积；内循环模块300，用于不断使用基础目标检测模型对所述生成训练数据和所述原始数据进行训练，得到所述原始数据对应的loss1和所述生成训练数据对应的loss2,并不断计算loss
2-loss1，得到lossd0......lossdn，直到时，触发下一个内循环；其中，epoch表示使用所述基础目标检测模型对所述生成训练数据和所述原始数据进行训练的次数；通过不断上调预设遮挡阈值的值，来
调整所述生成训练数据，以进行下一个内循环进行迭代训练；外循环模块400，用于不断获取相邻两次内循环对应的loss
dn
，当loss
dn
《上一轮内循环时，触发一次外循环；其中，所述外循环使用混合数据进行迭代训练；所述混合数据由所述原始数据和所述生成数据混合而成；外循环一次获得一个loss3，当连续两轮loss3等于上一轮loss3时，触发内循环；
121.图像目标检测模型计算模块500，用于当loss3在连续预设次数内不发生改变时，停止使用所述基础目标检测模型进行训练，得到图像目标检测模型。可见，和现有的目标训练模型需要开发者自行收集原始数据进行标注，仅仅只能使用原始数据进行训练相比，本发明由于可以利用少量的原始数据，生成大量的生成数据，并且对生成数据和原始数据进行混合，得到外循环需要的混合数据，极大的降低了训练模型所需数据的收集时间。并且由于存在可以使用原始数据和生成数据进行内循环迭代训练，使用混合数据进行外循环迭代训练，使得对基础目标检测模型进行内外循环迭代训练后，得到的图像目标检测训练模型可以更加准确的识别目标物品。并且，由于可以在上采样的过程中利用最大池化进行全局特征优化，使得生成数据的局部特征和整体特征联系大大增强；并且，使用cycle-gan对原始数据进行扩充，使得训练数据量大大增强；并且，在利用cycle-gan进行数据扩充的过程中利用随机点位算子进行有效性校验，使得生成数据更加具有真实性；并且对内循环损失函数进行重构时加入遮挡面积和遮挡位置，使得进行内循环时确保全局最优；并且在外循环损失函数进行重构时加入遮挡位置，使得到的图像目标检测模型的识别准确率大大提高。
122.下面对本发明实施例提供的图像目标检测模型训练设备进行介绍，下文描述的图像目标检测模型训练设备与上文描述的图像目标检测模型训练方法可相互对应参照。
123.请参考图8，图8为本发明实施例提供的图像目标检测模型训练设备的结构示意图，可以包括：
124.存储器10，用于存储计算机程序；
125.处理器20，用于执行计算机程序，以实现上述的图像目标检测模型训练方法的步骤。
126.存储器10、处理器20、通信接口31均通过通信总线32完成相互间的通信。
127.如图8所示，为图像目标检测模型训练设备的组成结构示意图，图像目标检测模型训练可以包括：存储器10、处理器20、通信接口30和通信总线40。存储器10、处理器20、通信接口30均通过通信总线40完成相互间的通信。
128.存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括nvram。存储器存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础任务以及处理基于硬件的任务。
129.处理器控制应用复制终端设备的操作，处理器还可以称为cpu。处理器的数量可以一个或多个。在本技术的一些实施例中，处理器和存储器可通过总线或其它方式连接。
130.上述本技术实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器
可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
131.当然，需要说明的是，图8所示的结构并不构成对本技术实施例中图像目标检测模型训练设备的限定，在实际应用中图像目标检测模型训练设备可以包括比图8所示的更多或更少的部件，或者组合某些部件。
132.下面对本发明实施例提供的存储介质进行介绍，下文描述的存储介质与上文描述的图像目标检测模型训练方法可相互对应参照。
133.本发明还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的图像目标检测模型训练方法的步骤。
134.该存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
135.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
136.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。
137.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
138.以上对本发明所提供的图像目标检测模型训练方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。