模型训练样本生成方法、装置、存储介质以及电子设备与流程

文档序号:27945335发布日期:2021-12-11 13:46阅读:100来源:国知局
模型训练样本生成方法、装置、存储介质以及电子设备与流程

1.本发明涉及神经网络领域,具体而言,涉及一种模型训练样本生成方法、装置、存储介质以及电子设备。


背景技术:

2.现有技术中,在训练识别模型时,通常是使用带有待识别对象的图片作为样本,使用样本对识别模型进行训练。如果识别模型识别样本出现识别错误,则将识别错误的图像作为负样本对识别模型进行训练。
3.然而,在上述过程中,仅仅将识别错误的图像作为负样本对识别模型进行训练,并不能够充分利用识别错误的图像的信息,造成对识别模型的训练效果差。


技术实现要素:

4.本发明实施例提供了一种模型训练样本生成方法、装置、存储介质以及电子设备,以至少解决样本对模型训练效果差的技术问题。
5.根据本发明实施例的一个方面,提供了一种模型训练样本生成方法,包括:获取背景图片、正样本图片和负样本图片,其中,上述正样本图片中包括待识别对象,上述负样本图片中包括被错误识别的对象;将上述正样本图片叠加到上述背景图片上;将上述负样本图片叠加在上述背景图片上除上述正样本图片之外的区域;将叠加后的图片作为目标训练样本,其中,上述目标训练样本用于训练目标识别模型,上述目标识别模型用于识别上述目标训练样本中的上述待识别对象。
6.根据本发明实施例的另一方面,提供了一种模型训练样本生成装置,包括:第一获取单元,用于获取背景图片、正样本图片和负样本图片,其中,上述正样本图片中包括待识别对象,上述负样本图片中包括被错误识别的对象;第一处理单元,用于将上述正样本图片叠加到上述背景图片上;第二处理单元,用于将上述负样本图片叠加在上述背景图片上除上述正样本图片之外的区域;第一确定单元,用于将叠加后的图片作为目标训练样本,其中,上述目标训练样本用于训练目标识别模型,上述目标识别模型用于识别上述目标训练样本中的上述待识别对象。
7.作为一种可选的示例,上述第二处理单元包括:第一确定模块,用于从上述背景图片上,上述正样本图片所在的区域之外的区域中,确定出目标区域;选择模块,用于从上述目标区域中选择叠加点;处理模块,用于将上述负样本图片叠加到上述叠加点上。
8.作为一种可选的示例,上述确定模块包括:确定子模块,用于在上述正样本图片与上述负样本图片为圆形的情况下,将上述背景图片上,距离上述正样本图片的中心点r1+r2到r1+r2+l的范围确定为上述目标区域,其中,上述r1为上述正样本图片的半径,上述r2为上述负样本图片的半径,上述l为正数。
9.作为一种可选的示例,上述处理模块包括:对齐子模块,用于将上述负样本图片的中心点与上述叠加点对齐;叠加子模块,用于在对齐后,将上述负样本图片叠加到上述叠加
点上。
10.作为一种可选的示例,上述第二处理单元包括:叠加模块,用于在上述负样本图片包括多张的情况下,按照顺序将每一张上述负样本图片叠加到上述背景图片上除上述正样本图片之外的区域,其中,多张负样本图片之间不重叠。
11.作为一种可选的示例,上述第一获取单元包括:第二确定模块,用于从负样本图片集中确定出与上述正样本图片的相似度大于第一阈值的目标图片,其中,上述负样本图片集中的每一张图片为被错误识别的图片;选择模块,用于从上述目标图片中选择一张或者多张图片作为上述负样本图片。
12.作为一种可选的示例,上述装置还包括:输入单元,用于在将叠加后的图片作为目标训练样本之后,将上述目标训练样本输入到上述目标识别模型中;第二获取单元,用于获取上述目标识别模型输出的上述目标训练样本中上述待识别对象的识别类型;第一调整单元,用于在上述识别类型与上述待识别对象的标签不匹配的情况下,调整上述目标识别模型中的模型参数。
13.作为一种可选的示例,上述装置还包括:第三获取单元,用于获取上述目标识别模型输出的上述目标训练样本中上述待识别对象的识别区域;第四获取单元,用于获取上述识别区域与上述待识别对象在上述正样本图片中的真实区域的交集与并集;第二确定单元,用于由上述交集比上上述并集,确定出识别参数;第二调整单元,用于在上述识别参数小于第二阈值的情况下,调整上述模型参数。
14.根据本发明实施例的又一方面,还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被处理器运行时执行上述模型训练样本生成方法。
15.根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的模型训练样本生成方法。
16.在本发明实施例中,采用了获取背景图片、正样本图片和负样本图片,其中,上述正样本图片中包括待识别对象,上述负样本图片中包括被错误识别的对象;将上述正样本图片叠加到上述背景图片上;将上述负样本图片叠加在上述背景图片上除上述正样本图片之外的区域;将叠加后的图片作为目标训练样本,其中,上述目标训练样本用于训练目标识别模型,上述目标识别模型用于识别上述目标训练样本中的上述待识别对象的方法,由于在上述方法中,在制作训练识别模型的训练样本时,在获取到负样本图片后,是将正样本图片叠加到背景图片上,将负样本图片叠加在背景图片上除正常本图片之外的区域,从而得到目标训练样本,使用目标训练样本训练识别模型,可以让识别模型将更多的注意力集中到正样本图片中,而非负样本图片中,提高了识别模型的训练效果,进而解决了样本对模型训练效果差的技术问题。
附图说明
17.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
18.图1是根据本发明实施例的一种可选的模型训练样本生成方法的流程图;
19.图2是根据本发明实施例的一种可选的模型训练样本生成方法的添加正样本图片
的示意图;
20.图3是根据本发明实施例的一种可选的模型训练样本生成方法的添加负样本图片的示意图;
21.图4是根据本发明实施例的一种可选的模型训练样本生成方法的确定目标区域的示意图;
22.图5是根据本发明实施例的另一种可选的模型训练样本生成方法的添加负样本图片的示意图;
23.图6是根据本发明实施例的又一种可选的模型训练样本生成方法的添加负样本图片的示意图;
24.图7是根据本发明实施例的一种可选的模型训练样本生成方法的确定负样本图片的示意图;
25.图8是根据本发明实施例的一种可选的模型训练样本生成方法的待识别对象的真实区域和识别区域的示意图;
26.图9是根据本发明实施例的一种可选的模型训练样本生成装置的结构示意图;
27.图10是根据本发明实施例的一种可选的电子设备的示意图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
29.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.根据本发明实施例的第一方面,提供了一种模型训练样本生成方法,可选地,如图1所示,上述方法包括:
31.s102,获取背景图片、正样本图片和负样本图片,其中,所述正样本图片中包括待识别对象,所述负样本图片中包括被错误识别的对象;
32.s104,将所述正样本图片叠加到所述背景图片上;
33.s106,将所述负样本图片叠加在所述背景图片上除所述正样本图片之外的区域;
34.s108,将叠加后的图片作为目标训练样本,其中,所述目标训练样本用于训练目标识别模型,所述目标识别模型用于识别所述目标训练样本中的所述待识别对象。
35.可选地,在本实施例中,背景图片的背景颜色可以为不同的颜色,可以为纯色或者多种颜色的组合,背景图片中可以包括或者不包括文字、图像等,本实施例并不限定。本实
施例中的正样本图片中包括待识别对象,在生成目标训练样本后,由目标识别模型识别目标训练样本中的待识别对象的类型与位置。负样本中包括被错误识别的对象。例如,目标识别模型识别一张图片,识别图片中的对象的类型与位置,如果识别错误,则将图片中的对象作为负样本图片中的对象。在制作目标训练样本时,将正样本图片叠加到背景图片上,然后将负样本图像叠加到背景图片中,正样本图片之外的区域,从而得到目标训练样本。使用目标训练样本训练目标识别模型,由目标识别模型识别目标训练样本中的待识别对象,可以提高对目标识别模型的训练效果。
36.可选地,本实施例中,在使用目标训练样本训练目标识别模型时,可以将目标训练样本和目标训练样本的标签:待识别图像在目标训练样本中的区域与待识别图像的类型一并输入到目标识别模型中,由目标识别模型识别待识别对象的区域类型,然后比对目标识别模型的识别结果与标签,如果不一致,则调整目标识别模型的模型参数,从而提高目标识别模型的训练效果。
37.作为一种可选的示例,所述将所述负样本图片叠加在所述背景图片上除所述正样本图片之外的区域包括:
38.从所述背景图片上,所述正样本图片所在的区域之外的区域中,确定出目标区域;
39.从所述目标区域中选择叠加点;
40.将所述负样本图片叠加到所述叠加点上。
41.可选地,本实施例中,背景图片中,正样本图片可以随机选择叠加位置进行叠加,叠加后的效果如图2所示。图2中,在背景图片202中可以叠加正样本图片204,然后,背景图片中除了正样本图片204之外的区域,可以确定出目标区域206。在确定出目标区域之后,可以将负样本图片叠加到目标区域中。
42.本实施例中,在将负样本图片叠加到目标区域中时,可以在目标区域中选择叠加点,然后将负样本图片叠加在叠加点上。例如,如图3所示。图3中,在确定出目标区域302之后,可以在目标区域302之内确定叠加点304,然后将负样本图片306叠加在叠加点304上。
43.作为一种可选的示例,所述从所述背景图片上,所述正样本图片所在的区域之外的区域中,确定出目标区域包括:
44.在所述正样本图片与所述负样本图片为圆形的情况下,将所述背景图片上,距离所述正样本图片的中心点r1+r2到r1+r2+l的范围确定为所述目标区域,其中,所述r1为所述正样本图片的半径,所述r2为所述负样本图片的半径,所述l为正数。
45.可选地,本实施例中,在确定目标区域时,可以根据负样本图片和正样本图片来确定目标区域。例如,如果负样本图片和正样本图片为圆形,则可以根据两者的半径来确定目标区域。如图4所示。对于正样本图片402,可以确定其半径r1,确定负样本图片的半径r2,然后确定一个整数l,将距离所述正样本图片的中心点r1+r2到r1+r2+l的范围404确定为所述目标区域。
46.作为一种可选的示例,所述将所述负样本图片叠加到所述叠加点上包括:
47.将所述负样本图片的中心点与所述叠加点对齐;
48.在对齐后,将所述负样本图片叠加到所述叠加点上。
49.可选地,本实施例中,在将负样本图片叠加到所述叠加点上时,可以确定负样本图片的中心点,将中心点与叠加点对齐,将负样本图片叠加到所述叠加点上。例如,如图5所
示。确定出目标区域502之后,在目标区域502中确定叠加点504,将负样本图片506的中心点与叠加点504对齐,将负样本图片506叠加在叠加点504处。
50.作为一种可选的示例,所述将所述负样本图片叠加在所述背景图片上除所述正样本图片之外的区域包括:
51.在所述负样本图片包括多张的情况下,按照顺序将每一张所述负样本图片叠加到所述背景图片上除所述正样本图片之外的区域,其中,多张负样本图片之间不重叠。
52.可选地,本实施例中,如果包括了多张负样本图片,则可以一张一张的添加,每添加一张负样本图片后,重新确定剩余的可以添加负样本图片的区域,然后添加下一张负样本图片。例如,如图6所示。图6中,将正样本图片602叠加到背景图片中时候,将负样本图片604叠加到背景图片中之后,再叠加负样本图片606到背景图片中。
53.作为一种可选的示例,获取所述负样本图片包括:
54.从负样本图片集中确定出与所述正样本图片的相似度大于第一阈值的目标图片,其中,所述负样本图片集中的每一张图片为被错误识别的图片;
55.从所述目标图片中选择一张或者多张图片作为所述负样本图片。
56.可选地,本实施例中,可以将负样本图片存入负样本图片集。如目标识别模型每识别错误一张图片,则将该图片作为负样本图片存入负样本图片集中。当确定正样本图片的负样本图片时,从负样本图片集中确定出与正样本图片的相似度大于第一阈值的目标图片,将目标图片作为正样本图片的负样本图片。例如,如图7所示。负样本图片集中包括了负样本图片1到负样本图片4,将正样本图片与负样本图片进行相似度比对,得到负样本图片1和负样本图片3,将负样本图片1和负样本图片3叠加到背景图片中除正样本图片之外的区域。
57.作为一种可选的示例,在将叠加后的图片作为目标训练样本之后,所述方法还包括:
58.将所述目标训练样本输入到所述目标识别模型中;
59.获取所述目标识别模型输出的所述目标训练样本中所述待识别对象的识别类型;
60.在所述识别类型与所述待识别对象的标签不匹配的情况下,调整所述目标识别模型中的模型参数。
61.在本实施例中,通过目标训练样本训练目标识别模型,可以通过目标识别模型识别出的目标训练样本中的待识别对象的类型和目标训练样本中待识别对象的标签进行比对,如果标签不匹配,则调整目标识别模型的模型参数。例如,目标训练样本中待识别对象为狗,目标识别模型的输出结果中,待识别对象为猫,则说明目标识别模型识别错误,需要调整模型参数。
62.作为一种可选的示例,所述方法还包括:
63.获取所述目标识别模型输出的所述目标训练样本中所述待识别对象的识别区域;
64.获取所述识别区域与所述待识别对象在所述正样本图片中的真实区域的交集与并集;
65.由所述交集比上所述并集,确定出识别参数;
66.在所述识别参数小于第二阈值的情况下,调整所述模型参数。
67.可选地,在本实施例中,目标识别模型可以识别待识别对象在背景图片中的识别
区域,获取该识别区域,以及待识别对象在背景图片中的真实区域,将真实区域与识别区域的交集比上并集,得到识别参数,如果识别参数小于第二阈值,则调整模型参数。例如,如图8所示。图8中,待识别对象的区域为802,目标识别模型识别出的待识别对象的识别区域为804,此时,目标识别模型识别的并不准确。将识别区域804和真实区域802的交集比上并集,得到识别参数。识别参数越接近于1,说明目标识别模型的识别结果越准确。
68.深度学习:深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
69.损失函数(loss function):深度学习的任务本质上来说是拟合一个函数f,将输入映射到对应的输出,映射的好坏需要用损失函数来表达,损失函数用来估量模型的预测值f(x)和真实值y的不一致程度,损失函数越小,一般就代表模型的鲁棒性越好,正是损失函数指导了模型的学习。在训练时,通过最小化损失函数,使模型达到收敛状态,减少模型预测值的误差。
70.目标检测:找出图像中所有感兴趣的目标,确定它们的类别和位置,即解决“在哪里?是什么?”两个问题,是计算机视觉领域的核心问题之一。
71.yolo算法:yolo系列算法是基于深度学习的目标检测算法。
72.召回率:指某类样本有多少被找出来了,假设某类样本有1000个,模型找到了900个,则召回率为90%。
73.误检率:指在虚假目标的总量里有多少被误识为真实目标;假设没有目标的图有1000张,却检测出100张,则误检率为10%。
74.可选地,本实施例中,损失函数可以使用yolov5的损失函数。yolov5是yolo算法的一个版本。yolov5的损失函数由三部分组成,一个是只有正样本才有的回归损失,记为box loss,一个是只有正样本才有的分类损失,记为cls loss,还有一个是正负样本均有的前景背景预测的分类损失,记为obj loss。yolov5采用预测框(识别区域)和真实框(真实区域)的iou作为objectness的识别参数(iou(intersection over union):交并比,计算的是预测框和真实框的交集和并集的比值),也就是说预测框和真实框重合度越高,当前样本被正确识别的可能性就越大。yolov5中的obj loss的识别参数在得到预测值之前是不知道的,也就是说根据预测框的结果才实时计算出来的。
75.本实施例中,在制作数据时,贴一个正样本同时在其周围贴两个被误检的负样本。在易被误检的区域中贴正样本,谁是目标更为明确,对比更为鲜明,告诉网络谁是目标的同时也让它知道谁不是目标,更有利于模型学习到谁是真正的目标;从obj loss上来看,只有真正预测到目标时,obj loss的识别参数才为1,偏离越多(即覆盖误检区域越大),识别参数越小,就表示它是背景不是目标,在预测框慢慢偏移的过程中,如图8,obj loss的识别参数会逐渐从0过渡到1,预测框804会逐渐向真实框802靠拢,直到obj loss的识别参数为1。此时,目标识别网络能够知晓真实框802的是目标对象。在这个过程中,预测框位置的变化会影响到该预测框的识别参数,通过识别参数的逐步变化,会让网络慢慢知道谁是目标,谁不是目标,会使得网络学习更准确。
76.在准备目标训练样本时,首先提前准备好待检测的目标图(正样本图片)以及每类目标容易被误检的图(负样本图片),以及没有目标的背景图片。
77.对任一背景图片,首先在图片中随机选取一个点a,然后以a为中心贴目标图,如图4中的在背景图片中叠加正样本图像402,在目标图周围确定一个范围b,如图4中的范围404,范围b为环形区域,确定标准是:以目标图圆心为圆心,以目标图直径为半径所画的圆圈即为范围404的內圆,以目标图圆心为圆心,以目标图直径稍大的值为半径所画的圆圈,即为图4中范围404的外圆。这样做的目的是防止贴图时出现重合。比目标图直径稍大的值,可以为大10个像素,或者大10分之一等。
78.范围b确定的标准简单来说就是:以范围b内的任一点为中心贴误检图后,误检图不能与目标图重合,同时也不能相隔太远。
79.在范围b内随机取点,随机取几个点可以自由设置,比如随机取2个点,然后以这两个点为中心贴误检的图片。通常每类目标都会有多个误检,因此可以随机选择不同的误检图片贴到目标图附近。如在自制目标检测数据时,贴一个正样本同时在其周围贴两个被误检的负样本,根据yolov5损失函数的特性,预测框位置的变化会影响到该预测框的标签,通过标签的逐步变化,能让网络明确知道谁是目标,谁不是目标。
80.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
81.根据本技术实施例的另一方面,还提供了一种模型训练样本生成装置,如图9所示,包括:
82.第一获取单元902,用于获取背景图片、正样本图片和负样本图片,其中,所述正样本图片中包括待识别对象,所述负样本图片中包括被错误识别的对象;
83.第一处理单元904,用于将所述正样本图片叠加到所述背景图片上;
84.第二处理单元906,用于将所述负样本图片叠加在所述背景图片上除所述正样本图片之外的区域;
85.第一确定单元908,用于将叠加后的图片作为目标训练样本,其中,所述目标训练样本用于训练目标识别模型,所述目标识别模型用于识别所述目标训练样本中的所述待识别对象。
86.可选地,在本实施例中,背景图片的背景颜色可以为不同的颜色,可以为纯色或者多种颜色的组合,背景图片中可以包括或者不包括文字、图像等,本实施例并不限定。本实施例中的正样本图片中包括待识别对象,在生成目标训练样本后,由目标识别模型识别目标训练样本中的待识别对象的类型与位置。负样本中包括被错误识别的对象。例如,目标识别模型识别一张图片,识别图片中的对象的类型与位置,如果识别错误,则将图片中的对象作为负样本图片中的对象。在制作目标训练样本时,将正样本图片叠加到背景图片上,然后将负样本图像叠加到背景图片中,正样本图片之外的区域,从而得到目标训练样本。使用目标训练样本训练目标识别模型,由目标识别模型识别目标训练样本中的待识别对象,可以提高对目标识别模型的训练效果。
87.可选地,本实施例中,在使用目标训练样本训练目标识别模型时,可以将目标训练样本和目标训练样本的标签:待识别图像在目标训练样本中的区域与待识别图像的类型一
并输入到目标识别模型中,由目标识别模型识别待识别对象的区域类型,然后比对目标识别模型的识别结果与标签,如果不一致,则调整目标识别模型的模型参数,从而提高目标识别模型的训练效果。
88.作为一种可选的示例,上述第二处理单元包括:
89.第一确定模块,用于从所述背景图片上,所述正样本图片所在的区域之外的区域中,确定出目标区域;
90.选择模块,用于从所述目标区域中选择叠加点;
91.处理模块,用于将所述负样本图片叠加到所述叠加点上。
92.可选地,本实施例中,背景图片中,正样本图片可以随机选择叠加位置进行叠加,叠加后的效果如图2所示。图2中,在背景图片202中可以叠加正样本图片204,然后,背景图片中除了正样本图片204之外的区域,可以确定出目标区域206。在确定出目标区域之后,可以将负样本图片叠加到目标区域中。
93.本实施例中,在将负样本图片叠加到目标区域中时,可以在目标区域中选择叠加点,然后将负样本图片叠加在叠加点上。例如,如图3所示。图3中,在确定出目标区域302之后,可以在目标区域302之内确定叠加点304,然后将负样本图片306叠加在叠加点304上。
94.作为一种可选的示例,上述确定模块包括:
95.确定子模块,用于在所述正样本图片与所述负样本图片为圆形的情况下,将所述背景图片上,距离所述正样本图片的中心点r1+r2到r1+r2+l的范围确定为所述目标区域,其中,所述r1为所述正样本图片的半径,所述r2为所述负样本图片的半径,所述l为正数。
96.可选地,本实施例中,在确定目标区域时,可以根据负样本图片和正样本图片来确定目标区域。例如,如果负样本图片和正样本图片为圆形,则可以根据两者的半径来确定目标区域。如图4所示。对于正样本图片402,可以确定其半径r1,确定负样本图片的半径r2,然后确定一个整数l,将距离所述正样本图片的中心点r1+r2到r1+r2+l的范围404确定为所述目标区域。
97.作为一种可选的示例,上述处理模块包括:
98.对齐子模块,用于将所述负样本图片的中心点与所述叠加点对齐;
99.叠加子模块,用于在对齐后,将所述负样本图片叠加到所述叠加点上。
100.可选地,本实施例中,在将负样本图片叠加到所述叠加点上时,可以确定负样本图片的中心点,将中心点与叠加点对齐,将负样本图片叠加到所述叠加点上。例如,如图5所示。确定出目标区域502之后,在目标区域502中确定叠加点504,将负样本图片506的中心点与叠加点504对齐,将负样本图片506叠加在叠加点504处。
101.作为一种可选的示例,上述第二处理单元包括:
102.叠加模块,用于在所述负样本图片包括多张的情况下,按照顺序将每一张所述负样本图片叠加到所述背景图片上除所述正样本图片之外的区域,其中,多张负样本图片之间不重叠。
103.可选地,本实施例中,如果包括了多张负样本图片,则可以一张一张的添加,每添加一张负样本图片后,重新确定剩余的可以添加负样本图片的区域,然后添加下一张负样本图片。例如,如图6所示。图6中,将正样本图片602叠加到背景图片中时候,将负样本图片604叠加到背景图片中之后,再叠加负样本图片606到背景图片中。
104.作为一种可选的示例,上述第一获取单元包括:
105.第二确定模块,用于从负样本图片集中确定出与所述正样本图片的相似度大于第一阈值的目标图片,其中,所述负样本图片集中的每一张图片为被错误识别的图片;
106.选择模块,用于从所述目标图片中选择一张或者多张图片作为所述负样本图片。
107.可选地,本实施例中,可以将负样本图片存入负样本图片集。如目标识别模型每识别错误一张图片,则将该图片作为负样本图片存入负样本图片集中。当确定正样本图片的负样本图片时,从负样本图片集中确定出与正样本图片的相似度大于第一阈值的目标图片,将目标图片作为正样本图片的负样本图片。例如,如图7所示。负样本图片集中包括了负样本图片1到负样本图片4,将正样本图片与负样本图片进行相似度比对,得到负样本图片1和负样本图片3,将负样本图片1和负样本图片3叠加到背景图片中除正样本图片之外的区域。
108.作为一种可选的示例,上述装置还包括:
109.输入单元,用于在将叠加后的图片作为目标训练样本之后,将所述目标训练样本输入到所述目标识别模型中;
110.第二获取单元,用于获取所述目标识别模型输出的所述目标训练样本中所述待识别对象的识别类型;
111.第一调整单元,用于在所述识别类型与所述待识别对象的标签不匹配的情况下,调整所述目标识别模型中的模型参数。
112.在本实施例中,通过目标训练样本训练目标识别模型,可以通过目标识别模型识别出的目标训练样本中的待识别对象的类型和目标训练样本中待识别对象的标签进行比对,如果标签不匹配,则调整目标识别模型的模型参数。例如,目标训练样本中待识别对象为狗,目标识别模型的输出结果中,待识别对象为猫,则说明目标识别模型识别错误,需要调整模型参数。
113.作为一种可选的示例,上述装置还包括:
114.第三获取单元,用于获取所述目标识别模型输出的所述目标训练样本中所述待识别对象的识别区域;
115.第四获取单元,用于获取所述识别区域与所述待识别对象在所述正样本图片中的真实区域的交集与并集;
116.第二确定单元,用于由所述交集比上所述并集,确定出识别参数;
117.第二调整单元,用于在所述识别参数小于第二阈值的情况下,调整所述模型参数。
118.可选地,在本实施例中,目标识别模型可以识别待识别对象在背景图片中的识别区域,获取该识别区域,以及待识别对象在背景图片中的真实区域,将真实区域与识别区域的交集比上并集,得到识别参数,如果识别参数小于第二阈值,则调整模型参数。例如,如图8所示。图8中,待识别对象的区域为802,目标识别模型识别出的待识别对象的识别区域为804,此时,目标识别模型识别的并不准确。将识别区域804和真实区域802的交集比上并集,得到识别参数。识别参数越接近于1,说明目标识别模型的识别结果越准确。
119.本实施例的其他示例请参见上述示例,在此不在赘述。
120.图10是根据本技术实施例的一种可选的电子设备的结构框图,如图10所示,包括处理器1002、通信接口1004、存储器1006和通信总线1008,其中,处理器1002、通信接口1004
和存储器1006通过通信总线1008完成相互间的通信,其中,
121.存储器1006,用于存储计算机程序;
122.处理器1002,用于执行存储器1006上所存放的计算机程序时,实现如下步骤:
123.获取背景图片、正样本图片和负样本图片,其中,所述正样本图片中包括待识别对象,所述负样本图片中包括被错误识别的对象;
124.将所述正样本图片叠加到所述背景图片上;
125.将所述负样本图片叠加在所述背景图片上除所述正样本图片之外的区域;
126.将叠加后的图片作为目标训练样本,其中,所述目标训练样本用于训练目标识别模型,所述目标识别模型用于识别所述目标训练样本中的所述待识别对象。
127.可选地,在本实施例中,上述的通信总线可以是pci(peripheral component interconnect,外设部件互连标准)总线、或eisa(extended industry standard architecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
128.存储器可以包括ram,也可以包括非易失性存储器(non

volatile memory),例如,至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
129.作为一种示例,上述存储器1006中可以但不限于包括上述请求的处理装置中的第一获取单元902、第一处理单元904、第二处理单元906以及第一确定单元908。此外,还可以包括但不限于上述请求的处理装置中的其他模块单元,本示例中不再赘述。
130.上述处理器可以是通用处理器,可以包含但不限于:cpu(central processing unit,中央处理器)、np(network processor,网络处理器)等;还可以是dsp(digital signal processing,数字信号处理器)、asic(application specific integrated circuit,专用集成电路)、fpga(field-programmable gate array,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
131.可选地,本实施例中的具体示例可以参考上述实施例中所描述的示例,本实施例在此不再赘述。
132.本领域普通技术人员可以理解,图10所示的结构仅为示意,实施上述请求的处理方法的设备可以是终端设备,该终端设备可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图10其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图10中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图10所示的不同的配置。
133.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、rom、ram、磁盘或光盘等。
134.根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被处理器运行时执行上述模型训练样本生成方法中的步骤。
135.可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于
一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read

only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
136.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
137.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
138.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
139.在本技术所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
140.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
141.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
142.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1