一种训练集生成方法、网络模型训练方法及相关装置与流程

1.本技术涉及图像处理技术领域，具体涉及一种训练集生成方法、网络模型训练方法及相关装置。


背景技术：

2.深度学习网络模型的识别效果依赖于训练集，对于复杂任务，若要想有较好的识别效果与泛化能力，往往需要利用大规模的数据集进行训练，然而单纯仅依靠增加数据集的数量并不能起到提高识别效果的目的；目前仅能通过人工识别图像，然后在训练集中增加人工识别出的模型识别效果较差的图像来优化网络模型，无法高效准确地判断模型对哪类图像识别效果差，且数据收集和人工标注所耗费的人力物力成本也较高。


技术实现要素：

3.本技术提供一种训练集生成方法、网络模型训练方法及相关装置，能够提高待优化网络模型的优化效果。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种训练集生成方法，该训练集生成方法包括：获取待优化网络模型与图像数据库，图像数据库包括多张原始图像；基于原始图像中的非关注区域，对原始图像进行调整，得到参考图像；将原始图像输入待优化网络模型，得到第一输出结果；将参考图像输入待优化网络模型，得到第二输出结果；响应于基于第一输出结果与第二输出结果判定原始图像满足预设筛选条件，将原始图像添加到训练集中，以采用训练集对待优化网络模型进行训练。
5.为解决上述技术问题，本技术采用的技术方案是：提供一种网络模型训练方法，该网络模型训练方法包括：获取训练集，训练集为利用上述技术方案中的训练集生成方法得到的；将训练集输入待优化网络模型，以对待优化网络模型进行训练，得到优化后网络模型。
6.为解决上述技术问题，本技术采用的另一技术方案是：提供一种图像处理装置，图像处理装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的训练集生成方法。
7.为解决上述技术问题，本技术采用的又一技术方案是：提供一种计算机可读存储介质，其用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的训练集生成方法或网络模型训练方法。
8.通过上述方案，本技术的有益效果是：先获取待优化网络模型与图像数据库；然后根据原始图像中的非关注区域，对原始图像进行调整，得到参考图像；然后基于第一输出结果与第二输出结果来判断原始图像是否满足预设筛选条件，将满足预设筛选条件的原始图像添加到训练集中，以便后续采用训练集对待优化网络模型进行训练，起到优化待优化网络模型的目的；通过采用本方案，能够从大规模数据中自动筛选出对待优化网络模型的优化有较大价值的图像作为训练集，提高待优化网络模型的优化效果，使得待优化网络模型
的性能更好，省去了人工分析过程，大大减少人工标注成本。
附图说明
9.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
10.图1是本技术提供的训练集生成方法一实施例的流程示意图；
11.图2是本技术提供的训练集生成方法另一实施例的流程示意图；
12.图3是本技术提供的关注区域检测的示意图；
13.图4是本技术提供的判断原始图像是否满足预设筛选条件的流程示意图；
14.图5是本技术提供的判断原始图像是否满足预设筛选条件的另一方案的流程示意图；
15.图6是本技术提供的网络模型训练方法一实施例的流程示意图；
16.图7是本技术提供的图像处理装置一实施例的结构示意图；
17.图8是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
18.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
19.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
20.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
21.请参阅图1，图1是本技术提供的训练集生成方法一实施例的流程示意图，该方法包括：
22.步骤11：获取待优化网络模型与图像数据库。
23.图像数据库包括多张原始图像，待优化网络模型可为基于现有训练集训练得到的模型，待优化网络模型可为人体识别模型或车辆属性识别模型等，在此不对待优化网络模
型的种类、功能进行限定。
24.进一步地，原始图像可为包含待优化网络模型的检测对象的图像，例如：待优化网络模型为人体识别模型，则原始图像为包含人体目标的图像。原始图像的场景信息也可与待优化网络模型的场景信息相同，例如：待优化网络模型为用于对商场人员进行识别的工作人员识别模型，则原始图像便可为包含人体目标的商场监控图像。可以理解地，图像数据库可根据实际情况进行建立，在此不作限定。
25.步骤12：基于原始图像中的非关注区域，对原始图像进行调整，得到参考图像。
26.非关注区域即为原始图像中的关注区域之外的其他区域，可基于原始图像中的非关注区域，对原始图像进行调整，得到参考图像；具体地，可对原始图像的非关注区域进行干扰等处理，来实现对原始图像的调整，在此不作限定。
27.进一步地，在对原始图像的识别过程中，待优化网络模型可先识别出原始图像中的关注区域，然后对关注区域中的检测目标进行特征分析，从而得到识别结果；可以理解地，关注区域可为待优化网络模型的检测目标所在的区域，例如：对于人体识别模型来说，关注区域可为原始图像中人体目标所在的区域。
28.步骤13：将原始图像输入待优化网络模型，得到第一输出结果。
29.将原始图像输入待优化网络模型，得到第一输出结果，第一输出结果可包括原始图像中检测目标的属性识别结果，例如：待优化网络模型为车型识别模型，将原始图像输入车型识别模型，得到的第一输出结果可包括车辆的车型类别。
30.步骤14：将参考图像输入待优化网络模型，得到第二输出结果。
31.将参考图像输入待优化网络模型，得到第二输出结果，第二输出结果可包括参考图像中检测目标的属性识别结果。
32.步骤15：响应于基于第一输出结果与第二输出结果判定原始图像满足预设筛选条件，将原始图像添加到训练集中，以采用训练集对待优化网络模型进行训练。
33.在得到第一输出结果与第二输出结果之后，可基于第一输出结果与第二输出结果判断原始图像是否满足预设筛选条件；如果原始图像满足预设筛选条件，则将原始图像添加到训练集中，以采用训练集对待优化网络模型进行训练，从而达到优化待优化网络模型识别效果的目的。
34.在一具体的实施例中，满足预设筛选条件的图像可为所有原始图像中待优化网络模型的识别效果不好的图像，待优化网络模型对图像的识别效果很大程度上受其对关注区域的检测精度的影响，如果待优化网络模型在对图像的识别过程中，识别到错误的关注区域，容易导致输出错误的识别结果，从而影响识别精度；通过对第一输出结果与第二输出结果进行比较，能够对待优化网络模型对关注区域的检测精度进行判断，从而筛选出待优化网络模型的识别效果不好的原始图像；然后将待优化网络模型的识别效果不好的原始图像添加至训练集中，能够生成提高待优化网络模型的优化效果的训练集，利用训练集对待优化网络模型进行训练，能够针对性地提升待优化网络模型的识别效果。
35.本实施例根据原始图像中的非关注区域，对原始图像进行调整，得到参考图像，然后基于第一输出结果与第二输出结果来判断原始图像是否满足预设筛选条件，将满足预设筛选条件的原始图像添加到训练集中，以便后续采用训练集对待优化网络模型进行训练，起到优化待优化网络模型的目的；通过采用本方案能够从大规模数据中自动筛选出对待优
化网络模型的优化有较大价值的图像作为训练集，提高待优化网络模型的优化效果，使得待优化网络模型的性能更好，省去了人工分析过程，大大减少人工标注成本。
36.请参阅图2，图2是本技术提供的训练集生成方法另一实施例的流程示意图，该方法包括：
37.步骤21：获取待优化网络模型与图像数据库。
38.步骤21与上述实施例中的步骤11相同，在此不再赘述。
39.步骤22：对原始图像进行目标检测处理，得到原始图像中的检测目标所在的关注区域。
40.可对原始图像进行目标检测处理，得到原始图像中的检测目标所在的关注区域，关注区域与上述实施例介绍的关注区域相同，在此不再详述。具体地，可利用目标检测模型获取关注区域，例如：待优化网络模型为人脸识别模型，人脸识别模型的检测目标即为人体目标的头部区域，则可利用人体部位检测模型获取原始图像中的头部区域，得到关注区域，如图3所示，图3为对人体目标的头部区域进行检测的示意图，其中，a为头部区域。
41.步骤23：对原始图像中的非关注区域进行扰动处理，得到参考图像。
42.可对原始图像中的非关注区域进行扰动处理，从而得到参考图像；具体地，可对原始图像中的非关注区域进行随机裁剪，得到参考图像；或者，对原始图像中的非关注区域添加高斯噪声，得到参考图像；或者，对原始图像中的非关注区域进行填充处理，得到参考图像；或者，对原始图像中的非关注区域进行擦除处理，得到参考图像。可以理解地，扰动处理还可包括除上述举例之外的其他方式，扰动的具体位置以及数量可随机设置，在此不作限定。
43.待优化网络模型的识别效果与待优化网络模型对关注区域的检测精度有关，若待优化网络模型能够检测出正确的关注区域，此时尽管对非关注区域进行扰动处理，待优化网络模型也能得到准确的输出结果，也就是说，对参考图像进行识别得到的输出结果与对原始图像进行识别得到的输出结果的差别不大；反之，若待优化网络模型的识别效果不好，待优化网络模型无法检测出准确的关注区域，此时对非关注区域进行扰动处理，待优化网络模型得到的输出结果可产生较大的差异。
44.例如：以检测目标为头部为例，关注区域为头部区域，对头部区域以外部分添加扰动，若待优化网络模型识别出的关注区域为头部区域，即使对头部区域以外部分添加扰动，待优化网络模型的输出结果也不会有太大变化；若待优化网络模型识别出的关注区域为头部区域以外的区域，由于在头部区域以外部分添加了扰动，则待优化网络模型获得的关注区域中的特征发生了变化，相应地输出结果也会产生较大变化。
45.步骤24：将原始图像输入待优化网络模型，得到第一输出结果。
46.上述步骤24与上述实施例中的步骤13相同，在此不作限定。
47.步骤25：将参考图像输入待优化网络模型，得到第二输出结果。
48.上述步骤25与上述实施例中的步骤14相同，在此不作限定。
49.其中，第一输出结果可包括第一属性识别结果与第一属性识别结果对应的第一置信度信息，第二输出结果可包括第二属性识别结果与第二属性识别结果对应的第二置信度信息；可基于第一输出结果与第二输出结果判定原始图像满足预设筛选条件，从而筛选出添加至训练集的原始图像；具体地，可通过比对待优化网络模型对参考图像与原始图像进
行识别得到的输出结果的差异程度，从而判断待优化网络模型对关注区域的检测是否准确，进而判断待优化网络模型对原始图像的识别效果是否较差，以筛选出符合预设筛选条件的原始图像作为训练集中的图像。具体如步骤26～28所示。
50.步骤26：判断第一属性识别结果与第二属性识别结果是否一致。
51.第一属性识别结果与第二属性识别结果可包含检测目标的属性类型，例如：待优化网络模型用于检测原始图像中的人员是否佩戴帽子，则此时第一属性识别结果与第二属性识别结果可包括人员佩戴帽子/人员未佩戴帽子；具体地，可判断第一属性识别结果与第二属性识别结果是否一致，若第一属性识别结果与第二属性识别结果不一致，则确定原始图像满足预设筛选条件，说明待优化网络模型对该原始图像的识别效果不好，可将原始图像添加到训练集中，以采用训练集对待优化网络模型进行训练，对待优化网络模型进行优化。
52.步骤27：响应于第一属性识别结果与第二属性识别结果一致，基于第一置信度信息与第二置信度信息，判断原始图像是否满足预设筛选条件。
53.响应于第一属性识别结果与第二属性识别结果一致，说明待优化网络模型对原始图像与参考图像进行识别，得到的属性识别结果相同，但此时不排除发生偶然事件或识别结果不稳定的情况发生，此时可基于第一置信度信息与第二置信度信息，进一步判断原始图像是否满足预设筛选条件。
54.在一具体的实施例中，可计算第一置信度信息与第二置信度信息的差值的绝对值，得到置信度差值；然后判断置信度差值是否大于预设阈值；若置信度差值大于预设阈值，说明待优化网络模型对该原始图像的识别结果不稳定，则确定原始图像满足预设筛选条件；若置信度差值小于或等于预设阈值，说明待优化网络模型对该原始图像的识别结果稳定，则确定原始图像不满足预设筛选条件；可以理解地，预设阈值可根据实际情况进行设置，在此不作限定。
55.可以理解地，第一属性识别结果与第二属性识别结果可包括至少一个属性的识别结果，也就是说，待优化网络模型可识别出原始图像中检测目标的至少一个属性的类型，目标属性即为多个属性中待优化网络模型的识别效果不好的属性；在具体的实施方式中，可对第一属性识别结果与第二属性识别结果中目标属性对应的识别结果进行一致性判断，从而筛选出满足预设筛选条件的原始图像，下面进行详细介绍。
56.在一实施方式中，如图4所示，该方案包括：
57.步骤41：获取预设属性信息。
58.预设属性信息可包括至少一个属性中的目标属性的类型，下述实施例以待优化网络模型为头部识别模型为例进行说明，头部识别模型可识别出人员是否佩戴帽子、帽子颜色以及帽子种类，则第一属性识别结果与第二属性识别结果可包括上述三个属性的识别结果；其中，预设属性信息可根据实际情况进行自定义设置，从而能够针对性地提升待优化网络模型对目标属性的识别效果，在此不作限定。
59.步骤42：判断第一待对比属性识别结果与第二待对比属性识别结果是否一致。
60.可分别先从第一属性识别结果与第二属性识别结果中挑选出第一待对比属性识别结果与第二待对比属性识别结果，然后判断第一待对比属性识别结果与第二待对比属性识别结果是否一致；具体地，第一待对比属性识别结果为第一属性识别结果中与预设属性
信息相同的属性的识别结果；第二待对比属性识别结果为第二属性识别结果中与预设属性信息相同的属性的识别结果；以目标属性为帽子颜色为例，第一待对比属性识别结果与第二待对比属性识别结果可为帽子颜色对应的识别结果。
61.响应于第一待对比属性识别结果与第二待对比属性识别结果不一致，说明待优化网络模型对该原始图像的目标属性的识别效果较差，判定原始图像满足预设筛选条件。
62.响应于第一待对比属性识别结果与第二待对比属性识别结果一致，进一步基于目标属性对应的置信度，确定原始图像是否满足预设筛选条件，具体如步骤43～46所示。
63.步骤43：响应于第一待对比属性识别结果与第二待对比属性识别结果一致，计算第一置信度信息中目标属性的置信度与第二置信度信息中目标属性的置信度的差值的绝对值，得到第一置信度差值。
64.步骤44：判断第一置信度差值是否大于预设阈值。
65.预设阈值可根据实际情况进行设置，在此不作限定。
66.步骤45：若第一置信度差值大于预设阈值，则确定原始图像满足预设筛选条件。
67.步骤46：若第一置信度差值小于或等于预设阈值，则确定原始图像不满足预设筛选条件。
68.第一置信度信息与第二置信度信息可包括至少一个属性的置信度，可先计算第一置信度信息中目标属性的置信度与第二置信度信息中目标属性的置信度的差值的绝对值，得到第一置信度差值；然后判断第一置信度差值是否大于预设阈值；若第一置信度差值大于预设阈值，说明待优化网络模型对该原始图像的目标属性的识别效果不稳定，则确定原始图像满足预设筛选条件；若第一置信度差值小于或等于预设阈值，说明待优化网络模型对该原始图像的目标属性的识别效果较稳定，则确定原始图像不满足预设筛选条件。
69.在另一实施方式中，目标属性无需预先自定义设置，通过对待优化网络模型对图像各个属性的识别效果进行判断，然后根据筛选过程中的比对结果确定待优化网络模型对应的所有目标属性，并优化待优化网络模型对每个目标属性的识别效果，提升对待优化网络模型的优化效果，该方案如图5所示，具体包括：
70.步骤51：判断第一属性识别结果中的每个属性的识别结果是否与第二属性识别结果中相应的属性的识别结果一致。
71.分别比对第一属性识别结果中的每个属性的识别结果与第二属性识别结果中相应的属性的识别结果，判断第一属性识别结果中的每个属性的识别结果是否与第二属性识别结果中相应的属性的识别结果一致。
72.步骤52：响应于第一属性识别结果中的属性的识别结果与第二属性识别结果中相应的属性的识别结果不一致，将属性确定为目标属性，确定原始图像满足预设筛选条件。
73.响应于第一属性识别结果中的属性的识别结果与第二属性识别结果中相应的属性的识别结果不一致，说明待优化网络模型对图像的该属性的识别效果不好，则可将该属性确定为目标属性，并确定原始图像满足预设筛选条件。
74.步骤53：响应于第一属性识别结果中的属性的识别结果与第二属性识别结果中相应的属性的识别结果一致，基于属性对应的第一待对比置信度与属性对应的第二待对比置信度，确定属性是否为目标属性。
75.响应于第一属性识别结果中的属性的识别结果与第二属性识别结果中相应的属
性的识别结果一致，则进一步基于属性对应的第一待对比置信度与属性对应的第二待对比置信度，确定属性是否为目标属性，判断待优化网络模型对原始图像的该属性的识别效果是否稳定。
76.进一步地，第一待对比置信度为第一属性识别结果中属性的置信度，第二待对比置信度为第二属性识别结果中属性的置信度；可先计算第一待对比置信度与第二待对比置信度的差值的绝对值，得到第二置信度差值；然后判断第二置信度差值是否大于预设阈值；响应于第二置信度差值大于预设阈值，将该属性确定为目标属性；可以理解地，预设阈值可根据实际情况进行设置，在此不作限定。
77.步骤54：响应于属性为目标属性，则确定原始图像满足预设筛选条件。
78.响应于属性为目标属性，说明待优化网络模型对图像的该属性的识别效果不稳定，确定原始图像满足预设筛选条件。
79.步骤55：响应于属性不为目标属性，确定原始图像不满足预设筛选条件。
80.响应于属性不为目标属性，说明待优化网络模型对图像的该属性的识别效果稳定，则确定原始图像不满足预设筛选条件。
81.步骤28：若原始图像满足预设筛选条件，将原始图像添加到训练集中，以采用训练集对待优化网络模型进行训练。
82.如果原始图像满足预设筛选条件，则将原始图像添加到训练集中，以采用训练集对待优化网络模型进行训练；具体地，在将原始图像添加到训练集之前，可先由人工对原始图像中的目标属性进行标签标识，并将标签标识后的原始图像加入训练集中。
83.本实施例通过在非关注区域添加扰动，然后基于第一属性识别结果与第二属性识别结果的一致性，来判断待优化网络模型的识别结果可靠性，能够简单有效地自动筛选出待优化网络模型识别效果较差的原始图像；并且能够进一步通过第一置信度信息与第二置信度信息进行筛选，能够提高筛选精度；相较于依附于人工分析模型、识别错误原因再收集相应数据进行模型优化的方法，本实施例能够将待优化网络模型识别效果较差的图像作为模型优化素材，生成能够优化待优化网络模型的训练集，而且用更少且更有优化价值的图像来起到优化模型效果，能够大大减少人工标注以及模型训练成本；此外，还可将待优化网络模型识别效果不好的属性作为目标属性，针对性地对待优化网络模型对目标属性的识别效果进行优化，能够提升优化效率以及效果。
84.请参阅图6，图6是本技术提供的网络模型训练方法一实施例的流程示意图，该方法包括：
85.步骤61：获取训练集。
86.训练集为利用上述实施例中的训练集生成方法得到的，在此不再赘述。
87.步骤62：将训练集输入待优化网络模型，以对待优化网络模型进行训练，得到优化后网络模型。
88.本实施例通过将训练集输入待优化网络模型，以对待优化网络模型进行训练，得到优化后网络模型，实现对待优化网络模型的优化，提高待优化网络模型的泛化能力。
89.请参阅图7，图7是本技术提供的图像处理装置一实施例的结构示意图，图像处理装置70包括互相连接的存储器71和处理器72，存储器71用于存储计算机程序，计算机程序在被处理器72执行时，用于实现上述实施例中的训练集生成方法。
90.请参阅图8，图8是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质80用于存储计算机程序81，计算机程序81在被处理器执行时，用于实现上述实施例中的训练集生成方法或网络模型训练方法。
91.计算机可读存储介质80可以是服务端、u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
92.在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
93.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
94.另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
95.若本技术技术方案涉及个人信息，应用本技术技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本技术技术方案涉及敏感个人信息，应用本技术技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
96.以上仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。