目标识别方法及系统与流程

1.本发明涉及目标检测领域，具体涉及一种目标识别方法及系统。


背景技术：

2.深度学习的原型，是用计算机系统架构来模拟人类大脑，广泛应用在安检等领域中。其中，深度学习在安检领域的应用，主要为目标检测，即检测出输入图像中目标物品的位置和分类信息。
3.现有基于深度学习进行目标检测的方案，通常使用单个卷积神经网络(convolutional neural networks，cnn)或全连接深度神经网络(deep neural networks，dnn)，进行目标检测。
4.然而，采用上述方案进行目标检测的准确性较差。


技术实现要素：

5.本发明要解决的问题是：提高目标检测的准确性。
6.为解决上述问题，本发明实施例提供了一种目标识别方法，所述方法包括：
7.在接收到输入图像以后，分别利用预设的检测网络模型，对所述输入图像进行目标检测，得到目标物品的检测结果；所述目标物品的检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息；
8.利用预设的分类网络模型，对所述目标物品的检测结果进行分类，得到所述目标物品的分类结果；所述目标物品的分类结果包括：目标物品类别信息及置信度信息；
9.利用所述目标物品的分类结果，判断所述目标物品的检测结果是否有效，将有效的所述目标物品的检测结果，作为所述目标物品的识别结果。
10.可选地，所述利用所述目标物品的分类结果，判断所述目标物品的检测结果是否有效，包括：
11.利用预设的第一训练样本类别映射关系信息，对所述目标物品的检测结果中目标物品类别信息进行类别转换，并基于类别转换结果，判断所述目标物品的检测结果是否有效，得到所述目标物品的识别结果；
12.其中，所述第一训练样本类别映射关系信息，为同一训练样本在作为所述检测网络模型对应的训练样本时所在的类别，与在作为所述分类网络模型对应的训练样本时所在的类别，二者之间的对应关系信息。
13.可选地，所述基于类别转换结果，判断所述目标物品的检测结果是否有效，包括：
14.基于类别转换结果，判断所述目标物品的检测结果中的目标物品类别信息，与所述目标物品的分类结果的目标物品类别信息，是否匹配，得到第一判断结果；
15.基于第一判断结果，结合所述目标物品的检测结果及所述目标物品的分类结果中的置信度信息，确定所述目标物品的检测结果是否有效。
16.可选地，所述基于第一判断结果，结合所述目标物品的检测结果及所述目标物品
的分类结果中的置信度信息，确定所述目标物品的检测结果是否有效，包括：
17.当所述第一判断结果为二者匹配时，若所述目标物品的检测结果中置信度高于第一置信度阈值，或者所述目标物品的分类结果中置信度高于第二置信度阈值，则所述目标物品的检测结果有效，否则无效；
18.当所述第一判断结果为二者不匹配时，若所述目标物品的检测结果中置信度高于第三置信度阈值，或者所述目标物品的分类结果中置信度高于第四置信度阈值，则所述目标物品的检测结果有效，否则无效；
19.其中，所述第三置信度阈值大于第一置信度阈值，所述第四置信度阈值大于第二置信度阈值。
20.可选地，所述方法还包括：
21.当所述目标物品的检测结果无效时，利用预设的第二训练样本类别映射关系信息，对所述目标物品的检测结果中目标物品类别信息进行类别转换，并基于类别转换结果，得到所述目标物品的相似物品识别结果；
22.其中，所述第二训练样本类别映射关系信息，为同一训练样本在作为所述检测网络模型对应的训练样本时所在训练样本类别，与在作为所述分类网络模型对应的训练样本时所在的相似训练样本类别，二者之间的对应关系信息；所述相似训练样本类别为具有相同视觉特征的训练样本类别，或者训练样本类别表中位于同级别的一个或多个训练样本类别。
23.可选地，所述在接收到输入图像以后，分别利用预设的检测网络模型，对所述输入图像进行目标检测，得到目标物品的检测结果，包括：
24.在接收到输入图像以后，分别利用预设的两个以上检测网络模型，对所述输入图像进行目标物品检测；
25.对各所述检测网络模型输出的中间检测结果进行融合，得到目标物品的检测结果；所述中间检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息；
26.其中，任意两个所述检测网络模型对应的训练样本的类别不同。
27.可选地，任意两个所述检测网络模型对应的训练样本的类别完全不同，或者部分不同。
28.可选地，任意两个所述检测网络模型对应训练样本的类别数量的差异，小于预设第一类别差值；每个所述检测网络模型对应的训练样本中，任意两类别的训练样本数量的差异，小于第一样本差阈值。
29.可选地，所述两个以上检测网络模型是通过如下方法进行训练得到的：
30.统计所有训练样本中，各类别的训练样本数量，并确定具有最多训练样本的第一类别与具有最少训练样本的第二类别；
31.将所述第一类别所具有的训练样本数量至所述第二类别所具有的训练样本数量所限定的训练样本区间，均匀划分为k份，得到k-1个样本数量分隔值，k为大于1的正整数；
32.基于k-1个样本数量分隔值，及各类别的训练样本数量，对所获取的训练样本的类别进行分隔，得到k个检测网络模型的训练样本，并进行训练。
33.可选地，所述对各所述检测网络模型输出的中间检测结果进行融合，得到所述目标物品的检测结果，包括：
34.当同一目标物品的目标物品类别信息，仅存在于其中一个中间检测结果中时，将所在的中间检测结果，作为所述目标物品的检测结果；
35.当同一目标物品的目标物品类别信息，存在与两个以上中间检测结果中时，结合所述两个以上中间检测结果中的目标物品位置信息及置信度信息，得到所述目标物品的检测结果。
36.可选地，所述结合所述两个以上中间检测结果中的目标物品位置信息及置信度信息，得到所述目标物品的检测结果，包括：
37.对于所述两个以上中间检测结果中，任一置信度非最低的中间检测结果，分别计算第一面积，并对任一所述第一面积均执行以下操作：计算所述第一面积与各第二面积之间的重合面积，并根据所述重合面积的大小，对相应的中间检测结果进行剔除操作，将所述两个以上中间检测结果中执行剔除操作后的中间检测结果，作为本轮所述目标物品的检测结果；
38.将各轮所述目标物品的检测结果，及所述两个以上中间检测结果中置信度最低的中间检测结果，共同作为所述目标物品的检测结果；
39.其中，所述第一面积为所述中间检测结果的目标物品位置信息所对应的目标物品面积，所述第二面积为所述两个以上中间检测结果中剩余中间检测结果的目标物品位置信息所对应的目标物品面积，所述第一面积所在中间检测结果中的置信度，高于所述第二面积所在中间检测结果中的置信度。
40.可选地，所述根据所述重合面积的大小，对相应的中间检测结果进行剔除操作，包括：
41.基于所述重合面积的大小，判断相应的两中间检测结果中，各目标物品面积与所述重合面积的差值；
42.当所述目标物品面积与所述重合面积差值小于第一面积阈值时，对与所述重合面积差值小于第一面积阈值的目标物品面积所在的中间检测结果，执行剔除操作；
43.当所述目标物品面积与所述重合面积差值大于所述第一面积阈值时，基于所述相应的两中间检测结果中，目标物品面积之间的差值，执行剔除操作。
44.可选地，所述基于所述相应的两中间检测结果中，目标物品面积之间的差值，执行剔除操作，包括：
45.计算所述相应的两中间检测结果中，目标物品面积之间的差值；
46.当所述目标物品面积之间的差值小于第二面积阈值时，对其中置信度较低的中间检测结果执行剔除操作。
47.可选地，所述基于所述相应的两中间检测结果中，目标物品面积之间的差值，执行剔除操作，还包括：
48.使用被剔除的中间检测结果的目标物品位置信息，更新保留的中间检测结果的目标物品位置信息。
49.可选地，按照置信度由高到低的顺序，计算所述置信度非最低的中间检测结果中各第一面积，并执行剔除操作。
50.可选地，所述利用预设的分类网络模型，对所述目标物品的检测结果进行分类，得到所述目标物品的分类结果，包括：
51.当接收到所述目标物品的检测结果时，分别利用预设的两个以上分类网络模型，对所述目标物品的检测结果进行分类；
52.对各所述分类网络模型输出的中间分类结果进行融合，得到所述目标物品的分类结果；
53.其中，任意两个所述分类网络模型对应的训练样本的类别不同。
54.可选地，任意两个所述分类网络模型对应的训练样本的类别完全不同，或者部分不同。
55.可选地，每个所述分类网络模型对应的训练样本中，任意两类别的训练样本数量的差异，小于第二样本差阈值。
56.可选地，所述两个以上分类网络模型对应的训练样本是通过如下方法确定的：
57.从所有训练样本中，选取具有相同视觉特的征训练样本，将具有相同视觉特征的训练样本，作为同一所述分类网络模型对应的训练样本；
58.从按照视觉特征选取后剩余的训练样本中，选取具有相同物品使用特性的训练样本，将具有相同物品使用特性的训练样本，作为同一所述分类网络模型对应的训练样本；
59.从按照视觉特征及物品使用特性选取后剩余的训练样本中，选取具有相同物品材质的训练样本，将具有相同物品材质的训练样本，作为同一所述分类网络模型对应的训练样本。
60.可选地，所述两个以上分类网络模型对应的训练样本还通过如下方法确定：
61.将具有不同视觉特征，但训练样本数量差值小于预设第三样本差阈值的两类别的训练样本，作为同一所述分类网络模型对应的训练样本；所述第三样本差阈值小于所述第二样本差阈值。
62.可选地，所述对各所述分类网络模型输出的中间分类结果进行融合，得到所述目标物品的分类结果，包括：
63.当同一目标物品的目标物品类别信息，仅存在于一个中间分类结果中时，将所在的中间分类结果，作为所述目标物品的分类结果；
64.当同一目标物品的目标物品类别信息，仅存在于两个中间分类结果中时，将所在的两个中间分类结果中具有较高置信度的中间分类结果，作为所述目标物品的分类结果；
65.当同一目标物品的目标物品类别信息，存在于三个以上中间分类结果中时，根据所在的三个以上中间分类结果中的置信度信息，选取预设数量的中间分类结果，作为所述目标物品的分类结果。
66.本发明实施例还提供了一种目标识别系统，所述系统包括：
67.目标检测单元，适于在接收到输入图像以后，分别利用预设的检测网络模型，对所述输入图像进行目标检测，得到目标物品的检测结果；所述目标物品的检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息；
68.目标分类单元，适于利用预设的分类网络模型，对所述目标物品的检测结果进行分类，得到所述目标物品的分类结果；所述目标物品的分类结果包括：目标物品类别信息及置信度信息；
69.判断单元，适于利用所述目标物品的分类结果，判断所述目标物品的检测结果是否有效，将有效的所述目标物品的检测结果，作为所述目标物品的识别结果。
70.可选地，所述目标检测单元包括：
71.两个以上目标检测子单元，所述目标检测子单元适于在接收到输入图像后，利用预设的检测网络模型，对所述输入图像进行目标检测；
72.第一融合子单元，适于对各所述检测网络模型输出的中间检测结果进行融合，得到目标物品的检测结果；所述中间检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息；
73.其中，任意两个所述检测网络模型对应的训练样本的类别不同。
74.可选地，所述目标分类单元包括：
75.两个以上目标分类子单元，所述目标分类子单元适于当接收到所述目标物品的检测结果时，利用预设的分类网络模型，对所述目标物品的检测结果进行分类；
76.第二融合子单元，适于对各所述分类网络模型输出的中间分类结果进行融合，得到所述目标物品的分类结果；
77.其中，任意两个所述分类网络模型对应的训练样本的类别不同。
78.与现有技术相比，本发明实施例的技术方案具有以下优点：
79.应用本发明的方案，接收到输入图像后，先利用检测网络模型，得到目标物品的检测结果，再利用分类网络模型，得到目标物品的分类结果，最后利用目标物品的分类结果，来判断目标物品的检测结果是否有效，从而将有效的目标物品的检测结果，作为目标物品的识别结果。相对于仅利用单个网络模型进行目标检测，增加了后续的分类步骤及判断步骤，从而可以进一步提高目标检测的准确性。
附图说明
80.图1是本发明实施例中一种目标识别方法的流程图；
81.图2是本发明实施例中一种获得目标物品的检测结果的方法流程图；
82.图3是本发明实施例中一种目标物品的检测结果示意图；
83.图4是本发明实施例中一种计算待检框与其他框重合面积的示意图；
84.图5是本发明实施例中多个目标物品检测结果的示意图；
85.图6是本发明实施例中一种获得目标物品的分类方法的流程图；
86.图7是本发明实施例中一种目标识别系统的结构示意图。
具体实施方式
87.现有基于深度学习进行目标检测的方案，通常使用单个cnn或dnn进行目标检测，准确性较差。
88.针对上述问题，本发明实施例提供了一种目标检测方法，应用本发明实施例中的方案，接收到输入图像后，先利用检测网络模型，得到目标物品的检测结果，再利用分类网络模型，得到目标物品的分类结果，最后利用目标物品的分类结果，来判断目标物品的检测结果是否有效，从而将有效的目标物品的检测结果，作为目标物品的识别结果，有效提高目标检测的准确性。
89.为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例作详细地说明。
90.参照图1，本发明实施例提供了一种目标识别方法，所述方法可以包括如下步骤：
91.步骤11，在接收到输入图像以后，分别利用预设的检测网络模型，对所述输入图像进行目标检测，得到目标物品的检测结果。
92.其中，所述目标物品的检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息。
93.在具体实施中，可以仅利用一个检测网络模型，对输入图像进行目标检测，也可以利用两个以上检测网络模型对输入图像进行目标检测，此处不作限定，只有能够得到目标物品的检测结果即可。
94.步骤12，利用预设的分类网络模型，对所述目标物品的检测结果进行分类，得到所述目标物品的分类结果。
95.其中，所述目标物品的分类结果包括：目标物品类别信息及置信度信息。
96.在实际应用中，经常会不断地出现新的图像，这就意味可能会有各种未知的物品及物品堆叠形态出现。因此，通过检测网络模型得到的目标物品的检测结果，仍然会存在误检。如图5中所示，金属瓶底、金属长条可能会被误检为刀具。
97.为了降低误检，提高检测的准确性，本发明的实施例中，可以通过预设的分类网络，对目标物品的类别，进行进一步判断。对于指定的目标物品，其所有正样本图像都是能反映物品的相关性的，相关性能够体现出目标物品的特征，因此，分类网络模型可以学习到这些特征物品之间的相关特征，对目标物品的检测结果进行判断。分类网络模型不需要关注目标物品的位置，仅学习分类特征，即能准确地判断目标物品的类别。
98.在具体实施中，可以仅利用一个分类网络模型，对目标物品的检测结果进行分类，也可以利用两个以上分类网络模型对目标物品的检测结果进行分类，此处不作限定，只有能够得到目标物品的分类结果即可。
99.步骤13，利用所述目标物品的分类结果，判断所述目标物品的检测结果是否有效，将有效的所述目标物品的检测结果，作为所述目标物品的识别结果。
100.在具体实施中，目标物品的分类结果，可以直接作为目标物品的识别结果，也可以利用所述目标物品的分类结果，进一步判断目标物品的检测结果是否有效，而将有效的所述目标物品的检测结果，作为所述目标物品的识别结果，由此可以进一步提高目标检测的准确性。
101.由于目标物品的检测结果中不仅包含目标物品的类别信息，还包括目标物品的位置信息，故利用目标物品的分类结果，从众多目标物品的检测结果中剔除无效的目标物品的检测结果，而将剩余的目标物品的检测结果，作为目标物品的识别结果。
102.在具体实施中，利用所述目标物品的分类结果，可以采用多种方法，来判断所述目标物品的检测结果是否有效。
103.在本发明的一实施例中，可以利用预设的第一训练样本类别映射关系信息，对所述目标物品的检测结果中目标物品类别信息进行类别转换，并基于类别转换结果，判断所述目标物品的检测结果是否有效，得到所述目标物品的识别结果。
104.其中，所述第一训练样本类别映射关系信息，为同一训练样本在作为所述检测网络模型对应的训练样本时所在训练样本类别，与在作为所述分类网络模型对应的训练样本时所在训练样本类别，二者之间的对应关系信息。
105.在具体实施中，某一训练样本，既可以作为训练检测网络模型的训练样本，又可以为训练分类网络模型的训练样本。当该训练样本作为训练检测网络模型的训练样本时，属于类别c1_i。当该训练样本作为训练分类网络模型的训练样本时，属于类别c2_j。类别c1_i与类别c2_j之间的对应关系，即为该训练样本的类别映射关系信息。所述第一训练样本类别映射关系信息，可能包括关于多个训练样本的类别映射关系信息。
106.在具体实施中，所述第一训练样本类别映射关系信息，是预先可以获取到的，具体获取方式不作限定。
107.在本发明的一实施例中，基于类别转换结果，可以采用如下方法判断所述目标物品的检测结果是否有效：
108.先基于类别转换结果，判断所述目标物品的检测结果中的目标物品类别信息，与所述目标物品的分类结果的目标物品类别信息，是否匹配，得到第一判断结果，再基于第一判断结果，结合所述目标物品的检测结果及所述目标物品的分类结果中的置信度信息，确定所述目标物品的检测结果是否有效。
109.当所述第一判断结果为二者匹配时，若所述目标物品的检测结果或目标物品的分类结果中，一个结果的置信度高于第一置信度阈值，则所述目标物品的检测结果有效，否则无效。
110.当所述第一判断结果为二者不匹配时，若所述目标物品的检测结果或目标物品的分类结果中，一个结果的置信度高于第二置信度阈值，则所述目标物品的检测结果有效，否则无效；所述第二置信度阈值大于所述第一置信度阈值。
111.在具体实施中，任一检测网络模型qn输出的中间检测结果boxn，作为目标物品的检测结果boxn，boxn的具体内容如表1所示。
112.表1
113.boxn网络qn类别c1_n置信度pqxminyminxmaxymax
114.表2为目标物品的分类结果。
115.表2
116.网络hi类别c2_i置信度ph3网络hj类别c2_j置信度ph6
117.本发明的实施例中，为了描述方便，对于任一检测网络模型对应的训练样本类别c1_n，类别转换结果为f(c1_n)。
118.若f(c1_n)∈{c2_i，c2_j}，即类别转换后的结果属于{c2_i，c2_j}，则表明目标物品的检测结果与目标物品的分类结果均出现相同的预测结果，二者匹配。
119.当二者匹配时，若目标物品的检测结果中，置信度pq高于第一置信度阈值，表明目标物品的检测结果boxn可信度很高，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效。或者，若目标物品的分类结果中，对应类别(比如类别c2_i)的置信度(ph3)高于第二置信度阈值，表明目标物品很大程度上属于类别c2_i，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效。
120.当二者不匹配时，若目标物品的检测结果中，置信度pq高于第三置信度阈值，表明目标物品的检测结果boxn可信度极高，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效。或者，若目标物品的分类结果中，对应类别(比如
类别c2_i)的置信度(ph3)高于第四置信度阈值，表明目标物品极大程度上属于类别c2_i，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效。
121.在具体实施中，当所述目标物品的检测结果无效时，此时可以利用预设的第二训练样本类别映射关系信息，对所述目标物品的检测结果中目标物品类别信息进行类别转换，并基于类别转换结果，得到所述目标物品的相似物品识别结果。
122.其中，所述第二训练样本类别映射关系信息，为同一训练样本在作为所述检测网络模型对应的训练样本时所在训练样本类别，与在作为所述分类网络模型对应的训练样本时所在的相似训练样本类别，二者之间的对应关系信息；所述相似训练样本类别为具有相同视觉特征的训练样本类别，或者训练样本类别表中位于同级别的一个或多个训练样本类别。
123.比如，所述检测网络模型对应的训练样本类别为剪刀时，作为所述分类网络模型对应的相似训练样本类别可以为水果刀及匕首。剪刀与水果刀及匕首之间的对应关系，即一种第二训练样本类别映射关系信息。对剪刀这一类别进行类别转换后，f(c1_n)为水果刀及匕首。此时，判断水果刀或匕首是否于目标物品的分类结果相匹配。
124.当二者匹配时，若目标物品的检测结果中，置信度pq高于第五置信度阈值，表明目标物品的检测结果boxn可信度很高，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效，其中，第五置信度阈值高于第一置信度阈值。或者，若目标物品的分类结果中，对应类别(比如类别c2_i)的置信度(ph3)高于第六置信度阈值，表明目标物品很大程度上属于类别c2_i，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效，其中，第六置信度阈值高于第二置信度阈值。
125.当二者不匹配时，若目标物品的检测结果中，置信度pq高于第七置信度阈值，表明目标物品的检测结果boxn可信度极高，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效，其中，第七置信度阈值高于第三置信度阈值，第七置信度阈值大于第五置信度阈值。或者，若目标物品的分类结果中，对应类别(比如类别c2_i)的置信度(ph3)高于第八置信度阈值，表明目标物品极大程度上属于类别c2_i，此时可以直接判定目标物品的检测结果boxn有效，否则判定目标物品的检测结果boxn无效，其中，第八置信度阈值高于第四置信度阈值，第八置信度阈值大于第六置信度阈值。
126.需要说明的是，在具体实施中，第一置信度阈值至第八置信度阈值，可以根据实际情况进行设置，此处不再赘述。
127.由上述内容可知，本发明实施例中的目标识别方法，通过利用所述目标物品的分类结果，判断所述目标物品的检测结果是否有效，将有效的所述目标物品的检测结果，作为所述目标物品的识别结果，可以进一步提高目标检测的准确性。
128.在本发明的一实施例中，参照图2，可以采用如下方法得到目标物品的检测结果：
129.步骤21，在接收到输入图像以后，分别利用预设的两个以上检测网络模型，对所述输入图像进行目标物品检测。
130.其中，任意两个所述检测网络模型对应的训练样本的类别不同。
131.在具体实施中，所述两个以上检测网络模型的数量，不作限定，比如，可以为两个，也可以为三个或三个以上，只要任意两个检测网络模型对应的训练样本的类别不同。其中，
所述检测网络模型对应的训练样本，也就是用于对网络模型进行训练来得到所述检测网络模型时所使用的训练样本。
132.各检测网络模型可以是使用不同类别的训练样本对同一网络模型进行训练来得到的，也可以是使用不同类别的训练样本对不同网络模型进行训练来得到的，即各检测网络模型对应的模型结构可以相同，也可以不同，具体不作限定。比如，各检测网络模型可以是使用不同类别的训练样本对卷积神经网络模型进行训练所得到的。
133.可以理解的是，各检测网络模型，可以采用相同的检测方式，对输入图像进行检测，也可以采用不同的检测方式，对输入图像进行检测，具体由各检测网络模型对应的模型结构决定。各检测网络模型对应的模型结构相同，对输入图像进行检测的方式也就相同，而各检测网络模型对应的模型结构不同，对输入图像进行检测的方式也就不同。
134.在具体实施中，任意两个所述检测网络模型对应的训练样本的类别，可以完全不同，也可以部分不同，由此使得各检测网络模型对应的训练样本不完全相同。
135.以所述检测网络模型的数量为两个为例，分别为检测网络模型q1，及检测网络模型q2。两个检测网络模型训练样本总类别为n个，n≥2的整数，n个类别的集合为c1。其中，检测网络模型q1的训练样本总类别的集合为cq1，而检测网络模型q2的训练样本总类别的集合为cq2，cq1∈c1，cq2∈c1。集合cq1和集合cq2中可以包含同一类别，即集合cq1和集合cq2的元素可以部分相同。换言之，部分类别可以同时出现在集合cq1和集合cq2中。但集合cq1和集合cq2至少一个元素是不同的。
136.在实际应用中，实际训练数据的分布往往是不均匀的。严格地讲，任何数据集都存在不平衡，这就会导致检测网络模型倾向于学习训练样本更多的种类特征。在目标检测领域，负样本(即不包含目标物品的样本图像，如不包含违禁品的图片)往往远远多于正样本(包含目标物品的样本图像，如包含违禁品的图片)，造成正、负样本极不平衡，进而导致训练成本增加及网络模型的衰退。
137.例如，在地铁安检领域，刀、枪等违禁品出现频次，远低于容器、伞等常规物品，造成效果检测不理想。以上海地铁为例，工作日均客流已逾1100余万人次，上海轨道交通共有415个车站，配备6000余名安检员及x光安检仪等设备，日均安检320万包次，全年共检出各类危险品3.5万余件，平均一百万包次才检出1.09件违禁品，而且违禁品又包含许多种，如管制刀具、枪支等，可见，正、负样本的分布极其不平衡的。类似地，在卫星遥感领域，单张图片分辨率往往很大，如30000*40000，但实际真正有效的前景非常少，前景、背景同样存在不平衡问题。
138.本发明的实施例中，为了使得训练样本更加均衡，任意两个所述检测网络模型对应训练样本的类别数量的差异，小于预设第一类别差值；每个所述检测网络模型对应的训练样本中，任意两类别的训练样本数量的差异，小于第一样本差阈值。
139.通过调整第一类别差值，可以使得用于各检测网络模型的训练样本的类别更加均衡，通过调整第一样本差阈值，可以使得每个类别的训练样本数量更加均衡，由此可以避免因样本不均衡对目标检测准确性的影响，改善目标检测效果。
140.对于不均衡的训练样本，本发明的一实施例中，可以采用如下方法进行训练，来得到所述两个以上检测网络模型：
141.首先，可以统计所有训练样本(即训练样本集)中，各类别的训练样本数量，并确定
具有最多训练样本的第一类别与具有最少训练样本的第二类别。
142.接着，将所述第一类别所具有的训练样本数量至所述第二类别所具有的训练样本数量所限定的训练样本区间，均匀划分为k份，得到k-1个样本数量分隔值，k为大于1的正整数。
143.最后，将基于k-1个样本数量分隔值，及各类别的训练样本数量，对所获取的训练样本的类别进行分隔，得到k个检测网络模型的训练样本，并进行训练。
144.假设训练样本集共包括n个类别，每个类别的训练样本数量分别为m1，m2，
……
，mn。其中，具有最多训练样本的第一类别，即n个类别的训练样本中具有最多训练样本的类别，其训练样本数量为mmax。具有最少训练样本的第二类别，即n个类别的训练样本中具有最少训练样本的类别，其训练样本数量为mmin。
145.对于区别[mmin,mmax]，均匀划分为k份，得到k个子区间，各子区间的取值范围依次为：[mmin,mmin+
△
]，(mmin+
△
,mmin+2*
△
]，
……
，(mmin+(k-1)*
△
，mmax]。其中，
△
＝(mmax-mmin)/k。
[0146]
将训练样本数量位于同一子区间内的所有类别的训练样本，作为训练得到一个检测网络模型的训练样本。比如，当k*2时，将训练样本数量位于[mmin,(mmin+mmax)/2]内的所有类别的训练样本，作为训练得到检测网络模型q1的训练样本。将训练样本数量位于((mmin+mmax)/2,mmax]内的所有类别的训练样本，作为训练得到检测网络模型q2的训练样本。
[0147]
在具体实施中，还可以结合每个类别的具体特征作类别调整。例如，针对容易混淆、相似的类别，如剪刀、刀具尽量划到一个网络，以利于网络学习到两个物品的差异。假设两种具有相同视觉特征类别的数量分别为m1、m2，检测网络模型分别为q1及q2，此时可能存在两种情况：
[0148]
1)m1与m2差异过大，如m1/m2》β，其中β是大于1的常数(如设置为3)，此时可令m1更新为βm2(比如，用随机函数从m1个样本中选取βm2个)，m2保持不变，将该m1个训练样本及该m2个训练样本，作为用于训练得到同一检测网络模型(比如检测网络模型q1)的训练样本。
[0149]
同时，为了避免检测该m1个训练样本所属类别的性能受到显著影响，可根据检测网络模型q2的所有训练样本平均值mavg'，再从该m1个训练样本中抽取mavg'个样本，作为训练得到检测网络模型q2的训练样本。
[0150]
若m1/m2《1/β，也按照类似上述方法实施，此处不再赘述。
[0151]
2)m1与m2差异不明显，如1/β《m1/m2《β，则将m1个训练样本及该m2个训练样本，作为训练得到同一检测网络模型的训练样本。
[0152]
步骤22，对各所述检测网络模型输出的中间检测结果进行融合，得到目标物品的检测结果。
[0153]
其中，所述中间检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息。
[0154]
在具体实施中，检测网络模型可以检测框的形式输出所述中间检测结果，每个检测框都具有目标物品类别信息、目标物品位置信息及置信度信息，如：检测网络模型qn所输出的中间检测结果：{网络qn，类别n，置信度，xnmin，ynmin，xnmax，ynmax}，目标物品的类别为n，(xnmin，ynmin)为检测网络模型qn输出检测框的左下顶点坐标，(xnmax，ynmax)为检测
网络模型qn输出检测框的右上顶点坐标，如图3矩形框所示。
[0155]
对于同一输入图像，每个检测网络模型均会输出一个中间检测结果。以检测网络模型的数量为m个为例，各检测网络模型的标识分别为q1、q2、
……
、qm，m个检测网络模型输出的所有结果如表3所示：
[0156]
表3
[0157][0158]
在表3中，boxn为中间检测结果的标识，n∈{1，n}，类别c1_n为中间检测结果boxn中目标物品的类别标识，pqn为中间检测结果boxn中的置信度值。
[0159]
在具体实施中，可以采用多种方法对各所述检测网络模型输出的中间检测结果进行融合，得到所述目标物品的检测结果，具体不作限制。
[0160]
在本发明的一实施例中，当同一目标物品的目标物品类别信息，仅存在于其中一个中间检测结果中时，可以将所在的中间检测结果，作为所述目标物品的检测结果。
[0161]
比如，当中间检测结果boxn的中目标物品的类别c1_n，仅存在检测网络模型qn输出的中间检测结果时，此时可以直接将中间检测结果boxn作为目标物品的检测结果。
[0162]
当同一目标物品的目标物品类别信息，存在与两个以上中间检测结果中时，结合所述两个以上中间检测结果中的目标物品位置信息及置信度信息，得到所述目标物品的检测结果。
[0163]
在具体实施中，当同一目标物品的目标物品类别信息，存在与两个以上中间检测结果中时，对于所述两个以上中间检测结果中，任一置信度非最低的中间检测结果，分别计算第一面积，并对任一所述第一面积均执行以下操作：计算所述第一面积与各第二面积之间的重合面积，并根据所述重合面积的大小，对相应的中间检测结果进行剔除操作，将所述两个以上中间检测结果中执行剔除操作后的中间检测结果，作为本轮所述目标物品的检测结果；将各轮所述目标物品的检测结果，及所述两个以上中间检测结果中置信度最低的中间检测结果，共同作为所述目标物品的检测结果。
[0164]
其中，所述第一面积为所述中间检测结果的目标物品位置信息所对应的目标物品面积，所述第二面积为所述两个以上中间检测结果中剩余中间检测结果的目标物品位置信息所对应的目标物品面积，所述第一面积所在中间检测结果中的置信度，高于所述第二面积所在中间检测结果中的置信度。
[0165]
在本发明的一实施例中，所述根据所述重合面积的大小，对相应的中间检测结果进行剔除操作，可以包括：
[0166]
基于所述重合面积的大小，判断相应的两中间检测结果中，各目标物品面积与所述重合面积的差值；
[0167]
当所述目标物品面积与所述重合面积差值小于第一面积阈值时，对与所述重合面积差值小于第一面积阈值的目标物品面积所在的中间检测结果，执行剔除操作；
[0168]
当所述目标物品面积与所述重合面积差值大于所述第一面积阈值时，基于所述相应的两中间检测结果中，目标物品面积之间的差值，执行剔除操作。
[0169]
比如，当中间检测结果boxn中目标物品的类别c1_n，同时存在与m个检测网络模型输出的中间检测结果中时，可以先将每个检测网络模型中关于类别c1_n的中间检测结果提取出来。
[0170]
将关于类别c1_n的中间检测结果，存入临时存储空间ton。如类别c1_n的临时存储空间为to1，别类别c1_2的临时存储空间为to2，最终得到所有类别的存储空间{to1，
……
，t on，
……
，ton}。分别处理每个类别的存储空间ton，此时，ton的存储内容为(设共n'个检测框)具体如表4所示：
[0171]
表4
[0172][0173]
其中，boxn’为检测网络模型qn中关于类别c1_n的中间检测结果，n∈{1，n}。
[0174]
以对类别c1_n的各中间检测结果进行融合为例，具体融合过程如下：
[0175]
a)对所有检测框，按照置信度从高到低排序；
[0176]
b)将置信度最高的检测框作为待检框，依次计算待检框与一个其它框(置信度比待检框低的)之间的重合面积s，得到本轮所述目标物品的检测结果。
[0177]
以所述待检框及其中一个其它框执行的操作为例，如图4所示，待检框的面积即第一面积s1，其中一个其它框的面积即第二面积s2。此时，可以计算得到两个框的重合系数α。
[0178]
当s1》γs2，其中γ为大于1的常数，此时s1远大于s2，重合系数α＝s/s2。若α超过第一预设重合阈值g1，表明重合面积s与第二面积s2接近，其它框可以认为已经包含在待检框中，因此可将其它框从ton中剔除。
[0179]
当s1《s2/γ，此时s1远小于s2，α＝s/s1。若α超过第二预设重合阈值g2，表明重合面积s与第一面积s1接近，待检框可以认为已经包含在其它框中，因此可将待检框从ton中剔除。
[0180]
当s2/γ≤s1≤γs2，此时第一面积s1与第二面积s2相当，α＝s/(s1+s2-s)。若α超过第三预设重合阈值g3，表明第一面积s1与第二面积s2接近，待检框及其它框的检测效果相当，此时只需要保留一个检测框即可。比如，可以取置信度高的待检框，可将其它框从ton中剔除。
[0181]
其中，γ、第一预设重合阈值g1、第二预设重合阈值g2及第三预设重合阈值g3，均为预设常数，不同类别对应的具体数值可以存在差异。
[0182]
在本发明的一实施例中，当待检框及其它框的检测效果相当时，若被剔除的中间检测结果中目标物品面积，大于保留的中间检测结果中目标物品面积，则可以使用被剔除的中间检测结果的目标物品位置信息，更新保留的中间检测结果的目标物品位置信息。
[0183]
比如，当其它框被剔除时，若s2》s1，为了尽量降低消除待检框的影响，可以保持待
检框的置信度不变，使用其他框中目标物品位置信息，更新待检框中目标物品位置信息，使得待检框的面积更大，检测输出覆盖更大。若s2≤s1，表明待检框的面积和置信度都是最大的，则不需更新。
[0184]
对待检框与一个其它框执行上操作后，得到本轮所述目标物品的检测结果，使用本轮所述目标物品的检测结果，更新存储空间ton，得到更新后的存储空间ton'，作为类别c1_n的输出。
[0185]
c)一轮遍历结束后，再从置信度次高框开始遍历，直至最低框，共需遍历n'-1轮，进而得到所有类别的融合输出{to1'，
……
，ton'，
……
，ton'}，作为所述目标物品的检测结果。
[0186]
在具体实施中，根据所述目标物品的检测结果中目标物品位置信息(检测框的(xmin，ymin)、(xmax，ymax)参数)，可以提取到完整的图像，如图5所示，图像51及52均为提取到的瓶底图像，图像53为提取到的金属条图像，图像54及55为提取到的水果刀图像。实际目标物品的检测结果可能仅为一个目标物品图像，也可能为多个目标物品图像，比如，如图5所示，当目标物品为瓶底时，目标物品的检测结果可能同时包含图像51及图像52。
[0187]
由上述内容可知，本发明实施例中得到目标物品检测结果的方法，可以使得检测网络模型的训练样本更加均衡，并且采用两个以上检测网络模型同时进行目标检测，最终将各检测网络模型输出的中间结果融合，得到目标物品的检测结果，可以使得目标物品的检测结果更加准确。
[0188]
本发明的另一实施例中，参照图6，可以采用如下方法，得到目标物品的分类结果：
[0189]
步骤61，当接收到所述目标物品的检测结果时，可以分别利用预设的两个以上分类网络模型，对所述目标物品的检测结果进行分类。
[0190]
其中，任意两个所述分类网络模型对应的训练样本的类别不同。
[0191]
在具体实施中，所述分类网络模型的数量可以仅为两个，也可以为三个或三个以上，具体不作限定，只有任意两个所述分类网络模型对应的训练样本的类别不同即可。其中，所述两个所述分类网络模型对应的训练样本，即用于训练得到所述分类网络模型的训练样本。
[0192]
各分类网络模型可以是使用不同类别的训练样本对同一网络模型进行训练来得到的，也可以是使用不同类别的训练样本对不同网络模型进行训练来得到的，即各分类网络模型对应的模型结构可以相同，也可以不同，具体不作限定。比如，各分类网络模型可以是使用不同类别的训练样本对卷积神经网络模型进行训练所得到的。
[0193]
可以理解的是，各分类网络模型，可以采用相同的分类方式，对目标物品的检测结果进行分类，也可以采用不同的分类方式，对目标物品的检测结果进行分类，具体由各分类网络模型对应的模型结构决定。各分类网络模型对应的模型结构相同，对目标物品的检测结果进行分类的方式也就相同，而各分类网络模型对应的模型结构不同，对目标物品的检测结果进行分类的方式也就不同。
[0194]
在具体实施中，任意两个所述分类网络模型对应的训练样本的类别，可以完全不同，也可以部分不同。
[0195]
以分类网络模型包括l个为例，各分类网络模型的标识依次为h1，h2，
……
，hl(l≥2)。l个分类网络模型对应的训练样本总类别数量为c2，与检测网络模型对应的训练样本总
类别数量通常不同，可以增加一些容易误检类别。各分类网络模型的对应的训练样本类别之间可以存在交叉。换言之，对于任一分类n，n∈c2，类别n可以同时出现在分类网络模型h1、h2、
……
及hl对应的训练样本中。
[0196]
在具体实施中，分类网络模型的训练，与检测网络模型的训练是相互独立的，各自有不同的训练样本集。检测网络模型的训练样本集为大量的图像，而分类网络的训练样本集可以为大量的检测框。各分类网络模型的训练方式可以相同，也可以不同。
[0197]
为了提高分类模型进行类别判断的准确性，每个所述分类网络模型对应的训练样本中，任意两类别的训练样本数量的差异，小于第二样本差阈值。可以通过设置所述第二样本差阈值，使得同一分类网络模型对应的任意两类别的训练样本数量差异较小。
[0198]
比如，分类网络模型的训练样本集中，具有最少训练样本数量的类别为类别1，类别1所具有的训练样本数量为mcmin。此时，若将类别1作为分类网络模型h1的训练网络，则分类网络模型h1对应的其它类别的训练样本数量最多为βmcmin。
[0199]
若训练样本集中所述其它类别的训练样本数量超过βmcmin，则使用其中βmcmin训练样本，训练得到分类网络模型h1即可。若训练样本集中所述其它类别的训练样本数量未超过βmcmin，则可以使用所述其它类别的全部训练样本，训练得到分类网络模型h1。
[0200]
在本发明的一实施例中，可以通过如下方法确定所述两个以上分类网络模型对应的训练样本：
[0201]
首先，从所有训练样本(即分类网络模型对应的训练集)中，选取具有相同视觉特的征训练样本，将具有相同视觉特征的训练样本，作为同一所述分类网络模型对应的训练样本。
[0202]
在具体实施中，具有相同视觉特征，即形态接近。比如，金属瓶底、金属长条及水果刀的形态接近，此时，可以将金属瓶底、金属长条及水果刀作为训练得到分类网络模型a1的训练样本。又如，金属瓶和金属气罐的形态接近，此时，可以将金属瓶和金属气罐作为训练得到分类网络模型a2的训练样本。
[0203]
接着，从按照视觉特征选取后剩余的训练样本中，选取具有相同物品使用特性的训练样本，将具有相同物品使用特性的训练样本，作为同一所述分类网络模型对应的训练样本。
[0204]
在具体实施中，具有相同物品使用特性，比如，扳手、钳子、锯子等，可以作为同一分类网络模型对应的训练样本。此时，具有相同物品使用特性的训练样本数量，与分类网络模型中已有其它类别训练样本的数量之间的差异，应小于第二样本差阈值。
[0205]
最后，从按照视觉特征及物品使用特性选取后剩余的训练样本中，选取具有相同物品材质的训练样本，将具有相同物品材质的训练样本，作为同一所述分类网络模型对应的训练样本。
[0206]
在具体实施中，相同物品材质，比如手机、笔记本电脑、显示器等，可以作为同一分类网络模型对应的训练样本。此时，具有相同物品材质，与分类网络模型中已有其它类别训练样本的数量之间的差异，应小于第二样本差阈值。
[0207]
在本发明的一实施例中，还可以将具有不同视觉特征，但训练样本数量差值小于预设第三样本差阈值的两类别的训练样本，作为同一所述分类网络模型对应的训练样本；所述第三样本差阈值小于所述第二样本差阈值。
[0208]
也就是说，视觉特征差异很大，但训练样本数量接近的两类别的训练样本，可以作为同一分类网络模型对应的训练样本。
[0209]
步骤62，对各所述分类网络模型输出的中间分类结果进行融合，得到所述目标物品的分类结果。
[0210]
在具体实施中，目标物品的检测结果，可以检测框的形式输出，如表1为目标物品的检测结果boxn。
[0211]
经分类网络模型hi后，分类网络模型hi输出的中间分类结果可能如表5所示：
[0212]
表5
[0213][0214]
从表5可以看出，分类网络模型hi判定目标物品的检测结果boxn中的目标物品属于类别c2_1、类别c2_2及类别c2_i。
[0215]
经分类网络模型hj后，分类网络模型hj输出的中间分类结果可能如表6所示：
[0216]
表6
[0217][0218]
从表6可以看出，分类网络模型hj判定目标物品的检测结果boxn中的目标物品属于类别c2_1、类别c2_2及类别c2_j。
[0219]
经过不同的分类网络模型，输出不同的中间分类结果。
[0220]
在具体实施中，可以采用多种方法，对各所述分类网络模型输出的中间分类结果进行融合，得到所述目标物品的分类结果。
[0221]
在本发明的一实施例中，当同一目标物品的目标物品类别信息，仅存在于一个中间分类结果中时，将所在的中间分类结果，作为所述目标物品的分类结果。
[0222]
当同一目标物品的目标物品类别信息，仅存在于两个中间分类结果中时，将所在的两个中间分类结果中具有较高置信度的中间分类结果，作为所述目标物品的分类结果；
[0223]
当同一目标物品的目标物品类别信息，存在于三个以上中间分类结果中时，根据所在的三个以上中间分类结果中的置信度信息，选取预设数量的中间分类结果，作为所述目标物品的分类结果。
[0224]
比如，假设目标物品的分类结果为oh，若类别c2_i仅存在于分类网络模型hi的中间分类结果中时，则将类别c2_i及对应的置信度ph3，保留在目标物品的分类结果oh中。
[0225]
若类别c2_1仅存在于分类网络模型hi及分类网络模型hj中，且ph1＜ph4，则将c2_1对应的置信度ph4，保留在目标物品的分类结果oh中。
[0226]
若类别c2_2存在于三个以上中间分类结果中时，此时，若多个中间分类结果中类别c2_2对应的置信度均极高，比如，类别c2_2对应的置信度均大于gp1，则可以选取置信度
最高的少数量(比如选取三个)中间分类结果，保留在目标物品的分类结果oh中。
[0227]
若全部中间分类结果中类别c2_2对应的置信度均较低，比如，类别c2_2对应的置信度均小于gp2，则可以选取置信度最高的少数量(比如选取一个)中间分类结果，保留在目标物品的分类结果oh中。其中，gp2小于gp1。
[0228]
若全部中间分类结果中类别c2_2对应的最高置信度小于gp1，最低置信度大于gp2，则可以选取置信度最高多个(比如选取五个)中间分类结果，保留在目标物品的分类结果oh中。
[0229]
由上述内容可知，本发明实施例中获得目标物品分类结果的方法，在获得标物品检测结果后，通过利用分类网络模型对目标物品的类别进行进一步判断，可以进一步提高目标检测的准确性。
[0230]
为了使本领域技术人员更好地理解和实现本发明，以下对上述方法对应的目标识别系统进行详细描述。
[0231]
参照图7，本发明提供了一种目标识别系统70，所述目标识别系统70包括：目标检测单元71、目标分类单元72及判断单元73。其中：
[0232]
所述目标检测单元71，适于在接收到输入图像以后，分别利用预设的检测网络模型，对所述输入图像进行目标检测，得到目标物品的检测结果；所述目标物品的检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息；
[0233]
所述目标分类单元72，适于利用预设的分类网络模型，对所述目标物品的检测结果进行分类，得到所述目标物品的分类结果；所述目标物品的分类结果包括：目标物品类别信息及置信度信息；
[0234]
所述判断单元73，适于利用所述目标物品的分类结果，判断所述目标物品的检测结果是否有效，将有效的所述目标物品的检测结果，作为所述目标物品的识别结果。
[0235]
在本发明的一实施例中，所述目标检测单元71可以包括：两个以上目标检测子单元711及第一融合子单元712。其中：
[0236]
所述目标检测子单元711适于在接收到输入图像后，利用预设的检测网络模型，对所述输入图像进行目标检测；
[0237]
第一融合子单元712，适于对各所述检测网络模型输出的中间检测结果进行融合，得到目标物品的检测结果；所述中间检测结果包括：目标物品类别信息、目标物品位置信息及置信度信息；
[0238]
其中，任意两个所述检测网络模型对应的训练样本的类别不同。
[0239]
在本发明一实施例中，所述目标分类单元72可以包括：两个以上目标分类子单元721及第二融合子单元722。其中：
[0240]
所述目标分类子单元721适于当接收到所述目标物品的检测结果时，利用预设的分类网络模型，对所述目标物品的检测结果进行分类；
[0241]
第二融合子单元722，适于对各所述分类网络模型输出的中间分类结果进行融合，得到所述目标物品的分类结果；
[0242]
其中，任意两个所述分类网络模型对应的训练样本的类别不同。
[0243]
由上述内容可知，本发明实施例中的目标识别系统70，相对于利用单个网络模型进行目标检测，可以有效提高检测的准确性。
[0244]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。