目标检测方法、装置、电子设备和计算机可读存储介质与流程

目标检测方法、装置、电子设备和计算机可读存储介质
1.相关申请的交叉引用
2.本技术要求2021年6月17日递交的题为“目标检测方法、装置、电子设备和计算机可读存储介质”，申请号为10202106559t的新加坡专利申请，其全部内容通过引用并入本文。
技术领域
3.本公开实施例涉及深度学习技术领域，尤其涉及一种目标检测方法、装置、电子设备和计算机可读存储介质。


背景技术：

4.目标检测是智能视频分析系统的重要一环，我们希望对所要分析的目标物体进行高准确率的检测，而对于其他物品，可称为外来物(foreign things)，通常针对目标物体的检测方法难以对外来物有较准确的检测结果，因此外来物容易被误检为目标物体。然而在目标检测时，不希望误检到foreign things而影响系统的分析。


技术实现要素：

5.有鉴于此，本公开实施例提供一种目标检测方法、装置、电子设备以及计算机可读存储介质。
6.第一方面，提供目标检测方法，所述方法包括：对待检测图像进行目标检测，得到检测结果，所述检测结果包括所述待检测图像中的目标对象所属的目标类别、以及所述目标对象在所述待检测图像中的位置信息；基于所述位置信息，由所述待检测图像中分割出包括所述目标对象的候选图像；根据所述候选图像，确定所述目标对象属于目标类别的置信度；响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
7.结合本公开的任一实施方式，所述对待检测图像进行目标检测，得到检测结果，包括：通过目标检测网络，对待检测图像进行目标检测，得到检测结果；所述目标检测网络被训练为用于检测多种类别的目标对象。
8.结合本公开的任一实施方式，所述根据所述候选图像，确定所述目标对象属于所述目标类别的置信度，包括：通过过滤器，根据对所述候选图像进行特征提取得到的图像特征，确定所述目标对象属于所述目标类别的置信度；所述过滤器被训练为用于检测所述目标类别的目标对象。
9.结合本公开的任一实施方式，所述过滤器的训练过程包括：利用过滤器对样本图像进行特征提取；基于提取到的图像特征，确定所述样本图像属于所述样本图像的标注类别的置信度，所述样本图像包括：正样本图像，其包括所述目标类别的目标对象，以及负样本图像，其包括干扰对象，所述干扰对象不属于所述目标类别；基于所述置信度与所述样本图像的标注类别，确定网络损失；根据所述网络损失调整所述过滤器的网络参数。
10.结合本公开的任一实施方式，所述样本图像包括至少两类正样本图像，所述至少两类正样本图像分别对应所述目标对象的一种预设的展示状态。
11.结合本公开的任一实施方式，所述目标对象包括片状物体，所述片状物体具有标识面和与标识面相对的表面；所述至少两类所述正样本图像包括：所述片状物体为标识面可见的第一展示状态的图像、所述片状物体为标识面不可见的第二展示状态的图像。
12.结合本公开的任一实施方式，所述方法还包括：响应于所述置信度小于预设阈值，将所述候选图像作为负样本图像，训练所述过滤器。
13.结合本公开的任一实施方式，从所述待检测图像检测出一个或多个目标对象的情况下，对于所述一个或多个目标对象中的每一个目标对象，所述检测结果包括该目标对象所属的目标类别，以及该目标对象在所述待检测图像中的位置信息；所述根据所述候选图像，确定所述目标对象属于目标类别的置信度，包括：通过与所述目标对象所属的目标类别对应的过滤器，基于包括所述目标对象的所述候选图像确定所述目标对象属于目标类别的置信度。
14.结合本公开的任一实施方式，所述待检测图像包括游戏桌面图像，所述至少一个目标对象包括游戏道具、游戏道具操作部件、游戏币中的至少一项。
15.结合本公开的任一实施方式，所述方法还包括：响应于所述置信度大于或等于预设阈值，保存所述检测结果。
16.第二方面，提供一种目标检测装置，所述装置包括：目标检测模块，用于对待检测图像进行目标检测，得到检测结果，所述检测结果包括所述待检测图像中的目标对象所属的目标类别、以及所述目标对象在所述待检测图像中的位置信息；图像分割模块，用于基于所述位置信息，由所述待检测图像中分割出包括所述目标对象的候选图像；置信度确定模块，根据所述候选图像，确定所述目标对象属于目标类别的置信度；结果确定模块，用于响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
17.结合本公开的任一实施方式，所述目标检测模块，具体用于：通过目标检测网络，对待检测图像进行目标检测，得到检测结果；所述目标检测网络被训练为用于检测多种类别的目标对象。
18.结合本公开的任一实施方式，所述置信度确定模块，具体用于：通过过滤器，根据对所述候选图像进行特征提取得到的图像特征，确定所述目标对象属于所述目标类别的置信度；所述过滤器被训练为用于检测所述目标类别的目标对象。
19.结合本公开的任一实施方式，所述过滤器的训练过程包括：利用过滤器对样本图像进行特征提取；基于提取到的图像特征，确定所述样本图像属于所述样本图像的标注类别的置信度，所述样本图像包括：正样本图像，其包括所述目标类别的目标对象，以及负样本图像，其包括干扰对象，所述干扰对象不属于所述目标类别；基于所述置信度与所述样本图像的标注类别，确定网络损失；根据所述网络损失调整所述过滤器的网络参数。
20.结合本公开的任一实施方式，所述样本图像包括至少两类所述正样本图像，所述至少两类正样本图像分别对应所述目标对象的一种预设的展示状态。
21.结合本公开的任一实施方式，所述目标对象包括片状物体，所述片状物体具有标识面和与标识面相对的表面；所述至少两类所述正样本图像包括：所述片状物体为标识面可见的第一展示状态的图像、所述片状物体为标识面不可见的第二展示状态的图像。
22.结合本公开的任一实施方式，所述结果确定模块，还用于：响应于所述置信度小于预设阈值，将所述候选图像作为负样本图像，训练所述过滤器。
23.结合本公开的任一实施方式，从所述待检测图像检测出一个或多个目标对象的情况下，对于所述一个或多个目标对象中的每一个目标对象，所述检测结果包括该目标对象所属的目标类别，以及该目标对象在所述待检测图像中的位置信息；所述根据所述候选图像，确定所述目标对象属于目标类别的置信度，包括：通过与所述目标对象所属的目标类别对应的过滤器，基于包括所述目标对象的所述候选图像确定所述目标对象属于目标类别的置信度。
24.结合本公开的任一实施方式，所述待检测图像包括游戏桌面图像，所述至少一个目标对象包括游戏道具、游戏道具操作部件、游戏币中的至少一项。
25.结合本公开的任一实施方式，所述结果确定模块，还用于：响应于所述置信度大于或等于预设阈值，保存所述检测结果。
26.第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的目标检测方法。
27.第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的目标检测方法。
28.第五方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例所述的目标检测方法。
29.本公开实施例在目标检测的基础上，通过目标检测确定的目标对象对应的候选图像，确定目标对象属于目标类别的置信度，并通过置信度有效判断目标对象是否属于待检测的目标对象的目标类别，过滤置信度小于预设阈值的目标对象，在不增加数据负荷的情况下，减少误检，提高检测准确率。
附图说明
30.为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1是本公开实施例示出的一种目标检测方法的流程图；
32.图2是本公开实施例示出的一种目标检测网络和过滤器的结构示意图；
33.图3是本公开实施例示出的一种过滤器的训练方法的流程图；
34.图4是本公开实施例示出的另一种目标检测方法的流程图；
35.图5是本公开实施例示出的又一种目标检测方法的流程图；
36.图6是本公开实施例示出的一种游戏场所环境下的目标检测方法的流程图；
37.图7是本公开实施例示出的一种目标检测装置的框图；
38.图8是本公开实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
39.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
40.在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
41.应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
42.如图1所示，图1是本公开实施例示出的一种目标检测方法的流程图，该方法可以包括以下步骤：
43.在步骤100中，对待检测图像进行目标检测，得到检测结果。
44.其中，所述检测结果包括所述待检测图像中的目标对象所属的目标类别、以及所述目标对象在所述待检测图像中的位置信息。
45.本步骤中，待检测图像中可以包含不同类别的目标对象，还可以包含其他对象。目标对象为目标检测时的检测目标。在不同的场景下，目标检测中所检测的目标对象不同。比如，在道路场景下，目标对象可以是车辆和行人，其他对象可以是树木，宠物和建筑等。又比如，在人脸识别的场景下，目标对象可以是人的面部，其他对象可以是卡通形象的面部。待检测图像中的目标对象可以有一个或多个，可以有其他对象，也可以没有其他对象。
46.目标检测存在误检的概率，对待检测图像进行目标检测时，存在将其中的其他对象误检为某个目标类别的目标对象的情况。
47.对待检测图像进行目标检测后，可以得到检测结果，检测结果可以包括待检测图像中的各个目标对象所属的目标类别、以及各个目标对象在待检测图像中的位置信息。位置信息可以是目标对象所在框的框坐标信息，具体的，可以是恰好框住待检测图像中目标对象的长方形框的四个顶点的坐标信息，也可以是环绕目标对象的固定大小的长方形框的四个顶点的坐标信息，本实施例不限制位置信息的具体表示方式。
48.本实施例不限制目标检测的具体方式，例如，可以通过训练好的神经网络进行目标检测，或者也可以通过其他方式进行目标检测。
49.在步骤102中，基于所述位置信息，由所述待检测图像中分割出包括所述目标对象的候选图像。
50.本步骤中，可以根据目标对象的位置信息，从待检测图像中裁剪出每个目标对象所在的区域的图像，该区域的图像即为候选图像。可以从待检测图像中获取一个或多个候选图像。
51.例如，在位置信息是目标对象所在框的框坐标信息时，可以从待检测图像中裁剪
出每个目标对象所在的框，得到候选图像。
52.候选图像中可能是真正的目标对象，也可能是被误检为目标对象的其他对象。
53.在步骤104中，根据所述候选图像，确定所述目标对象属于目标类别的置信度。
54.本实施例不限制确定置信度的具体方式，例如，可以通过训练好的神经网络进行特征提取以及确定置信度，或者也可以通过其他方式进行确定置信度。
55.比如，可以对每个候选图像进行特征提取得到候选图像的图像特征，根据图像特征可以预测出对应的目标对象属于目标类别的置信度，置信度越高，则目标对象属于目标类别的概率越大。
56.或者，也可以预测出对应的目标对象不属于目标类别的置信度，置信度越低，则目标对象属于目标类别的概率越大。
57.例如，在目标检测时确定该目标对象所属的目标类别为车辆类时，可以根据目标对象对应的候选图像提取得到的图像特征，确定该目标对象属于车辆类的置信度，或者，确定该目标对象不属于车辆类对象的置信度。
58.在步骤106中，响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
59.本步骤中，在确定了该目标对象属于目标类别的置信度后，若置信度小于预设阈值，则确定该目标对象被误检为目标类别的对象，在检测结果中删除关于所述目标对象的信息条目；若置信度大于或等于预设阈值，则确定该目标对象为目标类别的对象。在一示例中，响应于置信度大于或等于预设阈值，可以保存检测结果。
60.或者，在确定了目标对象不属于目标类别的置信度后，若置信度大于或等于预设阈值，则确定该目标对象为被误检为目标对象的其他对象，在检测结果中删除关于所述目标对象的信息条目；若置信度小于预设阈值，则确定该目标对象为该目标类别的对象。具体的预设阈值可以由本领域人员根据实际需求自行设置。
61.本公开实施例提供的目标检测方法在目标检测的检测结果的基础上，通过基于检测出的目标对象对应的候选图像，确定目标对象属于目标类别的置信度，并通过置信度有效验证目标对象的类别检测结果，过滤检测结果中置信度小于预设阈值的目标对象，在不增加数据负荷的情况下，能够有效滤除不易通过待检测图像的目标检测分辨出的外来物体，减少误检，提高检测准确率。
62.在一种实施方式中，对待检测图像进行目标检测，得到检测结果，包括：通过目标检测网络，对待检测图像进行目标检测，得到检测结果。其中，所述目标检测网络被训练为用于检测多种类别的目标对象。将待检测图像输入目标检测网络，可以得到待检测图像中的目标对象所属的类别，作为目标类别，以及可以得到所述目标对象在所述待检测图像中的位置信息。其中，目标检测网络可以是使用包含至少一种类别的目标对象的图像作为样本进行训练后的神经网络，使用目标检测网络可以更精确快速的识别出待检测图像中的目标类别的目标对象，并且，目标检测网络的训练样本中通常包含的目标对象的类别的数量是有限的，通过采用过滤器对目标检测网络检测出的目标类别的目标对象进行进一步过滤，能够减少由于目标检测网络的训练样本中缺乏外来物的数据而造成的误检。
63.在一种实施方式中，根据所述候选图像，确定所述目标对象属于所述目标类别的置信度，包括：通过过滤器，根据对所述候选图像进行特征提取得到的图像特征，确定所述
目标对象属于所述目标类别的置信度，其中，所述过滤器被训练为用于检测所述目标类别的目标对象。过滤器可以是练好的二分类的神经网络，将候选图像输入过滤器，或者将对候选图像提取到的特征输入过滤器，可以得到目标对象属于目标类别的置信度。使用过滤器可以更准确快速的得到目标对象属于目标类别的置信度。
64.本公开实施例提供的一种目标检测方法可以通过目标检测网络和过滤器进行，图2示例了该目标检测方法所使用的目标检测网络21和过滤器22的结构。
65.其中，目标检测网络21，用于对输入的待检测图像进行目标检测，得到检测结果，其中，检测结果包括待检测图像中的目标对象所属的目标类别、以及目标对象在待检测图像中的位置信息。
66.根据目标检测网络21输出的位置信息，可以由待检测图像中分割出包括目标对象的候选图像。
67.过滤器22，用于根据候选图像进行特征提取得到的图像特征，确定所述目标对象属于某个目标类别的置信度。实际实施中，可以将候选图像输入过滤器22，由过滤器22对所述候选图像进行特征提取得到的图像特征，也可以是由其他方式对所述候选图像进行特征提取得到的图像特征，如利用神经网络进行特征提取，并将提取到的图像特征输入过滤器22。
68.根据过滤器22输出的置信度，可以判断该目标对象是否为所属的目标类别并在检测结果中进行删除或保存。
69.本公开实施例中所使用的目标检测网络可以使用进行目标检测时常用的检测网络模型，并按照常用的方法训练，如faster rcnn(基于加速区域的卷积神经网络)，fast rcnn(基于快速区域的卷积神经网络)，r
‑
cnn(基于区域的卷积神经网络)等，本实施例对目标检测网络具体使用的神经网络和训练方法不进行限制。
70.图3示出了一种本公开实施例提供的目标检测方法所使用的过滤器的训练过程，也就是对图2所示的过滤器进行训练的方法，该过滤器用于对某个指定的目标类别的目标对象进行过滤，具体包括以下步骤：
71.在步骤300中，利用过滤器对样本图像进行特征提取，基于提取到的图像特征，确定所述目标样本图像属于所述目标样本图像的标注类别的置信度。
72.本实施例中所使用的过滤器可以是基于深度学习的分类器，比如，resnet(残差神经网络)，vggnet(深度卷积神经网络)，densenet(密集卷积网络)等深度学习模型。
73.给过滤器构建二分类任务，一个过滤器用于对一种目标类别的目标对象进行过滤，使用大量的某个目标类别对应的样本图像来完成训练。样本图像包括：正样本图像和负样本图像，正样本图像包括目标类别的目标对象，负样本图像包括干扰对象。正样本图像的标注类别可以为1，此时负样本图像的标注类别可以为0。或者，正样本图像的标注类别可以为0，此时负样本图像的标注类别可以为1。为了提高训练效果，还可以将正样本图像和负样本图像的数量保持一致。
74.干扰对象为不属于目标类别的其他对象，特别的，干扰对象可以为类似目标对象的其他对象。比如，在目标对象为公交车的情况下，干扰对象可以是私家车。又比如，在目标对象为水杯的情况下，干扰对象可以是花瓶、笔筒等。样本图像中一般只包含了一个目标对象或干扰对象。
75.在一个示例中，样本图像包括至少两类正样本图像，每一类正样本图像中的目标类别的目标对象的分别对应一种预设的展示状态。本示例中使用的正样本图像中包含了目标对象不同的展示状态，以使训练得到的过滤器的稳健性更强，更准确地对目标类别的目标对象进行过滤。
76.比如，在目标对象为块状物体的情况下，块状物体具有正面、侧面和俯视面，样本图像可以包括三类正样本图像，该目标类别的目标对象在三类正样本图像可以有三种预设的展示状态，分别是：块状物体正面可见、块状物体侧面可见以及块状物体俯视面可见。例如，对于车辆，正面是车前窗所在的一面，侧面是车门所在的一面，俯视面是车顶所在的一面。
77.比如，在目标对象为片状物体的情况下，片状物体具有标识面和与标识面相对的表面，展示状态，分别是标识面可见和标识面不可见。至少两类正样本图像可以包括：展示状态为标识面可见的片状物图像、展示状态为标识面不可见的片状物图像。本示例中使用的正样本图像除了包含片状物体标识面可见的展示状态，还包含了片状物体标识面不可见的展示状态，由此过滤器可以针对不同状态的片状物体获得准确的检测结果。
78.将样本图像输入过滤器中，利用过滤器对样本图像进行特征提取，基于提取到的图像特征，确定所述样本图像属于样本图像的标注类别的置信度。
79.例如，可以是由过滤器中的卷积层对样本图像进行特征提取，由过滤器中的全连接层对提取到的图像特征进行整合，经过softmax层回归处理后输出样本图像属于样本图像的标注类别的置信度。
80.在步骤302中，基于所述置信度与所述样本图像的标注类别，确定网络损失。
81.本步骤中，基于置信度与样本图像的标注类别，可以通过损失函数来计算网络损失。损失函数用来判定实际输出和期望输出的差距，即过滤器输出的置信度与样本图像的标注类别的差距，本实施例对于具体使用何种损失函数并不进行限制。比如，可以使用分位数损失函数，均方差损失函数或交叉熵损失函数。
82.在一个示例中，可以使用binary cross entropy loss(二值交叉熵损失函数)来训练过滤器：
83.l(x，y)＝y*log(x)+(1
‑
y)*log(1
‑
x)
ꢀꢀ
(1)
84.其中，x是过滤器输出的置信度，置信度范围在0至1之间，y是样本图像的标注类别，一般为0或1。该二值交叉熵损失函数用于判定实际的输出与期望的输出的接近程度。
85.例如，在正样本图像的标注类别为1，负样本图像的标注类别为0的情况下，输入正样本图像时，过滤器的输出表明了正样本图像的标注类别为1的置信度；输入负样本图像时，过滤器的输出表明了负样本图像的标注类别为0的置信度。
86.置信度的范围可以在0至1之间，将置信度与样本图像的标注类别输入损失函数就可以计算得到网络损失。
87.在步骤304中，根据所述网络损失调整所述过滤器的网络参数。
88.具体实施中，可以通过反向传播调整过滤器中的网络参数。当达到网络迭代结束条件时，结束网络训练，其中，该结束条件可以是迭代达到一定的次数，或者网络损失小于一定阈值。
89.在过滤器训练好之后，可以将该过滤器接入目标检测网络后对目标检测网络检测
的结果进行过滤。
90.图4为本公开实施例提供的一种目标检测方法，如图4所示，该方法以训练完成的过滤器为例，描述了目标检测的方法，该方法可以包括如下步骤：
91.在步骤400中，接收待检测图像。
92.本步骤中，待检测图像可以包含多种类别的目标对象。
93.在步骤402中，通过目标检测网络，对待检测图像进行目标检测，得到检测结果。
94.其中，检测结果包括待检测图像中的目标对象所属的目标类别、以及所述目标对象在所述待检测图像中的位置信息。
95.目标检测网络可以使用训练好的进行目标检测时常用的检测网络模型。
96.本步骤中，将待检测图像输入目标检测网络，可以输出其中各个目标对象所属的目标类别，以及目标对象在待检测图像中的位置信息。
97.在步骤404中，基于所述位置信息，由所述待检测图像中分割出包括所述目标对象的候选图像。
98.根据目标检测网络输出的位置信息，可以将待检测图像中包括目标对象的候选图像裁剪出来，即候选图像，在有多个目标对象时，可以得到多个候选图像。
99.在步骤406中，通过过滤器，根据对所述候选图像进行特征提取得到的图像特征，确定所述目标对象属于所述目标类别的置信度。
100.实际实施中，可以预先训练好某个目标类别的目标对象对应的过滤器，将检测出的该目标类别的目标对象对应的候选图像输入过滤器，由过滤器对所述候选图像进行特征提取得到的图像特征，并根据图像特征输出目标对象属于所述目标类别的置信度。
101.也可以是由其他方式对候选图像进行特征提取得到图像特征，如利用神经网络进行特征提取，然后将提取到的图像特征输入过滤器，由过滤器基于图像特征输出目标对象属于所述目标类别的置信度。
102.在步骤408中，响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
103.若过滤器输出的置信度小于预设阈值，则确定该目标对象为被误检为目标类别的对象的其他对象，在检测结果中删除关于所述目标对象的信息条目；若置信度大于或等于预设阈值，则确定该目标对象确实为该目标类别的对象。
104.在另一示例中，在步骤406中可以确定该目标对象不属于该目标类别的置信度，若置信度大于或等于预设阈值，则确定该目标对象为被误检为目标类别的对象的其他对象，在检测结果中删除关于所述目标对象的信息条目；若置信度小于预设阈值，则确定该目标对象为该目标类别的对象。
105.置信度可以在0至1的区间，示例性地，预设阈值可以设置为0.5，具体的预设阈值可以由本领域人员根据实际需求自行设置。
106.在步骤410中，将所述候选图像作为负样本图像用于训练所述过滤器。
107.对于上个步骤中被删除的关于所述目标对象的信息条目，可以将其对应的候选图像作为负样本图像用于训练过滤器。
108.本公开实施例提供的目标检测方法在目标检测网络之后接入过滤器，对目标检测确定的目标对应的候选图像进行进一步地特征提取，通过置信度有效判断目标对象是否属
于待检测的目标的类别，并过滤置信度小于预设阈值的目标对象，在不增加数据负荷的情况下，减少误检，提高检测准确率。另外，将被删除的关于所述目标对象的信息条目对应的候选图像作为负样本图像，来训练所述过滤器，可以增加负样本图像的数量以及更有针对性地优化过滤器。
109.图5为本公开实施例提供的又一种目标检测方法，该方法可以对多个目标类别的目标对象分别进行检测过滤，可以包括如下步骤，其中，与上述实施例重复的步骤不再进行赘述。
110.在步骤500中，对待检测图像进行目标检测，得到检测结果。
111.其中，检测结果包括：从待检测图像检测出的至少一个目标对象中的每一个目标对象所属的目标类别。以及所述目标对象在所述待检测图像中的位置信息。至少一个目标对象中每一个目标对象所属的目标类别可以相同，也可以不同。本实施例中，待检测图像中目标类别可以有多种，每一种目标类别对应一个过滤器，待检测图像中还可以包括其他对象。在一示例中，待检测图像可以是游戏桌面图像，所述至少一个目标对象包括游戏道具、游戏道具操作部件、游戏币中的至少一项。其他对象可以是会员卡、纸巾等。
112.可以是通过将待检测图像输入目标检测网络，来获取待检测图像中分别对应多个类别的目标对象以及其在待检测图像中的位置信息。但是，存在将其他对象误检为某个目标类别的对象的可能性。
113.在一个示例中，预检测识别的目标对象的类别分别为a、b、c和d，预先训练类别分别为a、b、c和d的目标对象对应的过滤器。待检测图像中实际存在一个类别为a的目标对象、一个类别为d的目标对象、以及其他类别e和f的目标对象的情况下，在检测时将实际类别e的目标对象误检为目标类别为b的目标对象，将实际类别f的目标对象误检为目标类别为d的目标对象，则分别经过类别b和类别d对应的过滤器过滤后，删除实际类别e的目标对象的检测结果和实际类别f的目标对象的检测结果。
114.在步骤502中，基于所述位置信息，由所述待检测图像中分割出包括所述目标对象的候选图像。
115.本步骤中，可以根据每个目标对象的位置信息，可以从待检测图像中获取与目标对象数量相同的候选图像。
116.在步骤504中，针对所述至少一个目标对象中的每一个目标对象，通过与所述目标对象所属的目标类别对应的过滤器，基于包括所述目标对象的所述候选图像确定所述目标对象属于目标类别的置信度。
117.本实施例中，可以预先训练好每个目标类别对应的过滤器，可以使用图3示出的训练方法对各个过滤器分别进行训练。将每一个目标对象对应的候选图像按照其对应的目标类别分别输入对应的过滤器中，由过滤器对候选图像进行特征提取得到的图像特征，并根据图像特征输出目标对象属于该目标类别的置信度。
118.也可以由其他方式对每个候选图像进行特征提取得到图像特征，如利用神经网络进行特征提取，然后将提取到的图像特征输入对应的过滤器，由过滤器基于图像特征输出目标对象属于该目标类别的置信度。
119.在步骤506中，响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
120.若过滤器输出的置信度小于预设阈值，则确定该目标对象为被误检为目标对象的其他对象，在所述检测结果中删除关于所述目标对象的信息条目；若置信度大于或等于预设阈值，则确定该目标对象确实为该目标类别的对象。
121.对于被删除的关于所述目标对象的信息条目，还可以将其对应的候选图像作为对应的目标类别的负样本图像用于训练对应的过滤器。
122.本公开实施例提供的目标检测方法在目标检测的基础上，分别接入与检测出的各个目标对象的目标类别对应的过滤器，通过各过滤器分别对对应目标类别的目标对象的检测结果进行过滤，能够实现多种类别的目标对象的检测结果的过滤，可以提高检测和过滤的效率。
123.在一种具体的实施方式中，本公开实施例提供的目标检测方法可以应用于游戏场所的环境中。在游戏场所的目标检测中，我们希望对与游戏相关的目标对象(如扑克牌，筹码等)进行高准确率的检测，而对于其他物品，统称为foreign things，我们不希望在检测目标对象时误检到foreign things而影响系统的分析。
124.然而针对游戏场所中的目标检测问题，传统的方法通过采集相应的foreign things数据，增加相应的负样本数量来提升目标检测模型对foreign things的鲁棒性，从而减少误检。但是由于foreign things本身包含的种类无法穷尽，且在游戏场所的真实场景中出现的概率较低，导致采集包含foreign things的真实游戏场所的图像的成本和难度较大，成本很高，无法很好的实现。
125.如图6所示，本公开实施例提供了一种游戏场所环境下的目标检测方法，该方法可以包括以下步骤，其中，与上述实施例重复的步骤不再进行赘述。
126.在步骤600中，接收待检测图像。
127.本步骤中，待检测图像可以是游戏桌面图像，可以由游戏场所中的摄像头拍摄，可以包含不同目标类别的目标对象，还可以包含与游戏无关的其他对象。比如，目标对象可以包括游戏道具、游戏道具操作部件、游戏币等，具体可以是，扑克牌、筹码和标志牌。
128.本实施例以扑克牌检测为例，要检测并过滤的目标对象的目标类别为扑克牌，其他对象可以是与扑克牌外观相近的foreign things，比如银行卡、会员卡等，容易被传统的目标检测网络误检为扑克牌。
129.在步骤602中，通过目标检测网络，对待检测图像进行目标检测，得到检测结果。
130.其中，检测结果包括待检测图像中的目标对象所属的目标类别、以及目标对象在所述待检测图像中的位置信息。
131.目标检测网络可以使用训练好的进行目标检测时常用的检测网络模型，比如，faster rcnn，可以预先使用游戏场所场景的数据完成faster rcnn的训练，以对游戏场所的常规物品进行目标检测。
132.本步骤中，将待检测图像输入目标检测网络，可以输出其中各个目标对象所属的目标类别，以及目标对象在待检测图像中对应的位置信息。
133.例如，可以输出待检测图像中的每个扑克牌以及对应的位置信息、每个筹码以及对应的位置信息和每个标志牌以及对应的位置信息。
134.在步骤604中，基于所述位置信息，由所述待检测图像中分割出包括目标对象的候选图像。
135.根据目标检测网络输出的位置信息，可以将待检测图像中包括目标对象的候选图像裁剪出来，即候选图像，在有多个目标对象时，可以得到相同数量的候选图像。
136.本实施例中可以只对扑克牌进行进一步的检测过滤，对于筹码和标志牌直接输出目标检测的结果，此时只需要扑克牌对应的过滤器；其他实施例中也可以对筹码和标志牌进行进一步的检测过滤，此时还需要筹码对应的过滤器和标志牌对应的过滤器，一共三个过滤器。特别的，也可以使用一个多分类过滤器，同时用于扑克牌、筹码和标志牌的过滤检测。
137.本实施例以扑克牌检测为例，可以基于每个扑克牌对应的位置信息从待检测图像中裁剪出各个扑克牌对应的候选图像。在位置信息为框坐标信息的情况下，候选图像可以是各个扑克牌所在的框对应的图像，各个候选图像中包含的可能是真实扑克牌，也可能是误检的外来物。
138.在步骤606中，通过扑克牌对应的过滤器，根据对所述候选图像进行特征提取得到的图像特征，确定目标对象属于扑克牌的置信度。
139.本实施例中，可以预先训练好扑克牌对应的过滤器。具体的，可以使用基于深度学习的分类器作为过滤模型，比如，resnet，通过构建二分类任务来完成初步训练。该过滤器用于判断输入的图片是否为扑克牌，在训练的时候所需要的数据集包括：正样本数据和负样本数据。其中，正样本数据为扑克牌数据，需包括正面朝上和反面朝上的扑克牌，负样本数据为与扑克牌外观相近的物品数据，比如会员卡，银行卡，纸张等。可以使用binary cross entropy loss作为损失函数来训练过滤器。
140.本步骤中，将检测出的扑克牌对应的候选图像输入训练好的过滤器，由过滤器对候选图像进行特征提取得到的图像特征，并根据图像特征输出目标对象属于扑克牌的置信度。过滤器对每张候选图片预测出一个是否为扑克牌的置信度。
141.在步骤608中，响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
142.置信度可以在0至1的区间，预设阈值可以设置为0.5，当置信度小于0.5时，确定该目标对象为被误检为扑克牌的foreign things，在检测到属于扑克牌的对象中删除关于所述目标对象的信息条目；若置信度大于或等于0.5，则确定该目标对象确实为属于扑克牌的对象。
143.误检的目标对象被去除，输出更高准确率的检测结果，以供系统进行后续分析使用。
144.在步骤610中，将所述候选图像作为负样本图像用于训练所述过滤器。
145.对于上个步骤中被删除的关于所述目标对象的信息条目，可以将其对应的候选图像作为负样本图像用于训练过滤器。特别的，还可以对被过滤的候选图像进行人工复检来进一步确认其是否为foreign things，若确实为foreign things，则将其对应的候选图像加入过滤器的负样本数据中，以此不断优化过滤器。
146.本公开实施例提供的目标检测方法在传统的目标检测的基础上接入过滤器，对目标检测确定的目标对应的候选图像进行进一步地特征提取，通过置信度有效判断目标对象是否属于待检测的目标的类别，并删除置信度小于预设阈值的目标对象，以过滤“外来物”。可以在不增加数据负荷和游戏场所数据采集难度的情况下，减少误检，提高检测准确率。另
外，将被删除的关于所述目标对象的信息条目对应的候选图像作为负样本数据，来训练所述过滤器，可以增加负样本数据的数量以及更有针对性地优化过滤器。在智能游戏场所中，需要判断是否在游戏场所游戏中存在外来物，使用本方法可以有效的判断目标对象是否属于外来物，从而对外来物作出必要的筛选和排除。
147.本公开实施例提供了一种目标检测装置，如图7所示，该装置可以包括：目标检测模块71、图像分割模块72、置信度确定模块73和结果确定模块74。
148.目标检测模块71，用于对待检测图像进行目标检测，得到检测结果，所述检测结果包括所述待检测图像中的目标对象所属的目标类别、以及所述目标对象在所述待检测图像中的位置信息。
149.图像分割模块72，用于基于所述位置信息，由所述待检测图像中分割出包括所述目标对象的候选图像。
150.置信度确定模块73，根据所述候选图像，确定所述目标对象属于目标类别的置信度。
151.结果确定模块74，用于响应于所述置信度小于预设阈值，在所述检测结果中删除关于所述目标对象的信息条目。
152.本公开实施例提供的目标检测装置在目标检测的基础上，通过目标检测确定的目标对象对应的候选图像，确定目标对象属于目标类别的置信度，并通过置信度有效判断目标是否属于待检测的目标对象的目标类别，过滤置信度小于预设阈值的目标对象，在不增加数据负荷的情况下，减少误检，提高检测准确率。
153.在一个示例中，所述目标检测模块71，具体用于：通过目标检测网络，对待检测图像进行目标检测，得到检测结果；所述目标检测网络用于检测多种目标类别的目标对象。
154.在一个示例中，所述置信度确定模块73，具体用于：通过过滤器，根据对所述候选图像进行特征提取得到的图像特征，确定所述目标对象属于所述目标类别的置信度；所述过滤器被训练为用于检测所述目标类别的目标对象。
155.在一个示例中，所述过滤器的训练过程包括：利用过滤器对样本图像进行特征提取；基于提取到的图像特征，确定所述样本图像属于所述样本图像的标注类别的置信度，所述样本图像包括：正样本图像，其包括所述目标类别的目标对象，以及负样本图像，其包括干扰对象，所述干扰对象不属于所述目标类别；基于所述置信度与所述样本图像的标注类别，确定网络损失；根据所述网络损失调整所述过滤器的网络参数。
156.在一个示例中，所述样本图像包括至少两类所述正样本图像，每一类所述正样本图像中的目标类别的目标对象的分别对应一种预设的展示状态。
157.在一个示例中，所述目标对象包括片状物体，所述片状物体具有标识面和与标识面相对的表面；所述至少两类所述正样本图像包括：所述片状物体为标识面可见的第一展示状态的图像、所述片状物体为标识面不可见的第二展示状态的图像。
158.在一个示例中，所述结果确定模块74，还用于：响应于所述置信度小于预设阈值，将所述候选图像作为负样本图像，训练所述过滤器。
159.在一个示例中，在从所述待检测图像检测出一个或多个目标对象的情况下，对于所述一个或多个目标对象中的每一个目标对象，所述检测结果包括该目标对象所属的目标类别，以及该目标对象在所述待检测图像中的位置信息；所述置信度确定模块73，具体用
于：通过与所述目标对象所属的目标类别对应的过滤器，基于包括所述目标对象的所述候选图像确定所述目标对象属于目标类别的置信度。
160.结合本公开的任一实施方式，所述待检测图像包括游戏桌面图像，所述至少一个目标对象包括游戏道具、游戏道具操作部件、游戏币中的至少一项。
161.结合本公开的任一实施方式，所述结果确定模块74，还用于：响应于所述置信度大于或等于预设阈值，保存所述检测结果。
162.上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
163.本公开实施例还提供了一种电子设备，如图8所示，所述电子设备包括存储器81、处理器82，所述存储器81用于存储可在处理器上运行的计算机指令，所述处理器82用于在执行所述计算机指令时实现本公开任一实施例所述的目标检测方法。
164.本公开实施例还提供了一种计算机程序产品，该产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例所述的目标检测方法。
165.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的目标检测方法。
166.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
167.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
168.本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
169.应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
170.以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。