专利名称：目标检测设备和方法
技术领域：
本公开涉及目标检测领域，具体地，涉及一种检测图像中的目标的设备和方法。
背景技术：
目标检测是图像/视频自动分析中的核心技术之一，广泛应用于视频监控、人工智能、计算机视觉等应用场景。一种常见的目标检测方法是通过离线训练来生成目标检测分类器，并利用该目标检测分类器来检测图像或图像序列(如视频)中的目标。由于离线训练中采用的训练样本是有限的，且不可能完全适合于实际的应用场景，因此，用这种方法生成的目标检测分类器误检率比较高。鉴于此，业内提出了一种在线学习方法，其中，利用在线得到的图像帧作为训练样本对目标检测分类器进行训练。有关在线学习的描述可以参见Oza 等人的论文 “Online Bagging and Boosting，，(干丨J于 Proc. Artificial Intelligence and Statistics，2001 年，第 105-112 页)(下文中称为文献 I)。
发明内容
在下文中给出关于本公开的一些方面的简要概述，以便提供对于本公开的基本理解。应当理解，这个概述并不是对本公开的穷举性概述。该概述也并非意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。根据本公开的一个方面，提供了一种目标检测设备，该目标检测设备可包括检测分类器，用于检测输入图像中的目标，以得到一个或更多个候选目标；验证分类器，用于利用与每个候选目标对应的图像块中的验证特征对每个候选目标进行验证；以及在线学习装置，用于利用所述验证分类器得到的对每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。根据本公开的另一方面，提供了一种目标检测方法，该目标检测方法可包括通过检测分类器来检测输入图像中的目标，以得到一个或更多个候选目标；通过验证分类器利用与每个候选目标对应的图像块中的验证特征，对每个候选目标进行验证；以及利用每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。另外，本公开的实施例还提供了用于实现上述方法的计算机程序。此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述方法的计算机程序代码。
参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。附图中的部件只是为了示出本公开的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。
图I是示出了根据一个实施例的目标检测设备的结构的示意性框图；图2是示出了根据该实施例的目标检测方法的示意性流程图；
图3是示出了根据另一实施例的目标检测设备的结构的示意性框图；图4是示出了根据该实施例的目标检测方法的示意性流程图；图5是示出了检测分类器进行目标检测的方法的一个具体示例的示意流程图；图6是示出了验证分类器对检测分类器的检测结果进行验证的方法的一个具体示例的示意流程图；图7是示出了对检测分类器进行在线训练和优化的方法的一个具体示例的示意性流程图；图8是示出了在线生成或在线优化验证分类器的方法的一个具体示例的示意性流程图；图9是示出了在线选择用于验证分类器的验证特征的一个具体示例的示意图；以及图10是示出用于实现本公开的实施例/示例的计算机的结构的示例性框图。
具体实施例方式下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。本公开的一些实施例提供了用于检测图像中的目标的设备和方法。在本公开中，所谓的“图像”可以表示一幅或一组静止图像，也可以表示一个图像序列，如视频图像。图I示意性示出了根据一个实施例的目标检测设备的结构，而图2示意性示出了根据该实施例的目标检测方法的流程。如图I所示，目标检测设备100可以包括检测分类器101、验证分类器103和在线学习装置105。目标检测设备100可以按照图2所示的方法来检测输入图像中的目标。下面参考图2来描述目标检测设备100的各个部件。检测分类器101用于检测输入图像中的目标(步骤202)，并将检测结果输出到验证分类器103。在本文中，将检测分类器检测到的一个或更多个目标称为候选目标。检测分类器可以采用任何适当的方法来进行目标检测，例如，检测分类器可以采用下文将参考图5描述的具体方法示例。验证分类器103用于对检测分类器101得到的检测结果进行验证(步骤204)。所述检测结果包括检测分类器检测到的一个或更多个候选目标，例如，每个候选目标在输入图像中的位置和尺寸。作为一个具体示例，所述检测结果还可以包括有关每个候选目标的其他信息，例如每个候选目标的检测概率(即检测分类器判断该候选目标为目标的概率)
坐寸ο具体地，在对检测分类器检测到的每个候选目标进行验证时，验证分类器103可以获取与每个候选目标对应的图像块中的一个或更多个特征(为了便于描述，称为“验证特征”)，并利用验证特征来进一步验证该候选目标为目标还是误检测。
如果某个候选目标被验证为目标，则可以将与该候选目标对应的图像块作为在线目标样本；如果某个候选目标被验证为误检测，则可以将与该候选目标对应的图像块作为在线误检样本。验证分类器103将验证结果(包括有关每个候选目标是否为目标的验证信息以及每个候选目标的位置和尺寸等)输出到在线学习装置105。在线学习装置105利用验证分类器103得到的对每个候选目标的验证信息、将与每个候选目标对应的图像块作为在线训练样本(包括上述在线目标样本和在线误检样本)对检测分类器101进行训练(步骤206)，从而优化检测分类器。这样，在对后续图像的处理过程时，可以采用经过在线优化的检测分类器进行目标检测。在图I或图2所示的设备或方法中，使用了检测分类器和验证分类器这两个分类器，由验证分类器对检测分类器的检测结果进行进一步的验证，从而能够进一步提高目标检测的准确率，减少误检和漏检。另外，在该实施例中，根据验证分类器的验证结果、利用在、线训练样本(简称为在线样本)对检测分类器进行在线训练。这样能够优化检测分类器，使其更适应于实际的应用场景，从而进一步提高目标检测的准确率。图3示意性示出了根据另一实施例的目标检测设备的结构，而图4示意性示出了根据该实施例的目标检测方法的流程。如图3所示，与目标检测设备100相似，目标检测设备300也包括检测分类器301、验证分类器303和在线学习装置305 ;不同之处在于，目标检测设备300还包括输入装置307。目标检测设备300可以按照图4所示的方法来检测输入图像中的目标。下面参考图4来描述目标检测设备300的各个部件。与图I所示的实施例相似，检测分类器301用于检测输入图像中的目标，得到一个或更多个候选目标(步骤402)，并将检测结果输出到验证分类器403 ;验证分类器403用于对检测分类器301得到的检测结果进行验证，即利用与每个候选目标对应的图像块中的一个或更多个检测特征来判断每个候选目标为目标还是误检测(步骤404)，并输出验证结果。如果某个候选目标被验证为目标，则可以将与该候选目标对应的图像块作为在线目标样本；如果某个候选目标被验证为误检测，则可以将与该候选目标对应的图像块作为在线误检样本。输入装置307用于接收经过标注的图像样本。例如，当输出的验证结果中包括漏检和误检时，用户可以对出现漏检和误检的图像进行手工标注，并通过输入装置307来输入经过标注的图像样本。经过标注的图像样本可以与每个候选目标所对应的图像块(即上述在线目标样本和在线误检样本)一起作为在线样本。在线学习装置305利用这些在线样本对检测分类器301进行训练优化(步骤406)。在图3或图4所示的设备或方法中，除了验证分类器得到的验证结果之外，还采用经标注的图像样本对检测分类器进行优化；与图1-2所示的实施例相比，能够提高对检测分类器的在线优化的效果，从而进一步提高目标检测的准确率，减少误检和漏检。图5示意性示出了检测分类器(如检测分类器101或301)进行目标检测(如步骤202或402)的一个示例性流程。
如图5所示，在步骤502-1中，检测分类器设置检测窗口，将该检测窗口在输入图像帧中移动，从而得到位于输入图像的不同位置的多个图像块。检测窗口的尺寸和位置可以根据实际应用场景来设置，这里不作详述。在对某帧图像进行目标检测时，检测窗口的尺寸可以保持不变，也可以发生变化。当检测窗口的尺寸发生变化时，得到的与检测窗口对应的图像块的尺寸也随之变化。作为一个具体示例，检测窗口的尺寸可以保持不变，而可以对输入图像的尺寸进行缩放，这样得到的图像块的尺寸是相同的。在步骤502-2中，提取利用检测窗口得到的每个图像块中的一个或更多个特征(下文中称为检测特征)。可以根据实际应用场景(如目标的类型等)来选择任何适当的特征作为检测特征，如哈尔特征(Haar特征)或有向梯度直方图(Histogram of OrientedGradient, HOG)特征等,这里不作详述。
然后，在步骤502-3中，检测分类器根据在每个图像块中提取的一个或更多个检测特征(也称为检测特征集)来判断该图像块是否存在目标。作为一个具体示例，检测分类器可以计算每个图像块中存在目标的概率，并判断该概率是否大于某个预定阈值，若是，则判断该图像块中存在目标，否则，则判断该图像块中没有目标。例如，假设检测窗口的个数为m(即得到m个图像块)，其中，第i个图像块中包括目标的概率为Pi (i = 0，1，. . .，m)，检测分类器可以将满Spi > Tl的图像块为候选目标，并记录这些候选目标的位置和尺寸等。Tl表示预定阈值。应理解，可以根据实际应用场景来选择该阈值，这里不作详述。应理解，上文参考图5所描述的方法仅仅是示例性的，而非穷尽性的。检测分类器还可以采用任何其他适当的方法来检测输入图像中的目标，例如，检测分类器可以是基于Adaboost的分类器或基于支持矢量机(SVM)的分类器等，这里不一一列举。图6示意性示出了验证分类器对检测分类器(如验证分类器103或303)的检测结果(一个或更多个候选目标)进行验证(如步骤204或404)的方法。如图6所示，在步骤604-1中，验证分类器获取与每个候选目标对应的图像块的一个或更多个验证特征(也称为验证特征集)。作为一个具体示例，验证特征集可以采用检测分类器进行目标检测所使用的检测特征集的子集，在这种情况下，检测分类器可以直接将检测特征集输出给验证分类器，或者检测分类器还可以将检测特征集存储在存储装置(图中未示出，该存储装置可以为内置于目标检测设备中的存储器，也可以是设置在目标检测设备外部并可由目标检测设备中的各个部件访问的存储器件)中，由检测分类器直接从中读取。作为另一具体示例，验证分类器可以采用与检测分类器的检测特征不同的特征来进行目标验证，即验证特征集可以不同于检测特征集。例如，所述验证特征集可以是预先设置的一组特征。又如，所述验证特征集可以是目标检测设备(在线学习装置)在线选择的一组特征(如下文中将参考图8和图9描述的示例)。可以根据实际应用场景(如目标的类型等)来选择任何适当的特征(如Haar特征或HOG特征等)作为验证特征，这里不作详述。在验证特征集不同于检测特征集的情况下，目标检测设备(验证分类器)可以在与每个候选目标对应的图像块中提取所述验证特征。然后，在步骤604-2中，验证分类器根据一个或更多个验证特征来判断每个候选目标是否为误检。被判断为目标的候选目标可以称为验证目标。在一个具体示例中，还可以对步骤604-2中得到的验证目标进行进一步的后处理。例如，被验证为目标的、位置和尺寸相近的多个图像块(验证目标)可能代表同一目标，因此，可以将位置和尺寸相近的、代表同一目标的多个图像块合并成一个目标，称为合并目标。应理解，上文参考图6所描述的方法仅仅是示例性的，而非穷尽性的。验证分类器还可以采用任何其他适当的方法来验证候选目标，例如，验证分类器可以是基于Adaboost的分类器或基于SVM的分类器等，这里不一一列举。图7示例性示出了在线学习装置(如在线学习装置105或305)对检测分类器(如检测分类器101或301)进行在线训练优化(如步骤206或406)的具体示例。如图7所示，在步骤706-1中，在线学习装置评估检测分类器对在线样本的检测损失。在线样本可以包括经过验证分类器验证的、与每个候选目标对应的图像块(即在线目 标样本和在线误检样本)。在图3或图4所示的情况下，在线样本还可以包括经过用户手工标注的图像样本。作为一个具体示例，假设检测分类器对在线样本的检测损失表示为Iossm，则在线学习装置可以利用下式来评估该检测损失Iossm
权利要求
1.一种目标检测设备，包括 检测分类器，用于对输入图像进行目标检测，以得到一个或更多个候选目标； 验证分类器，用于利用与每个候选目标对应的图像块中的验证特征对每个候选目标进行验证；以及 在线学习装置，用于利用所述验证分类器得到的对每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类 器进行训练优化。
2.根据权利要求I所述的目标检测设备，还包括 输入装置，用于接收经标注的图像样本，并且 其中，所述在线学习装置被配置用于利用所述验证分类器得到的验证结果、将与每个候选目标对应的图像块和所述经标注的图像样本二者作为在线样本对所述检测分类器进行训练优化。
3.根据权利要求I或2所述的目标检测设备，其中，所述在线学习装置还被配置用于根据所述验证分类器得到的验证结果和所述检测分类器得到的检测结果、利用所述在线样本对所述验证分类器进行训练优化。
4.根据权利要求3所述的目标检测设备，其中，所述在线学习装置被配置用于通过以下对所述验证分类器进行训练优化 根据所述检测分类器的检测结果和所述验证分类器的验证结果、利用在线样本来更新与每个验证特征对应的目标样本的统计分布模型和误检样本的统计分布模型； 选择使得验证分类器的验证错误率最小的一个或多个检测特征，以更新所述验证分类器。
5.根据权利要求4所述的目标检测设备，其中，所述在线学习装置被进一步配置用于利用在线样本和离线样本二者来更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型。
6.根据权利要求I或2所述的目标检测设备，其中，所述在线学习装置被配置用于通过以下对所述检测分类器进行训练优化 根据所述检测分类器的检测结果和所述验证分类器的验证结果来评估所述检测分类器对所述在线样本的检测损失；以及 通过最小化所述检测损失来优化所述检测分类器。
7.根据权利要求6所述的目标检测设备，其中，所述在线学习装置还被配置用于计算所述检测分类器对离线样本的检测损失与对所述在线样本的检测损失的和或加权和，作为所述检测分类器的总检测损失，并且 其中，所述在线学习装置通过最小化所述总检测损失来优化所述检测分类器。
8.根据权利要求I或2所述的目标检测设备，其中，所述在线学习装置还被配置用于利用在线样本来训练生成所述检测分类器。
9.根据权利要求I或2所述的目标检测设备，其中，所述在线学习装置还被配置用于利用在线样本来训练生成所述验证分类器。
10.根据权利要求I或2所述的目标检测设备，其中，所述验证分类器包括多个弱分类器，每个弱分类器对应一个验证特征且包括与该验证特征对应的、分别表示不同的目标样本或误检样本的一个或更多个统计分布模型。
11.一种目标检测方法，包括 通过检测分类器对输入图像进行目标检测，以得到一个或更多个候选目标； 通过验证分类器利用与每个候选目标对应的图像块中的验证特征，对每个候选目标进行验证；以及 利用每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。
12.根据权利要求11所述的目标检测方法,还包括接收经标注的图像样本,并且 其中，对所述检测分类器进行训练优化包括利用对每个候选目标的验证结果、将与每 个候选目标对应的图像块和所述经标注的图像样本二者作为在线样本对所述检测分类器进行训练优化。
13.根据权利要求11或12所述的目标检测方法，还包括 根据所述验证分类器得到的验证结果和所述检测分类器得到的检测结果、利用所述在线样本对所述验证分类器进行训练优化。
14.根据权利要求13所述的目标检测方法，其中，对所述验证分类器进行训练优化包括 根据所述检测分类器的检测结果和所述验证分类器的验证结果、利用在线样本来更新与每个验证特征对应的目标样本的统计分布模型和误检样本的统计分布模型； 选择使得验证分类器的验证错误率最小的一个或多个检测特征，以更新所述验证分类器。
15.根据权利要求14所述的目标检测方法，其中，更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型包括 利用在线样本和离线样本二者来更新与每个检测特征对应的目标样本的统计分布模型和误检样本的统计分布模型。
16.根据权利要求11或12所述的目标检测方法，其中，对所述检测分类器进行训练优化包括 根据所述检测分类器的检测结果和所述验证分类器的验证结果来评估所述检测分类器对所述在线样本的检测损失；以及 通过最小化所述检测损失来优化所述检测分类器。
17.根据权利要求16所述的目标检测方法，其中，对所述检测分类器进行训练优化还包括计算所述检测分类器对离线样本的检测损失与对所述在线样本的检测损失的和或加权和，作为所述检测分类器的总检测损失，并且 其中，通过最小化所述检测损失来优化所述检测分类器包括通过最小化所述总检测损失来优化所述检测分类器。
18.根据权利要求11或12所述的目标检测方法，还包括利用在线样本来训练生成所述检测分类器。
19.根据权利要求11或12所述的目标检测方法，还包括利用在线样本来训练生成所述验证分类器。
全文摘要
本公开提供了目标检测设备和方法。一种目标检测设备可包括检测分类器，用于检测输入图像中的目标，以得到一个或更多个候选目标；验证分类器，用于利用与每个候选目标对应的图像块中的验证特征对每个候选目标进行验证；以及在线学习装置，用于利用所述验证分类器得到的对每个候选目标的验证结果、将与每个候选目标对应的图像块作为在线样本对所述检测分类器进行训练优化。
文档编号G06K9/66GK102737255SQ20111008579
公开日2012年10月17日 申请日期2011年3月30日 优先权日2011年3月30日
发明者吴伟国, 孟龙 申请人:索尼公司