专利名称：检测图像序列中的特定对象的装置、方法和视频摄像设备的制作方法
技术领域：
本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，更具体而言，涉及用于检测图像序列中的特定对象的装置、方法和相应的视频摄像设备。
背景技术：
对于视频图像序列中的特定对象进行检测往往具有重大价值。例如，如果特定对象是遗弃物，则这种遗弃物的检测对于维护公共场所的安全有重要意义。这里所说的遗弃物检测是指检测那些被人有意丢弃、投放在公共场所或某些要害部位，可能装有爆炸物品的背包、公文包等。通常恐怖分子在放置这样的包裹后，通过定时或遥控的方式来引爆装在包中的炸弹。这种作案手段成本低、危害大、防范和侦破难度高，逐渐成为犯罪分子进行爆炸袭击的主要方式之一。类似的案件层出不穷，如2004年的西班牙马德里连环爆炸案； 2005年英国伦敦和利物浦的爆炸案等等。目前主要基于视频进行遗弃物检测，在检测过程中，利用现场安装的视频监控设备，通过对摄制到的视频图像序列中的图像内容进行分析来探测遗弃物检测事件的发生。已经有较多方法对基于视频的遗弃物检测进行了研究，但目前类似的方法一般需要检测出场景中的运动对象，然后跟踪所有运动对象，分析是否有运动对象从另一个对象上分开并保持静止一段时间，据此来检测遗弃物。例如，在作者为J.Martinez del Rincon，Jorge Jomez J. Elias HerreroJfI Carlos Orrite Urunela,名禾尔为 “Automatic left luggage detection and tracking using multi-camera UKF"(IEEE International Workshop on Performance Evaluation in Tracking and Surveillance(PETS)，2006)的文献中所描述的方法，利用背景建模的方法检测出运动对象，并用卡尔曼滤波方法跟踪每个运动对象，最后基于一定的规则判断是否有特定对象(即，遗弃物)被遗弃。这些方法都需要跟踪过程，而真实场景往往比较复杂，想要跟踪所有的运动对象是非常困难的。因此， 这类方法的准确性较差，难以实用。发明名称为“一种无需跟踪过程的遗弃物检测方法”，公开号为CN101635026A，
公开日为2010年1月27日的中国专利申请虽然提出了一种无需跟踪过程的遗弃物检测方法，但是该方法并没有考虑到真实场景中的许多难点，比如遮挡等等，因此该方法的误报和漏报很多。
发明内容
鉴于上述情况，亟待提供一种高效和准确地检测图像序列中的特定对象(例如遗弃物)的解决方案。本发明的实施例提供了用于检测图像序列中特定对象的装置和方法。这种装置和方法无需跟踪过程，通过实时判断图像序列的场景中误报发生概率高的区域(即，误报高发区域)并对该误报高发区域建模，并基于此来确定通过前景模板的差分获得的疑似对象区域是否为误报高发区域或者是否与之匹配，进而实现特定对象的检测。这种装置和方法能够提高特定对象检测处理的鲁棒性，而且可以大量减少误报，显著改善对象检测的精确性。具体而言，本发明的实施例提供一种用于检测图像序列中的特定对象的装置，包括疑似对象区域检测单元，其被配置成针对包括预定时间间隔内的多帧图像的图像序列、利用背景建模来构建该图像序列中每一帧图像的前景模板，并对所构建的前景模板进行帧间差分处理；误报高发区域建模单元，其被配置成在疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下，将该至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域，并针对所确定的误报高发区域进行建模以便构建误报高发区域模型，以及，基于所构建的误报高发区域模型来生成误报高发区域模型库；以及后处理单元，其被配置成在疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下，将上述至少一个疑似对象区域中未被确定为是误报高发区域的每一个疑似对象区域与误报高发区域模型库中相应的模型进行匹配，并且基于未匹配疑似对象区域序列来检测特定对象。其中，该未匹配疑似对象区域序列包括不与误报高发区域模型库中任何模型相匹配的所有未匹配疑似对象区域。并且，后处理单元还被配置成在疑似对象区域检测单元通过帧间差分处理没有检测到疑似对象区域的情况下，确定在图像序列中不存在特定对象。本发明的实施例还提供一种用于检测图像序列中的特定对象的方法，包括利用背景建模来构建包括预定时间间隔内的多帧图像的图像序列中每一帧图像的前景模板，并对所构建的前景模板进行帧间差分处理；如果通过帧间差分处理检测到至少一个疑似对象区域，则将该至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域，并针对所确定的误报高发区域进行建模以便构建误报高发区域模型，以及，基于所构建的误报高发区域模型来生成误报高发区域模型库；以及如果通过帧间差分处理检测到至少一个疑似对象区域，则将该至少一个疑似对象区域中未被确定为是误报高发区域的每一个疑似对象区域与误报高发区域模型库中相应的模型进行匹配，并且响应于匹配结果，基于包含有不与所述误报高发区域模型库中任何模型相匹配的所有未匹配疑似对象区域的未匹配疑似对象区域序列来检测特定对象。如果通过帧间差分处理没有检测到疑似对象区域，则确定在图像序列中不存在特定对象。本发明的其他实施例又提供了一种视频摄像设备，该视频摄像设备包括如上所述的根据本发明的实施例的检测图像序列中的特定对象的装置。本发明的另外的实施例还提供了一种存储有机器可读取的指令代码的程序产品， 该指令代码由机器读取并执行时，可执行如上所述的根据本发明的实施例的检测图像序列中的特定对象的方法。本发明的另外的实施例还提供了一种承载有上述的程序产品的存储介质。根据本发明的实施例的解决方案通过构建误报高发区域模型，可以减少图像序列包括的真实场景中因为场景复杂而造成的大量误报，改善特定对象检测的精确度。此外，所采用的利用前景模板的帧间差分方法来获得疑似对象区域的手段也能有效避免传统的帧间差分方法中当特定对象(例如遗弃物)被运动对象遮挡时无法检测出的缺点。
通过结合附图对本发明的具体实施方式
的描述，本发明的以上的和其它目的、特点和优点将变得清楚。在各附图中，相同或类似的附图标记表示相同或者类似的功能部件或步骤。在附图中图1是示出了根据本发明实施例的用于检测图像序列中的特定对象的装置的结构简化框图；图2是示出了通过图1所示的装置执行的特定对象检测过程的一个示例的流程示意简图；图3a_3c是说明通过前景模板的帧间差分获得前景模板的过程的一个示例的示意图；图4a4c是说明尺寸较大的对象在现有技术的检测中可能被认为是特定对象而引起误报的一个示例的示意图；图5是示出了根据本发明实施例的用于检测图像序列中的特定对象的装置执行的、确定误报高发区域并对其进行建模的操作的流程简图；图6是示出了根据本发明实施例的用于检测图像序列中的特定对象的装置执行的、基于与误报高发区域模型进行匹配来检测图像序列中特定对象的操作的流程简图；图7是示出了根据本发明实施例的用于检测图像序列中的特定对象的装置执行的、通过对比图像序列中其他预定类型的对象来检测图像序列中特定对象的操作的流程简图；图8是示出了根据本发明的实施例的用于检测图像序列中的特定对象的方法的流程简图；以及图9是示出可用于实施根据本发明实施例的方法和装置的计算机系统的示意性框图。
具体实施例方式下面参照附图来说明本发明的实施例。应当注意，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。在各附图中相同或者相似的构成元素或部分利用相同或者类似的附图标记来表示。图1示出了根据本发明实施例的用于检测图像序列中的特定对象的装置100的结构简化框图。如图1所示，装置100包括疑似对象区域检测单元110，其被配置成针对预定时间间隔内的多帧图像的图像序列、利用背景建模来构建该图像序列中每一帧图像的前景模板，并对所构建的前景模板进行帧间差分处理；误报高发区域建模单元120，其被配置成在疑似对象区域检测单元110通过帧间差分处理检测到至少一个疑似对象区域的情况下， 将该至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域，并针对所确定的误报高发区域进行建模以便构建误报高发区域模型，并且基于所构建的误报高发区域模型来生成误报高发区域模型库；以及后处理单元130，其被配置成在疑似对象区域检测单元 110通过帧间差分处理检测到至少一个疑似对象区域的情况下，将该至少一个疑似对象区域中未被确定为是误报高发区域的每一个疑似对象区域与误报高发区域模型库中相应的模型进行匹配，并且基于未匹配疑似对象区域序列来检测特定对象。在此，未匹配疑似对象区域序列包括不与误报高发区域模型库中任何模型相匹配的所有未匹配疑似对象区域。后处理单元130还可以被配置成在疑似对象区域检测单元110通过帧间差分处理没有检测到疑似对象区域的情况下，确定在预定时间间隔内的多帧图像，即，图像序列中不存在特定对象。图2是示出了通过图1所示的装置100执行的特定对象检测过程200的一个示例的流程示意简图。如图所示，在S220的处理中，基于输入的图像序列(例如从视频监视设备采集的、包括某一预定时间间隔内多帧图像的图像序列)检测疑似对象区域，即，有可能包括待检测的特定对象(例如遗弃物等)的区域。在S230的处理中，判断S220的处理是否检测到疑似对象区域。如果判断结果为“是”，则在S240的处理中，判断疑似对象区域是否为误报高发区域。如果是，则在S250的处理中对误报高发区域进行建模，如果不是，则在S260 的处理中对不是误报高发区域的疑似对象区域进行后处理，从而确定该疑似对象区域是特定对象还是误报。另外，如果在S230的处理中判断没有检测到疑似对象区域，则在S250的后处理中，确定在输入的图像序列中不存在待检测的特定对象。下面通过若干具体的示例来对装置100执行的特定对象检测过程200进行详细描述。首先描述疑似对象区域检测单元110所进行的疑似对象区域检测处理的示例。在此示例中，以遗弃物作为特定对象的例子进行说明。通常遗弃物具备如下两个特征(1)遗弃物会造成被占区域的背景发生改变；( 遗弃物在被遗弃后保持静止。相应地，可以通过如下两个步骤来检测包括有多帧图像的图像序列的场景中的疑似遗弃物区域，即疑似对象区域第一步是利用基于背景建模的方法，提取出场景中背景发生改变的区域。考虑到遗弃物检测处理对于实时性的要求，例如可以采用应用广泛的GMM(高斯混合模型)方法对背景进行建模。通过GMM方法进行背景建模是图像处理技术领域中公知的方法，具体细节在此不赘述。这种背景建模的方法假设在图像中每个像素点上背景的颜色为多高斯分布， 对于预定的时间间隔(例如最近4秒内)内的图像序列中每一帧图像，提取该图像的颜色信息，通过对每个像素点的颜色信息进行混合高斯背景建模使该模型能够描述对应像素点的背景颜色信息。图3(b)和图4(b)示出了利用背景建模方法检测出背景发生改变的区域 (即，前景模板，foreground mask)。在此，“前景”即指与“背景”相对的、图像中的各种对象(例如，人，车、待检测的特定对象(例如遗弃物)等)。如图3(b)和图4(b)所示，所提取出的前景模板表现为二值图，其中，令值“0”表示黑色(背景)，值“1”表示白色(前景对象)。当然，这只是一种示例而非限制，根据实际需要，例如也可以使前景模板具有灰度图的表现形式。此外，可以根据具体需要将任意时间间隔内的图像序列作为处理对象而不限于是本例中的4秒。在提取的背景发生改变的区域(即前景模板)中，利用帧间差分方法对所得到的前景模板做差分，以便提取出属于运动前景同时又保持前景状态预定的时间间隔(在本例中为4秒)的像素点。在经过连通域分析后，提取在该预定时间间隔内图像序列的场景中的所有疑似遗弃物区域，从而构成疑似遗弃物区域序列，其包括检测到的所有(一个或多个， 即，至少一个)疑似遗弃物区域。其中的连通域分析是图像处理技术领域公知和惯用的处理方法，其细节在此不再赘述。需要注意，由于是对前景模板做差分而不是如通常的那样直接对图像序列进行帧间差分，因此可以有效避免因为遗弃物被遮挡而不能被检测的情况。 例如，图3c示出了遮挡条件下的遗弃物检测结果。如图3c所示，其中302表示被遮挡的遗弃物，容易理解，如果按照现有的方法简单地对图像序列进行帧间差分，则被其他对象(在此为人)遮挡的遗弃物302将不能被检测到，即，发生遗弃物漏检的情况。如上所述，在通过上述的背景建模和对前景模板进行帧间差分的处理没有检测到疑似对象区域的情况下，则确定在预定时间间隔内的图像序列中不包括待检测的特定对象，例如遗弃物。下面主要描述在通过上述的背景建模和对前景模板进行帧间差分的处理检测到至少一个疑似对象区域的情况下所进行的后续处理。将参照图5描述图1中装置100的误报高发区域建模单元120进行的确定误报高发区域并对其进行建模的处理的一个示例。在上面描述的基于背景建模来进行前景检测的处理中，当运动对象停止并保持一段时间以后，该运动对象会慢慢融入背景模型而成为背景。因为运动对象各个部分的颜色与背景颜色的区别不相同，该运动对象(即，前景)各个区域融入背景的时间也不相同。在这种情况下，当一个面积比较大的物体(比如车辆)停止一段时间后，由于逐步融入背景的原因，前景区域会被分割为多个子区域，此时因为各个子区域的特征(如短时静止、大小、边缘等)都满足遗弃物的特征，它们通常会被检测为遗弃物。如图4b示出了停止一段时间后的前景检测结果，大的对象(在此为车辆)被检测成了许多小的区域。如图如示出的遗弃物检测结果中，部分子区域，例如，与图如中车窗区域40 所对应的子区域402c被误认为是待检测的特定对象，在该例中为遗弃物，发生误报。为了消除上述原因所造成的误检测，例如可以根据如图5中所示的处理来确定上述的疑似遗弃物区域检测处理中所检测到的疑似遗弃物区域序列(其包括所检测到的至少一个疑似遗弃物区域)中是否存在误报高发区域。如图5所示，在S510中提取疑似遗弃物区域序列中第i个疑似遗弃物区域的尺寸。在S520，判断该尺寸是否大于或等于预定的阈值1。如果判断结果为“是”，则在S530确定该第i个疑似遗弃物区域为误报高发区域， 并保存该误报高发区域及其前景模板以备后用。在该例子中，疑似遗弃物区域的尺寸是该区域的二维面积。根据不同的实际情况，例如可能的遗弃物的类型、外观等特性，这种尺寸例如也可以是一维的尺寸(例如长度、宽度等)，三维的体积，等等。在获取误报高发区域后，可以构建一个模型来描述该区域。在上面的处理S530中得到误报高发区域的前景模板，在S540-S550的处理中，在该误报高发区域对应的前景模板中表示前景(即，模板值为“1”)的每个像素点处构建一个高斯模型用于描述该像素点处对象(即，遗弃物)的颜色信息。该高斯模型的均值为此时像素点的颜色值，方差预先确定，例如可以是该高斯函数的初始方差或者是方差的经验值。在S520的判断为“否”的情况下，确认该疑似遗弃物区域不是误报高发区域，然后接着对下一个疑似遗弃物区域进行如上S510-S550中的误报高发区域确定和建模处理。对疑似遗弃物区域序列中的每一个疑似遗弃物区域都进行类似的处理。通过进行上述S510-S560的一系列处理，能够确定通过前景模板的帧间差分所获得的疑似遗弃物区域序列中哪些属于误报高发区域，并且对被确定为误报高发区域的区域进行建模，将误报高发区域的前景模板及其模型进行存储以创建误报高发区域库，以供后续处理使用。在图5示出的处理中，i，j是自然数，分别表示疑似遗弃物区域序列中各个区域的序号以及每一个被确定为误报高发区域的区域的前景模板中像素点的序号。如上所述，通过将符合预定条件(例如尺寸大于或等于预定阈值1)的疑似遗弃物区域判定为是误报高发区域，可以避免由误报高发区域引起的误报(例如图4中示出的由车辆引起的误报)，提高了遗弃物检测的精确度。此外，由于对所确定的误报高发区域进行建模并保存该模型(例如生成误报高发区域模型库)，使得在下一次检测处理中可以利用先前检测处理中获得的有关误报高发区域的信息，在确保检测精确度的同时还能够改善处理的鲁棒性。下面结合图6描述根据本发明实施例的用于检测图像序列中的特定对象的装置执行的基于与误报高发区域模型进行匹配来检测图像序列中特定对象(例如，遗弃物)的操作的一个示例。如图6所示，在S610对于没有被确定为是误报高发区域的疑似遗弃物区域序列 (可以包括一个或者多个，即至少一个疑似遗弃物区域)中第m个疑似遗弃物区域，将其与从误报高发区域模型库中提取的相应的第η个误报高发区域模型进行匹配处理。作为这种匹配处理的一个例子，可以统计该第m个疑似遗弃物区域中与第η个误报高发区域模型中对应位置的高斯模型相匹配的像素点数目。例如，如果该第m个疑似遗弃物区域中某像素点的颜色值与该第η个误报高发区域模型中对应位置处像素点的高斯模型的均值在该高斯模型的两倍方差之内，则可认为这两个像素点是相互匹配的。当然，根据实际情况还可以设定其他任何合适的条件来判断像素点是否匹配。例如，在一种可替选的实施方式中，可在误报高发区域模型的每个像素点处，利用核概率密度函数方法(kernel method)估计每个像素点处出现各种颜色的概率密度。在该密度函数构建以后，当某个疑似遗弃物区域中一个待匹配像素点的颜色似然值(概率密度函数值)大于一定阈值时，则认为该待匹配像素点与相应的误报高发区域模型中相应的像素点匹配。该阈值可以根据实际情况预先设定。接着，在S620，判断匹配的像素点数与该第m个疑似遗弃物区域的面积(例如可以用该区域中像素点的数量来表示)的比值，若该比值大于预定的阈值2，则在S650，认为该第m个疑似遗弃物区域与该第η个误报高发区域相匹配，说明该第m个疑似遗弃物区域是某一个大的运动对象停止后产生的误报。该阈值2可以根据实际情况预先确定。假设以车辆作为大的运动对象，则例如可以确定车辆中可能成为误报的最小的部分(例如车窗)的面积与整个车辆的区域的面积之比，作为该阈值2。m，η是自然数，分别表示疑似遗弃物区域序列和误报高发区域模型库中各个模型的序号。如果在S620判断该比值小于预定的阈值2，则在S630，确定该第m个疑似遗弃物区域与该第η个误报高发区域不匹配。在图6示出的处理中，对没有被确定为是误报高发区域的所有疑似遗弃物区域都逐一判断是否与误报高发区域库中某个误报高发区域模型相匹配，即，在此实际上是将误报高发区域库中所有的模型作为将要与疑似遗弃物区域进行匹配的相应的误报高发区域模型。但是，在可替选的实施方式中，也可以预先确定被认为是误报高发区域的某个疑似遗弃物区域可能与误报高发区域模型库中的哪个或哪些模型相关，从而只将这些相关的误报高发区域模型作为将要与该疑似遗弃物区域进行匹配处理的相应的误报高发区域模型即可。例如，可以通过比较该疑似遗弃物区域以及误报高发区域在图像序列的场景中的位置关系等等来初步判断该疑似遗弃物区域与哪个或哪些误报高发区域模型相关。由于无需穷举式地与误报高发区域库中所有的误报高发区域模型进行匹配处理，因此可以在一定程度上提高处理速度。从上面的描述可知，在本公开中提及的、将要与未被确定为是误报高发区域的疑似遗弃物区域进行匹配的“相应的误报高发区域模型”，既可以是误报高发区域模型库中所有的模型，也可以是该模型库中与该疑似遗弃物区域相关的特定的模型。对于没有被确定为是误报高发区域的疑似遗弃物区域序列中的每一个区域执行上述类似的处理。最后，在图6的S670中，根据上述S610-S660的匹配处理结果来实现对特定对象，即遗弃物的检测。例如，可以直接确定不与误报高发区域库中任一个模型匹配的疑似遗弃物区域是与需要检测的遗弃物对应的区域。在图6示出的处理中，m，n是自然数， 分别表示未被确定为误报高发区域的疑似遗弃物区域序列中各个区域的序号以及误报高发区域模型库中模型的序号。根据图6示出的处理可知，通过将误报高发区域进行建模并且通过存储这些模型来生成误报高发区域模型库，可以在本次遗弃物检测处理中使用在前的各次遗弃物检测处理中所构建的误报高发区域模型，并且本次遗弃物检测处理所构建的误报高发区域模型也可以用于后续的遗弃物检测。由此可以使得根据本发明实施例的装置所执行的特定对象 (例如遗弃物)检测具备类似学习的特性，这有利于改善检测处理的鲁棒性并且提高检测精确度。此外，虽然在该示例中是通过直接存储误报高发区域模型来创建误报高发区域模型库，但是，在其他可替选的实施中，例如也可以通过对所构建的各误报高发区域模型按照特性进行分类、分配权重等方式来创建误报高发区域模型库。上面已经提及，在进行特定对象检测的处理中，在误报高发区域易于产生误报，此外，在真实场景中，有时候还容易产生如下的误报当静止对象小幅运动后，又突然停止。此时利用背景建模所检测的前景区域仅仅为背景发生改变的区域，只是该对象的小部分，又由于该对象最终停止，因此该部分前景区域将会被检测为特定对象，例如遗弃物。为了处理因此而产生的误报，在一种优选实施方式中，可以对从前面的处理中获得的不与误报高发区域库中任一模型匹配的未匹配遗弃物区域序列进行进一步处理。图7是示出了这种处理的一个示例。如图7所示，通过与从输入图像序列中检测到的其他预定类型的对象进行对比来判断未匹配遗弃物区域序列(可包括一个或多个未匹配遗弃物区域)是否为待检测的遗弃物。如图7所示，提取不与误报高发区域模型匹配的疑似遗弃物区域序列(即，未匹配疑似遗弃物区域序列，可包括一个或者多个疑似遗弃物区域)中第k个区域，并在S710与从图像序列中检测出的其他预定类型的对象区域序列(可包括一个或多个其他预定类型对象区域)中第1个对象进行比较，以判断该第k个疑似遗弃物区域是否属于该第1个其他类型对象区域。如果比较结果为“是”，则在处理S720中将该第k个疑似遗弃物区域确定为是由该第1个其他预定类型的对象所引起的误报，接着对未匹配遗弃物区域序列中下一个区域进行处理。如果S710的比较结果为“否”，则处理进行到S730，判断是否已经与其他预定类型对象序列中所有的对象进行了比较，如果没有，则选取另一个未经历比较处理的其他预定类型的对象，重复S710至S730的处理。如果在S730中判断已与所有的其他预定类型对象都进行了比较处理，则确定该第k个疑似遗弃物区域与待检测的遗弃物区域相对应。对未匹配疑似遗弃物区域序列中所有区域都进行上述处理，最后在S750中输出针对该未匹配疑似遗弃物区域序列的检测结果，即，检测到遗弃物或者没有检测到遗弃物(例如， 发生误报)。这种处理可以有效地避免上述的由于静止对象小幅运动后又突然停止而导致的误报，因此进一步改善了检测精确度。关于输入图像序列的各帧图像中其他预定类型对象(例如，车辆，人、动物等等) 的检测，可以采用各种已知的检测图像中的预定类型的对象的方法，例如，可以应用发明名称为“训练装置、训练方法及检测方法”，公开号为CN101655914，
公开日为2010年2月M日的中国专利申请中公开的方法检测出输入图像序列的场景中所有车辆。当然，也可利用现有的各种用于检测预定类型对象，例如，车辆，人、动物等等的公知方法来实现对这些预定类型的对象的检测。这些其他预定类型对象既可以在进行遗弃物检测时在线地检测，也可以在遗弃物检测进行之前预先检测出来备用。在图7所示的处理中，k，l是自然数，分别表示未匹配疑似遗弃物区域序列和其他预定类型对象区域序列中各个区域的序号。需要说明，根据实际需要，上述各示例中给出的处理方式也可以进行任意组合。由于各种处理方式的详细过程已经在上面结合附图给出，因此各种处理方式的组合形式的具体实现虽然没有在此逐一赘述，但是也应当认为被包含在本说明书的公开内容中。上面结合图1-7所描述的根据本发明实施例的检测图像序列中特定对象的装置 100可以作为单独的设备实现，也可以结合在视频图像监控设备中。例如，在可替选实施方式中，可将装置100与视频摄像设备集成为一体，因而可使得这种视频摄像设备本身能实现检测其所拍摄的图像序列中的特定对象(例如遗弃物)的功能。因此，这种视频摄像设备也应被涵盖在本发明的保护范围之内。在根据本发明的其他实施例中，还提供了一种能够检测输入图像序列中特定对象的方法。图8示出了根据本发明的实施例的用于检测图像序列中的特定对象的方法800的流程简图。如图8所示，方法800开始于S810。在步骤S820，利用背景建模来构建包括预定时间间隔内的多帧图像的图像序列中每一帧图像的前景模板，并对所构建的前景模板进行帧间差分处理。在步骤S830，如果通过帧间差分处理生成至少一个疑似对象区域，则将至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域，并针对所确定的误报高发区域进行建模以便构建误报高发区域模型，以及，基于所构建的误报高发区域模型来生成误报高发区域模型库。在步骤S840，如果通过帧间差分处理检测到至少一个疑似对象区域，则将至少一个疑似对象区域中未被确定为是误报高发区域的每一个疑似对象区域与误报高发区域模型库中相应的模型进行匹配，并且响应于匹配结果，基于包含有不与误报高发区域模型库中任何模型相匹配的所有未匹配疑似对象区域的未匹配疑似对象区域序列来检测特定对象。如果通过帧间差分处理没有检测到任何疑似对象区域，则确定在图像序列中不存在特定对象。该方法中各步骤的操作例如可以通过具有如上述图1-2中所示配置的装置100来实现，具体细节可参见上面结合图1-2进行的描述，在此不再赘述。在图8中所示方法800的一种具体实施方式
中，上述的响应于匹配结果检测特定对象的处理可以包括将未匹配疑似对象区域序列中的每一个疑似对象区域与从输入的多帧图像中检测到的其他预定类型的对象进行比较。如果该未匹配疑似对象区域不属于任何其他预定类型的对象，则将该未匹配疑似对象区域确定为是与待检测的所述特定对象对应的区域。在可替选的实施方式中，也可以直接将未匹配疑似对象区域序列中的所有未匹配疑似对象区域确定为是与待检测的特定对象对应的区域。这种实施方式中各步骤的操作例如可以通过能够执行如上述图7中所示处理的装置100来实现，具体细节可参见上面结合图7进行的描述，在此不再赘述。在图8中所示方法800的另一种具体实施方式
中，上述的通过帧间差分来检测疑似对象区域的处理可以包括采用混合高斯模型对输入图像序列中多帧图像进行背景建模以构建每一帧图像的前景模板，然后对所构建的前景模板进行帧间差分，以提取出属于运动前景同时又在该预定时间间隔内保持前景状态的像素点。基于所提取的像素点、经过连通域分析来生成至少一个疑似对象区域。该实施方式中各步骤的操作例如可以通过具有如上述图1-2中所示配置的装置100来实现，具体细节可参见上面结合图1-2进行的描述，在此不再赘述。在图8中所示方法800的又一种具体实施方式
中，上述的通过匹配处理来检测特定对象的处理包括针对每一个疑似对象区域，确定该疑似对象区域与误报高发区域模型库中相应的误报高发区域模型之间相互匹配的像素点的数量，如果匹配的像素点的数量与该疑似对象区域中像素点的数量之比大于预定的第一阈值，则确定该疑似对象区域与该相应的误报高发区域模型相匹配。这种实施方式中各步骤的操作例如可以通过能够执行如上述图6中所示处理的装置100来实现，具体细节可参见上面结合图6进行的描述，在此不再赘述。在图8中所示方法800的另一种具体实施方式
中，上述的对误报高发区域进行建模的处理包括将至少一个疑似对象区域的尺寸与预定的第二阈值进行比较，将尺寸大于或等于该预定的第二阈值的疑似对象区域确定为误报高发区域，并且在误报高发区域的前景模板中表示前景的每个像素点处构建一个高斯模型用于描述该像素点处的对象的颜色信息。该高斯模型的均值为该像素点的颜色值，方差为该高斯模型的初始方差或者方差经验值。可以保存误报高发区域的前景模板及其高斯模型，以便生成误报高发区域模型库。这种实施方式中各步骤的操作例如可以通过能够执行如上述图5中所示处理的装置100来实现，具体细节可参见上面结合图5进行的描述，在此不再赘述。在图8中所示方法800的另一种具体实施方式
中，上述的通过匹配处理来检测特定对象的处理包括如果疑似对象区域中每一个像素点的颜色值与相应的误报高发区域模型中对应位置处的像素点的高斯模型的均值之差在高斯模型的两倍方差之内，则确定该两个像素点相匹配。在一种可替选的实施方式中，可以针对误报高发区域模型的每个像素点构建颜色概率密度函数，如果疑似对象区域中与所述误报高发区域模型相应的像素点的概率密度函数值大于预定的阈值，则确定该两个像素点相匹配。在此需要说明，篇幅所限，上面列举的各实施例和具体应用示例都是示意性的而非穷举性的，也不是意在要对本发明构成限制。例如，上面各实施例中示出的各种具体的实例和具体实现方式可以分别根据需要进行任意的组合，而不是仅仅限于上面具体实例和实现方式给出的组合模式。此外，在上面对各实施例和具体实例的描述中，与数字有关的表述 “1”，“2”，“一”，“二”，“第一”，“第二”等等仅仅是为了区别由这些数字修饰的部件或者元素， 而不是为了表明这些部件或者元素之间的顺序或者重要性程度等等。此外，上述图1，2，5_7中示出的检测图像序列中特定对象的装置中的各个组成单元、子单元以及部件可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下， 可从存储介质或网络向具有专用硬件结构的计算机(例如图9所示的通用计算机900)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。如图9所示，中央处理单元(CPU) 901根据只读存储器(ROM) 902中存储的程序或从存储部分908加载到随机存取存储器(RAM)903的程序执行各种处理。在RAM 903中，还根据需要存储当CPU 901执行各种处理等等时所需的数据。CPU90UR0M 902和RAM 903经由总线904彼此连接。输入/输出接口 905也连接到总线904。下述部件连接到输入/输出接口 905 输入部分906(包括键盘、鼠标等等)、输出部分907(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分908(包括硬盘等)、通信部分909(包括网络接口卡比如LAN卡、调制解调器等)。通信部分909经由网络比如因特网执行通信处理。根据需要，驱动器910也可连接到输入/输出接口 905。可拆卸介质911比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器910上，使得从中读出的计算机程序根据需要被安装到存储部分908中。在通过软件实现上述系列处理的情况下，从网络例如因特网或存储介质例如可拆卸介质911安装构成软件的程序。本领域的技术人员应当理解，这种存储介质不局限于图9所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质911。可拆卸介质911的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(⑶-ROM)和数字通用盘 (DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是 ROM 902、存储部分908中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的对输入图像序列中的特定对象(例如遗弃物)进行检测的方法。相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等寸。在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。此外，根据本发明的各实施例的方法和处理不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的各种方法和处理的执行顺序不对本发明的技术范围构成限制。尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本发明的保护范围内。
权利要求
1.一种用于检测图像序列中的特定对象的装置，包括疑似对象区域检测单元，其被配置成针对包括预定时间间隔内的多帧图像的图像序列、利用背景建模来构建该图像序列中每一帧图像的前景模板，并对所构建的前景模板进行帧间差分处理；误报高发区域建模单元，其被配置成在所述疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下，将所述至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域，并针对所确定的误报高发区域进行建模以便构建误报高发区域模型，以及，基于所构建的误报高发区域模型来生成误报高发区域模型库；以及后处理单元，其被配置成在所述疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下，将所述至少一个疑似对象区域中未被确定为是误报高发区域的每一个疑似对象区域与所述误报高发区域模型库中相应的模型进行匹配，并且基于未匹配疑似对象区域序列来检测所述特定对象，其中，所述未匹配疑似对象区域序列包括不与所述误报高发区域模型库中任何模型相匹配的所有未匹配疑似对象区域，以及，所述后处理单元还被配置成在所述疑似对象区域检测单元通过帧间差分处理没有检测到疑似对象区域的情况下，确定在所述图像序列中不存在特定对象。
2.如权利要求1所述的装置，其中，所述后处理单元被配置成在所述疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下将所述未匹配疑似对象区域序列中的每一个未匹配疑似对象区域与从所述多帧图像中检测到的其他预定类型的对象进行比较，在所述的未匹配疑似对象区域不属于所述其他预定类型的对象中任一种类型的对象的情况下，将该未匹配疑似对象区域确定为是与待检测的所述特定对象对应的区域；或者将所述未匹配疑似对象区域序列中的所有未匹配疑似对象区域确定为是与待检测的所述特定对象对应的区域。
3.如权利要求1或2所述的装置，其中，所述疑似对象区域检测单元被配置成采用混合高斯模型对所述多帧图像进行背景建模以构建每一帧图像的前景模板，并且通过对所构建的前景模板进行帧间差分，提取出属于运动前景同时又在所述预定时间间隔内保持前景状态的像素点，基于所提取的像素点、经过连通域分析来生成所述至少一个疑似对象区域。
4.如权利要求1或2所述的装置，其中，所述误报高发区域建模单元被配置成在所述疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下，将所述至少一个疑似对象区域中尺寸大于或等于预定的第一阈值的区域确定为误报高发区域，并且在所述误报高发区域的前景模板中表示前景的每个像素点处构建一个高斯模型用于描述该像素点处的对象的颜色信息，其中，所述高斯模型的均值为该像素点的颜色值，方差为该高斯模型的初始方差或者方差经验值，以及，所述误报高发区域建模单元还被配置成通过保存所述误报高发区域的前景模板及其高斯模型来生成所述误报高发区域模型库。
5.如权利要求4所述的装置，其中所述后处理单元被配置成在所述疑似对象区域检测单元通过帧间差分处理检测到至少一个疑似对象区域的情况下，针对每一个疑似对象区域，确定该疑似对象区域与所述误报高发区域模型库中相应的误报高发区域模型之间相互匹配的像素点的数量，在匹配的像素点的数量与该疑似对象区域中像素点的数量之比大于预定的第二阈值的情况下，确定该疑似对象区域与该相应的误报高发区域模型相匹配。
6.如权利要求5所述的装置，其中所述后处理单元被配置成在所述疑似对象区域中每一个像素点的颜色值与所述相应的误报高发区域模型中对应位置处的像素点的高斯模型的均值之差在所述高斯模型的两倍方差之内的情况下，确定该两个像素点相匹配。
7.如权利要求5所述的装置，其中，所述后处理单元被配置成针对误报高发区域模型的每个像素点构建颜色概率密度函数，在所述疑似对象区域中与所述相应的误报高发区域模型中对应像素点的概率密度函数值大于预定的第三阈值时，确定该两个像素点相匹配。
8.一种视频摄像设备，其具有如权利要求1-7中任一项所述的检测图像序列中的特定对象的装置。
9.一种用于检测图像序列中的特定对象的方法，包括利用背景建模来构建包括预定时间间隔内的多帧图像的图像序列中每一帧图像的前景模板，并对所构建的前景模板进行帧间差分处理；如果通过所述帧间差分处理检测到至少一个疑似对象区域，则将所述至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域，并针对所确定的误报高发区域进行建模以便构建误报高发区域模型，以及，基于所构建的误报高发区域模型来生成误报高发区域模型库；以及如果通过所述帧间差分处理检测到至少一个疑似对象区域，则将所述至少一个疑似对象区域中未被确定为是误报高发区域的每一个疑似对象区域与所述误报高发区域模型库中相应的模型进行匹配，并且响应于匹配结果，基于包含有不与所述误报高发区域模型库中任何模型相匹配的所有未匹配疑似对象区域的未匹配疑似对象区域序列来检测所述特定对象，以及，如果通过所述帧间差分处理没有检测到疑似对象区域，则确定在所述图像序列中不存在特定对象。
10.如权利要求9所述的方法，其中，所述的响应于匹配结果检测特定对象的处理包括比较所述未匹配疑似对象区域序列中的每一个疑似对象区域与从所述多帧图像中检测到的其他预定类型的对象，如果所述的未匹配疑似对象区域不属于所述其他预定类型的对象中任一种类型的对象，则将该未匹配疑似对象区域确定为是与待检测的所述特定对象对应的区域；或者将所述未匹配疑似对象区域序列中的所有未匹配疑似对象区域确定为与待检测的所述特定对象对应的区域。
11.如权利要求9或者10所述的方法，其中，所述的帧间差分处理包括采用混合高斯模型对所述多帧图像进行背景建模以构建每一帧图像的前景模板，对所构建的前景模板进行帧间差分，提取出属于运动前景同时又在所述预定时间间隔内保持前景状态的像素点，基于所提取的像素点、经过连通域分析来生成所述至少一个疑似对象区域。
12.如权利要求9或10所述的方法，其中，所述的对误报高发区域进行建模的处理包括将每一个疑似对象区域的尺寸与预定的第一阈值进行比较，将尺寸大于或等于该预定的第一阈值的疑似对象区域确定为误报高发区域，并且在所述误报高发区域的前景模板中表示前景的每个像素点处构建一个高斯模型用于描述该像素点处的对象的颜色信息，其中，所述高斯模型的均值为该像素点的颜色值，方差为该高斯模型的初始方差或者方差经验值，以及，保存所述误报高发区域的前景模板及其高斯模型，以便生成所述误报高发区域模型库。
13.如权利要求12所述的方法，其中，所述的通过匹配处理来检测特定对象的处理包括针对每一个疑似对象区域，确定该疑似对象区域与所述误报高发区域模型库中相应的误报高发区域模型之间相互匹配的像素点的数量，如果匹配的像素点的数量与该疑似对象区域中像素点的数量之比大于预定的第二阈值，则确定该疑似对象区域与该相应的误报高发区域模型相匹配。
14.如权利要求13所述的方法，其中，所述的通过匹配处理来检测特定对象的处理包括如果所述疑似对象区域中每一个像素点的颜色值与所述相应的误报高发区域模型中对应位置处的像素点的高斯模型的均值之差在所述高斯模型的两倍方差之内，则确定该两个像素点相匹配。
15.如权利要求13所述的方法，其中，所述的通过匹配处理来检测特定对象的处理包括针对误报高发区域模型的每个像素点构建颜色概率密度函数，如果所述疑似对象区域中与所述相应的误报高发区域模型中对应像素点的概率密度函数值大于预定的第三阈值， 则确定该两个像素点相匹配。
全文摘要
提供检测图像序列中的特定对象的装置和方法。该装置包括疑似对象区域检测单元，针对预定时间间隔内的图像序列中每一帧图像构建前景模板，并对前景模板进行帧间差分处理；误报高发区域建模单元，若帧间差分处理检测到至少一个疑似对象区域，则将至少一个疑似对象区域中满足预定条件的区域确定为误报高发区域并构建误报高发区域模型，以生成误报高发区域模型库；后处理单元，将未被确定为是误报高发区域的每一个疑似对象区域与误报高发区域模型库中相应的模型进行匹配，基于未匹配疑似对象区域序列来检测特定对象；若帧间差分处理未检测到疑似对象区域，则确定不存在特定对象。该装置和方法提高了特定对象检测处理的鲁棒性，且改善检测的精确性。
文档编号G06K9/00GK102411703SQ20101029801
公开日2012年4月11日 申请日期2010年9月21日 优先权日2010年9月21日
发明者刘舟, 吴伟国 申请人:索尼公司