图像处理装置、图像处理方法和程序与流程

本发明涉及图像处理装置、图像处理方法和程序，并且具体地，涉及例如适合被用到对出现在运动图像上的物体进行追踪的情况中的图像处理装置、图像处理方法和程序。

背景技术：

通常，存在着用于检测出现在运动图像上的物体的技术，并且不仅能够检测运动中的物体(以下，称为运动物体)，还能够检测在图像上静止的物体(以下，称为静止物体)。

例如，在专利文献1中，仅采用在短期运动图像的基础上产生的短期背景图像与输入图像之间的差分来检测物体的位置。此外，披露了如下这样的发明：在运动物体停止了一定时间的情况下，通过利用在长期运动图像的基础上产生的长期背景图像与输入图像之间的差分来计算静止物体的位置。

在专利文献1的发明中，可以通过利用短期背景图像来检测运动物体或仅在短时间内停止的静止物体，且可以通过利用长期背景图像来独立地检测在长时间内停止的静止物体。然而，因为运动物体和静止物体是被独立地检测的，所以不可能确认所检测到的运动物体和静止物体是否为同一物体。因此，例如，当运动中的物体在图像上停止且经过长时间后再次开始运动的情况下，不可能将这两个物体检测为同一物体且进行追踪。

引用文献列表

专利文献

专利文献1：日本专利申请特开第2013-33317号

技术实现要素：

本发明要解决的技术问题

图1是用于详细地说明上述问题的视图。在时间沿纵向方向流逝的假设下，图示了在运动图像上检测到的物体(运动物体和静止物体)以及分配给这些物体的ID。

如该图的左侧列中所示，在专利文献1的发明中，可以将在时刻t1的帧和时刻t2的帧上移动的汽车检测为运动物体且可以将同一ID:8分配给该汽车。然而，当该汽车在时刻t3的帧和时刻t4的帧上停止时，该汽车被检测为静止物体且被分配有ID:100。

此外，当停止的汽车在时刻t5至t6又开始运动时，该汽车又被检测为运动物体且被分配有不同的ID:9。此外，针对于停止的汽车的踪迹，可能错误地检测到运动物体(ID:10)。

如上所述，在传统技术中，即使当在运动图像上检测到的运动物体和静止物体是同一物体时，也不可能将这些物体作为同一物体进行处理。更加具体地，不可能以该图的右侧列中所示的方式分配同一ID。

本发明是鉴于上述情况而被提出的，并且本发明的目的是使得继续追踪运动图像上的物体成为可能。

解决技术问题的技术方案

作为本发明的一个方面的图像处理装置是用于检测运动图像上的物体的图像处理装置，所述图像处理装置包括多个物体特征量计算部、特征量选择部、物体信息计算部以及物体属性信息计算部。所述多个物体特征量计算部被配置成：基于不同的标准从所述运动图像的当前帧计算与图像上的物体相关的物体特征量。所述特征量选择部被配置成：通过利用与所述运动图像的前一帧上的物体相关的物体属性信息，从基于所述不同的标准而被计算出的多个所述物体特征量之中选择要被使用的所述物体特征量。所述物体信息计算部被配置成：通过使用所选择的所述特征量和与前一帧上的物体相关的物体信息，来计算与当前帧上的物体相关的物体信息。所述物体属性信息计算部被配置成：基于所计算出的所述与当前帧上的物体相关的物体信息来计算与当前帧上的物体相关的物体属性信息。

所述多个物体特征量计算部包括：第一物体特征量计算部，它被配置成计算短期背景图像中和当前帧中的相应像素的亮度差分，该亮度差分作为第一物体特征量；以及第二物体特征量计算部，它被配置成计算长期背景图像中和当前帧中的相应像素的亮度差分，该亮度差分作为第二物体特征量。所述特征量选择部通过利用作为所述与前一帧上的物体相关的物体属性信息的停止计数值来为各个像素选择所述第一特征量或所述第二特征量，由此产生差分图像。所述物体位置计算部通过利用所产生的所述差分图像和作为所述与前一帧上的物体相关的物体信息的位置矢量，来计算作为所述与当前帧上的物体相关的物体信息的位置矢量。所述物体属性信息计算部可以基于作为所计算出的所述与当前帧上的物体相关的物体信息的所述位置矢量，来对作为所述与当前帧上的物体相关的物体属性信息的所述停止计数值进行计数。

所述物体位置计算部可以基于所产生的所述差分图像来检测当前帧上的物体候选者，且可以使当前帧上的物体候选者之中的与前一帧上的物体相距的距离最近的物体候选者接管被分配给前一帧上的物体的物体ID。

作为本发明的一个方面的所述图像处理装置还可以包括头部检测区域设定部，所述头部检测区域设定部被配置成设定头部检测区域。所述多个物体特征量计算部包括：第一物体特征量计算部，它被配置成计算当前帧中的在所述头部检测区域外的人的全身区域候选者，该全身区域候选者作为第一物体特征量；以及第二物体特征量计算部，它被配置成计算当前帧中的在所述头部检测区域内的人的头部区域候选者，该头部区域候选者作为第二物体特征量。所述特征量选择部将前一帧中的全身区域和头部区域逐一地指定为关注区域，根据所述关注区域中的头部的中心坐标是否位于所述头部检测区域内的判断来选择当前帧中的所述全身区域候选者或所述头部区域候选者，且将所选择的所述全身区域候选者或所述头部区域候选者规定为当前帧中的全身区域或头部区域。所述物体位置计算部通过利用作为所述与前一帧上的物体相关的物体信息的、所述关注区域的位置矢量，来计算作为所述与当前帧上的物体相关的物体信息的、所规定的所述全身区域或所述头部区域的位置矢量。所述物体属性信息计算部可以基于作为所计算出的所述与当前帧上的物体相关的物体信息的、所述全身区域或所述头部区域的所述位置矢量，来计算作为所述与当前帧上的物体相关的物体属性信息的、所述全身区域中的头部的中心坐标或所述头部区域中的中心坐标。

当所述关注区域中的头部的中心坐标位于所述头部检测区域内的情况下，所述特征量选择部可以选择当前帧中的头部区域候选者之中的与所述关注区域相距的距离最近的头部区域候选者，使所选择的所述头部区域候选者接管所述关注区域的物体ID，且将所选择的所述头部区域候选者规定为当前帧中的头部区域。当所述关注区域中的头部的中心坐标不位于所述头部检测区域内的情况下，所述特征量选择部可以选择当前帧中的全身区域候选者之中的与所述关注区域相距的距离最近的全身区域候选者，使所选择的所述全身区域候选者接管所述关注区域的物体ID，且将所选择的所述全身区域候选者规定为当前帧中的全身区域。

作为本发明的一个方面的图像处理方法是用于检测运动图像上的物体的图像处理装置的图像处理方法，所述图像处理方法包括物体特征量计算步骤、特征量选择步骤、物体信息计算步骤以及物体属性信息计算步骤。在所述物体特征量计算步骤中，基于不同的标准从所述运动图像的当前帧计算与图像上的物体相关的多个物体特征量。在所述特征量选择步骤中，通过利用与所述运动图像的前一帧上的物体相关的物体属性信息，从基于所述不同的标准而被计算出的所述多个物体特征量之中选择要被使用的所述物体特征量。在所述物体信息计算步骤中，通过使用所选择的所述特征量和与前一帧上的物体相关的物体信息，来计算与当前帧上的物体相关的物体信息。在所述物体属性信息计算步骤中，基于所计算出的所述与当前帧上的物体相关的物体信息来计算与当前帧上的物体相关的物体属性信息。

作为本发明的一个方面的程序致使能够检测运动图像上的物体的计算机起到多个物体特征量计算部、特征量选择部、物体信息计算部以及物体属性信息计算部的作用。所述多个物体特征量计算部被配置成：基于不同的标准从所述运动图像的当前帧计算与图像上的物体相关的物体特征量。所述特征量选择部被配置成：通过利用与所述运动图像的前一帧上的物体相关的物体属性信息，从基于所述不同的标准而被计算出的多个所述物体特征量之中选择要被使用的所述物体特征量。所述物体信息计算部被配置成：通过使用所选择的所述特征量和与前一帧上的物体相关的物体信息来计算与当前帧上的物体相关的物体信息。所述物体属性信息计算部被配置成：基于所计算出的所述与当前帧上的物体相关的物体信息来计算与当前帧上的物体相关的物体属性信息。

在本发明的各方面中，基于不同的标准从运动图像的当前帧计算与图像上的物体相关的多个物体特征量；通过利用与所述运动图像的前一帧上的物体相关的物体属性信息，从基于所述不同的标准而被计算出的所述多个物体特征量之中选择要被使用的所述物体特征量；并且通过使用所选择的所述特征量和与前一帧上的物体相关的物体信息来计算与当前帧上的物体相关的物体信息。而且，基于所计算出的所述与当前帧上的物体相关的物体信息来计算与当前帧上的物体相关的物体属性信息。

本发明的有益效果

根据本发明的各方面，能够继续追踪运动图像上的物体。

附图说明

图1是用于说明传统技术的问题的视图。

图2是图示了应用本发明的监视系统的构造例的框图。

图3是图示了图像处理装置的第一构造例的框图。

图4是图示了在当前帧上规定的物体区域的示例的视图。

图5是图示了计数表的示例的视图，该示例与图4对应。

图6是图示了选择了长期差分的区域的示例的视图，该示例与图4对应。

图7是用于说明由图像处理装置的第一构造例进行的物体检测处理的流程图。

图8是用于说明根据图像处理装置的第二构造例的操作概要的视图。

图9是图示了图像处理装置的第二构造例的框图。

图10是用于说明头部检测区域的设定的视图。

图11是用于说明全身区域中的头部的中心坐标的计算方法的视图。

图12是用于说明头部区域中的中心坐标的计算方法的视图。

图13是用于说明由图像处理装置的第二构造例进行的物体检测处理的流程图。

图14是图示了检测结果的示例的视图。

图15是图示了计算机的构造例的框图。

具体实施方式

在下面，将会参照附图来详细地说明用于实施本发明的最佳方式(以下，称为实施例)。

作为本发明实施例的监视系统的构造例

图2是图示了作为本发明实施例的监视系统的构造例的视图。

这个监视系统10包括摄像装置11、图像处理装置12和显示装置13。

摄像装置11将预定的摄像范围连续地摄像为运动图像，并且将作为结果而获得的视频信号输出到图像处理装置12。

在来自摄像装置11的视频信号(以下，称为输入图像)作为输入的情况下，图像处理装置12检测出现在输入图像上的运动中的物体和不运动的静止物体，且获得这些物体的位置信息。此外，将物体ID分配给所检测到的物体。这里，一直将同一物体ID分配给同一物体。而且，图像处理装置12将所检测到的物体的物体ID和位置信息输出至显示装置13。

显示装置13在来自摄像装置11的输入图像上以叠加的方式显示帧和物体ID，所述帧表明了由图像处理装置12检测到的物体的位置。

图像处理装置12的第一构造例

接着，图3是图示了图像处理装置12的第一构造例的视图。具体地，图像处理装置12的第一构造例是这样的构造例：其使得对运动图像上的运动物体和静止物体执行相互连续地追踪成为可能。

图像处理装置12的第一构造例包括短期背景图像更新部21、短期背景差分计算部22、长期背景图像更新部23、长期背景差分计算部24、背景差分选择部25、物体位置计算部26和物体停止时间计数部27。

短期背景图像更新部21保持着紧紧跟随在输入图像后面的短期背景图像，并且每次当从前一阶段的摄像装置11输入了输入图像的当前帧时，短期背景图像更新部21就更新所保持的短期背景图像且将更新后的短期背景图像输出到短期背景差分计算部22。需要注意的是，短期背景图像的更新是根据例如下面的表达式(1)针对同一坐标的各个像素而被执行的。

I_t+1＝α_s×I_t+(1-α_s)×I_c (1)

这里请注意：

I_t+1是更新后的短期背景图像中的像素的亮度值，

I_t是更新前的短期背景图像中的像素的亮度值，

I_c是输入图像中的像素的亮度值，而且

α_s是在0以上且小于1的短期更新系数。

短期背景差分计算部22计算输入图像的当前帧中与短期背景图像中的相应像素的亮度值之间的差分，且将所计算出的结果作为短期差分而输出到背景差分选择部25。

长期背景图像更新部23保持着缓慢跟随在输入图像后面的长期背景图像，并且每次当从前一阶段的摄像装置11输入了输入图像的当前帧时，长期背景图像更新部23就更新所保持的长期背景图像且将更新后的长期背景图像输出到长期背景差分计算部24。需要注意的是，长期背景图像的更新是根据例如下面的表达式(2)针对同一坐标的各个像素而被执行的。

I_t+1＝α_l×I_t+(1-α_l)×I_c (2)

这里请注意：

I_t+1是更新后的短期背景图像中的像素的亮度值，

I_t是更新前的短期背景图像中的像素的亮度值，

I_c是输入图像中的像素的亮度值，而且

α_l是大于α_s并且在0以上且小于1的长期更新系数。

长期背景差分计算部24计算输入图像的当前帧中与长期背景图像中的相应像素的亮度值之间的差分，且将所计算出的结果作为长期差分而输出到背景差分选择部25。

需要注意的是，短期背景图像和长期背景图像的产生及更新不限于如上所述的利用表达式(1)和(2)的方法。例如，可以使用利用高斯混合分布(Gaussian mixture distribution)的背景模型(C.Stauffer and W.E.L.Grimson,“Adaptive background mixture models for real-time tracking,”Proc.IEEE CVPR 1999,pp.246-252,June 1999.)，或者可以使用核密度估计(kernel density estimation)(A.Elgammal,D.Hanvood,and L.S.Davis,“Nonparametric model for background subtraction,”Proc.ECCV2000,pp.751-767,June 2000.)。

通过为各个像素选择从短期背景差分计算部22输入的短期差分和从长期背景差分计算部24输入的长期差分中的一者，背景差分选择部25产生差分图像且将该图像输出到物体位置计算部26。更加具体地，针对前一帧中所规定的物体区域之中的、属于停止计数值(稍后予以说明)在预定的长/短选择阈值以上的物体区域(在长时间内停止的物体的区域)的像素选择长期差分，且针对其它像素选择短期差分，由此产生差分图像。

需要注意的是，代替针对输入图像中的所有像素都进行短期差分和长期差分两者的计算以及从这两者中选择一者，可以仅针对前一帧中所规定的物体区域之中的、属于停止计数值在预定的长/短选择阈值以上的物体区域的像素计算长期差分，并且可以针对其它像素仅计算短期差分。

物体位置计算部26关注于从背景差分选择部25输入的差分图像中的像素的像素值(长期差分或短期差分)，并且提取该值在预定的差分阈值以上的像素。在邻接像素被提取的情况下，通过将这些像素归类成组来产生物体区域候选者，且针对各个物体区域候选者来分配新的物体ID。

此外，对于前一帧中所规定的各物体区域，物体位置计算部26规定了当前帧中的物体区域候选者之中的具有最近距离的物体区域候选者。在该距离不大于预定的距离阈值的情况下，使该物体区域候选者接管所述前一帧中的物体区域的物体ID。此外，基于前一帧中的物体区域的位置和当前帧中的物体区域候选者的位置，计算当前帧中的物体区域的位置。更加具体地，所述当前帧中的物体区域的位置是根据下面的表达式(3)来计算的。

x_t+1＝β×x_t+(1-β)×x₀ (3)

这里请注意：

x_t+1是当前帧中所规定的物体区域的位置矢量，

x_t是前一帧中所规定的物体区域的位置矢量，

I_c是当前帧中的物体区域候选者的位置矢量，并且

β是更新系数。

需要注意的是，当前帧中的物体区域的位置的计算不限于如上所述的使用表达式(3)的方法。例如，可以使用不同的方法，例如卡尔曼滤波器(Kalman filter)(R.E.Kalman,“A New Approach to Linear Filtering and Prediction Problems,”J.Fluids Eng.82(1),35-45(Mar 01,1960))。

此外，物体位置计算部26将当前帧中的物体区域候选者之中的、未接管前一帧中所规定的物体区域的物体ID的物体区域候选者按照原样规定为物体区域，且将全部物体区域的位置信息和物体ID输出到后续阶段的显示装置13、背景差分选择部25和物体停止时间计数部27。

物体停止时间计数部27保持着计数表，在该计数表中，停止计数值与所规定的物体区域的物体ID被关联起来。接着，物体停止时间计数部27判定前一帧中所规定的物体区域的位置与当前帧中所规定的且接管前一帧中所规定的物体区域的物体ID的物体区域的位置之间的差是否不大于预定的停止判定阈值。在判定上述两者的位置之间的差不大于所述停止判定阈值的情况下，在该物体区域处于停止的假设下，物体停止时间计数部27对计数表中的与该物体区域的物体ID相关联的停止计数值向上计数1次。相反，在判定上述两者的位置之间的差大于所述停止判定阈值的情况下，在该物体区域处于移动的假设下，物体停止时间计数部27将计数表中的与该物体区域的物体ID相关联的停止计数值重置为0。

图4是图示了在当前帧上规定物体区域的情况的示例的视图。在该图的情况下，屏幕左下侧的汽车和屏幕右上侧的汽车被检测为物体区域，且这两个物体区域分别被分配有作为物体ID的ID:1和ID:3。

图5是图示了计数表的示例的视图，该示例与图4对应。在图5中，具有物体ID:1的物体区域的停止计数值是10，并且具有物体ID:3的物体区域的停止计数值是0。这意味着：在具有物体ID:1的物体区域停止后，经过了10帧；而且，具有物体ID:3的物体区域正在移动。这里，例如，当假设长/短选择阈值是5时，在下一帧的差分图像的产生过程中，针对具有物体ID:1的物体区域(在该区域中，停止计数值大于该长/短选择阈值＝5)，选择长期差分，而针对其它区域，则选择短期差分。

由图像处理装置12的第一构造例进行的物体检测处理

接下来，图7是用于说明由图像处理装置12的第一构造例进行的物体检测处理的流程图。

这个物体检测处理是针对从摄像装置11输入到图像处理装置12中的输入图像的各帧而被执行的。

在步骤S1中，短期背景图像更新部21基于输入图像的当前帧而更新所保持的短期背景图像，且将更新后的短期背景图像输出到短期背景差分计算部22。短期背景差分计算部22计算输入图像的当前帧中与短期背景图像中的相应像素的亮度值之间的差分，且将所计算出的结果作为短期差分而输出到背景差分选择部25。

在步骤S2中，长期背景图像更新部23基于输入图像的当前帧而更新所保持的长期背景图像，且将更新后的长期背景图像输出到长期背景差分计算部24。长期背景差分计算部24计算输入图像的当前帧中与长期背景图像中的相应像素的亮度值之间的差分，且将所计算出的结果作为长期差分而输出到背景差分选择部25。

需要注意的是，如上所述的步骤S1中的处理和步骤S2中的处理能够并行地执行。

在步骤S3中，通过针对前一帧中所规定的物体区域之中的、属于停止计数值在预定的长/短选择阈值以上的物体区域的像素选择长期差分，并且通过针对其它像素选择短期差分，背景差分选择部25产生差分图像。

在步骤S4中，物体位置计算部26关注于从背景差分选择部25输入的差分图像中的像素的像素值且提取该值在预定的差分阈值以上的像素。在邻接像素被提取的情况下，通过将这些像素归类成组来产生物体区域候选者，且针对各个物体区域候选者来分配新的物体ID。

在步骤S5中，物体位置计算部26将前一帧中所规定的物体区域逐一地指定为关注物体区域(focused object region)。在步骤S6中，物体位置计算部26规定当前帧中的物体区域候选者之中的离关注物体区域的距离不大于预定的距离阈值并且最近的物体区域候选者，并且使所规定的该物体区域候选者接管前一帧中的关注物体区域的物体ID。此外，物体位置计算部26基于前一帧中的关注物体区域的位置和当前帧中的物体区域候选者的位置来计算当前帧中的物体区域的位置，且将所计算出的结果规定为当前帧中的物体区域。此外，物体位置计算部26将当前帧中所规定的物体区域的位置信息和物体ID输出到后续阶段的显示装置13、背景差分选择部25和物体停止时间计数部27。

在步骤S7中，物体停止时间计数部27判定在前一帧中规定的物体区域的位置与在当前帧中规定的且接管前一帧中所规定的物体区域的物体ID的物体区域的位置之间的差是否不大于预定的停止判定阈值(stoppage determination threshold)。在判定结果为肯定(“是”)的情况下，处理转入步骤S8，且在假设该物体区域停止的前提下，对计数表中的与该物体区域的物体ID相关联的停止计数值向上计数1次。相反，在判定结果为否定(“否”)的情况下，处理转入步骤S9，且在假设该物体区域移动的前提下，将计数表中的与该物体区域的物体ID相关联的停止计数值重置为0。

在步骤S10中，物体位置计算部26判定前一帧中所规定的所有物体区域是否都已被指定为关注物体区域。在这个判定结果为否定的情况下，仍然存在着还未被指定为关注物体区域的物体区域，处理返回步骤S5，且重复步骤S5及其以后的处理。此外，在步骤S10中的判定结果变为肯定(“是”)的情况下，处理转入步骤S11。

在步骤S11中，物体位置计算部26将当前帧中的物体区域候选者之中的、未接管前一帧中所规定的物体区域的物体ID的物体区域候选者按照原样规定为物体区域，且将当前帧中所规定的该物体区域的位置信息和物体ID输出到后续阶段的显示装置13、背景差分选择部25和物体停止时间计数部27。由上可知，物体检测处理结束。

通过针对各帧执行如上所述的物体检测处理，无论连续地出现在运动图像上的物体是运动还是停止的，都能够在将同一物体ID分配给该物体的同时对该物体进行追踪。此外，能够将新的物体ID分配给新出现的物体。

因此，规定包括长期停止的物体在内的物体的路径就成为可能。在监视系统10的具体应用例中，跟踪在长时间内停止的被摄对象就成为可能。例如，可以发现作为可疑人的长时间停留或四处徘徊的人，或即使在由于交通堵塞等而造成汽车长时间停止的情况下，也可以正确地测量交通流量。

图像处理装置12的第二构造例

接着，将说明图像处理装置12的第二构造例。图像处理装置12的第二构造例是这样的构造例，其使得：即使当在运动图像上能够看见整个物体的这一状态变成了仅能够看见该物体的一部分的这一状态的情况下，继续追踪该物体也成为可能。

图8是用于说明在将人的全身作为示例进行检测的情况下的图像处理装置12的第二构造例的操作概要的视图。

传统地，在人的全身是检测对象的情况下，如图8的左侧列所示，在时刻t1的帧中，人的全身被检测出来且被分配有ID:1。然而，如在时刻t2的帧中所示，在仅看见全身的一部分(在图8的情况下，头部)的情况下，什么都没有被检测出来，这是因为全身是检测对象。于是，在时刻t3的帧中，尽管该人的全身被检测出来，但是被重新分配有ID:2。

另一方面，即使在如时刻t2的帧中所示的仅看见全身的一部分(在图8的情况下，头部)的情况下，图像处理装置12的第二构造例也分配与分配给在时刻t2的帧中的全身的ID相同的ID，且在如时刻t3的帧中所示的再次看见全身的情况下，图像处理装置12的第二构造例分配与分配给在时刻t2的帧中的头部的ID相同的ID。

图9是图示了图像处理装置12的第二构造例的视图。图像处理装置12的第二构造例包括头部检测区域设定部31、头部检测部32、全身检测部33、检测方法选择部34、人位置检测部35和头部中心坐标计算部36。

当如图10所示在摄像范围内存在遮蔽物时，头部检测区域设定部31基于操作者的操作将如下的区域设定为头部检测区域51：在该区域中，人的全身的一部分可能被遮蔽物遮蔽且仅头部可见，并且头部检测区域设定部31通知头部检测部32、全身检测部33、检测方法选择部34和头部中心坐标计算部36。

每次当从前一阶段的摄像装置11输入了输入图像的当前帧时，头部检测部32就检测当前帧中的在头部检测区域51内的人的头部、将新的物体ID分配给检测结果且将该检测结果作为头部区域候选者输出到检测方法选择部34。每次当从前一阶段的摄像装置11输入了输入图像的当前帧时，全身检测部33就检测当前帧中的在头部检测区域51外的人的全身、将新的物体ID分配给检测结果且将该检测结果作为全身区域候选者输出到检测方法选择部34。

需要注意的是，在由头部检测部32进行的头部检测中或在由全身检测部33进行的全身检测中，例如，能够采用现有的任意方法，例如在(Navneet Dalal and Bill Triggs,“Histograms of Oriented Gradients for Person Detection”,International Conference on Computer Vision&Pattern Recognition(CVPR'05)1(2005)886-893)中披露的使用机械学习的方法等。

检测方法选择部34将在前一帧中被规定的头部区域和全身区域逐一地指定为关注区域。当关注区域中的头部的中心坐标位于头部检测区域51内的情况下，规定当前帧中的头部区域候选者之中的离该关注区域中的头部的中心坐标的距离不大于预定的距离阈值且最近的头部区域候选者，且使该头部区域候选者接管该关注区域的物体ID。

此外，当关注区域中的头部的中心坐标不位于头部检测区域51内的情况下，检测方法选择部34规定当前帧中的全身区域候选者之中的离该关注区域中的头部的中心坐标的距离不大于预定的距离阈值且最近的全身区域候选者，且使该全身区域候选者接管该关注区域的物体ID。

需要注意的是，头部检测部32和全身检测部33可以分别从输入图像的整个区域中检测头部区域候选者和全身区域候选者，而且，检测方法选择部34可以仅使用在头部检测区域51内检测出来的头部区域候选者且可以仅使用在头部检测区域51外检测出来的全身区域候选者。

人位置计算部35基于前一帧中的关注区域的位置和当前帧中的接管前一帧中的关注区域的物体ID的头部区域候选者(或全身区域候选者)的位置来计算当前帧中的头部区域(或全身区域候选者)的位置，且将所计算出的结果规定为当前帧中的头部区域(或全身区域候选者)。需要注意的是，上述表达式(3)可以用于头部区域(或全身区域候选者)的位置的计算。

此外，人位置计算部35将当前帧中所规定的头部区域和全身区域的位置信息和物体ID输出到后续阶段的显示装置13、检测方法选择部34和头部中心坐标计算部36。

头部中心坐标计算部36计算在当前帧中被规定的全身区域和头部区域各者中的头部的中心坐标以便用于针对下一帧的处理中，且将所计算出的结果输出到检测方法选择部34。

图11是用于说明全身区域中的头部的中心坐标的计算方法的视图。在计算全身区域中的头部的中心坐标的情况下，根据下面的表达式(4)，从所规定的全身区域的外接矩形的尺寸来计算头部的中心坐标(x,y)。

x＝物体宽度/2

y＝物体高度×平均面部尺寸/平均身高/2 (4)

需要注意的是，关于平均面部尺寸和平均身高中的各者，事先设定了监视系统10被使用时所处的地区内的平均值(即，可能成为被摄对象的人种等的平均值)。

图12是用于说明头部区域中的中心坐标的计算方法的视图。在计算头部区域中的中心坐标的情况下，根据下面的表达式(5)从所规定的头部区域的外接矩形的尺寸来计算头部的中心坐标(x,y)。

x＝物体宽度/2

y＝物体高度/2 (5)

由图像处理装置12的第二构造例进行的物体检测处理

接着，图13是用于说明由图像处理装置12的第二构造例进行的物体检测处理的流程图。

该物体检测处理是针对从摄像装置11输入到图像处理装置12中的输入图像的各帧而被执行的。

在步骤S31中，头部检测区域设定部31基于操作者的操作来设定头部检测区域51，且通知头部检测部32、全身检测部33、检测方法选择部34和头部中心坐标计算部36。

在步骤S32中，头部检测部32检测输入图像的当前帧中的在头部检测区域51内的人的头部、将新的物体ID分配给检测结果且将该检测结果作为头部区域候选者输出到检测方法选择部34。在步骤S33中，全身检测部33检测输入图像的当前帧中的在头部检测区域51外的人的全身、将新的物体ID分配给检测结果且将该检测结果作为全身区域候选者输出到检测方法选择部34。

需要注意的是，如上所述的步骤S32中的处理和步骤S33中的处理能够并行地执行。

在步骤S34中，检测方法选择部34将在前一帧中被规定的头部区域和全身区域逐一地指定为关注区域。在步骤S35中，检测方法选择部34判定关注区域中的头部的中心坐标是否位于头部检测区域51内。在该判定结果为肯定(“是”)的情况下，处理转入步骤S36。相反，在该判定结果为否定(“否”)的情况下，处理转入步骤S37。

例如，如图14所示，当在前一帧中规定了两个全身区域和一个头部区域且头部检测区域51内的头部区域被指定为关注区域的情况下，处理转入步骤S36。此外，在所述两个全身区域中的一个全身区域被指定为关注区域的情况下，处理转入步骤S37。

在步骤S36中，检测方法选择部34规定在当前帧中被检测出来的与关注区域中的头部的中心坐标相距的距离不大于预定的距离阈值且最近的头部区域候选者，且使该头部区域候选者接管所述关注区域的物体ID。人位置计算部35基于前一帧中的关注区域的位置和当前帧中的接管该前一帧中的关注区域的物体ID的头部区域候选者的位置来计算当前帧中的头部区域的位置，且将所计算出的结果规定为当前帧中的头部区域。然后，人位置计算部35将当前帧中所规定的头部区域的位置信息和物体ID输出到后续阶段的显示装置13、检测方法选择部34和头部中心坐标计算部36。

另一方面，在步骤S37中，检测方法选择部34规定在当前帧中被检测出来的与关注区域中的头部的中心坐标相距的距离不大于预定的距离阈值且最近的全身区域候选者，且使该全身区域候选者接管所述关注区域的物体ID。人位置计算部35基于前一帧中的关注区域的位置和当前帧中的接管该前一帧中的关注区域的物体ID的全身区域候选者的位置来计算当前帧中的全身区域的位置，且将所计算出的结果规定为当前帧中的全身区域。然后，人位置计算部35将当前帧中所规定的全身区域的位置信息和物体ID输出到后续阶段的显示装置13、检测方法选择部34和头部中心坐标计算部36。

在步骤S38中，头部中心坐标计算部36计算当前帧中所规定的头部区域或全身区域中的头部的中心坐标，且将所计算出的结果输出到检测方法选择部34。

在步骤S39中，检测方法选择部34判定前一帧中所规定的所有头部区域和全身区域是否都已被指定为关注区域。在该判定结果为否定的情况下，仍然存在着还未被指定为关注区域的头部区域和/或全身区域，处理返回步骤S34，且重复步骤S34及其以后的处理。此外，在步骤S39中的判定结果为肯定的情况下，处理转入步骤S40。

在步骤S40中，人位置计算部35将当前帧中的头部区域候选者或全身区域候选者之中的、未接管前一帧中所规定的头部区域或全身区域的物体ID的头部区域候选者或全身区域候选者按照原样规定为头部区域或全身区域，且将当前帧中所规定的该头部区域或全身区域的位置信息和物体ID输出到后续阶段的显示装置13、背景差分选择部25和物体停止时间计数部27。由上可知，物体检测处理结束。

通过针对各帧执行如上所述的物体检测处理，即使当连续地出现在运动图像上的物体的一部分被遮蔽时，也能够在将同一物体ID分配给该物体的同时对该物体进行追踪。此外，能够将新的物体ID分配给新出现的物体。

在监视系统10的具体应用例中，就能够实现出于提高工厂运作效率的考虑而对工人的移动线路进行分析，或者就能够实现对顾客的行动进行记录且使这些信息用于市场营销。

需要注意的是，在图像处理装置12的第二构造例中，已经说明了仅能够看见全身中的头部的情况。然而，例如，当知晓了与身体的头部以外的部位相关的特征量(例如，面部的特征量、或者与运动员等的制服/工作服的固有标志相关的特征量)时，检测和追踪该部位也是可以的。

顺便提及地，由图像处理装置12进行的上述一系列处理能够由硬件或软件来执行。在所述一系列处理由软件来执行的情况下，将该软件中所包含的程序安装到计算机中。这里，所述计算机例如包括：被组合在专用硬件中的计算机；或者能够通过各种程序的安装来执行各种功能的通用个人计算机。

图15是图示了通过程序来执行上述一系列处理的计算机的硬件的构造例的框图。

在计算机200中，中央处理单元(CPU：Central Processing Unit)201、只读存储器(ROM：Read Only Memory)202和随机存取存储器(RAM：Random Access Memory)203通过总线204而相互连接着。

输入/输出接口205也被连接到总线204。输入部206、输出部207、存储部208、通信部209和驱动器210被连接到输入/输出接口205。

输入部206包括键盘、鼠标或麦克风等。输出部207包括显示器或扬声器等。存储部208包括硬盘或非易失性存储器等。通信部209包括网络接口等。驱动器210驱动例如磁盘、光盘、磁光盘或半导体存储器等可移除介质211。

在按上述方式配置而成的计算机中，CPU 201例如通过输入/输出接口205和总线204使存储在存储部208中的程序加载到RAM 203中，并且CPU 201执行该程序，由此上述一系列处理得以执行。

需要注意的是，由计算机200执行的程序可以是以本说明书所说明的顺序按时间序列进行处理的程序，或者可以是并行地或在必要时(例如，实施调用时)进行处理的程序。

需要注意的是，本发明的实施例不限于上述的实施例，且能够在本发明的主旨和范围内做出各种变型例。

附图标记列表

11 摄像装置

12 图像处理装置

13 显示装置

21 短期背景图像更新部

22 短期背景差分计算部

23 长期背景图像更新部

24 长期背景差分计算部

25 背景差分选择部

26 物体位置计算部

27 物体停止时间计数部

31 头部检测区域设定部

32 头部检测部

33 全身检测部

34 检测方法选择部

35 人位置计算部

36 头部中心坐标计算部

51 头部检测区域

200 计算机

201 CPU(中央处理单元)