1)，并且显著事件检测单元31执行从多条位置信息检测显著事件(拥挤事件和排队事件)的处理(图6中的ST102和ST103)。如果未检测到显著事件(图6中的ST104为否)，将多条位置信息累积地存储在第一位置信息存储单元32和第二位置信息存储单元33中(图6中的ST105)，如果检测到显著事件(图6中的ST104为是)，将多条位置信息累积地存储在第二位置信息存储单元33中(图6的ST106)。
[0078]对在帧基础上获得的多条位置信息，重复地执行这些处理，直到采样周期结束为止，其中，采样周期是采集用于生成一个热图的数据的周期(图6中的ST107)。S卩，热图生成单元26基于在预定采样周期内，从多帧检测的多条位置信息，生成一个热图，以及第一位置信息存储单元32和第二位置信息存储单元33累积地存储在一个采样周期期间采集的多条位置信息。
[0079]接着，第一分布信息生成单元35执行从在一个采样周期期间，从在第一位置信息存储单元32中存储的多条位置信息，生成第一分布信息的处理(图7中的步骤ST108)，以及第二分布信息生成单元36执行从在一个采样周期期间，从在第二位置信息存储单元33中存储的多条位置信息，生成第二分布信息的处理(图7中的ST109。然后，差别分布信息生成单元37执行生成作为第一分布信息和第二分布信息之间的差异的差别分布信息的处理(图7中的ST110)。
[0080]接着，丢失部分位置检测单元24执行丢失部分位置检测处理。在丢失部分位置检测处理中，首先，将包括在差别分布信息中的差值分别与预定阈值进行比较来确定是否存在差值大于或等于阈值的一个或多个网格单元(图7中的ST111)，其中，对每一网格单元获得差值。如果某一网格单元的差值大于或等于阈值，存在该网格单元中的一些行进线路包括丢失部分的可能性，基于上述确定，可以挑出丢失部分可能包括在一个或多个行进线路中的网格单元。由此，如果存在差值大于或等于阈值的一个或多个网格单元(图7中的STlll为是)，确定在这些网格单元的每一个的一个或多个行进线路中，是否真正存在丢失部分(图7中的ST112)。
[0081]如果通过上述确定，识别出行进线路的丢失部分所处的一个或多个网格单元，那么，校正的分布信息生成单元25执行生成校正的分布信息的处理。在该校正的分布信息生成处理中，首先，执行将由丢失部分分开的两条行进线路连接成一个的处理(图7中的ST113)。该处理包括位置信息校正处理，其中，在第二位置信息存储单元33中存储的多条位置信息中，校正对应于包括在一个或多个行进线路中的一个或多个丢失部分的位置的多条位置信息，使得由于丢失部分，已经与不同人关联的两条行进线路与同一人关联。此后，基于多条校正的位置信息和剩余的多条位置信息，即，第二位置信息存储单元33中存储的多条未校正的位置信息，生成校正的位置信息(图7中的ST114)。
[0082]然后，热图生成单元26执行根据由校正的分布信息生成单元25生成的校正的分布信息，生成热图的处理(图7中的ST115)。
[0083]应注意到，如果在丢失部分位置检测处理中，未找到行进线路的丢失部分所处的网格单元，对第二位置信息存储单元33中存储的多条位置信息不执行校正，以及根据第一位置信息存储单元32中存储的多条位置信息和第二位置信息存储单元33中存储的多条位置信息，生成分布信息。
[0084]在如上所述生成一个热图后，开始生成下一时隙的热图的处理，并且重复该处理来按时间顺序生成多个热图。通过按顺序在监视器7上显示这些热图，可以使用户易于理解人的停留频率的时间变化。
[0085]接着，将描述图4中的显著事件检测单元31执行的拥挤事件检测处理(图6中的ST102)。图8是用于说明显著事件检测单元31执行的拥挤事件检测处理的概况的说明图。
[0086]运动对象检测装置4执行的人物检测处理包括将通过图像分析，估计人所存在的区域的候选人帧设定为中间信息的处理。如果存在目标区域挤满人的区域，如图8的部分
(A)所示，在拥挤区域中密集地设置候选人帧，但趋于将一定距离置于拥挤区域中的相邻候选人帧之间。
[0087]另一方面，当人检测的精度低时，可以将多个候选人帧设定为单个人，如图8的部分(B)所示。在这种情况下，与如图8的部分(A)所示的挤满人的区域的情形相比，尽管以类似的方式密集地设置候选人帧，但候选人帧表现不同，特别地，候选人帧的位置变化的程度不同。
[0088]由此，在本实施例中，分组相互接近的候选人帧，计算每一组中的候选人帧的位置变化，当变化大时，确定许多人出现在特定区域中，即，拥挤事件发生。
[0089]接着，将描述图4所示的显著事件检测单元31执行的拥挤事件检测处理的步骤。图9是示出由显著事件检测单元31执行的拥挤事件检测处理的步骤的流程图。
[0090]在该处理中，首先，由运动对象检测装置4获得包括与候选人帧有关的信息的多条位置信息(ST201)，以及分组相互接近的候选人帧(步骤ST202)。此时，在一个候选人帧的中点的坐标值与另一候选人帧的中点的坐标值之间进行比较。使得当两个候选人帧的中点之间的距离小于预定阈值时，将它们分在一组中。
[0091]接着，计算每一组中的候选人帧的位置的变化(ST203)。此时，计算候选人帧的中点的X坐标值的变化和候选人帧的中点的Y坐标值的变化。然后，在将与拥挤有关的状态信息设定为“正常”后(ST204)，确定每一组中的候选人帧的位置的变化是否大于或等于阈值(ST205)，使得如果候选人帧的位置变化大于或等于阈值(ST205为是)，将与拥挤有关的状态信息设定成“拥挤”(ST206)。另一方面，如果候选人帧的位置的变化小于阈值(ST205为否)，与拥挤有关的状态信息仍然为“正常”。
[0092]接着，描述图4所示的显著事件检测单元31执行的排队事件检测处理(图6的ST103)。图10是用于说明显著事件检测单元31执行的排队事件检测处理的概述的说明图。
[0093]当人们开始相继地站在同样等待服务等的站立的人后站队时，形成队列。由此，在本实施例中，首先确定每一被检测的人是否正在运动。在图10的部分(A)所示的示例中，人A正在运动，而人B和C静止。接着，如图10的部分⑶所示，从人A的过去运动，预测运动人A的未来位置。如果运动人A的预测运动位置和静止人B的位置相互接近，将人A设定为队列候选。接着，如果在预定时间段经过后，运动人A消失，如图10的部分(C)所示，确定人A已经站在人B后的队列中，由于人之间的遮挡，人A的检测失败，因此，确定形成队列。
[0094]接着，描述图4中所示的显著事件检测单元31执行的排队事件检测处理的步骤。图11是示出显著事件检测单元31执行的排队事件检测处理的步骤的流程图。
[0095]在该处理中，首先，执行人运动确定来确定每一被检测的人是否正在运动。在该人运动确定中，基于感兴趣的人的过去坐标值，计算该人的运动量(ST301)。然后，在将该人的状态信息设定成“静止”后(ST302)，确定运动量是否大于或等于阈值(ST303)，如果运动量大于或等于阈值(ST303为是)，将该人的状态信息设定成“运动”(ST304)。另一方面，如果运动量小于阈值(ST303为否)，该人的状态信息仍然设定成“静止”。
[0096]接着，根据感兴趣的人的过去坐标值，预测该感兴趣的人的未来位置的处理(ST305)。
[0097]此后，执行队列形成确定，S卩，确定感兴趣的人是否已经形成或加入队列。在该队列形成确定中，首先确定在感兴趣的人的预测运动位置附近是否有静止的人(ST306)，如果在感兴趣的人的预测运动位置附近有静止的人(ST306为是)，将感兴趣的人的状态信息设定成“队列候选”(ST307)。
[0098]接着，确定在前述处理中，设定为队列候选的人的检测是否失败以及该人消失(ST308)，如果设定为队列候选的人已经消失(ST308为是)，确定该人已经形成或加入队列并且将该人的状态信息设定成“队列形成”(ST309)。另一方面，如果设定为队列候选的人未消失(ST308为否)，确定该人未形成或加入队列。
[0099]应注意到，在所示的实施例中，一旦发现队列形成确定为肯定，S卩，当确定单个人到达站在另一人后的行列中时，确定形成队列。然而，可以当连续多次发现队列形成确定为肯定时，即，当确定多个人到达来相继地站队时，确定形成队列。
[0100]接着，将描述图4中所示的差别分布信息生成单元37和丢失部分位置检测单元24执行的处理。图12是用于说明在行进线路中，产生丢失部分的行进线路丢失图案的示例的说明图。具体地，图12的部分(A)示出显著事件(拥挤或排队)发生时的状态，而图12的部分(B-1)、(B-2)和(B-3)示出示例性行进线路丢失图案。
[0101]如图12的部分(A)所示，当密集地出现多个人并且在收银台周围形成队列时，人之间的遮挡趋于发生，如果遮挡不发生，降低人检测的精度并且在行进线路中产生丢失部分，导致如图12的部分(B-1)、(B-2)和(B-3)所示的行进线路丢失图案。
[0102]在图12的部分(B-1)所示的行进线路丢失图案中，行进线路在单个网格单元中具有丢失部分。在这种情况下，在出现行进线路的丢失部分的单个网格单元中，存在两个行进线路，因此，在该网格单元中，多次计数，即，计数行进线路超过一次发生。
[0103]在图12的部分(B-2)中所示的行进线路丢失图案中，行进线路具有在两个网格单元上延伸的丢失部分。在这种情况下，在出现行进线路的丢失部分的一部分的两个网格单元的每一个中，存在一个行进线路，因此，在所计数的行进线路数中不会导致误差。
[0104]在图12的部分(B-3)的行进线路丢失图案中，行进线路具有在三个网格单元上延伸的丢失部分。在这种情况下，在出现行进线路的丢失部分的一部分的三个网格单元中，两个网格单元的每一个中具有一个行进线路，由此，在这些网格单元中计数的行进线路数中，不会导致误差，但中间网格单元中不具有行进线路，因此，在该网格单元中，出现丢失计数，即，计数更少行进线路。
[0105]应注意到，在行进线路具有在四个或以上网格单元上延伸的丢失部分的情况下，如图12的部分(B-3)所示的示例的情形，在由于丢失部分不存在行进线路的中间网格单元中，丢失计数发生，以及行进线路的丢失部分所延伸的网格单元越多，发生丢失计数的区域越宽。
[0106]由此，在本实施例中，如在下文所述，差别分布信息生成单元37执行生成作为第一分布信息和第二分布信息之间的差的差别分布信息，并且基于该差别分布信息，挑选在行进线路中，可能存在丢失部分的网格单元的处理，接着，丢失部分位置检测单元24执行从所选择的网格单元中，查