状态分析装置)3和运动对象检测装置4。
[0048]摄像机I安装在商店中的适当位置来捕获商店中的被监视区域的图像，以及将由此获得的图像信息记录在记录器2中。
[0049]PC3与用于用户，诸如监视的人的输入装置6，诸如鼠标连接，用于执行各种输入操作，以及与显示监视画面的监视器(显示装置)7连接。应注意到，输入装置6和监视器7可以实施为触控板显示器。
[0050]PC3设置在商店的安全位置等等中，并且使监视器7显示使监视的人(诸如保安)查看由摄像机I拍摄的商店内部的实时图像或在记录器2中记录的商店内部的过去图像的监视画面。
[0051]安装在管理办公室中的PCll还与在图中未示出的监视器连接，使得管理办公室的用户能通过查看由摄像机I拍摄的商店内部的实时图像或在记录器2中记录的商店内部的过去图像，检查商店中的状况。
[0052]每一运动对象检测装置执行人物检测处理，即，从由相应的摄像机I捕获的图像帧检测一个或多个人物(运动对象)的处理，并且在每次帧捕获时，输出一个或多个人物的位置信息。可以通过使用已知的图像识别技术，执行该人物检测处理。
[0053]图2是示出商店中的摄像机I的示例性位置的平面图。产品展示货架和收银台位于商店中，以及安装摄像机I来拍摄收银台的图像。顾客从产品展示货架挑选所需产品并且在收银台付款。顾客从安置产品展示货架的产品展示区接近收银台，并且在付款后离开收银台。摄像机I拍摄从前方接近收银台的顾客图像，并且基于由摄像机I拍摄的图像，执行人物检测。
[0054]接着，将描述通过图1所示的PC3执行的停留状态分析处理生成的热图。图3是示出由图1中所示的PC3生成并且在监视器7上显示的分段热图的说明图。
[0055]由摄像机I获得的图像包括在收银台执行结账的人物的图像，以及这些人从入口侦牝即，远离摄像机I的收银台的后侧(或远端)接近收银台，并且从出口侧，即，离摄像机I近的收银台的前侧(或近侧)离开收银台。因此，在每一收银台周围形成从入口侧运动到出口侧的人流，如果在收银台的结账过程中导致延迟或顾客(人)数超出执行结账的店员能处理的人数，形成等待结账的人的队列并且人的停留发生。
[0056]由此，在本实施例中，为掌握收银台周围的人的停留的程度，测量目标区域中的人的停留频率(每单位时间检测的停留人数)，并且生成可视化停留频率的分布状态的分段热图。在该分段热图中，将目标区域(摄像机的成像区域)分成多个网格单元(分区)，以及显示每一网格单元的人的停留频率。应注意到在监视器7上显示的画面中，在目标区域的图像上，重叠地显示热图的图像，其中，热图的图像是透明或半透明的。
[0057]为生成热图，预先生成用于表示每一网格单元的人的停留频率的分布信息。具体地，计数每单位时间，通过每一网格单元的人的行进线路数以便获得每单位时间，停留在每一网格单元中的人数,即，每一网格单元的停留频率。
[0058]此外，在该热图中，取决于人的停留频率(每单位时间检测的停留人数)，改变包括色调、明暗度(黑暗度)和模式图像的可视化元素的至少一个来可视化人的停留频率的分布状态。在图3所示的示例中，由网格单元的明暗度(填充色的黑暗度)表示每一网格单元的停留频率。
[0059]接着，将描述由图1中所示的PC3执行的停留状态分析处理。图4是示意性地示出PC3的功能结构的框图。应注意到为了简化起见，图4仅示出一个摄像机I和一个运动对象检测装置4，尽管该系统可以包括多个摄像机I和运动对象检测装置4，如图1所示。
[0060]PC3包括检测信息存储单元21、位置信息分类单元22、分布信息比较单元23、丢失部分位置检测单元24、校正的分布信息生成单元25、热图生成单元26和画面生成单元27。
[0061]检测信息存储单元21累积地存储由运动对象检测装置4获得的人的位置信息。位置信息包括在由摄像机I捕获的图像的每一帧中检测的每一人的检测位置和从检测到该人的帧的捕获时间获得的每一人的检测时间。还应注意到通过按时间顺序，连接包括在与同一人相关的多条位置信息中的检测位置，获得行进线路，但不一定要求连接检测位置的线段(矢量)的信息。
[0062]位置信息分类单元22根据由于可能包括在人的行进线路中的丢失部分、多条位置信息可能包括误差的可能性的程度，分类对各个检测时间(帧)获得的人的多条位置信息。位置信息分类单元22包括显著事件检测单元31、第一位置信息存储单元32和第二位置信息存储单元33。
[0063]显著事件检测单元31执行检测作为可能导致在人的行进线路中产生丢失部分的事件，即，使由运动对象检测装置4执行的人物检测易于出错的事件的显著事件的处理。基于由运动对象检测装置4生成的位置信息，执行该显著事件检测处理。更具体地说，在基于过去数据，执行处理的情况下，显著事件检测单元31从检测信息存储单元21获得位置信息，而在实时执行该处理的情况下，显著事件检测单元31从运动对象检测装置4获得位置信息。
[0064]具体地，在本实施例中，将密集地出现多人的拥挤事件和多人站在队列中的排队事件检测为显著事件。当密集地出现多人或多人站在队列中时，人之间的遮挡易于发生并且人物检测的精度易于下降，由此，存在在人的行进线路中产生丢失部分的可能性。应注意到即使当目标区域不拥挤时，如果多人形成队列，人之间的遮挡易于发生。相反，即使没有队列形成，如果目标区域挤满人，人之间的遮挡也易于发生。由此，在本实施例中，独立地检测拥挤事件和排队事件，以及当检测到它们中的至少一个时，确定在人的行进线路中，可能产生丢失部分的可能性。
[0065]根据显著事件检测单元31的检测结果，分类对各个检测时间(帧)获得的人的多条位置信息，并且将其累积地存储在第一位置信息存储单元32和第二位置信息存储单元33的任一或两者中。具体地，将当未检测到显著事件时获得的多条位置信息存储在第一位置信息存储单元32和第二位置信息存储单元33两者中，而将检测到显著事件时获得的多条位置信息仅存储在第二位置信息存储单元33中。
[0066]分布信息比较单元23分别根据由位置信息分类单元22分类的多条位置信息的两组，生成用于比较的两个分布信息集合，分别表示人的停留频率的分布状态并且比较两个分布信息集合，用于相互比较。该分布信息比较单兀23包括第一分布信息生成单兀35、第二分布信息生成单元36和差别分布信息生成单元37。
[0067]第一分布信息生成单元35执行根据在第一位置信息存储单元32中存储的多条位置信息，即当显著事件检测单元31未检测到显著事件时获得的多条位置信息，生成第一分布信息(用于比较的分布信息)的处理。第二分布信息生成单元36执行由根据在第二位置信息存储单元33中存储的多条位置信息，即，当显著事件检测单元31检测到显著事件时获得的多条位置信息，生成第二分布信息(用于比较的分布信息)的处理。在由第一分布信息生成单兀35和第二分布信息生成单兀36的每一个执行的分布信息获得处理中，基于多条位置信息的各组，计数出现在每一网格单元中的行进线路，由此获得单位时间出现在每一网格单元中的行进线路数，即，每一网格单元的停留频率(每单位时间的停留人数)。
[0068]差别分布信息生成单兀37执行表不由第一分布信息生成单兀35生成的第一分布信息和由第二分布信息生成单元36生成的第二分布信息之间的差异的差别分布信息的处理。在该差别分布信息生成处理中，计算在第一分布信息中的每一网格单元的停留频率和在第二分布信息中的相应网格单元的停留频率之间的差。
[0069]丢失部分位置检测单元24执行基于分布信息比较单元23的比较结果，即，基于由差别分布信息生成单元37生成的差别分布信息，检测一个或多个行进线路中的丢失部分的位置的处理。在该丢失部分检测处理中，首先，基于差别分布信息，挑出在一个或多个行进线路中产生丢失部分的网格单元(区段)，然后，在这些网格单元上执行进一步分析来找出在一个或多个行进线路中，真正产生丢失部分的一个或多个位置。
[0070]校正的分布信息生成单元25执行基于丢失部分位置检测单元24的检测结果，生成已经校正人的停留频率(每单位时间检测的停留人数)的校正的分布信息的处理。具体地，在本实施例中，考虑由丢失部分位置检测单元24检测的一个或多个行进线路中的丢失部分的位置，校正在第二位置信息存储单元33中存储的多条位置信息的一些，即，当由显著事件检测单元31发现显著事件时获得的多条位置信息，以根据基于多条校正的位置信息和在第二位置信息存储单元33中存储的多条未校正的位置信息，生成校正的分布信息。在该校正的分布信息获得处理中，基于多条位置信息，计数每一网格单元中出现的行进线路，由此获得每单位时间，每一网格单元中的行进线路数，即，每一网格单元的停留频率(每单位时间的停留人数)。
[0071]在由校正的分布信息生成单元25执行的位置信息校正处理中，校正多条位置信息的一些，使得应当被看作单一线路的、由于行进线路中的丢失部分生成的两个行进线路，即使与不同人相关的两个行进线路与同一人相关联，被连接在一起。如果必要，可以获得连接应当相互连接的两个行进线路的连接线路，并且校正该位置信息来表示由连接线路连接的两个行进线路的状态。
[0072]热图生成单元26执行基于由校正的分布信息生成单元25生成的校正的分布信息，生成热图信息的处理。在该热图生成处理中，生成信息，用于使包括色调、明暗度和模式图像的可视化元素的至少一个取决于人的停留频率(每单位时间的停留人数)而改变，以便可视化人的停留频率的分布状态。
[0073]画面生成单元27执行生成用于使监视器7显示由热图生成单元26生成的热图信息的画面信息的处理。具体地，在本实施例中，画面生成单元27基于由热图生成单元26生成的热图信息和来自摄像机I或记录器2的图像信息，生成与将叠加在目标区域的图像上的热图图像的显示图像有关的画面信息。
[0074]应注意到，通过由PC3的CPU执行用于停留状态分析的程序，实现图4所示的PC3的各个单元。这些程序可以预装在用作信息处理装置的PC3中来实施专用于停留状态分析的装置，或可以以在适当的程序记录介质中存储、作为能在通用OS上运行的应用程序的形式提供给用户。
[0075]接着，将描述图4中所示的PC3执行的停留状态分析处理的整个过程。图5是用于说明PC3执行的停留状态分析处理的概述的说明图。图6和7是一起示出PC3执行的停留状态分析处理中的步骤的流程图。
[0076]如图5所示，运动对象检测装置4执行从由摄像机I顺序输入的图像帧，检测人的位置的处理，并且在帧(检测时间)基础上，输出人的多条位置信息。
[0077]PC3在逐帧基础上，从运动对象检测装置4获得多条位置信息(图6中的ST10