停留状态分析装置、停留状态分析系统和停留状态分析方法
【技术领域】
[0001]本发明涉及停留状态分析装置、停留状态分析系统和停留状态分析方法，用于测量目标区域中的运动对象的停留频率并且生成可视化停留频率的分布状态的热图，用于在显示装置上显示。
【背景技术】
[0002]在商业机构，诸如零售店中，当希望付款的顾客人数增加到一定程度时，可能在收银台形成等待结账的顾客队列(队)，这迫使顾客在队列中等待他们的机会。如果能掌握收银台附近的顾客的停留状态，即，顾客在收银台附近停留了多久，可以开发基于等待时间，改善商店的运行的措施，由此提高顾客满意度和使商业机构的运行合理化。
[0003]关于掌握人的停留状态，通常已知一种技术，该技术生成可视化目标区域中的人的活动量的分布状态的热图(见JP2009-134688A)。通过使用这种热图，用户能一眼掌握人的停留频率的分布状态(每单位时间所检测的停留人数)，即，有多少人正停留在目标区域中的哪一区，这能提高用户的便利。
[0004]为生成可视地显示目标区域中的人的停留频率的分布状态的热图，有必要获得目标区域的每一段中的停留频率并且生成表示停留频率的分布状态的分布信息，以及获得目标区域的每一段的停留频率，被考虑来计数每一段中的人的行进线路，其中，通过按时间顺序排列人的检测位置，形成该人的行进线路。
[0005]另一方面，在如上所述，在形成多人的队列是状态中，沿摄像机的视线，一些人可能相互重叠，使得“背景”人从视线被遮住。这种现象称为遮挡。如果遮挡发生，人检测精度下降并且人的行进线路可能包括丢失部分。如果行进线路包括丢失部分，应当视作单一线路的行进线路在丢失部分被分成两条行进线路，这可能导致行进线路的多次计数或丢失计数，由此使得不可能获得准确的停留频率并且导致具有降低精度的热图。
[0006]然而，上述常规技术未提出用于解决这些问题的任何措施，由此，期望一种技术，即使在行进线路可能包括丢失部分的情况下，也能通过进行适当的校正来避免行进线路的多次计数和丢失计数，生成高度准确的热图。
[0007]做出了本发明来解决现有技术的上述问题，以及本发明的主要目的是提供一种停留状态分析装置、停留状态分析系统和停留状态分析方法，即使在行进线路可能包括丢失部分的情况下，也能通过进行适当的校正，生成高度准确的热图。
【发明内容】
[0008]为实现上述目的，本发明的第一方面提供一种停留状态分析装置，用于测量目标区域中的运动对象的停留频率，并且生成将停留频率的分布状态可视化以显示在显示装置上的热图，该停留状态分析装置包括:位置信息分类单元，根据由于运动对象的行进线路中可能产生的丢失部分、多条位置信息可能包括误差的可能性程度，分类从运动对象检测装置获得的运动对象的多条位置信息；丢失部分位置检测单元，基于由位置信息分类单元分类的多条位置信息的至少两组，检测行进线路中的丢失部分的位置；校正的分布信息生成单元，生成基于丢失部分位置检测单元的检测结果校正的、表示运动对象的停留频率的校正的分布信息；以及热图生成单元，基于由校正的分布信息生成单元生成的校正的分布信息，生成热图。
[0009]根据该结构，通过使用根据由于运动对象的行进线路中可能包括的丢失部分、多条位置信息可能包括误差的可能性程度分类的多条位置信息的两组，能够容易和高精度地检测行进线路中的丢失部分的位置。此外，通过基于检测结果生成校正的分布信息，即使在行进线路包括丢失部分的情况下，也能够进行适当的校正来消除由于行进线路中的丢失部分的多次计数和丢失计数，由此生成高精度的热图。
[0010]在本发明的第二方面中，位置信息分类单元包括基于运动对象的多条位置信息、检测可能导致在运动对象的行进线路中产生丢失部分的显著事件的显著事件检测单元，并且基于显著事件检测单元是否检测到显著事件，分类多条位置信息。
[0011]当未检测到显著事件时获得的位置信息具有包括误差的低可能性，而当检测到显著事件时获得的位置信息具有包括误差的高可能性，由此，通过根据显著事件的检测结果，执行多条位置信息的分类，能容易地和以高精度实现根据多条位置信息可能包括误差的可能性程度分类多条位置信息。
[0012]在本发明的第三方面中，显著事件检测单元将密集地出现多个运动对象的拥挤事件检测为显著事件。
[0013]在密集地出现多个运动对象的情况下，运动对象之间的遮挡趋于发生，使得运动对象检测的精度趋于降低，因此，运动对象的行进线路中通常包括丢失部分。在上述结构中，通过基于是否检测到拥挤事件，分类位置信息项，能够以高精度检测行进线路中的丢失部分的位置。
[0014]在本发明的第四方面中，显著事件检测单元将多个运动对象站在队列中的排队事件检测为显著事件。
[0015]在队列中出现多个运动对象的情况下，运动对象之间的遮挡趋于发生，使得运动对象检测的精度趋于降低，因此，运动对象的行进线路中通常包括丢失部分。在上述结构中，通过基于是否检测到排队事件，分类位置信息项，能够以高精度检测行进线路中的丢失部分的位置。
[0016]在本发明的第五方面中，停留状态分析装置进一步包括分布信息比较单元，分别从由位置信息分类单元分类的多条位置信息的两组，生成用于比较的两个分布信息集合，其每一个表示运动对象的停留频率的分布状态，并且将用于比较的两个分布信息集合相互比较，其中，分布信息比较单元生成作为用于比较的两个分布信息集合之间的差的差别分布信息，以及其中，丢失部分位置检测单元基于差别分布信息，检测行进线路中的丢失部分的位置。
[0017]根据该结构，通过使两个分布信息集合相互比较，能够有效地检测行进线路中的丢失部分的位置。
[0018]在本发明的第六方面中，热图生成单元对于由分段目标区域限定的多个分区的每一个生成表示运动对象的停留频率的分段热图。
[0019]根据该结构，用户能一眼掌握目标区域中的运动对象的停留频率的分布状态。
[0020]在本发明的第七方面中，热图生成单元改变包括色调、明暗度和模式图像的热图的可视化元素的至少一个来将运动对象的停留频率的分布状态可视化。
[0021]根据该结构，用户能易于掌握运动对象的停留频率的分布状态。
[0022]在本发明的第八方面中，热图生成单元生成将目标区域中的两点之间的运动对象的运动频率可视化的点对点热图。
[0023]根据该结构，用户能一眼掌握两点之间的运动对象的运动状态。
[0024]在本发明的第九方面中，提供一种停留状态分析系统，用于测量目标区域中的运动对象的停留频率，并且生成将停留频率的分布状态可视化以显示在显示装置上的热图，该系统包括:运动对象检测装置，检测目标区域中的运动对象并且输出运动对象的多条位置信息；显示热图的显示装置；以及多个信息处理装置，其中，多个信息处理装置共同包括:位置信息分类单元，根据由于运动对象的行进线路中可能产生的丢失部分、多条位置信息可能包括误差的可能性程度，分类从运动对象检测装置获得的运动对象的多条位置信息；丢失部分位置检测单元，基于由位置信息分类单元分类的多条位置信息的至少两组，检测行进线路中的丢失部分的位置；校正的分布信息生成单元，生成基于丢失部分位置检测单元的检测结果校正的、表示运动对象的停留频率的校正的分布信息；以及热图生成单元，基于由校正的分布信息生成单元生成的校正的分布信息，生成热图。
[0025]根据该结构，与根据本发明的第一方面的结构类似，即使在行进线路包括丢失部分的情况下，也能够通过适当的校正，生成高精度热图。
[0026]在本发明的第十方面中，提供一种停留状态分析方法，用于通过信息处理装置，执行测量目标区域中的运动对象的停留频率并且生成将停留频率的分布状态可视化以显示在显示装置上的热图的处理，该方法包括:根据由于运动对象的行进线路中可能产生的丢失部分、多条位置信息可能包括误差的可能性程度，分类从运动对象检测装置获得的运动对象的多条位置信息；基于通过分类所分类的多条位置信息的至少两组，检测行进线路中的丢失部分的位置；生成基于检测的结果校正的、表示运动对象的停留频率的校正的分布信息；以及基于校正的分布信息，生成热图。
[0027]根据该结构，与根据本发明的第一方面的结构类似，即使在行进线路可能包括丢失部分的情况下，也能够通过适当的校正，生成高精度热图。
【附图说明】
[0028]现在，在下文中，参考附图，按照优选实施例，描述本发明，其中:
[0029]图1是示出根据本发明的实施例的停留状态分析系统的整体配置的图；
[0030]图2是示出商店中的摄像机I的示例性位置的平面图；
[0031]图3是示出由个人计算机(PC)3生成并且在监视器7上显示的分段热图的说明图；
[0032]图4是示意性地示出PC3的功能结构的框图；
[0033]图5是用于说明由PC3执行的停留状态分析处理的概述的说明图；
[0034]图6是示出由PC3执行的停留状态分析处理中的步骤的流程图；
[0035]图7是示出由PC3执行的停留状态分析处理中的步骤的流程图；
[0036]图8是用于说明由显著事件检测单元31执行的拥挤事件检测处理的概述的说明图；
[0037]图9是示出由显著事件检测单元31执行的拥挤事件检测处理中的步骤的流程图；
[0038]图10是用于说明由显著事件检测单元31执行的排队事件检测处理的概述的说明图；
[0039]图11是示出由显著事件检测单元31执行的排队事件检测处理中的步骤的流程图；
[0040]图12是用于说明在行进线路中产生丢失部分的行进线路丢失图案的示例的说明图；
[0041]图13是示出在导致多次计数的行进线路丢失图案的情况下，第一分布信息、第二分布信息和差别分布信息的说明图；
[0042]图14是示出在导致多次计数的行进线路丢失图案的情况下生成的热图的说明图；
[0043]图15是示出在导致丢失计数的行进线路丢失图案的情况下，第一分布信息、第二分布信息和差别分布信息的说明图；
[0044]图16是示出在导致丢失计数的行进线路丢失图案的情况下生成的热图的说明图；以及
[0045]图17是用于说明由PC3生成并且在监视器7上显示的点对点热图的说明图。
【具体实施方式】
[0046]在下文中，将参考附图，描述本发明的实施例。
[0047]图1是示出根据本发明的实施例的停留状态分析系统的整体配置的图。该停留状态分析系统设计用于零售店，诸如超市等等，以及包括摄像机1、记录器(图像存储装置)2、个人计算机(PC)(停留