监视系统、监视方法、监视程序、及记录介质的制作方法

监视系统、监视方法、监视程序、及记录介质的制作方法
【专利摘要】提供一种在登录人员列表中登录有大量人物的状况下也能够对商场内等高效地进行监视的监视系统。预先存储登录人员列表和作为登录人员列表的一部分的集合的监视对象列表，将由第一拍摄装置拍摄得到的图像中出现的人物与登录人员列表进行对照，将由其他的拍摄装置拍摄得到的图像中出现的人物与监视对象列表进行对照，由此能够减少对照处理中的处理负荷，从而能够防止处理时间的增大。
【专利说明】监视系统、监视方法、监视程序、及记录介质

【技术领域】
[0001]本发明涉及利用拍摄监视对象区域内得到的图像来对监视对象区域内进行监视的监视系统、监视方法、监视程序、及记录了该程序的记录介质。

【背景技术】
[0002]近年来，利用了脸部识别技术了监视系统逐渐得到普及。专利文献I所述的技术就是其一个例子。在这种监视系统中，预先将成为监视对象的人员的脸部特征量存储到存储部中，并在从监视摄像头输入的输入图像中检测出脸部区域，针对每个脸部区域提取特征量，对所提取的特征量和存储在存储部针对脸部特征量进行比较，通过对照来对成为监视对象的人员进行检测。
[0003]另外，利用多个拍摄装置来构成监视系统，由此不仅对一个场所进行监视，而是能够针对多个场所，检测成为监视对象的人员在何时存在于哪个场所，从而能够分析成为监视对象的人员的移动路线。
[0004]这种系统存在这样的优点，S卩，通过预先将成为监视对象的人员的脸部特征量作为脸部特征量列表存储到存储部中，不需监视员的视觉辨认也能够自动地进行监视业务的优点，因而不仅监视可疑人物，还用于对商场等中的优等客户的动向分析等。
[0005]然而，在这种系统中，随着成为监视对象的人员的增加，用于进行对照的对象的脸部特征量的量增大，导致对照处理所需的负荷及处理时间增大，因而解决该课题在实用上非常重要。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本特开2007-158421号公报


【发明内容】

[0009]本发明是鉴于这种课题而做出的，其目的在于，即使在可成为监视对象的人员大量存在的情况下也能够高效地进行对照处理。
[0010]为了达成上述目的，在本发明中采用在可成为监视对象的人员中限定于实际上成为监视对象的人员来进行监视的结构。
[0011]具体地讲，本发明的监视系统的特征在于，该监视系统包括:一个或多个第一拍摄装置，一个或多个第二拍摄装置，图像获取部，将由所述第一拍摄装置及所述第二拍摄装置拍摄得到的图像作为输入图像来进行导入，脸部特征量提取部，从所述输入图像中提取人物的脸部特征量，存储部，用于存储人物的脸部特征量的列表即脸部特征量列表，对照部，通过对脸部特征量列表内的脸部特征量和由所述脸部特征量提取部提取的脸部特征量进行比较，来判定输入图像中拍摄到的人员与脸部特征量列表内的人物是否是同一人物；所述存储部，用于存储第一脸部特征量列表和第二脸部特征量列表，所述第二脸部特征量列表是所述第一脸部特征量列表的一部分的集合或空集合；所述对照部，在所述输入图像是由所述第一拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，在所述输入图像是由所述第二拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照。
[0012]根据本发明的监视系统，包括第一脸部特征量列表和作为第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表这二种脸部特征量列表，将由第二拍摄装置拍摄得到的图像中出现的人物与第二脸部特征量列表进行对照(即，与比登录在第一脸部特征量列表中的特征量的数目更少的数目的特征量进行对照)。由此，针对由第二拍摄装置拍摄得到的图像中出现的人物，能够减少对照处理中的处理负荷，从而能够缩短对照所需的时间。
[0013]针对第二脸部特征量列表，可考虑各种作成方法。例如，本发明的监视系统可以还包括监视对象人员信息输入输出部；所述监视对象人员信息输入输出部，在所述输入图像是由所述第一拍摄装置拍摄得到的图像，而且根据对该输入图像中拍摄到的人员的脸部特征量和所述第一脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第一脸部特征量列表内的人物是同一人物的情况下，将该第一脸部特征量列表内的人物的脸部特征量登录到所述第二脸部特征量列表中。或者，本发明的监视系统可以还包括监视对象人员信息输入输出部；所述监视对象人员信息输入输出部，在所述输入图像是由所述第一拍摄装置拍摄得到的图像，并且根据对该输入图像中拍摄到的人员的脸部特征量和所述第一脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第一脸部特征量列表内的人物是同一人物，而且判断为与该第一脸部特征量列表内的人物相同的人物被包含在输入图像中的次数在规定次数以上的情况下，将该第一脸部特征量列表内的人物的脸部特征量登录到所述第二脸部特征量列表中。根据这样的结构，仅将通过特定场所或满足特定条件的人员的脸部特征量，从第一脸部特征量列表登录到第二脸部特征量列表中，由此能够动态地作成仅包含真正需要监视的人员的第二脸部特征量列表。
[0014]另外，本发明的监视系统可以还具有一个或多个第三拍摄装置；所述对照部，在所述输入图像是由所述第三拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照；所述监视对象人员信息输入输出部，根据对该输入图像中拍摄到的人员的脸部特征量和所述第二脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第二脸部特征量列表内的人物是同一人物的情况下，将该第二脸部特征量列表内的人物的脸部特征量从所述第二脸部特征量列表中删除。或者，所述监视对象人员信息输入输出部，在预先设定的时刻，删除所述第二脸部特征量列表内的全脸部特征量。根据这样的结构，能够将变得不需要监视的人员的脸部特征量从第二脸部特征量列表中删除，从而能够防止第二脸部特征量列表的数据数目的增大，由此能够防止对照所需的时间的增大。
[0015]另外，本发明还可以通过一种监视方法来实现，该监视方法用于在监视系统中使用，该监视系统包括第一脸部特征量列表和作为所述第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表，利用由对监视对象区域的一部分进行拍摄的拍摄装置拍摄得到的图像对该监视对象区域进行监视，该监视方法包括:将由拍摄装置拍摄得到的图像作为输入图像来进行导入的工序；从所述输入图像中提取人物的脸部特征量的工序；在所述输入图像是由满足规定条件的拍摄装置拍摄得到的图像的情况下，将从该输入图像中提取的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，而在所述输入图像是由满足规定条件的拍摄装置以外的拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照的工序。
[0016]另外，在这样实现的情况下，如下的监视方法也属于本发明的范围，其中，该监视方法还包括作成所述第二脸部特征量列表作为所述第一脸部特征量列表的一部分的集合的工序；特别地，如下的监视方法也属于本发明的范围，其中，在该监视方法中，在作成所述第二脸部特征量列表作为所述第一脸部特征量列表的一部分的集合的工序中，在所述输入图像是由满足规定条件的拍摄装置拍摄得到的图像，而且根据将该从输入图像中提取的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第一脸部特征量列表内的人物是同一人物的情况下，通过将该第一脸部特征量列表内的人物的脸部特征量登录到所述第二脸部特征量列表中，来作成所述第二脸部特征量列表作为所述第一脸部特征量列表的一部分的集合。
[0017]或者，本发明还能够通过以下二个程序来实现，第一个程序，使能够利用第一脸部特征量列表和作为所述第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表的计算机，执行以下步骤:将由拍摄装置拍摄得到的图像作为输入图像来进行导入的步骤；从所述输入图像中提取人物的脸部特征量的步骤；在所述输入图像是由满足规定条件的拍摄装置拍摄得到的图像的情况下，将从该输入图像中提取的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，而在所述输入图像是由满足规定条件的拍摄装置以外的拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照的步骤；第二个程序，使能够利用第一脸部特征量列表和作为所述第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表的计算机，执行以下步骤:导入由脸部特征量提取装置提取的脸部特征量的步骤；在所述脸部特征量提取装置与由满足规定条件的拍摄装置相连的情况下，将所述脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，而在所述脸部特征量提取装置与满足规定条件的拍摄装置以外的拍摄装置相连的情况下，将所述脸部特征量与所述第二脸部特征量列表内的各特征量进行对照的步骤。
[0018]进而，本发明也能够通过将上述程序非暂时性地记录到计算机能够读取的记录介质来实现。上述结构及各处理在技术上不矛盾的情况下能够相互组合来构成本发明。
[0019]根据本发明，即使在可成为监视对象的人员大量存在的情况下，也限定于实际上成为监视对象的人员来进行对照处理，因而能够减少对照处理中的处理负荷。

【专利附图】

【附图说明】
[0020]图1是示意性示出了本发明的第一实施方式的监视系统的功能结构的图。
[0021]图2是示出了利用通用的计算机来实现监视系统的情况的硬件结构的图。
[0022]图3是示出了第一实施方式的监视系统中的处理流程的流程图。
[0023]图4是示意性示出了第一实施方式中的监视结果列表的数据结构的图。
[0024]图5是示意性示出了本发明的第二实施方式的监视系统的功能结构的图。
[0025]图6是示出了第二实施方式的终端中的处理流程的流程图。
[0026]图7是示出了第二实施方式的监视装置中的处理流程的流程图。
[0027]图8是示意性示出了本发明的第三实施方式的监视系统的功能结构的图。
[0028]图9是示出了第三实施方式的监视系统中的处理流程的流程图。
[0029]图10是示意性示出了第三实施方式中的监视结果列表的数据结构的图。
[0030]图11是示出了登录人员列表及监视对象列表的数据结构的例子的图。
[0031]图12是示出了登录人员列表及监视对象列表的另一数据结构的例子的图。
[0032]附图标记的说明
[0033]I监视系统
[0034]2摄像头
[0035]5监视系统
[0036]8监视系统
[0037]10监视装置
[0038]11图像获取部
[0039]12脸部检测部
[0040]13特征量提取部
[0041]14对照部
[0042]15输入输出部
[0043]20存储装置
[0044]21登录人员列表
[0045]22监视对象列表
[0046]23监视结果列表
[0047]30警报装置
[0048]40显示装置
[0049]41 CPU
[0050]42 ROM
[0051]43 RAM
[0052]44 HDD
[0053]45 键盘
[0054]46 鼠标
[0055]47监视器
[0056]48 CD-ROM 驱动装置
[0057]49 通信 IF
[0058]50监视装置
[0059]51对照部
[0060]52输入输出部
[0061]60 终端
[0062]61图像获取部
[0063]62脸部检测部
[0064]63特征量提取部
[0065]64输入输出部
[0066]70存储装置
[0067]71登录人员列表
[0068]72监视对象列表
[0069]73监视结果列表
[0070]80监视装置
[0071]81图像获取部
[0072]82脸部检测部
[0073]83特征量提取部
[0074]84对照部
[0075]85输入输出部
[0076]90存储装置
[0077]91登录人员列表(DB)
[0078]92监视对象列表(DB)
[0079]93监视结果列表(DB)

【具体实施方式】
[0080]下面，参照附图，说明本发明的优选的实施方式。
[0081]<第一实施方式>
[0082](系统结构)
[0083]图1是示意性示出了本发明的第一实施方式的监视系统的功能结构的图。监视系统I是这样的系统，即，利用在商场或机场等设施内设置的监视摄像头，来监视设施内是否闯入有可疑人员，并且监视可疑人员存在于设施内的何处，由此根据需要向管理人员警示的系统。在本实施方式中，利用在分别有一个入口和一个出口的商场中导入了监视系统I的例子来进行说明。
[0084]监视系统I包括多个摄像头2、监视装置10、存储装置20、警报装置30及显示装置40。
[0085]摄像头2由数码视频摄像机或数字静态照相机构成。在本实施方式中，监视装置10上连接有五台摄像头2。另外，用Cl?C5来区分各摄像头的ID，并假设摄像头Cl设在入口，摄像头C5设在出口，摄像头C2?C4设在商场内的不同的销售区。
[0086]监视装置10例如能够由通用的个人计算机构成。利用了通用的个人计算机的情况的监视装置10的硬件结构图，如图2的示意性示出那样采用通过总线连接了 CPU(中央计算处理装置)41、ROM (Read-Only Memory:只读存储器)42、RAM (Random Access Memory:随机存取存储器)43、HDD (Hard Disk Drive:硬盘驱动器)44、各种输入装置、等的结构。此时，显示装置40还可兼做监视器47来使用。
[0087]如图1所示，监视装置10具有图像获取部11、脸部检测部12、特征量提取部13、对照部14、输入输出部15这样的各功能要素。在利用通用的个人计算机实现监视装置10的情况下，图1所示的各功能要素通过由CPU41执行监视系统应用程序并适宜控制R0M42、RAM43等来实现。其中，这些功能要素的全部或一部分也可以利用专用的芯片(逻辑电路)来构成。另外，除了利用一个计算机来构成，还可以利用多个计算机的组合或通过云计算来监视装置10及监视系统I。
[0088]图像获取部11实现从摄像头一起导入摄像头的ID和该摄像头拍摄得到的图像的功能。
[0089]脸部检测部12实现从由图像获取部11导入的图像(输入图像)中检测出脸部的功能。关于从图像中检测出脸部的方法，已提出了基于模板匹配的方法、利用亮度的渐变信息的方法、等各种方法，但可利用任意的方法。
[0090]特征量提取部13实现针对由脸部检测部12检测出的每个脸部计算用于定义各脸部的特征的特征量的功能。特征量是指，在拍摄图像中所含的人物的脸部中，对能够确认脸部整体、眼，鼻，口的部位的信息进行量化的数据。作为特征量的例子，可例举对亮度信息、频率特性信息、上述各部位的形状、位置、大小等进行数字化得到的信息等。
[0091]对照部14是实现这样的功能，即，通过对由特征量提取部13计算出的特征量和登录在后述的登录人员列表21或监视对象列表22中的对象人员的脸部特征量进行比较，来对输入图像中拍摄到的人物和登录在列表中的人物是否是同一人物进行评价的功能。
[0092]输入输出部15是实现这样的功能，即，通过与存储在后述的存储装置20中的各列表进行通信，来读取来自各列表的信息或向各列表写入信息，并且将从各列表中读取的信息发送至对照部14的功能。
[0093]存储装置20可以通过文件服务器、NAS (Network Attached Storage:网络连接存储器)这样的形式来实现，还可以在由通用计算机实现监视装置10的情况下将内置的HDD44用作存储装置20。另外，存储装置20并不限定于由一个HDD等构成的结构，还可以利用多个HDD等来构成存储装置20。
[0094]在存储装置20内，实现登录人员列表21及监视对象列表22、监视结果列表23这三个列表。
[0095]登录人员列表21是保存了可成为监视对象的人员的脸部特征量的列表。在本实施方式中，可疑人员及过去制造过麻烦的人员的脸部特征量与登录人员ID—同保存在登录人员列表21中。
[0096]监视对象列表22是在监视过程中的某个时间点保存了可认为在该时间点存在于商场内的登录人员的脸部特征量的列表，在初始状态下监视对象列表22处于空的状态。在监视开始后，将由设在入口的摄像头Cl拍摄得到的登录人员的数据(脸部特征量)，从登录人员列表21复制(登录)到监视对象列表22中，另外，在由设在出口的摄像头C5拍摄到该登录人员的情况下，将该登录人员的数据从监视对象列表22中删除。在后面详细说明对监视对象列表22的数据的登录及删除。
[0097]在本实施方式中，将登录人员列表21及监视对象列表22，如图1lA及图1lB示出那样作为不同的二个列表来进行说明，但例如如图12示出那样，还能够作为一个列表来实现，即，将列表内的所有数据作为登录人员列表21，而将设有监视对象标志的数据作为监视对象列表22，由此以假定的方式实现。
[0098]监视结果列表23是保存对商场内进行监视的结果的列表。结果的记录方法是任意的，但例如能够以如图4那样的形式，与实施了对照处理的日期及时间一同记录进行对照的结果所检测出的人员的ID、摄像头ID及根据摄像头ID推测出的对象人员所在的场所或行动。
[0099]警报装置30例如由旋转灯、警笛等构成，是用于利用光或声响来向警务员等报知在商场内发生了某种事态的装置。在本实施方式中，警报装置30由警笛构成。
[0100]显示装置40例如由液晶监视器等构成，用于使警务员等确认对店内的监视结果。作为显示到显示装置40上的内容，可以依次显示从摄像头Cl?C5导入的图像，也可以显示由警务员等指定的监视对象人员的移动路线，还可以显示监视结果列表23的内容。
[0101](监视处理)
[0102]下面，参照图3的流程图，说明监视系统I中的监视处理。
[0103]若监视开始，则首先对摄像头参照用的变量i进行初始化(步骤S301)。接着，判定摄像头Ci是否是设在入口的摄像头(步骤S302)。在摄像头Ci是设在入口的摄像头时(步骤S302:“是”)，图像获取部11从摄像头Ci导入图像(步骤S303)。
[0104]将所导入的图像发送至脸部检测部12，并由脸部检测部12对该图像进行脸部检测处理(步骤S304)。如前述那样，对脸部的检测可利用已有的任何方法来进行。
[0105]在从所导入的图像中未检测出脸部的情况下(步骤S305 否”)，跳过此后的脸部对照处理，并将摄像头参照用的变量i更新为下一个值(步骤S310?S312)。另一方面，在从所导入的图像中检测出了脸部的情况下(步骤S305 是”)，接着针对所检测出的每个脸部提取特征量(步骤S306)。
[0106]接着，对所提取的特征量，与登录人员列表21进行对照处理(步骤S307)。S卩，判定所检测出的每个脸部是否是登录在登录人员列表21中的某一个人物。
[0107]在该对照处理中，在判定为所检测出的脸部中的某一个脸部是登录在登录人员列表21中的某一个登录人员的情况下，将该登录人员的脸部特征量从登录人员列表21复制(登录)到监视对象列表22中(步骤S308)。并且，将该登录人员通过了入口的信息记录到监视结果列表23中(步骤S309)。在执行步骤S309时，还可以根据需要，通过起动警报装置30或在显示装置40上进行某种显示等，来向设施的管理人员进行报知。
[0108]若对从输入图像中提取的所有的脸部进行了对照处理，则对变量i加1，并在i超过了摄像头数的情况下对i进行初始化(步骤S310?步骤S312)，并返回步骤S302。
[0109]另一方面，在摄像头Ci不是设在入口的摄像头的情况下(步骤S302 否”)，首先检查登录在监视对象列表22中的人物是否存在(步骤S320)，在登录在监视对象列表22中的人物不存在的情况下(步骤S320 否”)，跳过此后的处理。登录在监视对象列表22中的人物不存在的情况是因为可认为成为监视对象的人物不存在于店内。
[0110]在登录在监视对象列表22中的人物存在的情况下(步骤S320:“是”)，从摄像头Ci导入图像(步骤S321)，并对该图像进行脸部检测(步骤S322)，在检测出了脸部的情况下(步骤S323 是”)，提取每个脸部的脸部特征量(步骤S324)。该步骤S321?步骤S324的处理与前述的步骤S303?步骤S306的处理相同，因而省略详细说明。
[0111]接着，对所提取的特征量，与监视对象列表22进行对照处理(步骤S325)。S卩，判定所检测出的每个脸部是否是登录在监视对象列表22中的某一个监视对象人员。
[0112]在该对照处理中，在判定为所检测出的脸部中的某一个脸部是登录在监视对象列表22中的某一个监视对象人员的情况下，判定摄像头Ci是否是设在出口的摄像头(步骤S326)，在不是设在出口的摄像头的情况下(步骤S326 否”)，将由摄像头Ci拍摄到该监视对象人员的信息，记录到监视结果列表23中(步骤S328)。另外，在摄像头Ci是设在出口的摄像头的情况下(步骤S326 是”)，认为该监视对象人员是被设在出口的摄像头拍摄到的，即认为该监视对象人员已退出了商场，因而将该监视对象人员的脸部特征量从监视对象列表22中删除(步骤S327)，并将该监视对象人员退场的信息，记录到监视结果列表23中(步骤S328)。另外，与步骤S309同样地，在执行步骤S328时，还可以根据需要，通过起动警报装置30或在显示装置40上进行某种显示等，来向设施的管理人员进行报知。
[0113]若对从输入图像中提取的所有的脸部进行了对照处理，则对变量i加1，并在i超过了摄像头数的情况下对i进行初始化(步骤S310?步骤S312)，并返回步骤S302。
[0114]如上所述，根据本实施方式的监视系统1，仅对从利用特定的摄像头(在本实施方式中，是摄像头Cl)拍摄得到的图像中提取的特征量，与登录在登录人员列表21中的全部登录人员进行对照，而对从利用其它的摄像头拍摄得到的图像中提取的特征量，仅与登录在作为复制保存了登录人员列表21的一部分数据的(即，是登录人员列表21的一部分的集合)监视对象列表22中的监视对象人员进行对照，因而能够减少对照处理所需的处理负荷。另外，根据本实施方式的监视系统1，将在利用特定的摄像头(在本实施方式中，是摄像头Cl)拍摄得到的图像中出现而且已登录在登录人员列表21中的人员的数据，自动地登录(复制)到监视对象列表22中，另外，将在利用特定的摄像头(在本实施方式中，是摄像头C5)拍摄得到的图像中出现而且已登录在监视对象列表22中的人员的数据，自动地从监视对象列表22中删除，因而能够动态地构成监视对象列表22，因而不需要人工维护监视对象列表22，从而能够实现监视业务的自动化。
[0115]<第二实施方式>
[0116](系统结构)
[0117]图5是示意性示出了本发明的第二实施方式的监视系统的功能结构的图。第二实施方式的监视系统5包括监视装置50、多个终端60及存储装置70，各终端与监视装置经由网络相连。
[0118]在本实施方式中，与第一实施方式同样地，利用在分别有一个入口和一个出口的商场中导入了监视系统5的例子来进行说明。另外，监视系统5具有五台终端60，将各终端的终端ID分别设定为Dl?D5，将终端Dl设在入口，将终端D5设在出口，将终端D2?D4设在商场内的不同的销售区。
[0119]终端60分别与各摄像头2相连。与第一实施方式同样地，摄像头2由数码视频摄像机或数字静态照相机构成。另外，终端60具有图像获取部61、脸部检测部62、特征量提取部63、输入输出部64这样的各功能要素。其中，图像获取部61、脸部检测部62、特征量提取部63的功能及动作与第一实施方式中的图像获取部11、脸部检测部12、特征量提取部13的功能及动作同样，因而省略说明。
[0120]输入输出部64实现根据来自监视装置50的请求来将由特征量提取部63提取的特征量依次与终端ID —同向监视装置50送出(发送)的功能。
[0121]另一方面，监视装置50的输入输出部52接收从各终端60送出的(发送来的)特征量及终端ID，并将其发送至对照部51。另外，输入输出部52根据终端ID，在终端ID表示设在入口的终端的情况下，从存储装置70调出登录人员列表71的数据并将其发送至对照部51，而在该终端ID表示其他的终端的情况下，从存储装置70调出监视对象列表72的数据并将其发送至对照部51。该对照处理的在后面详细说明。
[0122](对照处理)
[0123]下面，参照图6及图7的流程图，说明监视系统5中的监视处理。
[0124]图6是说明各终端Di (i = I?5)中的对照处理的流程图。
[0125]若监视开始，则各终端Di等待来自监视装置50的请求(步骤S601)。
[0126]在接收到来自监视装置50的特征量的送出(发送)请求的情况下，各终端Di从摄像头2导入图像(步骤S602)，并对所导入的图像进行脸部检测处理(步骤S603)，在检测出了脸部的情况下(步骤S604 是”)，对所检测出的各脸部进行特征量的提取处理(步骤S605)。步骤S603及步骤S605中的处理与第一实施方式中的步骤S304及步骤S306中的处理同样，因而省略详细说明。
[0127]若对所检测出的所有的脸部特征量的提取处理结束，则终端Di经由输入输出部64 一起送出(发送)终端的ID和特征量(步骤S606)，并再次进入待机状态。
[0128]另一方面，在未检测出脸部的情况下(步骤S604:“否”)，终端Di经由输入输出部64 —起送出(发送)终端的ID和未检测出脸部的信息(步骤S607)，并再次进入待机状态。
[0129]图7是监视装置50中的监视处理的流程图。
[0130]若监视开始，则首先对终端参照用的变量i进行初始化(步骤S701)。接着，判定终端Di是否是设在入口的终端(步骤S702)。
[0131]在终端Di是设在入口的终端时(步骤S702 是”)，输入输出部52向终端Di请求特征量的送出(发送)(步骤S703)。在由输入输出部52接收的信息中未含有特征量的情况下(步骤S704 否”)，跳过此后的对照处理。
[0132]在由输入输出部52从终端Di接收的信息中含有特征量的情况下(步骤S704:“是”)，对该每个特征量与登录在登录人员列表71中的各登录人员的特征量进行比较(步骤S705)。S卩，判定表示送出的(发送来的)每个特征量的人物是否是登录在登录人员列表71中的某一个人物。
[0133]在步骤S705的对照处理中，在判定为表示送出的(发送来的)特征量的某一个人物是登录在登录人员列表71中的某一个登录人员的情况下，将该登录人员的脸部特征量复制(登录)到监视对象列表72中(步骤S706)。另外，将该登录人员通过了入口的信息，记录到监视结果列表73中(步骤S707)。在执行步骤S707时，还可以根据需要，通过起动警报装置30或在显示装置40上进行某种显示等，来向设施的管理人员进行报知。
[0134]若对从终端Di送出的(发送来的)所有的特征量进行了对照处理，则对变量i加1，并在i超过了终端个数的情况下对i进行初始化(步骤S708?步骤S710)，并返回步骤S702。
[0135]另一方面，在终端Di不是设在入口的终端的情况下(步骤S702 否”)，首先检查登录在监视对象列表72中的人物是否存在(步骤S720)，在登录在监视对象列表72中的人物不存在的情况下(步骤S720 否”)，跳过此后的处理。登录在监视对象列表72中的人物不存在的情况是因为可认为成为监视对象的人物不存在于店内。
[0136]在登录在监视对象列表72中的人物不存在的情况下(步骤S720 是”)，输入输出部52向终端Di请求特征量的送出(发送)(步骤S721)。
[0137]接着，对由输入输出部52接收的特征量，与监视对象列表72进行对照处理(步骤
5723)。即，判定所检测出的每个脸部是否是登录在监视对象列表72中的某一个监视对象人员。
[0138]在该对照处理中，在判定为所检测出的脸部中的某一个脸部是登录在监视对象列表72中的某一个监视对象人员的情况下，判定终端Di是否是设在出口的终端(步骤
5724)，在不是设在出口的终端的情况下(步骤S724否”)，将该监视对象人员被与终端Di相连的摄像头拍摄到的信息，记录到监视结果列表73中(步骤S726)。另外，在终端Di是设在出口的终端的情况下(步骤S724 是”)，认为该监视对象人员是被设在与出口的终端Di相连的摄像头拍摄到的，即认为该监视对象人员已退出了商场，因而将该监视对象人员的数据从监视对象列表72中删除(步骤S725)，并将该监视对象人员退场的信息，记录到监视结果列表73中(步骤S726)。另外，与步骤S707同样地，在执行步骤S726时，还可以根据需要，通过起动警报装置30或在显示装置40上进行某种显示等，来向设施的管理人员进行报知。
[0139]若对从输入图像中提取的所有的脸部进行了对照处理，则对变量i加1，并在i超过了摄像头数的情况下进行对i初始化(步骤S708?步骤S710)，并返回步骤S702。
[0140]如上所述，根据本实施方式的监视系统5，仅对从特定的摄像头(在本实施方式中，与终端Dl相连的摄像头)拍摄得到的图像下提取的特征量，与登录在登录人员列表71中的全部登录人员进行对照，而对从利用其它的摄像头拍摄得到的图像中提取的特征量，仅与登录在作为复制保存了登录人员列表71的一部分数据的(即，是登录人员列表71的一部分的集合)监视对象列表72中的监视对象人员进行对照，因而能够减少对照处理所需的处理负荷。另外，与第一实施方式同样地，根据本实施方式的监视系统5，将在利用特定的摄像头(在本实施方式中，是与终端Dl相连的摄像头)拍摄得到的图像中出现而且已登录在登录人员列表71中的人员的数据，自动地登录(复制)到监视对象列表72中，另外，将在利用特定的摄像头(在本实施方式中，是与终端D5相连的摄像头)拍摄得到的图像中出现而且已登录在监视对象列表72中的人员的数据自动地从监视对象列表72中删除，因而能够动态地构成监视对象列表72，因而不需要人工维护监视对象列表72，从而能够实现监视业务的自动化。
[0141]另外，在本实施方式中，采用了经由网络连接多个终端60的结构，因而优选适用于大规模的设施或连锁店等中。
[0142]<变形例>
[0143]在上述的二个实施方式中，存储装置20及存储装置70分别与监视装置10及监视装置50直接相连，但也可以经由网络相连。
[0144]另外，在上述的二个实施方式中，将利用设在出口的摄像头拍摄得到的人员的信息从监视对象列表22或监视对象列表72中删除，但也可以省略该结构，例如也可以从不被所有的摄像头拍摄后开始经过了一定时间的情况下将该人物的脸部特征量从监视对象列表22或监视对象列表72中删除，还可以在规定的时刻(例如关店时)消除监视对象列表22或监视对象列表72的全部数据。
[0145]<第三实施方式>
[0146](系统结构)
[0147]图8是示意性示出了本发明的第三实施方式的监视系统的功能结构的图。监视系统8是利用设在商场等设施内的监视摄像头来监视优等客户存在于设施内的何处的系统。
[0148]监视系统8包括多个摄像头2、监视装置80、存储装置90及显示装置40。
[0149]与第一实施方式及第二实施方式同样地，摄像头2由数码视频摄像机或数字静态照相机构成。在本实施方式中，监视装置80与五台摄像头2相连。另外，利用Cl?C5区分各摄像头的ID，摄像头Cl用于确定来店者，摄像头C2?C5用于监视优等客户，这些摄像头C2?C5设在各商场内的不同的销售区。其中，摄像头Cl也可以设置于与摄像头C2?C5中的某个摄像头相同的场所(例如，入口或收银台等)。
[0150]与第一实施方式及第二实施方式同样地，监视装置80例如能够由通用的个人计算机构成。利用通用的个人计算机的情况的监视装置80的硬件结构与第一实施方式中的图2同样，因而省略说明。
[0151]如图8所示，监视装置80包括图像获取部81、脸部检测部82、特征量提取部83、对照部84、输入输出部85这些各功能要素。图像获取部81、脸部检测部82、特征量提取部83、对照部84及输入输出部85的功能分别是与第一实施方式中的图像获取部11、脸部检测部12、特征量提取部13、对照部14及输入输出部15的功能同样的功能，因而省略说明。
[0152]存储装置90的硬件结构与在第一实施方式中说明的存储装置20的硬件结构同样。
[0153]在存储装置90内实现有登录人员列表91、监视对象列表92、监视结果列表93这三个列表。
[0154]登录人员列表91是保存了可成为监视对象的人员的脸部特征量的列表。在本实施方式中，在登录人员列表91中一同保存有来过商场的全部人员的脸部特征量、登录人员ID、来店次数及最终来店日。
[0155]监视对象列表92是在监视过程中的某个时间点保存了在该时间点可认为是优等客户的登录人员的脸部特征量的列表，在初始状态下监视对象列表92处于空的状态。在监视开始后，将既是摄像头Cl拍摄得到的登录人员又是满足规定条件的登录人员的数据作为优等客户数据，从登录人员列表91复制(登录)到监视对象列表92中。在后面详细说明对监视对象列表92的数据的登录及删除。
[0156]监视结果列表93是用于保存对商场内监视的结果的列表。结果的记录方法可采用任意方法，但在本实施方式中，以如图10所示的形式，一同记录实施了对照处理的日期及时间、进行对照的结果所检测出的人员的ID、摄像头ID及从摄像头ID推测到的对象人员所在的场所。
[0157]显示装置40例如由液晶监视器等构成，用于使店员等确认店内监视的结果。作为显示到显示装置40上的内容，可以依次显示从摄像头Cl?C5导入的图像，可以显示由店员等指定的监视对象人员的移动路线，还可以显示监视结果列表93的内容。
[0158](监视处理)
[0159]下面，参照图9的流程图，说明监视系统8中的监视处理。
[0160]若监视开始，则首先对摄像头参照用的变量i进行初始化(步骤S901)。接着，判定摄像头Ci是否是来店者确定用摄像头(步骤S902)。在摄像头Ci是来店者确定用摄像头时(步骤S902 是”)，图像获取部81 j从摄像头Ci导入图像(步骤S903)。
[0161]将所导入的图像发送至脸部检测部82，并由脸部检测部82对该图像进行脸部检测处理(步骤S904)。
[0162]在从所导入的图像中未检测出脸部的情况下(步骤S905 否”)，跳过此后的脸部对照处理，并将摄像头参照用的变量i更新为下一个值(步骤S912?S915)。另一方面，在所导入的图像中检测出了脸部的情况下(步骤S905 是”)，接着，对所检测出的脸部中的一个脸部进行特征量的提取(步骤S906)。
[0163]接着，对从该脸部提取的特征量，与登录人员列表91进行对照处理(步骤S907)。即，判定该脸部是否是登录在登录人员列表91中的某一个人物。
[0164]在该对照处理中，判定为该脸部是登录在登录人员列表91中的某一个登录人员的脸部(步骤S908:“是”)而且最终来店日不是当天的情况下，对该登录人员的来店次数加I (步骤S909)。在该登录人员的来店次数达到10次的情况下，将该登录人员的脸部特征量从登录人员列表91复制(登录)到监视对象列表92中(步骤S910)。
[0165]另一方面，在对照处理中，判定为该脸部不是登录在登录人员列表91中的任一登录人员的情况下(步骤S908 否”)，将该脸部的脸部特征量登录到登录人员列表91中，并将来店次数设定为I (步骤S911)。
[0166]如对从输入图像中提取的所有的脸部进行了对照处理(步骤S912 是”)，则对变量i加1，并在i超过了摄像头数的情况下对i进行初始化(步骤S913?步骤S915)，并返回步骤S902。
[0167]另一方面，在摄像头Ci不是来店者确定用摄像头的情况下(步骤S902 否”)，首先检查登录在监视对象列表92中的人物是否存在(步骤S920)，在登录在监视对象列表92中的人物不存在的情况下(步骤S920 否”)，跳过此后的处理。登录在监视对象列表92中的人物不存在的情况是因为可认为成为监视对象的优等客户还不存在。
[0168]在登录在监视对象列表92中的人物存在的情况下(步骤S920:“是”)，从摄像头Ci导入图像(步骤S921)，并对该图像进行脸部检测(步骤S922)，在检测出了脸部的情况下(步骤S923 是”)，提取每个脸部的脸部特征量(步骤S924)。该步骤S921?步骤S924的处理与第一实施方式中的步骤S303?步骤S306的处理相同，因而省略详细说明。
[0169]接着，对所提取的特征量，与监视对象列表92进行对照处理(步骤S925)。S卩，判定所检测出的每个脸部是否是登录在监视对象列表92中的某一个监视对象人员。
[0170]在该对照处理中，在判定为所检测出的脸部中的某一个脸部是登录在监视对象列表92中的某一个监视对象人员的情况下，将该监视对象人员被摄像头Ci拍摄到的信息，记录到监视结果列表93中(步骤S926)。
[0171]若对从输入图像中提取的所有的脸部进行了对照处理，则对变量i加1，并在i超过了摄像头数的情况下对i进行初始化(步骤S912?步骤S915)，并返回步骤S902。
[0172]如上所述，根据本实施方式的监视系统8，仅对从利用特定的摄像头(在本实施方式中，是摄像头Cl)拍摄得到的图像中提取的特征量，与登录在登录人员列表91中的全部登录人员进行对照，而对从其他的摄像头拍摄得到的图像中提取的特征量，仅与登录在作为复制保存了登录人员列表91的一部分数据的(即，是登录人员列表91的一部分的集合)监视对象列表92中的监视对象人员进行对照，因而能够减少对照处理所需的处理负荷。
[0173]另外，在本实施方式中，仅将来店次数达到了规定次数的人员登录到监视对象列表92中，而且不删除监视对象列表92的脸部特征量，但在某种条件也能够删除监视对象列表92的脸部特征量。例如，也可以将从最终来店日开始经过的天数(即，未来店的天数)成为在规定天数以上的人员的数据，从监视对象列表92中删除。
[0174]进而，在本实施方式中，将来店次数达到规定次数的人员自动地登录到监视对象列表92中，但也可以由店员等手动地从登录人员列表91(即，所有的来店者的列表)中将脸部特征量登录到监视对象列表92中。
【权利要求】
1.一种监视系统，利用拍摄监视对象区域内得到的图像来对监视对象区域内进行监视，该监视系统的特征在于， 该监视系统包括: 一个或多个第一拍摄装置， 一个或多个第二拍摄装置， 图像获取部，将由所述第一拍摄装置及所述第二拍摄装置拍摄得到的图像作为输入图像来进行导入， 脸部特征量提取部，从所述输入图像中提取人物的脸部特征量， 存储部，用于存储人物的脸部特征量的列表即脸部特征量列表， 对照部，通过对脸部特征量列表内的脸部特征量和由所述脸部特征量提取部提取的脸部特征量进行比较，来判定输入图像中拍摄到的人员与脸部特征量列表内的人物是否是同一人物； 所述存储部，用于存储第一脸部特征量列表和第二脸部特征量列表，所述第二脸部特征量列表是所述第一脸部特征量列表的一部分的集合或空集合； 所述对照部，在所述输入图像是由所述第一拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，在所述输入图像是由所述第二拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照。
2.如权利请求I所述的监视系统，其特征在于， 还包括监视对象人员信息输入输出部； 所述监视对象人员信息输入输出部，在所述输入图像是由所述第一拍摄装置拍摄得到的图像，而且根据对该输入图像中拍摄到的人员的脸部特征量和所述第一脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第一脸部特征量列表内的人物是同一人物的情况下，将该第一脸部特征量列表内的人物的脸部特征量登录到所述第二脸部特征量列表中。
3.如权利请求I所述的监视系统，其特征在于， 还包括监视对象人员信息输入输出部； 所述监视对象人员信息输入输出部，在所述输入图像是由所述第一拍摄装置拍摄得到的图像，并且根据对该输入图像中拍摄到的人员的脸部特征量和所述第一脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第一脸部特征量列表内的人物是同一人物，而且判断为与该第一脸部特征量列表内的人物相同的人物被包含在输入图像中的次数在规定次数以上的情况下，将该第一脸部特征量列表内的人物的脸部特征量登录到所述第二脸部特征量列表中。
4.如权利请求2或3所述的监视系统，其特征在于， 还具有一个或多个第三拍摄装置； 所述对照部，在所述输入图像是由所述第三拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对眧.所述监视对象人员信息输入输出部，根据对该输入图像中拍摄到的人员的脸部特征量和所述第二脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第二脸部特征量列表内的人物是同一人物的情况下，将该第二脸部特征量列表内的人物的脸部特征量从所述第二脸部特征量列表中删除。
5.如权利请求2或3所述的监视系统，其特征在于， 所述监视对象人员信息输入输出部，在预先设定的时刻，删除所述第二脸部特征量列表内的全脸部特征量。
6.一种监视方法，用于在监视系统中使用，该监视系统包括第一脸部特征量列表和作为所述第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表，利用由对监视对象区域的一部分进行拍摄的拍摄装置拍摄得到的图像对该监视对象区域进行监视，该监视方法的特征在于， 该监视方法包括: 将由拍摄装置拍摄得到的图像作为输入图像来进行导入的工序； 从所述输入图像中提取人物的脸部特征量的工序； 在所述输入图像是由满足规定条件的拍摄装置拍摄得到的图像的情况下，将从该输入图像中提取的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，而在所述输入图像是由满足规定条件的拍摄装置以外的拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照的工序。
7.如权利请求6所述的监视方法，其特征在于， 还包括作成所述第二脸部特征量列表作为所述第一脸部特征量列表的一部分的集合的工序。
8.如权利请求7所述的监视方法，其特征在于， 在作成所述第二脸部特征量列表作为所述第一脸部特征量列表的一部分的集合的工序中，在所述输入图像是由满足规定条件的拍摄装置拍摄得到的图像，而且根据将该从输入图像中提取的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照的结果而判断为该输入图像中拍摄到的人员与所述第一脸部特征量列表内的人物是同一人物的情况下，通过将该第一脸部特征量列表内的人物的脸部特征量登录到所述第二脸部特征量列表中，来作成所述第二脸部特征量列表作为所述第一脸部特征量列表的一部分的集合。
9.一种程序，其特征在于， 使能够利用第一脸部特征量列表和作为所述第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表的计算机，执行以下步骤: 将由拍摄装置拍摄得到的图像作为输入图像来进行导入的步骤； 从所述输入图像中提取人物的脸部特征量的步骤； 在所述输入图像是由满足规定条件的拍摄装置拍摄得到的图像的情况下，将从该输入图像中提取的脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，而在所述输入图像是由满足规定条件的拍摄装置以外的拍摄装置拍摄得到的图像的情况下，将该输入图像中拍摄到的人员的脸部特征量与所述第二脸部特征量列表内的各特征量进行对照的步骤。
10.一种程序，其特征在于， 使能够利用第一脸部特征量列表和作为所述第一脸部特征量列表的一部分的集合或空集合的第二脸部特征量列表的计算机，执行以下步骤: 导入由脸部特征量提取装置提取的脸部特征量的步骤； 在所述脸部特征量提取装置与由满足规定条件的拍摄装置相连的情况下，将所述脸部特征量与所述第一脸部特征量列表内的各特征量进行对照，而在所述脸部特征量提取装置与满足规定条件的拍摄装置以外的拍摄装置相连的情况下，将所述脸部特征量与所述第二脸部特征量列表内的各特征量进行对照的步骤。
11.一种计算机能够读取的记录介质，其特征在于， 记录了如权利请求9或10所述的程序。
【文档编号】H04N5/76GK104519316SQ201410486582
【公开日】2015年4月15日 申请日期:2014年9月22日 优先权日:2013年10月8日
【发明者】门田芳人, 古田圣月, 田中清明 申请人:欧姆龙株式会社