信息处理装置、信息处理方法及存储介质与流程

本发明涉及一种信息处理装置、信息处理方法以及存储用于进行信息处理方法的程序的存储介质。

背景技术：

传统上，已知有通过从监控视频图像的各个帧中检索人物的面部来检测迷途儿童(即，走失的儿童)和/或漏乘乘客(即，错过火车等的乘客)的技术。日本特开2013-153304号公报公开了如下技术：从监控视频图像的各个帧中检测人物的面部，根据检测到的面部计算图像特征，将计算出的图像特征与视频图像的帧相关联地存储在db(数据库)中，并且通过例如使用迷途儿童的面部作为查询来从db检索迷途儿童的视频图像。此外，日本特开2014-215747号公报公开了如下技术：事先对要检测的人物的面部进行登记，然后从输入视频图像中实时地检测此人。

然而，在日本特开2013-153304号公报中公开的技术中，要对在发出查询时的时间点已经存储并累积在db中的视频图像进行检索。然而，无法从相关时间点之后获得的视频图像中检索目标人物(即，作为目标的人物)。因此，该技术不能向用户通知迷途儿童和/或漏乘乘客的当前行踪以确保他们的安全。此外，在日本特开2014-215747号公报公开的技术中，当从发出查询时的时间点之前的视频图像中追溯地检索人物时，处理速度降低。因此，为了确保迷途儿童和/或失踪乘客的安全，日本特开2014-215747号公报中的技术不足。

鉴于如上所述的这些问题完成了本发明，本发明的目的是在不降低处理速度的情况下从过去连续地检索人物。

技术实现要素：

因此，根据本发明，提供一种信息处理装置，其特征在于包括：接受单元，被构造为接受对目标人物的检索指令；第一检索单元，被构造为基于从在检索指令的接受时间点之前从摄像单元输入的并存储在存储单元中的视频图像中提取的人物的特征、以及从与检索指令相关的目标人物中提取的特征，进行从存储在所述存储单元中的视频图像中检索目标人物的第一检索处理；以及第二检索单元，被构造为基于从在接受时间点之后从摄像单元输入的视频图像中提取的人物的特征、以及从与检索指令相关的查询图像中提取的目标人物的特征，进行从在接受时间点之后输入的视频图像中检索目标人物的第二检索处理，其中所述第一检索单元对在如下时段期间输入的视频图像进行第一检索处理：从接受时间点到当完成由第二检索单元进行的第二检索处理的准备并且开始第二检索处理时的时间。

通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是用于描述根据第一实施例的监视(监控)系统的图。

图2是用于描述信息处理装置的软件构造的图。

图3是用于描述视频图像记录处理的流程图。

图4a和图4b是第一检索处理和第二检索处理的说明图。

图5是用于描述检索处理的流程图。

图6是用于描述根据第二实施例的检索处理的流程图。

图7是用于描述根据第三实施例的检索处理的流程图。

图8是用于描述根据第四实施例的检索处理的流程图。

图9是用于描述根据第五实施例的检索处理的流程图。

图10是用于描述根据第七实施例的居民检索处理的流程图。

图11是用于描述根据第七实施例的检索处理的流程图。

具体实施方式

下文将参照附图详细描述本发明的优选实施例。

(第一实施例)

图1是用于描述根据第一实施例的监视(监控)系统的图。监视系统包括信息处理装置100和用作摄像单元的照相机112，并且检索被指定为查询的人物。在图1中，虽然人物检测系统包括三个照相机112的情况是示例性的，但是照相机112的数量不限于在实施例中所描述的数量。信息处理装置100和照相机112经由网络111彼此连接。

cpu101是控制整个信息处理装置100的中央处理单元。rom102是其中存储不需要进行任何修改的程序和参数的只读存储器。ram103是在其中临时地存储从外部设备等供给的程序和数据的随机存取存储器。外部存储设备104是诸如硬盘、存储卡等固定地安装在信息处理装置100中的存储设备。顺便提及，外部存储设备104可以包括诸如fd(软盘)或cd(光盘)等能够从信息处理装置100分离的光盘、磁卡或光卡、ic(集成电路)卡、存储卡等。在如下前提下实现稍后描述的信息处理装置100的功能和处理：cpu101读取在rom102或外部存储设备104中存储的程序，然后执行读取的程序。

输入i/f(接口)105是与诸如指点设备、键盘等接收用户的操作和输入各种数据的输入单元109的接口。输出设备i/f106是与显示供给的数据和由信息处理装置100保持的数据的监视器110的接口。通信i/f107连接到诸如互联网等的网络111。照相机112是诸如监控照相机等的摄像和拍摄视频图像的摄像设备，并且经由网络111连接到信息处理装置100。系统总线108是用于可通信地连接101至107的各个单元的发送路径。

图2是用于描述信息处理装置100的软件构造的图。信息处理装置100使用从面部获得的面部图像特征作为图像特征，并使用所获得的面部图像特征进行图像特征检索。视频图像接受单元201接受由照相机112拍摄的视频图像以及从照相机112输入到信息处理装置100的视频图像。视频图像存储单元202在其中存储由视频图像接受单元201接受的视频图像。

跟踪单元203在由视频图像接受单元201接受的视频图像中跟踪人物。更具体地，跟踪单元203根据运动向量检测对象、估计下一帧中的检索位置并通过模板匹配进行人物跟踪。关于人物跟踪处理，可以参考以下文献。

日本特开2002-373332号公报

跟踪单元203发出针对跟踪同一人物的踪迹的相同的跟踪id(识别)，并且发出针对跟踪不同人物的踪迹的不同的跟踪id，从而保证唯一性并能够根据跟踪id识别同一人物。顺便提及，一旦跟踪中断，即使对于同一人物，跟踪单元203也发出不同的跟踪id。

面部检测单元204根据视频图像中的帧图像等进行面部检测。例如，面部检测单元204根据由跟踪单元203跟踪的人物的帧图像中的各个进行面部检测。此外，面部检测单元根据从视频图像接受单元201输入的视频图像或者根据稍后描述的查询图像进行面部检测。面部检测单元204关于要处理的图像检测单眼候选区域，对多个单眼候选区域进行配对，并基于经过配对的双眼位置确定面部区域。顺便提及，关于根据图像检测人物的面部的方法，可以参考以下文献。

日本特开2010-165156号公报

代表确定单元205从被跟踪的人物的帧图像组选择代表面部图像。在下文中，应当注意，代表面部图像被称为代表图像。例如，代表确定单元205从由面部检测单元204检测的面部图像当中选择具有最大面部尺寸的图像。使用面部尺寸的原因是存在图像特征的精确度的问题。即，面部图像越大，获得的图像特征的精确度越高。即，当根据面部图像计算图像特征时，需要进行将面部图像尺寸改变为一定尺寸的面部尺寸归一化处理。在这种情况下，如果面部图像大于一定尺寸，由于进行缩小处理，信息的丢失相对小。然而，如果面部图像小于一定尺寸，由于需要进行例如超分辨率处理的像素插值，信息严重地恶化。

作为另一示例，代表确定单元205可以从帧图像组中选择多个图像作为代表图像。例如，存在选择多个面部方向的图像的方法。这是由于即使图像对应于同一人物，如果在这些图像中的面部方向不同，则从图像获得的图像特征不同。

代表确定单元205提取hog(方向梯度直方图)作为特征，并且使用svr(支持向量回归)来估计面部方向。hog是用图像的辉度梯度信息的直方图针对图像的各局部区域获得的特征，并且已知hog是对图像的局部噪声和亮度具有鲁棒性的特征。通过选择对与面部方向不相关的诸如噪声改变和辉度改变等的改变具有鲁棒性的特征，即使在现实环境中也能实现稳定的面部方向估计。顺便提及，关于从图像检测人物的面部方向的方法，可以参考以下文献。

erikmurphy-chutorian,“headposeestimationfordriverassistancesystems:arobustalgorithmandexperimentalevaluation,”inproc.ieeeconf.intelligenttransportationsystems,2007,pp.709-714

此外，代替检测人物的面部方向，代表确定单元205可以检测人物的人体的方向。关于人体的方向的检测，例如，可以使用以下文献中描述的方法。

日本特开2011-186576号公报

作为另一示例，代表确定单元205还可以选择具有较少图像模糊的图像作为代表图像。用于拍摄静止图像的照相机也和用于摄影或拍摄运动图像的照相机一样，存在快门速度根据摄影/拍摄地点的亮度改变的情况。因此，存在有时候依据暗的地点或被摄体的运动速度出现面部图像的模糊的情况，并且相关的模糊直接引起图像特征和属性信息的劣化。在估计模糊的情况下，代表确定单元205获得面部图像区域的频率分量，获得低频分量与高频分量之间的比例，并可以确定当获得的比例超过预定值时出现模糊。此外，代表确定单元205可以不选择例如闭眼的面部图像、张嘴的面部图像等的面部图像作为代表图像。这是因为如果闭眼或张嘴等，则器官的图像特征有可能改变。

特征计算单元206计算要处理的面部图像的图像特征。更具体地，特征计算单元206获得人物面部图像中的例如眼、嘴等的器官点，然后针对各个器官点计算sift(尺度不变特征变换)。顺便提及，应当注意该特征仅仅是示例，并且要计算的特征类型不限于在本实施例中使用的特征类型。第一特征存储单元207在其中存储由特征计算单元206计算的关于由视频图像接受单元201接受的视频图像的图像特征。第一特征存储单元207还在其中存储人物的id以及在跟踪人物情况下的跟踪id、拍摄(摄影)时间和拍摄照相机112的照相机id同时对它们进行关联，作为图像特征的元数据。第一特征存储单元207例如是外部存储设备104。

查询接受单元208接受查询图像的指定。这里，应当注意，查询图像是用作检索关键的人物的面部图像，并且作为检索关键的人物被称为目标人物。例如，cpu101在监视器110上显示在外部存储设备104中存储的面部图像。然后，在观看监视器110的同时，用户经由输入单元109选择要检索的人物的面部图像作为查询图像。响应于该选择，查询接受单元208接受由用户选择的查询图像。应当注意，查询图像可以是单个图像或者是两个或更多个图像。

第二特征存储单元209在其中存储由查询接受单元208接受的查询图像(面部图像)的图像特征。这里，应当注意查询图像的图像特征是针对目标人物预定的基准特征的示例。由特征计算单元206计算查询图像的图像特征。第二特征存储单元209例如是外部存储设备104。查询图像的图像特征通过cpu101存储在第二特征存储单元209中。即，这种将查询图像的图像特征记录在第二特征存储单元209的处理是用于开始要由稍后描述的第二检索单元212进行的对输入图像的检索处理的准备处理。此外，当接受稍后描述的指令以排除目标时，cpu101从第二特征存储单元209删除图像特征。

第一检索单元211进行第一检索处理。这里，应当注意的是第一检索处理是通过使用根据查询图像计算的图像特征作为查询，从针对第一检索处理而设置的检索范围的视频图像中检索目标人物的处理。根据本实施例的第一检索单元211将存储在第一特征存储单元207中的图像特征设置为检索范围，并识别第一图像存储单元207中的具有高于预定阈值的相似度的图像特征。在计算相似度时，计算各个器官点的sift特征的距离的总和，对距离的总和进行归一化，然后获得相似度。

第二检索单元212进行第二检索处理。这里，应当注意的是第二检索处理是通过使用在第二特征存储单元209中存储的图像特征(基准特征)作为查询，从针对第二检索处理而设置的检索范围的视频图像中检索目标人物的处理。根据本实施例的第二检索单元212在接受指定查询图像的检索指令时的时间点之后，将根据由视频图像接受单元201接受的视频图像计算的图像特征设置为检索范围。这里，检索范围不仅包括由视频图像接受单元201接受的视频图像还包括存储在临时存储单元210中的视频图像。第二检索单元212识别检索范围中的具有高于预定阈值的相似度的图像特征。计算相似度的方法与关于第一检索单元211描述的方法相同。

显示处理单元213将第一检索单元211的检索结果和第二检索单元212的识别结果彼此整合，并在监视器110上显示整合结果。例如，显示处理单元213针对各个照相机112对检索结果进行分类，并且以拍摄时间的顺序在监视器110上对它们进行显示。作为另一示例，显示处理单元213映射显示照相机112的安装位置，并基于拍摄时间在监视器110上显示这些位置的运动历史。要显示的内容不限于在本实施例中描述的这些内容。

排除接受单元214接受表示不再需要检索(例如通过确保迷途儿童或漏乘乘客的安全)的人物的信息，然后从第二特征存储单元209删除相关人物的图像特征。在这种情况下，能够在显示处理单元213的用户界面上指明迷途儿童或漏乘乘客已受到保护。此外，在检索错过飞机的乘客的情况下，也能够检测乘客通过了相关飞机的登机口，然后通过使用检测结果作为触发器从第二特征存储单元209删除该人物(相关乘客)的图像特征。

图3是用于描述要由信息处理装置100进行的视频图像记录处理的流程图。视频图像记录处理是对由视频图像接受单元201接受的视频图像进行累积(或记录)使得累积的视频图像能够被适当地检索的处理。在s301中，视频图像接受单元201接受视频图像。接下来，在s302中，cpu101将在s301中接受的视频图像记录在视频图像存储单元202中。此时，cpu101记录拍摄时间和拍摄照相机112的照相机id同时对它们进行关联作为视频图像的元数据。该处理是将从照相机112输入的视频图像记录在存储单元中的记录处理的示例。

接下来，在s303中，跟踪单元203从各个帧图像检测人物并进行对被检测人物的跟踪。这里，将不同的人物id分配给各个帧图像的被检测人物，并且将分配的人物id与帧图像中的人物的坐标一起临时地存储。此外，将相同的跟踪id分配给被跟踪的人物，然后将分配的跟踪id与进行跟踪的帧图像的id一起临时地存储。在s304中，当存在跟踪被中断的人物时(s304中为“是”)，跟踪单元203是处理前进到s305。另一方面，当不存在跟踪被中断的人物时(s304中为“否”)，跟踪单元203将处理返回到s301。

在s305中，面部检测单元204从由跟踪单元203跟踪的人物的帧图像中的各个进行面部检测。接下来，在s306中，代表确定单元205从被跟踪的人物的帧图像组中选择一个或更多个代表面部图像。接下来，在s307中，特征计算单元206根据在s306中选择的一个或更多面部图像计算面部图像特征。

接下来，在s308中，cpu101将在s307计算的图像特征记录在第一特征存储单元207中。此外，cpu101将人物id、在跟踪人物的情况下的跟踪id、拍摄时间和拍摄时间相关联地记录作为图像特征的元数据。接下来，在s309中，cpu101确认是否接受这种累积处理的结束指令。当接受结束指令时(s309中为“是”)，cpu101结束该处理。另一方面，当不接受结束指令时(s309中为“否”)，cpu101将处理返回到s301。通过以上处理，在第一特征存储单元207中对从照相机112输入的视频图像中拍摄的和捕捉的、人物的面部图像的图像特征进行累积，并因此能够进行检索。

接下来，将描述要由信息处理装置100进行的人物检索处理。在进行人物检索处理的描述之前，将参照图4a和图4b描述要由第一检索单元211进行的第一检索处理和要由第二检索单元212进行的第二检索处理。即，图4a和图4b是第一检索处理和第二检索处理的说明图。在第一检索处理中，使用提取的图像特征作为查询进行核对(或检查)。为此，能够使用任意人物作为查询进行检索。另一方面，在第二检索处理中，需要事先对查询人物的图像特征进行登记。

关于精确度，第二检索处理在通过机器学习等的精确度方面具有优点。关于速度，第一检索处理关于登记的视频图像的检索是快的。但是，将检索结果反映到第一特征存储单元207上要花费很长时间，使得从处理量(登记和检索)的角度看速度是稍微次要的。另一方面，在第二检索处理中，当将要预先登记的人物的数量控制在一定数量时，能够实时地进行认证，使得处理量被认为是高的。

因此，第一检索处理的优选用途是从大量过去的图像中的累积视频图像检索任意人物，第二检索处理的优选用途是实时认证有限数量的特定人物。

因此，根据本实施例的信息处理装置100接受指定查询人物指令，对当人物检索开始时的时间点之前(过去的)的视频图像进行第一检索处理，并进行对相关时间点之后(未来的)的视频图像进行第二检索处理。因此，例如能够适当的检索迷途儿童。

也对过去的视频图像进行检索的原因如下。即，由于可以想象目标人物可能位于所有照相机112没有拍摄的地方，所以目标人物曾位于的过去的地方的信息也是重要的。此外，过去的视频图像对于估计目标人物将要移动到的地方也是有用的。

然而，在仅将第一检索处理与第二检索处理结合的情况下会出现问题。图4b是用于描述要有第一检索处理和第二检索处理检索的检索范围(时间范围)的图。在第一检索处理中，将记录在第一特征存储单元207中的视频图像设置为检索范围。为此，直到在接受查询指定的接受时间点的视频图像能够被检索为止，出现了一个小的准备时段(延迟)401。这里，准备时段是从当视频图像接受单元201接受检索指令时的接受时间点，到当由第二检索单元212的检索处理的准备完成时的准备完成时间点的时段。

此外，在第二检索处理中，诸如对要从各个照相机112的视频图像检索的图像特征进行设置和学习等的初始化处理花费时间，使得直到能够进行检测处理为止出现了准备时段(延迟)402。为此，出现了不可检索时间段403，不可检索时间段403是通过将准备时段401和准备时段402相加在一起而获得的时间段。在例如监视(监控)系统的安全应用中，理想的是缩短不可检索时间段403。

图5是用于描述要由信息处理装置100进行的检索处理的流程图。在s501中，查询接受单元208接受指定作为检索查询的人物的查询图像的检索指令。在s501的处理之后，cpu101进行三个线程的处理。第一线程是进行第一检索处理的线程，并且包括s502至s505的处理。第二线程是进行第二检索处理的线程，并且包括s511至s513的处理。第三线程是进行整合和显示检索结果的处理的线程，并且包括s521和s522的处理。

在第一线程的s502中，第一检索单元211进行第一检索处理以检索目标人物。在这种情况下的检索范围是存储在第一特征存储单元207中的视频图像的图像特征，即，在检索指令的接受时间点之前输入到信息处理装置100，并存储在视频图像存储单元202中的视频图像的图像特征。此外，检索查询是从与检索指令相关的查询图像中检测到的面部图像的图像特征。第一检索单元211将由检索获得的图像以及表示图像的拍摄地点、拍摄时间等信息传输给显示处理单元213。

接下来，在s503中，第一检索单元211确认由第二检索单元212进行的第二检索处理是否开始。当第二检索处理开始时(步骤s503中为“是”)，第一检索单元211使处理前进到s505。另一方面，当第二检索处理没有开始时(步骤s503中为“否”)，第一检索单元211使处理前进到s504。

在s504中，第一检索单元211再次进行第一检索处理。顺便提及，应当注意的是，在s504中的第一检索处理的检索范围是在存储在第一特征存储单元207中的图像特征中的检索范围，并且没有被设置在已经进行的第一检索处理的检索范围中。然后，第一检索单元211使处理前进到s503。以这种方式，第一检索单元211使用新输入的视频图像作为检索范围重复地进行第一检索处理，直到第二检索处理开始。第一检索单元211还将由检索获得的图像以及表示图像的摄像地点、摄像时间等的信息传输给显示处理单元213。然后，在s505中，第一检索单元211停止第一检索处理。因此，第一线程的处理结束。以这种方式，在第一检索处理的检索范围内，针对直到第二检索处理开始为止的时段输入的视频图像，进行第一检索处理。因此，能够缩短不可检索时间段403。

在第二线程的s511中，第二检索单元212进行为开始第二检索处理的准备处理。准备处理是将目标人物的查询图像的图像特征作为基准特征登记(记录)在第二特征存储单元209中的处理。在s511中，显示处理单元213可以在监视器110上显示查询图像。接下来，在s512中基于基准特征，第二检索单元212开始从在接受时间点之后输入到信息处理装置100的视频中检索目标人物的第二检索处理。然后第二检索单元212将通过检索获得的图像以及表示图像的拍摄地点和拍摄时间等的信息传输给显示处理单元213。当在s512中开始第二检索处理时，在上面描述的s503中，第一检索单元211决定第二检索处理开始，使得第一检索处理停止。

接下来，在s513中，第二检索单元212确认cpu101是否接受停止指令。当没有接受停止指令时(s513中为“否”)，cpu101继续第二检索处理。另一方面，当接受了停止指令时(s513中为“是”)，cpu101结束该处理。例如，当由于迷途儿童或漏乘乘客已被保护而不需要对被指定为查询的人物进行检索时，用户输入停止指令。

在第三线程的s521中，显示处理单元213将分别在s502、s504和s512获得的检测结果整合在一起，并在监视器110上显示整合的检测结果。接下来，在s522中，cpu101确认是否接受了停止指令。当没有接受停止指令时(s522中为“否”)，cpu101将处理返回到s521以继续显示处理。另一方面，当接受了停止指令时(s522中为“是”)，cpu101结束该处理。

如刚刚描述的，信息处理装置100针对不可检索时间段403通过第一检索处理来检索目标人物，然后停止第一检索处理。然后，信息处理装置100通过第二检索处理检索目标人物直到接受停止指令为止。此外，通过重复进行第一检索处理，能够缩短不可检索时间段，不可检索时间段对应于当通过指定查询人物而进行检索时特征量尚未被面部图像特征检索编入索引的时间段与直到面部图像特征辨别为止的时间段的总和。以这种方式，本实施例的信息处理装置100能够在不降低处理速度的情况下从过去连续地检索人物。

(第二实施例)

随后，将描述根据第二实施例的监视系统。根据第二实施例的监视系统中的信息处理装置100在进行第二检索处理之前进行第一检索处理，并且，在第二检索处理中使用在第一检索处理中检测到的图像。因此，能够提高检索精确度。

在下文中，将描述根据第二实施例的监视系统与根据第一实施例的监视系统之间的差异。图6是用于描述要由根据第二实施例的信息处理装置100进行的检索处理的流程图。在s601中，查询接受单元208接受指定人物的查询图像作为检索查询的检索指令。在s601的处理之后，cpu101以两个线程进行该处理。第一线程是进行检索的线程，包括s602至s617中的处理。第二线程是对检索结果进行整合和显示的处理的线程，包括s621至s622中的处理。

在第一线程的s602中，第一检索单元211进行第一检索处理以检索目标人物。在这种情况下的检索范围是存储在第一特征存储单元207中的视频图像的图像特征，即，在检索指令的接受时间点之前输入到信息处理装置100并存储在视频图像存储单元202中的视频图像的图像特征。此外，检索查询是从与检索指令相关的查询图像检测到的面部图像的图像特征。第一检索单元211将通过检索获得的图像以及表示图像的拍摄地点、拍摄时间等的信息传输给显示处理单元213。

在s602的处理之后，cpu101进一步以两个线程进行该处理。第11线程是继续第一检索处理的线程，包括s603至s605中的处理。第12线程是进行第二检索处理的线程，包括s611至s617中的处理。这里，第11线程的s603至s605的处理与参照图5描述的第一实施例的检索处理中的s503至s505的处理相同。

在第12线程的s611中，第二检索单元212确认在s602中的第一检索处理中是否检测到目标人物。当检测到目标人物时(s611中为“是”)，第二检索单元212使处理前进到s612。另一方面，当没有检测到目标人物时(s611中为“否”)，第二检索单元使处理前进到s615。在s612中，第二检索单元212通过不仅使用查询图像还使用在s612中的第一检索处理中的检测到了目标人物的检测图像，来进行第二检索处理的准备。

接下来，在s613中，第二图像检索单元使用查询图像和检测图像来开始第二检索处理。接下来，在s614中，第二检索单元212确认是否接受了停止指令。当接受了停止指令时(s614中为“是”)，第二检索单元212结束第21线程的处理。另一方面，当没有接受停止指令时(s614中为“否”)，第二检索单元212继续第二检索处理。在s615中，第二检索单元212进行准备处理以仅使用查询图像进行第二检索处理。这里，s615至s617的处理与参照图5描述的第一实施例的检索处理中的s511至s513的处理相同。

在第二线程的s621中，显示处理单元213将分别在s602、s604、s613和s616获得的检测结果整合在一起，并在监视器110上显示整合的检测结果。接下来，在s622中，cpu101确认是否接受了停止指令。当没有接受停止指令时(s622中为“否”)，cpu101将处理返回到s621以继续显示处理。另一方面，当接受了停止指令时(s622中为“是”)，cpu101结束该处理。顺便提及，应当注意，根据第二实施例的监视系统的其他结构和处理与根据第一实施例的监视系统的结构和处理相同。

如上所述，根据第二实施例的信息处理装置100在进行第二检索处理之前进行第一检索处理，第一检索处理以在检索指令的接受时间点之前输入到信息处理装置100并存储在视频图像存储单元202中的视频图像作为检索范围。然后，在第一检索处理之后，信息处理装置100通过使用在第一检索处理中获得的目标人物的检测图像进行第二检索处理。因此，能够提高检索精确度。此外，如同第一实施例，信息处理装置100在不同的检索范围中继续第一检索处理直到第二检索处理开始。因此，信息处理装置100能够在不降低处理速度的情况下从过去连续地检索人物。

在下文中，将描述第一实施例和第二实施例的变型例。作为第一变形例，图像特征不限于面部图像的图像特征。作为另一示例，图像特征可以是从整个人体获得的人体图像特征。即，人体图像特征包括诸如身体高度与身体宽度的比例、腿长于头部和身体的比例、腿长与身高的比例等的数值。作为又一示例，代替图像特征，信息处理装置100可以使用从包括面部的整个人体获得的人物的属性信息。这里，属性信息的示例包括种族、性别、年龄、有无眼镜、胡须、服装颜色等。

作为又一示例，信息处理装置100可以使用图像特征和属性信息二者作为图像特征。例如，信息处理装置100分开地计算第一检索处理和第二检索处理关于图像特征的得分、以及第一检索处理和第二检索处理关于属性信息的得分。然后，信息处理装置100可以计算两个得分的加权和作为总得分。

作为第二变型例，信息处理装置100可以可区分地显示查询人物和作为检索结果的图像。因此，用户能够确认是否进行了错误的检索。

作为第三变型例，当第一检索单元211和第二检索单元212中的至少一个检测到目标人物的多个图像时，可以能够优先地检测不同面部方向的图像。

作为第四变型例，第一检索单元211和第二检索单元212中的至少一个可以优先地检测在更接近处理时间点的时间点拍摄的图像。该示例对于保护例如迷途儿童的人物的目的是有用的。

作为第五变型例，信息处理装置100的第一检索单元211可以对在第二检索处理开始之前输入到信息处理装置100的视频图像进行第二检索处理，并且这样做的具体的处理不限于在本实施例中描述的处理。作为另一示例，在第二检索处理开始的时间点，第一检索单元211可以使用在第二检索处理开始之前输入到信息处理装置100并存储在视频图像存储单元202中的视频图像的特征，作为检索范围，进行一次第一检索处理。

如上所述，根据上述实施例，能够在不降低处理速度的情况下从过去连续地检索人物。

(第三实施例)

随后，将描述第三实施例。在本实施例中，对于与在上面的实施例中已经描述的结构使用相同的附图标记，并且将省略其描述。图7是用于描述由根据本实施例的信息处理装置100进行的检索处理的流程图。在s701中，查询接受单元208接受作为检索查询的人物的查询图像的指定。接下来，在s702中，cpu101开始将在查询图像的指定的时间点之后由视频图像接受单元201接受的视频图像，记录在临时存储单元210中。接下来，在s703中，面部检测单元204从由查询接受单元208接受的查询图像检测面部图像。接下来，在s704中，特征计算单元206从在s703中检测到的查询图像的面部图像计算图像特征。在s704中的处理之后，cpu101进行两个线程的处理。

这两个线程中的第一线程是进行第一检索处理的线程，而第二线程是进行第二检索处理的线程。第一线程是在s704之后进行到s711的处理，包括s711和s712中的处理。第二线程是在s704之后进行到s721的处理，包括s721和s727中的处理。顺便提及，s731至s733中的处理是将第一检索处理的检索结果与第二检索处理的检索结果彼此整合的处理。

在s711中，第一检索单元211确认截止到指定查询图像的接受时间点的视频图像是否被记录在第一特征存储单元207中。第一检索单元211等待直到记录完成为止(步骤s711中为“否”)。当记录完成时(步骤s711中为“是”)，处理前进到s712。在s712中，第一检索单元211通过使用存储在第一特征存储单元207中的图像特征作为检索范围，并且使用在s704中计算的查询图像的图像特征作为检索查询来检索目标人物。然后，第一检索单元211从存储在第一特征存储单元207中的图像特征，检测具有与以上图像特征之间的相似度高于预定阈值的图像特征。

在第二线程的s721中，cpu101将在s704中计算的查询图像的图像特征作为基准特征登记(记录)在第二特征存储单元209中。应当注意s721中的处理是第二检索处理的准备处理的示例。由于在s721中完成了准备处理，所以在随后的s722中，cpu101结束在s702中开始的将视频图像记录到临时存储单元210。因此，在从指令接受时间点第二检索处理的准备的完成时间点的准备时段中从照相机112输入的视频图像被记录在临时存储单元210中。

在s722中的处理之后，处理进一步被分成两个线程。第二线程的两个线程中的第21线程是在s722的处理之后进行到s723的处理。另一方面，第22线程是在s722的处理之后进行到s724的处理，包括s724至s727的处理。在s723中，第二检索单元212通过将从存储在临时存储单元210中的视频图像提取的图像特征，与存储在第二特征存储单元209中的图像特征(基准特征)彼此进行比较来检索目标人物。第二检索单元212从临时存储单元202删除对其比较处理结束的视频图像。

另一方面，在s724中，第一检索单元211获得在将查询图像指定为检索目标的接受时间点之后从照相机112输入的视频图像(输入视频图像)。接下来，在s725中，第二检索单元212通过将从s724中接受的视频图像提取的图像特征与基准特征彼此进行比较来检索目标人物。因此能够对输入视频图像进行实时检索。

接下来，在s726中，cpu101确认是否接受了停止指令。当没有接受停止指令时(s726中为“否”)，cpu101使处理前进到s724。另一方面，当接受了停止指令时(s724中为“是”)，cpu101使处理前进到s726。在s726中，cpu101将在s721中记录在第二特征存储单元209中的基准特征删除，并结束该处理。例如，当由于迷途儿童或漏乘乘客已被保护而不需要对被指定为查询的人物进行检索时，用户输入停止指令。

顺便提及，应当注意，cpu101将s711至s712的处理以及s721和随后的步骤的处理作为并行处理同时地进行。此外，cpu101将s723的处理和s724至s727的处理作为并行处理同时地进行。

在s712的处理之后，cpu101使处理前进到s731。在s731中，显示处理单元213将在s712中获得的第一检索处理的检索结果与在s723和s725中获得的第二检索处理的检测结果彼此整合。接下来，在s732中，显示处理单元213在监视器110上显示整合后的检测结果。接下来，在s733中，cpu101确认是否接受了停止指令。当没有接受停止指令时(s733中为“否”)，cpu101将处理返回到s731。另一方面，当接受了停止指令时(s733中为“是”)，cpu101结束该处理。

如上所述，根据本实施例的信息处理装置100将在第二检索处理的准备时段中的视频图像记录到临时存储单元210。因此，也能够关于准备时段中的视频图像进行人物检索。信息处理装置100还能够进行第一检索处理和实时检索。即，信息处理装置100能够以合适的处理速度从过去的视频图像连续地进行人物检索。此外，由于能够进行实时检索，因此还能够保护目标人物。此外，由于能够检索过去的视频图像，因此能够估计目标人物将要移动到的地点。顺便提及，由于在第二检索处理中存在大的处理负荷，因此理想的是，当由于例如能够保护查询人物而使检索变得不必要时及时结束第二检索处理。在本文中，信息处理装置100能够响应于停止指令及时结束第二检索处理。

(第四实施例)

在根据第四实施例的监视系统中，信息处理装置100的临时存储单元210存储根据准备时段的视频图像计算的图像特征而不存储准备时段的视频图像。在下文中，将描述根据第四实施例的监视系统与根据第三实施例的监视系统之间的差异。图8是用于描述要由根据第四实施例的信息处理装置100进行的检索处理的流程图。顺便提及，在图8描述的检索处理中包括的处理中，与参照图7描述的根据第三实施例的检索处理中的处理相同的处理分别用相同的附图标记表示。

在第四实施例中，在s701的处理之后，cpu101使处理前进到s801’。在s801’中，在接受对查询图像的指定的接受时间段之后，cpu101开始将由视频图像接受单元201接受的视频图像的图像特征记录到临时存储单元210。应当注意，特征计算单元206根据由视频图像接受单元201接受的视频图像进行计算图像特征的处理。然后cpu101使处理前进到s703。

除此之外，在s721的处理之后，cpu101使处理前进到s802’。在s802’中，cpu101结束在s801’中开始的将图像特征记录到临时存储单元201。随后的处理分成两个线程。在这两个线程中，第21线程是在s802’的处理之后进行到s803’的处理。此外，第22线程的处理是与在第三实施例中描述的第22线程的处理相同的处理。

在s803’中，第二检索单元212通过将存储在临时存储单元210中的图像特征与基准图像彼此进行比较来检索目标人物。第二检索单元212从临时存储单元210删除对其比较处理结束的图像特征。顺便提及，根据第四实施例的监视系统的其余的结构和处理与根据第三实施例的监视系统的相对应的结构和处理相同。

如上所述，根据第四实施例的信息处理装置100将根据视频图像计算的图像特征记录到临时存储单元210而不是将视频图像记录到临时存储单元210。因此，能够减少开始检索处理之后信息处理装置100的处理负荷。

(第五实施例)

在根据第五实施例的监视系统中，首先，信息处理装置100的第二检索单元212使用存储在临时存储单元210中的视频图像作为检索范围进行第二检索处理。然后，在相关处理结束之后，第二检索单元212对从照相机112输入的视频图像进行第二检索处理。在下文中，将描述根据第五实施例的监视系统与根据第三实施例的监视系统之间的差异。图9是用于描述要由根据第五实施例的信息处理装置100进行的检索处理的流程图。顺便提及，在图9中描述的检索处理中包括的处理中，与参照图7描述的根据第三实施例的检索处理中的处理相同的处理分别用相同的附图标记表示。

在第五实施例中，在s721的处理之后，cpu101使处理进行到s723。即，在cpu101继续在s702中开始的将视频图像记录到临时存储器210的处理的同时，在s723中，第二检索单元212使用存储在临时存储单元210中的视频图像作为检索范围进行第二检索处理。然后，cpu101使处理进行到s901。在s901中，cpu101结束将视频图像记录到临时存储单元210。

如上所述，在第五实施例中，在使用存储在临时存储单元210中的视频图像作为检索范围进行第二检索处理结束之后，cpu101结束将视频图像记录到临时存储单元210。之后，cpu101使处理进行到s902。这里应当注意，s902至s905的处理分别与参照图7描述的s724至s727的处理相同。顺便提及，应当注意，根据第五实施例的监视系统的其他结构和处理与根据其他实施例的监视系统的结构和处理相同。

如上所述，根据第五实施例的信息处理装置100在对存储在临时存储单元210中的视频图像的检索处理结束之后进行实时检索处理。因此，实时检索的开始定时与根据其他实施例的信息处理装置100的实时检索的开始定时相比被延迟了。但是，能够在进行实时检索时减少信息处理装置100的处理负荷。

作为第五实施例的变型例，与第四实施例的描述相同，信息处理装置100可以将根据视频图像计算的图像特征存储到临时存储单元210而不是将视频图像存储到临时存储单元210。

(第六实施例)

在要检索的人物为多个的情况下，根据第六实施例的信息处理装置100进行控制使得对从照相机112输入的视频图像的处理不重叠。因此，能够进行有效率的处理。假设根据本实施例的信息处理装置100在指定查询图像(假设为人物a)的时间点正在进行对另一人物(假设为人物b)的检索处理。在这种情况下，信息处理装置100将计算的、要用于对人物b的第二检索处理的图像特征存储到临时存储单元210。

在下文中，将参照图8描述由根据第六实施例的信息处理装置100进行的检索处理与根据第四实施例的检索处理之间的差异。在第六实施例中，信息处理装置100使用临时存储请求标志作为关于是否将与另一人物的第二检索处理相关的图像特征存储在临时存储单元210中的标志。假设，临时存储请求标记正常处于关闭状态。

在s801’中，cpu101确认对除了目标人物以外的人物(另一人物)的第二检索处理是否正在进行。与第四实施例的描述相同，当相关处理没有正在进行时，cpu101开始将由视频图像接受单元201接受的视频图像的图像特征记录到临时存储单元210。另一方面，当对另一人物的第二检索处理正在进行时，cpu101将临时存储请求标志打开。此外，在s802’中，当临时存储请求标志为关时，即，当临时存储处理正在进行时，cpu101结束临时存储处理。当临时存储请求标志为开时，cpu101关闭。

在s724中，当临时存储请求标志为关(off)时，在第二检索处理结束之后，cpu101从临时存储单元210中删除根据由视频图像接受单元201接受的视频图像计算的图像特征。另一方面，当临时存储请求标志为开(on)时，cpu101将根据由视频图像接受单元201接受的视频图像计算的图像特征存储到临时存储单元210。作为另一示例，cpu101可以不仅将图像特征还将相应的视频图像存储在临时存储单元210中。

在s726中，在接受停止指令的情况下，当临时存储请求标志为开时，cpu101开始将根据由视频图像接受单元201接受的视频图像计算的图像特征存储到临时存储单元210的处理。此时，cpu101还将临时存储请求标志关闭。在接受停止指令的情况下，当临时存储请求标志为关时，cpu101什么都不做。顺便提及，在根据第六实施例的监视系统中，除去上述的结构和处理以外的其他结构和处理分别与根据其他实施例的监视系统的结构和处理相同。

如上所述，在根据第六实施例的信息处理装置100中，当在接受对目标人物的查询图像的指定的时间点，正在进行对另一人物的第二检索处理时，相关另一人物的图像特征被存储在临时存储单元210中。因此，能够在检索多个人物时减少信息处理装置100的处理负荷。

(第七实施例)

在根据第七实施例的信息处理装置100中，临时存储单元210存储在距离处理时间点预定时段期间内输入的视频图像。然后，在由查询图像进行的对第二检索处理的准备处理完成之后，第一检索单元211进行第二检索处理，并同时对在查询图像的指定的接受时间点之前(过去)输入的视频图像进行第一检索处理。因此，也能够针对在不可检索时间段内的视频图像检索目标人物。即，根据第七实施例的信息处理装置100也针对第一检索处理的不可检索时间段，以第二检索处理检索目标人物。在这个方面，本实施例中的信息处理装置100与其他实施例的不同。

图10是用于描述要由根据第七实施例的信息处理装置100进行的居民检索处理。信息处理装置100一直进行如图10所示的居民检索处理。在s801中，cpu101确认在第二特征存储单元209中是否存储了基准特。当存储了基准特征时(s801中为“是”)，cpu101使处理前进到s803。另一方面，当未存储基准特征时(s801中为“否”)，cpu101使处理前进到s802。在s802中，cpu101将由视频图像接受单元201接受的视频图像记录到临时存储单元201，然后使处理进行到s806。

顺便提及，s803和s804的处理与参照图7描述的s724和s725的处理相同。在s804的处理之后，cpu101使处理前进到s805。在s805中，cpu101将从在s803中使用的输入视频图像提取的图像特征存储到临时存储单元201。接下来，在s806中，cpu101从临时存储单元210删除在距离进行处理的时刻预定时间之前的时刻之前记录到临时存储单元210的视频图像、以及从输入视频图像提取的图像特征。在这里，优选的是考虑直到第一检索处理变得可以进行为止的时间和第二检索处理的准备时段来确定预定时间。例如，信息处理装置100将这些时间的总和值设置为预定时间。顺便提及，通过s802和s806的处理，临时存储单元210总是将视频图像或者从视频图像提取的图像特征存储预定时间。在这里s802和s806的处理是如下管理处理的示例：进行管理使得临时存储单元210存储在距离处理时间点预定时间之前输入的视频图像或从视频图像提取的图像特征。

接下来，在s807中，cpu101确认是否接受结束指令。当接受结束指令时(s807中为“是”)，cpu101结束该处理。另一方面，当不接受结束指令时(s807中为“否”)，cpu101将处理前进到s801。

图11是用于描述要由根据第七实施例的信息处理装置100进行的检索处理的流程图。顺便提及，在图11中描述的检索处理中包括的处理中，与参照图7描述的根据第三实施例的检索处理中的处理相同的处理分别用相同的附图标记表示。在根据第七实施例的检索处理中，在s701的处理之后，cpu101使处理前进到s703。此外，在s704的处理之后，cpu101通过使处理进行到s712而不是s711来进行第一线程的处理。另一方面，在第二线程中，在s721的处理之后，cpu101跳过s722的处理并进行第二线程。在这些线程中，第21个线程包括s723的处理并且第22个线程包括s726和s727的处理。

在本实施例中，视频图像和面部图像特征被混合地存储在临时存储单元210中。在s723中，第二检索单元212计算存储在临时存储单元210中的视频图像的图像特征并将视频图像的图像特征与存储在第二特征存储单元209中的基准特征相互比较。然后，第二检索单元212检测具有高于预定阈值的相似度的图像特征。此外，第二检索单元212将存储在临时存储单元210中的图像特征与存储在第二特征存储单元209中的基准特征相互比较，并且检测具有高于预定阈值的相似度的面部图像特征。顺便提及，应当注意，根据第七实施例的监视系统的其他结构和处理与根据其他实施例的监视系统的结构和处理相同。

如上所述，根据第七实施例的信息处理装置100一直进行第二检索处理，并且临时存储单元210一直在其中存储在过去的预定时段内输入的视频图像。然后，在经过由查询图像进行的对第二检索处理的准备时段之后，信息处理装置100进行第二检索处理并且也对过去的视频图像进行第一检索处理。因此，根据第七实施例的信息处理装置100能够对在查询图像的指定的接受时间点之前的过去的图像立即进行检索，并且也能够对变得能够检索为止的延迟部分通过第二检索处理进行高精确度的检索。

作为第七实施例的第一变型例，与第四实施例的描述相同，信息处理装置100可以将根据视频图像计算的图像特征存储到临时存储单元210而不是将视频图像存储到临时存储单元210。

而且，将描述第七实施例的第二变型例。信息处理装置100可以仅对从连接到信息处理装置100的多个照相机112的部分输入的图像作为目标，进行在第五实施例中描述的居民检索处理和检索处理。顺便提及，应当注意，信息处理装置100对从其他照相机112输入的视频图像进行在其他实施例(例如，第三实施例)中描述的检索处理。例如，假设引入了允许通过面部认证而进行过登记的人物通过的安全门系统。在这种情况下，信息处理装置100对要在这种安全门中使用的认证照相机进行根据第五实施例的处理，并且对于其他照相机进行根据其他实施例的处理。

在下文中，将描述上述实施例的变型例。作为第一变型例，图像特征不限于面部图像的图像特征。作为另一变型例，图像特征可以是从整个人体获得的人体图像特征。例如，人体图像特征包括诸如身高与身宽的比例、腿长与头和身体的比例、腿长与身高的比例等的数值。作为又一示例，信息处理装置100可以使用从包括面部的整个人体获得的人物的属性信息而不使用图像特征。例如，属性信息包括种族、性别、年龄、有无眼镜、胡须、服装颜色等。

作为又一示例，信息处理装置100可以使用图像特征和属性信息二者作为图像特征。例如，信息处理装置100分开地计算第一检索处理和第二检索处理关于图像特征的得分、以及第一检索处理和第二检索处理关于属性信息的得分。然后，信息处理装置100可以计算两个得分的加权和作为总得分。

如上所述，根据上述实施例中的各个，能够以适当的处理速度从过去连续地检索人物。

虽然基于其优选的实施例详细描述了本发明，但是本发明不限于这些具体实施例。即，在不脱离本发明的范围的范围内的各种实施例也包括在本发明中。而且，上述实施例的部分可以适当地组合。

在上面的描述中，在第一检索处理中能够通过识别具有高于预定阈值的相似度的图像特征来获得目标人物的检测图像，但是，例如，可能能够通过由使用信息处理装置100的用户(监控人员)识别目标人物，并且经由信息处理装置100的输入单元输入这种信息，来获得目标人物的检测图像。

(其他实施例)

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)^tm)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

根据本发明，能够在不降低处理速度的情况下从过去连续地检索人物。

虽然已经参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。