专利名称：监视装置及监视系统的制作方法
技术领域：
本发明涉及对摄像机所摄影的图像进行监视的监视系统，特别是，涉及使用地理信息对图像上所映出的人物进行确定的技术。
背景技术：
近年，利用面孔图像识别的个人认证正不断扩展。面孔图像识别是根据面孔图像来识别人物的技术。具体而言，就是从图像抽取出人物的面孔区域。接着，将该抽取出的面孔区域与预先所登录的面孔图像进行核对，并判定相似性。然后，根据判定出相似性来确定人物。
利用面孔图像的个人认证，心理上的抵抗较少。这是因为利用面孔图像的个人认证是使用从远处所摄影的图像非接触地进行，所以不需要诸如指纹认证等那样进行针对读取设备的输入动作的缘故。
但是，利用面孔图像的个人认证，存在对于照明的变动、图像中的面孔区域大小的变动及面孔朝向的变动等较弱之类的问题。
因而，以往利用面孔图像的个人认证装置通过取得适合于认证的图像来进行认证。例如个人认证装置通过对站立在摄像机之前的恰当位置的用户的正面面孔进行摄影来取得适当于认证的图像。但是此个人认证装置每当进行认证都必须对站立在恰当位置的用户进行摄影。
因此，解决此问题的监视装置为人们所公知(例如，参照专利文献1)。该监视装置预先存储从多个方向的面孔图像，由此即使取得正面面孔以外的图像也能够进行认证。亦即，该监视装置能够进行认证而不用使用户站立在规定的位置。
另外，作为利用人物图像的技术，公知有人物追踪处理(例如，参照非专利文献1)。该人物追踪处理是从监视摄像机图像中抽取面孔区域，并根据所抽取的面孔区域来求解面孔的尺寸及面孔的朝向。接着，根据所求出的面孔的尺寸及面孔的朝向来求解人物的移动方向及人物的移动速度等。然后，基于所求出的人物的移动方向及人物的移动速度来追踪人物。该人物追踪处理被应用到监视装置及商场等。
如果满足诸条件就能够仅以利用差分等的通常的图像处理来进行该人物追踪处理。诸条件是指追踪对象的人物始终收纳在画面内、且光量为阈值异常等。
因而，以往的人物追踪处理，若人物从画面内离开然后再次进入设施则无法继续进行追踪。亦即，该人物追踪处理就有将从画面内离开人物与再次进入设施的人物作为不同的人物来处理的问题。
为了解决该问题，由多个摄像机来进行追踪的技术为人们所知。但是，若摄像机与摄像机之间有死角则该技术也将发生同样的问题。
专利文献1日本专利公开特开2002-92601号公报。
非专利文献1高木干雄编辑、「新编图像分析手册」、全面修订版、东京大学出版社、2004年9月10日。
发明内容
上述的专利文献1所记载的监视装置还能够从人物的正面面孔以外的图像来进行认证。但是，该监视装置，由于仅以图像的相似性来确定人物所以认证的精度就成为问题。
因而，本发明的目的就是提供一种即使是人物的正面面孔以外的图像也能够进行认证、且能够高精度地进行认证的监视装置。
本发明的技术方案提供一种监视装置，从摄像机输入所拍摄的图像，从存储各种信息的存储部取得信息，其特征在于，上述存储部存储过去信息和地理信息，其中，所述过去信息包含与上述监视装置过去所输入的图像有关的信息，所述地理信息包含上述摄像机的位置信息；从上述所输入的图像抽取面孔图像，并基于上述过去信息来推定对应于上述所抽取出的面孔图像的人物；基于上述地理信息，从上述面孔识别部所推定的人物之中、确定对应于上述所抽取出的面孔图像的人物。
根据本发明，即便是人物的正面面孔以外的图像也能够进行认证，进而还能够高精度地进行认证。
图1是本发明第1实施方式的监视系统的框图。
图2是本发明实施方式的人物出现数据的构成图。
图3是本发明实施方式的地理数据的构成图。
图4是本发明第1实施方式的服务器的图像处理的流程图。
图5是本发明第2实施方式的监视系统的构成的框图。
图6是本发明第2实施方式的服务器的人流追踪处理的说明图。
图7是本发明第2实施方式的服务器的图像处理的流程图。
图8是本发明第3实施方式的监视系统的构成的框图。
图9是本发明第3实施方式的照明条件数据的构成图。
图10A是本发明第3实施方式的照明的影响的说明图。
图10B是本发明第3实施方式的照明的影响的说明图。
图11是本发明第3实施方式的服务器的图像处理的流程图。
具体实施例方式
参照图面就本发明的实施方式进行说明。
(第1实施方式)图1是本发明第1实施方式的监视系统的框图。
监视系统对大楼等设施进行监视。另外监视系统具有摄像机101、服务器102、入退室控制装置103、人物出现数据108及地理数据109。
此外，服务器102经由网络112，与摄像机101及入退室控制装置103连接起来。
摄像机101具备多个被分别设置在不同的场所。摄像机101例如被设置在人流产生分支的地点。另外，摄像机101对所设置的场所的图像进行摄影，并将所摄影的图像发送到服务器102。此外，对摄像机101所设置的场所附与对各自的场所唯一地进行识别的区域编号。
服务器102是具有CPU、存储器及存储部的计算机。在存储部中存储着各种程序，CPU执行这些程序。据此，服务器102，对从摄像机101接收到的图像进行处理。然后，依照此处理的结果对入退室控制装置103指示门(省略图示)的开闭。此外，门被设置在本实施方式的监视系统进行监视的设施。存储器暂时存储包含从摄像机101接收到的图像等的各种信息。
另外，服务器102包含地理·时间限制算出部105及面孔识别部106。面孔识别部106，由从摄像机101接收到的图像抽取面孔区域，并推定在所抽取出的面孔区域上所映出的人物(对应人物)。地理·时间限制算出部105，基于该图像被摄影的场所及时刻，从由面孔识别部106所推定的人物之中确定对应人物。
另外，服务器102，取得人物出现数据108及地理数据109。人物出现数据108及地理数据109既可以存储在服务器102的内部、也可以存储在服务器102的外部存储装置。
人物出现数据108用图2在后叙述，具有与由摄像机101所摄影的图像相关的信息。地理数据109用图3在后叙述，具有与设置了摄像机101的场所有关的信息。
入退室控制装置103，控制监视系统进行监视的设施的门的开闭。
图2是本发明的实施方式的人物出现数据108的构成图。
人物出现数据108包含面孔图像数据编号1081、图像特征量1082、推定人物名1083、可靠度1084、区域编号1085、出现日期时间1086及其他属性1087。
面孔图像数据编号1081是唯一地识别面孔图像数据的标识符。面孔图像数据是指从由摄像机101所摄影的图像抽取出面孔区域的图像。
图像特征量1082是规定个数的数值的集合，是对该面孔图像数据赋予特征的值。特征量1082，通过已知的各种各样的方法而计算出。服务器102，利用适合于本实施方式的方法，根据面孔图像计算出特征量1082。
另外，服务器102，基于特征量1082，计算出进行比较的二个面孔图像数据的相似度。相似度是所比较的二个面孔图像数据的相似的程度。亦即，相似度越大所比较的二个图像越相似。
例如，服务器102也可以将图像特征量1082看作矢量来求解相似度。在此情况下，服务器102，计算进行比较的二个图像数据的图像特征量1082间的距离。然后，服务器102，根据计算出的距离求解相似度。具体而言，计算出的距离越近相似度就为越大的值。
另外，服务器102，根据进行比较的二个图像数据的图像特征量1082计算相关性，并根据计算出的相关性来求解相似度。
推定人物名1083是在该面孔图像数据上所映出的人物(对应人物)与所推定的人物的名称。推定人物名1083还可以对于一个面孔图像数据编号1081具有多个记录。在此情况下，该图像的对应人物是推定人物名1083中的一人。
可靠度1084是该推定人物为对应人物的可能性。
区域编号1085是对该面孔图像数据所摄影的场所唯一地进行的标识符。在出现日期时间1086中，保存着该面孔图像数据所摄影的日期及时刻。
在其他属性1087中，保存着有关该面孔图像数据的信息。在本说明图中，在其他属性1087中保持着人物的朝向、天气信息及照明信息等。人物的朝向是该面孔图像数据上所映出的人物朝向的方向，例如，用设摄像机101的正面方向为0度的角度来表示。天气信息是该面孔图像数据被摄影时的天气，例如，保存着「晴」、「云」和「雨」等信息。照明信息是该面孔图像数据被摄影时的照明的状况，例如，保持着「顺光」、「逆光」、「右斜光」、「左斜光」和「室内」等信息。
此外，在人物出现数据108中也可以与这些信息一起对每个人物存储个人信息。个人信息是该人物的面孔图像数据编号，有关该人物的全部图像特征量的平均值以及该人物的认证信息等。
图3是本发明实施方式的地理数据109的构成图。
地理数据109在地理·时间限制算出部105确定对应人物的处理中得以利用。在地理数据109中，保持着从起点区域编号1091的场所至目的地区域编号1092的场所的移动所需要的平均时间。
起点区域编号1091是对人物移动前的场所唯一地进行识别的标识符。目的地区域编号1092是对人物移动后的场所唯一地进行识别的标识符。
例如，从起点区域编号1091为「0001」的场所至目的地区域编号1092为「0002」的场所的平均移动时间是「2秒」。
另外，也可以在各自的框中保存多个平均移动时间。在此情况下，表示存在多个移动方法。移动方法例如有电梯、自动扶梯及楼梯等。
例如，从起点区域编号1091为「0002」的场所至目的地区域编号1092为「0034」的场所的平均移动时间因移动方法而异。该平均移动时间若利用电梯则为「10秒」，若利用自动扶梯则为「125秒」，若利用楼梯则为「250秒」。
此外，在从起点区域编号1091的场所至目的地区域编号1092的场所的移动，若不经由设置了摄像机101的其他场所就无法移动的情况下，在符合条件的框中保存着「非邻接」。在此情况下，服务器102，检索从起点区域编号1091的场所至目的地区域编号1092的场所的移动路径。然后，服务器102，通过对该移动路径上的平均移动时间全部进行合计来求解从起点区域编号1091的场所至目的地区域编号1092的场所的平均移动时间。
图4是本发明第1实施方式的服务器102的图像处理的流程图。
若从摄像机101输入由摄像机101所摄影的图像则服务器102开始处理(201)。此时，服务器102也可以将该图像被摄影的场所的区域编号及该图像被摄影的时刻等一并进行输入。
首先，从所输入的图像抽取面孔区域的图像(面孔图像)(202)。此外，在所输入的图像中存在多个人物的面孔区域的情况下，对各自的面孔图像进行抽取。然后，对所抽取的各自的面孔图像，进行以下处理。
接着，根据所抽取的面孔图像计算图像特征量(203)。接着，从上面的记录起按顺序抽取人物出现数据108的图像特征量1082。接着，根据在步骤203中计算出的图像特征量及所抽取的图像特征量1082，计算出相似度(204)。亦即，针对人物出现数据108的所有记录计算出相似度。
接着，从值较大的起按顺序从所算出的所有相似度抽取一个。接着，从人物出现数据108选择对应于所抽取的相似度的记录(205)。
接着，判定所抽取的相似度是否在阈值以上(206)。
若相似度小于阈值，则判定为进行比较的二个面孔图像不相似。因而，将在步骤202中所抽取的面孔图像上所映出的人物确定为新人物(210)，并结束处理。此外，新人物是指在人物出现数据108中未保存面孔图像数据的人物。
另一方面，若相似度在阈值以上，则判定为进行比较的二个面孔图像相似，抽取在步骤205中所选择的记录的区域编号1085。接着，地理数据109抽取在所抽取的区域编号1085与地理数据109的起点区域编号1091一致，且在步骤201中所输入的区域编号与地理数据109的目的地区域编号1092一致的框中所保存的平均移动时间(207)。
接着，从在步骤201中所输入的时刻减去在步骤205中所选择的记录的出现日期时间1086。
接着，判定经过减法运算的值是否包含在以所抽取的平均移动时间为中心的范围(例如，±20％以内)。据此，判定人物能否自然地从对应于在步骤205中所选择的记录的图像被摄影的场所移动至在步骤201中所输入的图像被摄影的场所(208)。
若判定为不能自然地移动，则进行比较的二个图像上所映出的人物就判定为不同人物。然后，返回到步骤205对相似度次高的图像反复同样的处理。
另一方面，若判定为能够自然地移动，则将在步骤205中所选择的记录的推定人物名1083确定为对应人物(209)，并结束处理。此外，在推定人物名1083中保存着多个人物名的情况下，就从在从步骤205中所选择的记录的可靠度1084抽取出可靠度最高的。然后，将对应于所抽取的可靠度1084的推定人物名1083确定为对应人物。
此外，也可以在结束处理前，将与在步骤203中所抽取的面孔图像有关的信息登录到人物出现数据108。
具体而言，首先，对人物出现数据108创建新记录。接着，将未重复的面孔图像数据编号附与在步骤202中所抽取的面孔图像。将已附与的面孔图像数据编号保存到新记录的面孔图像数据编号1081。接着，将在步骤203中计算出图像特征量保存到新记录的图像特征量1082。
接着，已确定的对应人物的名称作为新记录的推定人物名1083进行保存。接着，基于在步骤204中计算出相似度，在步骤201中所输入的区域编号及所摄影的时刻等计算出可靠度。然后，将计算出可靠度保存到新记录的可靠度1084。
接着，将在步骤201中所输入的区域编号保存到新记录的区域编号1085。接着，将在步骤201中所输入的时刻保存到新记录的出现时刻1086。另外，若从摄像机101输入其他信息(例如，包含所摄影时的天气的照明信息)，则将所输入的其他信息保存到新记录的其他属性1087。
如以上那样，根据本实施方式，通过参照人物出现数据108就能够对图像相似的人物进行判定。进而，通过参照地理数据109就能够从图像相似的人物之中确定对应人物。
(第2实施方式)在第2实施方式中，服务器102追踪人物，由此来减轻第1实施方式的图像处理(图4)。
图5是本发明第2实施方式的监视系统的构成的框图。
本发明第2实施方式的监视系统，除了服务器102中所包含的构成外，与第1实施方式的监视系统(图1)相同。对相同的构成附加相同的标号并省略说明。
在服务器102中除了第1实施方式的服务器102(图1)中所包含的构成外还包含人物检测·追踪部104及入退室管理部107。
人物检测·追踪部104对由面孔识别部106所抽取出的面孔图像进行人流追踪处理(图6)。入退室管理部107对入退室控制装置103指示门的开闭。
图6是本发明第2实施方式的服务器102的人流追踪处理的说明图。
在本说明图中，对追踪步行的人物601的处理进行说明。
摄像机101A，对人物601连续进行摄影，并将所摄影的图像输入到服务器。服务器102，由从摄像机101A所输入的图像抽取面孔图像。服务器102，基于所抽取出的面孔图像，计算人物601的移动方向及人物601的移动速度。
服务器102判定由摄像机101A所摄影的图像中的面孔图像的位置是否与所计算出的移动方向及移动速度矛盾。例如，若面孔图像的位置的移动方向与计算出的移动方向相反则判定为矛盾。另外，若面孔图像的位置的移动速度与计算出的移动速度相比过快则判定为矛盾。
若面孔图像的位置不矛盾，则服务器102判定为从连续摄影的二个图像抽取出的面孔图像是同一人物601。然后，服务器102，将该面孔图像作为人物601的信息登录到人物出现数据108。
此外，若所抽取出的面孔图像不清晰，则服务器102不在人物出现数据108登录该面孔图像。这样，由于服务器102仅将清晰的面孔图像登录到人物出现数据108，所以人物的特征被明确地存储在人物出现数据108中。如以上那样，服务器102，追踪人物601。
另一方面，若面孔图像的位置矛盾，则服务器102判定为从连续摄影的二个图像抽取出的面孔图像是不同人物602。
另外，服务器102，判定为从由别的摄像机101B所摄影的图像抽取出的面孔图像也是不同人物603的。
若服务器102判定为面孔图像是不同人物602、603的，则使用第1实施方式的图像处理(图4)，来确定该面孔图像的对应人物。
图7是本发明第2实施方式的服务器102的图像处理的流程图。
若从摄像机101输入由摄像机101所摄影的图像则服务器102开始处理(301)。此时，服务器102也可以将该图像被摄影的场所的区域编号及该图像被摄影的时刻等一并进行输入。
首先，从所输入的图像抽取面孔区域的图像(面孔图像)(302)。接着，求解所抽取出的面孔图像的尺寸。
进而，推定所抽取的面孔图像上所映出的面孔的朝向。例如，基于保存从多个角度所摄影的面孔图像的图像特征量的人物出现数据108来推定面孔的朝向。在此情况下，根据在人物出现数据108中所保存的图像特征量及在步骤302中所抽取的面孔图像的图像特征量来计算相似度。接着，确定计算出的相似度最大的图像特征量(在人物出现数据中所保存的)。然后，将所确定的图像特征量的图像被摄影的角度推定为该面孔图像上所映出的面孔。
接着，基于所求出面孔图像的尺寸及所推定的面孔朝向来计算人流追踪状况。人流追踪状况包含该面孔图像上所映出的人物的移动方向及人物的移动速度等。人流追踪状况，例如能够利用已有的图像处理(例如，参照非专利文献1)而算出。
接着，求解从摄像机101所输入的图像中的面孔区域的位置到从该摄像机101之前所输入的图像中的面孔区域的位置的变化方向及变化量。然后，参照所求出的变化方向、变化量及人流追踪状况(303)，来判定该面孔图像是否是追踪中的图像(304)。具体而言，在所求出的变化方向与人流追踪状况中所包含的移动方向一致、且所求出的变化量与人流追踪状况中所包含的移动速度不矛盾的情况下，就判定为是追踪中的图像。
若该面孔图像不是追踪中的图像，则进行人物确定处理(307)，进入步骤308。人物确定处理307与第1实施方式的图像处理(图4)的步骤203～210相同，并省略说明。
另一方面，若面孔图像是追踪中的图像，则将从拍摄了该面孔图像的摄像机101之前所输入的图像的对应人物确定为该面孔图像的对应人物(305)。
具体而言，就是检索从拍摄了在步骤201中所输入的图像的摄像机101之前所输入的图像的面孔图像数据编号。接着，确定经过检索的面孔图像数据编号与人物出现数据108的面孔图像数据编号1081一致的记录。接着，从所确定的记录中选择最高的可靠度1084。接着，将对应于所选择的可靠度1084的推定人物名1083确定为该面孔图像的对应人物。
接着，在步骤303中所求出的人物变化方向，基于人物变化量及人流追踪状况等，计算出确定的人物的可靠度。
接着，根据在步骤302中所抽取的面孔图像计算图像特征量(306)。接着，在人物出现数据108中包含人物的个人信息的情况下，基于所计算出的图像特征量来修正该个人信息的图像特征量的平均值。
接着，将有关该面孔图像的信息保存到人物出现数据108(308)。
具体而言，首先，对人物出现数据108创建新记录。接着，对所抽取出的面孔图像附与未重复的面孔图像数据编号。将已附与的面孔图像数据编号保存到新记录的面孔图像数据编号1081。
接着，将在步骤306中计算出的图像特征量保存到新记录的图像特征量1082。接着，将所确定的人物名保存到新记录的推定人物名1083。
接着，将在步骤305中计算出可靠度保存到新记录的可靠度1084。接着，将在步骤301中所输入的区域编号保存到新记录的区域编号1085。
接着，将在步骤201中所输入的时刻保存到新记录的出现日期时间1086。另外，若从摄像机101输入其他信息(例如，包含被摄影时的天气的照明信息)，则将所输入的其他的信息保存到新记录的其他属性1087。
接着，判定输入了该图像的摄像机101是否是设置在门前的摄像机101(309)。具体而言，就是判定在步骤301所输入的区域编号是否是门前的区域编号。
若是未设置在门前的摄像机101则由于不需要进行认证而结束处理。
另一方面，若是设置在门前的摄像机101，则判定是否许可在步骤305或步骤307中所确定的对应人物进入(310)。具体而言，就是通过参照保存在人物出现数据108中的认证信息，来判定是否许可对应人物进入。
若许可进入则判定在步骤305中计算出可靠度是否在阈值以上(311)。
若可靠度在阈值以上，则判定为该图像上所映出的人物是许可进入的人物，对入退室控制装置103指示门的开锁(312)。然后，结束处理。入退室控制装置103将门开锁。
另一方面，若在步骤310中判定为许可人物进入、或在步骤311中判定为可靠度小于阈值，则将该图像发送给管理者(313)。然后，结束处理。管理者，通过参照接收到的图像就能够维持该设施的安全。
接着，就将本实施方式的监视系统用于大楼等设施内的安全确保的场合进行说明。
该设施通过在设施的门及设施内的各自办公室的门进行认证来确保安全。
摄像机101使用通常的监视摄像机。另外，摄像机101主要设置在人物的流动分支的场所。人物的流动分支的场所是例如电梯的出入口、楼梯等。另外，摄像机101按视野及范围逐个设置。
接着，就针对许可进入设施的人物(登录者)的监视系统的处理进行说明。此外，登录者是正规且频繁地出入该设施的人物，例如，该设施的勤务人员等。以登录者从该设施的门前往目的办公室的场合进行说明。
监视系统，将登录者的面孔图像及设施的进入许可信息预先登录在人物出现数据108中。此外，不仅是登录者的正面的面孔图像还登录从多个方向所摄影的面孔图像。例如，将正面、右45度、右90度、左45度及左90度的五个水平方向和、正面、俯角10度及俯角45度的三个垂直方向组合而成的15幅面孔图像进行登录。
首先，登录者接近设施的门，设置于设施的门的摄像机101对登录者进行拍摄。于是，服务器102，确定从设置于设施的门的摄像机101所输入的图像上所映出的人物。在此情况下，确定为图像上所映出的人物是登录者。于是，服务器102，指示设施的门的开锁。
此外，该监视系统在需要高度的安全性的情况下，也可以一并使用其他的认证手段。其他的认证手段是例如，密码的输入、ID卡或生物测定等。
此时，服务器102，从该图像抽取面孔图像，将所抽取的面孔图像作为登录者的信息登录到人物出现数据108。
若设施的门打开，则登录者朝向目的办公室移动。处于登录者的移动路径上的摄像机101拍摄登录者，将所拍摄的图像输入给服务器102。服务器102，从所输入的图像中抽取面孔图像。接着，服务器102，追踪所抽取出的面孔图像。据此，服务器102来防止与登录者不同的人物的混入，进而能够减轻处理。
服务器102，在无法追踪的情况下，确定所抽取出的面孔图像的对应人物。例如，有登录者从设置于门的摄像机101的视野离开、进入设置于1层电梯厅的摄像机101的视野的情况。在此情况下，服务器102基于人物出现数据108的图像特征量1082，确定图像相似的人物。接着，服务器102，根据所抽取出的面孔图像计算该面孔图像上所映出的人物的移动方向及移动速度。接着，服务器102，参照计算出的移动方向、移动速度，从图像相似的人物之中确定所抽取出的面孔图像上所映出的对应人物。具体而言，服务器102就是通过判定设置于门的摄像机101和设置于电梯厅的摄像机101之间的距离及登录者的移动时间是否与计算出移动方向及移动速度矛盾来确定对应人物。此外，服务器102也可以一并参照人物出现数据108的出现日期时间1086及其他属性1087来确定对应人物。据此，就能够提高所确定的对应人物的可靠性。
另外，如果所抽取出的面孔图像清晰，则服务器102将该面孔图像作为登录者的信息登录到人物出现数据108。
接着，登录者，从1层的电梯厅移动到6层的电梯厅，之后，移动到6层的目的办公室。
服务器102判定在从设置于目的办公室之前的摄像机101所输入的图像上所映出的人物的名称。在这里，服务器102确定为图像上所映出的人物是登录者。于是，服务器102，在判断为登录者到达目的办公室的门前的时刻将目的办公室的门开锁。
如以上那样，本实施方式的监视系统能够将门开锁而不用对登录者进行有意识的认证动作。另外，本实施方式的监视系统，登录者越是频繁出现就积蓄越多的面孔图像。于是，该监视系统就能够提高认证的精度所以将增加安全性及便利性。
接着，说明针对初次来访的人物(来访者)的监视系统的处理。以来访者从该设施的门前往目的办公室的场合进行说明。
首先，来访者，在设施的门中联络管理者。若许可来访者进入设施，则管理者将设施的门开锁。另外，管理者，对服务器102输入目的办公室的区域编号。此时，设置于设施的门的摄像机101拍摄来访者，并将此图像输入到服务器102。服务器102从此所输入的图像抽取出面孔图像。然后，将从所抽取的面孔图像与从管理者所输入的区域编号一起保存到人物出现数据108。
接着，来访者朝向目的办公室移动。此时，服务器102，进行与上述针对的登录者的处理同样的处理。从而，若来访者没有弄错路径到达目的办公室，则服务器102将目的办公室的门开锁。在此情况下，对于来访者也能够不进行有意识的认证动作地进行开锁。
如果来访者弄错路径，则服务器102，检测出路径的偏离并通知给管理者。另外，服务器102也可以利用通信手段通知来访者路径的错误。据此，服务器102就能够防止来访者从路径偏离。
接着，说明针对从自己的办公室向设施内的其他场所移动的登录者的监视系统的处理。例如，有登录者从自己的办公室向用于恢复精神的公用角落移动的场合等。在以往的监视系统中每当出入办公室就需要进行认证动作。为此，以往的监视系统损失了便利性。
若登录者从办公室退室，则设置于办公室的门的摄像机101拍摄登录者，并将所拍摄的图像输入到服务器102。服务器102，从所输入的图像抽取出面孔图像，并将所抽取的面孔图像保存到人物出现数据108。若从设置于办公室的门前的摄像机101在规定的时间内输入与人物出现数据108中所保存的面孔图像相似的面孔图像则服务器102指示门的开锁。据此，就不需要每当登录者出入办公室都进行认证动作。
接着，说明被设定禁止进入区域的登录者进入此禁止进入区域的场合的处理。
服务器102，若确定为从设置于禁止进入区域的摄像机101所输入的图像的对应人物是该登录者，则判定为向禁止进入区域的侵入。服务器102若判定向禁止进入区域的侵入则通知管理者。另外，服务器102也可以利用通信手段通知登录者禁止进入。进而，服务器102也可以通过参照人物出现数据108来判定该登录者的侵入禁止进入区域的频度。在进入的频度高的情况下，服务器102将该登录者作为要注意人物通知给管理者。进而，该登录者由于在人物出现数据108中所保存的面孔图像的幅数增加，所以服务器102针对该登录者的判定的精度将提高。
通过以上的全部处理，本实施方式的监视系统就能够监视设施而不用对所有的人物有意识地进行认证动作。
接着，就将本实施的监视系统适用于住宅区的来访者告知服务的场合进行说明。
近年来，从安全性的观点出发，在街区的入口设置门，以限制来客的构造的街区不断增加。这样的街区，在街的入口有门，在各住宅也有门。因而，如果除去室内与室外的不同的话，则监视系统进行与上述适用于的设施内的安全确保的场合同样的处理。
此外，监视系统也可以将在街区的入口附近所拍摄的图像的对应人物名通知给来访对象。另外，该监视系统也可以将在街区的入口附近所摄影的图像发送给来访对象。另外，若来访者弄错路径，则监视系统也可以将路径偏离通知给来访对象。
如以上那样，适用于来访者告知服务的监视系统就能够确保街区的安全。
(第3实施方式)
在第3实施方式中，依照照明的状况来修正图像。
图8是本发明第3实施方式的监视系统的构成的框图。
第3实施方式的监视系统，除了具备照明条件数据110这一点及服务器102中所包含的构成外，与第1实施方式的监视系统(图1)相同。对相同的构成附加相同的标号并省略说明。
照明条件数据110用图9在后叙述，表示设置了摄像机101的场所中的照明的状况。在照明中包含来自太阳的外部光和来自室内的照明灯等的内部光。
在服务器102中，除了第1实施方式的服务器102(图1)中所包含的构成外还包含照明·气象状况推定部111。
照明·气象状况推定部111基于照明条件数据110修正由面孔识别部106所抽取出的面孔图像。
图9是本发明第3实施方式的照明条件数据110的构成图。
照明条件数据110包含区域编号1101、摄影状况1102、适当面孔图像数据编号1103、照明方式1104、特征量修正系数1105及前处理内容1106。
区域编号1101是对设置了摄像机101的场所唯一地进行识别的标识符。摄影状况1102是由设置于该区域的摄像机101对图像进行摄影时的状况。在本说明图中，在摄影状况1102中保存着在该图像上所映出的人物的朝向、该图像被摄影的时间带及该图像被摄影时的天气等。
适当面孔图像数据编号1103是对在该摄影状况下所摄影的图像唯一地进行识别的标识符。在适当面孔图像数据编号1103中，在符合条件的图像有多个情况下，就保存着多个标识符。
照明方式1104是在该摄影状况下所摄影的图像受影响的外部光的状况。在本说明图中，在照明方式1104中保存着外部光的种类及外部光的强度。外部光的种类例如是「顺光」、「逆光」、「右斜光」、「左斜光」或「室内」等。此外，在外部光的种类是「室内」情况下，表示该图像不受外部光的影响。另外，外部光的强度例如是「强」、「中」或「弱」等。
特征量修正系数1105是对在该摄影状况下所摄影的图像的图像特征量进行修正的系数。服务器102通过使用特征量修正系数1105来修正图像特征量来去除外部光的影响。特征量修正系数1105预先进行确定以使得多个摄像机101所摄影的面孔图像的亮度分布及颜色分布变得相同。
例如，若天气是晴天时间带为白天，则特征量修正系数1105就较大。反之，若天气是阴天时间带为夜间，则特征量修正系数1105就较小。另外窗户朝西时间带为黄昏，则特征量修正系数1105就加大对逆光进行修正的成分。
前处理内容1106是针对该摄影状况下所摄影的图像的前处理的内容。例如，在前处理内容1106中保存着「光斑」、「亮度」、「逆光」等。若抽取出面孔图像则服务器102进行对应于前处理内容1106的处理。若前处理内容1106为「光斑」，则服务器102使图像的明亮度均一。另外，若前处理内容1106为「亮度」则服务器102使图像的全体变暗。另外，若前处理内容1106为「逆光」则服务器102使图像的全体变亮。
此外，在照明条件数据110中也可以保存着与室内的照明灯等有关的信息。例如，摄影状况1102中保存室内的照明灯的有无，将特征量修正系数1105设为考虑了室内的照明灯后的值。据此，服务器102就可进行还考虑了室内的照明灯的修正。
图10A是本发明第3实施方式的照明的影响的说明图。
在这里，以具备三台摄像机101C、101D及101E的情况进行说明。
首先，照明·气象状况推定部111，取得图像被摄影时的天气及时刻。照明·气象状况推定部111，选择摄影了该图像的摄像机101的区域编号与照明条件数据110的区域编号1101一致、且所取得的天气及时刻等与摄影状况1102一致的记录。接着，从所选择的记录抽取出照明方式1104。此所抽取的照明方式1104就是该图像受影响的照明状况。
例如，在本说明图中，天气为晴天、时间是9时。
在此情况下，摄像机101C，受较强的右斜光的影响。另外，摄像机101D，受较强的逆光的影响。另外，摄像机101E被设置在不受外部光的影响的室内。
图10B是本发明第3实施方式外部光的影响的说明图。
在本说明图中天气为阴天、时间为17时。
在此情况下，摄像机101C受较弱的顺光的影响。另外，摄像机101D，受较弱的左斜光的影响。另外，摄像机101E被设置在不受外部光的影响的室内。
图11是本发明第3实施方式的服务器102的图像处理的流程图。
若从摄像机101输入由摄像机101所摄影的图像则服务器102开始处理(401)。此时，在服务器102也可以将该图像被摄影的场所的区域编号及该图像被摄影的时刻等一并进行输入。
首先，从所输入的图像抽取面孔区域的图像(面孔图像)(402)。
接着，确定所输入的图像的摄影状况(403)。摄影状况包含该图像被摄影的时间带、该图像被摄影时的天气等。具体而言，基于来自外部网络的气象信息、来自外部光传感器的亮度信息或来自管理者的输入信息，来确定图像被摄影时的天气。另外，基于从摄像机101所输入的时刻来确定图像被摄影的时间带。
接着，从照明条件数据110选择从摄像机101所输入的区域编号与照明条件数据110的区域编号一致、且所确定的摄影状况与照明条件数据110的摄影状况1102一致的记录。接着，从所选择的记录抽取出特征量修正系数1105及前处理内容1106。
接着，对该面孔图像进行与所抽取出的前处理内容1106对应的前处理。接着，从经过前处理后的面孔图像计算出图像特征量(404)。
接着，使用所抽取出的特征量修正系数1105，对计算出的图像特征量进行修正(405)。然后，进行人物确定处理(406)。人物确定处理406与第1实施方式的图像处理(图4)的步骤204～210相同，并省略说明。
如以上那样，通过对面孔图像实施与对图像进行摄影的照明的状况相应的修正，就能够提高对应人物的精度。
接着，就将本实施方式的监视系统用于街市区等的安全确保的场合进行说明。
街市区中的监视系统与设施内的监视系统同样，设置多台摄像机101。监视系统预先存储所设置的摄像机101的相对位置以及摄像机101的朝向等。摄像机101例如被设置于沿街路以一定间隔存在的防犯柱。此外，摄像机101也可以利用已设置于繁华街道的监视摄像机。
首先，就搜索特定的人物的处理进行说明。特定的人物，例如是通缉犯、迷路孩子等。
首先，监视系统从由摄像机101所摄影的图像抽取出面孔图像。接着，基于照明条件数据110，对所抽取出的面孔图像进行修正。接着，对经过修正的面孔图像进行追踪。然后，将能够追踪到的所有面孔图像确定为同一人物的面孔图像。
另外，监视系统，则无法追踪的情况下确定所摄影的面孔图像的对应人物。然后，监视系统，将所抽取出的面孔图像及与该面孔图像有关的信息对每个人物进行积蓄。
接着，监视系统，对所积蓄的所有面孔图像计算所积蓄的面孔图像与确定人物的面孔图像的吻合度。然后，若计算出的吻合度在阈值以上的存在许多则监视系统通报给管理者。
由于本实施的监视系统将各种各样的环境中的面孔图像积蓄许多，所以能够提高人物确定的精度。另外，即使与所积蓄的一部分面孔图像的吻合度高，若与所积蓄的其他面孔图像的吻合度低则不进行通报所以能够减少误报。
监视系统也可以与确定人物的搜索处理一并对人物的异常行动进行检测。例如，监视系统利用已有的图像处理技术检测出人物的异常行动。异常行动是人物长时间滞留于相同位置的场合等。监视系统若检测出异常行动则通报给管理者。另外，监视系统也可以积蓄进行了异常行动的人物的面孔图像，并确定所积蓄的面孔图像的人物。
接着，本实施方式的监视系统也能够利用于混杂检测。
通过采用根据本实施方式的监视系统的面孔识别，就能够了解多个地点的混杂状况的关系。监视系统例如判断为出现在A地点的人物的80％出现在B地点。在此情况下，管理者能够理解在到访A地点的人物与到访B地点的人物之间有较高的相关关系。
本实施方式的监视系统，伴随着人物数的增加人物的识别变得困难。但是，由于了解多个地点中的人物的关联性即可，所以即便人物识别的精度低该监视系统也能够运用。
作为权利要求的范围中所记载的以外的本发明的代表性观点可列举以下内容。
在从摄像机输入所拍摄的图像，从存储各种信息的存储部取得信息的监视装置中，上述存储部存储过去信息和地理信息，其中，所述过去信息包含与上述监视装置过去所输入的图像有关的信息，所述地理信息包含上述摄像机的位置信息；从上述所输入的图像抽取出面孔图像，根据上述所抽取出的面孔图像、求解对应于该面孔图像的人物的移动方向及移动速度；基于上述所求出的移动方向及移动速度，判定上述所抽取出的面孔图像的追踪可否进行；若可进行追踪则将该所追踪的面孔图像的人物确定为对应于上述所抽取出的面孔图像的人物；若不可追踪则基于上述过去信息，推定对应于上述所抽取出的面孔图像的人物；基于上述地理信息，从上述所推定的人物之中，确定对应于上述所抽取出的面孔图像的人物。
据此，监视装置就能够通过面孔图像的追踪处理来确定面孔图像的对应人物。进而，监视装置仅在无法进行面孔图像的追踪的情况下进行确定面孔图像的对应人物的图像处理所以能够减轻处理。
产业上的可利用性由于本发明是对摄像机所所摄影的图像中的人物进行追踪所以能够广泛适用于室内及室外的监视装置。另外，由于本发明还具备认证装置的功能，还能够作为以往的认证装置的代替来进行应用。
权利要求
1.一种监视装置，从摄像机输入所拍摄的图像，从存储各种信息的存储部取得信息，其特征在于，上述存储部存储过去信息和地理信息，其中，所述过去信息包含与上述摄像机过去所拍摄的图像有关的信息，所述地理信息包含上述摄像机进行摄影的区域信息，所述监视装置具备从上述所输入的图像抽取面孔图像，并基于上述过去信息来推定对应于上述所抽取出的面孔图像的人物的面孔识别部；和基于上述地理信息，从上述面孔识别部所推定的人物之中、确定对应于上述所抽取出的面孔图像的人物的判定部。
2.按照权利要求1所述的监视装置，其特征在于，上述过去信息包含表示上述监视装置过去抽取出的面孔图像之特征的特征量，上述面孔识别部，从上述所抽取出的面孔图像求出表示该面孔图像之特征的特征量，通过比较上述过去信息中所包含的特征量与上述所求出的特征量来推定对应于上述所抽取出的面孔图像的人物。
3.按照权利要求1所述的监视装置，其特征在于，上述地理信息包含人物在上述摄像机进行摄影的区域移动的时间，上述过去信息包含上述监视装置过去抽取出的上述面孔图像被拍摄的时刻，上述判定部，从上述过去信息中检索上述所推定的人物在此之前被拍摄的面孔图像，从上述过去信息中取得上述所检索的面孔图像被拍摄的时刻，从上述所抽取出的面孔图像被拍摄的时刻减去上述所取得的时刻，通过比较上述减法运算后的时刻差与上述地理信息中所包含的移动时间，从上述面孔识别部所推定的人物之中、确定对应于上述所抽取出的面孔图像的人物。
4.按照权利要求1所述的监视装置，其特征在于，还具备从上述所抽取出的面孔图像求出对应于该面孔图像的人物的移动方向及移动速度，并基于上述所求出的移动方向及移动速度来追踪上述所抽取出的面孔图像的追踪部。
5.按照权利要求1所述的监视装置，其特征在于，上述存储部存储包含上述面孔图像被拍摄时的照明状况的照明信息，所述监视装置具备基于上述照明信息来修正上述所抽取出的面孔图像的修正部，上述面孔识别部，基于上述修正部所修正的面孔图像来推定对应于上述所抽取出的面孔图像的人物。
6.按照权利要求1所述的监视装置，其特征在于，上述判定部，在确定对应于上述所抽取出的面孔图像的人物之际，求出表示该进行确定的人物与对应于该面孔图像的人物是同一人物的可能性的可靠度，将所求出的可靠度存储在上述过去信息中。
7.一种对设施进行监视的监视系统，具备一台以上的摄像机；存储各种信息的存储装置；以及从摄像机输入所拍摄的图像、从上述存储装置取得信息的监视服务器，所述监视系统的特征在于，上述存储装置存储过去信息和地理信息，其中，所述过去信息包含与上述摄像机过去所拍摄的图像有关的信息，所述地理信息包含上述摄像机进行摄影的区域信息，上述监视服务器具备从上述所输入的图像抽取面孔图像，并基于上述过去信息来推定对应于上述所抽取出的面孔图像的人物的面孔识别部；和基于上述地理信息，从上述所推定的人物之中、确定对应于上述所抽取出的面孔图像的人物的判定部。
8.按照权利要求7所述的监视系统，其特征在于，所述监视系统具备对设施的出入口的开闭进行控制的入退室控制装置，上述存储装置存储包含人物是否被许可进入设施的信息的认证信息，上述判定部基于上述认证信息来判定上述所确定的人物是否被许可进入设施，上述入退室控制装置进行控制，以使得当上述判定部判定为是被许可进入设施的人物时，打开设施的出入口。
9.按照权利要求7所述的监视系统，其特征在于，上述监视服务器具备从上述所抽取出的面孔图像求出对应于该面孔图像的人物的移动方向及移动速度，并基于上述所求出的移动方向及移动速度来追踪上述所抽取出的面孔图像的追踪部，上述判定部将上述所追踪的面孔图像的人物确定为对应于上述所抽取出的面孔图像的人物。
全文摘要
本发明提供一种即使是人物的正面面孔以外的图像也能够进行认证、且能够高精度地进行认证的监视装置，该监视装置从摄像机输入所拍摄的图像，从存储各种信息的存储部取得信息，其特征在于，上述存储部存储过去信息和地理信息，其中，所述过去信息包含与上述监视装置过去所输入的图像有关的信息，所述地理信息包含上述摄像机的位置信息；从上述所输入的图像抽取面孔图像，并基于上述过去信息来推定对应于上述所抽取出的面孔图像的人物；基于上述地理信息，从上述面孔识别部所推定的人物之中、确定对应于上述所抽取出的面孔图像的人物。
文档编号H04N5/76GK1819652SQ20051008972
公开日2006年8月16日 申请日期2005年8月5日 优先权日2005年2月9日
发明者森靖英 申请人:株式会社日立制作所