查询系统、成像装置、查询装置、信息处理方法及其程序的制作方法

文档序号:6611295阅读:180来源:国知局
专利名称:查询系统、成像装置、查询装置、信息处理方法及其程序的制作方法
技术领域
本发明涉及一种查询系统、成像装置以及查询装置,该查询系统被配置为使得成像装置与查询装置能够相互通信。另外,本发明涉及一种在成像装置和查询装置中的信息处理方法及其程序。
背景技术
本发明的相关技术的示例包括JP-A-2003-274358、JP-A-2003-274359、JP-A-2003-274360、以及JP-A-2002-314984。
在警察组织、安全公司、私人侦探公司等中,搜寻人员或者注意某人是主要职责之一。示例为搜寻通缉人员或失踪人员以及确定可疑人员。

发明内容
例如,当考虑到警察等在巡逻时搜寻人的情况时,过去就会存在下面的问题。
一般地,警察等通过使用失踪人员或通缉人员的面部照片来记住要搜寻的面部,或者在巡逻时携带照片。
但是,对于各人而言在记住面部方面存在能力差异,并且因此会存在许多记忆不清楚的情况。另外,携带的照片的数量也是有限的。
此外,由于警察的巡逻不仅仅是要搜寻特定的人员,而且还要维护地区安全,因此无法确切地确定警察在巡逻时仅仅专注于搜寻人。另外,即使当警察带着照片时,他也无法仅仅注意照片。
另外,由于人的外貌可以根据头发长度及发型、戴眼镜、或头饰而显著地改变,因此即使当警察在巡逻中与偶遇该人时,警察也可能不会注意到该人。
另外,即使当警察偶遇与所记住的面部类似的人员、或者保存照片中的人员时,身份的确认也是模糊的,并且因此就会存在许多无法立即确定某人是否与目标人员相同的情况。
这里,作为用于查询某人是否是失踪人员或者通缉人员的技术,可以考虑使用摄像机装置的方法。例如,警察等在巡逻期间带着摄像机装置。该摄像机具有网络通信功能,从而它可以与警察局的总部系统等进行通信。
警察等在巡逻时使用摄像机装置来拾取人的图像,并将所拾取的图像传送给总部系统。总部系统将所传送的图像(面部照片)与失踪人员或通缉人员等的保存照片进行比较,以将图像上人的身份确定为与保存照片对应的人员之一,并将确定的结果传送给警察等。
因此,由于身份确定不仅仅依赖于巡逻警察的个人记忆或者确定能力,因此可以提高身份确定的准确性。
但是,在上述的系统中还存在下面的问题。
首先,由于具有通信功能的摄像机装置的数据处理能力、或者所使用的通信网络的传送能力或阻塞,将拾取的图像传送至总部系统可能被显著地延迟,或者只有低图像质量的图像可以被传送。另外,还存在如下情况由于无法传送具有令人满意的质量的图像,因此需要再次拾取图像并重新传送。
另外,由于总部系统方的工作人员应该通过将该图像与照片等进行比较来确定所传送的图像是否与目标人员相同,因此进行该确定需要花费时间并且该确定也不总是正确的。由于与上述的警察现场确定一样的外貌的变化或者不足的图像质量,该确定可能是模糊的。
此外,对于传送或确定,尤其是在紧急情况下,而花费时间是不可取的。例如,存在的问题在于,要为了确定可能逃跑的通缉人员的身份而花费时间。
在这一观点上,还没有实现对于搜寻人有用的有效技术或系统。因此,希望提供一种对于搜寻人有用的有效系统。
根据本发明的实施例,提供了一种对于搜寻人有用的查询系统。
根据本发明实施例的查询系统包括便携式成像装置以及查询装置,其中该查询装置能够与成像装置进行双向通信。
作为查询系统的组成部分的成像装置包括成像单元,用于拾取图像数据;通信单元,用于与所述查询装置进行通信;面部特征数据生成器,用于从由成像单元拾取的图像数据中提取面部图像,并根据所提取的面部图像生成面部特征数据;传送信息生成器,用于生成包括面部特征数据的查询信息,并通过使用该通信单元而将查询信息传送给查询装置;以及呈现处理器,用于响应于通过使用通信单元而接收到从查询装置传送的查询结果信息,根据该查询结果信息执行呈现处理。
在该成像装置中,该面部特征数据可以是面部组成部分的相对位置信息。
在该成像装置中,该传送信息生成器可以生成包括分配给图像数据的图像识别信息的查询信息,其中由面部特征数据生成器从该图像数据中提取面部图像。
在该成像装置中,该传送信息生成器生成可包括分配给面部图像的面部识别信息的查询信息,其中由面部特征数据生成器从图像数据中提取该面部图像,并且该面部识别信息与该面部特征数据相关连。
在该成像装置中,该传送信息生成器生成可还包括位置检测器,用于检测位置信息,并且其中该传送信息生成器可以生成包括位置信息的查询信息,该位置信息作为用于拾取由位置检测器检测到的图像数据的位置。
该成像装置还可以包括个人信息输入单元,用于输入个人信息,并且该传送信息生成器可以生成包括由面部特征数据生成器生成的面部特征数据的登记信息、以及通过个人信息输入单元输入的个人信息,并通过使用通信单元而将所生成的登记信息传送给查询装置。
所述成像装置还可以包括记录和再现单元,用于对记录介质执行记录和再现,并且该记录和再现单元可以将由面部特征数据生成器从其中提取面部图像的图像数据记录在记录介质中。
在这个情况中,该记录和再现单元可以将由面部特征数据生成单元从其中提取面部图像的图像数据和分配给该图像数据的图像识别信息一起记录在记录介质中。
此外,所述记录和再现单元可以将由面部特征数据生成器从其中提取面部图像的图像数据和面部识别信息相关信息一起记录在记录介质中,其中该面部识别信息相关信息将分配给包括在图像数据中的面部图像的面部识别信息与该面部图像在图像数据中的位置相关联。
在所述成像装置中,该呈现处理器可以对包括在查询结果信息中的个人信息执行呈现处理。
此外,该呈现处理器根据包括在查询结果信息中的图像识别信息,对由记录和再现单元从所述记录介质中读取的图像数据执行呈现处理。
此外,该呈现处理单元可以在由记录和再现单元从记录介质中读取的图像数据中指明了目标面部图像的情况下,根据包括在查询结果信息中的面部识别信息以及面部识别信息相关信息,对图像数据执行呈现处理。
此外,该呈现处理单元可以对包括在查询结果信息中的位置信息执行呈现处理。
在所述成像装置中,该呈现处理器可以根据由位置检测器检测到的当前位置信息而生成指明由包括在查询结果信息中的位置信息表示的位置的相对位置信息,并对该相对位置信息执行呈现处理。
在所述成像装置中,通信单元还可以包括接收通知单元,用于通知所述通信单元已经接收到了查询结果信息,并且该接收通知单元可以根据包括在查询结果信息中的登记类型信息来选择通知模式,以通知该查询结果信息的接收。
作为该查询系统的组成部分的该查询装置包括通信单元,用于与该成像装置进行通信;面部数据库,其中登记了个人信息连同面部特征数据;查询处理器,用于响应于通过使用通信单元接收到从成像装置传送的查询信息,使用包括在该查询信息中的面部特征数据来搜索所述面部数据库,以及传送信息生成器,用于生成包括由查询处理器在面部数据库中找到的个人信息的查询结果信息,并通过使用通信单元将该查询结果信息传送给成像装置。
在所述查询装置中,该面部特征数据可以是面部组成部分的相对位置信息。
在所述查询装置中,该传送信息生成器生成包括图像识别信息的查询结果信息,该图像识别信息包括在查询信息中。
在所述查询装置中,该传送信息生成器可以生成查询结果信息,在该查询结果信息中由查询处理器找到的个人信息与包括在接收到的查询信息中的面部识别信息相关联。
所述查询装置还可以包括其中存储地图信息的地图数据库,并且该传送信息生成器可以使用包括在接收到的查询信息中的位置信息搜索所述地图数据库,并根据该搜索结果生成位置信息作为文本数据或图像数据,以便生成包括所生成的位置信息的查询结果信息。
在所述登记数据库中,登记类型信息可以与个人信息和面部特征数据一起来记录,并且该传送信息生成器可以生成包括登记类型信息的查询结果信息。
所述查询装置还可以包括登记处理器,用于响应于包括面部特征数据以及个人信息的登记信息的接收,将包括在该登记信息中的面部特征数据与个人信息相关联,并将该面部特征数据以及个人信息登记在面部数据库中。
作为根据本发明实施例的处理信息的方法,使用成像装置处理信息的方法包括如下步骤拾取图像数据;从通过图像数据的拾取而拾取的图像数据中提取面部图像,并根据所提取的面部图像而生成面部特征数据;生成包括面部特征数据的查询信息并将该查询信息传送给查询装置;以及响应于从查询装置传送的查询结果信息的接收,根据该查询结果信息执行呈现处理。
作为根据本发明另一实施例的处理信息的方法,使用查询装置处理信息的方法包括如下步骤响应于从成像装置传送的查询信息的接收,使用包括在该查询信息中的面部特征数据对其中登记有个人信息以及面部特征数据的面部数据库进行搜索,以及生成包括通过对面部数据库进行搜索而在该面部数据库中找到的个人信息的查询结果信息,并将该查询结果信息传送给成像装置。
根据本发明实施例的程序就是实现使用成像装置处理信息的方法的程序以及实现使用查询装置处理信息的方法的程序。
根据上述本发明的实施例,例如,警察等在巡逻时佩戴该成像装置。成像装置在例如每个预定的间隔拾取图像。当一个人的面部包括在该所拾取的图像数据中时,成像装置从该面部图像中生成面部特征数据,并将包括该面部特征数据的查询信息传送给查询装置。
当查询装置接收查询信息时,查询装置使用包括在查询信息中的面部特征数据搜索该面部特征数据库。接着,查询装置生成包括被搜寻人员的个人信息的查询结果信息并将该查询结果信息传送给成像装置。在接收到查询结果信息时,成像装置向持有成像装置的警察等呈现查询结果信息的内容,例如个人信息。
在该系统的操作中,成像装置与查询装置之间的传送数据不包括图像数据本身。换言之,可以使得传送数据的数据大小远远小于传送图像数据的情况。另外,由于查询装置根据面部特征数据进行自动搜索,因此可以迅速和正确地执行查询处理,以便能够将查询结果通知给成像装置一侧,即警察等。
用于查询处理的面部特征数据例如是诸如眼睛、鼻子和嘴的面部组成部分的相对位置信息,并且该相对位置对于一个人而言是唯一的,并且不会受到诸如发型或眼镜的附属物的影响。另外,已知的是,面部组成部分的相对位置不会随着年龄发生变化。
根据本发明的实施例,即使当警察等对目标人员的面部没有清楚的记忆、身上没带照片、难以确定目标人员、或者不知道要搜寻的人时,该警察等也可以获取关于该搜寻目标人员的信息。这是因为警察等佩戴的成像装置根据来自查询装置的查询结果信息而呈现信息。因此,佩戴有该成像装置的警察等可以根据适当信息采取适当的行动。例如,警察可以采取保护失踪人员、拘捕通缉人员等适当的行动作为反应。
此外,虽然成像装置传送包括面部特征数据而不是图像数据的很小的查询信息,但是通过基于查询装置中的面部特征数据对面部数据库进行搜索,可以在成像之后很短的时间内根据查询结果信息进行显示,并且从而可以在巡逻期间对现场情况作出快速反应。
另外,通过使用面部特征数据,可以准确地执行身份确定。当然,与传送面部图像本身的情况不同,不会出现图像质量的问题或难于确定。
由于上述的优点,本发明的实施例对于搜寻人等可以是非常有用的。


图1为示出根据本发明实施例的查询系统的示意图;图2为示出根据本发明实施例的成像装置的外形的图;图3为示出根据本发明实施例的使用成像装置的方法的图;图4为示出根据本发明实施例的成像装置的视角的图;图5为示出根据本发明实施例的成像装置的配置的框图;图6为示出根据本发明实施例的实现查询装置的计算机系统的框图;图7为示出根据本发明实施例的查询装置的功能配置的框图;图8A为示出根据本发明实施例的面部数据库的结构的表;图8B为示出根据本发明实施例的面部组成部分的相对位置的图;
图9为根据本发明实施例的登记处理I的流程图;图10为根据本发明实施例的登记处理II的流程图;图11为根据本发明实施例的成像装置的查询信息的传送处理的流程图;图12A、12B以及12C为由根据本发明实施例的成像装置拾取的图像;图13A和13B为用于描述由根据本发明实施例的成像装置执行的面部提取处理的图;图14为示出根据本发明实施例的查询信息的结构的图;图15为示出根据本发明实施例的图像文件记录的图;图16A和16B为用于描述根据本发明实施例的FID相关信息的图;图17为根据本发明实施例的查询装置的查询处理的流程图;图18A和18B为示出根据本发明实施例的查询结果信息的结构的图;图19为根据本发明实施例的成像装置的查询结果信息的接收处理的流程图;图20A和20B为根据本发明实施例的用于根据查询结果信息来描绘显示的图。
具体实施例方式
下文中,将按照如下的顺序对本发明的实施例进行描述。
1.查询系统的示意性配置2.成像装置的配置3.查询装置的配置4.面部数据库的登记处理5.成像装置的成像操作以及查询信息传送6.处理查询装置的查询7.成像装置在接收到查询结果信息时的处理8.实施例以及修改示例的优点1.查询系统的示意性配置图1为示出根据本发明实施例的查询系统的示意图。在该实施例中,示出了实现该查询系统的示例,例如适用于安全或警察,更具体地,用于搜寻失踪人员或通缉人员。
该查询系统例如包括成像装置1,其由巡逻警察佩戴;以及查询装置50,其用在警察局的总部中。
该成像装置1包括摄像机单元2和控制单元3,它们被配置成单独的主体。摄像机单元2和控制单元3通过线缆4彼此连接,以便在它们之间进行信号传送。
如图所示,摄像机单元2被放置在用户的肩上。控制单元3是以可以放置在用户的腰上、放置在衣服的口袋中等的形式,使得用户在移动时不需要使用他的手就可以拾取图像。
成像装置1(控制单元3)可以通过网络90与查询装置50进行双向通信。
作为网络90,可以使用诸如互联网或蜂窝电话网络的公共网络。但是,在用于警察机关的情况下,可以配置专用网络。
虽然图1中示出由一个警察佩戴成像装置1,但是例如,该成像装置1也可以相应地由多个警察佩戴。在这种情况下,每个成像装置1都可以通过网络90与查询装置50进行通信。
该查询装置50包括将在后面描述的面部数据库,该面部数据库记录有需要搜寻的人员,包括失踪人员和通缉人员。查询装置50使用面部数据库处理查询。
查询系统的操作如下。
如图所示,警察在巡逻时等情况中佩戴成像装置1。成像装置1以每个规则间隔(例如一至几秒钟)自动地拾取图像。以每个规则间隔的成像就是要获取用于生成查询信息的图像。作为实际操作,可以输入在每个预定间隔的一帧图像作为目标,同时由捕获运动图像的成像元件等连续地检测对象的图像。
当人员面部的图像被包括在所输入的拾取图像数据中时,成像装置1根据面部图像生成面部特征数据,并将包括面部特征数据的查询信息传送给查询装置50。
当查询装置50从成像装置1接收查询信息时,查询装置50使用包括在查询信息中的面部特征数据对面部特征数据库进行搜索。在面部数据库中,已经登记了对应于该面部特征数据的个人信息。当通过搜索面部数据库找到了特定人员的个人信息时,该查询装置50生成包括所找到的个人信息的查询结果信息,并将该查询结果信息传送给成像装置1。
在接收该查询结果信息时,成像装置1将该个人信息以及相关信息作为查询结果的内容提供给具有该成像装置1的警察。例如,对该信息进行显示,以使警察注意到。
例如,如图1中所示,假设警察在巡逻中遇到了一儿童。在这种情况下,通过成像装置1拾取该儿童的面部图象,并将包括该面部特征数据的查询信息传送给查询装置50。
当该儿童被登记为失踪人员时,查询装置50将包括该个人信息的查询结果信息传送给成像装置1。然后,成像装置1根据该查询结果信息来显示信息。因此,警察可以知道该儿童就是要被搜寻的作为失踪人员的目标,使得该警察可以采取诸如保护该儿童或者与他的父母联系等适当的行动。
2.成像装置的配置图2为示出根据本发明实施例的成像装置1的示范外形的图。
如上所述,成像装置1具有如下配置摄像机单元2和控制单元3通过线缆4彼此连接,以便在它们之间传送信号。如图3所示,例如,摄像机单元2被用户佩戴在肩上,而控制单元3被附加在用户的腰上或被放在衣服的口袋中。
可以使用各种技术来将摄像机单元2佩戴在肩上。虽然这里没有对该技术进行详细描述,但是可以在用户的衣服(防弹衣等)上形成保持该摄像机单元2的底座部件23的器件、或者可以使用穿用带等,使得该摄像机单元2可以佩戴在肩上。
摄像机单元2可以被附属在用户头盔的顶部或侧面,或者佩戴在胸部或胳膊上,但是由于即使是在用户走动时肩膀也只会有极少抖动的一部分,因此肩膀是佩戴拾取图像的摄像机单元2的最佳地方。
如图2中所示,摄像机单元2包括两个摄像机部件,即前部摄像机部件21a和后部摄像机部件21b。另外,摄像机单元2包括分别对应于前部摄像机部件21a和后部摄像机部件21b的前部麦克风22a和后部麦克风22b。
在图3所示的佩戴状态下,前部摄像机部件2 1a拾取用户的前侧图像,而后部摄像机部件21b拾取用户的后侧图像。
由于前部摄像机部件21a和后部摄像机部件21b分别包括广角光学透镜,因此如图4所示,用于拾取图像的视角是相对宽的角度。通过调整前部摄像机部件21a和后部摄像机部件21b,该摄像机单元可以拾取用户周围几乎所有的图像。
在图3所示的佩戴状态中,前部麦克风22a在用户的前方具有很高的方向性,并且收集与前部摄像机部件21a拾取的场景对应的声音。
在图3所示的佩戴状态中,后部麦克风22b在用户的后方具有很高的方向性,并且收集与后部摄像机部件21b拾取的场景对应的声音。
作为拾取前部摄像机部件21a和后部摄像机部件21b的图像的相应范围的前部视角和后部视角可以基于所使用的透镜系统等的设计而被设计为具有各种数量。可以基于成像装置1被使用的情况来设置视角。当然,前部视角和后部视角不需要是同样的,并且对于某些类型的摄像机单元来说,该视角可以被设计得比较窄。
类似地,可以根据使用来对前部麦克风22a和后部麦克风22b的方向性进行各种设计。例如,可以使用其中放置有一个无方向性麦克风的配置。
控制单元3包括将摄像机单元2拾取的图像的视频信号(以及音频信号)存储在存储卡5中的记录功能、与查询装置50进行数据通信的通信功能、以及诸如显示操作的用户接口功能等。
例如,在控制单元3的前侧,形成了包括液晶面板等的显示部件11。
另外,在适当位置上形成通信天线12。
另外,形成用于插入存储卡5的卡槽13。
另外,形成用于输出电子声音或语音的语音输出部件(扬声器)14。
尽管未示出,但是也可以提供头戴送受话器连接端以及线缆连接端,该线缆连接端用于根据预定的传送标准(例如USB或IEEE 1394)从/向信息装置传送数据。
作为用于用户操作的操作部件15,包括各种按键、滑动开关等。当然,也可以使用诸如轻推标度盘或跟踪球的操作部分。
该操作部件15例如可以具有如下配置可以通过操作显示部件11的显示屏幕上的光标来进行各种操作输入,例如光标键、回车键、或取消键,用于使得用户能够输入各种操作。作为选择,操作部件15可以具有如下配置其中提供有用于成像开始、成像停止、模式设置、电源开/关、以及其他基本操作的专用键。
例如,如图3中所示,通过用户佩戴根据如上所述由摄像机单元2和控制单元3构成的示例的成像装置1,可以进行几乎无法识别出的不用手的成像。因此,当安全保卫人员或警察在进行其他操作的同时拾取周围场景、或者在巡逻中拾取图像时,这种佩戴成像装置的方式是优选的。
在图5中,示出了该成像装置1的内部配置。
如上所述,摄像机单元2包括前部摄像机部件21a和后部摄像机部件21b。前部摄像机部件21a和后部摄像机部件21b分别包括成像光学透镜系统;透镜驱动系统;以及由CCD传感器或CMOS传感器形成的成像装置部分。
用于由前部摄像机部件21a和后部摄像机部件21b拾取的图像的光分别被内部成像元件部分转化为成像信号。对该成像信号进行预定的信号处理(诸如增益控制),并通过线缆4将该成像信号提供给控制单元3。
另外,通过线缆4将由前部麦克风22a和后部麦克风22b拾取的语音信号提供给控制单元3。
在控制单元3中,控制器(CPU中央处理单元)40控制全部操作。控制器40响应于操作程序或来自操作部件15的用户操作而控制每个单元,以进行后面描述的各种操作。
存储器部件41是用于存储在控制器40中执行的程序代码、或临时存储用于执行操作的数据的存储器装置。在图中,存储器部件41包括易失性存储器和非易失性存储器。例如,存储器部件41包括ROM(只读存储器),用于存储程序;RAM(随机存取存储器),用于存储操作工作区或各种临时存储;以及非易失性存储器,诸如EEP-ROM(电可擦除可编程只读存储器)。
通过线缆4,从摄像机单元2传送的由前部摄像机部件21a拾取的图像信号和由前部麦克风22a生成的语音信号被输入给图像/语音信号处理部件31a。
另外,由后部摄像机部件21b拾取的图像信号以及由后部麦克风22b生成的语音信号被输入给图像/语音信号处理部件31b。
图像/语音信号处理部件31a和31b对该输入图像信号(以及语音信号)执行图像信号处理(亮度处理、颜色处理、校正处理等)或语音信号处理(均衡、电平调整等),以便生成图像数据和音频数据,作为由摄像机单元2拾取的信号。
响应于用户的操作(诸如拍照)、或者自动地(例如以预定的时间间隔顺序地输入一帧图像数据),可以在输入一帧图像数据时执行成像操作。
已经由图像/语音信号处理部件31a和31b处理的图像数据被提供给图像分析部件32以及记录和再现处理部件33,例如,作为一帧图像数据(静止图像数据)。可以响应于用户的操作(例如快门操作)、或者可以以预定的时间间隔自动地将该图像数据提供给图像分析部件32以及记录和再现处理部件33。
在将在后面描述的如图10中所示的登记处理中,响应于用户的操作将一页(一帧)图像数据提供给图像分析部件32。
在警察的巡逻等中自动地执行后面描述的图11的查询信息传送处理。这时,以每个预定的时间间隔将一帧图像数据提供给图像分析部件32。在这种情况下,可以在每个预定的时间间隔依次将由前部摄像机部件21a拾取的图像数据和由后部摄像机部件21b拾取的图像数据提供给图像分析部件32。
图像分析部件32对已经被图像/语音信号处理部件31a和31b处理的所提供的图像数据执行分析。
图像分析部件32执行如下处理从图像数据中提取出人的面部图像作为目标对象,以及根据所提取的面部图像生成面部特征数据。
记录和再现处理部件33执行如下处理将已经由图像/语音信号处理部件31a和31b处理的、各自所提供的拾取图像数据记录在记录介质5(插入在如图1中所示的存储器卡槽13中的存储卡)中作为图像文件,或者根据控制器40的控制读出记录在存储卡5中的图像文件。
在记录图像数据过程中,记录和再现处理部件33根据预定的压缩方法对该图像数据进行压缩处理,或者以用于在存储卡5中进行记录的记录格式进行编码处理。另外,记录和再现处理部件33形成包括与图像ID(下文中,称为PID画面ID)或者面部ID有关的信息的图像文件,其中该图像ID被分配给每个所拾取的图像数据,而该面部ID被分配给图像数据中的每个面部图像。
在再现过程中,记录和再现处理部件33从所记录的图像文件中提取出各种信息、或者对图像数据进行解码。
ID生成部件45生成PID和FID。生成的PID作为图像数据的特定识别信息,其中根据图像分析部件32的分析结果(面部提取的结果)从该图像数据中提取出面部图像。另外,生成FID作为图像数据中每个面部图像的特定识别信息。
所生成的PID和FID被提供给记录和再现处理部件33和传送数据生成部件42。
传送数据生成部件42生成将要传送到查询装置50的数据分组。换言之,生成数据分组作为登记信息或查询信息。登记信息或查询信息包括由图像分析部件32生成的面部特征数据、PID、FID等,以形成信息包。
传送数据生成部件42将该数据分组作为登记信息或查询信息提供给用于传送处理的通信部件34。
通信部件34通过网络90与查询装置50进行通信。
通信部件34执行对于由传送数据生成部件42生成的登记信息或查询信息的传送处理而言可能需要的调制处理或放大处理,并从天线12无线地传送处理后的信息。
另外,通信部件34接收并解调从查询装置50传送来的数据,并将所接收到的数据提供给接收数据处理部件43。
接收数据处理部件43对从通信部件34接收的数据执行缓冲处理、分组解码处理、信息提取处理等,以便将所接收到的数据的内容提供给控制器40。
显示数据生成部件44根据控制器40的指令(direction)生成显示数据,作为将要在显示部件11中显示的内容。
当从查询装置50传送查询结果信息时,控制器40根据该查询结果信息将该数据内容作为要被显示的图像或文本指令给显示数据生成部件44。显示数据生成部件44基于所生成的显示数据来驱动显示部件11,以便执行显示操作。
另外,显示数据生成部件44根据控制器40的指令进行如下处理显示操作菜单或操作状态,显示已经从存储卡5中再现的图像,以及监视由前部摄像机部件21a和后部摄像机部件21b拾取的图像信号的显示,但图5中省略了该信号路径。
语音输出部件14包括语音信号生成部分,用于生成诸如电子声音或语音消息的语音信号、放大电路部分、以及扬声器。语音输出部件14根据控制器40的指令而输出可能要求的语音。例如,语音输出部件14以各种动作或操作输出语音消息或报警声音,或者输出用于通知用户来接收该查询结果信息的接收通知声音。
另外,虽然图5中省略了信号的路径,但是通过将由前部麦克风22a和后部麦克风22b收集的语音信号提供给用于输出的语音输出部件14,可以输出成像中的监视语音等。
非语音通知部件35根据控制器40的指令,例如,以除了语音以外的格式将用于接收查询信息的接收通知通知给用户。例如,非语音通知部件35包括振动器,并通过该振动器的震动将查询信息的接收通知给佩戴该成像装置1的用户(警察)。
如参照图2所描述的,操作部件15是用于各种操作的操作器件,其被放置在控制单元3的壳体上。例如,控制器40在显示部件11中显示各种操作的菜单,并且用户通过使用操作部件15来操作光标或回车键而在菜单上输入操作。控制器40根据用户的操作、使用操作部件15来执行预定的控制。例如,可以根据用户的操作执行各种控制,用于开始/停止成像操作,操作模式,记录和再现,通信等。
当然,操作部件15可以不是与显示部件11中的操作菜单对应的操作器件,并且例如,可以被提供为成像键、停止键、模式键等。
位置检测部件36包括GPS天线和GPS解码器。位置检测部件36接收来自GPS(全球定位系统)卫星的信号,对所接收到的信号进行解码,并输出纬度和经度作为当前位置信息。
控制器40可以根据从位置检测部件36传送的纬度和经度来获取当前位置。控制器40可以将包括在数据分组中的当前位置信息提供给传送数据生成部件42作为查询信息,并可以将包括在该查询结果信息中的位置信息与当前位置信息进行比较。
外部接口与外部装置连接,用于进行各种通信。例如,该外部接口可以根据诸如USB或IEEE 1394的预定接口标准执行与外部装置的通信。例如,可以执行用于升级控制器40的操作程序而进行的加载、将再现的数据从存储卡5传送给外部装置、以及在后面描述的记录处理中的各种信息输入。
根据上述配置,可以在成像装置1中执行登记处理、查询信息的传送处理、以及查询结果信息的接收处理,这些都将在后面描述。因此,控制器40控制摄像机单元2和图像/语音信号处理部件31a和31b的成像操作、记录和再现部件33的记录和再现操作、记录和再现处理部件33的操作、图像分析部件32的面部提取以及面部特征数据生成的操作、用于生成传送数据生成部件42的登记信息和查询信息的操作、通信部件34的通信操作、显示数据生成部件44的显示数据生成操作、以及语音输出部件14和非语音通知部件35的操作。
虽然作为示例而将该示例中的成像装置1按照如上所述进行配置,但是可以被配置为如下的修改示例。
图5中所示的作为配置元件的每个块并不是实质元件,并且附加元件可以被添加到该配置中。
如图5中所示,虽然图像分析部件32、ID生成部件45、传送数据生成部件42、接收数据处理部件43、以及显示数据生成部件44可以分别被配置为除了控制器40(CPU)以外的单独电路部件,其中它们分别是由硬件实现的,但是每个部件的处理可以被实现为软件的操作处理、或者由在控制器40中包括的软件程序实现的功能。
另外,图2中所示的摄像机单元2和控制单元3的外形当然是根据一个典型实施例的,而实际配置的用户接口、显示排列、外壳形状等的操作器件并不限于此。当然,根据配置的差异,可以采用任何变化的形状。
虽然在实施例中摄像机单元2和控制单元3与线缆4连接,但是可以通过使用电波或红外线的发射器来无线地传送所拾取的图像信号或语音信号。
作为选择,摄像机单元2和控制单元3可以形成在一起作为一个结构,而不是图1中所示的分离结构。
另外,显示部件11可以形成为单独的壳体,并且考虑到警察等的可视性,例如,可以使用腕表型显示部件或者该控制单元3可以为腕表型。
在该示例中,包括前部摄像机部件21a和后部摄像机部件21b,但是可以包括至少一个摄像机部件。
可以包括三个或更多的摄像机部件。
可以包括与所配置的两个或三个或更多摄像机的每一个对应的每个麦克风,并且作为选择,可以对全部或部分摄像机部件使用公共麦克风。当然,可以包括至少一个麦克风。
另外,对于为一个或多个全部或部分摄像机部件,可以形成一个或多个摇摆倾斜机构,以便于能够将成像方向改为向下或者向左/右。
可以根据用户的操作执行摇摆和倾斜操作,或者可以通过控制器40的控制自动地执行摇摆和倾斜操作。
尽管在该示例中,存储卡5被用作记录介质的示例,但是记录介质并不限于存储卡5,并且,例如,在记录和再现处理部件33中可以建立HDD(硬盘驱动器),或者可以使用诸如光盘或光磁盘的介质。当然,磁带介质也可以被用作记录介质。
3.查询装置的配置下文中,参照图6和7来描述查询装置50的配置。可以通过使用个人计算机或计算机系统作为工作站而用硬件来实现该查询系统50。首先,将参照图6来描述可以被用作查询装置50的计算机系统100的配置,并参照图7来描述作为查询装置50的功能性配置。
图6为示出计算机系统100的示范硬件配置的示意图。如图所示,计算机系统100包括CPU 101、存储器102、通信单元(网络接口)103、显示器控制器104、输入装置接口105、外部装置接口106、键盘107、鼠标108、HDD(硬盘驱动器)109、介质驱动器110、总线111、显示器装置112、扫描仪113、以及存储卡槽114。
CPU 101是计算机系统100的主控制器,其被配置成在操作系统(OS)的控制下执行各种应用程序。例如,当计算机系统100被用作查询装置50时,由CPU 101来执行实现如下单元的、将在后面参照图7进行描述的功能的应用程序,所述单元为接收数据处理单元51、登记数据生成单元52、登记处理单元53、查询处理单元54、以及传送数据生成单元55。
如图中所示,CPU 101通过总线111与其他装置(将在后面描述)连接。为总线111上的每个装置分配适当的存储器地址或I/O地址,并且CPU 101可以通过该地址对其他装置进行访问。总线111的示例是PCI(外设部件互连)总线。
存储器102是用于存储CPU 101执行的程序代码或者临时存储执行中的工作数据的存储装置。在图中,存储器102包括易失性存储器和非易失性存储器二者。例如,存储器102包括ROM,用于存储程序;RAM(随机存取存储器),用于存储操作工作区或各种临时存储;以及诸如EEP-ROM的非易失性存储器。
通信单元103可以将计算机系统100与网络90连接,其中该网络90使用诸如“ETHERNET(注册商标)”的预定协议而通过互联网、LAN(局域网)、专用线路等与成像装置1进行通信。一般地,作为网络接口的通信单元103被提供作为LAN适配器卡,并被插入到主板(未示出)的PCI总线槽中。作为选择,通信单元103可以通过调制解调器(未示出)而不是网络接口与外部网络连接。
显示器控制器104是专用控制器,用于实际执行CPU 101发出的绘图命令。例如,显示器控制器104支持与SVGA(超级视频图形阵列)或XGA(扩展图形阵列)对应的位图绘图命令。例如,已经由该显示器控制器104处理的绘图数据被临时写入到帧缓冲器(未示出)中,并被输出给显示器装置112的屏幕。显示器装置112的示例是CRT(阴极射线管)显示器或液晶显示器。
输入装置接口105是用于将诸如键盘107或鼠标108的用户输入装置连接到计算机系统100的装置。换言之,由计算机系统100中的键盘107和鼠标108执行输入操作或者面部数据库的登记操作,其中该输入操作可能是警察局中负责该查询装置50的操作者等的操作所要求的。
外部装置接口106是用于将诸如HDD(硬盘驱动器)109、介质驱动器110、扫描仪113、以及存储器卡槽114之类的外部装置连接到计算机系统100的装置。例如,该外部装置接口106基于诸如IDE(集成器件电子技术)或SCSI(小型计算机系统接口)的接口标准。
HDD 109是公知的外部存储器装置,其包括作为记录介质的固定磁盘,并且在存储量或数据传送速度方面具有比其他外部存储器装置更好的特性。将软件程序放在可执行状态中的HDD 109中被称为将程序“安装”到系统中。一般地,将CPU 101实行的操作系统的程序代码、应用程序、装置驱动器等非易失性地存储在HDD 109中。
例如,由CPU 101实行的每个功能的应用程序被存储在HDD 109中。另外,在HDD 109中构建面部数据库57和地图数据库58。
介质驱动器110是这样的装置用于载入诸如CD(光盘)、MO(磁光盘)或DVD(数字可视化盘)的便携式介质120,以便存取记录有面部的数据。该便携式介质120主要用于备份软件程序或数据文件作为计算机可读格式数据或者在系统之间移动(包括出售、循环、或分布)程序或数据文件。
例如,可以使用便携式介质120来循环或分布实现参照图7等描述的功能的应用程序。
扫描仪113读取图像。例如,可以在扫描仪113中设置照片,用于输入该照片的图像数据。
存储卡槽114是例如用于存储卡5的存储卡记录和再现单元,其记录和再现如上所述的、用于成像装置1的存储卡5。
作为示例,图7中示出了通过使用计算机系统100构件的查询装置50的功能性配置。
在图7中,表示了图6中所示的通信单元103、CPU 101以及HDD 109,并且示出了由CPU 101执行的处理功能以及HDD 109中构建的数据库。
作为由CPU 101执行的功能性配置,提供了接收数据处理单元51、登记数据生成单元52、登记处理单元53、查询处理单元54、以及传送数据生成单元55。作为示例,通过执行实现CPU 101中的功能的应用程序,实现了该功能性配置。
在HDD 109中构建了面部数据库57和地图数据库58。
登记数据输入单元56共同地表示用于输入面部数据库57的登记信息的部分。例如,图6中所示的键盘107、鼠标108、扫描仪113、存储卡槽114以及介质驱动器等都可以用作登记数据输入单元56。
在描述图7中所示的功能之前,现在将参照图8A和8B来描述面部数据库57的示例。图8A示出了该面部数据库57的示范配置。
要搜寻的人作为登记号#1、#2等而被登记在面部数据库57中。
登记类型CT1、CT2等是登记的类型,并且例如,表示诸如失踪人员、通缉人员或职权人员(reference person)的类型。
为每个人记录姓名、面部特征数据以及附加信息,作为个人信息。
该面部特征数据是关于面部组成部分的相对位置的信息。这里,在该示例中,登记了面部特征数据Fa和面部特征数据Fb。
如图8b所示,面部特征数据Fa被设置为眼睛之间的距离Ed与眼睛的中央与鼻子之间的距离EN的比值。例如,Fa=Ed/En。
面部特征数据Fb被设置为眼睛之间的距离Ed与眼睛的中央与嘴之间的距离EM的比值。例如,Fb=Ed/EM。
面部组成部分的相对位置的信息对于一个人来说是唯一的,并且不会受到由诸如发型或眼镜的附属物引起的外貌变化的影响。另外,已知的是,相对位置的信息不会随着年龄而发生变化。
当面部特征数据作为面部数据库57的登记信息是面部特征数据Fa和Fb时,由成像装置1的图像分析部件32生成的上述面部特征数据就是面部特征数据Fa和Fb。
附加信息是用于进行登记的、人员的其他各种信息。例如,性别、生日、登记时的年龄、身高、眼睛颜色、地址、登记原因等都可以是附加信息。另外,附加信息可以包括用于数据库的链接信息,其中该数据库包括犯罪记录、指纹数据等。
图7中所示的查询装置50具有用于使用面部数据库57来执行查询处理的功能配置。
通信单元103与成像装置1的通信部件34进行数据通信。通信单元103响应于来自成像装置1的登记信息或查询信息的传送而执行接收处理。
当查询结果信息从查询装置50传送到成像装置1时,通信单元103响应于CPU 101的指令传送该查询结果信息。
接收数据处理单元51对所接收的数据分组执行缓冲处理或信息内容提取处理,其中所接收的数据分组已经作为登记信息或查询信息从通信单元103传送来。
登记数据生成单元52生成将要登记在面部数据库57中的登记数据。该登记数据是要为面部数据库57中的每个登记号记录的信息内容。换言之,该登记数据就是登记类型和个人信息(姓名、面部特征数据Fa和Fb、以及附加信息)。
登记类型或个人信息可以从登记数据输入单元56输入,或者由登记数据生成单元52根据该输入而生成。
例如,对于登记类型或姓名、以及附加信息,使用从登记数据输入单元56输入的信息。例如,可以通过键盘107等的操作或者通过读取记录在存储卡或便携式介质120中的个人信息等来输入的信息被读入到存储卡槽114或介质驱动器110中。
当从作为登记数据输入单元56的扫描仪113、存储卡槽114(存储卡)、或介质驱动器110(便携式介质120)中输入面部的图像数据时,登记数据生成单元52通过对图像数据执行数据分析而生成面部特征数据Fa和Fb。
登记数据生成单元52使用该信息而生成面部数据库57的登记信息。
登记处理单元53在面部数据库57中执行登记处理。
当登记数据生成单元52生成登记信息时,登记处理单元53将登记信息写入到面部数据库57中,以完成一个记录的记录。另一方面,当从成像装置1传送登记信息时,接收数据处理单元51将该登记信息提供给登记处理单元53。在这种情况下,登记处理单元53将登记信息写入到面部数据库57中,以完成一个记录的登记。
查询处理单元54通过对面部数据库57进行搜索来进行查询处理。当从成像装置1传送查询信息时,接收数据处理单元51将该查询信息提供给查询处理单元54。在这种情况下,查询处理单元54使用包括在查询信息中的面部特征数据Fa和Fb来搜索面部数据库57,用于确定对应的面部特征数据Fa和Fb是否存在于面部数据库中、或者用于读取对应人员的登记类型或个人信息。
传送数据生成单元55基于查询处理单元54的查询处理结果而生成查询结果信息。换言之,传送数据生成单元55生成包括PID和FID的查询结果信息,其中该PID和FID包括在对应于被搜寻人员的个人信息或从成像装置1传送的查询信息中。该查询结果信息包括详细的位置信息。根据包括在查询信息中的位置信息(纬度和经度)通过搜索地图数据库58来读取该详细的位置信息。通过使用将包括在查询结果信息中的地像或文本来生成该详细的位置信息。
通过通信单元103将已经由传送数据生成单元55生成的查询结果信息传送给成像装置1。
4.面部数据库的登记处理下文中,将描述成像装置1和查询装置50执行的操作。首先,将描述面部数据库57的登记处理。
在该示例中,将描述面部数据库57中的人员登记,包括示范登记处理,其中由查询装置50输入登记信息;以及示范的登记处理,其中从成像装置1传送登记信息并由查询装置50登记。
图9中所示的登记处理I是查询装置50根据操作者的操作执行登记的示例。
在步骤F101中,输入将由登记数据输入单元56登记的面部照片数据、各种个人信息、以及人员的登记类型。例如,可以通过使用扫描仪113输入作为图像数据的照片、读取记录在便携式介质120或存储卡5中的面部照片数据、等,来执行面部照片数据的输入。作为选择,可以使用通过使用通信单元103的通信而从外部计算机系统或外部数据库下载面部照片数据的技术。
可以通过使用键盘107或鼠标108执行登记操作的操作者的操作来输入作为登记类型或个人信息的姓名、性别、年龄、地址等。当然,也可以从外部数据库输入登记类型或个人信息。
在步骤F102,登记数据生成单元52通过对输入的面部数据进行分析来生成面部特征数据Fa和Fb。换言之,登记数据生成单元52从面部照片数据中提取面部图像部分,确定眼睛之间的距离、眼睛的中央与鼻子之间的距离、以及眼睛的中央与嘴之间的距离,并生成面部特征数据Fa和Fb作为面部组成部分的相对位置信息。
在步骤F103,登记数据生成单元52生成登记信息。换言之,输入的登记类型;作为个人信息的输入姓名、性别、年龄、地址等;以及生成的面部特征数据Fa和Fb被设置为面部数据库57的登记信息。登记数据生成单元52从登记处理单元53接收或向其传送登记信息。
在步骤F104,登记处理单元53通过附加新的登记号而另外地将所传送的登记信息登记在面部数据库57中。
通过上述处理,执行了一个记录的登记。
图10中所示的登记处理II是通过从成像装置1传送登记信息来执行登记的示例。在图10中,示出了成像装置1的处理以及查询装置50的处理。
该技术例如适合于接收到对失踪人员的搜索请求的情况,警察具有关于失踪人员等的照片,并立即在面部数据库57中执行登记处理。
在图10中所示的步骤F201中,照片数据被输入给成像装置1。例如,使用成像装置1通过警察对照片的成像来输入照片数据连同搜寻请求,其中该照片是由失踪人员的家庭等提供的。该面部照片数据是通过警察的使用成像装置1的成像操作而输入的。当然,当家庭成员等具有数字静止摄像机拍摄的失踪人员的照片数据时,可以通过将该家庭成员的数字静止摄像机、个人计算机等与外部接口37连接来输入照片数据。作为选择,可以使用存储卡5来提供照片数据,而存储卡5可以被加载到存储卡槽114中,使得可以通过记录和再现处理部件33来读取照片数据。
在步骤F202中,输入作为个人信息的姓名、性别、年龄、地址等;以及登记类型。例如,控制器40显示用于在显示部件11中登记的输入屏幕。警察根据显示部件11的显示、使用操作部件15来输入登记类型、姓名等。控制器40接收输入姓名等。当然,可以从外部接口37或存储卡5输入诸如姓名的个人信息。
在步骤F203中,图像分析部件32根据控制器40的指令生成面部特征数据Fa和Fb。换言之,在步骤F201输入的面部照片数据被提供给图像分析部件32,图像分析部件32从面部图像数据中提取面部图像部分,确定眼睛之间的距离、所述眼睛的中央与鼻子之间的距离、以及眼睛的中央与嘴之间的的距离,并生成面部特征数据Fa和Fb作为面部组成部分的相对位置信息。
在下一个步骤F204中,由传送数据生成部件42生成登记信息。传送数据生成部件42收集在步骤F203由图像分析部件32生成的面部特征数据Fa和Fb以及在步骤F202输入的姓名、性别、年龄、地址等,以便生成数据分组,并且生成将要传送给查询装置50的登记信息。
在步骤F205中,控制器40使用通信单元34将登记信息传送给查询装置50。
在查询装置50中,当在步骤F301从成像装置1接收登记信息时,接收数据处理单元51向登记处理单元53传送或从其接收登记信息。
在步骤F302中,登记处理单元53通过附加新的登记号而另外地将所传送的登记信息登记在面部数据库57中。
通过上述处理,执行了一个记录的登记。在步骤F303中,根据登记的完成,登记处理单元53通知用于登记完成通知的传送请求、以及成像装置1的信息,该成像装置1已经传送了传送数据生成单元55的登记信息。响应于该通知,传送数据生成单元55生成传送数据作为登记完成通知,并将该登记完成通知从通信单元103传送给成像装置1。
当成像装置1在步骤F206中接收登记完成通知时,控制器40指示显示数据生成单元44在显示部件11中向用户显示一标记,其中该标记指明登记完成。
通过执行上述处理,即使警察在现场位置也能够进行登记,并且因此可以快速地在面部数据库57中进行登记。因此,可以有效地执行将在后面描述的查询处理,用于搜寻失踪人员等。
5.成像装置的成像操作以及查询信息传送下面,将描述使用面部数据库57而在成像装置1和查询装置50中执行人员查询的处理。
首先,将参照图11至16来描述直到成像装置1将查询信息传送给查询装置50为止所执行的处理。
例如,当佩戴成像装置1的警察执行巡逻等时,在预定的时间间隔自动地重复执行图11中所示的处理。例如,通过将成像装置1的操作切换到自动查询模式等,就能够执行图11中所示的处理(以及将在后面描述的图19中所示的处理)。
在每个预定的时间间隔(例如1秒至几秒的间隔)执行步骤F401的输入所拾取的图像数据。该处理是在每个预定的时间间隔,将一帧的图像数据作为所拾取的图像数据输入给图像分析部件32以及记录和再现处理部件33,作为静止屏幕数据,其中该所拾取的图像数据是由摄像机单元2拾取并被图像/语音信号处理部件31a或31b处理。
响应于所拾取图像的输入,图像分析部件32根据控制器40的控制执行步骤F402的处理。
在步骤F402中,图像分析部件32分析已经输入的所拾取的图像数据,并提取出面部图像作为目标对象。
在例如巡逻时以预定时间间隔自动和顺序地输入的所拾取的图像数据可以包括各种图像内容。例如,所拾取的图像数据可以是以下各种图像之一,诸如如图12A中所示的包括多个人的面部的图像、如图12B中所示的包括一个人的面部的图像、以及如图12C中所示的不包括任何人的面部的图像。
这样,图像分析部件32首先确定在所拾取图像数据中是否包括任何面部图像。例如,当输入了如图12C中所示的所拾取图像数据并且图像分析部件32对该图像数据进行分析并确定该图像数据不包括任何面部图像时,在步骤F403确定没有目标对象要处理,并且图像分析部件32将该信息传送给控制器40。这时,控制器40结束对所拾取图像数据的处理,并返回至步骤F401。接着,在预定时间之后,再次执行输入所拾取图像数据的处理。
当输入的所拾取图像数据包括如图12A或12B中所示的图像并且提取出一个或多个面部图像时,处理从步骤F403转移至步骤F404,并由图像分析部件32生成面部特征数据Fa和Fb。换言之,图像分析部件32根据每个所提取出的面部图像确定眼睛之间的距离、眼睛的中央与鼻子之间的距离、以及眼睛的中央与嘴之间的距离,并生成面部特征数据Fa和Fb作为面部组成部分的相对位置信息。
在这种情况下,为每个所提取的面部图像生成面部特征数据Fa和Fb。例如,由于图12A的图像数据中包括5个人的面部,因此为每个人都生成面部特征数据Fa和Fb。
在步骤F405中,ID生成部件45响应于在图像分析部件32中的面部图像提取而生成PID和FID。
由ID生成部件45生成的PID和FID被提供给传送数据生成部件42以及记录和再现处理部件33。
例如,PID(图像ID)被唯一分配给包括面部图像的所拾取图像数据,并且每当生成了所拾取的图像数据时,生成新的ID码,其中图像分析部件32确定该图像数据包括面部图像。例如,当对图12A的所拾取的图像数据进行处理时,如图13A所示,生成“PID001”的图像识别信息,作为对应于所拾取的图像数据的PID。另外,例如,当在不同的时间点对图12B的所拾取图像数据执行处理时,如图13B所示,生成“PID002”的图像识别信息,作为对应于所拾取图像数据的PID。
例如,作为唯一分配给成像装置1的序列号、以及作为成像时间的诸如“年/月/日/时/分/秒/帧”之类的值可以被组合在一起,以形成唯一代码作为PID码。
由于如下所述PID被包括在将要传送给查询装置50的查询信息中,因此当成像装置1的识别信息(诸如成像装置1的序列号)被包括在PID中时,该PID不仅可以被用作用于识别所拾取图像数据的识别信息,还可以被用作用于识别所使用的成像装置1(从查询装置50的角度来看,该成像装置传送出查询信息)的识别信息。
FID(面部ID)被分配给每个面部图像,其中该每个面部图像是由图像分析部件32从一个所拾取图像数据中提取出的。
例如,在图13A中,从所拾取图像数据提取出的每个面部图像部分都被画一个圈,并且FID FID001至FID005之一被分配给每个面部图像。如图13B所示,当从所拾取图像数据中只提取出一个面部图像时,FID FID001被分配给该面部图像。
FID被分配给对应于图像中用圆圈表示的面部部分的中心像素的坐标或者圆圈的半径,即被提取范围的信息,作为面部图像。
在步骤F406中,控制器40输入由位置检测部件36检测到的经度和纬度信息作为当前位置信息。所输入的信息变成了位置信息,其中该位置信息指明在处理中所拾取图像数据的拾取位置。
在步骤F407中,控制器40指示传送数据生成部件42生成查询信息。从控制器40传送的位置信息、由图像分析部件32生成的面部特征数据Fa和Fb、以及由ID生成部件45生成的PID和FID被提供给传送数据生成部件42。
传送数据生成部件42使用所传送的信息生成数据分组,例如,作为如图14中所示的查询信息。
如图14中所示,查询信息包括在处理中分配给所拾取的图像数据的PID、以及由位置检测部件36检测的位置信息(纬度和经度)。对于对象的数量,表示了从所拾取图像数据中提取的面部图像的数量,以及在对象的数量之后,重复地包括FID以及对应的面部特征数据Fa和Fb。例如,当如图13A所示所拾取图像数据包括5个人的面部图像时,对象的数量变成了5,并且因此,FID FID001的面部特征数据Fa和Fb至FID FID005的面部特征数据Fa和Fb包括在查询信息中。另一方面,当如图13B中所示所拾取图像数据包括一个人的面部图像时,对象的数量变成了1,并且因此,FID FID001的面部特征数据Fa和Fb被包括在查询信息中。
当传送数据生成部件42生成查询信息时,在步骤F408,在控制器40的控制下执行从通信部件34传送查询信息。换言之,如图14中所示的查询信息被传送给查询装置50。
接着在步骤F409中,控制器40指令记录和再现处理部件33将所拾取图像数据作为文件记录在记录介质(存储卡5)中。
记录和再现处理部件33根据存储卡5的记录格式,对处理中的所拾取图像数据执行可以要求的压缩处理或编码处理。
另外,记录和再现处理部件33从ID生成部件45获取PID和FID。对于FID,记录和再现处理部件33另外地获取FID相关信息,其中该FID相关信息表示图像中该FID被分配到的面部图像部分。
对于所获取的信息,增加了文件属性信息(标首信息),以便形成一个图像文件,并且该图像文件被记录在存储卡5中。
在控制器40指令记录和再现处理部件33进行记录处理之后,控制器40返回至步骤F401,并且在预定时间之后控制器40从步骤F401开始控制处理。
通过步骤F409的操作,记录一个图像文件FL,并且通过重复图11中所示的处理,顺序地将图像文件FL1、FL2等按照例如图15所示的格式记录在存储卡5中。
例如图中所示,在一个图像文件FL中包括PID、属性信息、FID相关信息、以及图像数据。作为选择,可以将上述信息记录在被管理状态,其中在该被管理状态下链接上述信息被连接起来。
图像数据是所拾取的图像数据,其中对该所拾取的图像数据执行诸如压缩的编码处理。
PID也可以被用作图像文件FL的文件名。
属性信息包括文件名、文件大小、图像格式、成像日期和时间,以及用于上述信息的偏移地址或链接信息。在步骤F406中获取的位置信息可以包括在该属性信息中。
例如,在图16A和16B中示出了FID相关信息。
如上所述,为图像分析部件32从一个所拾取图像数据中提取的每个面部图像分配FID,并且如图16A所示,这些FID分别分配给画图的图像部分。
在该示例中,可以要求将FID管理作为在所拾取图像数据中每个面部图像的像素坐标位置。为此,例如,图16A的画圈部分可以被管理为分别与FID相关。在图16A中,当在xy像素坐标中辨别所拾取图像数据时,作为在x,y坐标中表示的面部部分圆圈的中心坐标分别被表示为C1、C2、C3、C4和C5。另外,圆圈从中心的范围,即提取的面部部分的区域范围用半径r1、r2、r3、r4、以及r5表示。
如图16B所示,FID相关信息可以是中心坐标以及与每个FID相关的半径r的值。
当记录FID相关信息时,就变得可能识别例如后面的图像PID001中的FID002的面部。
因此,如上所述,ID生成部件45生成与被提取区域的中心坐标或像素范围对应的FID相关信息,作为图像分析部件32的面部提取结果,并且记录和再现部件33记录该FID相关信息。
FID相关信息的内容不限于中心坐标或半径,并且可以被适当地配置用于诸如面部图像或提取范围的提取处理的处理方法。
如上所述,通过使用成像装置1执行如图11所示的处理,查询信息从成像装置1顺序地和自动地传送至查询装置50。换言之,在警察巡逻期间其图像被自动拾取的多个人的面部特征数据Fa和Fb被顺序地传送给查询装置50,并且记录该图像。
6.查询装置的查询过程如上所述,当成像装置1顺序地将查询信息传送给查询装置50时,查询装置50响应于接收该查询信息而执行图17中所示的查询处理。
在步骤F501中,通信单元103接收查询信息,而接收数据处理单元51输入查询信息。当输入参照图14描述的查询信息时,接收数据处理单元51向查询处理单元54传送或从其接收包括在查询信息中的FID以及面部特征数据Fa和Fb。
查询处理单元54对一个或多个FID和面部特征数据Fa和Fb执行步骤F502至F506的处理。
首先,在步骤F502,选择一个FID。在步骤F503,使用对应于所选择的FID的面部特征数据Fa和Fb执行面部数据库57的搜索处理。在面部数据库57中,如图8A所示,为每个登记用户记录了面部特征数据Fa和Fb,而搜索处理是要搜寻一个人(登记号),其中这个人的面部特征数据Fa和Fb与对应于所选则的FID的面部特征数据Fa和Fb完全相同。
当在面部数据库57中存在具有与对应于FID的面部特征数据Fa和Fb相同的面部特征数据Fa和Fb的已登记人员时,处理从步骤F504移动到至步骤F505,并且读取登记在面部数据库57中、的对应于该人(登记号)(即诸如登记类型、姓名、以及附加信息的个人信息)的登记信息,并且读取的登记信息被存储为与FID相关。接着,处理移动至步骤F506。
当作为搜索结果没有发现匹配人员时,不执行步骤F505的处理,而处理移动至步骤F506。
在步骤F506中,确定是否存在没有被搜寻处理的任何FID,并且当存在没有被搜寻处理的任何FID时,处理返回至步骤F502。接着,选择没有被搜寻处理的FID之一,在步骤F503中执行相同的搜索处理。
当对包含在接收到的查询信息中的所有FID(对应于FID的面部特征数据Fa和Fb)都完成了搜索处理时,处理从步骤F506前进至步骤F507。当作为搜索结果对所有的FID都没有发现任何匹配人员时,在步骤F507之后结束该查询过程。
另一方面,当存在至少一个FID的匹配人员并且该登记信息在步骤F505中保持对应于一个或多个FID,则该处理移动至步骤F508。
如图14中所示,在接收到的查询信息中,包括位置信息。该位置信息被传送到传送数据生成单元55或者从其传送出。在步骤F508中,传送数据生成单元55根据位置信息的经度和纬度信息搜索地图数据库58,并且获取位置信息的详细信息(详细的位置信息)。例如,详细的位置信息可以是地像数据,该地像数据包括对应于经度和纬度的地点或者描述对应于经度或纬度的位置的文本数据。例如,详细的位置信息可以是文本数据,诸如“在位于xxx站的前面的xxx百货公司的前面”、以及“位于xxx街第3路的xxx公园”。
详细的位置信息使得成像装置1能够很容易地获取对于当前处理中的查询信息已经拾取的图像的位置。
接着,在步骤F509中,传送数据生成部件42使用详细的位置信息以及在步骤F505存储的搜索结果而生成查询结果信息。
例如,该查询结果信息是具有图18A所示内容的分组数据。
首先,目标PID,即包括在当前被处理的查询信息中的PID,报包括在分组数据中。
另外,从参考地图数据库58获取的详细位置信息被包括在该分组数据中。
另外,作为搜索结果,表示登记人员存在的FID号,并且,作为搜索结果,反复地地包括登记人员存在的FID以及登记的内容(诸如登记类型和姓名的个人信息)。
图18B中示出了查询结果信息的详细示例。
作为示例,假设从成像装置1传送基于图12A和13A所示的所拾取图像数据PID001生成的查询信息。
另外,假设查询装置50已经处理至图17所示的步骤F506,用于根据每个面部图像FID001至FID005的面部特征数据Fa和Fb搜索面部数据库57,并且作为搜索结果而只有面部图像FID005的人被登记在面部数据库57中作为其面部特征数据Fa和Fb与面部图像FID001至FID005之一相同的人。
在这种情况下,在步骤F505中,保留在面部数据库57中登记的、与面部图像FID005对应的内容。例如,从面部数据库57中读取作为登记类型的“失踪人员”以及作为个人信息的“xxsakixxko”、“女性”、“30岁”等。
在这种情况下的查询结果信息中,如图18B所示,作为PID PID001首先包括对应于将要处理的所拾取图像的识别信息。
另外,增加了详细的位置信息。接着,增加1,作为登记人员存在的FID号,并且在FID号之后增加登记人员存在的FID FID005以及登记的内容“失踪人员、xxsakixxko、女性,30岁”,作为搜寻结果。
在步骤F509生成上述查询结果信息之后,在步骤F510中,传送数据生成单元55将查询结果信息从通信单元103传送给成像装置1。
无论何时从成像装置1接收了查询信息,查询装置50就会执行如图17所示的上述处理。
因此,当其图像被成像装置1拾取的多个人中的一人被记录在面部数据库57中时,将作为查询结果的查询结果信息从查询装置50传送至成像装置1。
7.成像装置在接收到查询结果信息时的处理图19中示出了当从查询装置50传送查询结果信息时,成像装置1执行的处理。
在步骤F601中,通信部件34从查询装置50接收查询结果信息,而接收数据处理部件43输入查询结果信息。
当在步骤F601中通信部件34接收到查询结果信息并且控制器40从接收数据处理部件43接收到查询结果信息时,在步骤F602中,控制器40指令记录和再现处理部件33根据包括在查询结果信息中的PID(图18A的目标PID)从存储卡5中读取图像文件。
在存储卡5中,如图15所示,图像文件FL被记录,并且可以通过将要读取的PID来指定目标图像文件FL。换言之,读取与接收到的查询结果信息对应的初始图像数据。例如,当接收到如图18B所示的查询结果信息时,根据PID“PID001”来读取包括图12A所示的所拾取图像数据的图像文件FL。
接着,在步骤F603中,控制器40在读取的图像数据中确定目标人员。使用包括在查询结果信息中的FID以及读取的图像文件FL中的FID相关信息来执行确定。
例如,在图18B所示的查询结果信息中,“FID005”被记录为相应的人。另外,在读取的图像文件FL中,包括如图16B所示的FID相关信息。通过参照FID相关信息,可以确定对应于“FID005”的人的图像位于如下圆圈内的区域中,其中该圆圈具有图像数据的xy坐标中的中心坐标C5和半径r5。
接着,在步骤F604中,控制器40从位置检测部件36获取经度和纬度信息作为当前位置信息,并计算在所拾取的目标PID“PID001”的图像数据的位置与当前位置之间的相对位置。该相对位置是有关成像位置位于当前位置的哪个方向以及有多远的信息。可以通过将当前经度和纬度与包括在查询结果信息的详细位置信息中的经度和纬度进行比较来计算该相对位置。当成像位置信息(经度和纬度)包括在当记录图像文件FL时被记录的属性信息中时,该经度和纬度可以与当前的经度和纬度进行比较。
在步骤F605中,控制器40将从接收到的查询结果信息的内容中获取的信息或者根据接收到的查询结果信息从步骤F602、F603、以及F604的处理中获取的信息传送给显示数据生成部件44或者从其接收上述信息,以便生成显示数据。
换言之,使用以下信息来生成成显示数据包括在查询结果信息中的详细位置信息、个人信息以及登记类型信息;从存储卡5中读出的图像数据;与图像中目标人员的面部图像的范围有关的信息;相对位置信息等。
在步骤F606中,控制器40通知成像装置1的用户(警察)从查询装置50接收查询结果信息。该通知用于催促用户来检查显示部件11中的查询结果。例如,通过从语音输出部件14输出接收通知声音或震动作为非语音通知部件35的振动器,可以执行接收通知。
这时,控制器40可以根据包括在查询结果信息中的登记类型来选择通知模式。
例如,作为查询结果的被通知人员可以是失踪人员或通缉人员。有一种情况是佩戴该成像装置1的警察处于的位置与当接收到查询结果信息时执行关于查询结果信息的成像的位置几乎相同。特别是,当快速地执行查询装置50的处理时,当接收到查询结果信息时,相应的人员可能位于接近警察。
考虑到这些情况,可以预计,对于有重大嫌疑要逃跑的人员诸如通缉人员来说,使用语音来接收通知可能是适当的。
因此,例如,优选的是,当根据包括在查询结果信息中的登记类型而得知包括一个诸如有嫌疑要逃跑的通缉人员的人员时,控制器40对非语音通知部件35执行接收通知操作,并且该控制器40在其他情况下指令从语音输出部件14输出接收语音。
在步骤F607中,在显示部件11中显示在步骤F605中根据查询结果信息生成的显示数据,以便将查询结果呈现给作为用户的警察。图20A和20B中示出了示范的显示。
在图20A中,作为示例表示了如下内容从存储卡5中读取的PID“PID001”的照片图像的图像显示70;图像显示中用圆圈指明的特定人员的目标人员显示71;诸如作为在步骤F604计算的相对位置的“北-东50米”的相对位置显示72;以及诸如作为包括在查询结果信息中的信息的“失踪人员、xxsakixxko、女性、30岁”的查询内容显示73。当然,当表示成像位置的文本数据包括在详细的位置信息中时,可以另外地显示文本数据。
在图20B中,当地像包括在查询结果信息的详细位置信息中时,作为示例表示了如下内容地像显示74;目标人员成像位置,其指明在地像中拾取的目标人员的图像的位置;以及当前位置显示76。
可以根据用户的操作来切换图20A中所示的照片图像与图20B中所示的地像之间的显示模式。
当然,当显示部件11的显示区域足够大,以致于能够同时显示照片图像和地像时,图20A和20B的显示内容可以一起显示在一个屏幕中。
另外,当作为搜索目标找到一个图像中的多个人并且接收到查询结果信息时,可以同时显示人员的个人信息,或者可以对每个人切换目标人员显示71以及查询内容显示73。
通过检查该显示,警察可以确定警察在巡逻中偶遇的搜索目标人员。另外,警察在检查时间可以位于搜索目标人员的附近。因此,通过检查显示内容并且搜索相关人员,警察可以立即采取适当行动,诸如保护失踪人员或逮捕通缉人员。
8.实施例以及修改示例的优点如上所述,在根据本发明实施例的查询系统中,例如,警察等在巡逻等中佩戴成像装置1,而该成像装置1例如在每个预定的时间间隔拾取图像。当一个人的面部包括在所拾取的图像数据中时,从该面部图像中生成面部特征数据Fa和Fb,并且将包括面部特征数据的查询信息传送给查询装置50。
当接收查询信息时,查询装置50使用包括在查询信息中的面部特征数据Fa和Fb搜索面部数据库57。接着,查询装置50生成包括找到的个人信息的查询结果信息,并将该查询结果信息传送给成像装置1。通过接收该查询结果信息,成像装置1向佩戴成像装置1的警察等显示查询结果的内容,诸如个人信息、面部图像以及位置信息,如图20A和20B所示的示例。
因此,即使当警察等记不清楚目标人员的面部、没有随身携带图片、很难确定目标人员、不知道搜寻人员、或者没有注意到目标人员时,该警察等也可以获取关于搜寻目标人员的信息,其中该目标人员位于巡逻地等附近。
因此,如上所述,警察等可以立即采取适当的行动,诸如保护失踪人员或逮捕通缉人员。
另外,由于警察不必清楚地记得搜寻目标人员的面部,在巡逻期间不用带图片,并且不必仅仅专注于搜寻失踪人员或通缉人员,因此,可以减轻警察的负担。在巡逻期间,警察有助于采取各种行动,诸如为维护安全而关注街道的情况、引导人员、并帮助以及搜寻人员,并且警察可以在采取上述行动的同时有效地搜寻人。
在根据本发明实施例的系统操作中,成像装置1与查询装置50之间的传送数据不包括图像数据本身。换言之,可以使得作为传送数据的查询信息或查询结果信息的数据大小远远小于传送图像数据的情况。因此,即使网络90的传送容量很低,通信负荷也可以很小,使得能够在很短的时间内进行通信。
另外,由于查询装置50根据面部特征数据Fa和Fb执行自动搜索,因此可以快速和正确地执行查询处理。与一人使用他的眼睛通过比较图片等来搜索目标人员的情况相比,可以在明显短的时间内执行查询处理。
传送时间或查询处理时间很短的事实就意味着作为成像结果,在成像装置1拾取图像时与警察获取关于搜寻目标人员的个人信息时之间的时间差异是很短的。换言之,当警察位于搜寻目标人员附近时,该警察就可以获取关于搜寻目标人员的信息。这有利于警察采取适当的行动。
根据本发明的实施例,如在人为地对照片进行比较或根据记忆确定身份的情况下,对人的查询并不是由人来进行的。
并且,关于面部组成部分(诸如眼睛、鼻子和嘴)的相对位置信息对于每个人而言是唯一的,并且不会受到根据附属物(诸如发型或眼镜)的外观变化的影响,其中该相对位置信息变成了用于查询处理的面部特征数据。另外,相对位置的信息不随着年龄发生变化。
因此,目标人员的查询结果可以非常准确。当然,不会出现图像质量的问题、难以根据改变的请求进行确定、等,而这些问题会在传送面部图像本身以进行比较的情况下出现。
在查询装置50中,个人信息或登记类型包括在查询结果信息中,并且在成像装置1中显示查询结果信息中包括的登记信息或个人信息。例如,个人信息包括姓名、年龄、性别,而登记信息包括失踪人员。
当警察搜寻目标人员或者现场询问执勤问题时,该个人信息是适当的。另外,由于显示了诸如失踪人员、通缉人员或证人的登记类型,因此当警察发现了这个人时,他可以采取适当的行动。
作为登记类型的详细示例,当根据罪行将登记类型分为野蛮的罪犯、盗窃犯、惯偷等以进行显示时,该登记类型对于警察的反应可能更有用。
在成像装置1中,记录和再现处理部件33将为其传送查询信息的所拾取图像数据与PID一起登记在存储卡5中。该PID包括在查询信息和查询结果信息中。
因此,当成像装置1接收查询结果信息时,可以通过使用PID从存储卡5中读出包括目标人员的图像数据,并且因此,能够进行如图20A所示的显示。
可以通过使用FID来指定图像中的人,并且因此,可以显示如图20A中所指示的、具有目标人员的图像。
因此,警察可以检查住所、邻居等,其中当该图像已经被获取时,可以从目标人员的面部或外貌、或背景中猜想到该住所、邻居等,并且这样图像显示就可以是非常有用的信息。
使用地像或文本数据来显示相对位置信息或详细的位置信息使得警察能够根据当前位置估计出成像位置或者预测搜寻目标人员的行动,并且因此,该显示对于采取适当行动可以是非常有用的信息。
如上所述,在接收查询结果信息的通知时,可以根据登记类型来切换语音模式或震动模式,使得可以通知考虑到的临近目标人员。
如参照图10描述的,根据发明实施例的成像装置1可以将登记信息传送给面部数据库57,并且因此,警察可以迅速地登记失踪人员等,使得在这之后可以使用该系统进行搜寻处理。
根据本发明上述实施例的配置和处理是示例,并且可以使用根据本发明实施例的任何修改示例。
在上述实施例中,描述了基于成像装置1与查询装置50之间的通信的操作,但是该成像装置1可以分别由多个警察等佩戴,用于进行相同的通信。这里,当查询装置50响应于从成像装置1传送的查询信息发现了搜寻目标人员时,该查询装置50例如不仅可以将该查询结果信息传送给如上所述已经传送出查询信息的成像装置1,而且也可以将查询结果信息或支援请求传送给相邻警察的成像装置1,例如,负责对应区域的多个警察的成像装置1、或位于对应位置附近的另一警察的成像装置1。
例如,由于顺序地从成像装置1传送包括位置信息的查询信息,因此查询装置50可以获取佩戴该成像装置1的警察的当前位置。因此,可能将查询结果信息或支援请求传送给当前位于对应位置附近的警察。
在上述实施例中,可以通过从成像装置1中传送登记信息来执行在面部数据库57中的人员登记,但是可以通过例如将成像装置1生成的登记信息记录在存储卡5中、以及提供存储卡给查选装置50或从查询装置50接收存储卡5用于读取登记信息来执行所述登记。作为选择,可以通过使用存储卡5或外部接口37将成像装置1生成的登记信息传送给诸如警察分局的个人计算机之类的另一信息处理装置,并可以通过网络通信将登记信息从个人计算机等传送给查询装置50。
在面部数据库57中,可以登记所拾取的图像数据本身。此外,由成像装置1拾取的图像数据可以通过提供/接收存储卡5、使用个人计算机等通信、或者从成像装置1通信,而传送给查询装置50或从查询装置50接收,以便于将所拾取图像数据登记在面部数据库57中。
作为一个示例,会出现如下情况即使巡逻中的警察接收到了查询结果信息,也不能找到目标人员。在这种情况下,记录在成像装置1(存储卡5)中的对应图像文件被提供给查询装置50或从查询装置50接收,用于登记在面部数据库57中。在该图像文件中,作为拾取图像保留了成像时搜寻目标人员的外貌或条件。另外,图像文件中有如下信息在成像时目标人员所位于的特定位置。由于上述信息对于之后的搜寻是很有帮助的,因此对于将成像装置1记录的图像文件登记在面部数据库57中是很有用的。
来自成像装置1的查询信息的传送间隔,即图11中所示的处理的执行间隔可以配置成能够任意设置或者通过操作进行可变化的切换。另外,可以准备冲击传感器、语音传感器等,用于检测紧急情况,并且当出现突发情况时,可以缩短传送间隔。
另外,传送间隔可以设置成根据区域而不同,并且当成像装置1处于拥挤位置、安全性很差的区域等中时,成像的间隔以及查询信息的传送可以配置成自动地缩短。
在图17中所示的查询装置50的处理示例中,当作为搜索结果没有匹配人员时,并不传送该查询结果信息且终止该处理。由于降低了例如作为从多个成像装置1顺序地传送查询信息的查询系统的通信负载,或者可以降低查询装置50的另外传送过程,因此这个过程是优选的。
作为选择,作为处理的另一示例,即使没有匹配的人员,搜寻结果的通知也可以传送给成像装置1。另外,当接收到没有匹配人员的通知时,成像装置1可以移除存储在存储卡5中的图像文件(对应PID的图像文件),以便增加存储卡5的可用存储量。
在上述实施例中,查询系统被描述为用于安全或公安部门的系统,但是该查询系统也可以用于任何其他目的。
例如,该查询系统可以用于在公共设施、游乐园等中搜寻走失的儿童。
根据本发明实施例的程序可以被实现为这样的程序允许成像装置1的控制器40执行图11所示的查询信息的传送处理、以及图19中所示的查询结果信息的接收处理。另外,根据本发明实施例的程序可以是允许查询装置50的CPU 101执行图17中所示的查询处理的程序。
该程序可以预先先记录在作为信息处理装置的记录介质的系统HDD中,诸如计算机系统或具有CPU的微机的ROM。
作为选择,该程序可以被临时性地或永久性地存储(记录)在可移动记录介质中,诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘、以及半导体存储器。可移动记录介质可以具有所谓的软件包。例如,通过被提供在CD-ROM、DVD-ROM等中,而可以将该程序安装在计算机系统中。
除了可以从可移动记录介质安装所述程序以外,还可以通过诸如LAN(局域网)、互联网等之类的网络从下载网站下载该程序。
本领域内的技术人员可以理解的是,根据设计需要和其他因素,可以出现各种修改、组合、子组合以及变化,只要它们处于所附权利要求或其等同物的范围内即可。
权利要求
1.一种查询系统,包括便携式成像装置;以及查询装置,其中该查询装置能够与该成像装置进行双向通信,其中该成像装置包括成像单元,用于拾取图像数据;通信单元,用于与该查询装置进行通信;面部特征数据生成器,用于从由成像单元拾取的图像数据中提取面部图像,并根据所提取的面部图像生成面部特征数据;传送信息生成器,用于生成包括面部特征数据的查询信息,并通过使用通信单元将查询信息传送给查询装置;和呈现处理器,用于响应于通过使用通信单元而接收到从查询装置传送的查询结果信息,根据该查询结果信息执行呈现处理,以及其中该查询装置包括通信单元,用于与该成像装置进行通信;面部数据库,其中登记有个人信息连同面部特征数据,查询处理器,用于响应于通过使用通信单元而接收到从成像装置传送的查询信息,使用包括在该查询信息中的面部特征数据来搜索该面部数据库,以及传送信息生成器,用于生成包括由查询处理器在面部数据库中找到的个人信息的查询结果信息,并通过使用通信单元将该查询结果信息传送给成像装置。
2.一种形成为便携式的成像装置,其能够与查询装置进行双向通信,该成像装置包括成像单元,用于拾取图像数据;通信单元,用于与所述查询装置进行通信;面部特征数据生成器,用于从由成像单元拾取的图像数据中提取面部图像,并根据所提取的面部图像生成面部特征数据;传送信息生成器,用于生成包括面部特征数据的查询信息,并通过使用该通信单元而将查询信息传送给查询装置;以及呈现处理器,用于响应于通过使用通信单元而接收到从查询装置传送的查询结果信息,根据该查询结果信息执行呈现处理。
3.根据权利要求2的成像装置,其中该面部特征数据是面部组成部分的相对位置信息。
4.根据权利要求2的成像装置,其中该传送信息生成器生成包括分配给图像数据的图像识别信息的查询信息,其中由面部特征数据生成器从该图像数据中提取面部图像。
5.根据权利要求2的成像装置,其中该传送信息生成器生成包括分配给面部图像的面部识别信息的查询信息,其中由面部特征数据生成器从图像数据中提取该面部图像,并且该面部识别信息与该面部特征数据相关联。
6.根据权利要求2的成像装置,还包括位置检测器,用于检测位置信息,并且其中该传送信息生成器生成包括位置信息的查询信息,该位置信息作为用于拾取由位置检测器检测到的图像数据的位置。
7.根据权利要求2的成像装置,还包括个人信息输入单元,用于输入个人信息,其中该传送信息生成器生成包括由面部特征数据生成器生成的面部特征数据的登记信息、以及由个人信息输入单元输入的个人信息,并通过使用通信单元而将所生成的登记信息传送给查询装置。
8.根据权利要求2的成像装置,还包括记录和再现单元,用于对记录介质执行记录和再现,其中该记录和再现单元将由面部特征数据生成器从其中提取面部图像的图像数据记录在记录介质中。
9.根据权利要求8的成像装置,其中该记录和再现单元将由面部特征数据生成器从其中提取面部图像的图像数据和分配给该图像数据的图像识别信息一起记录在记录介质中。
10.根据权利要求9的成像装置,其中该记录和再现单元将由面部特征数据生成器从其中提取面部图像的图像数据和面部识别信息相关信息一起记录在记录介质中,其中该面部识别信息相关信息将分配给包括在图像数据中的面部图像的面部识别信息与面部图像在该图像数据中的位置相关联。
11.根据权利要求2的成像装置,其中该呈现处理器执行包括在查询结果信息中的个人信息的呈现处理。
12.根据权利要求9的成像装置,其中该呈现处理器根据包括在查询结果信息中的图像识别信息,执行由记录和再现单元从所述记录介质中读取的图像数据的呈现处理。
13.根据权利要求10的成像装置,其中该呈现处理器在由记录和再现单元从记录介质中读取的图像数据中指明了目标面部图像的情况下,根据包括在查询结果信息中的面部识别信息以及面部识别信息相关信息,执行图像数据的呈现处理。
14.根据权利要求2的成像装置,其中该呈现处理器执行包括在查询结果信息中的位置信息的呈现处理。
15.根据权利要求2的成像装置,还包括位置检测器,用于检测位置信息,其中该呈现处理器根据由位置检测器检测到的当前位置信息而生成指明由包括在查询结果信息中的位置信息表示的位置的相对位置信息,并执行该相对位置信息的呈现处理。
16.根据权利要求2的成像装置,还包括接收通知单元,用于通知所述通信单元已经接收到了查询结果信息,其中该接收通知单元根据包括在查询结果信息中的登记类型信息来选择通知模式,以通知该查询结果信息的接收。
17.一种查询装置,其能够与成像装置进行双向通信,该查询装置包括通信单元,用于与该成像装置进行通信;面部数据库,其中登记了个人信息连同面部特征数据;查询处理器,用于响应于通过使用通信单元接收到从成像装置传送的查询信息,使用包括在该查询信息中的面部特征数据来搜索所述面部数据库,以及传送信息生成器,用于生成包括由查询处理器在面部数据库中找到的个人信息的查询结果信息,并通过使用通信单元将该查询结果信息传送给成像装置。
18.根据权利要求17的查询装置,其中该面部特征数据是面部组成部分的相对位置信息。
19.根据权利要求17的查询装置,其中该传送信息生成器生成包括图像识别信息的查询结果信息,该图像识别信息包括在查询信息中。
20.根据权利要求17的查询装置,其中该传送信息生成器生成查询结果信息,在该查询结果信息中由查询处理器找到的个人信息与包括在接收到的查询信息中的面部识别信息相关联。
21.根据权利要求17的查询装置,还包括其中存储地图信息的地图数据库,其中该传送信息生成器使用包括在接收到的查询信息中的位置信息搜索所述地图数据库,并根据该搜索结果生成位置信息作为文本数据或图像数据,以便生成包括所生成的位置信息的查询结果信息。
22.根据权利要求17的查询装置,其中登记类型信息与个人信息和面部特征数据一起被记录在登记数据库中,并且其中该传送信息生成器生成包括登记类型信息的查询结果信息。
23.根据权利要求17的查询装置,还包括登记处理器,用于响应于接收到包括面部特征数据以及个人信息的登记信息,将包括在该登记信息中的面部特征数据与个人信息相关联,并将该面部特征数据以及个人信息登记在面部数据库中。
24.一种使用成像装置来处理信息的方法,其中该成像装置形成为便携式并且能够与查询装置进行双向通信,该方法包括如下步骤拾取图像数据;从通过图像数据的拾取而拾取的图像数据中提取面部图像,并根据所提取的面部图像而生成面部特征数据;生成包括面部特征数据的查询信息并将该查询信息传送给查询装置;以及响应于接收到从查询装置传送的查询结果信息,根据该查询结果信息执行呈现处理。
25.一种使用查询装置来处理信息的方法,其中该查询装置能够与成像装置进行双向通信,该方法包括如下步骤响应于接收到从成像装置传送的查询信息,使用包括在该查询信息中的面部特征数据对其中登记有个人信息以及面部特征数据的面部数据库进行搜索,以及生成包括通过对面部数据库进行搜索而在该面部数据库中找到的个人信息的查询结果信息,并将该查询结果信息传送给成像装置。
26.一种操作成像装置的程序,其中该成像装置形成为便携式的并且能够与查询装置进行双向通信,该程序在成像装置中实现如下步骤拾取图像数据;从通过拾取图像的步骤而拾取的图像数据中提取面部图像,并根据所提取的面部图像生成面部特征数据;生成包括该面部特征数据的查询信息,并将该查询信息传送给查询装置;以及响应于接收到从查询装置传送的查询结果信息,根据该查询结果信息执行呈现处理。
27.一种操作查询装置的程序,其中该查询装置能够与成像装置进行双向通信,该程序在查询装置中实现如下步骤响应于接收到从成像装置传送的查询信息,使用包括在该查询信息中的面部特征数据对其中登记有个人信息以及面部特征数据的面部数据库进行搜索;以及生成包括通过对面部数据库进行搜索而在该面部数据库中找到的个人信息的查询结果信息,并将该查询结果信息传送给成像装置。
全文摘要
提供了一种查询系统,其包括便携式成像装置,以及能够与该成像装置进行双向通信的查询装置。该成像装置包括成像单元;通信单元;面部特征数据生成器,用于从由成像单元拾取图像数据中提取面部图像,并根据所提取的面部图像生成面部特征数据;传送信息生成器,用于生成包括面部特征数据的查询信息,并通过使用通信单元将该查询信息传送给查询装置;以及呈现处理器,用于响应于通过使用通信单元对从查询装置传送的查询结果信息的接收,根据该查询结果信息执行呈现处理。该查询装置包括通信单元、面部数据库、查询处理器、以及传送信息生成器。
文档编号G06T1/00GK101093542SQ200710137959
公开日2007年12月26日 申请日期2007年2月15日 优先权日2006年2月15日
发明者柏浩太郎, 真贝光俊 申请人:索尼株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1