专利名称：：用于从摄像机图片中提取面部以便在电子系统中表示的系统和方法
技术领域：
：本发明总体上涉及用于识别图像的计算机视觉技术，并且尤其涉及用于从图片中提取诸如人面部之类的图像以便在电子系统中表示的计算机视觉技术。在现在及将来的电子系统中，人们能够在所谓的“虚拟空间”彼此在线见面，并且为了在此虚拟空间中标识他们自己，他们需要由个人图标来表示。例如，虚拟空间可以由任何P2P系统(例如全球联网)来实现。在另一例子中，在办公楼的入口处，显示器可以示出所有房间的地图，包括当前在每个房间中的人的图片，即人像表示。问题在于怎样使这些种‘个人图标’可以易于被捕获并保持最新。可以使用面部识别系统来确定图像中的面部。在美国专利号6,108,437中描述了典型的面部识别系统，其致力于特征提取系统，所述特征提取系统处理图像以便确定在图像中是否存在面部并且确定它在图像中的位置。在美国专利号5,781,650中描述了面部识别系统的一个应用，其致力于用于根据所提取的图像来确定面部特征以便根据人的图像来分类他/她的年龄的系统。题目为“MethodandMeansforDetectingPeopleinImageSequences”的美国专利号5,987,154致力于用于在视频图像序列中定位人以便使视觉通信便于进行的系统。国际专利公开号WO200310728是面部识别系统的另一应用，其目标在于隐私保护。其目的在于通过首先检测在图像中存在的人的个人识别特征，继而自动除去或替换那些特征来隐藏人/物体的身份。大部分面部识别系统使用计算机视觉来识别人和物体的身份并且这些系统并不输出图像本身(一部分)。参考文献WO200310728是唯一的例外，但是这里目的在于隐藏人的身份。由于现有技术的计算机视觉系统都不能用来捕获并处理人的图像以便在另一系统(例如PCC或要求与人类和机器接口之类的系统)中使用所述图像来表示该人，所以这些系统都存在不足。因而，十分需要提供一种计算机视觉系统，其意在给出面部图像作为人在组织或系统中身份的表示。本发明的目的在于提供一种计算机视觉系统和方法，用于给出面部图像作为人在组织或系统中身份的表示。依照此目的，该计算机视觉系统和方法解决了想要的图像的计时/选择问题。例如，可以选择其中目标人正在凝视摄像机或正在微笑等的图像。据此，提供了一种计算机视觉系统和方法，其实现方式包括面部识别，用于捕获人的图片，所述人需要在另一例如使用或给出图像的电子系统中被表示并且从该图片提取或‘剪下’面部。所述系统和方法还能在人直视摄像机时甚至在人的脸部表情处于所要求状态(例如微笑)时获取快照，并且使得所提取的图像适合在另一电子系统中显示。因而，所发明的系统解决了所提取的想要图像的计时/选择问题。还提供了一种用于执行本发明方法的计算机程序产品以及其中存储所述计算机程序产品的程序存储装置。所述计算机程序产品可以被实现为计算机可读介质或包含在多媒体流中。结合下列描述、附加权利要求和附图将能够更好地理解本发明的设备和方法的这些及其它特征、方面和优点，其中图1图示了用于从摄像机输出(数字流)检测并提取图像的设备的实施例的示意图；图2图示了用于使用所提取的人物肖像来把该人识别为在可经由WiFi网络连接的个人内容容器装置中的图标的一个应用。表示人最自然的方式是通过人的面部图片来表示。然而，人们很难依照使图片具有肖像照片的适当属性的方式将自己定位在摄像机前面。现在参照图1，其中示出了用于在图像中检测人的设备10的示意性实施例。依照本发明，第一步骤是处理图像以便(使用面部特征来)检查面部的存在。例如图1所示，适于产生静止图像或完整运动视频图像的摄像机装置15分别产生例如一个人或一组人的第一真实世界图像12或图像系列(图像序列)。此图像可以被数字化并转换为数字流18以便输入到图像识别处理器或之类的装置20中，其可以应用面部识别使得在提取之前从第一(较大)图像中捕获目标人面部的快照22。如通常为面部识别和计算机视觉领域的技术人员所知，可以分析图像或图像序列的数字流来在数据流中检测各个可能符合确定的子串特征即人脸的特征的子串。然后，利用计算机视觉技术来从可能较大的图片上“剪下”面部。可以理解的是，摄像机装置15和图像处理器20可以是独立的装置或被实现为单个的独立设备。在一个实施例中，获取并接收静止图像/视频图像的时间可以被编程并且可以由计算机视觉来确定，诸如在人微笑时或直视摄像机装置时。也就是说，当图像中的面部正在微笑或完全面对摄像机时，图像序列可以提取目标人面部的快照22a。然后，把所提取的图像22a存储在存储装置系统或数据库25中，包括非易失性(或易失性)存储装置介质。所提取的图像可以连同上下文数据/元数据一起被存储，所述元数据诸如时间、地点、摄像机，以及该人的“个人ID”(如果知道的话)。最后依照本发明，所存储的图像22a以及相关联的上下文/元数据可以随后(或立即)被输入到相同的系统或第二个不同系统30中或从其中获取，所述系统用于执行需要人的视觉识别的任何应用。在一个例子中，例如图2中所描述，所存储的图像22a可以在例如移动电话50之类的电子系统30的屏幕显示45上被显示为图标22b。否则，可以在稍后的处理阶段把所提取的图像打印在纸上。依照本发明，上述原理可以应用于各种摄像机/计算机视觉系统中1)智能安全摄像机，适于创建那些进入或离开特定建筑的人的‘肖像照片’的日志列表；2)便携式“信息娱乐片”(用于信息或娱乐的内容)播放器，诸如便携式内容容器(PortableContentContainerPCC)，可以支持在特别共享的情况中使用用户图标；3)PC或TV摄影机，可以适于使用所提取的图像来创建用户图标，所述用户图标可以用来表示特定的人；例如，在虚拟社团空间中的表示(有益地是，其中所提取的照片是最新的)；4)PC、TV或浴室镜子显示系统，可以适于包括用于制作人面部的每日快照的集成摄像机。这使得此人能够播放他/她面部的图像序列，以便看看他/她的面部随时间怎样变化；5)装备有摄像机的移动电话，可以用来迅速地制作快照并且使用此图片来作为该人电话号码的表示(呼叫ID，通讯录等)。如果此人呼叫所述用户的电话，那么该图片会弹出；以及6)在建筑或接待处入口处的摄像机，可以制作进入人的快照，使得可以在公司建筑的入口/接待处使用摄像机和计算机视觉来利用这些快照立即地制作访客证章。例如，可以使用‘面部扫描系统’来连续地扫描进入人的面部，以便看看他们是否是新到的，或者按照显式请求来制作快照。这特别适于需要用户标识证章的组织。即，如果可以立即打印具有照片的证章，并且特别是当将来的显示技术变得便宜并且使访客证章能够用访客或雇员最近的图片来电子更新时，此系统是尤为有用的。这意味着(理论上)可以每天更新雇员证章。附加特征可以包括使用以下系统，所述系统被编程来频繁地捕获人的肖像图片以便面部识别系统可以保持最新，并且逐渐地修改识别模式以使得能够在很长时间内识别人。例如，本发明可以便于并能够维护目标用户的电子照片画面，可以用所述目标用户的最近图片来频繁地更新(例如，每天)所述电子照片画面。那些本领域技术人员应当理解在其它系统中也可以有效地使用本发明，在所述系统中可以从第一图像获得面部图像并且随后依照有用形式输出以便在另一系统中作为独立的较小图像来表示。虽然已经示出并描述了本发明的说明性实施例，然而当然应当理解，在不脱离本发明精神的前提下，可以容易地进行各种形式上或细节上的修改和改变。因此本发明并不意在局限于所描述和图示的确切形式，而应当被构造为覆盖了落入附加权利要求范围内的所有修改。权利要求1.一种用于在电子系统(30)中表示用户的系统(10)，包括用于获得包括目标人(22)的图像的图像(12)的装置(15)；用于处理所述获得图像的装置(18，20)，所述装置用于识别在所述图像中与所述目标人(22)相关联的面部特征并且从所述图像提取该目标人的面部部分(22a)；用于在电子系统显示装置中显示所述提取的目标人的面部部分的装置(45)，以便表示该目标人连接到所述电子系统(30)。2.如权利要求1所述的系统，其中用于获得图像的装置包括诸如摄像机(15)之类的图像捕获装置，适于产生静止图像或完整运动图像序列。3.如权利要求1所述的系统，其中用于处理的装置包括图像识别装置，其用于接收体现所述图像的数字流(18)并且应用面部识别技术来提取目标人的面部部分图像。4.如权利要求2所述的系统，其中在目标人(22)微笑时或在目标人直视图像捕获装置时可确定用于从所述捕获装置获取图像的时间。5.如权利要求3所述的系统，其中所述显示装置利用所述提取的目标人的面部部分(22a)作为图标(22b)，所述图标(22b)用于经由与所述电子系统(30)相关联的显示接口(45)来表示所述目标人。6.如权利要求5所述的系统，其中包括所述提取的目标人的面部部分(22a)的图标(22b)被立即或随后输入到所述电子系统(30)。7.如权利要求2所述的系统，还包括存储装置(25)，用于存储所述提取的目标人的面部部分图像(22a)以及与所述图像相关联的上下文数据。8.如权利要求6所述的系统，其中所述上下文数据包括元数据，所述元数据包括时间、地点以及所实现的图像捕获装置。9.一种用于在电子系统(30)中表示用户的方法，包括步骤a)获得包括目标人(22)的图像的图像(12)；b)处理(20)所述获得图像，包括识别在所述图像中与所述目标人相关联的面部特征并且从所述图像提取该目标人的面部部分(22a)；并且c)在电子系统(30)显示装置中显示(45)所述提取的目标人的面部部分，以便表示该目标人连接到所述电子系统。10.如权利要求9所述的方法，其中获得图像的步骤a)包括实现适于产生静止图像或完整运动图像序列的图像捕获装置(15)，诸如摄像机。11.如权利要求9所述的方法，其中处理步骤b)包括实现图像识别装置(20)以便接收体现所述图像的数字流(18)，并且应用面部识别技术来提取对应于所述目标人的面部部分(22a)的图像的步骤。12.如权利要求10所述的方法，其中获得(15)图像的步骤a)包括把从所述捕获装置获取图像的时间设计为当目标人(22)微笑时或当目标人直视图像捕获装置时的步骤。13.如权利要求11所述的方法，其中所述显示步骤包括利用所述提取的目标人的面部部分(22a)作为图标(22b)，所述图标(22b)用于经由与所述电子系统(30)相关联的显示接口(45)来表示所述目标人。14.如权利要求13所述的方法，还包括立即或随后向所述电子系统(30)输入所述图标(22b)的步骤，所述图标(22b)包括所述提取的目标人的面部部分(22a)。15.如权利要求10所述的方法，还包括把所述提取的目标人的面部部分图像以及与所述图像相关联的上下文数据存储在存储装置(25)中的步骤。16.如权利要求14所述的方法，其中所述上下文数据包括元数据，所述元数据包括时间、地点以及所实现的图像捕获装置。17.一种用于在电子系统(30)中表示用户的计算机程序产品，包括步骤a)获得包括目标人(22)的图像的图像(12)；b)处理(20)所述获得图像，包括识别在所述图像中与所述目标人相关联的面部特征并且从所述图像提取该目标人的面部部分(22a)；并且c)在电子系统(30)显示装置中显示(45)所述提取的目标人的面部部分，以便表示该目标人连接到所述电子系统。18.如权利要求17所述的计算机程序产品，其中获得图像的步骤a)包括实现适于产生静止图像或完整运动图像序列的图像捕获装置(15)，使诸如摄像机。19.如权利要求17所述的计算机程序产品，其中处理步骤b)包括实现图像识别装置(20)以便接收体现所述图像的数字流(18)，并且应用面部识别技术来提取对应于所述目标人的面部部分(22)的图像的步骤。20.如权利要求18所述的计算机程序产品，其中获得(15)图像的步骤a)包括把从所述捕获装置获取图像的时间设计为当目标人(22)微笑时或当目标人直视图像捕获装置时的步骤。21.如权利要求19所述的计算机程序产品，其中所述显示步骤包括利用所述提取的目标人的面部部分(22a)作为图标(22b)，所述图标(22b)用于经由与所述电子系统(30)相关联的显示接口(45)来表示所述目标人。22.如权利要求21所述的计算机程序产品，还包括立即或随后向所述电子系统(30)输入所述图标(22b)的步骤，所述图标(22b)包括所述提取的目标人的面部部分(22a)。23.如权利要求18所述的计算机程序产品，还包括把所述提取的目标人的面部部分图像以及与所述图像相关联的上下文数据存储在存储装置(25)中的步骤。24.如权利要求22所述的计算机程序产品，其中所述上下文数据包括元数据，所述元数据包括时间、地点以及所实现的图像捕获装置。全文摘要一种用于在电子系统中表示人的系统和方法。获得包括目标人图像的图像。处理所述图像或其数字表示以便识别在所述图像中与所述目标人相关联的面部特征。然后从所述图像中提取目标人的面部部分。经由与相同的或独立且不同的电子系统相关联的显示接口来显示所述提取的目标人的面部部分，以便当该目标人连接到该电子系统时表示所述目标人。用于捕获所获得图像的图像捕获装置适于在目标人微笑时或在目标人直视捕获装置时获取图像。可以产生包括所述提取的目标人的面部部分的图标，所述图标用于经由与电子系统相关联的显示接口来表示该目标人。文档编号G06F1/00GK1882953SQ200480034501公开日2006年12月20日申请日期2004年11月15日优先权日2003年11月21日发明者B·M·范德斯卢伊斯申请人:皇家飞利浦电子股份有限公司