通过基于图象的识别的设备控制的制作方法

专利名称：通过基于图象的识别的设备控制的制作方法
发明的背景1、发明的领域本发明涉及消费者电子设备领域，并尤其涉及用于以来自受控装置附近的视频获取装置的图象为基础的装置的自动控制的系统和方法。
2、相关技术的描述面貌识别通常用于安全目的。在人工安全系统中，包含面部照片的安全标记被用于进入保密区域或读取保密材料。在自动和半自动系统中，面貌识别软件被用于把从例如摄像机获得的人的当前图象与保存的图象相近似匹配。在传统系统中，用户识别他自己或她自己，面貌识别软件把视频图象与被识别人的一幅或多幅保存的图象相比较。
Agraharam等在1999年9月21日出版的美国专利5,956,482“多媒体信息服务接入”在这里被引用作为参考，它提出了一种安全技术，其中用户请求进入一种信息服务，系统拍摄用户的快照，并只有在快照对应于授权用户的情况下才准许进入该项信息服务。Lobo等在1998年11月10日出版的美国专利5,835,616“使用模板的面貌检测”在这里被引用作为参考，它提出了一种在数字化图象中自动找到人的面貌，并通过检查面部特征来证实该面貌的存在的两个步骤的方法。Lobo等的系统尤其适用于即使该视图可能不对应于典型的面部快照，也能在摄像机的视野内找到一个或多个面貌。
在消费者电子设备领域中，特别是广播、有线电视和卫星电视领域中，用户在任意给出的时间有接入上百种服务的选择，系统和方法被不断地改进以根据用户的偏爱特点来向用户组织并提供可获得的内容材料。为了达到该用户的特殊的组织和提供的目的，用户通过提供用户名或推荐识别装置典型地向控制系统来证实他自己或她自己的身份。尽管用户识别在使用计算机时或在特定环境诸如办公环境中普遍存在，但是在较低组织化的环境，比如家庭中可能存在问题。在办公环境中，例如雇员可以被要求佩戴识别标记，或有目的地使用生物统计扫描仪，比如面部识别装置、视网膜扫描仪、指纹扫描仪等。另一方面，在家庭环境中，不得不输入鉴别顺序或支持鉴别标记，或有目的地使用识别装置，从而激活或控制接受装置将被看作一种麻烦，至少是不方便的。
发明的简述本发明的目的是提供一种鉴别用户以便于在家庭自动化系统中实现控制的不显眼的装置。本发明的另一个目的是提供一种基于用户识别的自动化的用户特殊材料表示。本发明的另一个目的是基于自动化的用户识别提供自动化的电视启动和频道选择。本发明的另一个目的是基于用户的自动识别提供自动化的设备控制。
这些目的和其他目的通过提供一种经图象处理设备与设备控制器连接的视频装置。当特定用户在图象中被认出时，控制器接入包含对应于被识别用户的用户档案的数据库。该用户档案包含用户对提供材料的优先顺序，诸如对在一天的特定时间对娱乐节目特定类型的喜好。根据用户档案中的信息，控制器启动一个和多个设备，比如电视机或立体声设备，并选择或推荐提供给用户的材料，该材料符合那一时间用户的喜好。
附图的简要说明本发明参照附图通过实施例更详细地说明，其中

图1描述了根据本发明的面貌识别能力的示例的电视控制器。
图2描述了根据本发明的实施例的具有面貌识别功能的设备控制器的示例的流程图。
全部图中，相同的附图标记表示相同或相应的特征或功能。
发明的详细说明随着家庭自动化技术的出现，应用继续被发展从而使应用的控制更便利。控制的便利包括例如自动启动一个设备，提供用于从各种项目中选择的推荐，限制接入选择材料或控制等。
1998年12月23日由Jan H.Elenbaas、Tomas McGee、Nevenka Dimitrova和MarkSimpson申请的序列号为09/220,277的共同未决美国专利申请“个人化的新闻检索系统”，代理案号PHA23,590，提出了用于根据用户的偏好和观看习惯订制信息的分类和检索的技术，该文献在这里引用作为参考。在该共同未决申请中，根据在表达的偏好和隐含的偏好基础上产生的用户档案，根据观看习惯新闻项目和其他内容材料提供给用户。
1998年12月29日由Doreen Y.Cheng申请的序列号为09/222,403的共同未决的美国专利申请“具有分散的网络化设备的家庭控制系统”，代理案号PHA23，605，提出了根据个人在诸如家中的房间的特定位置的出现，用于控制诸如电视、收音机等设备的技术，该文献在这里引用作为参考。在该相关申请中，每个用户带有定位器装置，它告知在每个位置内的一个和多个控制器用户的存在。根据与每个定位器装置并从而与每个用户相关联的“档案”，家庭控制系统启动并停用设备以符合被识别用户表现出的需要。根据用户档案，并根据一天中的时间和其他因素，当用户最初进入一个房间时，电视或立体声设备可能被启动。特定的电视频道和音乐选项也根据用户档案、一天中的时间等被选择。用户从一个房间走向另一个房间时，他进入的房间中的电视打开，并转到用户在前一个房间正在观看的台，前一个房间总的电视关闭，除非在前一个房间中有另一个定位器装置被检测到。
1999年3月31日由Karen Travato、Dan Pelletier、Paul Rankin和JacquenlynMartino申请的序列号为09/282,319的共同未决的美国专利申请“按类型进行的遥控节目选择”，代理案号PHA23,644，提出了根据类型也根据对特定喜好频道的用户档案安排遥控器的频道上下键的技术，该文献在这里引用作为参考。
在前述的每一个发明中，系统根据当前用户或被控设备的用户的鉴别来提供控制或推荐。如前面提到的，用户鉴别的‘激活’方法，比如用户名或代码的输入或佩戴识别标记，可能与消费者的“方便”观点不一致。根据本发明，根据对被控设备附近用户存在的识别，该用户鉴别以“被动”方式提供。一个诸如视频摄像机的图象获取设备获取被控设备附近景象的图象，并且诸如面貌识别程序的用户识别程序从图象中识别用户。
图1描述了根据本发明的示例的设备控制系统100。为了便于参考，电视系统130作为被控设备出现，尽管诸如立体声系统、互联网接入设备等任意其他的用户可控设备也可以是被控设备。诸如视频摄像机的成像设备110获取视野115范围内的物体的图象并向用户识别器120提供该图象。
在优选实施例中，用户识别器120是多级面貌识别设备，它根据皮肤肤色的位置、对应于眉毛的非皮肤颜色的位置、对应于下巴、鼻子的分界线等在具有面貌总特征的图象的一个区域内搜索图象(参见美国专利5,835,616)。如果检测到一张脸，这张脸被描绘用于与数据库中保存的参照面貌相比较，该数据库与面貌识别器120相关联。视频图象中的面貌的特征最好进行与对参照面貌取特征时相同的特征处理，并且根据该特征进行比较，而不是“视觉”匹配，从而避免为了确定一个匹配必须有两幅识别图象(当前面貌和参照面貌)的需要。在优选实施例中，参照面貌的数量相对小，典型地限于家庭中人口的数量，从而允许面貌识别处理被快速地完成。
当用户识别器120确定视频图象总的面貌对应于特定用户时，用户的证实被通知到设备控制器140。在图1的示范的实施例中，电视机被描述为被控制的范例设备130。控制器140包括对应于每个可识别用户的‘档案’，档案中最好包括对设备130操作的用户的偏好，包括具有时间依赖性的偏好。这些偏好可以由每个用户直接输入，也可以根据原有经验确定。例如，如果特定用户总是在下午6点打开电视并在8频道观看新闻节目，档案将包含该“偏好”。注意，用在这里的短语‘用户偏好’是通常的含义。例如，一个孩子的档案将根据孩子父母的偏好确定。这些偏好可以包括在特定的时间只播放教育节目、在其他时间不接入、对特定种类的材料不接入、对每天电视机被观看的小时数的限制等。
通常在本领域中，任意种类的机器改进技术也可以被用于发展每个用户和典型控制行为之间的关联性，并且因此根据这些相关性来模仿控制行为的执行。
当特定用户被识别出时，控制器140执行对应于用户的假定的或直接偏好的控制项。在上述例子中，如果用户被检测到下午6点在电视机附近，控制器140打开电视130，并把它调到8频道。如果用户通常在他进入房间时打开电视，并通常到下午6点不管当时电视在哪个频道都让电视转到该频道，则控制器140将通过检测到用户时打开电视机并只在下午6点把电视转到8频道来模拟该行为。在特定用户的识别的基础上，用于控制设备操作的这些和其他技术对本领域普通技术人员来说将是显而易见的，特别是考虑到上述的相关专利申请。注意，为了容易参考和理解，用在这里的词语‘控制’包括完成设备控制的任意和所有技术，包括前述的项目的推荐或偏好，选项的自动和半自动行为等。
对于本领域普通技术人员来说很显然，用户识别的其他方法以及面貌识别技术可以在上述场所被利用。例如，步态识别装置能够被用于根据图象中人的动作来识别人。更简单的识别设备可以根据用户的尺寸来识别。例如，用户档案可能被分为‘成人’和‘孩子’档案，其中的一些或所有的控制都基于根据用户的尺寸来确定用户是成人还是孩子来完成。在稍不复杂的实施例中，识别可以只在诸如用户喜欢的椅子这样的特定位置有人时通过红外图象控制器做出检测。其他基于图象的技术，诸如彩色分布、边界分布等类似技术也可以被用于实现用户的识别。这些和其他实施例也可以用于‘预处理’图象信息从而完成从视频图象中的快速识别。2000年8月8日由Michael Bakhmutsky申请的序列号为09/634,682的共同未决的美国专利申请“使用二级传感器来优化视频通信”，代理案号US000158，提出了用于在视频图象中找出热的物体比如人，以根据相对于视频图象以更低的成本、更低的清晰度的红外图象来优化图象特殊位置的编码的方法，该文献在这里被引用作为参考。相同的原理能够被用于提供初步用户识别，它根据视频图象的进一步处理被进一步修正或确定。
图2描述了根据本发明的具有用户识别的设备控制系统的示例的流程图。为了便于理解，面貌识别在图2中被用做基于图象的用户识别的例子。在步骤210，视频图象(来自图1的成像装置110)被扫描以确定图象中面部的存在。该扫描可以是连续的、周期的、事件驱动的或另外启动的。例如，扫描可以被持续直到检测到待识别的面貌，接着例如以对应于传统的‘节目改变’周期的时间间隔(在美国，节目通常以半小时或一小时的间隔变化)进行周期扫描。或者，扫描可以与电视结合起来并在每个广告时段的开始进行。
在步骤215，如果在图象中检测到面貌，在步骤220检测到的面貌特征被确定。如果用户已经被鉴别，在步骤225，通过先前的图象扫描，检测到的面貌的特征与待鉴别用户的特征相比较。如果检测到的面貌部对应于鉴别的用户，或者如果没有当前待鉴别的用户，在步骤230，在用户面貌的数据库201中搜索具有与检测到的面貌具有相同特征的面貌。在步骤235，如果应于检测到的面貌的用户被证明，则在步骤240，“当前”用户的鉴别被设置，并且在步骤260，对应于该当前用户鉴别的设备被控制。
在步骤235，如果对应于该面貌的用户没有被鉴别，则当前用户ID被清除。或者，新用户的面貌特征能够被加入到用户面貌数据库210中，并且建立一个新的用户档案，这在图中未示出。最好，新用户档案根据默认的档案建立，它由设备控制系统的‘系统管理员’建立。对本领域普通技术人员来说很显然，在步骤235用户鉴别的缺乏也能够被用于建立用户面貌的数据库201，或提供数据库201中现存的被鉴别的用户的其他图象。或者，在步骤235，如果对应于该面貌的用户没有被证明，控制器可以缺省到确定的“客人”用户档案。
在步骤215，如果在图象中没有检测到面貌，在步骤250，“当前”用户的证明被清除，并且在步骤260，设备根据当前用户鉴别的缺少来控制。
在多用户环境中，“当前”用户的鉴别包括对应于每个当前用户的一组鉴别，并且步骤210-260对在每个图象中每个检测到的或没检测到的面貌来重复进行。即，例如，判定块215对每个图象中的面貌产生“是”的判定，或在图象中没有其他面貌时产生“否”的判定。块250接收该“否”的判定，并从当前用户组中去掉已经在当前图象中被识别的用户的任意鉴别。
如上所述，在步骤260，设备的控制依赖于用户档案202的数据库。如果单个用户被鉴别，设备的控制直接对应到确定的用户的档案。在本发明的简化的实施例如果多用户被鉴别，只有一致的偏好起作用。即，例如，如果每个用户通常打开电视，或用户通常在电视机什么状态(开/关)，当用户进入房间时，控制块260被设定以在通常打开电视的第一用户进入房间时打开电视。但是，如果另一个通常关闭电视的用户随后进入房间，控制块260被设定为到其他用户不再在房间才采取行动。以相同的方式，如果当前待鉴别的用户的设定具有不同的频道或类型选择喜好，控制块260直到产生偏好的一致才采取行动。在更复杂的实施例中，数据库202包括多用户档案，比如当用户A和B在而C不在时通常观看的频道等。
对本领域普通技术人员来说很明显，控制块260和用户档案202也可以使用状态独立原则操作。例如，如果典型用户通常重复地离开并进入房间，规则可以被设定以在从当前设定中清除用户的鉴别前调用‘等待时段’。
前文只是描述了本发明的原理。能够意识到本领域技术人员将能够设计各种装置，它们尽管没有被明确地描述或示出，但实现了本发明的原理并在本发明的宗旨和范围内。例如，控制系统100可以被设定以用其他控制系统操作，或在其他控制系统体系内操作。例如，设备110-140可以经家庭自动化网络和控制协议被连接。家庭自动化标准包括IEEE 1394、X-10、HAVi、Home API、Jini等。IEEE 1394和X-10是通信协议；HAVi是使用IEEE 1394的软件体系；Home API是公开的工业规范，它确定了使软件应用到监视器和控制家庭设备的软件服务的标准设定和编程接口应用；Jini分配软件体系(网络)，其中客户把设备和服务看作目标。电视控制器140可以包括例如具有IEEE 1394与依从HAVi的卫星电视接收机的接口的个人计算机，并且面貌识别器120是在个人计算机内的软件程序。对本领域普通技术人员来说很显然，设备的控制可以通过控制一个辅助设备，比如通过控制有线电视或卫星接收机系统、VCR调谐器等控制在电视上观看的频道。这些和其他系统结构和优化特征对于看过该说明书的本领域普通技术人员来说是很明显的，并包含在随附的权利要求的范围内。
权利要求
1.一种设备控制系统(100)，包括成像设备(110)，被设定为收集在成像设备(110)的视野范围(115)内的图象，用户识别器(120)，被设定为根据在图象中的用户的特征的识别来鉴别用户，以及设备控制器(140)，被设定为根据与用户相关联的偏好的档案(202)实现设备(130)的控制。
2.权利要求1的系统(100)，还包括数据库，被设定为包含多个参考特性，并且其中用户识别器(120)根据该图象中的特征与多个参考特征相比较来鉴别用户。
3.权利要求2的系统(100)，其中数据库(201)也被设定为包含与多个参考特征相关联的多个偏好的档案(202)。
4.权利要求2的系统(100)，其中多个参考特性包括至少以下特征之一多个面貌特征，多个步态特征，多个红外特征，多个彩色特征，以及多个尺寸特征。
5.权利要求1的系统(100)，其中偏好的档案(202)包括时间依从的偏好。
6.权利要求1的系统(100)，其中设备控制器(140)通过家庭自动化网络实现设备(130)的控制。
7.权利要求1的系统(100)，其中设备(130)是电视接收机，并且偏好的档案(202)包括在特定时间的优选频道。
8.权利要求1的系统(100)，其中设备(130)的控制包括以下之一设备(130)的启动，并且设备(130)的调谐。
9.权利要求1的系统(100)，其中用户识别器(120)还被设定为根据图象中至少一个用户的特征的识别来鉴别至少一个其他用户，并且设备控制器(140)还被设定为根据与至少一个其他用户的相关联的偏好以实现设备(130)的控制。
10.一种用于控制设备(130)的方法，包括在图象内的识别(220)特性，根据把这些特征与多个用户特征(201)比较(235)鉴别用户，以及根据与用户相关联的一个或多个偏好实现设备(130)的控制(260)。
11.权利要求10的方法，还包括从对应于多个用户特征的多个偏好(202)中选择与用户相关联的一个或多个偏好。
12.权利要求11的方法，其中设备(130)是电视接收机，并且一个或多个偏好包括在特定时间优选的频道。
13.权利要求10的方法，其中实现设备(130)的控制(260)包括至少以下之一启动设备(130)，推荐一个或多个设备(130)的控制设定，在控制设备中预设对设备(130)的控制设定，以及调谐该设备(130)。
14.权利要求10的方法，还包括在图象内识别其他特征，根据其他特征与多个用户特征(201)的比较来鉴别其他用户，以及根据与用户和其他用户相关联的一个或多个偏好进一步完成设备(130)的控制。
15.一种电视控制系统(100)，包括提供图象的视频摄象机(110)，面貌识别设备(120)，可操作地与视频摄象机(110)连接，根据图象鉴别用户，电视控制器(140)，可操作地与面貌识别设备(120)连接，根据与用户相关联的偏好完成电视(130)的控制。
16.权利要求15的电视控制系统(100)，其中电视(130)的控制包括至少以下之一启动电视(130)，推荐一个或多个电视(130)的设定，预设电视(130)的选项，以及选择出现在电视(130)上的材料源。
17.权利要求15的电视控制系统(100)，其中用户识别设备还被设定以根据图象识别多个用户，以及电视控制器(140)还被设定以根据与多个用户相关联的偏好来实现电视(130)的控制。
全文摘要
一种视频设备，通过基于图象的用户识别软件连接到设备控制器。当特定用户的面貌在提供的图象或图象序列中被识别时，控制器接入包含对应于待识别用户的用户档案的数据库。该用户档案包含用户对提供材料的偏好，比如在一天中的特定时间对娱乐节目特定类型的偏好。根据用户档案中的信息，控制器启动一个或多个设备，诸如电视机或立体声设备，并选择呈现给用户的材料，该材料符合用户在那一时刻的喜好。
文档编号H04N7/16GK1395797SQ01803050
公开日2003年2月5日 申请日期2001年9月26日 优先权日2000年10月10日
发明者M·特拉科维克, Y·严, A·科尔梅纳雷兹, S·古塔 申请人:皇家菲利浦电子有限公司