在局部环境中依照个人的位置与个人的选择修改局部环境的周围环境的系统和方法

专利名称：在局部环境中依照个人的位置与个人的选择修改局部环境的周围环境的系统和方法
该发明涉及调节周围环境，例如在住宅或者类似的内部环境中的灯光、温度、噪声级别等等。
某些住宅自动化系统和方法是已知的。许多已知的住宅自动化系统和方法通常可以分类为到达实时物理输入的反馈。一个已知的实例是具有附带的红外传感仪(或者类似的移动传感器)的灯，这种灯在人从旁边走过，例如进入一个房间时就会打开。这种灯可能经常具有一个附带的日光传感器(另一个实时输入)，该传感器在周围有日光的时候阻止灯打开。
其他已知的住宅自动化系统和方法可以通常被分类为被预定程序的，以在满足某些标准时执行某些功能。许多反馈系统通过定时器来控制。例如，加热装置可以在白天的某个时间例如在早上自动地开始。类似地，煮咖啡机可以在指定时间自动地开始，以便当他或者她在早上走进厨房时会有准备好的一杯煮好的咖啡。
在Richton的欧洲专利申请EP 1 102 500 A2中描述了更复杂的住宅自动化系统的实例。通过个人携带的无线移动单元(例如无线电话)的位置用来确定人到家的距离。根据人与家之间的距离执行某些动作的信息或者指令在住宅内部产生并发送给控制器。控制器将制定指令。例如，当用户在到家的某段距离之内时，住宅加热装置可以被指示打开。因此，Richton具有类似于反馈系统(也就是，基于近似性接合特征)和预定程序系统(也就是，当满足某个预存标准时特征的衔接)两者的特色。
在Sharood等的PCT WO01/52478 A2中描述了另一个更精细的预定程序类型的住宅自动化系统的实例。在Sharood系统中，现有的住宅设备和系统连接到一台控制服务器。用户可以经由一个用户接口来控制一个选定的设备或者系统，该用户接口与服务器相互作用并且对于选定的设备或者系统可以表示实际的控制输入的图示。因此用户可以远程地，例如通过因特网连接访问服务器和控制设备或者系统。另外，控制服务器可以被编程以便某个设备或者系统在某种环境下开始和运行。例如，当处于“假期模式”的时候，出于安全的目的灯在某些时间会打开，并且加热装置以较低的温度运行。
有许多不足与已知的住宅自动化技术和系统有关。例如，已知的反馈类型系统在收到输入的时候仅仅提供一种固定反应。因而，例如，即使人不是那样想让灯亮，移动传感器也将打开灯。即使一个像Richton这种的反馈系统也在可能编写某个反馈的地方遭受这样的缺点。例如，反映妻子选择的在住宅中某个距离开始某个功能的移动电话可能造成正在携带妻子电话的丈夫不同意的情况。
类似地，已知的预定程序类型的住宅自动化系统有许多不足。例如，自动地打开设备或者系统的计时器将这样做，除非它被关闭，因此会产生不合需要的或者可能不安全的情况。例如，如果一个人在他或她有一个很早的业务会议的当天忘记将煮咖啡机的计时器关闭，当煮咖啡机在日上三竿的时候开启并且将整天保持开启则可能发生潜在的事故。同样地，例如，如果Richton中选择了″假期模式″，不熟悉系统控制的孩子周末出乎意料地从大学回家，而家庭其余成员恰好不在他或者她可能无法将灯、加热装置等等操作成他们喜欢的模式。
已知的住宅自动化系统和技术的其他缺点包括不能识别特殊的人和在房子中对于识别出的人的选择修整一种设置或者反应。另外，已知的系统和技术不会根据住宅中的特殊的人的位置以优先的设置或者反应表示响应。另外，已知的系统和技术不会基于他们位于房子中的位置以许多人优选的设置或者反应表示响应。
因而本发明的一个目的是提供在局部环境、例如在住宅中的情况或者环境的自动调整。还有一个目的是提供在局部环境中的特殊的人的位置的自动检测和在局部环境的区域中情况或者环境的自动调整，在该局部环境中根据特殊的人的选择来检测这个人。还有一个目的是使用图像识别提供在局部环境中特殊用户的位置的自动检测。
因此，本发明提供一种系统，该系统包括一个接收与局部环境的一个或多个区域有关的图像的控制单元。例如，该局部环境可以是住宅，两个或多个的区域可以是住宅的房间、住宅的一个侧厅或者楼层等等。一个或者多个区域中的每一个都由一个或多个可控制的设备或者系统服务。例如，可控制的设备或者系统可能是房间里的灯、用于住宅的一部分的加热级别等等。控制单元处理图像以从与局部环境有关的一组已知人中识别出位于一个或多个区域中的任何已知人。对于在各自区域这样识别出的已知人，控制单元从数据库中检索一个已知人的选择的标记用于一个或者多个服务于已知人所在的各自区域的可控制设备或者系统中的至少一个。。控制单元产生控制信号，以便一个或多个服务于识别出的人所在的各自区域的可控制设备或者系统被调节以反映已知人的选择。
同样，该发明提供一种用于调节包括局部环境的区域的情况或者环境的方法。该方法包括捕获与局部环境的许多区域中的每一个有关的图像。从一组与局部环境有关的已知人中，任何位于一个或多个区域的已知人从捕获的图像中被识别出来。一个识别出的人的一个或多个选择被检索出来。识别出的人的一个或多个选择用来控制一个或多个与识别出的人的所在区域有关的设备或者系统。


图1是本发明的一个实施例的典型视图；图2是图1显示的本发明的实施例的更详情的典型视图；图2a描述图2中一元件的更多细节；以及图3是依照本发明的方法的实施例的流程图。
参考图1，支持本发明一实施例的包括住宅10的局部环境被示出。虽然在随后的描述中集中于住宅，但是局部环境可以是本发明能够应用的任何环境，例如办公室、商店、医院、旅馆、露营车等等。通过在本领域技术人员，本发明可以容易地适应这种其他的环境。
住宅10被显示由房间R1，R2组成。虽然R1、R2被表示为并称为房间，它们通常用来表示在家庭中可定义的区域，而不仅仅是传统的房间。例如，换句话说任何区域可以是厨房、门厅、楼梯、车库、地下室、贮藏室等等。另外，图1中的房间R1、R2表示住宅中具有至少一个服务于各自房间的可控制设备或者系统的其它房间。住宅中不包括不可根据本发明控制的设备或系统的任何区域都没有在图1中示出，但应该理解此类区域是存在的。例如，依照本发明控制的系统和/或设备可能在住宅中更加频繁使用的某个区域中找到，例如卧室、厨房、私室和起居室，可能在家庭中较少频繁使用的区域中是不存在的，例如门厅、楼梯、地下室和车库。
图1中的每个房间R1、R2被显示为分别具有摄像机C1、C2或者类似的图像捕获设备，这些设备捕获房间内的图像特别是房间内人的图像。可以使用一个以上的摄像机来覆盖一个区域，但是为了方便描述，图1中只有一个摄像机被表示来覆盖每个区域。这样，例如摄像机C2在人X如图所示位于房间R2时将捕获人X的图像。各个房间R1、R2同样被显示为具有照明房间的各自的灯L1、L2，以及加热房间的各自的加热单元H1、H2。房间R2由一个通过扬声器S2提供音乐的音频系统服务。灯LI和加热单元H1是依照本发明控制的房间R1的系统和元件。类似地，灯L2、加热单元H2和扬声器S2是依照本发明控制的房间R2的系统和元件。如在下面将要更详细描述的，依照本发明，来自摄像机C1、C2的图像用来识别在各自的房间R1、R2的已知人。一旦识别出来，服务识别出的人所在房间的设备和/或系统就依照识别出的人的个人选择被自动地调节或者控制。例如，如果人X被摄像机C1认出来，房间R2中灯L2、加热单元H2和来自扬声器S2的音乐音量自动地被调节到X的选择状态。
在继续下去之前，还要提到表示服务于每个房间R1、R2和依照本发明控制的特殊设备和/或系统是为了方便帮助描述本发明的实施例。可是，每个房间可以包括服务房间并依照本发明控制的或多或少和/或不同的设备或系统。一个本领域的技术人员可以容易地将应用于下面所述的典型设备和系统的描述修改为在任何独立房间发现的不同的和/或额外的或者更少的设备或者系统。
另外，还要提到每个设备和系统是作为一个特殊房间的服务归在图1中的。可是，任何一个设备或者系统可以服务两个或者多个房间。对于那些服务的设备或者系统，设备或者系统的服务区域定义房间或者局部区域，并由此确定哪个摄像机用于控制该设备或者系统。例如在图1中，加热单元H2可能不存在，加热单元H1可能服务两个房间R1、R2。因而为了加热单元H1，局部区域是房间R1和R2，并且该局部区域依照通过C1或者C2识别出的人的选择被调节。类似地，扬声器S2可以向房间R1和R2两者提供音乐，这样它的音量将被调节到位于R1或者R2(也就是，一个在C1或者C2捕获的图像中识别出的人)的一个识别出的人的选择状态。
参考图2，显示了在图1中引进的实施例的更加详细(和更通用)的表示。房间R1、R2与各自的摄像机C1、C2、各自的灯L1、L2和各自的加热单元H1、H2一起被示意性地显示。对于房间R2，同样显示了扬声器S2。为了清楚，服务房间和依照本发明控制的设备和/或系统(例如L1、L2、H1、H2和S2)也可以被称为″服务元件″。
图2显示本发明的实施例的额外元件。控制单元20向房间R1、R2中的服务元件提供中央处理和控制信号的启动。控制单元20可以包括任何数控装置、处理器、微处理器、计算机、服务器等等，以及任何可以执行本发明的控制处理和信号产生的必需的辅助元件(例如存储器、数据库等等)。例如，如在图2a中进一步显示的，控制单元20可以包括处理器22和存储器24，以及用于确定适当的控制信号和将其输出到服务元件的运行软件，这些在下面进一步详细地描述。摄像机C1、C2分别通过数据线1(C1)、1(C2)连接到控制单元20。下面描述的数据线1(C1)、1(C2)和类似的线路可以包括标准通信电线、光纤和类似的电路数据线。它们也可以表示无线通信。因此每个摄像机C1、C2向控制单元20的处理器22提供它所在的各自的房间R1、R2的图像。因此摄像机C1向控制单元20提供房间R1的图像，摄像机C2向控制单元20提供房间R2的图像。
另外，控制单元20的处理器22分别通过线路1(L1)、1(L2)向灯L1、L2提供用于控制各自的灯L1、L2的亮度的适当的控制信号。为了方便起见，在图2中线路1(L1)、1(L2)被显示分别直接连接到灯L1、L2，但是很清楚实际上线路1(L1)、1(L2)向附加在每个各自的灯L1、L2之上的减低亮度电路提供控制信号。换句话说，线路1(L1)、1(L2)可以被输入到单独的照明控制器，该控制器根据来源于控制单元20的输入向L1和/或L2提供适当的减低亮度控制信号。
控制单元20的处理器22同样通过线路1(H1)、1(H2)分别向房间R1、R2提供用于控制由加热单元H1、H2提供的温度的控制信号。通过线路1(H1)、1(H2)来自控制单元20的控制信号可以包括分别用于加热单元H1、H2的适当的温度控制信号。在图2的取暖系统的特殊实例中，加热单元H1、H2是电热器，每个电热器具有分别通过线路1(H1)、1(H2)接收来自控制单元20的控制信号(以温度设置的形式)的相关的恒温器。
对于现有技术中已知的取暖系统的普通类型，图2中显示的通过控制单元20向发热元件H1、H2提供的控制信号是实际的基础系统的一个更抽象的表示。例如，对于由集中来源(例如燃烧煤气的热水锅炉)提供的热量，控制单元20可以通过线路1(H1)向房间R1中的恒温器(没有显示)提供温度设置。因此恒温器打开一个附着于锅炉上的特殊的循环器，该锅炉向包括加热装置H1的踢脚板式发热元件提供热水。另外，线路1(H1)、1(L2)可以被输入到单独的加热控制器，该控制器根据来源于控制单元20的输入向H1和/或H2提供适当的加热控制信号。无论哪一种基础的加热系统，无论如何，根据图2描述的实施例的控制可以被该领域的技术人员容易地修改。
同样控制单元20通过线路1(S)向音频系统40提供控制信号。音频系统40依照来源于控制单元20的控制信号通过线路1(S2)向房间R2中的扬声器S2提供音乐。控制单元20可以向音频系统提供调整扬声器S2的音量级别、选择用于播放的音乐类型(例如，特殊的CDs、广播电台或者网络广播等等)等等的信号。音频系统40可以位于房间R2中，例如立体声，而且可以是向住宅中的其他房间提供音乐的集中式音频系统。音频系统40可以包括一个内部处理器，该处理器接收来自控制单元20的控制信号和处理那些用于选择要播放的音乐、通过线路1(S2)选择扬声器S2的音量等等的信号。
控制单元20进一步包括存储在存储器24中且通过处理器22运行的图像识别软件。图像识别软件处理分别来源于摄像机C1、C2的每个房间R1、R2的输入图像。为了方便起见，如图2中显示的，随后的描述将集中在来源于单个摄像机的图像，选择的是房间R1中的C1。该描述同样适合于通过控制单元20从位于房间R2的摄像机C2收到的图像。
如提到的，摄像机C1捕获房间R1的图像而且将图像数据传送到控制单元20。这些图像典型地由像素数据组成，例如来自在典型数字摄像机的CCD阵列的那些像素数据。图像的像素数据被假设为预先处理成为已知的数字格式，这些数字格式可以使用控制单元20内的图像识别软件进一步处理。这种图像的预先处理可以发生在摄像机C1的处理器中。这种通过数字摄像机(该摄像机向控制单元20提供用于通过图像识别软件进一步处理的预先处理的图像数据)进行的图像处理在该领域是众所周知的，并且为了方便起见，它的描述将省略，除非到了描述本发明必需的程度。虽然这种摄像机C1的图像的预先处理可以发生在摄像机C1上，它也可以发生在控制单元20的处理器22本身上。
处理器22包括载于其中的已知的图像识别软件，该软件分析经由数据线1(C1)从摄像机C1收到的图像数据。如果一个人位于房间R1中，他或她将因此在图像数据中被显示。例如，图像识别软件可以用来分辨图像中的人体轮廓，因此分辨出图像中的人。一旦人的身体被定位，图像识别软件可以用来定位收到的图像中的人的脸并且识别该人。
例如，如果控制单元20收到一系列来自摄像机C1的图像，控制单元20可以检测和跟踪走进由摄像机C1覆盖的房间R1的人，而且可以特别地检测和跟踪人的头部的近似位置。这种检测和跟踪方法在McKenna和Gong于1996年10月14日到16日发表在美国佛蒙特州肯灵顿的Proceedings of the Second International Conference on AutomaticFace and Gesture Recognition中271-276页的″Tracking Faces″发表的中有更详细的描述，其中的内容在此采用作为参考。(上述页的第2段描述多个移动的跟踪。)当人在区域R1不动的时候，例如当他或者她坐在椅子上的时候，身体(和头部)的运动将是相对静止的。控制单元20的软件以前已经跟踪过图像中这个人的移动的地方，然后它可以开始一个单独的或者辅助的面部检测方法，该检测集中于随后的来源于这个人的头部所在的摄像机C1的图像的部分。如果控制单元20的软件没有跟踪图像中的移动，那么这个人的面部可以使用全部图像检测，例如通过将面部检测处理依次应用到全部图像的片断。
对于面部检测，控制单元20可以使用已知方法识别在一个的图像中的静止的面部，该方法应用简单的形状信息(例如一个椭圆形拟合或者固有轮廓)以符合图像中的外形。可以在识别中使用其它的面部组织(例如鼻子、眼睛等等)、面部的对称性和典型的肤色。一种更复杂的模型技术使用将人脸模拟为大型多维空间中的点的光度表示，在此五官的空间排列在面部内部结构的整体表示中被编码。面部检测通过将图像中的碎片分类为″面部″或者″非面部″的矢量来完成，例如通过确定对图像空间的特定分空间的概率密度估计，该估计通过将碎片与面部模型比较这个和其它的面部检测技术在上述的TrackingFaces文章中进行了更详细地描述。
面部检测也可以通过训练一个控制单元20内部支持的神经网络以检测额骨或者接近额骨的视图来完成。该网络可以使用许多面部图像来训练。例如，训练的图像被缩放和掩饰以集中在例如位于面部图像中心的标准椭圆形部分上。许多用于均衡训练图像的光强度的已知的方法可能被应用。训练可以通过调节训练面部图像的比例和面部图像的旋转来展开(这样训练该网络以容纳图像的姿势)。训练还包括伪正面的非面部式样的反向传播。控制单元20向控制单元20中这种训练的神经网络程序提供图像部分。神经网络处理图像部分并根据它的图像训练确定图像是否是面部图像。
面部检测的神经网络方法同样在上述的Tracking Faces文章中进行了更详细地的描述。使用神经网络的面部检测的补充细节(以及其他面部的子类别一样，例如性别、种族和姿势)在(2000年7月)IEEETransaction on Neural Networks的11卷4期中Gutta等的″Mixtureof Experts for Classification of Gender、EthnicOrigin and Poseof Human Faces″中被描述，其中的内容在这引用作为参考并且下面称为″Mixture of Experts″文章。
一旦在图像中检测到面部，控制单元20向面部提供图像识别处理以识别该人。因此，图像识别处理被编程以分辨独有的面部，每个面部与人的身份相关联。例如，对于图1和2中的实施例中表示的住宅，图像识别处理被编程以分辨家庭会员和/或居住在该家庭的其他居民的面部，每个面部与家庭成员/居民的身份相关联。上面描述的面部检测的神经网络方法可以适合于通过使用那些必须被识别的人的面部来训练网络的识别。其它人的面部可以在训练中使用作为否定的匹配(例如伪正面显示)。因此，由神经网络进行的图像的一部分包含面部图像的确定将根据对已知的(识别出的)人的训练图像，同时这样提供人的识别。这样编程，神经网络提供面部检测和人的识别两者。换句话说，在使用除了神经网络(例如那些上面描述的)的方法在图像中检测到面部的地方，神经网络程序可以用来证实面部的检测，并且同时提供面部的识别。
作为另一种可选择的可以在控制单元20中编程的面部识别和处理的技术，Lobo等于1998年11月10发表的美国专利5,835,616，“FACEDETECTION USING TEMPLATES”，因此在这里引入作为参考，该方法表示一种用于自动地检测和/或识别在数字化图像中的人类面部的两步处理，并且通过检查五官来证实面部的存在。因此，如上所述，Lobo的方法可以代替在移动身体(当使用的时候)的初始跟踪之后通过神经网络方法提供的面部检测和识别来使用，或者作为它的补充。Lobo等的系统特别适合检测在摄像机的视野内的一个或多个面部，即使该视图可能不符合在图像内的面部的典型位置。因此，与在参考的美国专利5,835,616中一样，对于一个具有面部一般特征的区域，控制单元20可以根据肤色的位置、与眉毛对应的非肤色的位置、与下巴、鼻子对应的分界线等等分析图像的成分。
与在参考的美国专利5,835,616中的一样，如果检测到面部，其特征在于对于居住在住宅中的家庭成员(存储在数据库22中)将其与参考面部做比较。在图像中的面部表征最好与经常特征化参考面部的表征处理相同，而不采用′光学′匹配，并且便于根据特征的面部比较，从而排除了为了定位匹配要具有两个相同图像(当前面部和参考面部)的需要。在优选的实施例中，参考面部的数目是相对小的，典型地限于住宅、办公室或者其他小型环境中的人数，从而允许面部识别过程很快地完成。存储在控制单元20的存储器24中的参考面部具有与此关联的人的身份；因此，在图像中检测到的面部和参考面部之间的匹配提供图像中的人的识别。
因此，控制单元20中的存储器24和/或软件实际上包括一个参考图像和与此关联的人的身份库。使用来源于摄像机C1的图像，控制单元20实际上在人(人们)位于房间R1时，通过定位图像中的面部(或者面部们)并且将它与参考图像库中的图像匹配来检测和识别已知人(或人们)。如上所述，″匹配″可以是由参考图像库训练的神经网络提供的图像中的面部检测，或者与在美国专利5,835,616中一样是摄像机图像和参考图像的面部特征的匹配。使用来源于摄像机C2的图像，控制单元20同样地在人(或人们)位于房间R2时检测和识别已知人(或者人们)。
当通过在控制单元20中将图像识别软件应用到来源于房间内的摄像机的图像而识别出位于房间内的一个已知人(例如一个家庭成员)的图像的时候，那么处理器22执行控制软件以便该人所在房间的服务元件被控制单元20依照这个识别出的人的个人选择自动地调节。控制单元20的存储器24包括每个家庭成员对于房间的灯光(也就是灯L1和L2的设置)、房间温度(也就是加热单元H1和H2的设置)和音频音量(也就是扬声器S2音量设置)的选择。存储在存储器24中的每个家庭成员的选择集合与家庭成员的身份有关。处理器22使用家庭成员的识别以从存储器24中访问识别出的家庭成员的选择。然后处理器22的控制软件使用可适用于他或所在房间的服务元件的家庭成员的选择，用以将控制命令格式化并输出到该房间内的服务元件。
例如，图1和2中家庭成员X被显示位于房间R2中。X的图像被摄像机C2捕获并经由线路1(C2)发送到控制单元20。处理器22使用图像识别软件(与存储在存储器24中家庭成员的参考图像数据一起)将该家庭成员识别为X。然后处理器22使用家庭成员X的身份来检索存储在存储器中的家庭成员X对于住宅中的服务元件的选择。因为X的图像来自摄像机C2(也就是通过线路1(C2))，处理器22考虑家庭成员X对于位于房间R2中的服务元件的选择。因此，处理器22检索X对于灯L2的亮度、加热单元H2的温度和扬声器S2的音量的选择。处理器22首先从存储器24检索所有的X的选择，并且然后确定那些涉及与R2有关的服务元件。换句话说，处理器22可以从存储器24寻址和检索那些只与R2的服务元件有关系的选择。
对于从存储器检索的对应于R2的服务元件的X的每个选择，处理器22依照该选择对于房间R2中相应的服务元件形成一条命令并通过适当的线路将它输出到该元件。对于房间R2中的人X，X对于灯光亮度的选择被处理器22使用来产生一条格式化的亮度控制命令以依照该选择控制灯L2。亮度控制命令通过线路1(L2)输出到灯L2，因此灯L2被自动地调节到X喜欢的亮度。类似地，X对于房间温度的选择被处理器22使用来产生一个格式化的控制命令以依照X的选择控制加热单元H2。该命令通过线路1(H2)输出到H2，因此加热单元H2被自动地调节到X喜欢的温度。
同样地，立体声扬声器S2的输出被自动地调节到X喜欢的音量。从存储器检索的X对于音频音量的的选择被处理器22使用来产生一个格式化的音量控制命令以依照该选择控制音频系统40。音量控制命令通过线路1(S)输出到音频系统40，因此音频系统40依照该选择调节音频系统40输出到位于房间R2的扬声器S2的音量级别。同时音频系统40可能具有可以由处理器22外部控制的附加功能，例如通断电和音乐选择。在那种情况下，当在房间R2中识别出家庭成员X的时候，从存储器24检索到的关于音频的选择可以包括X通常是否需要音频系统打开、X喜欢的音乐类型，例如CD自动唱机中特殊的的CDs或者特殊的CD广播电台以及音量。通过处理器22格式化和发送到音频系统40的控制信号反映人X对于附加功能的选择。例如，反映X的选择的控制信号可以打开音频系统、将音频系统调谐器调谐到一个特殊的流行广播电台以及将扬声器S2的音量调节到适度的级别。
来自摄像机C1和C2的图像可以被连续地或者周期性地捕获和传输到控制单元20。控制单元20周期性地处理收到的图像以识别在各自房间的已知人，并且以所描述的方式控制服务元件。当房间内的服务元件依照房间内的已知人的选择被调节的时候，可能产生一个指出该操作的临时记录。虽然已知人仍然在房间里，在房间里的已知人的随后的图像被控制单元20处理并再一次识别房间里的已知人。可是，临时记录向控制单元20指出服务元件以前已经依照该人的选择被调节，对于那些收到的图像，控制信号不会被再一次产生和被传输到该房间的服务元件。当在随后的来自房间的图像中不再发现该已知人的时候(表示该人已离开房间)，该房间的临时记录被删除，对于随后图像的完全处理将通过控制单元继续进行。这包括与随后的图像中在房间里新识别出的人的选择对应的控制信号的产生和传输。如果X移到另一个房间，例如移到房间R1，通过L1提供的灯光和通过加热单元H1提供的热量同样自动地被调节到喜欢的模式。也就是说，通过摄像机C1捕获的图像通过线路1(C1)被传输到控制单元20。图像识别软件通过处理器22被应用于图像，由此识别房间R1中的家庭成员X。然后通过处理器22从存储器24检索到家庭成员X的选择。反映那些选择的控制信号分别通过线路1(L1)和1(H1)被传输到灯L1和加热单元H1。因此灯LI的亮度和通过加热单元H1提供的房间温度自动地被调节到X的选择。
同样，当X离开R2的时候，通过摄像机C2提供和通过控制单元20的图像识别软件分析的图像将不会识别当前在房间R2的已知人。当控制单元20确定没有人位于特殊房间的时候，服务元件的设置可能被调整到一个默认设置。例如，当X离开房间R2的时候，控制信号可能通过处理器22发送以关掉灯L2、将加热装置的恒温器设置减少到65度以及关闭音频系统40或者扬声器S2输出的音量。另外，如果控制单元20确定有一个人位于房间但不能识别出该人时，其他默认的控制信号可能被发送给一个或多个服务元件。例如，出于安全，灯L2可以被打开并调整到中等强度级别，以便该身分不明的人(例如一位客人)看得见他或她的去处。
如果一个以上家庭成员位于房间里，那么图像识别软件将因此在收到的图像中识别超过一个以上家庭成员。对于不同的服务元件的存储在存储器24中的选择可能是不同的。例如，如果家庭成员X和Y位于房间R2中，每个人对于扬声器S2输出的音乐音量可能具有不同的选择。对于这种情况，对于确定怎样控制扬声器和其他服务元件，控制软件可能包括优先规则。例如，如果家庭成员X是父母而家庭成员Y是孩子，X的选择可能在Y之上被选择。另一方面，如果X和Y是兄弟，房间R2是X的卧室，那么X的选择可以取代Y的选择。位于另一个房间的较高优先级的人的选择可能同样控制房间里的某些服务元件。例如，如果父母X在靠近R2的房间被识别出来，那么父母对于房间R2中扬声器S2的级别选择可以取代实际上位于R2中的孩子Y的选择。如果位于相同房间的人之间没有定义选择，那么可以应用某个默认规则。例如，对于扬声器音量，最低的优选音量可能起控制作用。另一方面，对于房间温度，最高的优选温度可以起控制作用。对于灯光，可以使用反映选择亮度的平均数。
选择也可以是其他因素的函数，例如每天的时间、每周或者每年的日期等等。例如，如果房间R2具有好的自然采光，那么X对于L2的选择可以反映为在中午L2是″关闭的″、在冬季月份的晚上6点之后设置为中等强度、以及在春季夏季和秋季的晚上8点之后设置为中等强度。
图像识别处理除检测家庭成员的身份之外，还能检测手势。控制单元20可以被编程来检测某个预先定义的手势，并且对于识别出的家庭成员所在房间里的一个或多个服务元件进行相应的调整。对于服务元件，检测到的手势可以优先于家庭成员的存储选择。例如，在上面的实例中，当X在房间R2时被识别出的时候，扬声器S2输出的音量自动地被调节到存储在存储器24中的X的选择。可是，如果X不想听音乐，X可以向摄像机C2举起3个手指。该手势在图像中被捕获且被控制单元20的图像识别软件检测，该软件被进一步编程以将相应的控制信号发送到音频系统40来关闭扬声器S2或者另外减弱扬声器S2的音量。图像中手势的识别方面的更多细节在Gutta、Imam和Wechsler发表于Int′l Journal of Pattern Recognition and ArtificialIntelligence第11卷第6期(1997)845-872页的″Hand GestureRecognition Using Ensembles Of Radial Basis Function(RBF)Networks And Decision Trees Decision Trees″中可以找到，其中的内容在此引入作为参考。
例如，通过一个图形用户接口(没有显示)，已知人的选择可以手动地输入到控制单元20并存储到存储器24中。当处理器22进入选择输入模式的时候，该接口向住宅或者其他局部环境中的不同服务元件提供适当的菜单。例如，对于已知人X输入他的或者她的选择，该接口可以首先呈现已知人的一组简图像。对于图像识别软件，该图像可以从存储在存储器24中的已知人的参考图像中选择出来。X通过从这组图像中选择他的或者她的图像来输入他的或者她的身份。随后的显示给X的菜单对于遍及住宅的不同服务元件，允许选取对灯光、热量、扬声器音量等等的选择。与家庭成员X有关的输入选择被存储在存储器24中。
当然，对于一个家庭成员输入和存储在存储器24中的选择不需要是该家庭成员的实际个人选择。例如，父母可以输入住宅中的孩子们的一些或者所有选择。例如，父母可以输入孩子们的选择以便与孩子们有关的立体声音量级别、房间温度级别等等是合理的。
换句话说，选择可以由控制单元20通过监视由家庭成员自身实际上输入到住宅中服务元件的设置来学习到。例如，控制单元20可以在许多天或者星期设置在″学习模式″。如上所述，在那段时间期间，当人进入房间的时候，他或她经由图像识别软件被识别出来。在房间内不同服务元件之间的线路和控制单元20双向传输数据，因此启动控制单元20以检测和记录这些人自身对于服务元件选择的设置。
在学习模式期间，基于对不同服务元件选择的手工设置来产生每个识别出的人的选择。例如，在学习模式期间，控制单元20可能记录到X将房间R2的灯L2的亮度设置了二十次，而且灯设置的平均数是10个刻度中的7。当完成学习模式的时候，X对于灯L2的选择被存储为7。当对于一个人存储的是一常用的照明选择而不是对住宅中单个灯的选择时，那么控制单元可以在学习模式期间记录和算出X对整个住宅中所有灯选择的亮度级别的平均数。随后，当为X自动地调节一个特殊的灯(例如L2)的时候，处理器20检索X的常用照明选择，并且根据检索到的选择产生一个格式化的控制信号以输出对L2优选的亮度。在学习期间对于其他已知人及其他服务元件的选择以相似的方式产生。
如前面所提到的，图1和图2中显示的房间表示上面描述的实施例。住宅10可以具有额外的房间，其通过与图1和2中显示的加热单元、灯和音频系统/扬声器类似的和/或不同的服务元件来服务。其他可控制的服务元件可以包括自动窗帘、电视和相关的的DVD和VCRs、自动汽车库门开启工具等等。在房间R2内控制扬声器S2的音频系统40可以驱动其他房间里的其它扬声器，根据另一个房间的人的选择该扬声器可播放不同音量的不同音乐。额外的服务元件和房间(与附带的摄像机一起)可以通过适当的布线和控制单元20的编程来添加。
另外，某些服务元件可以依照在图像中对人识别的失败来控制。例如，由本发明的系统所控制的安全防范系统可以在控制单元20检测到来源于住宅中的任何地方的人的图像但无法识别出该人的时候被激活。
同样如前面所提到的，图1和图2中显示的实施例中的服务元件显示为服务一个房间，R1或者R2。因此，例如L1向房间R1提供灯光、而不是向R2。可是，一个服务元件可以服务两个或者多个房间，例如R1和R2两者。例如，加热单元H1可以向房间R1和R2两者提供加热。类似地，灯L1和L2两者的亮度可以由单个亮度开关来控制。在这些实例中，由服务元件覆盖的区域在住宅R1中包含两个传统房间(R1和R2)。在此情况下，服务元件的覆盖区定义在控制单元中元件的局部区域或者“房间”的范围，并且定义来自摄像机的哪些图像被控制单元使用来控制服务元件。例如，如果在图2中LI和L2两者都由单个亮度开关来控制，那么单个开关控制线路从控制单元20铺设到亮度开关，以及一条单独的线路从亮度开关铺设到灯LI和L2的每一个。因此控制单元20使用R1和R2中识别出的任何已知人的选择来控制灯L1和L2的亮度，就是说使用来源于摄像机C1和C2的图像。如果在房间R1和R2中识别出多个人，那么控制单元20使用上面描述的优先规则来确定哪个识别出的人的选择来控制。应该注意到到由这个实例中的服务元件L1和L2定义的R1和R2的混合区域与其它区域重叠，即在这种情况下的区域R1(通过服务元件H1来服务)和区域R2(通过服务元件H2和S2来服务)。
图3表示本发明包括的通用化方法的流程图，该流程图可以从上面描述的实施例收集。在步骤100，捕获区域中的图像。在步骤110，如果有的话，已知人在图像中被识别。如果识别出已知人，在步骤120确定这个已知人是否最近已经在该区域中被识别出来并且确定服务元件以前是否已经依照这个人的选择被控制。否则，在步骤130中检索这个识别出的人的一个或多个选择。在步骤140，区域中的一个或多个服务元件由这个已知人的一个或多个选择来控制。如通过将步骤140连接回步骤100的线路所表示的，对于在考虑的区域重复该方法。在重复该方法之前可以插入一个时间的延迟。可以同样地同时(例如在多路复用的形式中)或者依次处理局部环境的其他区域。图3中表示的方法的步骤可以被修改和/或将额外的步骤被容易地合并到该方法中以涵盖上面论述的实施例中的其它方面。因此，例如如上所述的，当在一个区域中识别出多个已知人的时候，可以修改步骤130来检索在区域中识别出的所有已知人的选择，可以修改步骤140以结合一个优先方案使用已知人的选择来控制一个或者多个服务元件。
权利要求
1.一个系统包括控制单元(20)，该控制单元接收与局部环境(10)一个或多个区域(R1、R2)有关的图像；一个或多个区域(R1、R2)每个都被一个或多个服务元件(L1、L2、H1、H2、S2、40)服务；控制单元(20)处理图像以从一组与局部环境(10)有关的已知的人中识别位于区域(R1、R2)的任何一个或者多个已知的人，并且对于识别出一个或者多个已知的人的区域，对于与该区域有关的至少一个服务元件(L1、L2、H1、H2、S2、40)自动地产生一个控制信号，该控制信号反映位于各自区域的已知的人中的至少一个人的选择。
2.权利要求1中的系统还包括至少一个与局部环境(10)中的一个或多个区域(R1、R2)中的每一个有关的摄像机(C1、C2)，该摄像机向控制单元(20)提供与一个或多个区域(R1、R2)有关的图像，通过与每个区域(R1、R2)有关的至少一个摄像机(C1、C2)捕获的图像被处理以识别出位于区域(R1、R2)中的任何已知的人。
3.权利要求1的系统，其中控制单元将图像识别软件应用于收到的图像以识别位于区域(R1、R2)中的任何一个或者多个已知的人。
4.权利要求3的系统，其中图像识别软件使用存储的与局部环境有关的已知的人的参考图像数据来识别位于区域(R1、R2)的任何一个或者多个已知的人。
5.权利要求1的系统，其中控制单元(20)为位于区域(R1、R2)中识别出的一个或者多个已知的人检索存储的选择。
6.权利要求5的系统，其中，对于识别出一个或者多个已知的人的区域(R1、R2)，根据对于位于区域(R1、R2)的已知的人中的至少一个检索到至少一个选择，向与区域(R1、R2)有关的至少一个服务元件(L1、L2、H1、H2、S2、40)产生控制信号。
7.权利要求1的系统，还包括与控制单元(20)连接的存储器(24)，存储器(24)存储与服务一个或者多个区域的一个或者多个服务元件(L1、L2、H1、H2、S2、40)有关的每组已知的人的选择，一个识别出的人的选择通过控制单元(20)从存储器(24)中检索。
8.权利要求7的系统，其中与服务一个或者多个区域(R1、R2)的一个或者多个服务元件(L1、L2、H1、H2、S2、40)有关的每组已知的人的选择经由与控制单元(20)连接的外部输入来手动地输入。
9.权利要求7的系统，其中与服务一个或者多个区域(R1、R2)的一个或者多个服务元件(L1、L2、H1、H2、S2、40)有关的每组已知的人的选择通过控制单元(20)在学习模式中产生。
10.权利要求1的系统，其中服务元件(L1、L2、H1、H2、S2、40)是从一个由灯(L1、L2)、加热单元(H1、H2)和音频系统(S2、40)组成的组中选出来的。
11.权利要求1的系统，其中与区域(R1、R2)中的一个有关的一个服务元件(L1、L2、H1、H2、S2、40)是加热单元(H1、H2)，对于加热单元(H1、H2)产生的控制信号反映了位于一个区域(R1、R2)中的至少一个已知的人的房间温度选择。
12.权利要求1的系统，其中与区域(R1、R2)中的一个有关的一个服务元件(L1、L2、H1、H2、S2、40)是灯(L1、L2)，对于灯(L1、L2)产生的控制信号反映了位于一个区域(R1、R2)中的至少一个已知的人的灯光选择。
13.权利要求1的系统，其中与区域(R1、R2)中的一个有关的一个服务元件(L1、L1、H1、H2、S2、40)是音频系统(S2、40)，对于音频系统(S2、40)产生的控制信号反映了位于一个区域(R1、R2)中的至少一个已知的人的至少一个音频音量选择和音乐类型选择。
14.权利要求1的系统，其中局部环境的一个或多个区域(R1、R2)中的至少一个被定义为局部环境(10)中的房间(R1、R2)。
15.权利要求1的系统，其中局部环境的一个或多个区域(R1、R2)中的至少一个被定义为一个或者多个服务元件(L1、L2、H1、H2、S2、40)之一的覆盖范围。
16.一种用于控制位于局部环境中的区域(R1、R2)中的服务元件(L1、L2、H1、H2、S2、40)的方法，改方法包括步骤a)捕获与区域(100、R1、R2)有关的图像；b)从一组每个都与局部环境(10)有关的每个已知的人中，从捕获的与区域(110、120)有关的图像中识别出区域(R1、R2)中的已知的人；c)检索识别出的人的选择，该选择与服务元件(130)有关；以及d)依照检索到的识别出的人(140)的选择控制服务元件(L1、L2、H1、H2、S2、40)。
17.权利要求16的方法，其中从捕获的图像(110、120)识别区域(R1、R2)中已知的人的步骤包括使用图像识别软件处理捕获的图像的步骤。
18.权利要求16的方法，其中检索识别出的人(130)的选择的步骤包括使用在识别步骤中确定的身份从存储器(24)中检索选择。
19.权利要求16的方法，其中依照检索到的识别出的人的选择控制服务元件(L1、L2、H1、H2、S2、40)的步骤包括向服务元件(L1、L2、H1、H2、S2、40)产生一个反映选择的控制信号和将该控制信号传送到服务元件(L1、L2、H1、H2、S2、40)。
20.权利要求1 6的方法，其中对于区域中的一个或多个额外的服务元件(L1、L2、H1、H2、S2、40)执行步骤c)和d)。
21.权利要求16的方法，对于局部环境中的一个或多个额外的区域(R1、R2)执行步骤a)-d)。
22.一个接收与局部环境(10)中一个或多个区域(R1、R2)有关的图像输入的软件包，该一个或多个区域中的每一个都被一个或多个服务元件(L1、L2、H1、H2、S2、40)服务，该软件处理图像输入连同包括一组与局部环境(10)有关的已知的人的数据以识别位于区域(R1、R2)中的任何一个或者多个已知的人，以及对于识别出一个或多个已知的人的区域(R1、R2)，该软件访问存储器(24)以检索位于各自区域的至少一个已知的人对于与区域(R1、R2)有关的至少一个服务元件(L1、L2、H1、H2、S2、40)的选择，并且根据检索到的选择对于与区域(R1、R2)有关的至少一个服务元件(L1、L2、H1、H2、S2、40)产生一个控制信号。
全文摘要
一种用于在局部环境例如家庭中自动地控制系统与设备的系统和方法。该系统包括一个控制单元，该单元接收与局部环境的一个或多个区域有关的图像。一个或多个区域的每一个由一个或多个服务元件服务。控制单元处理图像以从一组与局部环境有关的已知的人中识别位于该区域的任何一个或多个已知的人。对于一个或多个已知的人被识别出的区域，对于与区域有关的至少一个服务元件自动地产生一个控制信号，该控制信号反映位于各自区域中的至少一个已知的人的选择。
文档编号F24F11/02GK1659826SQ03813014
公开日2005年8月24日 申请日期2003年5月19日 优先权日2002年6月7日
发明者M·-S·李, H·斯特鲁贝 申请人:皇家飞利浦电子股份有限公司