专利名称：用于控制用户接口的方法和系统、相应设备、以及用于实现该方法的软件设备的制作方法
技术领域：
本发明涉及一种用于控制在显示器上对至少一个用户显示的信息的方向的方法，其中该信息具有目标方向，并且在该方法中-显示器的方向通过下述来相对于在显示器上显示的信息的方向进行定义利用可操作地连接到显示器的摄像机装置来形成图像信息，分析所述图像信息以找出一个或多个所选的特征，并定义它/它们在图像信息中的方向，以及-如果在显示器上显示的信息的方向不同于为其设定的目标方向，则进行方向改变，作为该改变的结果，使得在显示器上显示的信息的方向符合目标方向。
另外，本发明也涉及一种系统、一种相应设备以及用于实现该方法的软件设备。
例如，现今的各种多媒体和视频会议功能可从诸如(但决不排除其它形式的设备)移动台和PDA(个人数字助理)设备之类的包括显示部件的便携式设备中获知。在这些设备中，用户看到在设备的显示器上显示的信息，而同时(例如在视频会议中)他们自己也作为相对方出现，为此目的，设备具有连接至其上的摄像机装置。
在某些情况下(但同样决不排除其它情况)，例如与上述特性的使用有关的情况，用户可能想要在操作(例如查看视频剪辑，或者在会议的情况下)的中间将显示部件的方向从正常的例如垂直方向改变为某一其它方向，例如水平方向。将来，特别是由于正好这些特性的突破，对在显示器上显示的信息进行定向操作的需要将显著增加。
除了上述以外，最近的移动台型号中的一些已经使得不同的操作方向变更成为已知的。除了传统的垂直定向的设备结构之外，设备也可以是水平定向的。在那种情况下，设备的键盘也可以适应方向的改变。显示器也可以在垂直和水平尺寸之间具有不同的效果，所以当在任一时刻寻求最合适的显示位置时会产生例如在显示器的水平/垂直方向之间进行改变的需要。
诸如驾车之类的特殊情况是需要这种方向适应的情况的又一个例子。当驾驶的时候，移动台可能相对于驾驶员处于不利的位置，例如当被安装到汽车的仪表板上的时候。在那种情况下，优选的是至少在寻求更大的用户友好的时候，使显示的信息适合驾驶员和移动台的相互定位。实际上，这意味着优选的是相对于驾驶员尽可能合适地定向在显示器上显示的信息，即其可能以一定角度来显示，而不是以传统的垂直或水平方向。
实际上不可能使用现有技术来实现这种不同于正交方向的方向的改变。在这种情况下，使用现有技术来实现该操作进一步被下述事实所妨碍在那种情况下，方向的改变未指向设备，根据现有技术，根据其正好检测到显示器相对于为其设定的参考点的方向的改变。
用于使设备并且特别是其显示部件重新定向的、代表现有技术的第一种解决方案是根据设备的菜单设置来执行对在设备的显示器上显示的信息的方向的改变。在那种情况下，设备的显示部件的方向可以从例如以设定的方式定义的垂直定向的显示(例如相对于观看者，显示器较窄的侧于是为显示器的上下边缘)变化到以设定的方式定义的水平定向的显示(例如相对于观看者，显示器较窄的侧于是为显示器的左右侧)。
根据菜单设置执行的方向改变可能需要用户在找到实现所需操作的项之前甚至非常费力地通过菜单分级结构来完成。然而，例如在查看多媒体剪辑或者参加视频会议中间必须执行该操作决不是用户友好的。另外，根据菜单设置进行方向改变会被限于以前预置的信息方向变化。这样的示例是例如把在显示器上显示的信息的方向只改变90或180度的角度的能力。
而且，用于解决有关上述操作的问题以及甚至例如用于完全自动地执行它的多种更为先进的解决方案可从现有技术中获知。这种解决方案的一些示例包括各种角度/倾斜探测器/传感器/开关、限位开关、加速度传感器、以及用于襟翼(flap)打开的传感器。这些可以以机械的或电的或甚至二者的组合的方式来实现。在基于倾斜/角度测量的设备解决方案中，设备并且特别是它的显示部件的方向是相对于设定的参考点而定义的。于是参考点为地球，因为它们的操作原理是基于重力的效应。
有关这些的一个参考文献是WO公布01/43473(TELBIRDLTD)，在所公开的解决方案中使用了位于设备中的微机械倾斜仪。
然而，机械和半机械传感器解决方案例如在便携式设备中难以实现。它们增加了设备的制造成本，并从而也增加了它们的消费者价格。另外，它们的使用通常带来一定的破损的危险，在这个方面，更换破损的传感器是不值得的，或者甚至在一些情况下由于设备的高度集成化而是不可能的。
机电类型的传感器的操作也会不确定设备的特定方向位置。另外还应该注意的是，非线性特性与这些解决方案的方向定义相关联。这样的示例是倾斜测量，其中描述设备/显示器的方向的信号可以具有正弦曲线的形状。
除了上述的传感器解决方案难于并且不利于例如在便携式设备中实现的事实之外，它们几乎总是需要设备的方向相对于设定的参考点(地球)的物理改变，所述方向是相对于设定的参考点定义的。如果例如在驾车的时候，设备的用户相对于移动台的显示器和在其上显示的信息处于不利的位置，那么上述的传感器解决方案将不以任何方式来对该情况进行反应。而且，考虑到操作情形，根据菜单设置所做的作为固定量的方向的改变在这种情形下将不能提供一种用于以适当的方式定向信息的解决方案。在这种情形下，其中设备的方向例如是固定的，对于用户来说使他们的头部不断地保持倾斜以定向信息是更合适的，这是使用设备的既不愉快也不舒适的方式。
从国际(PCT)专利公布WO-01/88679(Matbengine PLC)中可获知这样的解决方案其中显示器的方向是根据利用摄像机装置产生的图像信息来定义的，所述摄像机装置被安排为可操作地与显示器相连。例如，使用设备的人的头部能够从图像信息中来寻找，并且甚至更具体地，他/她的眼线可以在图像信息中来定义。在该公布中所公开的解决方案主要强调了3-D虚拟应用，这通常是用于单个人的。如果几个人在设备附近，例如对于移动台来说，当它们被用来查看例如视频剪辑的时候情况可能就是这样的，则定义显示器方向的功能将不再能够确定显示器在哪个位置。而且，例如3-D应用的“实时性”需要基本上连续地进行方向定义。因此，必须连续地检测图像信息，例如以在取景器图像中使用的检测频率。因此，根据图像信息的连续成像和方向定义消耗了大量的设备资源。基本上连续的成像也是以已知的成像频率来执行的，它也对设备的功率消耗具有显著影响。
本发明打算创建一种新型的用于控制在显示器上显示的信息的方向的方法和系统。根据本发明的方法的特征在所附权利要求1中进行陈述，以及系统的特征在权利要求8中进行陈述。另外，本发明还涉及一种相应设备，其特征在权利要求13中进行陈述，以及用于实施该方法的软件设备，其特征在权利要求17中进行陈述。
本发明的特征在于下述事实，即在显示器上为至少一个用户显示的信息的方向是以这种方式控制的，即信息总是相对于用户被正确地定向。为了实现这一点，摄像机装置被连接到显示器上，或者通常被连接到包括显示器的设备上，该摄像机装置被用来创建用于定义显示器的方向的图像信息。显示器的方向可以相对于例如从图像信息的图像主体中选择的固定点来定义。一旦获知了显示器的方向，那么在此基础上就有可能相对于一个或多个用户适当地定向在其上显示的信息。
根据一个实施例，在该方法中，设备的至少一个用户(例如其由摄像机装置来成像)可以意外地被选择作为图像信息的图像主体。分析图像信息，以便从图像主体中找出一个或多个所选择的特征，所述特征优选地可以是至少一个用户的面部特征。一旦发现所选特征，该特征根据一个实施例可以是例如至少一个用户的目点(eye point)和由它们所形成的眼线，则至少一个用户相对于显示部件的方向可以被定义。
在这之后，显示部件相对于例如定义的参考点(即例如相对于用户)的方向可以根据图像信息中的特征的方向来决定。一旦获知了相对于定义的参考点或通常相对于在其上显示的信息的方向的显示部件的方向，那么它也能够被用作相对于至少一个用户来高度适当地定向在显示部件上显示的信息的基础。
根据一个实施例，显示部件的方向状态能够间隔地(at intervals)以设定的方式来定义。尽管以这种方式连续定义方向并不必要，但肯定是可能的。然而，它能够以比常规取景器/视频成像更低的检测频率来执行。使用这种间隔的定义尤其在设备的电流消耗和其总的处理能力方面实现了节省，然而根据本发明的方法的应用对其没有造成任何不合理的负担。
如果方向的间隔的定义例如根据一个实施例以这样的方式来执行，即它每1-5秒、优选地例如以2-3秒的间隔发生一次，那么这种不连续的识别将基本上不影响该方法的可操作性或者使用设备的舒适度，代之以信息的方向将仍然以合理的快速来继续适应显示部件的方向。然而，当与例如连续成像(例如取景器成像)相比时，由于该方法而产生的功率消耗的节省是显著的。
从面部特征算法领域可知大量用于分析图像信息例如以找出面部特征(例如目点)并根据图像信息定义由目点所定义的眼线的算法，对它们的选择决不限于根据本发明的方法。另外，在图像信息中定义从图像信息中找到的图像主体的方向和在显示部件上显示的信息的该基础上的方向可以通过利用多种不同算法并选择参考方向/参考点来执行。
根据本发明的方法、系统和软件设备可以相对简单地集成在现有设备中执行，也可以集成在目前设计的那些设备中执行，根据一个实施例，现有设备可以是便携式的。该方法能够纯粹地在软件层面上实现，但另一方面也可以在硬件层面上实现，或者实现为二者的组合。然而最优选的实现方式看来是完全由软件实现，因为如果是那样的话，现有技术中出现的机构被全部消除，从而降低了设备的制造成本，并且因此也降低了价格。
根据本发明的解决方案几乎没有增加包括摄像机装置的设备的复杂性，所述复杂性达到这样的程度以致将显著地干扰例如设备的处理能力或存储操作。
从所附的权利要求书中，根据本发明的方法、系统、设备和软件设备的其它特征将是显而易见的，同时能够获得的其它优点在说明书部分进行详细说明。
在下文中，根据本发明的方法、系统、设备和用于执行该方法的软件设备并不限于下文中所公开的实施例，参考附图将更为详细地对其进行分析，其中
图1示出以便携式设备安排的根据本发明的系统的一个实例的示意图，图2示出根据本发明的方法的一个实例的流程图，图3a-3d示出根据本发明的方法的第一实施例，以及图4a和4b示出根据本发明的方法的第二实施例。
图1以便携式设备10示出根据本发明的系统的一个实例，该便携式设备在下文中以移动台的实施例的形式进行描述。应该注意，能够应用根据本发明的方法和系统的便携式手持设备的范畴非常广泛。这种便携式设备的其它例子包括PDA型设备(例如Palm、Vizor)、掌上型计算机、智能电话、便携式游戏控制台、音乐播放设备以及数码相机。然而，根据本发明的设备具有共同的特性，包括或者能够具有以某种方式与它们连接的摄像机装置11，以用于产生图像信息IMAGEx。所述设备也可以是视频会议设备，其被安排为固定的，并且其中讲话方是由例如传声器装置识别的。
图1中所示的移动台10可以属于同样已知部件的类型，例如发射机/接收机部件15，这些与本发明无关，不需要在这方面更详细地进行描述。移动台10包括数字成像通道(chain)11，其可以包括同样已知的具有镜头的摄像机传感器装置11.1以及同样已知类型的图像处理通道11.2，其被安排来处理和产生数字静止和/或视频图像信息IMAGEx。
包括摄像机传感器11.1的实际的物理全体可以永久地安装于设备10中，或者通常连接于设备10的显示器20或者是可分离的。另外，传感器11.1也能够被对准。根据一个实施例，摄像机传感器11.1被对准，或者至少被安排成能够对准设备10的至少一个用户21，以允许根据本发明的方法的优选实施例。在移动台的情况下，显示器20和摄像机11.1于是将在设备10的同一侧。
设备10的操作可以通过使用处理器单元DSP/CPU 17来控制，通过所述处理器单元，设备10的用户接口GUI 18尤其受到控制。而且，用户接口18被用来控制显示驱动器19，而显示驱动器19又控制物理显示部件20和显示在其上的信息INFO的操作。另外，设备10也可以包括键盘16。
允许该方法的各种功能被安排在设备10中，以便实现根据本发明的方法。对于图像信息IMAGEx所选择的分析算法功能12被连接到图像处理通道11.2。根据一个实施例，算法功能12可以属于这样的类型，通过它从图像信息IMAGEx中寻找一个或多个选择的特征24。
如果摄像机传感器11.1根据该方法被适当地对准，即它对准至少一个观察设备10的显示器20的用户21，那么至少用户21的头部22通常将作为由摄像机传感器11.1所创建的图像信息IMAGEx中的图像主体。接着从用户21的头部22寻找所选择的面部特征，从其中能够找到或定义一个或多个所选择的特征24或它们的组合。
这种面部特征的第一示例可以是用户21的目点23.1、23.2。存在多种不同的滤波算法，通过所述算法能够识别出用户21的目点23.1、23.2或者甚至他们的眼睛。例如通过利用所选择的非线性滤波算法12能够识别出目点23.1、23.2，通过该算法能够找到在两个眼睛的位置处的凹陷(valley)。
而且在根据该实施例的情况下，设备10还包括功能13，用于识别目点23.1、23.1的方向Oeyeline或者通常识别它们在由摄像机装置11.1创建的图像信息IMAGEx中所形成的特征，在这种情况下是眼线24。功能13之后是功能14，通过功能14能够根据从图像信息IMAGEx中识别的特征24的方向Oeyeline来定向在显示器14上显示的信息INFO，以使它将适合于每个当前的操作情况。这意味着能够根据图像信息(IMAGEx)中特征24的方向Oeyeline来识别显示器20的方向Odisplay，并且接着将由显示器20显示的信息INFO相对于用户21进行适当的定向。
定向功能14能够被用来直接控制处理用户接口GUI的任务的相应功能18，其执行相应的适应操作以根据为设备10的显示器20定义的方向Odisplay来定向信息INFO。
图2示出根据本发明的方法的实例的流程图。在设备10的显示部件20上的信息INFO的定向能够在设备10的操作过程中自动进行。另一方面它也可以是能够可选地进行设定的操作，以使能够以合适的方式激活它，例如从设备10的用户接口GUI 18。而且，所述激活也可以被连接到涉及使用设备10的某一特定操作步骤，举例来说，例如与激活视频会议或多媒体功能有关。
当根据本发明的方法在设备10中激活时(步骤200)，由摄像机传感器11.1连续地或以设定的间隔来捕获数字图像IMAGEx(步骤201)。因为摄像机传感器11.1优选以上面已经描述的对准设备10的用户21的方式进行安排，所以它所产生的图像信息IMAGEx的图像主体是例如至少一个用户21的头部22。因此，当相对于用户21定义显示器20和信息INFO的每个方向状态的时候，例如用户21的头部22可以根据一个实施例被设定为参考点。因此，显示部件20及其显示的信息INFO的方向Odisplay、Oinfo能够相对于用户21的头部22的方向来定义，头部22的方向又是通过相对于以设定的方式定义的图像信息IMAGEx的方向Oimage来以设定的方式定义所选择的特征24的方向Oeyeline而获得的。
接下来，分析图像信息IMAGE1、IMAGE2以便使用功能12从图像主体22中找出一个或多个特征24(步骤202)。特征24可以是例如几何图形。所述分析可以利用例如一个或多个选择的面部特征分析算法来进行。在大致意义上，面部特征分析是这样的一个过程，其中能够根据图像信息IMAGEx来定位例如眼睛、鼻子和嘴的位置。
在实施例中所示的情况下，该选择的特征是由用户21的眼睛23.1、23.2所形成的眼线24。其它可能的特征可以是例如用户21的头部22所形成的几何旋转图像(例如椭圆形)，根据其能够十分清楚地识别出选择的参考点22的方向。而且，从面部发现的鼻孔也可以被选择作为识别特征，这又是由它们所定义的鼻孔线、或者嘴、或者这些特征的某一组合的问题。因此存在多种选择要识别的特征的方式。
一种实现面部特征分析12的方式是基于这样的事实深的凹陷是在面部上的这些特定点处形成的(其相对于面部的其余部分表现为阴影的更暗的区域)，然后可以基于亮度值来识别它们。因此可以通过利用软件滤波来从图像信息IMAGEx中检测凹陷的位置。也可以使用非线性滤波在定义面部特征的预处理步骤中来识别凹陷。在说明书部分的结尾的参考文献[1]和[2]中给出了涉及面部特征分析的一些示例。对于本领域的技术人员而言，实施与根据本发明的方法有关的面部特征分析是显而易见的程序性操作，因此没有理由在这个方面进行更为详细的描述。
一旦从图像信息IMAGEx中找到了选择的面部特征23.1、23.2，那么下一步就是使用功能13来相对于图像信息IMAGEx定义它们的方向Oeyeline(步骤203)。
一旦在图像信息IMAGEx中定义了特征24的方向Oeyeline，那么有可能以设定的方式根据它来决定相对于参考点即图像主体22的显示部件20的方向Odisplay，所述图像主体因此是用户21的头部22。当然，这取决于所选择的参考点、它们定义的特征以及它们的方向，并且通常取决于所选择的方向。
目标方向Oitgt是相对于所选择的参考点22为在显示器20上显示的信息INFO设定的，以便根据显示器20的方向Odisplay以最适合的方式定向在显示器20上的信息INFO。可以根据参考点22来固定目标方向Oitgt，其定义了显示部件20和信息INFO的方向Odisplay、Oinfo，在这种情况下，目标方向因此相对于设备10与设备10的用户21的头部22的方向相对应。
而且，一旦获知了相对于所选择的参考点22的显示器20的方向Odisplay，那么也有可能相对于所选择的参考点22来确定显示器20所示的信息INFO的方向Oinfo。就是这样信息INFO的设备10的显示器20的方向Oinfo将一直被控制设备10的显示器20的功能18、19获知。
在步骤204中执行比较操作。如果在显示部件20上显示的信息INFO相对于所选择的参考点22的方向Oinfo不同于以设定的方式为其设定的目标方向Oitgt，那么在那种情况下对在显示部件20上显示的信息INFO执行方向的改变ΔO。接下来有可能定义所需要的方向改变ΔO(步骤205)。作为改变的结果，使得在显示部件20上显示的信息INFO的方向Oinfo符合相对于所选择的参考点22为其设定的目标方向Oitgt(步骤206)。
如果根据该设定在信息INFO的方向Oinfo和信息INFO的目标方向Oitgt之间没有不同，那么显示器20上显示的信息INFO的方向Oinfo是合适的，即在这种情况下其被定向以与用户21的眼线24成直角。在确定这一点之后，有可能在可能的延迟步骤(207)(后面所述)之后返回至该步骤(201)，在该步骤中捕获新的图像信息IMAGEx，以便检查用户21和设备10的显示部件20之间的方向关系。根据该设定的信息INFO方向的不同可以被定义为例如这样的情形其中用户21的眼线24不是完全与头部22的垂直方向成直角(即眼睛在与头部的横截面稍微不同的水平面)，这种情况仍然不需要用来重定向由显示部件20所显示的信息INFO的措施。
以下参考附图3-4非常概括地描述了在根据本发明的方法中使用的定向算法的伪C代码示例。在根据本发明的系统中，这种软件实现可以例如在功能14中，通过功能14，显示器20的方向设定的任务被自动处理。在实施例中只涉及垂直和水平方向。然而对于本领域的技术人员而言显而易见的是，也可以将代码应用于其它方向，也可以考虑相对于所选择的参考点22的显示部件20的方向(水平顺时针方向/水平逆时针方向与垂直正常/垂直上下)。
首先，在代码中可以作出一些方向固定选择，这对于控制方向来说是必要的if(Oimage＝＝vertical)->Odisplay＝vertical；if(Oimage＝＝horizontal)->Odisplay＝horizontal；参考附图3a-4b，在这种定义之后，如果摄像机11.1已用于捕获图像信息IMAGE1，并且图像信息IMAGE1处于垂直(纵向)位置，那么设备10相对于所选择的参考点(在这种情况下即用户21的头部22)也处于垂直位置。相应地，如果图像信息IMAGE2处于水平(横向)位置，那么基于设定的方向固定定义，设备10相对于所选择的参考点22也处于水平位置。
接下来可以作出一些初始化定义set Oitgt，Oinfo＝vertical；在这种初始化定义之后，显示器20上显示的信息INFO的目标方向Oitgt相对于所选择的参考点22是垂直的，信息INFO的方向Oinfo的初始化设定也是如此。
接下来利用摄像机装置11、11.1(i)捕获图像信息IMAGEx，(ii)分析图像信息IMAGEx以便找出所选择的几何特征24并且(iii)定义它在图像信息IMAGEx中的方向Oeyeline(i)capture_image(IMAGE)；(ii)detect_eyepoints(IMAGE)；(iii)detect_eyeline(IMAGE，eyepoints)；在下一步骤，有可能检查根据由摄像机11.1捕获的图像信息IMAGEx(x＝1-3)定义的所选几何特征22相对于图像信息的方向定义Oimage的方向，并基于此来指导显示器20上显示的信息INFO相对于所选择参考点22的Oinfo的变化操作。根据上述两个步骤的实施例，现在显示器20的方向Odisplay相对于所选择的参考点(即用户21)可以是垂直的或水平的。在实施例的第一步骤中，有可能检查
If((Oeyeline⊥Oimage)&&(Odisplay!=Oinfo)){set_orientation(Odisplay，Oinfo，Oitgt)；}换句话说该步骤表示，由于在代码的初始阶段进行了初始定义并且由于参考点22的所选几何特征24的方向特性，所以该情形是图3a中所示的情形。在这种情况下，由于作出的方向定义，设备10及其显示部件20相对于用户都是垂直的。当摄像机装置11、11.1用于在垂直位置捕获设备10的用户21的图像IMAGE1时，(也由于在初始设定中对图像IMAGE1进行的方向定义)从图像IMAGE1找出的用户21的眼线24的方向Oeyeline相对于图像IMAGE1的方向Oimage成直角。
然而在这种情况下后一个条件检查是无效的。这是因为，由于进行了方向设定，所以图像IMAGE1的方向Oimage被标识为垂直的，作为此的结果，在初始化阶段已经作出的定义是Odisplay相对于参考点22也是垂直的。关于这些结论，如果允许信息INFO的方向Oinfo也在初始阶段中初始化为相对于参考点22是垂直的，那么后一个条件检查是无效的，并且信息INFO已经以正确的方向(即相对于所选的参考点22是垂直的)显示于显示部件20中。
然而，当将条件检查步骤应用于图3d所示的情形时，则在那种情况下，后一条件检查也是有效的。在图3d中，设备10从图3c所示的水平位置(其中信息INFO的方向Oinfo已相对于用户21进行了校正)变化到相对于用户21的垂直位置。因此，显示器20上显示的信息INFO的方向Oinfo相对于用户21仍是水平的，即它不同于目标方向Oitgt。现在条件检查的后一条件也是成立的，因为显示器20的方向Odisplay在设定的方式上不同于信息INFO的方向Oinfo。因此，在显示器20上重复对信息的定向步骤(set_orientation)，不过没有必要更为详细地对其进行描述，因为它的执行对于本领域的技术人员而言是显而易见的。作为该操作的结果，达到了图3a所示的情形。
该过程也包括第二个if检查步骤，这例如可以基于前面作出的初始设定选择和固定来形成如下
If((Oeyeline||Oimage)&&(Odisplay==Oinfo)){set_orientation(Odisplay，Oinfo，Oitgt)；}这可以用于处理例如图3b所示的情形。在这种情况下，设备10以及同时其显示器20相对于用户21从图3a中所示的垂直位置转向水平位置(垂直->水平)。作为该方向改变的结果，显示器20上显示的信息INFO相对于用户21被水平地定向，即它现在处于错误的位置。
现在在if部分中检测到图像IMAGE2中用户21的眼线24的方向Oeyeline平行于在初始设定中定义的图像方向Oimage。据此能够推断(基于已经作出的初始设定)，设备10的显示部件20相对于用户21是水平的。而且，当在if部分中检查后一条件时，要注意的是显示器20相对于参考点即用户21的方向是水平的，并且平行于显示器20中显示的信息INFO。这意味着信息INFO当时并未处于为其设定的目标方向Oitgt，因此必须在显示器20上为信息INFO执行重定向过程(set_orientation)。但是并不对其进行更为详细的描述，因为它的执行对于本领域的技术人员而言是显而易见的，并且能够在显示驱动器实体19中以多种不同方式执行。在这种情况下，最终结果是图3c所示的情形。
另外，根据一个实施例可以引入另一个检查，即只有正交方向改变(纵向/横向)，只要设备10的显示部件20支持这种递增地改变方向，图4a和4b示出有关这种实施例的情形的例子。根据一个实施例，这能够在伪代码水平上来表示，例如以这样的方式define_orientation_degree(Oimage，Oeyeline)；一般来说，在该过程中(不过不对其进行更为详细的描述)眼线的旋转角度α可以相对于例如所选图像IMAGE3的方向Oimage(纵向/横向)来定义。由此有可能确定用户21相对于设备10以及因此相对于显示器20的位置。所需的方向改变可以利用与早先步骤中相同的原理来执行，不过例如利用图像方向Oimage和几何特征24的方向Oeyeline之间的度数作为可能的附加参数。
作为又一个最终步骤，在该过程中可以存在延迟间隔。
delay(2 seconds)；在此之后返回至图像捕获步骤(capture_image)。
如果几个人在设备10的附近观看显示器20上显示的信息INFO，那么可以在图像信息IMAGEx中发现几张脸。在那种情况下，将有可能根据图像信息IMAGEx来定义例如脸的平均方向以及因此从中发现的由它们定义的眼线24的平均方向。这样设定以对应于定义显示器20的方向Odisplay的特征。基于该平均特征24的方向Oeyeline，能够定义显示器20的方向Odisplay，并且在其基础上能够将信息INFO定向于显示器20的适当位置。另外一种可能性是将显示器20上的信息INFO定向于例如默认的方向，如果不能利用该功能明确地定义显示器20的方向的话。
应该注意，根据图像信息IMAGEx标识相对于参考点22的设备10的显示器20的当前方向Odisplay的上述例子只是举例而已。各种图像信息分析算法以及根据它们定义的对象的识别和操作对于本领域的技术人员而言将是显而易见的。另外，在数字图像处理中，没有必要应用图像信息纵向/横向定向方式，代之以由传感器11.1产生的图像信息IMAGEx可以在所有方向上都是同样“宽”。在那种情况下，图像传感器11.1的一侧可以被选择作为参考侧，相对于此可以定义显示部件20和所选特征24的方向。
通常相对于显示器20上显示的信息INFO定义显示器20的方向Odisplay是足够的。如果可以定义显示器20的方向Odisplay，并且获知了显示器20上显示的信息INFO相对于显示器20的当前方向Oinfo，则由此能够推断出相对于为其设定的目标方向Oitgt的信息INFO的方向Oinfo。因此，根据本发明的方法也可以以需要使用参考点的方式来应用，如上所述。
因此，用于根据摄像机传感器11.1产生的图像信息IMAGEx来定义所选特征的方向的更为高度先进的解决方案对于本领域的技术人员而言也将是显而易见的，所以它们可以基于例如对由传感器矩阵11.1的坐标所形成的方向的识别。
正如早先所述，代替基本上连续地执行对设备10的显示部件20的方向的识别，也能够以设定的方式间隔地进行识别。根据一个实施例，对方向的识别可以以1-5秒的间隔、例如以2-4秒的间隔、优选地以2-3秒的间隔来执行。
间隔的使用也可以应用于许多不同的功能。根据第一实施例可以结合处理器17的时钟频率，或者根据第二实施例结合查看多媒体剪辑或视频会议功能。前述的操作情况也会影响间隔的使用，所以它在使用设备10的过程中能够进行改变。如果设备10已经在相同的方向使用了很长时间，并且它的方向突然改变，那么可以增加方向定义的频率，因为返回至前述更长时期的方向会不久发生。
这种有点延迟的或者更少频率执行的定向的使用是利用对图像信息IMAGEx和/或方向的检测来实现的，该使用对于设备10的可用性实际上没有任何明显的缺陷。代之以，这种例如利用比摄像机装置17的连续检测的频率更低频率的成像和/或检测来执行的间隔的成像和/或检测的确取得了例如下述的优点，即与例如连续取景器或视频成像中使用的成像频率相比更低的电流消耗(＝例如15-30帧每秒)。
代替各个帧捕获或者实际上更低频率的连续检测(例如1-5(10)帧每秒)，同样以已知频率的连续成像能够以更低频率执行，例如以设定的时间间隔。因此，根据现有技术的成像在上述例如2-4秒的周期内执行例如1秒。另一方面，也可以考虑在一个周期内只捕获几个图像帧。然而，可能至少需要一些图像帧来用于一个成像会话，以便将摄像机参数调整为适于形成要被分析的图像信息IMAGEx。
作为又一个附加优点，实现了用于设备10的其它操作的设备资源(DSP/CPU)的节省。因此，设备资源(DSP/CPU)的处理能力的30-95％、例如50-80％、不过优选地少于90％(＞80％)能够被保留以用于方向定义/成像。以更低频率的间隔执行这种方向的定义，这在诸如移动台和数码相机之类的便携式设备情况下尤为显著，所述便携式设备的特征在于有限的处理能力和功率容量。
必须理解的是，以上描述以及相关附图只打算说明本发明。因此本发明决不只限于上述的实施例或在权利要求书中所述的内容，代之以许多能够处于所附权利要求书定义的本发明思想的范围内的不同变化和改变对于本领域的技术人员而言将是显而易见的。
参考文献[1]Ru-Shang Wang and Yao Wang，″Facial Feature Extraction andTracking in Video Sequences″，IEEE Signal Processing Society1997 Workshop on Multimedia Signal Processing，June 23-25，1997，Princeton New Jersey，USA Electronic Proceedings.pp.233-238.Richard Fateman，Paul Debevec，″A Neural Network for Fa-cial Feature Location″，CS283 Course Project，UC Berkeley，USA.
权利要求
1.一种用于控制在显示器(20)上为至少一个用户(21)显示的信息(INFO)的方向(Oinfo)的方法，其中该信息(INFO)具有目标方向(Oitgt)，并且在该方法中-显示器(20)的方向(Odisplay)相对于在显示器(20)上显示的信息(INFO)的方向(Oinfo)是通过下述进行定义的利用可操作地连接到显示器(20)的摄像机装置(11)来形成图像信息(IMAGEx)，分析所述信息以找出一个或多个所选的特征(24)，并定义它/它们在图像信息(IMAGEx)中的方向(Oeyeline)(200-203)，以及-如果在显示器(20)上显示的信息(INFO)的方向(Oinfo)不同于为其设定的目标方向(Oitgt)，则进行方向改变(ΔO)，作为该改变的结果，使得在显示器(20)上显示的信息(INFO)的方向(Oinfo)符合目标方向(Oitgt)(204-206)，其特征在于，方向的定义以这样的方式来间隔地执行，即使用摄像机装置(11)来相对于它们的连续检测频率更低频率地形成图像信息(IMAGEx)。
2.根据权利要求1所述的方法，其特征在于，至少一个用户(21)的头部(22)被选择作为图像信息(IMAGEx)的图像主体。
3.根据权利要求2所述的方法，其特征在于，所选择的特征包括例如至少一个用户(21)的面部特征(23.1，23.2，24)，使用面部特征分析(12)对其进行分析以便找到一个或多个面部特征。
4.根据权利要求3所述的方法，其特征在于，面部特征例如是至少一个用户(21)的目点(23.2，23.2)，其中所选择的特征例如是由目点(23.1，23.2)定义的眼线(24)。
5.根据权利要求1-4中任何一项所述的方法，其特征在于，方向的定义是以1-5秒的间隔、例如2-4秒的间隔、优选的2-3秒的间隔执行的。
6.根据权利要求1-5中任何一项所述的方法，其特征在于，30-95％、例如50-80％、不过优选为少于90％的设备资源被保留以用于方向的定义。
7.根据权利要求1-6中任何一项所述的方法，其特征在于，从图像信息(IAMGEx)中检测到至少两个用户，根据他们的面部特征来定义平均值，该值是对应于所述特征(24)而设定的。
8.一种用于控制在设备(10)中的显示器(20)上为至少一个用户(21)显示的信息(INFO)的方向(Oinfo)的系统，其中该系统包括-显示器(20)，其被安排与设备(10)相连以用于显示信息(INFO)，-摄像机装置(11，11.1)，其被安排可操作地与设备(10)相连以用于形成图像信息(IMAGEx)，根据该图像信息(IMAGEx)，显示器(20)的方向(Odisplay)被安排成相对于在显示器(20)上显示的信息(INFO)的方向(Oinfo)进行定义，-装置(14)，用于将在显示器(20)上显示的信息(INFO)的方向(Oinfo)改变为对其设定的目标方向(Oitgt)，如果显示器(20)的方向(Odisplay)与在显示器(20)上显示的信息(INFO)的方向(Oinfo)在设定的方式上彼此不同的话，其特征在于，显示器(20)的方向的定义被安排成以这样的方式间隔地执行，即摄像机装置(11)被安排成相对于它们的连续检测频率更低频率地形成图像信息(IMAGEx)。
9.根据权利要求8所述的系统，其特征在于，图像信息(IMAGEx)的图像主体被选择作为在设备(10)的附近的至少一个用户(21)，在这种情况下，该系统包括面部特征分析功能(12)，用于从图像信息(IMAGEx)中找到一个或多个用户(21)的面部的部分(23.1，23.2)，在所定义的特征(24)中，相对于图像信息(IMAGEx)来安排定义所述显示器(20)的方向(Odisplay)。
10.根据权利要求8或9所述的系统，其特征在于，方向的定义被安排成以1-5秒的间隔、例如2-4秒的间隔、优选的2-3秒的间隔来执行。
11.根据权利要求8-10中任何一项所述的系统，其特征在于，30-95％、例如50-80％、不过优选为少于90％的设备资源被安排来用于方向的定义。
12.根据权利要求8-11中任何一项所述的系统，其特征在于，从图像信息(IAMGEx)中安排检测到至少两个用户，根据他们的面部特征来安排定义平均值，该值是对应于所述特征(24)而设定的。
13.一种便携式设备(10)，与其连接的被安排为-显示器(20)，用于显示信息(INFO)，-摄像机装置(11，11.1)，其被安排来可操作地与设备(10)相连以用于形成图像信息(IMAGEx)，根据该图像信息(IMAGEx)，显示器(20)的方向(Odisplay)被安排成相对于在显示器(20)上显示的信息(1NFO)的方向(Oinfo)进行定义，以及-装置(14)，用于将在显示器(20)上显示的信息(INFO)的方向(Oinfo)改变为对其设定的目标方向(Oitgt)，如果显示器(20)的方向(Odisplay)与在显示器(20)上显示的信息(INFO)的方向(Oinfo)在设定的方式上彼此不同的话，其特征在于，显示器(20)的方向的定义被安排成以这样的方式间隔地执行，即摄像机装置(11)被安排成相对于它们的连续检测频率更低频率地形成图像信息(IMAGEx)。
14.根据权利要求13所述的设备(10)，其特征在于，方向的定义被安排成以1-5秒的间隔、例如2-4秒的间隔、优选的2-3秒的间隔来执行。
15.根据权利要求13或14所述的设备(10)，其特征在于，30-95％、例如50-80％、不过优选为少于90％的设备资源被安排来用于方向的定义。
16.根据权利要求13-15中任何一项所述的设备(10)，其特征在于，从图像信息(IAMGEx)中安排检测到至少两个用户，根据他们的面部特征来安排定义平均值，在此基础上安排定义显示器(20)的方向(Odisplay)。
17.用于实现根据权利要求1-7中任何一项所述的方法的软件装置，其被安排成可操作地连接于显示器(20)-摄像机装置(11，11.1)，用于形成图像信息(IMAGEx)，通过软件装置(12，13)应用一个或多个选择的算法来安排分析图像信息(IMAGEx)，以用于相对于在显示器(20)上显示的信息(INFO)的方向(Oinfo)来定义显示器(20)的方向(Odisplay)，-软件装置(14)，用于将在显示器(20)上显示的信息(INFO)的方向(Oinfo)改变为对其设定的目标方向(Oitgt)，如果显示器(20)的方向(Odisplay)与在显示器(20)上显示的信息(INFO)的方向(Oinfo)在设定的方式上彼此不同的话，其特征在于，用于定义显示器(20)的方向(Odisplay)并在此基础上用于设定信息(INFO)的方向(Oinfo)的软件装置(12-14)被安排成以这样的方式来间隔地执行，即摄像机装置(11)被安排成相对于它们的连续检测频率更低频率地形成图像信息(IMAGEx)。
18.根据权利要求17所述的软件装置，其特征在于，面部特征分析(12)被安排成用于方向的定义。
19.根据权利要求17或18所述的软件装置，其特征在于，方向的定义被安排成以1-5秒的间隔、例如2-4秒的间隔、优选的2-3秒的间隔来执行。
20.根据权利要求17-19中任何一项所述的软件装置，其特征在于，30-95％、例如50-80％、不过优选为少于90％的设备资源被安排来保留以用于方向的定义。
21.根据权利要求17-20中任何一项所述的软件装置，其特征在于，从图像信息(IAMGEx)中安排检测到至少两个用户，根据他们的面部特征来安排定义平均值，在此基础上安排定义显示器(20)的方向(Odisplay)。
全文摘要
本发明涉及一种用于控制在显示器(20)上为用户(21)显示的信息(INFO)的方向(O
文档编号G09G5/38GK1860433SQ200480028593
公开日2006年11月8日 申请日期2004年9月23日 优先权日2003年10月1日
发明者S·帕拉于尔 申请人:诺基亚有限公司