专利名称：通过图像分析来选择便携式设备中的视图取向的制作方法
技术领域：
本发明涉及用于显示信息的方法和系统，并且更特别地，涉及用于设置在便携式设备的显示器上所示的视图的取向的方法和系统。
背景技术：
为了改善数量日益增长的便携式设备的多用性，制造商正在为便携式设备装配改进的元件，诸如更快的CPU、更大的显示器、无线选项、新的输入法、更持久的电池、传感器等。此多用性和增加的能力使得这些设备能够用于更多的应用中，这在过去只能在大型的系统、个人计算机或膝上型计算机中执行。典型的便携式设备包括一个或多个显示器，其中，最大的显示器在形状上是矩形的。较老的移动电话仅运行有限数量的应用程序，诸如电话拨号、联系人列表管理或玩游戏。这些应用程序是针对显示器的特定取向而设计的，对应于握持电话的自然方式。例如， 显示器将始终以纵向模式(portrait mode)来显示信息，因为电话被认为是以该方式被握持。然而，随着诸如网页浏览器和电子邮件客户端的新的应用程序在便携式设备中的使用以及来自独立供应商的新应用程序的增长，设备的单个取向对于许多应用程序而言无法最佳地工作。另外，用户可能希望在同一应用程序内具有不同的视图，诸如以纵向或横向模式观看网页页面。某些便携式设备具有惯性传感器，诸如陀螺仪和加速度计，其允许便携式设备检测位置的变化。便携式设备检测用户何时转动设备并相应地改变显示器上的视图。由于该检测是基于惯性或重力测量，所以在许多情况下对显示器的位置变化的检测失败。例如，如果便携式设备的玩家是仰面躺着的，或者如果便携式设备被搁在桌子上，则惯性测量将不会提供用以确定用于显示器中的视图的最好取向的适当信息。本发明的实施例是在此背景下出现的。
发明内容
本发明的实施例提供了用于设置在便携式设备的显示器上示出的视图的取向的方法、系统和计算机程序。便携式设备包含显示器和面对用户的照相机，其中，可以根据被实时地捕捉的用户的脸部的视频图像来确定设备相对于用户的取向。使用脸部识别算法来分析来自照相机的视频图像，并且能够基于玩家的特征来确定设备中的视图的取向，所述特征诸如形成在眼睛之间的线、从眼睛到鼻子的线、从眼睛到嘴的线、从鼻子到嘴的线等。应认识到，能够以许多方式来实现本发明，诸如过程、装置、系统、设备或计算机可读介质上的方法。下面描述本发明的多个发明性实施例。
在一个实施例中，一种方法包括用于捕捉在显示器前面的区域的图像的操作。此外，当人位于显示器前面的区域中时，识别该人的脸部的一个或多个特征的位置。该方法包括用于基于这些特征的位置来确定脸部的轴的另一操作。便携式设备的显示器中所示的视图的取向被设置为基本上对应于脸部的轴。在另一实施例中，便携式设备包括显示器、照相机和玩家定位器模块。照相机捕捉显示器前面的区域的图像。玩家定位器模块在人位于显示器前面的区域中时识别那个人的脸部的特征的位置。此外，玩家定位器模块基于特征的位置来确定脸部的轴。显示器上所示的视图的取向被选择为使得该视图的取向基本上对应于脸部的轴。 在另一实施例中，包含在计算机可读存储介质中的计算机程序在被一个或多个处理器执行时设置便携式设备的显示器上所示的视图的取向。该计算机程序包括用于捕捉显示器前面的区域的图像的程序指令。此外，当人位于显示器前面的区域中时，识别那个人的脸部的一个或多个特征的位置。该计算机程序还包括用于基于这些特征的位置来确定脸部的轴并用于将便携式设备的显示器中的视图的取向设置为基本上对应于脸部的轴的程序指令。通过结合以示例的方式举例说明本发明的原理的附图进行的以下详细说明，本发明的其它方面将变得显而易见。
通过参考结合附图进行的以下说明，可以最好地理解本发明，在附图中 图1描绘根据一个实施例的在躺下的同时使用便携式设备的玩家。图2示出根据一个实施例的与被搁在桌子上的便携式设备进行交互的玩家。图3A举例说明根据一个实施例的握持便携式设备的玩家，该便携式设备的背面几乎平行于地板。图IBB举例说明依照一个实施例的当设备几乎平行于地板时改变设备位置的效^ ο图4举例说明根据一个实施例的基于玩家位置来选择视图取向的过程。图5A 5B举例说明根据一个实施例的当玩家改变设备位置时视图取向如何调離
iF. ο图6举例说明根据一个实施例的基于玩家的脸部特征的对视图取向的选择。图7举例说明根据一个实施例的基于第二位置的对视图取向的选择。图8举例说明根据一个实施例的对替换脸部特征的检测。图9举例说明根据一个实施例的用于检测玩家的脸部轮廓的实施例。图10举例说明根据一个实施例的使用红外光和红外传感器来检测玩家的眼睛的过程。图11举例说明根据一个实施例的对玩家的眼镜的检测。图12举例说明根据一个实施例的对玩家所佩戴的耳机的检测。图13举例说明根据一个实施例的玩家平卧腹部着地时的视图选择。图14A 14B举例说明根据一个实施例的具有显示器和面向脸部的照相机的自立设备中的视图选择。
图15A 15B举例说明根据一个实施例的用于握持便携式设备的驾驶员的视图选择。图16A 16B举例说明根据一个实施例的其中视图相对于玩家的脸部被锚定的便携式设备。图17示出依照本发明的一个实施例的用于设置便携式设备的显示器上所示的视图的取向的处理流程。图18举例说明可以用来实现本发明的实施例的设备的架构。
具体实施例方式以下实施例描述了用于设置在便携式设备的显示器上示出的视图的取向的方法和装置。本发明的实施例分析利用面向便携式设备的用户的便携式设备的照相机所拍摄的视频图像。检测脸部、头部或头部周围的区域的一个或多个特征以确定玩家(或玩家的脸部)的位置和与玩家的位置或脸部最佳地匹配的便携式设备的屏幕上的视图取向。另外，可以将该过程体现为被集成到便携式设备中的硬件、在便携式设备的处理器上执行的计算机实现的方法，或者在特殊编程的硬件中呈现。例如，可以将该操作定义为被编码到专用芯片上的逻辑，或者可以在芯片上处理一些操作并且在便携式设备的通用处理器上处理其它的操作。然而，对于本领域的技术人员来说显而易见的是，可以在没有某些或所有这些特定细节的情况下实施本发明。在其它实例中，未详细地描述众所周知的过程操作以免不必要地使本发明模糊。图1描绘根据一个实施例的在躺下的同时使用便携式设备104的玩家102。便携式设备104可以在纵向或横向模式下显示内容。便携式设备104使用算法来确定对于用户而言什么是显示内容的最好或最佳方式。如果便携式设备104使算法基于惯性或重力测量，则该算法在若干个情况下将失败。典型地，该算法假设用户在站立或坐下时握持设备。如果用户正站立着并且将便携式设备横向地握持在用户的手中，则设备正确地确定应以横向格式来显示内容。但是如果用户正躺着，如图1所示，但仍以相同的方式握持设备，则设备可能以纵向格式不正确地显示内容。当设备利用运动传感器来确定相对于设备的重力方向时引起此问题。这些设备相对于重力而不是相对于用户来调整其内容取向。并且，这些设备可能遭受相反的效果。如果它们未相对于重力被正确地倾斜，则它们有时不会切换到纵向模式。本发明的实施例检测用户的眼睛或脸部的位置并确定显示信息的最佳方式。应注意的是，虽然针对诸如便携式游戏设备的某些便携式设备描述了本发明的实施例，但本发明的原理可以用于任何类型的设备，诸如游戏控制器、便携式游戏设备、蜂窝电话、照相机、写字板、膝上型计算机、个人数字助理(PDA)、便携式音乐播放器、便携式视频播放器、遥控器、数字相框、录像机、便携式电视、全球定位系统(GPS)设备等。图2示出根据一个实施例的与被搁在桌子上的便携式设备204相交互的玩家202。 如果便携式设备204检查与重力的关系，则设备在桌子上的任何位置将测量到与重力的相同关系。如果在桌子上旋转该设备，则设备将绝不会改变视图取向，这是因为与重力的关系未改变，并且设备将不能切换显示器中的视图的取向。
出于说明的目的，假设便携式设备能够以四种不同模式之中的一种模式来将视图呈现在显示器上。如果将显示器的任意一侧指定为北侧，并将其它三侧指定为东侧、南侧和西侧，则便携式设备能够在显示器上将视图呈现为使得视图的顶侧与显示器中的北侧、南侧、东侧或西侧中的一个相对应。这意味着两种模式将处于纵向模式(其中一种相对于另一种转动180° )，并且两种模式将处于横向模式。某些设备可以仅具有两种模式(纵向和横向)，或者三种模式(其中，一侧不能被用作视图的顶部)，等等。另外，其它设备可以具有更多的呈现模式，例如，视图可以不是分开90°而是分开45°，并且具有8种不同的模式。另外，一个设备可以独立于显示器的位置以任何取向来显示场景，并且使该取向唯一地基于玩家的位置。除非另外说明，否则下面是参考具有用于选择视图取向的4个可能性的设备来描述本发明的原理的，但是本发明的原理能够应用于具有任何数目的潜在显示取向的任何设备。图3A举例说明根据一个实施例的握持便携式设备的玩家，该便携式设备的背面几乎平行于地板。图3A和;3B举例说明在用户几乎与地板相平行地握持便携式设备302、 即显示器304上的表面几乎平行于地板时正确地设置视图取向的问题。在图;3B中，显示器304以横向模式显示图表。图:3B举例说明依照一个实施例的当设备几乎平行于地板时改变设备位置的效果。在图3B中，用户已将设备302转动90°，期望将视图切换到纵向模式。然而，由于便携式设备几乎平行于地板，所以便携式设备302中的重力传感器未检测到位置变化，这是因为设备相对于重力而言几乎未改变位置。结果，显示器304将依然处于横向模式而不是纵向模式。随着用户变得更熟悉设备的行为，用户学会将便携式设备倾斜至竖直位置以触发取向的变化。有时，用户将设备倾斜至竖直位置并随后快速地返回到水平位置，则便携式设备仍不改变视图取向。此来回倾斜变得令用户厌烦，并且针对具有多用途便携式设备的用户体验变得令人不满意。另外，用于诸如移动电话的便携式设备的许多游戏使用倾斜来输入命令。例如，可以通过将设备的一侧向上或向下倾斜来驱动汽车。这些设备要求玩家坐直，因为中立位置是硬编码的。本发明的实施例允许设备通过检测玩家的脸部的特征来将中立位置设置在任何位置。游戏可以基于相对于玩家的脸部的相对位置来设置显示器中的视图取向。重力不是一个因素，从而使得在外部空间中玩这些游戏成为可能。图4举例说明根据一个实施例的基于玩家位置来选择视图取向的过程。便携式设备406包括面向用户的支持视频的照相机408和显示器414。针对来自照相机408的视频图像的脸部识别软件可以检测能够用来确定脸部的取向的脸部的一个或多个特征。通常， 能够以计算机应用程序、硬件或硬件和软件相结合的形式来定义脸部识别系统，以便自动地识别或检验来自数字图像或来自视频源的视频帧的人的头部的位置。一个实施例将来自图像的所选脸部特征与脸部数据库相比较。可以将数据库耦合到允许识别特定脸部特征同时允许特征的预期布置的变化的逻辑。例如，某些人在眼睛之间具有更多或更少的间隔等， 并且在与数据库对接时用户的年龄也能够影响容许公差。在另一实施例中，脸部识别算法通过从对象的脸部的图像提取标志或特征来识别脸部。例如，算法可以分析眼睛、鼻子、颧骨、颂等的相对位置、尺寸或形状。然后使用这些特征来搜索具有匹配特征的其它图像或计算存在特定人类特征的概率，并且然后计算它们的位置。在另一实施例中，可以使用算法来对脸部图像的图片库进行归一化，并且然后压缩脸部数据，仅保存对于脸部检测有用的图
7像中的数据。这将提供能够被快速地索引和搜索的脸部元数据。还可以将探头图像与脸部数据相比较。在一个实施例中，除脸部识别之外，可以使用用户头部之上或周围的对象来检测取向。非限制性地，示例包括眼镜、帽子、耳塞、耳机、衬衫领子、项链、发夹等。这些特征可以单独地或与脸部特征混合地用来检测相对于便携式设备的屏幕的取向和/或位置。应注意的是，这里所使用的脸部识别指的是检测玩家的脸部中的特征，诸如眼睛、 鼻子、嘴等。在另一实施例中，不需要实际地“识别”具体的用户以便设置视图取向。然而， 其它实施例还可以提供用户识别以允许每个用户定义对便携式设备的使用的偏好及其它控制。因此不应将提出的实施例解释为排他性或限制性的，而是解释为示例性或说明性的。所检测的特征可以包括眼睛、鼻子、嘴、耳朵、脸的轮廓、眼镜等中的一个或多个。 可以基于连接这些特征中的某些的线来确定脸部的取向，诸如连接眼睛的线、连接眼睛和鼻子的线、连接鼻子和嘴的线、连接眼睛和嘴的线、连接耳朵的线，等等。线404连接用户402的眼睛。视频照相机408捕捉玩家402的图像，该图像被呈现在显示器414中。应注意的是，玩家402正将设备406握持在她的手中。仅仅出于呈现的目的，将玩家402的图像紧挨着设备406显示。另外，在显示器414上显示所捕捉的玩家的图像412，但是本发明的其它实施例不在显示器上呈现玩家并对背景执行脸部识别分析， 而其它应用程序确定在显示器414中显示什么。设备406检测玩家的眼睛并创建连接玩家的眼睛的线410。线410平行于或接近平行于连接玩家的眼睛的实际的线404。便携式设备确定线410平行于显示器上的假定地平线，因此，视图的取向在横向模式下是正确的。出于说明的目的，在本文中，在相对于用户的位置如程序预定的那样显示视图时， 显示器中所示的视图中的地平线被认为是平行于显示器的顶部和底部线的线。显示器的顶侧在地平线之上且显示器的底侧在地平线之下。视图的地平线将常常对应于在显示器中显示的内容的地平线。例如，如果用户正在观看自然风景且拍摄风景的照相机被设置为平行于地板，则视图中的地平线将与风景中的地平线相对应。然而，如果照相机以45°角来拍摄自然风景，则视图的实际地平线将不对应于风景的地平线。出于说明的目的，视图的地平线定义显示器上的取向。还应注意的是，地平线还将传达关于什么在地平线之上和什么在地平线之下的信息。这样，视图取向可以具有正确的地平线，但其可能是颠倒的，使得对于显示器中的显示而言，视图的取向是不正确的。可以以不同的频率来执行脸部识别。例如，可以在每个视频帧、每10个帧、每秒处等执行脸部识别。脸部识别分析的频率取决于所需的处理的量和设备的响应性。执行分析越频繁，需要的计算资源的量将越大，并且当设备改变位置时设备检测需要的视图取向变化将越快。在一个实施例中，视图取向不改变，除非已经检测到需要视图取向变化的若干个帧。这避免了在用户正在玩游戏并在返回先前的位置之前进行了设备的快速移动(这意味着玩家不意图改变设备的取向)时切换视图的问题。在另一实施例中，当设备检测到需要取向变化时，增大脸部识别频率。这有助于避免虚假肯定的检测。图5A 5B举例说明根据一个实施例的当玩家改变设备位置时视图取向如何调整。在图5A中，照相机506拍摄照相机前面的区域的视频图像，其包括玩家的脸部。设备 502被保持在竖直位置。设备502中的脸部识别算法已经分析来自照相机506的视频图像以检测玩家的眼睛的位置，从而使设备502以纵向模式显示视图504。一旦玩家将设备转动90°，则图像分析将检测到眼睛相对于设备的位置已经改变，并且然后视图将被转动90°以响应于设备的转动。在图5B中在横向模式下显示视图 504，即使设备504正在被握持得几乎平行于地板也是如此，这是因为该算法不依赖于重力测量。应注意的是，如果玩家将设备瞄准另一个人，则视图的取向也将被调整。例如，如果用户正在观看图片并想要向另一个人展示图片，则玩家可以使显示器朝向另一个人瞄准。脸部检测算法将检测该另一个人的脸部并相应地显示图像。图6举例说明根据一个实施例的基于玩家的脸部特征的视图取向的选择。可以将设备604相对于用户的角度粗略地计算为脸部特征线中的一个与沿着视频图像的轴行进的假想线之间的角度。可以通过选取最接近计算出的该角度的恰当角度来选择设备上的内容的取向。另外，可以通过选择最接近视图的地平线的角度来选择取向。下面描述该后一种方法，但是本发明的原理可以应用于视图的竖轴或应用于用户的脸部的不同轴。在分析玩家612的图像之后，便携式设备已经检测了玩家的眼睛和嘴，其被表示在用十字形来表示眼睛和嘴的图标符号620中。通过将眼睛连接在一起来形成线616。线 616将图像平面划分成两个半面，并且使用嘴的位置来确定哪半面包含位于眼睛之上的头部部分和哪半面包含嘴。线616的正向在本文中被认为是从玩家的右眼(其出现在图片中的左侧)到玩家的左眼(其出现在图片中的右侧)的方向。在另一实施例中，不检测嘴并通过假设玩家正站立着而使用重力来确定哪个路线是向上还是向下。该方法计算线616与平行于显示器的轴的线之间的角度以确定脸部和显示器的相对位置并为显示器604中的视图606选择最佳取向。显示器604具有轴608和610，它们分别平行于线618和614。由于对于显示器604中的视图而言可以有四种取向，所以计算了四个角度，其中，每个角度指示连接眼睛的线与潜在的视图地平线分开多远。因此，由线 616的正部分到线618和614的正和负方向来计算角度Q1-Ci4tj在图6的示例中，04是Ci1-Ci4中的最小的角度。结果，线614被选作用于视图 606的地平线，其中，614的正方向对应于与^4相关联的方向，其使得能够沿着正确的方向设置视图取向且并不颠倒。由于轴610平行于线614，所以轴610被选作用于视图取向的地平线。通过实时地运行该过程，便携式设备能够始终保持显示给用户的内容的正确取向。基于图像识别来设置视图取向与利用运动传感器(陀螺仪、加速度计)的现有系统相比提供更加稳健的系统。在一个实施例中，使用插值法来更好地确定脸部特征。使来自若干个图像的信息相关联以便通过使用来自若干个图像的图像数据来改进脸部识别。这改进了脸部识别，尤其是在类似于低照度或背光环境的困难情况下。图7举例说明根据一个实施例的基于第二位置的视图取向的选择。连接玩家的眼睛的线616最接近于线618，因为角度Ci4在所有角度Ci1-Ci4中是最小的。因此，用于视图 606的取向被设置为使得显示器的纬度方向轴608(其平行于线618)是用于视图的地平线， 其中，地平线之上的半面对应于玩家的前额所在的半面。换言之，被定义为从左向右的方向的地平线的正向与线616的正向形成最小的α角度。
应认识到，图6和7中所示的实施例是基于玩家的脸部的特定特征和显示器的位置对视图取向的示例性计算。其它实施例可以利用不同的特征，或者可以计算不同的角度， 但是仍执行一些计算。例如，可以通过连接眼睛的线、连接鼻子和嘴的线、从眼睛到嘴的线等来定义脸部的特征。可以将显示器的位置相对于纵轴、纬度方向轴、从显示器的左上角到显示器的右下角的对角线、显示器的任一侧、设备的任一侧等进行比较。在某些情况下，搜索与某个基准线最接近的角度，如上所述，而在其它情况下，不同的角度是优选角度，诸如在与竖轴相比较时是90°角度，或者在使用从眼睛到嘴的线时是30°角度，等等。因此不应将图6和7中所示的实施例解释为排他性或限制性的，而应解释为示例性或说明性的。图8举例说明根据一个实施例的对替换脸部特征的检测。在图8中，便携式设备检测用户的眼睛和嘴。为了确定视图取向，创建连接眼睛的线以及将每只眼睛与嘴相连的线。然后由便携式设备中的玩家定位器模块使用这些线来确定玩家的位置并且然后选择用于显示器的最适当取向，如前文参考图6和7所讨论的。在图6和7中，仅参考玩家的眼睛执行一种计算。在一个实施例中，执行两种或更多种计算以选择取向。例如，可以参考连接右眼与嘴的线执行一种计算，并且用连接左眼与嘴的线执行另一种计算。然后评估两种计算的结果(诸如对结果求平均值)以选择最佳取向。在另一实施例中，检测眼睛和鼻子。计算连接眼睛的第一线，然后计算垂直于第一线并穿过鼻子的第二线。使用与参考图6和7所述的算法类似的算法来计算视图的取向。图9举例说明根据一个实施例的用于检测玩家的脸部轮廓的实施例。脸部识别算法分析图像以便确定玩家的脸部的位置。确定脸部的轮廓，并且然后定义近似脸部的位置的几何图形。在一个实施例中，对脸部轮廓被指定为是紧密地匹配轮廓的卵形。然后使用卵形的长和短对称轴来选择取向。例如，短轴应平行于连接眼睛的线，并且使用参考图6所述的相同方法。可以替代地使用卵形的较长对称轴，并且可以使用类似的几何方法来确定该取向。在另一实施例中，使用椭圆形来近似脸部的轮廓。作为脸部轮廓的替代，还可以使用头部的轮廓。在具有短头发的用户中，脸部的轮廓和头部的轮廓是类似的，但是当用户具有长头发时，诸如图9中的那一个，脸部的轮廓可能非常不同。在又一实施例中，将脸部的轮廓与关于脸部中的其它特征(诸如眼镜、鼻子、嘴等)的其它信息组合，或者与头部的轮廓组合，以改善精确度。另外，该取向算法可以根据照明条件而改变。例如，在玩家后面具有背光的情况下，与脸部的轮廓或其它脸部特征相比， 将更容易检测头部的轮廓。在这种情况下，可以使用脸部的轮廓来选择取向，至少直至照明条件改善为止。图10举例说明根据一个实施例的使用红外光和红外传感器来检测玩家的眼睛的过程。便携式设备包括红外光发射器和检测来自眼睛的反射1002的红外传感器。然后使用这两个点以与前述方法类似的方式来计算取向。眼睛的光泽表面有利于红外光的反射以供传感器检测。相似地，用户戴的眼镜将有利于红外光的反射，但是光将不是仅仅被反射为针对每只眼睛的点，而是反射为圆圈或类似的几何图形。在另一实施例中，可以使用其它类型的光来代替红外光。例如，光可以来自便携式设备上的LED，或者来自由显示器或由闪光式灯等发射的光。当对脸部的识别基于来自显示器的反射时，如果显示器上的视图是暗的、从而导致能够从用户的眼睛或眼镜反射的光的缺乏，则可以暂时中止该取向算法。图11举例说明根据一个实施例的对玩家的眼镜的检测。当用户佩戴着眼镜152 时，可能难以检测眼睛，如果眼镜是带色的，则可能甚至是不可能的。在这种情况下，便携式设备检测眼镜的几何形状并使用该几何形状来计算用户的脸部的取向。在大多数情况下， 可以检测眼镜的镜片表面和属于每只镜片的矩形形状以用于计算目的。假设眼镜笔直地坐在玩家的脸上，则连接矩形的中心的线将基本上平行于连接眼睛的线，从而使得该线能够用于确定视图取向，遵循前述的相同程序。在其它实施例中，可以使用其它几何图形来近似镜片的表面，诸如圆形、卵形、椭圆形、正方形等。应注意的是，头发可能覆盖眼镜的一部分。在这种情况下，算法将基于可见的镜片的表面来近似眼镜的位置。例如，如果右侧的镜片是完全可见的，并且左侧镜片被头发覆盖，则算法将检测右侧镜片的形状并且然后使用此形状来确定左侧镜片(包括不可见的那部分)在哪里。通常，每个镜片的底部部分将不会被覆盖，并且该算法可以基于所检测到的表面的下边界来设置镜片的位置。图12举例说明根据一个实施例的对玩家佩戴的耳机的检测。在一个实施例中，图像分析使得能够检测耳机164。形成连接覆盖耳朵的耳机的左侧164和右侧166的线。然后使用此线来估计玩家的头部的位置。在一个实施例中，将耳机的位置与其它脸部特征组合以便改善用户的位置的可检测性。在另一实施例中，耳机包括耳罩上的红外光，并且使用便携式设备中的红外传感器或照相机来检测耳机中的红外光的位置。在另一实施例中，在耳机中包含有加速度计以跟踪耳机的运动。将此信息与便携式设备共享以协调对耳机运动的跟踪并相应地设置显示取向。经由与微型插口通信共享的波段来传送跟踪信息，虽然还可以使用任何其它通信机制，诸如无线或红外通信。图13举例说明根据一个实施例的玩家平卧腹部着地时的视图选择。在本实施例中，便携式设备正在跟踪玩家的脸部的特征。由于便携式设备不依赖于重力度量，所以便携式设备能够选择适合于玩家的位置的显示取向。在一个实施例中，便携式设备还可以跟踪脸部执行的动作。例如，可以检测眼睛的长闪烁以便执行诸如关闭窗口或呈现下一个幻灯片的命令。还可以使用其它动作作为输入，只要便携式设备能够检测脸部的位置和脸部的位置的变化即可。例如，头部的左转可以横向地滚动视图，点头可以向下滚动视图，等等。甚至可以使用单独用眼睛执行的动作(没有头部的移动)作为输入。向左看可以向左滚动游戏的场景，向上看可以打开菜单，眼睛的长时间关闭可以暂停游戏，等等。如果便携式设备包括位于便携式设备的不同侧上的两个显示器和两个照相机，其中每个照相机捕捉在相应显示器前面的区域，则可以检测用户正在看哪个显示器。在这种情况下，便携式设备可以使用此信息来关闭未被观看的另一显示器或使其变暗。如果便携式设备稍后检测到用户已改变显示器，则被关掉的显示器将被开启，并且可以关掉开着的显示器或使其变暗。在一个实施例中，如果便携式设备在设备的每一侧均检测到一个用户， 则可以同时开启两个显示器。例如，握持照相机的用户可能正在拍摄另一个人的照片，并且两者人可能都能够观看照片看起来可能怎么样。这可以被广义化为允许两个不同的用户在不同的显示器中访问相同的内容，诸如看电影或浏览相册。应注意的是，针对每一侧执行单独的脸部识别过程，因此，每个显示器中的视图的取向是相互独立的。图14A 14B举例说明根据一个实施例的具有显示器和面向脸部的照相机的自立设备中的视图选择。还可以在诸如写字板、图书阅读器或上网本(netbook)的更大型的设备中使用跟踪脸部特征以便设置显示取向。在图14A中，写字板设备172具有支架，使得能够将以纵向或横向模式将写字板设备设置在支架上。写字板具有面对用户的照相机并基于用户的眼睛的位置来选择显示的取向。相似地，在图14B中，已经在支架上将图书阅读器设备174设置在纵向位置。由于图书阅读器设备174已被以纵向位置设置在支架上。由于图书阅读器设备174已经检测到用户正坐在椅子上，所以图书阅读器设备174将视图取向设置为匹配阅读器中的显示器的位置的纵向模式下。如果用户将图书阅读器设备174变到横向位置，则图书阅读器设备174将在检测到相对于读者眼睛的相对变化之后相应地转变显示的取向。在一个实施例中，视图取向是基于示出在显示器上的内容或基于玩家的位置或者基于以上这两者。例如，用于显示电影的应用程序可以使视图取向仅限于横向。使用脸部识别来检测玩家位于什么位置，并且调整视图的地平线以匹配玩家的位置。在另一实施例中，用户选择是与脸部的位置相应地设置视图取向还是将视图取向设置为固定位置。例如，用户可以决定在躺在沙发上的同时观看电影。用户可能宁愿使画面被示出在标准横向位置上，而不是使电影以纵向被显示以匹配玩家的位置。在诸如具有大型显示器的TV或计算机的较大设备中，可能存在处于不同位置的若干个观看者。该设备可以从不同的试探中进行选择以设置视图取向。例如，如果仅存在一个观看者且随后另一个观看者加入，则视图取向被固定于其在第一观看者的情况下所具有的位置，或者设备可以尝试检测观看者的位置并选择与大多数观看者匹配的取向，或者该视图取向仅基于重力且独立于观看者，等等。图15A 15B举例说明根据一个实施例的用于握持便携式设备的驾驶员的视图选择。图15A和15B示出正使用诸如移动电话1502或专用GPS设备的具有GPS能力的设备的驾驶员。该驾驶员正在观察移动电话1502上的地图和指导信息。在图15A中，驾驶员正在直接在移动电话1052上观看，并且移动电话1502检测驾驶员的眼睛并创建连接眼睛的线1504。如前所述，然后参考线1504来设置视图的取向。在图15B中，驾驶员正往前看路。移动电话1502检测连接驾驶员的眼睛的线1506。 虽然关于来自图15A的线1504来说线1506的方向已改变，但移动电话1502仍将以正确的取向显示信息，这是因为移动电话1502将寻找与线1506的最接近的角度，如参考图6所述。最接近的角度仍对应于地图或驾驶指导的纵向呈现。在某些州中，在驾驶时在没有免持设备的情况下在移动电话上进行文本输入或谈话已变得违法。在一个实施例中，移动电话检测到电话正在运动中并且与玩家的脸部的关系未改变。移动电话能够通过使用来自惯性传感器或来自GPS模块的信息来检测到其正在运动。当移动电话检测到用户在汽车中时，则移动电话禁用某些特征，诸如在没有免持设备的情况下进行文本输入或谈话，同时启用其它特征，诸如紧急呼叫或在移动电话上阅读地图。此特征还可以作为父层控制。系统可以将违规告知父层，或者可以导致车辆在被适当地关掉之后不起动。然后，父层能够在接收到来自驾驶员的保证等之后远程地激活汽车。超驰机制允许汽车中的人在那个人是乘客且不是驾驶员的情况下使用这些特征。
图16A 16B举例说明根据一个实施例的其中视图相对于玩家的脸部被锚定的便携式设备。在便携式设备上执行的许多游戏使用倾斜作为输入来控制游戏。例如，在驾驶游戏中，设备向右侧的倾斜或转动导致向右驾驶汽车，且向左侧的倾斜导致向左驾驶汽车。图16A和16B举例说明用于即使当用户正在倾斜设备以输入命令时也保持显示器上的视图稳定的方法。换言之，假设显示器中的视图具有自然的观看地平线，则在设备被略微向左或向右倾斜时观看地平线相对于观看者不改变。图16A示出设备1610上的赛车游戏。游戏的视图包括若干个对象，诸如树1604、 广告牌1602和汽车1606。图16B示出玩家已将设备转动约30°之后的同一游戏。通常，除可能被关联到设备的位置而不是玩家的位置的某些对象之外，视图相对于玩家不改变。例如，汽车1606也已被转动30°，因为玩家正在驱动该游戏，并且玩家正在使用该设备作为方向盘。随着设备转动，“方向盘转动”，且汽车随着设备转动。然而，与背景相关联的其它对象(诸如树1604和广告牌1602)相对于玩家并未转动。可以通过将视图关联到玩家而不是设备的思考来将转动设备的此概念广义化。玩家可以缓慢地将设备转动360°，且视图相对于玩家不改变。当然，视图的边缘将不得不改变以适应显示器的移动。在诸如游戏的动态内容的情况下，游戏能够添加动态内容以填充间隙。在诸如照片的静态内容的情况下，未被照片覆盖的显示器部分将被用诸如白色空间的背景填充。图17示出依照本发明的一个实施例的用于设置便携式设备的显示器上所示的视图的取向的处理流程。在操作1702中，捕捉显示器前面的区域的图像。在一个实施例中， 用便携式设备中的摄像机来捕捉图像。在另一实施例中，使用红外传感器来捕捉关于显示器前面的区域的信息。此外，该方法在操作1704中在人位于显示器前面的区域中时识别该人的脸部中的特征的位置。在操作1704之后，该方法流动到操作1706，在那里，基于特征的位置来确定脸部的轴。所确定的脸部的特征可以包括眼睛、嘴、鼻子、连接眼睛的线、连接眼睛和鼻子的线、脸部的形状、玩家戴的眼镜、玩家的头部上的耳机等。在操作1706之后，该方法流动到操作1708，在操作1708中，设置在便携式设备的显示器上显示的视图的取向。该取向被设置为使得视图基本上对应于脸部的一个轴。在一个实施例中，该取向被设置为使得与连接眼睛的线平行的脸部的轴最接近于显示器中的视图的水平轴。在另一实施例中，视图的水平轴被设置为精确地平行于连接玩家的眼睛的线， 以使得显示器中所显示的风景或风景的至少一部分在便携式设备相对于玩家移动时保持稳定。图18举例说明可以用来实现本发明的实施例的设备的架构。便携式设备是计算设备，并包括存在于计算设备中的典型模块，诸如处理器、存储器(RAM、R0M等)、电池或其它电源以及永久性存储器(诸如硬盘)。通信模块允许便携式设备与其它便携式设备、其它计算机、服务器等交换信息。通信模块包括通用串行总线(USB)连接器、通信链路(诸如以太网)、超声波通信、蓝牙和WiFi。输入模块包括输入按钮和传感器、麦克风、触摸屏、照相机(面朝前、面朝后、深度照相机)和读卡器。还可以经由诸如USB或蓝牙的通信链路将诸如键盘或鼠标的其它输入 /输出设备连接到便携式设备。输出模块包括显示器(具有触摸屏)、发光二极管(LED)、触觉振动反馈和扬声器。其它输出设备也可以经由通信模块连接到便携式设备。来自不同设备的信息可以被位置模块用来计算便携式设备和握持该设备的用户的位置。这些模块包括磁强计、加速度计、陀螺仪、GPS、罗盘和由任何照相机捕捉的图像信息。另外，位置模块能够分析用照相机和麦克风捕捉的声音或图像数据以计算位置。视图产生器产生视图并选择适当的取向以便在显示器中呈现视图。应认识到，图18中所示的实施例是便携式设备的示例性实施方式。其它实施例可以利用不同的模块、模块的子集或向不同的模块分配相关任务。因此不应将图18中所示的实施例解释为排他性或限制性的，而应当解释为示例性或说明性的。可以用包括手持设备、微处理器系统、基于微处理器的或可编程的消费者电子装置、微型计算机、主机计算机等的各种计算机系统配置来实现本发明的实施例。还可以在其中由通过基于有线的网络或无线网络而被链接的远程处理设备来执行任务的分布式计算环境中实现本发明。考虑到上述实施例，应理解的是，本发明可以采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是要求对物理量进行物理操作的那些操作。构成本发明的一部分的本文所述的任何操作是有用的机器操作。本发明还涉及用于执行这些操作的设备或装置。可以针对所需要的目的而特殊地构造所述装置，或者所述装置可以是由存储在计算机中的计算机程序选择性地激活或配置的通用计算机。特别地，可以将各种通用机器与依照本文的讲授内容编写的计算机程序一起使用，或者构造更专用的装置以执行所需的操作可能更加方便。还可以将本发明体现为计算机可读介质上的计算机可读代码。计算机可读介质是能够存储之后能够被计算机系统读取的数据的任何数据存储设备。计算机可读介质的示例包括硬盘驱动器、网络连接存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、 CD-RW、磁带及其它光学和非光学数据存储设备。计算机可读介质可以包括分布在网络耦合的计算机系统上的计算机可读有形介质，以使得以分布式方式来存储和执行计算机可读代码。虽然按照特定的顺序描述了方法操作，但应理解的是，可以在操作之间执行其它内务操作，或者可以调整操作以使得它们在略有不同的时间发生，或者可以将其分布在允许处理操作以与处理相关联的各种间隔发生的系统中，只要用期望的方式来执行覆盖操作的处理即可。虽然已经出于理解透彻的目的相当详细地描述了前述发明，但将显而易见的是， 在所附权利要求的范围内可以实施某些变更和修改。因此，应将本实施例视为说明性而非限制性的，并且本发明不限于本文给出的细节，而是可以在所附权利要求的范围和等价物内对其进行修改。
1权利要求
1.一种用于设置在便携式设备的显示器上显示的视图的取向的方法，该方法包括捕捉显示器前面的区域的图像；识别当人位于显示器前面的区域中时该人的脸部的特征的位置；基于所述特征的位置来确定脸部的轴；以及将在便携式设备的显示器上显示的视图的取向设置为基本上对应于脸部的所述轴。
2.如权利要求1所述的方法，其中，设置视图的取向还包括选择视图的取向，以使得视图的水平轴基本上对应于显示器的纵轴或纬度轴，并且使得脸部的水平轴与视图的水平轴之间的角度的绝对值小于或等于45度。
3.如权利要求1所述的方法，还包括随着脸部的特征的位置的变化继续设置视图的取向。
4.如权利要求1所述的方法，其中，所述脸部的特征包括该人的眼睛和鼻子。
5.如权利要求4所述的方法，其中，脸部的所述轴跨过两个眼睛，并且其中，鼻子位于所述轴的下面。
6.如权利要求1所述的方法，其中，脸部的所述特征包括眼睛和嘴。
7.如权利要求1所述的方法，其中，脸部的所述特征包括该人的眼睛，其中，确定所述轴还包括使用眼睛的位置和重力来计算所述轴。
8.如权利要求1所述的方法，设置视图的取向还包括使用设备惯性信息和脸部的所述特征的位置来确定视图的适当取向。
9.如权利要求1所述的方法，还包括继续跟踪脸部的所述特征的位置，所述特征包括该人的眼睛；检测所述眼睛的闪烁；以及响应于检测到所述眼睛的闪烁而在便携式设备中执行操作。
10.如权利要求1所述的方法，其中，设置视图的取向还包括选择视图的取向以使得视图的水平轴对应于脸部的水平轴。
11.如权利要求10所述的方法，其中，所述视图包括其位置与所述设备的位置有关的至少一个对象，并且其中，所述视图包括其位置与脸部的水平轴有关的至少一个对象。
12.一种便携式设备，包括显不器；照相机，用以捕捉显示器前面的区域的图像；以及玩家定位器模块，其识别位于显示器前面的区域中的人的脸部的特征的位置并基于所述特征的位置来确定脸部的轴；其中，在显示器上显示的视图的取向基本上对应于脸部的所述轴。
13.如权利要求12所述的便携式设备，其中，所述便携式设备选自包括以下各项的组游戏控制器、便携式游戏设备、蜂窝电话、照相机、写字板、膝上型计算机、个人数字助理 (PDA)、便携式音乐播放器、便携式视频播放器、遥控器、数字相框、录像机、便携式电视或全球定位系统(GPS)设备。
14.如权利要求12所述的便携式设备，其中，所述照相机是红外传感器，脸部的所述特征包括该人的眼睛，其中用所述红外传感器来检测所述眼睛。
15.如权利要求12所述的便携式设备，其中，脸部的所述特征包括该人的鼻子和嘴。
16.如权利要求12所述的便携式设备，其中，脸部的所述特征包括表示脸部的轮廓的卵形，其中，脸部的所述轴对应于所述卵形的短轴。
17.一种包含在计算机可读存储介质中的计算机程序，所述计算机程序在被一个或多个处理器执行时用于设置在便携式设备的显示器上显示的视图的取向，所述计算机程序包括用于捕捉显示器前面的区域的图像的程序指令；用于识别当人位于显示器前面的区域中时该人的脸部的特征的位置的程序指令；用于基于所述特征的位置来确定脸部的轴的程序指令；以及用于将在便携式设备的显示器上显示的视图的取向设置为基本上对应于脸部的所述轴的程序指令。
18.如权利要求17所述的计算机程序，其中，用于设置取向的程序指令还包括用于选择视图的取向以使得视图的水平轴基本上对应于显示器的纵轴或纬度轴、并且使得脸部的水平轴与视图的水平轴之间的角度的绝对值小于或等于45度的程序指令。
19.如权利要求17所述的计算机程序，其中，脸部的所述特征包括该人不戴眼镜时该人的眼睛和该人戴眼镜时该人戴的眼镜。
20.如权利要求17所述的计算机程序，其中，脸部的所述特征包括放置在脸部的耳朵上的耳机。
21.如权利要求17所述的计算机程序，其中，照相机是红外传感器，其中，放置在该人身上的耳机发射红外光，其中用红外传感器来检测耳机。
全文摘要
提出了用于设置在便携式设备的显示器上显示的视图的取向的方法、系统和计算机程序。在一个实施例中，一种方法包括用于捕捉显示器前面的区域的图像的操作。此外，当人位于显示器前面的区域中时，识别那个人的脸部的一个或多个特征的位置。该方法包括用于基于这些特征的位置来确定脸部的一个轴的另一操作。另外，在便携式设备的显示器上显示的视图的取向被设置为基本上对应于脸部的所述轴。
文档编号G06F3/01GK102270041SQ201110148978
公开日2011年12月7日 申请日期2011年6月3日 优先权日2010年6月4日
发明者R. 斯塔福 J., 奥斯曼 S. 申请人:索尼电脑娱乐公司