基于摄像头的从纵向到横向的朝向固定的制作方法

专利名称：基于摄像头的从纵向到横向的朝向固定的制作方法
技术领域：
本发明一般地涉及便携式手持电子设备的显示领域，尤其是涉及根据感测到的用户的朝向(orientation)而在纵向和横向模式之间切换的显示器。
背景技术：
便携式数据和媒体显示设备，诸如移动电话、电子书阅读器、平板电脑等等，通常具有“纵向”朝向的矩形显示屏。经常需要以“横向”朝向来观看内容。这可以通过将显示屏旋转90°并选择横向呈现(或横向显示模式)来实现。可以提供手动的选择，但现在许多设备具有惯性传感器，以便在感测到设备旋转时自动选择横向呈现。在某些情况下，便携式设备的用户可能不希望在设备旋转时显示模式发生改变。 例如，用户可能在开始阅读电子邮件或玩游戏时是直着坐着的，但可能后来会想躺下继续使用该设备。在这种情况下，用户不希望显示模式改变，因为用户的眼睛与显示屏的相对朝向没有改变。尽管可以提供手动的显示模式选择来忽略惯性传感器，但对于上述问题这是一种不方便的解决方案。

发明内容
本发明的一个实施例是便携式电子设备的一种工作模式，用于使设备的显示相对于用户的面部稳定。便携式电子设备具有摄像头和显示屏，显示屏的显示模式能够响应于惯性传感器在纵向模式和横向模式之间切换。当响应于设备的运动而确定应当切换显示模式时，利用摄像头对该设备的用户的特征(诸如用户的面部)成像。如果所成像的特征相对于设备的朝向的改变小于阈值量，则显示模式的切换被禁用，从而显示模式仍然保持在其当前的模式。以上的概述不包括本发明的所有方面的穷尽描述。可以想到，本发明包括能够从上面概述的各方面以及那些在下面的具体实施方式
中所公开的内容和在本申请的权利要求中所特别指出的内容的所有适当组合而实践的所有系统和方法。这样的组合具有在上面的概述中没有具体陈述的特定优点。


本发明的实施例在附图中通过举例而非限制的方式来说明，在附图中，类似的标号表示类似的元件。应该注意的是，本文中，提到本发明的“一个”具体实施例不一定必须对应同一个实施例，它的意思是至少一个。图1A-1C示出根据本发明的一个实施例而选择的具有纵向和横向显示模式的设备。图2是根据本发明的一个实施例的的显示模式选择过程的功能流程图。图3是可以实施本发明的实施例中的电子设备的功能框图。
具体实施例方式在说明书中，出于解释的目的，许多具体细节被阐述是为了提供对本发明的透彻理解。然而，显而易见的是，本领域技术人员可以不需要这些明确的细节而实现本发明。在其它实例中，公知的结构和设备以框图的形式显示，以避免使本发明实施例中的基本原理的表述模糊不清。便携式手持电子设备，如苹果公司的iPod 和iPhone 多功能设备，都有显示屏用来观看照片、视频、文档、网络内容和其它媒体。这种类型的设备被标记为10，如图IA中所示。显示屏12通常被配置成在设备的正常朝向下高度比宽度更大，从而屏幕上的对象被称为是在“纵向，，显示模式下显示，如图IA所示。当设备10以这个朝向被握持时，文本及其它内容被水平显示，这与用户20的眼睛的水平朝向是一致的。设备10，与许多类似的设备一样，有内置的加速度计或类似的惯性传感器来检测设备的运动和朝向。利用这种能力和适当的显示软件，设备可以旋转90°，而显示屏上的对象将会变成以“横向”显示模式呈现， 如图IB所示。文本及其它内容仍保持水平地显示。还是参考图1A，设备10包括内置的正面数字摄像头14。摄像头14的成像镜头 110 (见图3)针对的是从设备10的正面向外的区域，且显示屏12位于正面。更充分的解释如下，摄像头14用来在设备用户20面向显示屏12时捕捉该用户的图像，以便在某些情况下忽略对纵向或横向显示模式的惯常选择。在图IB中可以看出，在设备10旋转90°时选择横向模式是适合用户20的朝向的。然而，在图IC中，用户躺着，并且现在用户眼睛的朝向沿着大致垂直的线，与图IA和IB中的水平朝向相反。此时，即使设备10与图IA相比已经旋转了 90°，保持以纵向模式显示是合适的，因为所显示的文字和其它内容将保持相对于用户眼睛的合适朝向。图2所示为实施本发明的一个实施例的过程。这个过程可以由设备10中被适当编程的处理器(例如，应用处理器)来执行。这个过程开始于20，用户选择的使显示相对于用户面部稳定的便携式设备工作模式。这可以通过运行专用应用、通过按压手动开关、或通过其它在本领域所熟知的手段，利用菜单选择来完成。这个过程可以由某些应用自动选择。用户面部的图像被正面摄像头14所捕捉，然后在22中被分析以建立关于用户的朝向的初始参考。这可以例如通过以下来完成确定在该图像的平面中经过用户双眼的直线的朝向相对于便携式设备(例如其显示屏)在此时的朝向。后者可以被认为是设备的参考朝向，并且根据已知的技术，可以利用设备中的惯性传感器(例如加速度计、多轴回转速率陀螺仪)来确定。适合本发明目的的面部分析算法，包括在图像中识别出用户的眼睛，也是本领域的技术人员所熟知的。例如，苹果公司的iPhoto 应用使用面部检测来识别照片中的人的面部。举例来说，相对朝向(用户的眼睛相对于显示屏)可能如图IA中的那样，并且可以被存储为所计算的在所捕捉的图像中经过用户双眼的直线与摄像头的图像传感器的X 轴之间的角度。设备的加速度计或其它集成的惯性传感器在M被监测，以确定设备10是否已经倾斜到足以触发显示模式从纵向到横向(或反过来)的切换。这可以是完全常规的操作。 如果倾斜在该操作中被检测到，则在沈中，再次分析在此时用正面摄像头捕捉到的用户面部图像，以确定用户的朝向是否已同样改变。如果设备的朝向已经倾斜而用户的朝向没有相应地改变，则在观，显示模式被切换。另一方面，如果用户的朝向也发生了改变，使得用户的面部相对于显示屏仍然保持大致相同的朝向，则在30，当前显示模式被保持。换句话说，如果用户面部的图像特征相对于设备朝向的朝向的改变小于阈值(例如，预定的角度， 诸如45° )，则显示模式的切换被禁用。因此，在上面的例子中，如果经过用户双眼的直线相对于图像传感器的X轴保持在45度之内，则用户的朝向就没有改变到足以使显示模式切换。用户的多个图像可以被分析以确定用户的特征的朝向改变了多少，这多个图像可以在设备10从一个朝向倾斜到另一个朝向(例如，从水平变为竖直，或反过来)时由同一个摄像头14捕捉。图3描绘了可以在其中实施本发明的实施例的示例性便携式手持多功能设备10 的框图。设备10具有处理器102，其执行指令以完成与设备10相关的操作。这些指令可以从存储器104中被取回，并且在被执行时，这些指令控制设备10的各个部件之间的输入和输出数据的接收和处理。虽然未示出，但是存储器104可以存储由处理器102执行的操作系统程序，并且可以认为一个或多个应用程序在操作系统上运行以执行特定功能。显示屏 106显示图形用户界面(⑶I)，该⑶I使设备10的用户可以与设备10中运行的各种应用程序进行交互。GUI在屏幕106上显示表示应用程序、文件、及其相关联的命令的图标或图形图像。它们可以包括窗口、字段、对话框、菜单、按钮、光标、滚动条等。用户可以从这些图形图像或对象中进行选择以启动与之相关联的功能。在一个实施例中，屏幕106是触摸屏，它也作为将来自于外部世界的数据转移到设备10中的输入设备。该输入例如通过用户的手指触摸屏幕106的表面来接收，但是它也可以通过设备10上的物理按钮来接收。设备10的相机功能(或摄像头14，见图1)可以由以下的部件实现。一个或多个固态图像传感器108被内置在设备10中，每个固态图像传感器可以位于包括相应的镜头 110的光学系统的焦平面上。在相机视野之内的场景的光学图像被形成在传感器108上，作为响应，传感器108以由像素构成的数字图像或图片的形式捕捉该场景，该数字图像或者图片然后将被存储在存储器104中。图像传感器108可以包括固态图像传感器芯片，该芯片有若干种可用于控制如何捕捉图像的选项。设备10不仅仅可以在数码相机模式下运行，而且可以在移动语音和/或数据通信模式下运行。通过如下组件来实现这一点。由RF电路114驱动和感测的集成天线112用于与附近的基站(未示出)发送和接收蜂窝网络通信信号。处理器102执行的移动电话应用在屏幕106上向用户呈现移动电话选项，诸如具有呼叫和结束按钮的虚拟电话键盘。移动电话应用还通过将来自内置麦克风116的语音信号引导至RF电路，同时引导来自通话另一方的语音信号通过接收器或听筒118，而在高层控制典型的移动电话呼叫中的双向通话。 移动电话应用还通过检测对物理音量控制120的动作来响应用户对接收器音量的选择。虽然没有示出，处理器102可以包含蜂窝基带处理器，其负责大量的数字音频信号处理功能和与蜂窝电话呼叫相关的蜂窝网络协议信令，包括对通话参与者的语音信号进行编码和解码。同样，处理器102可以包括数据通信处理器，其负责数据的编码和解码，和/或打包和分包，以便在一个或多个无线数据网络上发送和接收。响应于例如用户操作物理菜单按钮122然后在屏幕106这一显示设备上选择适当的图标，设备10可以处于任何它可用的工作模式下，诸如移动电话模式、数码相机模式、或网络浏览模式。存储在存储器104中的任何应用程序可以类似地被用户选择。
设备10包括惯性传感器124，诸如加速度计，它可以是检测设备10在三个轴方向上的加速度的三维加速度计，三个轴方向即上下方向(Y轴)、左右方向(X轴)和前后方向 (Z轴)。加速度计使得能够确定设备10在X轴、Y轴和Z轴方向上的倾斜和运动。在可替换的实施例中，可以采用速率陀螺仪，其检测设备10关于Z轴的旋转。传感器IM检测到的加速度或者旋转速率数据被传送给处理器102，以用来确定设备10的位置、朝向和/或运动。当设备10的朝向达到了预定的限制时，上述信息则可被处理以在纵向和横向显示模式之间进行选择。
从这样的描述显然可知，本发明的各个方面可以至少部分地以软件、硬件、固件、 或它们的组合来实现。也就是说，所述技术可以在计算机系统中或其它数据处理系统中响应于其处理器(诸如微处理器)执行存储器(诸如ROM、易失性RAM、非易失性存储器、高速缓存、或远程存储设备)中包含的指令序列而实现。在各种实施例中，硬连线电路可以与软件指令相结合使用来实现本发明。因此，所述技术不局限于硬件电路与软件的任何具体组合，也不局限于由数据处理系统执行的指令的任何特定源。此外，本文中，为了简化描述，各种功能和操作被描述为是由软件代码执行或导致的。然而，本领域技术人员将认识到这种表述意味着，这些功能是由处理器(诸如微处理器)执行代码而得到的。
机器可读介质可被用来存储软件和数据，这些软件和数据当被数据处理系统执行时使该系统执行本发明的各种方法。这种可执行的软件和数据可以存储在任何地方，包括例如ROM、易失性RAM、非易失性存储器和/或高速缓存。该软件和/或数据的部分可以存储在任何一个上述存储设备中。
本发明还涉及用于执行这里的操作的设备。该设备可以为所需的目的而专门构造，或者可以包括由存储在计算机中的计算机程序选择性激活或重配置的通用计算机。这种计算机程序可以在机器可读介质中存储或传输。机器可读介质包括以机器(如计算机、 网络设备、个人数字助理、制造工具、任何具有一个或多个处理器的设备)可访问的形式提供(即，存储和/或传输)信息的任何机构。例如，机器可读介质包括可记录/不可记录的介质，诸如但不限于，机器可读存储介质(例如，任何类型的盘，包括软盘、光盘、CD-ROM和磁光盘，只读存储器(ROM)，随机存取存储器(RAM)，EPROM，EEPR0M，闪存，磁或光卡，或者任何适合用于存储电子指令的介质)，或机器可读的传输的介质，诸如但不限于，任何类型的电、光、声、或其它形式的传播信号(例如载波、红外信号、数字信号等)。
此外，应当理解，这里所描述的各种实施例可以与多种数据处理系统一起实施。例如，这样的数据处理系统可以是蜂窝电话、或个人数字助理(PDA)或娱乐系统、或媒体播放器(比如iPod)、或消费电子设备等，这其中每一个都可以用来实现本发明的一个或多个实施例。
纵观上述说明，提到“实施例”、“ 一个实施例”、“示例性实施例”等等是表明，所描述的实施例可以包括特定的特征、结构或特性，但并非每个实施例都一定包括该特定的特征、结构或特性。进一步地，这些表达方式也不一定指代相同的实施例。当与某个实施例相联系地描述特定的特征、结构或特性时，我们认为将该特定的特征、结构或特性与其它实施例相联系是处于本领域技术人员的知识范围之内的，而不管是否明确描述了这一点。可以在这里所示的结构和实施例中进行各种变化，而不脱离本发明的原理。此外，体现在各个附图中的实施例的特征可以与其它附图中的实施例相组合。
技术术语“耦接”和“连接”以及它们的派生词可能被用在前面的描述以及权利要求中。应当理解，这些术语不是相互同义。而是，在特定的实施例中，“连接”是用来表示两个或更多个元件相互之间直接物理或电接触。“耦接”可以表示两个或更多个元件直接物理或电接触。然而，“耦接”也可以意味着两个或更多个元件不是相互直接接触，但仍然相互协作或交互。
上述所列的详细描述中某些部分是以对计算机存储器中的数据比特的操作的算法和符号表示来给出的。这些算法描述和表示是数据处理领域的技术人员所使用的最有效地向该领域其它技术人员表达其工作主旨的手段。算法在这里并且通常被认为是用于得到想要的结果的自洽的操作序列。这些操作是需要对物理量进行物理操纵的操作。通常，虽然不一定如此，这些量采取的形式是能够被存储、转移、合并、比较和以其它方式操纵的电或磁信号。已经证明，将这些信号称为比特、值、元素、符号、字符、术语、数字等有时候是很方便的，主要是由于被普遍使用。
然而，应该牢记的是，所有这些和类似的术语是与适当的物理量相关联的，并且仅仅是应用于这些量的方便的标签。除非特别指出，否则，从上面所列的讨论显然可知，在整个描述中，利用诸如“处理”或“计算”或“确定”或“显示”以及类似的术语的讨论指的是计算机系统或类似的电子计算设备的动作和处理，其操作计算机系统的寄存器和存储器中的表示为物理(电子)量的数据并将其转换成计算机系统存储器或寄存器或其它这类信息存储、传输或显示设备中被类似地表示为物理量的其它数据。
这里介绍的算法和显示并不固有地涉及任何特定的计算机系统或其它设备。各种通用系统可以与根据这里的教导的程序一起使用，或者，构造更专用的设备来执行这些方法操作可以被证明是便利的。从上述的描述中出现了各种这类系统的结构。此外，本发明不是参考任何特定的编程语言来描述的。应当理解，各种编程语言都可以用于实现这里所描述的本发明的教导。
本发明的实施例可以包括上述描述的各种操作或者是更少的操作、更多的操作、 或以不同于这里描述的顺序而执行的操作。这些操作可以表达为使通用或专用处理器执行特定操作的机器可执行指令。可替换地，这些操作可以通过包括用于执行这些操作的硬连线逻辑的专用硬件部件来执行，或者由编程的计算机组件和自定义硬件部件的任意组合来执行。
在整个上面的说明中，出于解释的目的，大量具体细节被描述是为了提供对本发明的透彻理解。然而，很明显的，本领域技术人员如果没有这些具体细节也可以实践本发明。因此，本发明的范围和精神应当根据权利要求及其法律等同物来判断。
权利要求
1.一种在具有摄像头和显示屏的便携式电子设备中的方法，该显示屏的显示模式能够响应于惯性传感器在纵向模式和横向模式之间切换，所述方法包括响应于所述设备的模式运动决定是否应当切换显示模式； 使用摄像头对所述设备的用户的特征进行成像；如果所成像的特征相对于所述设备的朝向的改变小于阈值量，则禁用显示模式的切换。
2.如权利要求1所述的方法，其中所成像的特征包括用户的面部的一部分。
3.如权利要求1所述的方法，其中摄像头的成像镜头和显示屏都布置在所述设备的前表面上。
4.一种便携式电子设备，包括 惯性传感器；显示器，该显示器的显示模式可以在纵向模式和横向模式之间切换；处理器，用于响应于由惯性传感器感测到的设备的运动来确定是否应当切换显示模式；摄像头，用于对所述设备的用户的特征进行成像；其中如果所成像的特征相对于所述设备的朝向的改变小于阈值量，处理器禁用显示模式的切换。
5.如权利要求4所述的便携式电子设备，其中摄像头和显示屏都布置在所述设备的前表面上。
6.如权利要求4所述的便携式电子设备，其中惯性传感器包括加速度计。
7.如权利要求4所述的便携式电子设备，还包括用于发送和接收蜂窝网络通信信号的电路。
8.一种具有摄像头和显示屏的便携式电子设备，该显示屏的显示模式能够响应于惯性传感器而在纵向模式和横向模式之间切换，所述便携式电子设备包括用于响应于所述设备的模式运动决定是否应当切换显示模式的装置； 用于使用摄像头对所述设备的用户的特征进行成像的装置；用于如果所成像的特征相对于所述设备的朝向的改变小于阈值量，则禁用显示模式的切换的装置。
9.如权利要求8所述的方法，其中所成像的特征包括用户的面部的一部分。
10.如权利要求8所述的方法，其中摄像头的成像镜头和显示屏都布置在所述设备的前表面上。
全文摘要
本公开涉及基于摄像头的从纵向到横向的朝向固定。一种便携式电子设备包括摄像头和能够响应于惯性传感器而在纵向模式和横向模式之间切换的显示器。当响应于设备的运动而确定应当切换显示模式时，就利用摄像头对设备的用户的特征(诸如用户的面部)进行成像。如果所成像的特征相对于显示器的朝向的改变小于阈值量时，则禁用显示模式的切换，并且显示模式保持在其当前模式。其它实施例也被描述和保护。
文档编号G06F3/14GK102541255SQ20111031915
公开日2012年7月4日 申请日期2011年9月8日 优先权日2010年9月8日
发明者J·鲁克斯, K·加德纳, 常峨成 申请人:苹果公司