专利名称：一种通信方法和通信系统的制作方法
技术领域：
本发明涉及通信系统。更具体地说，本发明涉及一种根据视角自动适配移动设备 的视窗的方法和系统。
背景技术：
在三维或二维视频和/或静态图像系统中，显示设备(例如手持设备、电视机、监 视器、相机和/或游戏机)中显示有图像。现在大多数视频广播利用支持以位流形式广播 视频图像的视频处理应用，该位流包含代表将要显示的图像的特征的信息。视频应用可以 利用各种插值和/或速率转换功能在显示器上展示包含静态和/或动态图像的内容。比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本 领域的普通技术人员来说是显而易见的。
发明内容
本发明提供了一种用于移动设备根据视角自动适配视窗的方法和系统，结合至少 一幅附图进行详细描述，并在权利要求中得到了更完整的阐述。根据本发明的一个方面，提供一种通信方法，包括由二维视频和/或三维视频处理设备中的一个或多个处理器和/或电路执行当观看者在观看当前视窗显示的二维和/或三维视频内容时，拍摄所述观看者的 一幅或多幅图像；对所拍摄的所述观看者的一幅或多幅图像执行脸部和/或眼睛追踪；根据所述脸部和/或眼睛追踪生成包含不同和/或部分不同的二维和/或三维视 频内容的另一视窗；以及显示所述生成的另一视窗。优选地，所述二维视频和/或三维视频处理设备包括相机以及二维和/或三维显不器。优选地，所述当前视窗和/或所述另一视窗包括同一个(single) 二维和/或三维 视频内容源的不同和/或部分不同的部分。优选地，所述另一视窗包括来自与所述当前视窗不同的二维和/或三维视频内容 源的二维和/或三维视频内容。优选地，所述方法进一步包括在当前可用的二维和/或三维视频内容源中和/或 另一二维和/或三维视频内容源中滚动、缩放和/或导航以生成所述另一视窗。优选地，所述方法进一步包括处理二维和/或三维视频内容以生成所述另一视窗。优选地，所述方法进一步包括通过相机拍摄观看者的脸部、面部表情、眼睛的一个 或多个位置、角度和/或动作和/或观看者的其它肢体动作的图像以进行所述脸部和/或 眼睛追踪。
3
优选地，所述方法进一步包括解析(interpreting)拍摄的观看者的脸部、面部表 情、眼睛的一个或多个位置、角度和/或动作和/或观看者的其它肢体动作的图像以便在所 述当前视窗以外进行滚动、缩放和/或导航。优选地，所述方法进一步包括根据所述脸部和/或眼睛追踪生成所述另一视窗以 便在三维视频内容中导航和/或旋转三维对象，其中所述另一视窗包括不同和/或部分不 同的二维和/或三维视频内容。优选地，所述方法进一步包括所述二维视频和/或三维视频处理设备通过一个或 多个有线接口、无线接口和/或光纤接口通信。根据本发明的一个方面，提供一种通信系统，包括二维视频和/或三维视频处理设备中的一个或多个处理器和/或电路，所述一个 或多个处理器和/或电路用于当观看者在观看当前视窗显示的二维和/或三维视频内容时，拍摄所述观看者的 一幅或多幅图像；对所述拍摄的所述观看者的一幅或多幅图像执行脸部和/或眼睛追踪；根据所述脸部和/或眼睛追踪生成包含不同和/或部分不同的二维和/或三维视 频内容的另一视窗；以及显示所述生成的另一视窗。优选地，所述二维视频和/或三维视频处理设备包括相机以及二维和/或三维显 不器。优选地，所述当前视窗和/或所述另一视窗包括同一个二维和/或三维视频内容 源的不同和/或部分不同的内容。优选地，所述另一视窗包括来自与所述当前视窗不同的二维和/或三维视频内容 源的二维和/或三维视频内容。优选地，所述一个或多个处理器和/或电路用于在当前可用的二维和/或三维视 频内容源中和/或另一二维和/或三维视频内容源中滚动、缩放和/或导航以生成所述另
一视窗。优选地，所述一个或多个处理器和/或电路用于处理二维和/或三维视频内容以 生成所述另一视窗。优选地，所述一个或多个处理器和/或电路用于通过相机拍摄观看者的脸部、面 部表情、眼睛的一个或多个位置、角度和/或动作和/或观看者的其它肢体动作的图像以进 行所述脸部和/或眼睛追踪。优选地，所述一个或多个处理器和/或电路用于解析(interpret)拍摄的观看者 的脸部、面部表情、眼睛的一个或多个位置、角度和/或动作和/或观看者的其它肢体动作 的图像以便在所述当前视窗以外进行滚动、缩放和/或导航。优选地，所述一个或多个处理器和/或电路用于根据所述脸部和/或眼睛追踪生 成所述另一视窗以便在三维视频内容中导航和/或旋转三维对象，其中所述另一视窗包括 不同和/或部分不同的二维和/或三维视频内容。优选地，所述一个或多个处理器和/或电路用于通过一个或多个有线接口、无线 接口和/或光纤接口通信。
本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在 以下的说明书和附图中进行详细介绍。
图1是用于根据对观看显示器的观看者的脸部和/或眼睛追踪来显示和/或处理 图像或页面的各个部分的示范性移动设备的框图；图2是根据本发明实施例的可以根据观看者相对于移动显示设备的位置、观看行 为和/或空间方位进行转换或调整的示范性显示窗口的框图；图3是根据本发明实施例的可以根据观看者相对于移动显示设备的位置、观看行 为和/或空间方位来转换文本的多个示范性视窗位置的示意图；图4是根据本发明实施例的利用脸部和/或眼睛追踪的示范性三维导航的示意 图；图5是根据本发明实施例的移动设备基于脸部和/或眼睛追踪自动适配视窗的示 范性步骤的流程图。
具体实施例方式本发明用于移动设备根据视角自动适配视窗的方法和系统提供了一些实施例。在 本发明的各种实施例中，二维视频和/或三维视频处理设备可以用于在观看者观看该设备 的当前视窗中显示的二维视频和/或三维视频内容时拍摄观看者的一幅或多幅图像。就这 一点而言，二维和/或三维内容可以包括静态的、动态的、文本的和/或图形的二维视频和/ 或三维视频内容。在本发明的一个实施例中，二维视频和/或三维视频处理设备可以是移 动或手持设备。二维视频和/或三维视频处理设备可以对所拍摄的观看者的图像执行脸部 和/或眼睛追踪，并可以至少根据脸部和/或眼睛追踪中得到的信息生成另一视窗。根据 脸部和/或眼睛追踪，该另一视窗可以包括与当前视窗不同和/或部分不同的二维视频和 /或三维视频内容。可以显示该另一视窗。就这一点而言，二维视频和/或三维视频处理设备可以包括相机以及二维视频和 /或三维视频显示器。当前视窗和/或另一视窗可以包括同一个二维视频和/或三维视频 内容源的不同和/或部分不同的内容。可选地，另一视窗和当前视窗可以包括不同源的二 维视频和/或三维视频内容。可以在当前可用的二维视频和/或三维视频内容源和/或另 一二维视频和/或三维视频内容源中滚动、缩放和/或导航以生成另一视窗。可以处理生 成该另一视窗的二维视频和/或三维视频内容。可以用相机拍摄观看者的脸部、面部表情、 眼睛的一个或多个位置、角度和/或动作和/或观看者的其它肢体动作的图像。可以由脸 部和/或眼睛追踪解析拍摄的图像以便在当前视窗以外滚动、缩放和/或导航。可以根据 脸部和/或眼睛追踪生成包含不同和/或部分不同的二维视频和/或三维视频内容的另一 视窗，以便在三维视频内容中导航和/或旋转三维对象。二维视频和/或三维视频处理设 备可以通过有线接口、无线接口和/或光纤接口通信。以这种方式，观看者可以根据脸部和 /或眼睛追踪来调整和/或控制视频处理设备中显示的一个或多个视窗。图1是根据本发明实施例的用于根据对观看显示器的观看者的脸部和/或眼睛追 踪来显示和/或处理图像或页面的各个部分的示范性移动设备的框图。图1示出了移动显示设备106，移动显示设备106可以包括通信模块120、处理器122、存储器123、可选的外部 存储器125、脸部和/或眼睛追踪模块124、显示面板1 和相机128。移动显示设备106可以包括合适的逻辑、电路、接口和/或代码，用于感应观看者 的观察方向以及用于基于感应观看者试图观看的图像或页面的各个部分来自动适配视窗。 例如，观看者可能试图去看超过图像或页面的显示部分边缘的地方。视窗可以包括移动显 示设备106当前显示的图像或页面中的一部分或一个特定的窗口。例如，视窗的内容源可 以包括移动显示设备106可获得的特定的图像、页面、帧和/或相应的三维帧的所有内容。 移动显示设备106可以用于显示图像、页面、帧和/或相应的三维帧的全部内容和/或可以 用于放大和/或显示全部内容的各个部分。就这一点而言，移动显示设备106可以有一个 小屏幕或显示面板1 并可以放大图像或页面的选定区域以便观看。尽管描述了图1所示 的移动显示设备106，但本发明并不受限于此。就这一点而言，本发明的各种实施例可以包 括任意合适的显示设备或任意合适的包含显示器的设备。移动显示设备106可以利用脸部和/或眼睛追踪来确定何时观看者在查看屏幕上 当前显示的边界以外的内容。例如，脸部和/或眼睛追踪可以分析和/或解析显示面板126 的观看者的一幅或多幅图像，以及可以确定观看者查看的部位或内容。就这一点而言，脸部 和/或眼睛追踪可以分析观看者的一幅或多幅图像以及可以确定观看者查看的部位。可以 分析和/或解析观看者的眼睛、面部、头、面部特征和/或各个身体部位的动作、位置和/或 角度来确定观看者查看的部位。例如，观看者的凝视方向和/或视角可以说明观看者可能 需要另一个角度的图像。例如，脸部和/或眼睛追踪可以通过观看者的眼睛位置和/或眼 睛和/或脸部的角度来确定观看者想要滚动到当前视窗显示的图像部分边缘以外的图像 区域。在这种情况下，移动显示设备106可以调整视窗中显示的内容并可以显示观看者试 图观看的图像部分。另外，移动显示设备106可以放大显示的内容区域和/或根据观看者 的观看行为对内容进行其它处理。移动显示设备106可以是二维或三维、无线或有线设备， 例如移动电话、媒体播放器、电脑、电视、数码相机、地理定位设备和/或游戏设备，但是，本 发明并不受限于此。通信模块120可以包括合适的逻辑、电路和/或代码，用于通过有线、光纤和/或 无线信号发送和/或接收信号。通信模块120可以支持多个接口。例如，通信模块120可 以用于支持蜂窝、卫星、无线局域网或WiFi无线技术。另外，通信模块120可以用于支持外 部存储器接口、通用异步收发器(UART)接口、增强型串行外设接口(eSPI)、通用输入/输出 (GPIO)接口、脉冲编码调制(PCM)和/或芯片间音频接口(inter-IC sound interface，简 称I2S)、集成电路间(I2C)总线接口、通用串行总线(USB)接口、蓝牙接口、紫蜂(ZigBee) 接口、IrDA接口和/或无线USB (W-USB)接口。处理器122可以包括合适的逻辑、电路、接口和/或代码，用于控制和/或配置移 动显示设备106中的一个或多个模块和/或可以用于通过通信模块120与其它设备通信。 例如，处理器122可以用于控制相机128，以便拍摄有用的脸部和/或眼睛追踪信息。又例 如，处理器122可以通过通信模块120从存储器123和/或可选外部存储器125中获取和/ 或在存储器123和/或可选外部存储器125中存储内容数据、指令和/或参数。进一步地， 处理器122可以用于从脸部和/或眼睛追踪模块IM接收和/或处理脸部和/或眼睛追踪 信息。就这一点而言，处理器122可以用于根据脸部和/或眼睛追踪信息处理和/或编辑通过显示面板1 显示的内容。例如，处理器122可以根据脸部和/或眼睛追踪信息确定 图像、页面、帧和/或多个相应的三维帧中的哪个部分的内容和/或怎样在视窗中对该内容 进行处理和/或显示。当脸部和/或眼睛追踪信息说明观看者可能想要查看当前图像、页 面、帧和/或相应的三维帧以外的新内容源时，处理器122可以用于转向显示新的图像、页 面、帧和/或多个相应的三维帧。例如，可以在新页面中通过各种视窗使用新的文本页面进 行显不。在本发明的各种实施例中，处理器122可以根据来自脸部和/或眼睛追踪模块124 的脸部和/或眼睛追踪信息来优化(enhance)或处理图像或部分图像的的细节。进一步地， 处理器122可以利用附加信息来编辑或调整视窗中显示的内容，附加信息可以包括，例如， 用户信息或关于正在显示的内容类型的信息，内容类型包括，例如文本、二维或三维图像、 动态或静态图像、照片和/或图形。处理器122可以处理静态或动态三维视频和/或三维 图形内容以便通过显示面板126显示，这样观看者可以从各种视角或各种深度观看三维内 容。进一步地，处理器122可以根据来自脸部追踪模块124的脸部和/或眼睛追踪信息来 处理特定视窗中显示的三维内容，从而为观看者在三维图像中导航。相机1 可以包括合适的逻辑、电路、接口和/或代码，用于在观看者观看移动显 示设备106上的显示面板1 时感应和/或拍摄观看者的脸部、眼睛和/或身体。例如，相 机1 可以用于感应可见光和/或红外光。相机1 可以将感应的和/或拍摄的信息传送 给脸部和/或眼睛追踪模块124。例如，相机1 可以用于拍摄面部特征、动作、头部、眼睛 或其它身体部位的角度，表情和/或位置。例如，相机可以拍摄眼睛特点，例如眼睛位置、眼 睛动作、焦点或凝视点，并将它们传送给脸部和/或眼睛追踪模块124。另外，相机还可以拍 摄向显示面板1 靠近这一动作和/或头部或身体的观看角度或状态，并将这些传送给脸 部和/或眼睛追踪模块124。例如，相机拍摄的数据可以说明观看者正向一定的方向倾斜 以便看到当前视窗内容以外的部分或倾斜以便看到更深处或细节。在本发明的各种实施例 中，相机1 拍摄的数据可以说明观看者可能正努力去观看一个三维对象的新的角度或正 努力在三维空间中导航。脸部和/或眼睛追踪模块IM可以包括合适的逻辑、电路、接口和/或代码，用于 从相机1 接收拍摄的数据并可以确定观看者正在看的地方或内容或观看者想要通过显 示面板1 看到的地方或内容。例如，观看者的凝视方向和/或视角可以说明观看者可能 需要的一幅图像的另一方面。例如，脸部和/或眼睛追踪模块IM可以确定观看者想要看 一些当前屏幕上没有的东西。就这一点而言，根据脸部和/或眼睛追踪信息，处理器122可 以将视窗转向一个新的位置或可以放大或缩小当前图像或页面的内容以便显示观看者所 需要的内容。例如，脸部和/或眼睛追踪模块1 可以对可用二维或三维内容进行滚动、缩 放和/或导航。显示面板1 可以包括合适的逻辑、电路、接口和/或代码，用于接收、处理和/或 显示二维和/或三维内容。就这一点而言，可以在移动显示设备106中使用任意合适的显 示技术，例如，IXD、LED或其它显示技术。对于三维显示器，显示面板1 可以用于利用偏 振显示技术和/或时序显示技术并可以与，例如三维眼镜通信。在运行中，移动显示设备106可以用于通过显示面板1 显示二维和/或三维内 容。移动显示设备106可以通过显示面板1 利用视窗显示图像的一部分或页面的一部分。在本发明的各种实施例中，移动显示设备106可以利用相机1 来感应和/或拍摄观看者 观察和/或试图观察时的行为或在显示面板1 上显示的二维或三维图像或页面中导航。 就这一点而言，可以将拍摄的观看者行为的图像传送给脸部和/或眼睛追踪模块124。脸部 和/或眼睛追踪模块IM可以根据拍摄的图像确定观看者正在看或想要看的地方并可以确 定如何显示可用的二维和/或三维内容。例如，脸部和/或眼睛追踪模块1 可以确定视窗 需要按特定方向滚动和/或需要调整到一个特定的缩放等级。另外，脸部和/或眼睛追踪 模块1 可以确定可以根据观看者在观察三维内容时的行为来旋转三维对象。在一些例子 中，脸部和/或眼睛追踪模块1 可以确定观看者试图去看当前可用二维或三维内容以外 的另一内容源中的东西以及可以确定可以显示新的图像或页面。脸部和/或眼睛追踪模块 IM可以将脸部和/或眼睛追踪信息和/或关于显示二维和/或三维内容时进行调整的信 息传送给处理器122。处理器122可以根据从脸部和/或眼睛追踪模块IM接收的信息来 处理二维和/或三维内容以自动适配视窗并可以将自动适配的内容传送给显示面板126。图2是根据本发明实施例的可以根据观看者的位置、观看行为和/或相对于移动 显示设备的空间方位来转换或调整的显示窗口的示意图。图2示出了显示器220的可用内 容、视窗224、观看者210。显示器220的可用内容可以包括视窗224的二维和/或三维、静态和/或动态、视 频、图形和/或文本源。就这一点而言，本发明并不受限于任意特定类型的内容，而可以包 括任意能够在移动显示设备106上显示的内容。视窗2M可以包括显示器220可用内容的一部分。视窗中显示的部分内容可以由 处理器120根据各种参数，例如显示面板1 的大小和/或显示内容的缩放等级进行处理。 视窗2M可以向左、向右、向上、向下和/或向各种方向或方向组合进行滚动。另外，例如， 当有迹象表明观看者更近地观看图像和/或文本时，可以将视窗中显示的内容放大。观看者210可以在视窗2 中调整要显示显示器220的可用内容的哪一部分并通 过显示面板1 通信。就这一点而言，焦点和/或眼睛在多个方向的运动和/或观看者210 的头部或身体位置可以表明观看者想要显示和/或观看显示器220可用内容的哪个部分。在运行中，观看者210可以通过看向显示器220可用内容中的所需部分来在多个 方向滚动视窗224。就这一点而言，可以表明观看者210可能想看的内容的眼睛动作、焦点 和/或头部、脸部和/或身体姿势可以由相机1 拍摄并由脸部和/或眼睛追踪模块IM 处理。脸部和/或眼睛追踪模块1 可以解析拍摄的观看者210的信息并可以确定将在视 窗224中显示显示器220可用内容的哪一区域。脸部和/或眼睛追踪模块1 可以将确定 的区域传送给处理器120。处理器120可以从脸部和/或眼睛追踪模块IM接收信息并根 据特定的视窗224区域处理显示器的所有或部分可用内容。就这一点而言，处理器120可 以优化(enhance)和/或放大视窗224中显示的内容。在本发明的各种实施例中，脸部和 /或眼睛追踪模块1 和/或处理器122可以确定观看者正在寻找显示器当前可用内容以 外的内容并可以从另一个源中选择内容进行显示。例如，观看者正在阅读一栏文本并在观 看者到达当前可显示的文本结尾时，可以显示另一栏文本的全部或部分。类似地，例如，包 含所有或部分照片的视窗的观看者可以尝试去看位于该照片边缘以外的内容。就这一点而 言，可以在视窗中显示另一照片的全部或部分，显示的另一照片的全部或部分展示了原照 片以外的内容。
图3是根据本发明实施例的可以根据观看者的位置、观看行为和/或相对于移动 显示设备的空间方位来转换文本的多个视窗位置的示意图。图3示出了显示器320的可用 内容、三个视窗322,324和326以及观看位置310a、310b和310c。显示器320的可用内容可以在移动显示设备106上存储或流动。视窗322、3M和 /或3 可以表明由显示面板1 显示的显示器320可用内容中的三个部分的内容。例如， 可显示内容可以包括一个文本和/或图片页面。在运行中，观看者可以通过显示面板1 上显示的各个视窗阅读来自显示器320 可用内容的文本和/或图片。定位视窗，使它们可以覆盖显示器320可用内容的各个部分。 视窗中可显示的内容可以包括显示器320的全部可用内容和/或显示器320的全部可用内 容放大或裁剪后的内容。采取观看位置3IOa的观看者可以阅读视窗322显示的一部分文本或观看视窗322 显示的图片。当观看者阅读和/或观看图片时，观看者的位置可以改变，例如，变为位置 310b。在观看位置310b，相对于移动显示设备106的焦点、眼睛动作和/或观看行为可以向 脸部和/或眼睛追踪模块IM表明观看者准备阅读视窗324中展示的文本。处理器122可 以生成新的视窗324，该视窗3M可以包括显示器320的可用内容中的文本和/或图片，可 以使观看者能继续阅读。处理器122可以将新视窗324的内容传送给显示面板126。类似 地，当观看者到达位置310c时，由脸部和/或眼睛追踪模块IM获取的观看者的焦点、眼睛 动作和/或观看行为，可以表明观看者想要看到视窗326中包含的内容320的一部分。处 理器122可以将可显示内容滚动至视窗326的位置，并可以将该内容传送给显示面板126。 以这种方式，观看者可以通过执行阅读动作或通过观看视窗显示的内容和/或寻找视窗没 有显示的内容来在阅读材料中滚动。就这一点而言，观看者可以基于相对于移动显示设备 106的观看行为，例如焦点、眼睛动作、头部和/或身体动作和/或位置来表明观看者想看视 窗边缘以外的内容。图4是根据本发明实施例的利用脸部和/或眼睛追踪的示范性三维导航的示意 图。图4示出了观看者位置410a、三维视窗430a和三维对象视图420a。另外，还示出了观 看者位置410b、三维视窗430b和三维对象视图420b。三维视窗430a和430b可以包括来自当前可显示的同一个(single)内容源的不 同部分的静态和/或动态三维视频和/或图形内容。当前可显示的同一个内容源可以包括 相应立体的左和/或右视图三维内容和/或可以包括由两个以上的相机拍摄的或由多视图 中的两个以上图形帧生成的相应多视图三维视频和/或图形内容。三维视窗430a和430b 可以在显示面板1 上显示，显示面板1 可以利用任意合适的显示技术。例如，三维视窗 430a和430b可以由显示器1 利用偏振显示技术和偏振化的液晶显示器(IXD)显示。在 本发明的另一个实施例中，可以利用时序显示技术，例如DLN背投式显示器或高帧频等离 子显示器来显示三维视窗430a和430b。观看者需要佩戴三维眼镜来观看三维内容，例如， 三维偏振眼镜和/或三维快门眼镜。另外，还可以利用光谱过滤技术、立体影片技术、浦夫 里希(Pulffich)技术和/或透镜显示技术(lenticular display techniques)中的一种 或多种。就这一点而言，本发明并不受限于任意特定的显示技术和/或眼镜技术，而可以利 用任意合适类型的三维视频和/或图形显示技术和/或三维眼镜技术。三维视窗430a和430b可以包括来自当前可显示内容的三维对象，观看者可以从多个位置和/或观看角度观看该三维对象。例如，在观看位置410a，观看者可以观看到三维 视窗430a中的三维对象视图420a。在另一时间段，观看者可以改为观看位置410b和/或 可以观看对象视图420b的三维对象。相机1 和/或脸部和/或眼睛追踪模块IM可以 观察和/或解析观看者的焦点、眼睛、脸部、头部和/或身体动作，并可以确定观看者想看三 维对象视图420b。处理器122可以处理可显示内容的合适部分并可以显示包含该三维对象 视图420b的视窗430b。在本方面的各种实施例中，观看者的动作和/或位置可以向脸部和/或眼睛追踪 模块1 表明，观看者试图看到当前可显示内容的单一源以外的内容。因此，处理器122可 以获取新的内容源，从中可以选择新的视窗显示。例如，当前可显示的三维内容可以包括一 个门被打开的室内场景。观看者可能试图从打开的门中看到室内角落。脸部和/或眼睛 追踪模块可以确定观看者正在看的地方并可以确定观看者正在寻找可能在当前可显示内 容以外的东西。处理器122可以确定可以显示另一内容源，该内容源包括门道另一边的另 一间房的场景。例如，另一内容源可以包括另一组相应立体的左和/或右视图三维内容和 /或可以包括由两个以上相机拍摄的或由多视图中的两个以上图形帧生成的另一组相应多 视图三维视频和/或图形内容。处理器122可以从新的可显示内容源中选择一个视窗。显 示器1 可以显示选择的视窗。以这种方式，观看者可以根据脸部和/或眼睛追踪在三维 空间中导航。在运行中，移动显示设备106可以利用相机128来感应和/或拍摄观看者在观看 或导航显示面板1 上显示的三维图像或页面时的行为。就这一点而言，脸部和/或眼睛 追踪模块1 可以确定应该以一个特定方向滚动视窗430a和/或将视窗430a调整到视窗 430b中显示的一个特定缩放等级。另外，脸部和/或眼睛追踪模块IM可以根据观看者在 观看三维内容时的行为来确定旋转三维对象。在一些例子中，脸部和/或眼睛追踪模块1 可以确定观看者想要看到当前可用三维内容源以外的东西并可以确定可以利用新的图像、 页面、帧和/或多个相应三维帧作为视窗430b的新源。脸部和/或眼睛追踪模块IM可以 将脸部和/或眼睛追踪信息和/或关于调整显示的三维内容的信息传送给处理器122。处 理器122可以根据从脸部和/或眼睛追踪模块IM接收的信息来处理三维内容以自动适配 视窗430b并可以将自动适配的视窗430b的内容传送给显示面板126。图5是根据本发明实施例的移动设备基于脸部和/或眼睛追踪自动适配视窗的示 范性步骤的流程图。该示范性步骤可以开始于步骤510。在步骤512中，当前视窗，例如， 视窗322可以由移动显示设备106通过显示面板1 显示。当前视窗322可以包括移动显 示设备106中显示器320的当前可用二维和/或三维内容的全部和/或部分。在步骤514 中，观看者观看当前视窗322时的图片可以由相机1 拍摄，并且可以由脸部和/或眼睛追 踪模块IM对拍摄的观看者图片执行脸部和/或眼睛追踪。在步骤516中，脸部和/或眼 睛追踪模块1 可以确定观看者何时想看当前视窗322以外和/或显示器320当前可用内 容以外的内容。在步骤518中，可以根据对观看者图片的脸部和/或眼睛追踪，通过在显示 器320当前可用内容和/或其它内容中滚动、缩放和/或导航，来确定显示器的新视窗324。 在步骤520中，可以根据脸部和/或眼睛追踪，从显示器320当前可用内容中生成新视窗 322，或从用于显示的新二维和/或三维内容中生成新视窗322。在步骤522中，可以由显示 面板1 来显示新视窗324。示范性步骤可以结束于步骤524。
在本发明的一个实施例中，移动显示设备106可以是二维视频和/或三维视频处 理设备。当观看者观看移动显示设备106上的当前视窗322中显示的二维视频和/或三维 视频内容时，该设备可以拍摄观看者的一幅或多幅图像，例如，相机1 可以拍摄观看者在 位置310a的图像。显示设备106可以通过脸部和/或眼睛追踪模块124对拍摄的图像执行 脸部和/或眼睛追踪，并可以生成另一视窗324。根据脸部和/或眼睛追踪，另一视窗3 可以包括与当前视窗322不同和/或部分不同的二维视频和/或三维视频内容。另一视窗 3 可以由显示面板1 显示。就这一点而言，显示设备106可以包括相机128以及二维 和/或三维显示面板126。当前视窗322和/或另一视窗3 可以包括同一个二维视频和 /或三维视频内容源的不同和/或部分不同的部分，同一二维视频和/或三维视频内容源可 以是，例如显示器320当前可用的一个内容源。可选地，另一视窗3 和当前视窗322可以 包括不同源的二维视频和/或三维视频内容。可以在当前可用二维视频和/或三维视频内容源320中和/或另一二维视频和/ 或三维视频内容源中滚动、缩放和/或导航，以生成另一视窗324。可以对生成另一视窗324 的二维视频和/或三维视频内容进行处理，例如，优化视窗322中显示的内容和/或减小噪 声。观看者的脸部的位置、角度和/或动作、面部表情、眼睛和/或其它肢体动作可以由相 机1 拍摄。拍摄的图像可以由脸部和/或眼睛追踪模块124解析，用以在当前视窗，例如 视窗430a外滚动、缩放和/或导航。可以根据脸部和/或眼睛追踪生成包含不同和/或部 分不同二维视频和/或三维视频内容的另一视窗430b，以便在三维视频内容中导航和/或 旋转三维对象420a。显示设备106可以通过通信模块120经有线接口、无线接口和/或光 纤接口中的一个或多个进行通信。以这种方式，观看者可以根据脸部和/或眼睛追踪调整 和/或控制显示设备106中显示的一个或多个视窗。本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介， 其内存储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机器 和/或计算机执行，从而使该机器和/或计算机执行上述移动设备根据视角自动适配视窗 的步骤。因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一 个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分 散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结 合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使 其按方法运行。本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全 部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指 的是可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统 具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功 能a)转换成其它语言、解码或符号；b)以不同的格式再现。虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离 本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材 料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具 体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
权利要求
1.一种通信方法，其特征在于，包括由二维视频和/或三维视频处理设备中的一个或多个处理器和/或电路执行当观看者在观看当前视窗显示的二维和/或三维视频内容时，拍摄所述观看者的一幅 或多幅图像；对所拍摄的所述观看者的一幅或多幅图像执行脸部和/或眼睛追踪；根据所述脸部和/或眼睛追踪生成包含不同和/或部分不同的二维和/或三维视频内 容的另一视窗；以及显示所述生成的另一视窗。
2.根据权利要求1所述的方法，其特征在于，所述二维视频和/或三维视频处理设备包 括相机以及二维和/或三维显示器。
3.根据权利要求1所述的方法，其特征在于，所述当前视窗和/或所述另一视窗包括同 一个二维和/或三维视频内容源的不同和/或部分不同的部分。
4.根据权利要求1所述的方法，其特征在于，所述另一视窗包括来自与所述当前视窗 不同的二维和/或三维视频内容源的二维和/或三维视频内容。
5.根据权利要求1所述的方法，其特征在于，包括在当前可用的二维和/或三维视频内 容源中和/或另一二维和/或三维视频内容源中滚动、缩放和/或导航以生成所述另一视 窗。
6.根据权利要求1所述的方法，其特征在于，包括处理二维和/或三维视频内容以生成 所述另一视窗。
7.根据权利要求1所述的方法，其特征在于，包括通过相机拍摄观看者的脸部、面部表 情、眼睛的一个或多个位置、角度和/或动作和/或观看者的其它肢体动作的图像以进行所 述脸部和/或眼睛追踪。
8.根据权利要求1所述的方法，其特征在于，包括解析拍摄的观看者的脸部、面部表 情、眼睛的一个或多个位置、角度和/或动作和/或观看者的其它肢体动作的图像以便在所 述当前视窗以外进行滚动、缩放和/或导航。
9.根据权利要求1所述的方法，其特征在于，包括根据所述脸部和/或眼睛追踪生成所 述另一视窗以便在三维视频内容中导航和/或旋转三维对象，其中所述另一视窗包括不同 和/或部分不同的二维和/或三维视频内容。
10.一种通信系统，其特征在于，包括二维视频和/或三维视频处理设备中的一个或多个处理器和/或电路，所述一个或多 个处理器和/或电路用于当观看者在观看当前视窗显示的二维和/或三维视频内容时，拍摄所述观看者的一幅 或多幅图像；对所述拍摄的所述观看者的一幅或多幅图像执行脸部和/或眼睛追踪；根据所述脸部和/或眼睛追踪生成包含不同和/或部分不同的二维和/或三维视频内 容的另一视窗；以及显示所述生成的另一视窗。
全文摘要
本发明涉及通信方法和通信系统。其中，包含相机和显示器的二维和/或三维视频处理设备拍摄观看者在观看当前视窗显示的二维和/或三维视频内容时的图像。利用对观看者图像的脸部和/或眼睛追踪生成另一视窗。当前视窗以及另一视窗可以包括同一源或不同源的二维和/或三维视频内容。可以在二维和/或三维内容源中滚动、缩放和/或导航以生成另一视窗。可以对另一视窗的内容进行处理。观看者的脸部、面部表情、眼睛的位置、角度和/或动作和/或观看者的其它肢体动作的图像可由相机拍摄并由脸部和/或眼睛追踪模块解析。可以生成另一视窗以便在三维内容中导航和/或旋转三维对象。该二维和/或三维视频处理设备可通过有线、无线和/或光纤接口通信。
文档编号G06F3/048GK102063249SQ20101054418
公开日2011年5月18日 申请日期2010年11月15日 优先权日2009年11月16日
发明者伊利亚·克莱巴诺夫, 萨米尔·赫尔亚尔卡, 陈雪敏, 马库斯·凯勒曼 申请人:美国博通公司