基于用户在视频显示器特定部分上的聚焦处理视频信号的制作方法

基于用户在视频显示器特定部分上的聚焦处理视频信号的制作方法
【专利摘要】本公开涉及基于用户在视频显示器特定部分上的聚焦处理视频信号。公开了用于检测至少一个观众的聚焦指向视频显示器的特定区域的设备与方法。视频帧中用于在观众的聚焦的区域中呈现的第一部分与该视频帧中与不是观众的聚焦的部分的区域相关的另一部分不同地处理。
【专利说明】基于用户在视频显示器特定部分上的聚焦处理视频信号

【技术领域】
[0001]本申请总体上涉及对诸如TV(电视机)之类的显示设备尤其是对超高清晰度(UHD)TV的视频信号的处理。

【背景技术】
[0002]高清晰度(HD)显示器已经引入，它具有比标准清晰度(SD)显示器更高的分辨率。这是通过把像素密度从标准的480行、每行640或720个像素(720X480)增加到HD1920X1080 (对于逐行和隔行扫描)、1440X 1080 (对于较旧的隔行扫描)实现的。越大的分辨率产生越清楚、越具体的视觉呈现。
[0003]最近，具有甚至比HD更高分辨率的超高清晰度(UHD)显示器已经引入。如这里所理解的，这些显示器的分辨率有助于增强用户体验。


【发明内容】

[0004]如这里所理解的，有时候可能难以或者不可能让显示设备的处理组件例如像预期的那样完全、有效地解码进入的UHD音频视频(AV)信号的所有部分，使得例如视频基于显示器的能力以最佳可能的刷新率和屏幕分辨率无缝地以UHD格式呈现。这可能是由于例如设备不能(例如，资源不足)以它被接收的相当快的速率处理这么大量的数据。因此，所给出的原理理解:期望基于设备的能力以最佳可能的刷新率和屏幕分辨率呈现至少显示器上的视频中观众特别聚焦的的部分。
[0005]因此，在一方面，一种方法包括检测至少一个观众的聚焦在还具有至少第二视频显示区域的视频显示器的第一视频显示区域上。该方法还包括，响应于检测到至少一个观众的聚焦在第一视频显示区域上，与一视频帧的第二部分不同地解码该视频帧要在第一视频显示区域中呈现的第一部分。因而，在有些实施例中，第一部分可以以比第二部分更快的速率解码。而且，在有些实施例中，第二部分可以解码或者可以根本就不解码。
[0006]还有，在示例性实施例中，检测包括成像观众的至少一只眼睛。成像可以包括利用与显示器并置的照相机生成观众的眼睛的图像，和/或可以包括利用安装在用户佩戴的护目镜上的照相机生成观众的眼睛的图像。
[0007]在另一方面，配置为从照相机接收显示器的观众的眼睛的图像的装置包括定义多个视频显示区域的视频显示器。该装置还包括配置用于控制视频显示器并且用于从照相机接收该视频显示器的至少一个观众的眼睛的图像的处理器。该处理器还配置为，响应于从照相机接收到的图像，利用第一处理处理一视频帧的第一部分并且利用第二处理处理该帧的第二部分。
[0008]在还有另一方面，一种音频视频显示设备包括视频显示器和配置为接收要求的图像并且在视频显示器上呈现所述要求的图像的处理器。该处理器还配置为，响应于确定观众聚焦到显示器中对应于第一部分的区域上，以比所要求的图像的第二部分更大的分辨率和/或以更大的刷新率呈现所述要求的图像的第一部分。
[0009]在本发明的另一方面，一种音频视频显示设备能够检测观众离设备的距离。如果观众离得太远以至于不能辨别视频中的细节，则整个图像的分辨率降低。于2012年10月23提交且标题为“ADAPTING LAYOUT AND TEXT FONT SIZE FOR VIEWER DISTANCE FROM TV”的共同未决的美国专利申请N0.13/658，272在此引入作为参考并且解释了测量确定观众离TV的距离的多种途径。

【专利附图】

【附图说明】
[0010]本发明关于结构和操作的细节可以参考附图得到最好的理解，附图中相同的标号指相同的部分，而且其中:
[0011]图1是根据所给出的原理的非限制性示例系统的框图；
[0012]图2是示例TV的框图；
[0013]图3是示例平板计算机的框图；
[0014]图4是包括至少一个数码相机的示例性护目镜的框图；
[0015]图5是可以根据所给出的原理用于确定观众的聚焦并且基于该聚焦尽可能快且好地处理进入帧的至少一部分的逻辑的示例性流程图；及
[0016]图6-图12示出了根据所给出的原理的显示器的示例性显示区域，所述示例性显示区域可以基于设备能力以不同图像质量等级呈现并且其中至少一个区域包括焦点。
具体实施例
[0017]首先参考图1中所示的非限制性示例实施例,系统10包括音频视频设备(AVD),诸如包括与TV处理器18通信的TV调谐器16的TV12，其中TV处理器18访问有形的计算机可读存储介质20，诸如基于盘的储存器或者固态储存器。虽然示例AVD体现为TV，但是所给出的原理也适用于其它AVD，例如，家庭影院、游戏控制台、计算设备等。
[0018]TV12可以在一个或多个扬声器22上输出音频。TV12可以利用与处理器12通信的内置有线或无线调制解调器24从互联网接收流化的视频，其中处理器12可以执行软件实现的浏览器26。视频在TV处理器18的控制下在TV显示器28上呈现，TV显示器28可以是用于呈现2D图像的两维(2D)显示器，和/或既用于呈现2D图像又用于呈现3D图像的三维(3D)显示器(应当理解，这里所描述的图像与帧可以是2D的或者3D的)。在所示出的例子中，显示器28是具有3840X2160像素分辨率(用于4K UHD)的2160p (逐行扫描)显示器或者具有7860X4320像素分辨率(用于8K UHD)的4320p (逐行扫描)显示器。用于UHD显示器28的帧速率可以是例如每秒24、25、50、60或120帧。16K UHD设备正在造原型。而且，通过把更多的显示面板组合到一起，甚至更大的显示器也是有可能的。
[0019]到达处理器18的用户命令可以利用例如RF或红外线从遥控器(RC) 30无线地接收。除TV之外的其它音频视频显示设备也可以使用，例如，智能电话、游戏控制台、个人数字组织器、笔记本计算机以及其它类型的计算机，等等。
[0020]如由与TV12通信的地面广播天线34接收到的来自一个或多个地面TV广播源32的TV节目可以在显示器28和扬声器22上呈现。地面广播节目可以遵循数字ATSC标准并且可以在其中携带地面广播EPG，虽然地面广播EPG也可以从备选的源接收，例如经以太网或有线通信链路或卫星通信链路从互联网接收。[0021 ] 来自有线TV头端36的TV节目也可以在TV接收，用于在显示器28和扬声器22上呈现TV信号。当只期望基本电缆时，在美国，来自墙上的电缆一般携带QAM或NTSC格式的TV信号并且直接插到TV机壳上的“F-型连接器” 38中，虽然用于这个目的的连接器在其它国家可以变化。相反，例如当用户具有扩展的电缆订阅时，来自头端36的信号一般通过STB40发送，该STB40可以与TV机壳分离或者可以集成到其中，但是在任何情况下它都把HDMI基带信号发送到TV。
[0022]类似地，由与家用卫星碟形天线关联的集成的接收器/解码器(IRD) 44接收的从TV广播信号的卫星源42发送的HDMI基带信号可以输入到TV12，用于在显示器28和扬声器22上呈现。而且，流化的视频可以从互联网46接收，用于在显示器28和扬声器22上呈现。流化的视频可以在计算机调制解调器24接收或者它可以在TV12外面的家中的调制解调器48接收并且经有线或无线以太网链路传送到TV12并且在TV机壳上的RJ45或802.1lx天线接收。
[0023]此外，应当指出，TV12还包括可以是数码相机的照相机66。照相机66可以集成到TV12中并且可以由处理器18控制，以便根据所给出的原理收集TV12的观众的图片/图像和视频，和/或可以与TV12物理上分离但仍然与其通信，以便向处理器18提供图像。
[0024]平板计算机68也在图1中示出。平板计算机68包括可以是例如诸如摄像头的数码相机的照相机70。平板计算机68将在下面参考图3更详细地描述，但是应当理解，它经诸如像互联网46的网络与TV12 (例如，无线)通信，以便根据所给出的原理从照相机70向TV12提供图像。
[0025]仍然参考图1，系统10还包括护目镜72(例如，眼镜)，该护目镜包括可以是数码相机的照相机74。护目镜72应当理解为经例如像互联网46的网络与TV12 (例如，无线)通信，以便根据所给出的原理从照相机74向TV12提供图像。护目镜72将在下面参考图4更详细地描述。
[0026]现在参考图2，它示出了一个示例TV12的细节。如所示出的，ATSC格式的地面信号输入到TV调谐器16，就像在使用基本电缆并且墙上的电缆插入F-型连接器38的情况下为NTSC或QAM格式的基本电缆。另一方面，流化的互联网视频可以在DOCSIS调谐器50接收并且在DOCSIS解码器/解调器52解调/解码。通常，DOCSIS组件与TV12分开地容纳，但是在有些实施例中，可以包括在TV12的机壳内。
[0027]依赖于所接收的信号格式，调谐器16的输出可以发送到NTSC解码器/解调器54，或者QAM解码器/解调器56，或者ATSC解码器/解调器58。来自NTSC解码器/解调器54的输出可以直接发送到显示器28和扬声器22供呈现。另一方面，来自数字解码器/解调器56、58的输出通常发送到传输流解复用器60，该传输流解复用器60分离选定的流中期望的节目与其它节目并且把期望的节目发送到MPEG视频解码器62，解码器62又解压缩期望的MPEG节目并且把解压后的节目发送到TV显示器28供呈现。来自解复用器60的音频可以发送到音频解码器64，解码器64又把解码后的音频发送到扬声器22供呈现。
[0028]与以上讨论过的解码器/解调器、解复用器和MPEG解码器序列形成对比，来自STB40或IRD44的视频在其被TV12接收时处于基带HDMI。因此，来自STB40或IRD44的信号直接发送到TV显示器28供呈现，而不需要STB40或IRD44与TV显示器28之间进一步的视频解压缩。来自STB40或IRD44的音频可以仍然是在扬声器22上播放之前需要解码的格式，例如AC3，使得音频可以通过音频解码器64发送，如所示出的。同样，来自ATSC地面源32的音频可以是AC3格式并且因此可以通过音频解码器64发送。来自DOCSIS解码器/解调器52的互联网视频可以通过解复用器60和解码器62、64发送，如所示出的。
[0029]转向图3，示出了以上引用的平板计算机68。平板计算机68应当理解为可以操作成采用所给出的原理，如以下进一步描述的。但是，应当进一步理解，除平板计算机之外的其它设备，诸如其它便携式和/或个人电子设备，都可以用于采用所给出的原理而且可以包括平板计算机68中所包括的一些或全部组件。例如，可以使用的其它设备是，例如，智能电话、音乐播放器、智能手表、个人数字助理(PDA)、膝上型与台式计算机、诸如电子书的电子阅读器以及实际上其它电视，包括启用了互联网的智能TV、迷你TV等。
[0030]不管怎样都更具体地描述图3，根据所给出的原理，平板计算机68包括触摸使能的显示器72、用于输出音频的一个或多个扬声器74以及附加的输入设备76，诸如像触控板或者用于接收语音命令和输入的音频接收器/麦克风。平板计算机68还包括用于在处理器80的控制下经至少一种网络，诸如互联网46、WAN、LAN等，通信的网络接口 78，应当理解，处理器80控制包括例如呈现图像的显示器72和呈现音频的扬声器74的平板计算机68。网络接口 78可以是例如有线或无线调制解调器或路由器，或者其它适当的接口，诸如像无线电话收发器。此外，平板计算机68还包括诸如像USB端口的输入端口 82以及诸如基于盘的储存器或固态储存器的有形计算机可读存储介质84。而且，虽然GPS接收器86包括在平板计算机68上并且配置为从至少一个卫星接收地理位置信息并且把该信息提供给处理器80，但是应当理解，根据所给出的原理，除GPS接收器之外的其它合适的位置接收器也可以使用。
[0031]在图3中还示出了包括在平板计算机68上的至少一个照相机70，该照相机可以是例如数码相机。照相机70应当理解为可以在处理器80的控制下操作，以便与TV12 (例如，TV的处理器18)通信，由此经例如互联网46或者任何其它合适网络上的网络接口 78向TV12提供图像。
[0032]现在参考图4，示出了包括多个数码相机74的示例性护目镜72的框图。照相机74应当理解为在护目镜处理器90的控制下并且与之通信，以便向其提供图像。护目镜72还包括用于在处理器90的控制下经至少一个网络，诸如互联网46、WAN、LAN等，通信的网络接口 92，应当理解，处理器90控制护目镜组件，包括例如安装在其上的照相机74。网络接口 92可以是例如有线或无线调制解调器或路由器，或者其它适当的接口，诸如像无线电话收发器。因而，照相机74应当理解为可以在处理器90的控制下操作，以便与TV12 (例如，TV的处理器18)通信，根据所给出的原理经例如互联网46或任何其它合适网络上的网络接口 92向TV12提供图像。
[0033]图4还显示护目镜72可选地包括观众在佩戴护目镜72时可以通过其观看的透镜88，以及有形的计算机可读存储介质94 (诸如基于盘的储存器或固态储存器)，和开/关开关96，这个开关可以从关位置切换成开位置并且反之亦然，由此给护目镜72的电子组件，诸如照相机74和处理器90，通电或断电。
[0034]继续参考图5的具体描述，应当理解，利用更大的屏幕和更大的分辨率，诸如高清晰度和超高清晰度(UHD)显示器，进入的视频数据的速率与量(例如，包括用于UHD显示器的像素个数)可能是相当大的。此外，根据所给出的原理，例如，显示器相对高的刷新率能力可能期望地需要进入的数据应当尽可能高效地被处理，以便以高刷新率呈现流，或者流的至少一部分。
[0035]因此，图5是可以由TV处理器，诸如上述处理器18，执行的逻辑的示例性流程图。在方框100开始，该逻辑通过接收并处理进入的图像流(例如，通过STB接收到AV节目)开始，在示例性实施例中，图像流可以是UHD流。在方框100，基于例如TV处理器的处理速度与能力，逻辑以最佳可能的质量呈现流的每一帧的尽可能多的部分，而且实际上就是流本身。
[0036]然后，逻辑移到决定菱形方框102，在那里逻辑基于来自照相机的输入检测显示器的一个或多个观众的眼睛是否聚焦到显示器的一个或多个区域。如果没有检测到一个或多个观众的眼睛聚焦到一个特定区域(和/或如果检测/确定不了焦点)，则逻辑可以前进到方框104，在那里逻辑继续以最佳可能的质量呈现流的每一帧的尽可能多的部分(例如，解码尽可能多的像素)。
[0037]但是，如果在决定菱形方框102检测到一个或多个观众的聚焦，则逻辑前进到方框106。在方框106，逻辑基于所述检测确定观众的眼睛(例如，总体上)聚焦到其上的显示器的一个或多个区域。该区域可以，例如，以TV上与TV所确定的观众的聚焦对应的焦点为中心，而且该区域可以扩展超出该焦点，例如，扩展到作为显示器总面积一部分的预定义半径或面积。在方框106的确定之后，逻辑前进到方框108，在那里逻辑分配和/或分派(例如，响应于所述检测)其图像处理资源和/或能力，使得至少一个在方框106确定的区域以最佳可能的质量呈现进入的流(例如，巾贞、图像流、诸如电视节目的AV流等)(例如，解码它，以便给出具有高屏幕刷新率的UHD质量分辨率)。此外，在方框108，处理能力可以分配或分派，使得显示器在观众聚焦区域之外的区域可以不以UHD质量分辨率而是以HD或标准清晰度(SD)质量呈现进入的视频图像流、可以根本不呈现帧或流的一部分(例如，通过不解码其一部分)，和/或可以当在聚焦区域上呈现后续帧的时候继续呈现之前处理过的帧。
[0038]在继续移动之前，应当指出，这里所述的检测可以基于由TV处理器从这里所公开的一个照相机接收到的眼睛的图像发生。然后，接收到的图像被TV处理器利用图像识别进行处理，以相对于例如由观众与TV之间的方向定义的轴确定观众的眼睛的角度(例如，基于瞳孔关于眼白部分的朝向)，由此确定(估计)观众的聚焦和/或聚焦方向。
[0039]此外，应当理解，以上引用的处理资源的分配和/或分派(例如，一个帧有多少不同区域应当解码)可以多种途径确定。例如，响应于确定了聚焦区域/面积的中心，逻辑可以在一个帧周期(例如，一秒的1/32，或者任何其它合适的帧周期)中解码从聚焦区域中心开始并且从其向外发展的尽可能多的区域，使得，例如，如果在下一个帧周期之前该帧的外部不应当全部解码或者根本不需要解码，则对于该帧没有完全解码的屏幕区域可以维持和/或继续呈现来自前一帧的先前图像。作为另一个例子，响应于确定了聚焦区域/面积的中心，逻辑可以以一个帧速率解码聚焦中心周围预定面积尺寸的图像并且以较慢的帧速率(例如，一秒的1/16)解码包括聚焦中心的预定面积之外的图像。作为还有另一个例子，响应于确定了聚焦区域/面积的中心，逻辑可以解码聚焦中心周围预定面积中图像的所有像素以及预定面积之外图像的少量像素。
[0040]继续参考图5，应当理解，在上述方框104或108任何一个之后，其中进入的视频流的全部或部分在TV/显示设备上呈现，逻辑可以可选地前进到决定菱形方框110。在决定菱形方框110，逻辑确定是否检测到一个或多个观众的(例如，眼睛的)聚焦的变化。如果检测到变化，则逻辑返回方框106，以确定聚焦区域，然后在方框108重新分配其处理资源，以便对例如随后要在显示器上呈现的帧/图像在新的聚焦区域呈现最佳帧/图像质量(或者在有些实施例中，对于例如被解码和呈现的当前帧/图像重新分配处理资源)。如果在菱形方框110没有检测到变化，则逻辑返回到方框104，在那里逻辑以最佳可能的质量呈现尽可能多的图像/帧。
[0041]因而，作为基于以上所述的一个例子，当检测到观众的聚焦在左上角区域时，在显示器左上角区域呈现的帧/图像的第一部分可以以比帧/图像的右下角部分更快的速率解码。然后，基于例如由照相机(诸如，TV照相机66)(例如，从其在TV上的位置捕捉到观众的眼睛的至少一个图像)、平板计算机照相机70 (例如，当在观众前面并置时捕捉到观众的眼睛的至少一个图像)和/或护目镜照相机74 (例如，当观众佩戴该护目镜时捕捉到观众的眼睛的至少一个图像)检测到观众的聚焦移到显示器右下角的变化，基于确定右下角部分是观众的聚焦改变到的部分，在显示器左上角呈现的后续帧/图像的第一部分可以以比该帧/图像右下角部分更慢的速率解码，而右下角部分更快地解码。
[0042]还有，应当指出，在有些实施例中，如果在处理器处理特定帧/图像的时候观众的聚焦改变，则处理资源的分配可以改变，以应对聚焦的变化，使得，例如，帧的处理可以对帧/图像的第一部分以更快的速率并且对第二部分以较慢的速率开始，但是在同一帧处理期间在处理过程中切换成使得第一部分以比第二部分慢的速率处理。
[0043]此外，响应于确定其眼睛被跟踪的观众离显示器处于阈值距离或者更远，其中要在显示器上呈现的视频信号部分比其它部分解码成更高分辨率的上述选择性解码可以被禁用。例如，阈值距离可以是显示器宽度的两倍。这认识到，当观众移动离开显示器时，对于整个显示需要更低的分辨率。因而，当观众离显示器处于阈值距离或者更大时，全部视频都可以以相对较低的分辨率解码，而且一旦观众移到靠近显示器在阈值距离以内，就调用上述逻辑以不同的分辨率解码视频的部分。应当指出，在分辨率连续性可能的情况下，代替离散的分辨率(诸如UHD，然后是HD，然后是SD)，随着观众朝显示器移动，分辨率可以持续地线性增加，而随着观众离开显示器，持续地线性减小。
[0044]继续，根据所给出的原理，用于诸如TV的视频显示器的示例性显示区域在图6-12中示出，其中每个图都包括包含观众焦点的至少一个区域，应当理解，基于设备的能力，这些区域可以以不同的图像质量等级呈现。还应当理解，这里所公开的任何区域和区域形状可以彼此组合。
[0045]从图6开始，显示器112被分成多个区域，包括总体上关于显示器112居中的矩形聚焦区域114并且包括至少一个观众的眼睛被确定要聚焦到的焦点116。应当指出，在显示器112中包括四个其它区域，这四个区域中每一个都延伸到显示器112的角落。依赖于显示器总体上的处理能力或者例如那个时候可用的能力，这四个区域可以以等于或低于聚焦区域114中所呈现的图像/帧的呈现质量的各种质量等级呈现图像/帧。
[0046]图7和8分别示出了显示器118和120，它们被分成三个矩形。图7示出了位于显示器118上部并且包括至少一个观众的眼睛被确定要聚焦的焦点124的聚焦区域122。图8示出了位于显示器120左部并且包括至少一个观众的眼睛被确定要聚焦的焦点128的聚焦区域126。应当指出，焦点128没有位于聚焦区域126的中心，但是聚焦区域126仍然占据显不器120左边的三分之一。
[0047]图9示出了具有居中、总体上为圆形的聚焦区域132的显示器130，该聚焦区域132包括位于其中心的焦点134。聚焦区域132的面积可以基于例如从焦点134延伸的半径。应当理解，这个半径可以预定义为离焦点134的某个长度，和/或使得区域132最外面的部分与显示器130的边缘之间的距离(例如，到区域132的最近边缘)被维持，和/或基于例如显示器当前的和/或估计的处理能力、进入的图像流的质量等动态确定。
[0048]现在参考图10,示出了显示器136,显示器136包括焦点138。聚焦区域140包围焦点138。应当理解，基于显示器136的能力，图10中所示的聚焦区域140可以最佳可用的分辨率，和/或以最佳可能的刷新率，以例如UHD质量呈现图像/帧。区域140周围的区域142也可以基于焦点138来确定，但是由于其部分总体上离焦点138比区域140更远，因此，基于有限的显示资源，区域142以HD质量而不是UHD质量呈现帧/图像。
[0049]但是，应当进一步理解，如果显示器136能够在区域142中也呈现UHD质量图像和/或最佳可能的刷新率，则可以这么做。对于区域144也一样。如果在向区域140和142分配最优数量之后还有足够的处理资源或分配可用于在区域144中呈现UHD质量图像和最佳可能的刷新率，则可以这么做，而不是在区域144中呈现例如SD或HD质量的图像/帧。
[0050]因而，基于以上所述总体上可以认识到，在有些实施例中，基于显示器的处理能力，最靠近并且包围焦点的第一区域可以呈现UHD质量分辨率和/或以最佳可用的刷新率呈现帧/图像，而次最靠近焦点的区域呈现HD质量分辨率和/或较小的刷新率，而离焦点最远的第三区域呈现SD质量分辨率和/或相对慢的刷新率。但是，应当进一步理解，在有些实施例中，最靠近和次最靠近焦点的区域可以，例如(I)都呈现基于显示器能力，UHD质量分辨率和最佳可能的刷新率，(2)在都以最佳可能的刷新率呈现帧/图像的同时，对于最靠近的区域呈现UHD质量分辨率，对于次最靠近的区域呈现HD质量，和/或(3)都呈现UHD质量分辨率，同时最靠近的区域以最佳可能的刷新率呈现帧/图像，而次最靠近的区域以相对较低的刷新率呈现帧/图像。依赖于任何给定时刻显示器的特定处理能力，其它离焦点甚至更远的区域可以呈现逐步更不精细的图像/帧质量(例如，SD)和/或以更小的刷新率呈现图像/帧。因而，区域离焦点越远，所呈现的帧/图像的质量可以逐步越不精细。如以上所提到的，甚至可以从焦点和到观众的距离确定观众离得太远，以至于不能辨别更高质量的帧/图像。而且，在那种情况下，将不需要提供区域性质量改进。
[0051]现在，参考图11，示出了两个焦点148、150，每个焦点都应当理解为确定成显示器146的不同观众的估计焦点。根据所给出的原理，针对焦点148、150的聚焦区域152、154可以以最佳可能的分辨率和/或刷新率呈现帧/图像，而依赖于显示器146 (例如，在那个时候)的处理能力，区域156和158可以这样或者可以不这样。为了完整性，应当指出，当有多于两个观众观看一个显示器时，所给出的原理也可以适用。
[0052]继续参考图12，示出了两个焦点160、162，具有包围它们的对应聚焦区域164、166。在这种示例性实施例中，区域164、166不重叠，但是仍然都被相对更大的区域168涵盖。因此，在这种示例性配置中，基于显示器处理器确定有可能在涵盖区域164、166 二者的区域中对帧/图像呈现最佳质量分辨率，和/或以最佳可能的刷新率呈现帧/图像，显示器170这么做。但是，应当指出，类似的决定可以在用于不同焦点的聚焦区域至少在某种程度上重叠的地方作出。不管怎样，应当指出，在显示器170上还有四个延伸到各自角落的外部区域，在分配足够的能力在区域168中呈现最佳分辨率和/或刷新率之后，基于显示器128剩余的处理能力，这些区域可以只以最佳可用的分辨率和/或可能的刷新率呈现帧/图像。
[0053]基于以上所述，现在可以认识到，观众在显示器特定区域上的聚焦可以被检测并且被例如TV处理器用于确定显示器的哪个区域要处理在其上呈现的图像/帧，例如，最佳地、最快地，等等，并且因此相应地控制TV解码器。所给出的原理还认识到，除了或者代替基于观众的眼睛的一个或多个图像检测观众的聚焦，这里所公开的照相机(例如，照相机66、70和74)还可以用于收集关于观众头的角度的图像(及头的改变与运动)，然后基于观众的头相对于TV的角度与倾斜来确定聚焦区域。这对于观众不能一次看到整个图像的大显示器，例如通过聚集多个面板制成的显示器，可能是尤其重要的。观众将把他或她的头转到感兴趣的区域。还有，除了或者代替以上所述，观众可以简单地向TV处理器提供输入，从而指示观众要聚焦到显示器哪个(哪些)区域和/或规定观众期望最快、最佳、以最高可能的分辨率和/或最快可能的刷新率处理的显示器的至少一个或多个区域。
[0054]此外，应当理解，实现这里所述的任何或全部逻辑的软件代码可以由这里所述的处理器执行并且可以存储在这里所述的计算机可读存储介质中，应当理解，所给出的原理可以由状态逻辑及确定性逻辑流实现。而且，这里所述的图总体上结合这里所公开的设备、装置与元件示出了方法步骤。应当进一步理解，所给出的原理可以在没有这里所述的一个或多个细节的变化的实施例中实现。
[0055]因此，应当理解，这里所述的特定步骤与步骤序列是示例性的并且不应当认为是限定本公开内容或权利要求。实际上，图5示例性流程图和图6-12中所示示例性区域的变体与组合应当理解为在本申请的范围之内。因此，应当理解，在有些情况下，这里所述的功能与逻辑步骤可以不按图中所示的示例性次序执行。
[0056]虽然特定的“基于用户在视频显示器特定部分上的聚焦处理视频信号”在这里示出并具体描述，但是应当理解，本发明所涵盖的主题只能由权利要求来限定。
【权利要求】
1.一种用于视频处理的方法，包括: 检测至少一个观众的聚焦在具有至少第二视频显示区域的视频显示器的第一视频显示区域上 '及 响应于检测到至少一个观众的聚焦在第一视频显示区域上，与解码一视频帧的第二部分不同地解码该视频帧中用于在第一视频显示区域中呈现的第一部分。
2.如权利要求1所述的方法，其中第一部分是以比第二部分更快的速率解码的。
3.如权利要求2所述的方法，其中第二部分不被解码，或者，第二部分被解码。
4.如权利要求1所述的方法，其中所述检测包括对观众的眼睛成像。
5.如权利要求4所述的方法，其中所述成像包括利用与显示器并置的照相机生成观众的眼睛的图像，或者，所述成像包括利用安装在观众佩戴的护目镜上的照相机生成观众的眼睛的图像。
6.一种配置为从照相机接收显示器的观众的眼睛的图像的装置，包括: 定义多个视频显示区域的视频显示器； 处理器，配置为控制视频显示器并且从照相机接收视频显示器的至少一个观众的眼睛的图像，处理器配置为响应于从照相机接收到的图像，利用第一处理处理一视频帧的第一部分并且利用第二处 理处理该视频帧的第二部分。
7.如权利要求6所述的装置，其中第一处理包括以第一速率进行处理，而第二处理包括以与第一速率不同的第二速率进行处理，或者，第一处理包括以第一速率解码帧的一部分，而第二处理包括以与第一速率不同的第二速率解码帧的一部分。
8.如权利要求6所述的装置，其中图像指示在显示器的第一区域上的观众聚焦，并且响应于此，帧的第一部分利用第一处理被处理。
9.如权利要求6所述的装置，其中所述帧是第一帧，而且其中处理器配置为，响应于在利用第一处理处理第一视频帧的第一部分之后从照相机接收到附加图像，利用第二处理处理第二视频帧的第一部分并且利用第一处理处理第二帧的第二部分，其中第一帧的第一部分和第二帧的第一部分二者都能在视频显示器基本相似的区域上呈现。
10.如权利要求8所述的装置，其中处理器配置为，响应于从图像确定的观众聚焦从第一区域改变到第二区域，利用第一处理处理一帧的第二部分并且利用第二处理处理一帧的第一部分。
11.如权利要求6所述的装置，其中视频显示器是三维(3D)视频显示器而且帧是3D帧。
12.如权利要求6所述的装置，其中处理器配置为接收视频显示器的多个观众的眼睛的图像，而且其中处理器配置为，响应于接收到图像，利用第一处理处理帧的第一部分和帧的第三部分并且利用第二处理处理帧的第二部分。
13.一种音频视频显示设备AVDD，包括: 视频显示器 '及 处理器，配置为接收要求的图像并且在视频显示器上呈现所述要求的图像，该处理器配置为，响应于确定观众聚焦到视频显示器的对应于第一部分的区域上，以比所要求的图像的第二部分更大的分辨率或更大的刷新率呈现所要求的图像的第一部分。
14.如权利要求13所述的AVDD，其中处理器配置为，响应于确定观众聚焦到视频显示器的对应于第一部分的区域上，以比所要求的图像的第二部分更大的分辨率和更大的刷新率呈现所要求的图像的第一部分。
15.如权利要求13所述的AVDD，其中处理器配置为，响应于确定第一观众聚焦到视频显示器的对应于第一部分的区域上并且第二观众聚焦到视频显示器的对应于第三部分的区域上，以比所要求的图像的第二部分更大的分辨率或更大的刷新率呈现所要求的图像的第一部分和所要求的图像的第三部分。
16.如权利要求13所述的AVDD，其中区域是第一区域，而且其中处理器配置为，响应于观众聚焦从视频显示器第一区域改变到第二区域，动态地改变所要求的图像的处理，使得所要求的图像的第二部分以比第一部分更大的分辨率或更大的刷新率呈现，聚焦的改变指向第二部分。
17.如权利要求13所述的AVDD，其中确定观众聚焦到视频显示器的对应于第一部分的区域上基于来自与视频显示器并置的照相机的用于生成观众的眼睛的图像的输入，和/或确定观众聚焦到视频显示器的对应于第一部分的区域上基于来自安装在由观众佩戴的护目镜上的照相机的用于生成观众的眼睛的图像的输入。
18.一种用于视频处理的方法，包括: 检测从观众到视频显示器的距离；及 响应于确定该距离至少为阈值距离或者更大，确立用于要在显示器上呈现的视频的第一解码； 响应于确定距离不是至少为阈值距离或者更大，确立用于要在显示器上呈现的视频的第二解码； 根据第一或第二解码来解码视频，以渲染解码后的视频 '及 在显示器上呈现解码后的视频。
【文档编号】H04N21/442GK104053038SQ201410082087
【公开日】2014年9月17日 申请日期:2014年3月7日 优先权日:2013年3月11日
【发明者】F·J·祖斯塔克, B·坎德洛尔, G·克利夫特, 近藤量资, S·M·瑞驰曼 申请人:索尼公司