专利名称：：利用视线跟踪的自适应显示的制作方法
技术领域：
：本发明涉及利用视线跟踪用于在计算平台的显示屏上以自适应的方式输出信息。
背景技术：
：随着在例如LCD屏、OLED屏等显示屏方面的现代技术进步，采用显示屏的计算平台的多样性以及向平台要求的功能性都在持续增加。例如，象征着手持式形状因素(handheldformfactor)的有限的屏面积和电池寿命往往导致了显示屏的空间分辨率相对低，使得手持式设备的实用性经常受到限制，因显示屏无能力在没有连续积极用户干预(例如，屏幕点击，滑动，等等)情况下呈现足够的视场(FOV)以向终端用户展现最有关数据(例如，图像数据帧的子区域，GUI(图形用户接口)的子区域，等等)。对于另一示范性平台，象征着家用电视的大屏幕是针对比个人计算机或者手持式设备的视距长得多的视距所设计的。因而，通常有必要在具有独特接口(例如“10英尺接口”)的家用电视上呈现图形数据对象，要求用户学习导航(navigate)不同形状因素的设备之间的多个接口。此外，某些计算平台提供显示视频(即图像数据帧流)的应用，该视频由集成有计算机渲染图形对像的视频图像传感器收集。例如，SonyPlaystationEyePet游戏应用程序与由耦合到计算平台的视频图像传感器所收集的应用程序用户与用户环境(例如，客厅)的视频一起渲染(render)虚拟宠物的图形图像。于是用户可以在显示器上观看他们与其虚拟宠物交互。由于对于这样的游戏应用程序典型的高清晰度显示分辨率(例如1080p)，需要有效的带宽将视频数据从视频图像传感器传输到计算平台。该带宽限制或者降低在显示器上呈现的视频数据的质量，减少可用于渲染图形的处理器周期，或者显著提高视频图像传感器/传感器与计算平台之间的接口的制造成本。对于无线内联网传输模式与互联网传输模式两者，视频传输带宽均成为更多的问题。本发明的实施例在本说明书结束部分中被特别指出并且清楚地被要求保护。然而，关于组织和操作方法两者，连同目标、特征及其优点，本发明的实施例可能最好在借助附图阅读时通过参考以下详细说明来理解，其中:图1示出按照实施例的示范性自适应显示系统的示意图2A为按照实施例确定所显示的图像数据帧的受关注的子区域的示范性基于网格的方法的流程图2B为按照实施例确定所显示的图像数据帧的受关注的子区域的示范性基于轮廓的方法的流程图3A为按照实施例基于显示器用户关注适配要显示的数据的量的示范性方法的流程图3B为按照实施例基于显示器用户关注适配要传输的数据的量的示范性方法的流程图；图3C为按照实施例基于显示器用户关注适配数据压缩率的示范性方法的流程图3D为按照实施例基于显示器用户关注适配接口数据压缩率的示范性方法的流程图4示出按照本发明的一个实施例可被用于适配显示的用户接口和硬件；以及图5示出按照本发明的一个实施例可被用于处理指令的附加硬件。为了说明的清楚，图中示出的元件没有必要地按照比例绘制。另外，在被认为合适的地方，参考数字在图之中被重复以指示相应或相似的元件。
发明内容此处描述了用于基于显示器用户关注适配显示屏输出的方法和系统。实施例采用视线跟踪(gazetracking)来确定显示屏区的处于用户关注焦点的子区域，并且自适应地确定为显示屏的受关注的和不受关注的子区域提供的数据量，其方式是分别处理这两个组来改善应用程序/平台的功能性和/或者减少用于传输或处理所收集的图像数据帧所需的带宽。尽管为彻底理解本发明的实施例陈述了很多具体细节，本领域技术人员将理解的是，在没有这些具体细节的情况下可以实施其他实施例。在其他实例中，并没有详细地描述众所周知的方法、进程、部件和电路，以便不使本发明不清楚。此处描述的某些部分根据算法和在计算机存储器内的数据比特或者二进制数字信号上的操作的符号表示来呈现。这些算法描述和表示可能是数据处理领域技术人员所使用的技术以将其工作的实质传达给本领域有些技术人员。如此处所使用的算法是导致期望结果的行为或操作的自相一致序列。这些包括物理量的物理操纵。通常、可是并非必要地，这些量采取能够被存储、传递、组合、比较以及另外操纵的电或者磁信号的形式。主要出于习惯用语的原因，将这些信号称为比特、值、元素、符号、字符、术语、数字等等已经证明有时是方便的。除非特别声明或者另外从以下讨论中为明显的，应当理解的是，在整个描述中，利用诸如“处理”、“计算”、“转换”、“调解”、“确定”、或者“识别”术语的讨论，均指计算平台的行为和处理，该计算平台是包含处理器的电子计算设备，该处理器将在处理器的寄存器和可访问的平台存储器内表示为物理(例如电子)量的数据操纵并变换为在计算机平台存储器、处理器寄存器或显示屏内类似地表示为物理量的其他数据。计算机程序可以被存储在计算机可读的存储介质中，例如、但不限于，任意类型的磁盘，包括软盘、光盘(例如光盘只读存储器(⑶-R0M)，数字视频光盘(DVD)，Blu-RayDiscs(蓝光光盘)等等)和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPR0M、磁或光卡，或者任意其他类型的适用于存储电子指令的非暂时介质。术语“耦合”和“连接”，连同其衍生词，可以在此用来描述用于执行这里的操作的装置的部件之间的结构关系。要理解的是，这些术语并不意指为彼此的同义词。相反地，在特定的实施例中，“连接”可以用于指示两个或多个元件之间彼此直接物理或者电接触。“耦合”可用于指示两个或多个元件之间彼此或者直接或者间接(通过其之间的其他居间元件)物理或者电接触，以及/或者两个或多个元件彼此协作或者通信(例如，如在因果关系(causeaneffectrelationship)中)。图1示出示范性自适应显示系统100，其包含耦合到显示屏110的计算平台105。计算平台105包含中央处理器，其至少负责为显示屏110生成输出106，并且可以进一步执行这里所述的视线跟踪、显示子区域确定以及视频解码/帧组装操作中的一个或多个。计算平台105可以为所要求的目的专门地被构造，或者可以包括通用计算机，该通用计算机通过在计算机中存储的计算机程序选择性地被激活或者重新配置。在一个实施例中，计算平台105是游戏控制台(例如，SonyPlaystation),其具有是任意常规显示器(例如IXD，OLED，CRT，等等)的显示屏110。在另一个实施例中，计算平台105是具有嵌入式显示屏IlOA(例如，IXD，0LED)的手持式游戏设备105A(例如，索尼便携式游戏机(SonyPlaystationPortable)(PSP)。在替换的实施例中，计算平台105是具有嵌入式显示屏110B(例如，LCD，0LED)的手持式电信设备105B(例如，索尼爱立信手机(SonyEricssonmobilephone))。图2A和2B示出两个用于确定在显示屏中所呈现的信息帧的受关注的子区域的示范性方法。这些方法可应用于渲染的图形对象(例如CGI)或者成流的多媒体(例如视频)。图2A是说明用于确定图像数据帧的受关注的子区域的基于网格的方法200的实施例的流程图，该方法可以由自适应显示系统100执行。在操作205处，一个或多个对象被输出到显示屏110(图1)。例如，在图2A中进一步示出了显示区210中的对象206。对象206可以是被渲染的对象，例如游戏化身、网页块，其与由渲染引擎已知的显示区210的帧有位置关系。例如，在对象206是网页上的缩略图的地方，该缩略图对象在显示区210内将具有已知的位置。替换地，对象206可以是在显示区210内所呈现的视频帧的一部分，在该情况下计算平台205不能预先确定在显示区210内对象206与其他内容之间的逻辑关联。在操作215处，跟踪观看显示屏110的用户的视线模式。图2A进一步描述了针对显示区210中的内容通过耦合到计算平台105(图1中所示)的视线跟踪器130确定的示范性视线模式208。通常，视线跟踪器130包含任意在本领域中已知的可操作来跟踪观看显示屏110的平台用户170的眼睛位置和/或眼睛运动的硬件和/或软件模块。在该示范性实施例中，视线跟踪器130是基于视频的系统，其聚焦于平台用户170的一只或者两只眼睛，并且当平台用户170观看显示屏110时记录眼睛运动。视线跟踪器130可以是头盔式的，或者是依赖视频图像传感器的远程系统，该视频图像传感器被定位在距平台用户170至少一臂长度处。在图1中所示的示范性实施例中，视线跟踪器130向视线方向分析器140输出眼睛视线方向模式131。在其他实施例中，视线跟踪器130是头盔式的，并且输出眼睛转动模式。在其他实施例中，用户可以佩戴放置在眼睛周围的皮肤上的电极来测量用于眼睛运动跟踪的眼电图(EOG)信号。该EOG信号对于测量由于视线偏移造成的眼睛扫视运动以及探测眨眼将是特别有用的；从而对于确定视线偏移以及眨眼是好的。EOG也对于不同的照明条件是稳健的，并且能被作为可穿戴系统实现。在示范性实施例中，由视线跟踪器130所采用的视频图像传感器是专用摄像机(例如，红外(IR)敏感的)，该专用摄像机被集成到视线跟踪器130中。替换地，视线跟踪器130可以被稱合到通用数字视频图像传感器120上,例如SonyPlayStationEye,其也被耦合到计算平台105上。在实施例中，数字视频图像传感器120以至少1920x1080像素的高清晰度(HD)分辨率利用足以至少捕捉平台用户170和用户直接环境(例如，客厅家具，地面，房间墙壁等等)的视场(FOV)122收集图像数据帧，并且可以进一步捕捉至少一个其他平台用户180以及旁观者185。因为远场视线跟踪在技术上比近场视线跟踪更具有挑战性，所以视线跟踪实现可能取决于计算平台105的格式。例如，在游戏机格式中，视线跟踪器130优选地使用专用摄像机，其被优化用于眼睛/视线跟踪的目的并且与视频图像传感器120不同。可选地，可以通过拍摄一个/多个用户的头像来注册一个/多个用户来改善视线跟踪性能。然而对于手持式游戏设备105A，嵌入式视频图像传感器120A可以可操作来向视线跟踪器130输出所收集的视频数据帧125，其包含平台用户170的(一只或两只)眼睛(eys(s))或者脸部。对于这样的实施例，由嵌入式视频图像传感器120A所收集的图像数据可用于两个视线跟踪目的和一般用于在显示屏IlOA上显示。类似地，对于手持式电信设备105B，嵌入式视频图像传感器120B可操作来向视线跟踪器130输出所收集的聚焦于平台用户170的(一只或两只)眼睛或者脸部的视频数据帧125。在还有其他实施例中，可以不存在通用数字视频图像传感器120，而只有集成到视线跟踪器130中的专用摄像机。回到图2A，在操作220处，视线模式(例如，视线模式208)通过视线方向分析器被映射到显示屏的子区域。例如，视线模式208被映射到子区域的m乘η网格。通常，为显示屏定义的数目m和η可以根据特定显示屏的物理尺寸以及分辨率而相当大地改变，并且要被最优化，例如用于提供最满意的用户体验。网格尺寸参数的优化可以通过研究设备尺寸与网格尺寸参数之间的关系而离线完成。于是，网格尺寸参数可以基于显示器特性而被自动设置/加载，所述显示器特性可以通过或者向系统注册显示器(即用户可以输入物理设备的规格或者选择预定义的选项中的一个)或者使用计算平台自动探测显示器类型、即它是PSP还是索尼爱立信手机(SonyEricsonphone)还是索尼IXDTV来获得。在操作230处，视线方向分析器基于视线模式208确定对于用户有较大兴趣的子区域221中的一个或多个。例如，视线模式度量可被分配给子区域221，并且度量然后被取阈值或者在子区域中进行比较，来确定受关注的(一个或多个)子区域。例如，在图2A中的显示区210中，115和111分别是受关注以及不受关注的子区域。虽然任意常规视线模式度量都可以在操作230处被采用，但是在示范性实施例中，在每个子区域内多个眼睛注视或者视线模式扫描长度被确定。图2B是确定图像数据帧的受关注的子区域的基于轮廓的方法201的实施例的流程图，该方法可以通过自适应显示系统100执行。在从视频图像传感器120接收的图像数据帧可能并不像渲染的GUI可能的那样有任意逻辑块层级的地方，轮廓算法可用于识别是平台用户关注的主题的对象。在特定的实施例中，新的轮廓探测过程周期性地或者被事件触发，例如当用户眨眼或者视线偏移时。方法201开始于操作205，其中向显示屏210输出一个或多个对象(例如，由视频图像传感器收集的图像数据帧)。如之前在操作215处描述的那样，视线模式被跟踪，以生成在图2B中所表示的视线模式208。在操作223处，执行轮廓探测算法(例如，通过视线方向分析器140)，以探测图像数据帧221内的轮廓。该轮廓探测算法可以基于视线模式在帧的特定位置被发起，或者轮廓探测算法可以被应用于整个帧。在第一种情况下，生成包含视线模式阈值量的轮廓，而在第二种情况下，基于视线模式与特定的一个/多个轮廓的重叠水平，从多个轮廓中选择一个或多个轮廓。例如，基于帧221和视线模式208生成轮廓251。在操作232处，于是确定受关注的子区域。该确定可能需要选择轮廓251，或进一步执行向上适化算法，用以将帧221的、接近轮廓251的像素包括在与受关注的子区域115对应的帧的第一部分中。该帧的剩余部分于是被指定为与不受关注的子区域111对应的帧的第二部分。利用基于轮廓的方法201来使图像数据帧的部分与显示器的受关注的子区域相关可以相对于在显示器与图像数据帧之间m乘η网格的直接映射改善真实感。基于轮廓的方法201也可以减少传输带宽，其中在显示器与图像数据帧之间m乘η网格的直接映射情况下低于所述传输带宽是可能的，例如在网格尺寸与图像数据中对象的尺寸不是最佳匹配时。图3Α示出用于适配(adapte)显示的方法300，其中通过根据用户的关注焦点以可变的分辨率显示数据帧的部分，相对于不受关注的子区域中的对象修改用于表示受关注的子区域中的一个或多个对象所采用的数据量。在操作330处，从方法200或201接收至少一个受关注的子区域，例如图2A或图2B中的受关注的子区域115。在操作340处，表示在受关注的子区域内所显示的对象的数据量被修改，用以相对于在子区域确定之前由显示屏提供的数据量改变与受关注的区域内的对象有关系的数据量。在内容缩放(contentzoom)实施例中，专用于受关注的子区域的显示屏分辨率的百分比可以随着与不受关注的子区域有关系的显示屏分辨率的百分比降低而增加，从而受关注的子区域的分辨率比不受关注的子区域分辨率高。例如，在操作330处接收到的受关注的子区域115，其为显示区210的25%，在操作340处被提高到显示区210的约67%。在操作345处，连同被放大的对象206显示修改后的输出。因而，对象206能以更高的分辨率被渲染，或者被扩张(例如，在对象206是缩略图的地方)。如图1中进一步所示的，自适应显示系统100包含自适应显示处理器150，其被耦合到视线方向分析器140上。在该示范性实施例中，自适应显示处理器150是信号处理器，其以硬件、软件或者两者的组合的方式实现。对于自适应显示方法300，计算平台105的处理器从自适应显示处理器150接收输出151，用于修改被显示的数据。图3B是用于适配显示的示范性方法301的流程图，其中通过根据用户的关注焦点以可变的分辨率将图像数据帧的部分(例如，由视频图像传感器(如视频图像传感器120)所收集的)传输给计算平台150，相对于不受关注的子区域中的对象修改表示受关注的子区域中的对象的数据量。在实施例中，受关注的子区域被以较高分辨率传输，而不受关注的子区域被以较低分辨率传输。由于图像数据帧将被以高速率传输，因此方法301可以被周期性地以低于在受关注的子区域情况下帧速率的频率执行，一旦被确定，被应用于多个帧。方法301可以基于事件来被触发，例如但不限于，预定数目的帧、确定眼睛视线是否偏离所选的(即受关注的)子区域的距离度量或者用户眨眼的指示，该指示是预期的眼睛视线偏移的可能标志。从操作325开始，视频图像传感器120收集图像数据帧。对于图1中所示的实施例，视频图像传感器120具有FOV122，其包括平台用户170、第二平台用户180以及旁观者185。在操作330处，从视线方向分析器140接收受关注的子区域141。在操作365处，使显示器的受关注的子区域与所收集的(一个或多个)帧的部分相关，并且与受关注的子区域对应的所收集的(一个或多个)帧的第一部分以高分辨率(例如，视频图像传感器120的至少1920x1080像素的HD分辨率)被传输到计算平台。在操作370处，与不受关注的子区域对应的所收集的(一个或多个)帧的第二部分以低分辨率被传输到计算平台，该分辨率低于第一部分的分辨率。例如，在视频图像传感器120以高分辨率收集的地方，自适应显示处理器150使用任意的常规比特率整形技术降采样所收集的(一个或多个)帧的第二部分以减少表示第二部分的数据量。因而，使比特率整形算法取决于对所显示的输出的用户关注。在一个实施例中，自适应显示处理器150相对于第一部分减少第二部分的空间(水平和/或垂直)分辨率，减少传输带宽需求。举一个例子来说，其中第一部分以对应于每扫描线1920个样本的采样的分辨率被传输，第二部分被降采样到每扫描线1440或1280个样本的采样。在另一个实施例中，自适应显示处理器150相对于第一部分减少第二帧部分的时间分辨率，以减少传输带宽需求。例如，可以相对于第一部分在第二部分内减少帧速率。显示屏部分然后例如在图1中通过链接161被传输到计算平台105的处理器。在操作375处，计算平台处理器利用任意常规方法将第一和第二部分聚集成重构帧，用于输出给显示屏110。在一些实施例中，其中由视频图像传感器所收集的图像数据帧被输出到显示屏，通过可变比特率压缩，表示受关注的子区域中的对象的数据量相对于不受关注的子区域中的那些被修改。对于这样的实施例，图像传感器本地的压缩引擎用于接收来自自适应显示处理器150的输出。例如，参照图1，压缩引擎160是硬件或者软件，其可操作用于压缩从视频图像传感器120接收的图像数据帧125。压缩引擎160可以执行本领域中已知的任意(一个或多个)压缩算法，例如执行一个或多个专有的或者标准兼容的编解码器(例如，MPEG-4)用以执行帧内(空间)压缩和帧间(动作)压缩中的至少一个。在该示范性实施例中，压缩引擎160用于执行对所收集的图像数据帧125的帧内和帧间压缩两者。图3C是用于适配显示的示范性方法350的流程图，其中压缩引擎基于视线跟踪信息应用所收集的图像数据帧的可变比特率压缩。再次从操作325开始，视频图像传感器收集图像数据帧。如图1中所示，视频图像传感器120具有FOV122，其包括平台用户170、第二平台用户180以及旁观者185。在操作380处，可变比特率压缩算法被应用于所收集的图像数据帧上。在一个实施例中，与受关注的子区域对应的所收集的帧的第一部分以高比特率被压缩(空间地和/或时间地)，而与不受关注的子区域对应的所收集的帧的第二部分以低比特率(即低于第一部分)被压缩(空间地和/或时间地)。·在操作390处，被压缩的帧例如被传输到计算平台105。在操作395处，计算平台105上的与压缩引擎160耦合的处理器然后用适当的解码算法(例如，如应用于每个部分)对帧的第一和第二部分解码，以将传输的(一个或多个)图像数据帧聚集成重构帧，用以在显示屏110上显示。图3D是进一步示出示范性可变比特率压缩方法377的流程图，其可以在方法350(图3C)的操作380处被执行。方法377从在操作330处接收(一个或多个)受关注的子区域开始。(一个或多个)受关注的子区域可以基本上如对于图2A中的方法200所述的或者参照图2B的方法201所述那样被识别/确定。例如，在图2A中的方法200的情况中，显示屏100被划分成由m乘η个子区域的网格。数目m和η可以被优化用以最大化显示器感知质量与传输带宽降低的组合。视线方向分析器140将来自视线跟踪器130的眼睛视线方向模式输出131映射到此m乘η子区域。视线模式准则横越子区域被应用，并且受关注的子区域115被识别。回到图3D，在操作378处，压缩引擎160确定要首先基于标准压缩算法被压缩的像素或图像部分。例如，在帧之间变化的图像部分利用帧间压缩算法来识别。在操作382处，压缩引擎160确定那些具有差异的图像部分中的哪些位于受关注的子区域115内，并且在操作384处，那些差异以高比特率被发送(例如，至计算平台105)。在操作386处，针对不受关注的子区域111的差异以低比特率(例如，比受关注的子区域低)被发送(例如，至计算平台105)。类似地，压缩引擎160可以按根据由视线方向分析器140识别的子区域的方式来执行帧内压缩算法。例如，压缩引擎160可以以以下方式在空间冗余算法中应用不同的阈值，所述方式在受关注的子区域115和不受关注的子区域111之间进行区别。在另一实施例中，在操作380处执行的可变比特率压缩可以在与显示器的受关注的和不受关注的子区域对应的所收集的帧的部分之间辨别I帧处理法。例如，对于与不受关注的子区域对应的帧部分，防止I帧从其他帧复制数据的规则可以是不严格的。在一些实施例中，可以采用具有包含至少平台用户170的FOV的视频图像传感器120。然而，在其他实施例中，如由图2B中的帧221所示，所收集的帧不包含平台用户170。对于这样的实施例，所收集的图像数据帧源自(sourceby)远离平台用户位置的视频图像传感器(例如，在图1中，被联网到计算平台105上的远程视频图像传感器128)，或者之前收集的图像数据帧的服务器(例如，通过互联网127联网的视频存档站点129)。对于这样的实施例，远程压缩引擎165可以被用于响应从自适应显示处理器150接收的信息实现此处所述的依赖视线的压缩算法。也应注意的是，方法301，350和377都类似地可应用于从视频归档站点129或者远程视频图像传感器128传输图像数据帧。在另外的实施例中，针对多个用户中的每一个跟踪视线模式。例如，参考回图1，可以针对平台用户170和平台用户180中的每一个跟踪视线模式。由多个用户中的每一个关注的显示屏子区域的单独确定于是可以被确定(例如，在操作215处)。例如，视线171的方向可以被跟踪并且受关注的子区域115被识别，并且视线181的方向也被跟踪并且受关注的子区域116被识别。于是，遵循此处所述的方法适配显示屏输出，以相对于不受关注的子区域修改受关注的子区域内的数据量。虽然这些方法可以以该方式被扩展到多个用户，当用户数目增加时，带宽减少率可能下降。然而，这将取决于所显示的信息的性质。例如，在一些游戏应用程序中，用户的视线可能由于任务驱动关注而相当多地重叠。例如，在网球游戏中，两个用户的视线在游戏中将处于网球上是非常有可能的。在其他多用户实施例中，例如其中`在平台用户170和平台用户180之间轮流游戏玩法，可能只针对与输入设备(例如SonyPlayStationMoveMotionController(动作控制器))关联的用户执行视线跟踪和/或视线方向分析。在图1所示的示范性实施例中，例如基于由视频图像传感器120所收集的图像帧，平台用户170与动作控制器190关联，并且当所关联的动作控制器190处在激活的游戏玩法模式中时，只针对平台用户170执行视线模式跟踪。当游戏玩法转移到动作控制器195时，于是只对与该控制器相关联的平台用户180执行视线跟踪。任意在此描述的显示适配方法于是都可以跨多个用户被个性化。图4根据本发明的一个实施例进一步示出硬件和用户接口，其可用于基于视线跟踪适配显示。图4示意性示出SonyPlaystation3娱乐设备的总系统架构，即可以是兼容的用于实现此处所述的自适应显示方法的控制台。提供平台单元1400，连同可连接到平台单元1400的不同外围设备。该平台单元包括=Cell处理器1428;Rambus动态随机存取存储器(XDRAM)单元1426;具有专用视频随机存取存储器(VRAM)单元1432的真实仿真器图形单元1430；以及I/O桥1434。平台单元1400也包含用于从盘1440A读取的BluRayDiskBD-ROM光盘读取器1440和可移动吸入式(slot_in)硬盘驱动器(HDD)1436，其通过I/O桥1434可访问。可选择地，平台单元1400还包含存储卡读取器1438用于读取快闪存储卡(compactflashmemorycard)、MemoryStick存储卡等等，其类似地可通过I/O桥1434访问。I/O桥1434也连接到多通用串行总线(USB)2.0端口1424;千兆位以太网端口1422;IEEE802.llb/g无线网络(W1-Fi)端口1420;能支持高达7个蓝牙连接的Bluetooth无线链接端口1418。在操作中，1/0桥1434处理所有无线、USB和以太网数据，其包括来自一个或多个游戏控制器1402的数据。例如，当用户在玩游戏时，1/0桥1434通过蓝牙链接从游戏(动作)控制器1402接收数据，并将其引导给Cell处理器1428，该处理器相应地更新游戏的当前状态。无线、USB和以太网端口除了游戏控制器1402之外还为诸如远程控制装置1404；键盘1406;鼠标1408;便携式娱乐设备1410如SonyPlaystation便携式娱乐设备；视频图像传感器如Playstation眼睛视频图像传感器1412;麦克风耳机1414;麦克风或麦克风阵列1415或者视线跟踪器130的其他外围设备提供连通性。因此这样的外围设备原则上可以无线地连接到平台单元1400上；例如便携式娱乐设备1410可以通过W1-Fiad-hoc连接通信，而麦克风耳机1414可以通过蓝牙链接通信。提供这些接口意味着Playstation3设备也可能与例如数字视频记录机(DVR),机顶盒，数字视频图像传感器，便携式媒体播放器，IP电话上的语音，移动电话，打印机以及扫描仪的其他外围设备兼容。游戏控制器1402可操作用于通过蓝牙链接与平台单元1400无线通信，或者与USB端口连接，从而也提供用于给游戏控制器1402的电池充电的功率。游戏控制器1402也可以包含存储器，处理器，存储卡读取器，永久性存储器如闪存，光发射器如LED或者红外光，麦克风和扬声器，声室，数字视频图像传感器，内部时钟，可辨认/可识别的形状如面向游戏控制台的球形部分，以及采用如Bluetooth、WiFi等协议的无线通信。游戏(动作)控制器1402是被设计用双手使用的控制器。除了一个或多个模拟操纵杆和常规控制按钮之外，游戏控制器容许三维位置确定。因此，除了或者代替常规按钮和操纵杆命令，游戏控制器用户的姿势和运动可以被转化为游戏输入。可选地，其他无线使能外围设备，例如Playstation便携式设备，可以被用作控制器。在Playstation便携式设备的情况下，可以在设备的屏幕上提供附加的游戏或者控制信息(例如，控制指令或者生命数)。其他替换的或者补充的控制设备也可以被使用，例如跳舞毯(未示出)、光枪(未示出)、方向盘和踏板(未示出)等等。远程控制器1404也可操作用于通过蓝牙链接与平台单元1400无线通信。远程控制器1404包含控制装置，其适用于BluRayTMDiskBD-ROM读取器1440的操作以及盘内容的导航。除了常规的预录式和可录的⑶以及所谓的超音频⑶之外，BluRayTMDiskBD-ROM读取器1440可操作用于读取兼容于Playstation和PlayStation2设备的CD-ROM。除了常规的预录式和可录的DVD之外,读取器1440也可操作用于读取兼容于Playstation2和Playstation3设备的DVD-ROM。进一步地，读取器1440可操作用于读取兼容于Playstation3设备以及常规的预录式和可录的蓝光盘的BD-R0M。平台单元1400可操作用于通过音频和视频连接器将经由真实合成器图形单元1430由Playstation3设备生成或者解码的音频和视频提供给显示器和声音输出设备,例如显示屏110。音频连接器1450可以包含常规的模拟和数字输出，而视频连接器1452可以多方面地包含分量视频，S视频，复合视频，以及一个或者多个高清晰度多媒体接口(HDMI)输出。因此，视频输出可以处于诸如PAL或NTSC的格式，或者处于720p，1080i或1080p高清晰度。在一个实施例中，视频图像传感器1412包含单独的电荷耦合器件(CXD)以及LED指示器。传感器1412可以进一步包含基于软件或硬件的数据压缩和编码装置，以便压缩的视频数据能够以合适的格式被传输，例如用于由平台单元1400解码的基于图像内MPEG(活动图像专家组(motionpictureexpertgroup))标准。视频图像传感器LED指示器被设置用于响应于来自平台单元1400的适当的控制数据照亮，例如用于表示不利的照明条件。视频图像传感器1412的实施例可以多方面地通过HDMI，USB，蓝牙或者W1-Fi通信端口连接到平台单元1400。视频图像传感器的实施例可以包含一个或多个相关联的麦克风，并且也可以能够用于传输音频数据。在视频图像传感器的实施例中，CCD可以具有适用于高清晰度视频捕捉的分辨率。在使用中，由视频图像传感器捕捉到的图像可以例如被合并到游戏内或者被解释为游戏控制输入。在另一实施例中，视频图像传感器是红外视频图像传感器，其适用于探测红外光。图5根据本发明的一个实施例示出可用于处理指令的附加硬件。图4的Cell处理器1428如在图5中进一步所示，具有包含4个基本部件的架构:外部输入和输出结构，其包含存储器控制器1560和双总线接口控制器1570A，B;主处理器，其被称为主处理元件(PowerProcessingElement)1550;8个协处理器，其被称为协同处理元件(SPE)1510A-H;以及连接以上部件的循环数据总线，其被称为元件互连总线(EIB)1580。相比于Playstation2设备的情感引擎的6.2GFL0P，Cell处理器的总浮点性能为218GFLOPS0主处理元件(PPE)1550基于双向同时多线程电源(Power)1470，其适应以3.2GHz的内部时钟运行的PowerPC核(PPU)1555。它包含512kB2级(L2)缓存1552和32kBI级(LI)缓存1551。PPE1550能够实现每时钟循环8个单独的位置操作，转变为3.2GHz处的25.6GFL0P。PPE1550的主要任务是充当用于SPE1510A-H的控制器，其处理大部分的计算工作量。在操作中，PPE1550维持工作队列，为SPE1510A-H调度任务并且监控其进展。因此，每个SPE1510A-H运行内核，该内核的作用是取得工作，执行工作，并且与PPE1550同步。每个协同处理元件(SPE)1510A-H均包含相应的协同处理单元(SPU)1520A-H，以及相应的存储流控制器(MFC)1540A-H，所述存储流控制器依次包含相应的动态存储器存取控制器(DMAC)1542A-H，相应的存储器管理单元(MMU)1544A-H，以及总线接口(未示出)。每个SPU1520A-H是RISC处理器，其以3.2GHz被时钟控制并包含256kB本地RAM1530A-H,原则上可扩展为4GB。每个SPE给出单精度性能的理论25.6GFLOPS0SPU在单个时钟循环内可以对4个单精度浮点成员，4个32比特数字，8个16比特整数，或者16个8比特整数操作。在相同的时钟循环内，该SPU还能执行存储操作。SPU1520A-H不直接访问系统存储器XDRAM1426;由SPU1520A-H形成的64比特地址被传递给MFC1540A-H，该MFC指示其DMAC控制器1542A-H通过EIB1580和存储器控制器1560访问存储器。元件互连总线(EIB)1580是Cell处理器1428内部的逻辑循环通信总线，其连接以上处理器元件，即PPE1550，存储器控制器1560，双总线接口控制器1570A，B以及8个SPE1510A-H，总计12个参与者。参与者可以以每时钟循环8字节的速率对总线同时地读和写。如前所注释的，每个SPE1510A-H包含DMAC1542A-H，用于调度较长的读或写序列。EIB包含4个通道，其中两个分别沿顺时针方向和逆时针方向。因此对12个参与者，任意两个参与者之间最长的逐步数据流在适当方向上是6步。因此，在通过在参与者之间仲裁的充分利用事件中，用于12槽的理论峰值瞬时EIB带宽为每时钟96B。这等于在3.2GHz时钟速率时307.2GB/s(每秒千兆字节)的理论峰值带宽。存储器控制器1560包含由Rambus公司开发的XDRAM接口1378。存储器控制器以25.6GB/s的理论峰值带宽与RambusXDRAM1426相连。双总线接口控制器1570A，B包含RambusFlexIO系统接口1572A，B。接口被组织成12个通道，每个通道为8比特宽，其中5个路径是入站，7个是出站。要理解的是以上描述意图是说明性的，而不是限制性的。例如，尽管图中的流程图示出由本发明的某些实施例执行的特定操作顺序，应当理解的是，这样的顺序并不是需要的(例如，替换的实施例可以以不同的顺序执行操作，组合某些操作，重叠某些操作，等等)。此外，在阅读和理解以上描述时，许多其他的实施例将对于本领域技术人员是显而易见的。虽然参照具体示范性实施例描述了本发明，但将认识到，本发明并不局限于所述的实施例，而是可以在所附的权利要求的精神和范围内以修改与改动来实施。因此，本发明的范围应当参照所附的权利要求连同这样的权利要求所授权给的等价物的全部范围来确定。权利要求1.一种用于适配显示的方法，包括:在显示屏上呈现输出；对观看显示屏输出的用户的视线模式进行跟踪；将视线模式映射到显示屏的物理位置；基于该映射，确定显示屏的被用户正关注的子区域；以及通过相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量来修改显示屏输出。2.权利要求1的方法，其中通过将不受关注的子区域的分辨率改变为低于受关注的子区域分辨率来修改显示屏输出，或者通过将受关注的子区域的分辨率改变为高于不受关注的子区域分辨率来修改。3.权利要求1的方法，其中映射视线模式进一步包括:将显示屏划分为m乘η网格的子区域；将视线模式度量分配给一个或者多个子区域；并且其中确定受关注的子区域进一步包括在子区域之间视线模式度量的比较。4.权利要求1的方法,进一步包括:利用视频图像传感器收集图像数据帧；以对于与受关注的子区域对应的所收集的图像数据帧的第一部分比对于与不受关注的子区域对应的所收集的图像数据帧的第二部分大的比特率将所收集的图像数据帧传输给计算平台；利用计算平台将所收集的图像数据帧的第一和第二部分聚集成重构图像数据帧；并且在显示屏上显示重构图像数据帧。5.权利要求4的方法，进一步包括，对于所收集的图像数据帧的第一部分比对于所收集的图像数据帧的第二部分应用较低的帧内或帧间压缩；或者对所收集的图像数据帧的第二部分进行次采样。6.权利要求4的方法，其中图像数据帧以至少1920x1080像素的HD分辨率被收集，并且其中与受关注的子区域对应的重构图像数据帧以HD分辨率被显示，而不受关注的子区域以低于HD分辨率的分辨率被显示。7.权利要求4的方法，其中基于所收集的图像数据帧跟踪用户的视线模式。8.权利要求4的方法，其中通过对所收集的图像帧执行轮廓探测算法来确定与受关注的子区域对应的所记录的图像数据帧的部分。9.权利要求8的方法，其中新的轮廓探测算法或者周期性地或者响应于接收到指示用户眨眼或者视线偏移高于阈值而被发起。10.权利要求1的方法，其中针对多个用户中的每一个跟踪视线模式，其中确定由多个用户中的每一个关注的显示屏的子区域，并且其中针对每一个受关注的子区域修改显示屏输出。11.权利要求10的方法，进一步包括，基于所收集的图像帧，将多个用户中的用户与输入设备关联，并且其中只针对与输入设备相关联的用户执行视线模式跟踪。12.—种非暂时计算机可读介质，具有其上所存储的一组指令，所述指令在被处理系统执行时，使处理系统执行权利要求1的方法。13.—种自适应显不系统,包括:具有显示屏的计算平台；视线跟踪器，用于跟踪观看来自显示屏的输出的用户的视线模式；视线方向分析器，用于将视线模式映射到显示屏的物理位置并且基于该映射确定被用户正关注的显示屏的子区域；以及自适应显示处理器，用于相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量。14.权利要求13的系统，其中自适应显示处理器用于通过将不受关注的子区域的分辨率改变为低于受关注的子区域分辨率，或者通过将受关注的子区域的分辨率改变为高于不受关注的子区域分辨率来修改显示屏输出。15.权利要求13的系统，其中视线方向分析器用于通过将显示屏划分成m乘η网格的子区域并且将视线模式度量分配给一个或多个子区域来映射视线模式；并且其中视线方向分析器用于基于子区域之间视线模式度量的比较来确定受关注的子区域。16.权利要求15的系统，其中视线模式度量可以是如下中的任一个:多个注视，视线模式扫描长度，或者视线模式扫描区。17.权利要求13的系统，进一步包括视频图像传感器，用来收集图像数据帧，其中自适应显示处理器用于以对于与受关注的子区域对应的所收集的图像数据帧的第一部分比对于与不受关注的子区域对应的所收集的图像数据帧的第二部分大的比特率使所收集的图像数据帧传输给计算平台，并且其中计算平台用于将所收集的图像数据帧的第一和第二部分聚集成重构图像数据帧，并且其中显示屏用于显示重构图像数据帧。18.权利要求17的系统，进一步包括压缩引擎，用于对于所收集的图像数据帧的第一部分比对于所收集的图像数据帧的第二部分应用较低的帧内或帧间压缩；或者其中自适应显示处理器用于对所收集的图像数据帧的第二部分进行次采样。19.权利要求17的系统，其中视频图像传感器用于以至少1920x1080像素的HD分辨率收集图像数据帧，并且其中显示屏用于以HD分辨率显示与受关注的子区域对应的重构图像数据帧并且以低于HD分辨率的分辨率显示不受关注的子区域。20.权利要求13的系统，其中视线跟踪器用于基于所收集的图像数据帧跟踪用户的视线模式。21.权利要求13的系统，其中视线方向分析器用于通过对所收集的图像帧执行轮廓探测算法来确定与受关注的子区域对应的所记录的图像数据帧的部分。22.权利要求21的系统，其中视线方向分析器用于或者周期性地或者响应于接收到指示用户眨眼或者视线偏移高于阈值而发起新的轮廓探测算法。23.权利要求13的系统，其中视线跟踪器用于对于多个用户中的每一个跟踪视线模式，其中视线方向分析器用于确定由多个用户中的每一个关注的显示屏的子区域。24.权利要求23的系统，进一步包括可被计算平台识别的用户输入设备，并且其中视线跟踪器用于只跟踪基于所收集的图像数据帧与输入设备相关联的用户的视线模式。全文摘要本发明涉及用于基于显示器用户关注适配显示屏输出的方法和系统。采用视线方向跟踪来确定用户正关注的显示屏区的子区域。受关注的子区域的显示相对于显示屏的剩余部分被修改，例如，通过相对于在显示屏的不受关注的子区域中显示的对象改变表示在受关注的子区域内显示的对象的数据量。文档编号A61B3/14GK103249352SQ201180059058公开日2013年8月14日申请日期2011年6月15日优先权日2010年12月8日发明者O.卡林利申请人:索尼电脑娱乐公司