专利名称：交互式系统中的系统延迟缓解的制作方法
交互式系统中的系统延迟缓解背景领域本公开一般涉及交互式电子系统，并且尤其涉及缓解交互式电子系统中的系统延迟效应。背景游戏应用通常在主机控制台/计算机上运行，该主机控制台/计算机在经由导线附连到该主机平台的显示器上渲染游戏的输出。如此，在游戏应用递交要被显示的帧的时刻与该帧为游戏玩家可见的时刻之间所招致的系统延迟通常是人类察觉不到的，并且相对于后续人类经由操纵杆或其他人工接口设备(HID)来响应于此视觉刺激的延迟而言通常是可忽略的。典型的游戏应用假定帧更新被递交给操作系统(OS)/图形子系统的时刻与从游戏玩家接收到HID响应的时刻之间的延迟主要是游戏玩家的延迟(用户的手眼协调的功能)。该延迟可被用来评判玩家的响应并可影响该游戏应用所作出的后续决策。如果此居间延迟的显著部分是由端到端系统在渲染该帧时的等待时间所引起的，那么上述假定即无效，并且游戏玩家可能受到不公平的惩罚。目前，无线显示器技术正在发展中并开始商品化。典型的无线显示器包括无线主机和无线客户端，该无线客户端接收来自该无线主机的信号并将视觉信息渲染在显示器上。常规的无线显示器系统引入一定量的人类可察觉的延迟。—种缓解无线显示器系统延迟效应的办法是使该延迟尽可能最小化。一种使延迟最小化的途径是使用高带宽的无线链路，诸如多个天线上的60GHz链路。高带宽链路的使用可消除在将帧传送到显示器之前先要压缩这些帧的需要，其中通常预期压缩和解压缩会造成延迟。然而，此类解决方案对于电池供电的设备而言可能是不适合的，这样的设备可能无法越空输出未经压缩的视频或在实践上支持大量天线。概述根据一个实施例，一种方法包括接收用户对视觉信息的响应，该用户响应包括第一延迟。该方法还包括向电子系统查询指示第二延迟的数据，该第二延迟是该第一延迟的一部分并且能归因于该电子系统。该方法进一步包括使用此指示第二延迟的数据来补偿在与用户交互期间的电子系统延迟。根据另一实施例，一种电子系统包括与人工接口设备(HID)和显示器子系统处于通信的用户接口设备。该用户接口设备包括向该显示器子系统发送信号以渲染视觉刺激的视觉发生单元。该用户接口设备还包括用户交互单元，用于接收与该视觉刺激相关联的响应，向该电子系统的至少一部分查询指示该电子系统的延迟的数据，以及响应于此指示延迟的数据来调整与该用户的交互。在另一实施例中，一种系统包括用于与用户交互的装置。该交互装置包括用于控制设备向该用户渲染数据的装置，用于接收用户对所渲染的数据的响应的装置，用于辨别此用户响应中能归因于至少一个电子子系统的延迟量的装置，以及用于补偿能归因于该至少一个电子子系统的延迟的装置。
在又一实施例中，一种有形地实施其上记录有计算机程序逻辑的计算机可读介质的计算机程序产品包括接收用户对刺激的响应的代码。该逻辑还具有辨别此用户响应中能归因于电子系统的延迟部分的代码，以及缓和在与用户的交互中此能归因于电子系统的延迟的效应的代码。在另一实施例中，一种系统包括与人工接口设备(HID)和显示器系统处于通信的视频游戏系统。该视频游戏系统分别向HID和显示器系统查询与能归因于该HID和显示器系统的等待时间相关联的信息，并使用此与等待时间相关联的信息来调整与人类用户的交互。在另一实施例中，一种系统包括显示器子系统。该显示器子系统包括主机单元和具有显示面板的客户端单元。该主机单元与来自请求单元的应用编程接口(API)通信，响应于该API向该客户端单元查询能归因于该客户端单元的等待时间，使用此能归因于客户端单元的等待时间来演算显示器子系统集总等待时间，并将指示此显示器子系统集总等待时间的信息发送给该请求单元。前述内容已较宽泛地勾勒出本公开的特征和技术优势以力图使下面的详细描述可以被更好地理解。其他特征和优点将在此后描述，它们构成了本公开的权利要求的主题。本领域的技术人员应该领会，所公开的构思和具体实施例可容易地被用作改动或设计用于实施与本公开相同的目的的其他结构的基础。本领域的技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的技术。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。附图简述
图1是根据本公开的一个实施例来适配的示例性系统的解说。图2是可能出现在诸如图1的系统之类的系统中的延迟的解说。图3是根据一实施例来适配的示例性过程的解说。图4是根据一实施例来适配的示例性过程的解说。详细描述图1是根据本公开的一个实施例来适配的示例性系统100的解说。系统100包括用户交互控制台102，其示例可包括视频游戏控制台或其他交互式设备。用户通过使用HID101来与用户交互控制台102交互，该HID被示为按键板，但也可包括操纵杆或任何其他有线或无线控制器。用户交互控制台102与显示器主机103交换控制信号，并向其传送媒体信号。例如，在视频游戏系统示例中，用户交互控制台102将声音和视频信号发送至显示器主机103以在显示器104上被渲染。视频信号通常被渲染为帧，但是在显示器上渲染视觉信息的任何技术均落在各实施例的范围内。显示器主机103使用无线链路110与显示器客户端104通信。能被适配成供实施例中使用的无线链路的示例包括空白空间信道、IEEE 802. 11链路、超宽带(UWB)链路、蓝牙TM链路、和类似链路。在此示例中，显示器主机103接收来自用户交互式控制台102的音频和视频信号，将这些信号压缩并编码，并将这些信号传送给显示器客户端104。显示器客户端104随后将这些信号解压缩和解码，处理这些信号，并将该音频和视频信息呈现在屏幕和扬声器上。图1中，链路110被示为无线链路，且设备102与103之间的链路和设备102与101之间的链路被示为有线链路。然而，给定链路可以是有线或无线的，这落在各实施例的范围内。此外，尽管系统100的各种组件被示为分开的，但是一个或更多个此类组件可被整合到一个或更多个设备中，这落在各实施例的范围内。例如，一个实施例包括与分开的无线显示器子系统处于通信的视频游戏控制台。在另一实施例中，计算机包括用户交互控制台102和与自立的无线显示器处于通信的显示器主机103。用户交互控制台102、显示器主机103、以及显示器客户端104的功能性在以下更详细地描述。此类功能性可由硬件或软件执行并且在许多实施例中由一个或更多个执行存储到计算机可读存储介质的代码的计算机处理器来提供。在一些实施例中，提供此功能性的计算机处理器和其上存储有代码的存储器被包括在芯片集中供安装在各种设备之中的任何设备中。系统100的功能性由芯片集112、113和114提供，其分别被安装在用户交互控制台102、显示器主机103、以及显示器客户端104中。此外，用户交互控制台102的各种功能性可由写到计算机可读介质的计算机可执行代码(例如，视频游戏代码)来提供，该计算机可读介质诸如是游戏卡带、通用串行总线(USB)闪速驱动器、数字视频碟(DVD)或压缩碟(CD)只读存储器(ROM)、内部随机存取存储器(RAM)和/或ROM或类似介质。系统100由于由显示器主机103和显示器客户端104对信号的处理而体验到人类可察觉的延迟。具体而言，系统100体验到一定量的能归因于信号的编码/解码、压缩/解压缩、以及传输的等待时间。还有额外的等待时间能归因于HID 101以及由用户交互式控制台102执行的处理，尽管相比与无线显示器系统等待时间而言这些额外的等待时间是可忽略的。图2是可能出现在诸如图1的系统100之类的系统中的延迟的解说。从左向右跨时间线200移动，最左边的时间201是用户交互控制台发送信号以在显示器上渲染视觉数据的时间。存在第一流逝时间D，其为显示器系统延迟。对于有线系统而言，显示器系统延迟D通常小于无线显示器子系统将具有的显示器系统延迟。还存在用户响应延迟U,其从帧被渲染到光栅上开始直到该用户响应为止。HID系统延迟H是从该用户按下按钮或以其他方式与HID交互的时间到用户交互控制台接收到该用户响应的时间的延迟。用户交互式控制台处理该用户响应而招致控制台处理延迟G，并在时间202渲染下一帧。渲染下一帧还招致下一个显示器系统延迟D (该延迟可能与第一个显示器系统延迟D相同也可能不同)。所察觉到的用户响应延迟GU是从该帧被渲染的时间到该用户响应被用户交互式控制台察觉到的时间的延迟。所察觉到的系统响应延迟UG是如用户所察觉到的系统响应延迟。在理想的系统中，HID系统延迟H为零且显示器系统延迟D为零，并且用户交互式控制台(或底下的交互式应用，例如视频游戏软件)可假定用户响应延迟GU等于U。在一些实例中，当所察觉到的用户响应延迟GU非常小时，假定所察觉到的用户响应延迟GU等于用户响应延迟U是可接受的。然而，当显示器系统延迟D或HID系统延迟H很大时，假定所察觉到的用户响应延迟GU等于用户响应延迟U通常是不可接受的，在步调很快的视频游戏中尤甚。在各种实施例中，用户交互式控制台从所察觉到的用户响应延迟GU减去显示器系统延迟D和HID系统延迟H，以准确地估计延迟中的用户分量以评价该用户的响应。另一个的问题是当该用户与HID交互时，该用户通常期望来自控制台的即时响应。无论控制台反应是否迅速，如果所察觉到的系统响应延迟UG很大，则该用户就会感觉该控制台是很迟缓的。然而，这样的问题不是本公开所针对解决的。图3是根据一实施例来适配的示例性过程300的解说。过程300可例如由诸如图1的系统100之类的系统来执行。过程300包括各种功能单元之间或之中的动作，这些功能单元诸如是交互式应用301 (例如，在用户交互式控制台上运行的软件应用(例如游戏))、OS显示器子系统302 (例如，用户交互式控制台或显示器子系统主机的OS的单元)、显示器主机的无线显示器主机驱动器303、无线显示器客户端接收机304、以及显示面板305。图3示出了使用无线显示器，但是图3中所示的关于辨别显示延迟的概念也能被应用于使用有线显示器的系统。交互式用户应用301作出接口调用(经由应用编程接口 -API)以查询要从对所察觉到的用户响应延迟GU的计算中因子析出的显示器系统集总延迟D。在本示例中使用无线显示器的OS显示器子系统302包括与和该无线显示器通信的无线子系统的接口。交互式用户应用301使用本地API查询OS显示器子系统302，并且OS显示器子系统302返回显示器系统集总延迟D的值。在此示例中，OS显示器子系统302本身不知道显示器系统集总延迟D的值，因为显示器系统集总延迟D是包括来自无线显示器主机驱动器303和无线显示器客户端接收机304的延迟的集总延迟。例如无线显示器主机驱动器303本身进行一些处理，例如压缩等；无线传输涉及延迟，诸如媒体接入延迟之类；并且无线显示器客户端接收机304执行解码，而解码涉及延迟。显示面板305中的光栅也具有一定延迟。在其中各种组件来自一个供应商的场景中，这些不同的延迟有可能可以先验已知。相反，在其中显示器来自一个供应商、且用户交互式控制台来自另一供应商的系统中，客户端消息收发可查询各种组件来演算延迟的各种分量，如图3中所示。OS显示器子系统302使用API向无线显示器主机驱动器303发送查询来询问关于显示器系统集总延迟D，该延迟在本示例中包括主机处理延迟加上传输延迟加上客户端处理延迟和面板渲染延迟(例如，光栅延迟)。客户端处理延迟和面板渲染延迟能归因于无线显示器客户端接收机304和显示面板305。无线显示器主机驱动器303和无线显示器客户端接收机304使用双向客户端消息收发来最终将接收机延迟信息投递给无线显示器主机驱动器303。无线显示器主机驱动器303随后计算主机处理延迟、传输延迟、以及能归因于无线显示器客户端接收机304和显示面板305的延迟的总和。无线显示器主机驱动器303随后将指示显示器系统集总延迟D的信息传递给OS显示器子系统302，该OS显示器子系统将该信息传递给交互式用户应用301。过程300可由各种实施例在各种时间之中的任何时间执行。例如，过程300可以随每帧执行，每个游戏会话执行一次，按有规律的间隔来执行，或以类似方式执行。如果显示器系统集总延迟D帧与帧之间变动显著，则按诸如每帧一次之类的有规律的间隔来执行过程300可能是可取的，但如果变动较小，则不那么频繁地执行过程300就减少了开销。在许多情形中，可假定当编码延迟不显著变动时帧间延迟的变动不显著。然而，能归因于传输的延迟取决于例如有多少内容正在传输等而变动。所使用的API可以是同步或者异步的(随结果告示回调或事件)并且可独立于渲染显示数据的调用地被调起。附加地或替换地，可将查询与渲染显示数据的OS调用相组合。图4是根据一实施例来适配的示例性过程400的解说。过程400类似于过程300，区别仅在于过程400是演算能归因于HID的延迟的技术，该延迟在图2中称为HID系统延迟H。在一些实施例中，HID是能被归因的延迟很显著的无线设备。另一方面，在一些实施例中，HID是能被归因的延迟很少的设备。在任一情形中，过程400均可由交互式用户应用301执行以辨别HID系统延迟H，这样就可演算能归因于用户的延迟。图4示出了使用无线HID，但是图4中所示出的关于辨别HID延迟的概念也可被应用于使用有线HID的系统。交互式用户应用301向OS HID子系统402发送请求关于能归因于该HID的延迟的信息的查询。OS HID子系统402随后藉由API向无线HID主机驱动器403发送查询。HID集总延迟H包括主机处理延迟和外围设备延迟。外围设备延迟能归因于无线HID外围设备404本身，并包括输入/输出延迟和传输延迟。无线HID主机驱动器403和无线HID外围设备404使用双向查询消息收发来将指示能归因于无线HID外围设备404的延迟的信息投递给无线HID主机驱动器403。无线HID主机驱动器403随后演算HID集总延迟H，并将指示HID系统集总延迟H的信息发送给OS HID子系统402，该OS HID子系统将该信息传递给交互式用户应用301。在用户交互式控制台和HID来自相同供应商的系统中，HID延迟可以是先验已知的。另一方面，在用户交互式控制台和HID来自不同供应商(或否则未知)的情形下，可执行过程400。类似于过程300，可在启动时，在每一帧，按有规律的间隔，或以类似方式执行过程400。各实施例可执行方法300和/或400来适应于改变中的系统配置、改变中的带宽和计算要求、以及其他影响延迟的因素。一旦交互式用户应用301具有指示显示系统集总延迟D和HID系统延迟H两者的信息，交互式用户应用301就能推导出哪个延迟是系统延迟以及哪个延迟是用户延迟。此类推导出的信息可随后被用户交互式控制台使用以缓解系统延迟的效应。在一个示例中，用户交互式控制台通过在评判用户的响应时不计入所演算出的系统延迟来调整自己与该用户的交互。在视频游戏的上下文中，根据用户的响应给予该用户的奖励或惩罚被调整以使得不因系统延迟而惩罚该用户。换言之，此类示例系统补偿其本身的延迟。尽管以上给出的一些示例是在视频游戏的上下文中，但是并非所有的实施例都受限于此。各种实施例可被适配成供与视频游戏系统一起使用，并且其他实施例可被适配成供在用户延迟影响交互的各种其他应用之中的任何应用中使用。例如，各实施例可在利用图形用户接口(GUI)的个人电脑中实现以更为精确地演算用户鼠标移动或键敲击的上下文。附加的示例包括在无线触摸显示器校准单元中实现实施例以在检测多次触摸手势时计及系统延迟。各种实施例包括胜过其他技术的优势。例如，各种实施例可比使用高带宽链路来降低延迟的更为功率密集的系统更好地适配成供与电池供电的设备一起使用。此外，对查询和响应使用闭环技术的实施例可以是能被适配成供与不同的主机平台、传输链路类型、以及显示器平台实现一起使用的。尽管已详细描述了本公开及其优点，但是应当理解，可在本文中作出各种改变、替代和变更而不会脱离如由所附权利要求所定义的本公开的技术。此外，本申请的范围无意被限定于说明书中所描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。如本领域的普通技术人员将容易从本公开领会到的，可以利用根据本公开的现存或今后开发的与本文所描述的相应实施例执行基本相同的功能或实现基本相同结果的过程、机器、制造、物质组成、装置、方法或步骤。相应地，所附权利要求旨在将这样的过程、机器、制造、物质组成、装置、方法或步骤包括在其范围内。
权利要求
1.一种方法，包括接收对视觉信息的响应，所述响应包括第一延迟；向电子系统查询指示第二延迟的数据，所述第二延迟是所述第一延迟的部分并且能归因于所述电子系统；以及使用所述指示第二延迟的数据来补偿与用户交互期间的电子系统延迟。
2.如权利要求1所述的方法，其特征在于，所述方法由基于处理器的游戏控制台执行。
3.如权利要求1所述的方法，其特征在于，所述第二延迟包括能归因于作为所述电子系统的部分的无线显示器单元的等待时间。
4.如权利要求1所述的方法，其特征在于，所述第二延迟包括能归因于作为所述电子系统的部分的人工接口设备(HID)的等待时间，所述HID提供所述响应。
5.如权利要求1所述的方法，其特征在于，所述电子系统包括控制无线显示器的无线主机，并且其中向所述电子系统查询包括使用应用编程接口(API)来向所述无线主机发送演算显示器集总延迟的请求，所述显示器集总延迟是所述第二延迟的部分。
6.如权利要求5所述的方法，其特征在于，所述显示器集总延迟包括主机处理延迟；主机无线传输延迟；客户端无线处理延迟；以及显示面板渲染延迟。
7.如权利要求6所述的方法，其特征在于，所述主机处理延迟包括编码和压缩延迟，并且其中所述客户端无线处理延迟包括解码和解压缩延迟。
8.如权利要求1所述的方法，其特征在于，所述电子系统包括控制无线显示器的无线主机，其中所述无线主机和无线显示器包括来自不同制造商的设备，并且其中向所述电子系统查询包括使用应用编程接口(API)来向所述无线主机发送演算显示器集总延迟的请求，所述显示器集总延迟是所述第二延迟的部分。
9.如权利要求1所述的方法，其特征在于，所述指示第二延迟的数据被用来演算能归因于所述用户的延迟。
10.如权利要求1所述的方法，其特征在于，使用所述指示第二延迟的数据包括辨别所述第一延迟中不能归因于所述用户的量；以及基于能归因于所述用户的延迟来确定是否要因所接收到的响应惩罚或奖赏所述用户。
11.一种电子系统，包括与人工接口设备(HID)和显示器子系统处于通信的用户接口设备，所述用户接口设备包括视觉发生单元，用于向所述显示器子系统发送信号以渲染视觉刺激；以及用户交互单元，用于接收与所述视觉刺激相关联的响应，向所述电子系统的至少一部分查询指示所述电子系统的延迟的数据，以及响应于所述指示延迟的数据来调整与用户的交互。
12.如权利要求11所述的电子系统，其特征在于，所述显示器子系统包括与所述用户接口设备处于通信的无线显示器主机、以及无线显示器客户端。
13.如权利要求12所述的电子系统，其特征在于，所述电子系统的所述延迟包括能归因于所述无线显示器主机和所述无线显示器客户端的延迟。
14.一种系统，包括用于与用户交互的装置，包括用于控制设备向所述用户渲染数据的装置；用于接收用户对所渲染的数据的响应的装置；用于辨别所述用户响应中能归因于至少一个电子子系统的延迟量的装置；以及用于补偿能归因于所述至少一个电子子系统的延迟的装置。
15.如权利要求14所述的系统，其特征在于，所述用于辨别延迟量的装置包括用于使用应用编程接口(API)来向显示器子系统请求等待时间信息的装置。
16.如权利要求14所述的系统，其特征在于，所述用于辨别延迟量的装置包括用于使用应用编程接口(API)来向人工接口设备(HID)请求等待时间信息的装置。
17.如权利要求14所述的系统，其特征在于，所述系统包括与显示器子系统处于通信的视频游戏控制台。
18.一种有形地实施其上记录有计算机程序逻辑的计算机可读介质的计算机程序产品，所述计算机程序产品包括接收用户对刺激的响应的代码；辨别所述用户响应中能归因于电子系统的延迟部分的代码；以及缓和在与用户的交互中所述能归因于所述电子系统的延迟的效应的代码。
19.如权利要求18所述的计算机程序产品，其特征在于，所述辨别延迟部分的代码包括应用编程接口(API)，用于向所述电子系统查询能归因于显示器子系统的等待时间。
20.如权利要求18所述的计算机程序产品，其特征在于，所述计算机程序产品包括视频游戏应用。
21.如权利要求18所述的计算机程序产品，其特征在于，所述辨别延迟部分的代码包括辨别能归因于人工接口设备(HID)的等待时间的代码。
22.—种系统，包括与人工接口设备(HID)和显示器系统处于通信的视频游戏系统，所述视频游戏系统分别向所述HID和显示器系统查询与能归因于所述HID和显示器系统的等待时间相关联的信息，并使用所述与等待时间相关联的信息来调整与人类用户的交互。
23.如权利要求22所述的系统，其特征在于，所述视频游戏系统与无线显示器系统处于通信。
24.如权利要求22所述的系统，其特征在于，所述视频游戏系统包括视频游戏控制台。
25.如权利要求22所述的系统，其特征在于，所述视频游戏系统使用应用编程接口(API)来向所述HID和显示器系统查询。
26.一种系统，包括显示器子系统，包括主机单元；以及具有显示面板的客户端单元，所述主机单元与来自请求单元的应用编程接口(API)通信，响应于所述API向所述客户端单元查询能归因于所述客户端单元的等待时间，使用所述能归因于所述客户端单元的等待时间来演算显示器子系统集总等待时间，并将指示所述显示器子系统集总等待时间的信息发送给所述请求单元。
27.如权利要求沈所述的系统，其特征在于，所述主机单元和客户端单元无线地通信。
28.如权利要求沈所述的系统，其特征在于，所述主机单元使用双向客户端请求消息收发来向所述客户端单元查询。
全文摘要
一种方法发送信号以在显示器上渲染视觉信息，并接收用户对所渲染的视觉信息的响应。该用户响应包括第一延迟。该方法还向电子系统查询指示第二延迟的数据。该第二延迟是第一延迟的一部分并能归因于该电子系统。该方法进一步使用此指示第二延迟的数据来补偿在与用户交互期间的电子系统延迟。
文档编号A63F13/12GK102596342SQ201080048116
公开日2012年7月18日 申请日期2010年10月21日 优先权日2009年10月21日
发明者J·马丁内斯包萨, K·拉贾马尼, S·S·索利曼, V·拉维德兰 申请人:高通股份有限公司