用限定的交叉控制行为降低控件响应等待时间的制作方法【专利说明】用限定的交叉控制行为降低控件响应等待时间[0001]此申请是非临时的且对2013年7月12号提交的美国临时专利申请No.61/845,879要求优先权。此申请是2013年10月4日提交的名为"HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback^用于低等待时间用户输入处理与反馈的混合系统和方法）"的美国专利申请no.14/046,819的部分继续申请。这些申请的全部公开内容通过引用结合于此。[0002]此申请包括经受版权保护的材料。版权所有者不反对本专利公开的任何人作出的拓制，就像它出现在专利和商标局的文件或记录中的内容，但在其它情况下保留任何版权。领域[0003]本发明总体涉及用户输入的领域，尤其涉及使用限定的交叉控制行为来给予低等待时间用户体验的用户输入系统。【附图说明】[0004]如附图中所示，根据以下对实施例的更具体说明，本公开的上述和其它目的、特征以及优点将变得显而易见，在附图中，各个图中的附图标记指示相同部件。这些附图不一定按比例绘制，而是着重于说明所公开实施例的原理。[0005]图1示出触摸用户界面中的拖动等待时间在100ms、50ms、10ms和1ms时的效果的演示。[0006]图2示出收件箱的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的尚等待时间、尚保真响应。[0007]图3示出滑动双态元件（toggleelement)的用户界面的示例。光标310(由含有"十字"字符的框所表示）可被拖动到目标320(第二个空框，在右边）以激活UI元件。使用提供触摸交互的低等待时间和高等待时间系统两者来启用此元件，其中加速了移动的元件310,因此提供低等待时间体验。[0008]图4示出用于等待时间感知研究的原型（prototype)高性能触摸系统的基本架构的说明性实施例。[0009]图5示出使用图4的原型设备的等待时间感知研究的结果。[0010]图6示出按钮的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的尚等待时间、尚保真响应。[0011]图7示出可变尺寸框的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的尚等待时间、尚保真响应。[0012]图8示出滚动列表的用户界面元件的示例，其中该元件具有对触摸用户交互的低等待时间、低保真响应以及对触摸用户交互的尚等待时间、尚保真响应。[0013]图9示出低等待时间输入设备的基本构架和信息流的说明性实施例。[0014]图10示出用于音量控制的UI。当拖动滑动件时，工具提示（tooltip)出现，显示电流设置的数字表示。使用提供触摸交互的低等待时间和高等待时间系统两者来激活此元件，其中加速了移动的元件，因此提供低等待时间体验。[0015]图11示出与本混合反馈用户界面系统中的笔输入的UI的实施例相比，现有技术系统中的笔输入的系统的响应。在此混合系统中，墨水笔划对笔输入有低等待时间响应，以及对笔用户输入有高等待时间响应。[0016]图12示出本系统的实施例，其中数据流过经过系统的组件的两个重叠路径以支持高与低等待时间反馈。[0017]图13示出本领域公知的编程范式，称为模型视图控制器（ModelViewController)〇[0018]图14示出系统的架构的实施例，该系统的架构支持开发和运行对用户输入有混合的高与低等待时间响应的应用。[0019]图15示出描绘具有会话框的触摸用户界面的屏幕截图。[0020]图16示出描绘具有开始新窗口和应用的按钮的触摸用户界面的屏幕截图。【具体实施方式】[0021]以下描述和附图是说明性的且不被解释为限制性的。描述数个特定细节以提供透彻的理解。然而，在某些情况中，没有描述公知的或常规的细节以避免使说明书模糊不清。本公开中对一个或一实施例的引用不一定引用同一实施例；而且，这种引用意味着至少一个。[0022]在本说明书中对"一个实施例"或"一实施例"的引用表示结合该实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。在本说明书中的不同位置出现短语"在一个实施例中"不一定都是指同一个实施例，也不是指与其他实施例互相排斥的单独的或备选实施例。此外，描述了可由一些实施例呈现而不由其他实施例呈现的不同特征。类似地，描述了可以是一些实施例的要求而不是其他实施例的要求的不同要求。[0023]此申请涉及具有低等待时间的直接操控用户界面，诸如在2013年10月4日提交的名为"HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedbaCk(用于低等待时间用户输入处理与反馈的混合系统和方法）"的美国专利申请No.14/046,819和在2012年10月5日提交的名为"HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback(用于低等待时间用户输入处理与反馈的混合系统和方法）"的美国专利申请No.61/710,256中所公开的。此申请还涉及在2013年3月15日提交的名为"Low-LatencyTouchSensitiveDevice(低等待时间触摸敏感设备）"的美国专利申请No.13/841，436、在2013年3月15日提交的名为"FastMulti-TouchStylus(快速多触摸触笔）"的美国专利申请No.61/798,948、在2013年3月15日提交的名为"FastMulti-TouchSensorWithUser-IdentificationTechniques(具有用户识别技术的快速多触摸传感器）"的美国专利申请No.61/799,035、在2013年3月15日提交的名为"FastMulti-TouchNoiseReduction(快速多触摸噪声减少）"的美国专利申请No.61/798,828和在2013年3月15日提交的名为"ActiveOpticalStylus(有效光触笔）"的美国专利申请No.61/798,708的公开内容。这些申请中的每一个的全部公开内容通过引用结合于此。[0024]将在下文首先讨论等待时间和低等待时间用户输入处理的混合系统，然后跟随着用限定的交叉控制行为来降低控件响应等待时间的当前公开的系统和方法的说明。等待时间和混合系统[0025]本公开针对提供具有低等待时间的直接操控用户界面的系统和方法。伪"真实世界"对象的直接物理操控是针对很多类型的输入设备（诸如实现直接触摸输入、触笔输入、空中手势输入（in-airgestureinput)的那些输入设备）以及间接设备（包括鼠标、触控板（trackpad)、笔感应板（pentablet)等）所使用的普通用户界面隐喻。出于本公开的目的，用户界面中的等待时间涉及为用户呈现出对物理输入动作的响应所花费的时间。测试已表明用户偏爱低等待时间且用户确实能感知到低至5-10ms的等待时间，如将在下文更加详细地描述。[0026]图1示出示例性触摸用户界面中的等待时间分别在100ms(附图标记110)、50ms(附图标记120)、10ms(附图标记130)和lms(附图标记140)时的效果的演示。当拖动对象时，增加的等待时间被反映为用户的手指与正在被拖动的物体（在此情况中为正方形用户界面元件）之间增加的距离。如可观察到，等待时间的效果在100ms(附图标记110)和50ms(附图标记120)时显著，而在10ms(附图标记130)时变得逐渐较不显著，且实际上在lms(附图标记140)时消失。图11示出等待时间在示例性触笔或笔用户界面（1110、1120)中的效果。在此示例中，滞后1120是可见的，作为触笔1100尖与所计算笔划1110之间的增加的距离。利用低等待时间系统的引入，触笔1100尖与所计算笔划1130之间的距离将显著减小。[0027]名为"HybridSystemsAndMethodsForLow-LatencyUserInputProcessingAndFeedback(用于低等待时间用户输入处理与反馈的混合系统和方法）"的美国专利申请No.14/046,819中所公开的系统和方法提供混合触摸用户界面，该混合触摸用户界面提供具有小于l〇ms的等待时间的立即视觉反馈，与较高级的等待时间处的附加时间响应交织（inter-weave)或重叠。在一些实施例中，这两组响应的设计可被设计成在视觉上统一的，使得用户不能够区分它们。在一些实施例中，"低等待时间"响应可在等待时间上超过10ms〇[0028]用户输入设备和处理其输入的系统中的等待时间可具有许多来源，包括：捕捉触摸事件的物理传感器；处理触摸事件并为显示器产生输出的软件；显示器本身组件（包括总线）之间的数据传输；存储器存储或短暂缓冲器（buffer)中的数据内部存储；系统资源的中断与竞争；可引入等待时间的电路的其他来源；物理限制，诸如光速及其在电路构架中的反射（repercussion);以及机械限制，诸如有阻力的触摸传感器弯曲回到其"中性"状态所需的时间。[0029]可通过改进这些组件中的一个或多个中的等待时间来降低系统等待时间。在实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将低等待时间输入传感器与具有专用处理系统的显示器结合来获得lms或更低的等待时间。在实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将低等待时间输入传感器与具有专用处理系统的显示器结合来获得5ms或更低的等待时间。在进一步实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将低等待时间输入传感器与具有专用处理系统的显示器结合来获得0.lms或更低的等待时间。在进一步实施例中，当前公开的系统和方法提供一种输入设备，该输入设备可通过将这种低等待时间输入传感器与具有专用处理系统的显示器结合来获得l〇ms或更低的等待时间。在实施例中，为了获得这种极低的等待时间，当前公开的系统和方法可用专用的定制编程的现场可编程门阵列（FPGA)或专用集成电路（ASIC)来替换常规的操作系统（0S)和计算硬件。在实施例中，FPGA或ASIC替换常规的OS和计算硬件以提供低等待时间响应，同时将传统的OS和计算硬件保留在位以提供较高的等待时间响应（在除了低等待时间响应的另外情况中使用）。在另一实施例中，可通过将附加的逻辑集成到现有组件（诸如但不限于图形处理单元（GPU)、输入设备控制器、中央处理器（CPU)或芯片上的系统（SoC))中来替换所描述的FPGA或ASIC的功能中的一些或全部。可将低等待时间逻辑编码在硬件中或在由那些组件或其他组件所储存和/或执行的软件中。在需要多种组件的实施例中，可通过使用共享的存储器来帮助通信和/或同步化。在这些实施例的任何一个中，以高或低等待时间提供的响应可被混合在一起，或者响应于任何给定输入事件，可仅提供高等待时间或低等待时间。[0030]在不同的实施例中，所公开的系统和方法提供的在本文中被称为"混合反馈"。在混合反馈系统中，对输入的基本系统响应中的一些在逻辑上与较宽泛的应用逻辑分开。此结果提供具有灵敏输入处理器的系统，能够对用户输入事件提供几乎立即的系统反馈，基于以传统水平的等待时间所提供的应用逻辑具有更多的反馈。在一些实施例中，在视觉上提供了这些系统响应。在不同的实施例中，可通过音频或震动触觉反馈来提供混合反馈系统的低等待时间组件。在一些实施例中，可在与应用逻辑反馈相同的模态中提供几乎立即的反馈。在一些实施例中，可在不同的模态或多个模态中提供低等待时间反馈。图2中示出了全视觉实施例的示例，在此情况中示出触摸输入设备的使用。具体地，图2示出在用户触摸然后拖动表示收件箱的图标210后的结果。当用户触摸图标210时，可显示边框220或其他适当的基元（primitive)。在实施例中，在全视觉低等待时间反馈中，由于其容易植染，可选择适当的低等待时间表示。在实施例中，可使用可提供适当低等待时间表示的一个或多个基元来提供低等待时间反馈。在实施例中，如果用户在触摸显示器200上将图标拖动到另一个地方，则显示低保真边界230且可用例如lms的低等待时间来操控（例如，移动）低保真边界230。同时地，可用较高的等待时间来示出图标210的移动。在实施例中，用户可感知到几乎立即的低等待时间响应与可能较慢的应用逻辑反馈之间在响应中的差异。在另一实施例中，低等待时间与传统响应之间在响应中的此差异被混合且对于用户是较不容易看见的或不可容易看见的。在实施例中，与传统路径应用逻辑反馈相比，可以以较低的等待时间提供几乎立即的反馈。在实施例中，至少在一些情况中，与应用逻辑反馈相比，可以以类似的或甚至较高的保真度提供低等待时间响应。在实施例中，低等待时间几乎立即的反馈的形式由应用逻辑所规定，或者由存在于系统软件（诸如用户界面工具箱）中的逻辑所规定。例如，在实施例中，应用逻辑可预渲染多种图形基元，然后低等待时间子系统可使用该图形基元。类似地，在实施例中，软件工具箱可提供开发图形基元的工具，可在低等待时间系统需要之前渲染图形基元。在实施例中，可预先确定低等待时间响应，或者在其他情况下不考虑应用和/或系统软件逻辑来确定低等待时间响应。在实施例中，单个预渲染或部分渲染的低等待时间响应，或预渲染或部分渲染的低等待时间响应可被预加载到存储器中以便被需要用来响应于用户输入事件之前可被低等待时间子系统访问。[0031]在实施例中，低等待时间输出的模态可以是音频的。在实施例中，例如，可使用低等待时间系统以向音频输出系统快速发送麦克风输入，可为用户提供说出到系统的用户自己声音的"回声"。这样的低等待时间输出可提供具有与传统模拟电话相同类型的回声特征的效果，允许用户听见它们自己的声音。在实施例中，响应于用户输入事件（例如，触摸、手势、笔输入或口头输入），可提供低等待时间音频反馈，如果在视觉上则具有较高的等待时间响应。[0032]在图3中示出采用本方法和系统的系统的另一说明性实施例。在该说明性实施例中，光当前第1页1 2 3 4 5 6