标310 (由含有"十字"字符的框表示）可被拖动到设备的屏幕300上的任何地方。 当光标310被拖动到目标框320时，接受UI动作。如果光标310被拖动到屏幕300上的其 他地方，则拒绝该动作。在实施例中，当被拖动时，用低等待时间拖拽光标310,因此该光标 310跟踪用户的手指而没有可感知的等待时间。在实施例中，可用较高的等待时间拖拽目 标320而不影响用户感知。类似地，在实施例中，"拒绝"或"接受"的响应330随后可容易 感知地发生，因此可以以较高的等待时间来拖拽（例如，不使用低等待时间子系统）而不影 响用户感知。
[0033] 应该理解到，图示的实施例是示例性的。图3中示出的原理可被应用到任意种类 的UI元件，包括本领域中现今已知的或以后开发的所有UI元件。类似地，基本上可在不同 类型的输入设备和/或输出设备上与任意种类的输入事件一起使用图3中示出的原理。例 如，在实施例中，除了如上所述的"触摸"事件之外，输入事件可包括而不限于，空中或表面 上手势、语言、故意的（或非故意的）眼睛运动、以及笔。在实施例中，一旦发生手势，任何 UI元件的响应就可分为两部分，其中，低等待时间响应（例如，UI元件的低等待时间表示被 表示且快速地响应，例如，在〇. 01ms内），以及用由系统所普通呈现的等待时间提供非低等 待时间响应（例如，UI元件的进一步细化表示），该系统不提供加速的输入。在实施例中， 在混合系统中可不分离响应，响应代替地可以是完全低等待时间，而另外用较高的等待时 间执行不负责低等待时间响应的应用逻辑。
[0034] 在实施例中，可使用多种技术来获得触摸和/或手势输入事件，包括而不限于：阻 式、直接照明、受抑（frustrated)全内反射、漫射照明、投射电容、电容親合、声波、以及像 素传感器。在实施例中，可使用阻式、视觉的、电容的、磁的、红外的、光成像、色散信号、声脉 冲或其他技术来实现笔输入。在实施例中，也可使用视觉传感器或手持物体（包括含有传 感器的那些和仅用于跟踪的那些）或者诸如用2D和3D传感器之类的不需要手持的物体来 实现手势输入。也预期用于识别输入事件的传感器或技术的组合，如作为事件类型（即，触 摸、笔、手势、视网膜运动等）的组合。识别或捕捉输入事件的技术共有的一个属性是它们 有助于用户动作与系统对动作的响应之间的等待时间。此贡献的衡量随着技术和实施而变 化。
[0035] 在典型的多触摸系统中，在输入设备与可包括通信的显示器、操作系统、UI工具 箱、应用层和/或最终的音频或图形控制器之间存在信息流的路径，这些中的每一个可 增加等待时间。此外，由操作系统，尤其是非实时操作系统所引入的等待时间是可变的。 Windows、iOS、OSX、Android等不是实时操作系统，因此使用这些操作系统，不保证响应将在 某一时期内发生。例如，如果大量地加载处理器，那么等待时间可急剧增加。此外，一些操 作在软件栈中非常低的级别处被处理且具有高优先级。例如，通常高度优化鼠标指针从而 即使当处理器处于大量负载下时，感知的负载也相对较低。相比之下，诸如在触摸或手势系 统上用两个手指调制照片大小之类的操作通常是更加计算密集的，因为它需要在应用和/ 或UI工具箱等级处持续改变图像尺寸。因此，当处理器处于大量负载下时，这样的操作几 乎不能够具有低感知的等待时间。
[0036] 在典型的多触摸系统中，显示器系统（包括图像系统以及显示器本身）也可贡献 等待时间。具有高帧速率的系统可使经过该系统的实际等待时间不明显。例如，60Hz监视 器可包括一帧或多帧的缓冲器以允许复杂的图像处理效果。类似地，诸如投影仪之类的一 些显示器设备在电子设备中包含双缓冲，实际上加倍显示器等待时间。对3D电视和降低的 运动伪像的期望推动较快LCD的发展，然而，液晶本身的物理性质不大可能使传统LCD的性 能超过480Hz。在实施例中，本文中所述的低等待时间系统可使用IXD显示器。与IXD显示 器的性能相反，0LED或AM0LED显示器能够良好地有lms以下的响应时间。因此，在实施例 中，本文中所述的高性能触摸（或手势）系统可被实现在具有快速响应时间的显示器上，包 括而不限于，基于以下技术中的一个或多个的显示器：〇LED、AM0LED、等离子体、电湿润、彩 色场序（color-field-sequential) LCD、光学补偿弯曲模式（0CB或Pi-Cell) LCD、电子墨水 等。 等待时间感知研究
[0037] 着手一些研究以确定用户将直接触摸界面中什么程度的等待时间感知为基本上 同时发生的。图4中的框图所表示的原型设备示出原型高性能触摸系统400的基本构架的 说明性实施例。在实施例中，高速输入设备420是多触摸阻式触摸传感器，其具有24cm X 16cm的有效区域和允许非常高速操作的电子设备。经过此传感器的延迟微微小于lms。在 实施例中，可在光链路上连续地发送触摸数据。
[0038] 在说明性测试系统中，显示器460是基于德州仪器的数字光处理技术的DLP显像 4100套件（DLP Discovery 4100kit)。说明性测试系统在触摸传感器上利用前投影，因此消 除可扰乱手指与图像对准的用户感知的视差。所采用DLP投影仪使用数字微镜设备（DMD)， 即以非常高的速度有效地接通和断开像素的镜子矩阵。镜子的高速可被用于改变接通相对 于断开的时间百分比以创建连续的彩色图像的表现。在实施例中，其中仅使用了简单的二 值图像，可以以更高的速率来产生这些图像。在说明性测试系统中，投影仪开发系统用低于 40 μ s的等待时间以1024x768分辨率显示32000个二值帧/秒。在为了获得此速度的说明 性测试系统中，视频数据以25. 6Gbps流向DMD。
[0039] 在说明性测试系统中，为了获得最小的等待时间，所有触摸处理被执行在专用的 FPGA 440上，在触摸输入与低等待时间输出的显示器之间没有采用PC或操作系统。DLP套 件的板载XC5VLX50应用FPGA可被用于处理触摸数据并渲染视频输出。与FPGA串联的USB 允许参数被动态地改变。在说明性测试系统中，可用lms分辨率将等待时间从lms调节到 数百ms。可获得不同的测试模式，且端口允许收集触摸数据以供分析。
[0040] 在说明性测试实施例中，为了从传感器420接收触摸数据，系统通过定制高速 UART通信。为了最小化等待时间，可使用2Mbps的波特率，这表示可使用的高波特率而不 会由于通信信道上的高频噪声损失信号完整性。在说明性测试系统中，然后由实现在FPGA 440上的触摸检测有限状态机来处理压缩的触摸数据的各个字节。有限状态机（FSM)同时 地对数据解码并执行质心团块检测（blob-detection)算法以识别触摸的坐标。在说明性 测试系统中，系统是流水式的使得FSM的每次迭代运行在上一次接收的字节上从而不发生 触摸数据的缓冲。
[0041] 在说明性测试系统中，触摸坐标然后被发送到10阶段可变延迟块。每个延迟阶段 是具有计数器的简单FSM并采用指示时钟周期的数量的控制信号以使触摸坐标延迟，允许 不同等级的等待时间。延迟块在迭代的开始处闭锁触摸样本且在发送样本并锁闭下一个样 本之前等待适当数量的周期。延迟块因此通过延迟计数的系数降低了样本速率。在实施例 中，为了将样本速率保持在合理的等级处，可使用10个延迟阶段，从而使得，例如，为了获 得100ms的等待时间，对于100Hz的样本速率，块在样本之间等待10ms。在说明性测试系统 中，为了运行基本的应用，MicroBlaze软处理器被用于渲染显示器。
[0042] 在实施例中，测试系统可使用硬编码控制FSM来代替MicroBlaze以便改进性能。 在实施例中，可使用另一个软处理器。在说明性测试系统中，MicroBlaze是32位哈佛构架 RISC处理器，其被优化为合成在Xilinx FPGA中。MicroBlaze软处理器实例化允许仅所需 的核、外围设备和存储器结构的选择。在说明性测试系统中，除了基础MicroBlaze配置之 外，可使用中断控制器，例如用于触摸数据的多个GPI0、设置可变等待时间的GPI0、用于图 像缓冲的BRAM存储器控制器、以及与PC通信的UART单元。在说明性测试系统中，以100MHz 来时钟控制MicroBlaze。MicroBlaze使用中断系统来检测有效的触摸坐标。当触摸数据 从延迟块到达GPI0时，产生触摸准备中断事件，并且对应的图像被写入图像缓冲器。由于 基于中断的系统的非一致性质，不可计算准确的等待时间，但通过设计，与归因于输入设备 的lms等待时间相比，这是无关紧要的。
[0043] 在说明性测试系统中，图像缓冲器被合成在芯片上的BRAM块中。这些块可提供双 端口高速可配置的存储器缓冲器，其具有足够的带宽以支持高帧速率显示。在说明性测试 系统中，对于25. 6Gbps的总带宽，用128位的总线宽度以200MHz来时钟控制图像缓冲器， 如DLP所需。最后，DMD控制器从图像缓冲器连续地读出帧并产生具有适当定时的信号以 控制DMD。
[0044] 在说明性测试系统中，用户输入被同时地发送到传统的PC并被处理以产生传统 的较高等待时间响应。此较高等待时间响应被传统的数据投影仪输出，且被对齐以与投射 的较低等待时间响应重叠。
[0045] 进行了一些研究以确定当在触摸屏界面上执行普通任务时用户能够感知的表 现的精确等级。为此目的，进行了一些研究以确定不同表现等级的刚好可注意到的差异 (JND)。JND是可由观察者检测到的刺激的两个等级之间差异的度量。在此情况下，JND被 定义为参与者能够在两个不等的刺激之间作出区分的阈值等级，一个刺激始终表现在同一 等级，称为参考，而一个刺激的值在整个实验期间动态变化，称为探查（probe)。针对某一任 意参考值处的JND的一般接收值是参与者可在75%的时间正确地识别参考的探查。不能与 参考区分的探查值且具有此准确度等级的探查值被认为是与参考没有显著差异的。
[0046] 进行了一些研究以当与用作参考的lms的等待时间的最大表现相比时确定探查 等待时间的JND等级。尽管这种确定不提供最大可感知表现的绝对值，但它可用作我们的 "最好情况"下限条件，假定它是我们的原型可获得的最快速度，对照该条件可测量等待时 间的其他等级。发现参与者能够分辨显著较低（<20ms)的等待时间值，典型的电流产生硬 件（例如，电流平板和触摸计算机）提供显著较低的等待时间值（~50-200ms)。
[0047] 从本地社区招募十位用右手的参与者（3位女性）。年龄范围在24和40之间（平 均27. 80,标准差4. 73)。所有的参与者有过触摸屏设备的在先经验，且所有的参与者拥有 一个或多个触摸设备（诸如基于i〇S或Android的电话或平板）。参与者被重复地呈现多 对等待时间条件：参考值（1ms)和探查（在1和65ms的等待时间之间）。参与者在触摸屏 显示器上从左向右拖动他们的手指，然后从右向左。尽管任何拖动任务是适当的，但左/右 运动降低高等待时间情况中的阻塞。参与者被请求在两个方向上移动以确保他们不"匆忙 做完"此研究。在用户的触点之下，系统渲染了实线白色2cmX2cm正方形，如图1所示。留 给参与者来决定运动的速度。对于每对随机化条件的顺序。此研究被设计成双项必选实 验；指示参与者在每次试验内选择哪个情况是参考（1ms)值且不允许作出"不知道"或"不 确定"选择。在每对之后，参与者告知实验者两个中的哪一个"更快"。
[0048] 为了使每次试验收敛在75 %的期望JND等级处，根据自适应阶梯算法来控制增 加的等待时间的量。对参考值的每一次正确识别导致探查中的等待时间的量减小，而每 次不正确的响应导致探查的等待时间增加。为了达到75%置信度等级，增加与减小遵循 由Kaernbach所描述的简单加权的自上而下方法（Kaernbach, C. 1991.知觉&心理物理学 49, 227-229)，其中增加具有施加到基础步长的三倍乘数，而减小是基础步长（最初8ms)。
[0049] 当参与者在正确响应之后不正确地响应时，或者在不正确响应之后正确地响应 时，这被称为反转，因为它导致阶梯（增加或减小）的方向反转。步长，最初8ms，在每次反转 时二等分，直到lms的最小步长。这继续直到总共10个反转发生为止，结果是收敛到75% 正确性。每个参与者完成八个阶梯"运行"。这些中的四个起始于最小探查等待时间（1ms) 而另外四个于最大（65ms)。选择阶梯的较高起始值，因为它与商业提供的粗略地相符，且因 为引导（pilot)测试使得该值与lms参考以接近100%准确度来清楚地区分，避免天花板效 应。可在交织的对中一次运行两个阶梯以防止响应偏差，该响应偏差是由参与者在连续刺 激之间跟踪他们的进展的能力导致的。为这些对中的每一对随机地选择阶梯条件而没有来 自概率的替代（2起始等级X4重复）。每个参与者在单个1小时时间内完成整个实验，包 括阶梯之间的休息。
[0050] 此研究被设计成针对大于1ms的等待时间值找到刚好可注意到的差异（JND)等 级。此JND等级一般被约定为参与者能够在75%的时间正确识别参考的等级。参与者JND 等级范围从2. 38ms到11. 36ms，对于所有参与者有6. 04ms的平均JND (标准差4. 33ms)。对 于每个参与者，JND等级在阶梯的8次运行上没有显著地变化。图5中呈现每个参与者的 结果。
[0051] 此结果示出参与者能够分辨远远低于消费者设备的典型阈值（50-200ms)的等待 时间的差异。注意到，参与者很可能经常通过当手指在触摸屏上移动时估计屏幕上对象与 他们的手指之间的距离来确定等待时间；这是在UI中使用的输入基元的伪像（具体地，拖 动）。测试不同的输入基元（轻触（tapping)，例如）将呈现等待时间的不同感知。结果证 实触摸设备的用户将注意到并感激等待时间的数量级改进。 低等待时间直接触摸输入设备的构架
[0052] 在实施例中，倘若低等待时间系统存在，软件界面可被设计成使应用开发者能 够继续使用基于工具箱的应用设计过程，而且使那些工具箱能够以极低的等待时间提供 反馈。在实施例中，本公开所概括的系统和方法可被实现在UI开发的模型视图控制器 ("MVC"）模型上，很多UI工具箱是基于该模型的。MVC允许应用逻辑与应用的视觉表示分 开。在实施例中，MVC可包括该应用的第二个重叠的实际视图。具体地，在实施例中，触摸 输入从UI控件接收立即响应，该立即响应部分地基于作出触摸的时刻处该应用的状态。目 标是提供与底层应用前后联系的几乎立即的响应。
[0053] 在对触摸的应用无关的视觉响应上的先前工作是甚至与UI的视觉元件完全分开 的，增加视觉复杂性。在实施例中，根据本文中所概括的系统和方法，一组视觉响应更加完 整地集成到UI元件本身中以减少视觉复杂性。因此，在实施例中，其中示出的特定视件 (visual)为触摸提供实际"鼠标指