管理低延时直接控制反馈的系统和方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求于2014年1月30日向美国专利商标局递交的标题为"Systemand MethodinManagingLow-LatencyDirectControlFeedback(管理低延时直接控制反馈 的系统和方法）"的美国临时专利申请第61/933, 794号的优先权和权益，本文通过引用并 入该申请的全部公开内容。
技术领域
[0003] 本发明的实施例涉及用于减小包括触摸输入和显示组件的计算设备中的显示滞 后的系统和方法。
【背景技术】
[0004] 包含或耦合到覆盖的触摸传感器面板的显示面板为能够触摸的计算设备（诸如 移动电话、平板计算机、膝上型计算机或者桌面型计算机）提供了交互系统。在这样的计 算设备中，图形被显示在显示面板上，并且用户可通过触摸屏幕（例如，利用主动式触笔、 被动式触笔或者诸如手指之类的身体部位）来与这些设备交互，从而提供了直观的用户界 面。
[0005] 由触摸传感器面板检测到的触摸事件通常由在设备的应用处理器（application processor，AP)上运行的高级别应用软件来处理。触摸传感器面板与AP之间的许多处理 操作以及AP上的非确定处理时间（包括由于AP执行的其它计算任务引起的延迟）引入了 较高水平的延时（例如，70至100毫秒），而这种延时降低了计算设备对用户的触摸输入的 响应性。
【发明内容】
[0006] 本发明的实施例的方面针对减小触摸事件与对此触摸事件的显示响应之间的延 时。
[0007] 根据本发明的一个实施例，一种系统包括：显示面板；触摸面板；耦合到触摸面板 和显示面板的应用处理器；视觉加速器，其依据来自触摸面板的触摸事件和来自应用处理 器的配置参数将来自应用处理器的视频图像与覆盖数据相组合以生成组合图像并将组合 图像提供给显示面板；以及耦合到应用处理器的存储器，该存储器存储：包括一个或多个 加速请求的请求列表；以及指令，这些指令当被应用处理器执行时使得应用处理器执行设 备驱动器来：识别请求列表的一个或多个加速请求之中的活动加速请求，该活动加速请求 与由应用处理器执行的应用相关联；依据来自由应用处理器执行的窗口管理器的窗口布置 数据确定显示面板的活动屏幕区域；依据活动加速请求和活动屏幕区域生成配置参数；以 及将配置参数发送到视觉加速器。
[0008] 组合图像可包括与触摸事件相对应的线条。
[0009] 配置参数可包括颜色、宽度、逻辑描绘区域和/或压力设定，并且视觉加速器可被 配置为依据配置参数来生成线条。
[0010] 指令还可使得应用处理器执行设备驱动器来：从窗口管理器接收窗口事件；以及 处理窗口事件以确定活动屏幕区域。
[0011] 窗口事件可包括窗口平移（translation)、窗口缩放、窗口旋转和/或窗口焦点变 化。
[0012] 指令还可使得应用处理器执行设备驱动器来从请求列表的一个或多个加速请求 中识别活动加速请求。
[0013] 指令还可使得应用处理器执行设备驱动器来：基于从由应用处理器执行的应用接 收的参数来创建新的加速请求；以及将新的加速请求存储在请求列表中。
[0014] 指令还可使得应用处理器执行设备驱动器来基于由应用提供的参数更新请求列 表的一个或多个加速请求之中的加速请求。
[0015] 指令还可使得应用处理器执行设备驱动器来从请求列表中删除一个或多个加速 请求之中的加速请求。
[0016] 指令还可使得应用处理器执行设备驱动器来从请求列表中识别所述加速请求之 中的与从请求列表中删除的加速请求不同的另一加速请求。
[0017] 根据本发明的一个实施例，一种用于控制系统中的视觉加速器的方法，该系统包 括：显示面板；触摸面板；耦合到触摸面板和显示面板的应用处理器；存储包括一个或多个 加速请求的请求列表的存储器；以及视觉加速器，该视觉加速器依据来自触摸面板的触摸 事件和来自应用处理器的配置参数来将来自应用处理器的视频图像与覆盖数据相组合以 生成组合图像并将组合图像提供给显示面板，该方法包括：由应用处理器识别请求列表的 一个或多个加速请求之中的活动加速请求，该活动加速请求与由应用处理器执行的应用相 关联；由应用处理器依据来自由应用处理器执行的窗口管理器的窗口布置数据确定显示面 板的活动屏幕区域；由应用处理器依据活动加速请求和活动屏幕区域生成配置参数；以及 由应用处理器将配置参数发送到视觉加速器。
[0018] 组合图像可包括与触摸事件相对应的线条。
[0019] 配置参数可包括颜色、宽度、逻辑描绘区域和/或压力设定，并且其中视觉加速器 被配置为依据配置参数来生成线条。
[0020] 该方法还可包括：从窗口管理器接收窗口事件；以及处理窗口事件以确定活动屏 幕区域。
[0021] 窗口事件可包括窗口平移、窗口缩放、窗口旋转和/或窗口焦点变化。
[0022] 该方法还可包括从请求列表的一个或多个加速请求中识别活动加速请求。
[0023] 该方法还可包括：基于从由应用处理器执行的应用接收的参数来创建新的加速请 求；以及将新的加速请求存储在请求列表中。
[0024] 该方法还可包括基于由应用提供的参数来更新请求列表的一个或多个加速请求 之中的加速请求。
[0025] 该方法还可包括从请求列表中删除一个或多个加速请求之中的加速请求。
[0026] 该方法还可包括从请求列表中识别所述加速请求之中的与从请求列表中删除的 加速请求不同的另一加速请求。
【附图说明】
[0027] 附图与说明书一起图示了本发明的示范性实施例并且与描述一起用来说明本发 明的原理。
[0028] 图1A是图示出包括触摸面板和显示器的示例计算设备的各种组件的示意性框 图。
[0029] 图1B图示了包括相关技术的触摸输入处理设备的设备的响应。
[0030] 图1C图示了包括根据本发明的实施例的触摸输入处理设备的设备的显示响应。
[0031] 图1D是图示出根据本发明的一个实施例的计算设备的示意性框图。
[0032] 图1E、图1F和图1G是在设备上描绘弯曲线条的描绘应用的示意性图示。
[0033] 图2是示意性图示出根据本发明的一个实施例的低延时视觉加速器的框图。
[0034] 图3是图示出根据本发明的一个实施例的系统的整体软件体系结构的框图。
[0035] 图4是图示出根据本发明的一个实施例的LLVA驱动器280的操作400的流程图。
【具体实施方式】
[0036] 在下列详细描述中，只是以例示的方式示出和描述了本发明的某些示范性实施 例。正如本领域技术人员将会认识到的，本发明可以以许多不同的形式来具体实现，而不应 当被解释为限于本文记载的实施例。贯穿说明书各处，同样的参考标记指定同样的元素。
[0037] 本文使用的术语只是为了描述特定实施例，而并不意图限制发明构思。如本文使 用的单数形式"一"、"一个"和"该"意图也包括复数形式，除非上下文明确地另有指示。还将 理解，术语"包括"和/或"包含"当在本说明书中使用时指明了所记载的特征、整体、步骤、 操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组 件和/或其群组的存在或添加。如本文使用的术语"和/或"包括相关联的列出项目中的一 个或多个的任意和所有组合。诸如"…中的至少一个"之类的表述当在元素的列表之前时 修饰整个元素列表，而不修饰列表中的个体元素。另外，在描述发明构思的实施例时对"可" 的使用指的是"发明构思的一个或多个实施例"。另外，术语"示范性"意在指示例或例示。 如本文使用的术语"使用"、可被认为与术语"利用"同义。当第一元素被描述为"耦合"或 "连接"到第二元素时，第一元素可直接"耦合"或"连接"到第二元素，或者一个或多个其它 居间元素可位于第一元素和第二元素之间。
[0038] 本发明的实施例通过在应用处理器渲染图像之前基于触摸位置显示图像来允许 用户感知到更快的触摸响应。
[0039] 为触摸界面设计的软件经常利用对伪"真实世界"物体的直接物理操纵的比拟和/ 或屏幕上路径的描绘来提供视觉反馈（例如，对于在挥扫型或基于手势的屏上键盘上手指 的踪迹、对于绘画或速写应用中的路径的踪迹、以及对于在游戏中描绘的路径）。
[0040] 移动电话的常见问题是用户界面（userinterface，UI)的滞后（或者滞后时间或 延时）。当前的移动电话响应于触摸动作通常要花50至200毫秒来更新显示。例如，在相 关技术的智能电话上测量到的对触摸事件的典型显示响应时间可大于100毫秒或者基于 60帧每秒（framespersecond，FPS)的刷新率可大致超过6帧视频图像，这是大部分用户 可以注意到的。
[0041] 在相关技术的基于触摸和触笔的描绘应用（例如，SMemo和Snote)中，触摸事件 通过多个阶段被输送到描绘应用270。例如，图1A是图示