具有非对称处理内核之间实时角色协商的可调节的触摸屏处理的制作方法
【专利说明】具有非对称处理内核之间实时角色协商的可调节的触摸屏 处理
【背景技术】
[0001] 诸如移动智能电话和平板设备之类的现代计算设备，可以使用触摸屏能力来收集 和处理用户触摸输入数据。这些触摸感应设备可以包含由触摸屏控制器进行管理的数百个 触摸传感器（或节点），其中触摸屏控制器对检测到的触摸输入进行处理，基于输入来执行 有关的命令。对触摸输入数据进行处理所需要的功率，可以与触摸屏的大小（即，面板大 小）成比例，因为较大的触摸屏具有较大的触摸节点容量。随着计算设备上的触摸屏尺寸 和保真度增加以及应用于这些设备的相应用户输入变得更加复杂（例如，实现多指触摸手 势），触摸屏控制器可能变得不足以令人满意地处理这些数据。例如，触摸屏控制器可能不 能够跟上屏幕上的多个和快速用户触摸（例如，软QWERTY(标准的传统键盘）键盘上的双 手多点触摸），这导致用户输入的遗漏和性能的下降，这两种情形都将影响用户体验。虽然 这些计算设备也包含其它处理器（特别是能够处理更多的资源密集型操作的主机或内核 处理器），但这些处理器通常具有高环境功率需求，并且不能够高效地进行触摸输入数据处 理。
【发明内容】
[0002] 各个方面提供了用于根据触摸屏输入的复杂度，选择性地使用触摸屏控制器或主 机处理器，对来自触摸屏的触摸输入数据进行处理的系统、设备和方法。一个方面的方法可 以包括：确定从所述触摸屏接收的触摸输入数据的复杂度；当所确定的复杂度在预先规定 的容许门限之内时，利用所述触摸屏控制器来处理所述触摸输入数据；以及当所确定的复 杂度超过所述预先规定的容许门限时，利用所述主机处理器来处理所述触摸输入数据，并 将所述触摸屏控制器置于低功率状态。此外，一个方面的方法还包括：当所确定的所述触摸 输入数据的复杂度下降到低于所述预先规定的容许门限时，将对所述触摸输入数据的处理 从所述主机处理器返回到所述触摸屏控制器。在一个方面，确定所接收的触摸输入数据的 复杂度可以包括：对触摸屏计算设备先前接收和处理的触摸输入数据的直方图进行评估， 其中，当所述直方图指示触摸输入数据的量在一段时间内快速改变时，和/或当所述直方 图表示触摸输入数据在一段时间内的均匀分布时，向所述触摸输入数据分配高复杂度值。 在一个方面，确定所接收的触摸输入数据的复杂度，包括对以下各项中的一项或多项进行 分析：在所述触摸输入数据中表示的所述触摸屏的区域；所述触摸输入数据的特性；存储 器访问；所述触摸屏控制器的空闲状态；在所述触摸输入数据中表示的触摸的快速性；触 摸动力学；随时间过去的服务质量估计。在一个方面，对所述预先规定的容许门限进行规 定，使得通过所述触摸屏控制器来处理具有低于所述预先规定的容许门限的复杂度的触摸 输入数据将产生可接受的用户体验。一个方面的方法还包括：基于对所接收的触摸输入数 据的分析，判断所接收的触摸输入数据是否是噪声；以及当确定所述触摸输入数据是噪声 时，忽略所接收的触摸输入数据，其中，噪声包括表示以下各项的数据：环境噪声、接近触摸 噪声、假触摸噪声和/或静态触摸噪声。一个方面的方法还可以包括：当没有接收到触摸输 入数据时，将所述触摸屏控制器置于低功率状态；以及当由所述主机处理器对触摸输入数 据进行处理时，将所述触摸屏控制器置于低功率状态。
[0003] -个方面的方法还可以包括：响应于确定所接收的触摸输入数据的复杂度超过所 述预先规定的容许门限，判断所述主机处理器是否可用于对所接收的触摸输入数据进行处 理。在该方面，当所确定的复杂度超过所述预先规定的容许门限时，利用所述主机处理器来 处理所述触摸输入数据，并将所述触摸屏控制器置于低功率状态可以包括：当所确定的复 杂度超过所述预先规定的容许门限并且确定所述主机处理器是可用的时，利用所述主机处 理器来处理所述触摸输入数据，并且将所述触摸屏控制器置于低功率状态。在该方面，基于 对以下各项中的至少一项的评估，来判断所述主机处理器是否是可用的：所述主机处理器 的工作负荷、可用的电池电量、所述主机处理器的休眠状态、所述触摸输入数据的复杂度、 以及对所述触摸输入数据是否是噪声的评估。一个方面的方法还可以包括：响应于确定所 述主机处理器不可用于对接收的触摸输入数据进行处理，配置所述触摸屏计算设备以使用 以下各项中的至少一项：增加的量化、增加的过滤、以及降低的扫描速率。在一个方面，判断 所述主机处理器是否可用于对所接收的触摸输入数据进行处理可以包括：当所确定的复杂 度超过所述预先规定的容许门限时，由所述触摸屏控制器向所述主机处理器发送用于接管 所述触摸输入数据的活动处理的请求；响应于从所述主机处理器接收到接受响应，确定所 述主机处理器是可用的；以及响应于从所述主机处理器接收到拒绝响应，确定所述主机处 理器是不可用的。
[0004] 在一个方面，一种装备有触摸屏的电子设备可以包括：触摸屏显示器、触摸屏控制 器和耦接到所述触摸屏显示器和所述触摸屏控制器的主机处理器，其中，所述触摸屏控制 器和所述主机处理器被配置为执行上面所描述的方面的方法的操作。在另一个方面，一种 装备有触摸屏的电子设备可以包括：用于执行上面所描述的方面的方法的功能的单元。在 另外的方面，一种非临时性处理器可读存储介质可以存储有处理器可执行指令，其中该处 理器可执行指令被配置为使得触摸屏控制器和主机处理器执行上面所描述的方面的方法 的操作。
【附图说明】
[0005] 被并入本申请并且构成本说明书一部分的附图，示出了本发明的示例性方面，并 且连同上面给出的概括描述以及下面给出的详细描述一起来解释本发明的特征。
[0006] 图1是示出了适合于结合各个方面使用的触摸屏设备的组件框图。
[0007] 图2是示出了用于触摸屏计算设备处理触摸输入数据的一个方面的方法的过程 流程图。
[0008] 图3是示出了用于触摸屏计算设备检测噪声数据的一个方面的方法的过程流程 图。
[0009] 图4是示出了用于触摸屏计算机设备评估直方图数据，以判断触摸输入数据对于 触摸屏控制器进行处理来说是否太复杂的一个方面的方法的过程流程图。
[0010] 图5是示出了用于触摸屏计算机设备评估触摸输入数据以确定复杂度的一个方 面的方法的过程流程图。
[0011] 图6是示出了用于触摸屏计算机设备判断主机处理器是否可用于处理触摸输入 数据的一个方面的方法的过程流程图。
[0012] 图7是示出了用于触摸屏计算机设备以信号形式告知各个处理器处理触摸输入 数据的一个方面的方法的过程流程图。
[0013] 图8是适合于结合各个方面使用的示例性无线平板设备的组件框图。
[0014] 图9是适合于结合各个方面使用的示例性无线移动计算设备的组件框图。
【具体实施方式】
[0015] 现在参照附图来详细地描述各个方面。在任何可能的情况下，贯穿附图使用相同 的附图标记来指代相同或者类似的部件。对于特定示例和实施例的引用只是用于说明目 的，而不是旨在限制本发明或者权利要求的保护范围。
[0016] 本申请所使用的"示例性的"一词意味着"用作示例、实例或说明"。本申请中描述 为"示例性"的任何实施例不应被解释为比其它实施例更优选或更具优势。
[0017] 本申请所使用的术语"移动设备"指代下面中的任何一种或全部：蜂窝电话、智能 电话、个人或移动多媒体播放器、个人数据助理（PDA的）、膝上型计算机、平板计算机、智能 本、掌上型计算机、无线电子邮件接收机、具备多媒体互联网能力的蜂窝电话、以及包括可 编程处理器、存储器、触摸屏显示器和触摸屏控制器电路的类似个人电子设备。
[0018] 触摸屏显示器变成用于计算设备（特别是移动设备）的最通用形式的用户接口中 的一种。触摸屏显示器被配置为检测显示器上的用户触摸（例如，通过指尖或特殊的指示 器尖端进行的），以及产生可以由触摸屏控制器处理的信号以识别该触摸在显示器上的位 置。随后，用户接口软件将该触摸位置信息处理成针对移动设备的用户输入。为了便于引 用起见，本申请将触摸屏显示器上的用户触摸称为"触摸输入"，本申请将触摸屏显示器响 应于用户的触摸所产生的信号称为"触摸屏触摸输入"，并且本申请将触摸屏触摸输入中包 含的信息（即，触摸屏电路所产生的原始数据）称为"触摸输入数据"。
[0019] 各个方面包括用于使装备触摸屏的计算设备能够选择性地使用高效但有限的触 摸屏控制器（图形中的"TSC"）或者具有增加的资源的主机处理器来响应于用户的触摸以 处理从触摸屏显示器接收的触摸输入数据的方法。在触摸屏控制器和主机处理器之间转移 对于触摸输入数据的处理的过程，可以称为"角色协商"。当触摸输入数据具有压倒触摸屏 控制器的处理能力的复杂度时（即，触摸输入数据对于触摸屏控制器来说太复杂），可以发 生角色协商以便将触摸输入数据的处理转移到主机处理器（或者位于多核主机处理器中 的内核），直到触摸输入数据的复杂度减小到触摸屏控制器可以对该数据进行处理的程度 为止。通过将触摸输入数据的处理转移到主机处理器，可以在不具有负面性能影响或者下 降的用户体验的情况下，对复杂的触摸屏触摸输入（例如，多指移动手势）进行处理。由 于，复杂触摸屏触摸输入的频率和持续时间通常较低（这是由于用户很少会在触摸屏计算 设备上参与复杂的多触摸操作），因此将复杂触摸输入数据的处理临时地转移到主机处理 器而对电池寿命造成的影响，预计非常轻微，并且不会影响用户体验。
[0020] 通常，随着触摸屏计算设备从用户接收到触摸输入（例如，手指敲击、滑动、触控 笔的相互作用和多点触摸夹捏），触摸屏控制器可以对触摸输入数据进行评估，以确定输入 的复杂度。输入复杂度可以取决于触摸的数量、区域和/或快速性。例如，触摸屏控制器可 以确定来自用户的单一敲击输入具有普通复杂度，以及快速的多点触摸敲击（例如，打字 或者手指绘画）具有较高复杂度或者具有较高复杂度值。触摸屏控制器可以将所确定的复 杂度水平或者复杂度值与反映该触摸屏控制器的处理能力和/或状况的容许门限进行比 较。确定的位于容许门限之内的触摸输入复杂度值，可以由触摸屏控制器以典型方式进行 处理，这是由于触摸屏控制器很可能能够对该触摸输入数据进行处理，并维持可接受的用 户体验。然而，如果所确定的复杂度值超过可接受的容许门限（即，触摸输入数据对于该触 摸屏控制器来说太复杂），则可以将该触摸输入数据的处理转移到主机处理器，所述主机处 理器具有明显更大的计算能力，因此能够应付对该复杂的触摸输入数据的处理。
[0021] 触摸输入数据的复杂度判断可以基于多种因素，其包括先前检测到的（和处理 的）触摸输入数据。在一个方面，触摸屏控制器可以检查用于描述在一段时间以来（例如， 前300毫秒）所接收的和/或所处理的触摸输入数据的图表或直方图。触摸屏控制器可以 分析所接收的触摸输入数据中的趋势，以评估当前触摸输入数据的典型性。在检测到触摸 输入数据的特性、量或质量发生动态改变的情况下，触摸屏控制器可以认识到当前接收的 触摸输入数据呈现出高复杂度。在另一个方面，触摸屏控制器可以对触摸屏控制器的空闲 时间百分比进行评估，以确定触摸输入数据的复杂度，类似于动态时钟电压调节（DCVS)算 法如何工作。在其它方面，触摸输入数据复杂度判断可以是基于：在一段时间中记录的本地 存储器访问的量、与归一化简档相比的检测到的触摸输入的数量、触摸输入特性（例如，触 摸设备类型、用途、尺寸、准确性、线性度等等）、触摸动力学（例如，方向、速度和3D触摸处 理等等）、以及随时间过去的服务质量估计（例如，分辨率、响应时间等等）。在一个方面， 触摸屏控制器、与触摸屏控制器相关联的组件和/或主机处理器可以执行一些操作，来确 定触摸输入数据复杂度。
[0022] 在一个方面，当检测到的触摸输入数据的复杂度超过预先规定的复杂度容许门限 时，触摸屏控制器可以发送用于使主机处理器开始接受和处理该触摸输入数据的信号。如 果主机处理器碰巧处于低功率状态，则触摸屏控制器还可以发送用于使主机处理器离开低 功率状态（或休眠状态）的信号。一旦处于活动状态（或者苏醒状态），则主机处理器可以 处理该触摸输入数据，同时触摸屏控制器转换到高效的、低功率休眠状态以节省电池电量。 如果主机处理器在规定的采样时间之内，停止接收触摸输入数据（其可以指示用户输入已 结束或者暂停），或者如果主机处理器确定所接收的触摸输入数据的复杂度已下降到低于 复杂度门限，使得触摸屏控制器可以应付工作负荷，则主机处理器可以将触摸输入数据的 处理返回给触摸屏控制器。
[0023] 在一个方面，在从触摸屏控制器接收到用于处理接收的触摸输入数据的请求时， 主机处理器可以独立地确定该触摸输入数据的复杂度的水平和/或主机处理器的操作状 态（例如，当前工作负荷）。当主机处理器确定该触摸输入数据适合于在该主机处理器上 处理时（例如，该主机处理器是可用的，并且该触摸输入数据对于由触摸屏控制器进行处 理来说太过复杂），则主机处理器可以向触摸屏控制器发送接受信号。另外，主机处理器也 可以拒绝触摸屏控制器的针对由该主机处理器处理复杂的触摸输入数据的请求（例如，发 送拒绝信号）。例如，主机处理器不堪更高优先级的计算的重负。当主机处理器不可用时 (例如，主机处理器没有完全地离开休眠状态，触摸屏计算设备的电池具有少量的剩余电量 等等），触摸屏控制器可以继续对复杂的触摸输入数据进行处理。然而，触摸屏控制器可能 对复杂的触摸输入数据进行不太准确和/或更加慢速地处理（这是由于该复杂的触摸输入 数据超过了触摸屏控制器的处理能力）。在一个方面，触摸屏控制器可以被配置为继续对于 已经降阶或者简化的复杂触摸输入数据进行处理。例如，当确定触摸输入数据对于触摸屏 控制器来说太过复杂，并且主机处理器不可用时，触摸屏控制器可以增加量化器所使用的 参数，其可以通过降低数据的保真度来使触摸输入数据简化。当主机处理器不可用时，和/ 或直到主机处理器准备好对该复杂的触摸输入数据进行处理为止，触摸屏计算设备可以使 用量化器、水平和垂直积分器来调节复杂的触摸输入数据，以生成分辨率或者服务质量降 低的触摸输入数据。
[0024] 在一个方面，触摸屏控制器还可以分析触摸输入数据，以评估该触摸输入数据是 否指示噪声或者无意的触摸输入（其是触摸屏控制器和主机处理器二者均应当忽略的状 况）。噪声（或者噪声触摸输入数据）可能是不稳定的信息，其不表示有效的触摸输入数 据，而是多余的或无用的数据。例如，触摸屏控制器可以确定一些快速的敲击触摸输入是噪 声，因此其并不对应于有效的用户触摸输入。再举一个例子，如果用户将他的整只手都放置 在触摸屏上，则触摸屏控制器可以将其识别成误报。触摸屏控制器对于噪声和有效的触摸 输入数据二者的区分，可以防止主机处理器的不必要使用，并因此可以防止不必要的功耗。
[0025] 图1是适合于结合各个方面使用的触摸屏计算设备100的组件框图。触摸屏计算 设备100可以是连