交互式显示器的制作方法

移动电话、平板电脑、个人电脑(pc)、汽车娱乐系统、大型公用电器和许多其他设备通常配备有交互式显示器。这些设备将显示屏(诸如lcd、oled、等离子或电泳显示器)与输入系统(诸如触摸输入或笔输入系统)组合。输入系统识别输入对象(诸如接触或紧邻显示屏的用户手指或触笔)的存在。设备可以通过执行一个或多个功能来响应这样的输入，该功能可以包括改变显示屏上显示的内容。

一些设备试图基于来自用户的连续输入(诸如当用手指或触笔书写或绘图时，或者当在屏幕上拖动屏幕上的对象时)来实时更新显示器。

这种实时连续输入的用户体验通常不能令人满意，因为正在移动的输入对象与响应于该移动的屏幕内容更新之间存在明显的时间滞后(例如，大于50毫秒)。这种滞后可能使某些活动(诸如手写)不舒服或难以准确地执行。对于使用具有慢刷新速率的显示技术的设备(诸如电泳显示器(电子纸))而言，滞后尤其成问题。

已知通过基于输入对象的先前位置预测其未来位置并基于该预测预先更新显示来尝试降低这种滞后。

微软公司的us9,189,147b2描述了利用启发式技术使用基于触笔的可能方向的预测来绘制笔划墨迹的延伸，以确定可能的输入结果(例如，字符或其他对象)。

英伟达公司的us2015/062021a1描述了使用触摸事件的x-y位置、尺寸和压力以基于平均速度、预测方向和线曲率的计算来确定预测线。

本发明的发明人已经意识到可以改进这些方法。

根据第一方面，本发明提供一种控制交互式显示器的方法，该方法包括：

接收表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；

估计输入对象的速度和加速度；

基于输入对象的估计速度和估计加速度来预测输入对象的未来位置；以及

基于所预测的未来位置来更新显示器。

根据另一方面，本发明提供一种装置，包括：

交互式显示器；

位置传感器，用于生成表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；以及

处理系统，被配置为：

确定表示输入对象的速度的速度数据和表示输入对象的加速度的加速度数据；

基于表示输入对象的速度的数据和表示输入对象的加速度的数据来预测输入对象的未来位置；并且

基于所预测的未来位置来更新显示器。

因此，本领域技术人员将会看到，根据本发明，除了诸如输入对象的位置和速度的其他信息之外，估计并使用输入对象的加速度以确定应当如何更新显示器。

发明人已经认识到，即使在一个笔划内某些输入(诸如手写)也可以涉及输入对象的速度的显著变化，并且通过使用加速度，可以获得更准确的预测。这进而会获得主观上更好的用户体验。

优选地根据位置数据来估计速度。应当理解，速度和方向可以彼此分开确定。还应当理解，加速度可以是标量或矢量，并且可以是输入对象的完整加速度或特定方向(诸如输入对象的运动方向)上的加速度分量。表示输入对象的速度的数据可以是等于速度估计的二进制值，或者其可以是这种值的任何其他合适的表示--同样适用于表示输入对象的加速度的数据。数据可以存储在装置的存储器中--例如，存储在ram中。

速度和加速度估计可以各自是单个值，替代地，可以确定多个速度和/或加速度值。

在一组实施例中，根据位置数据来估计输入对象的加速度。这可以基于一系列位置中的一些或全部(例如，直到固定计数的最近位置，或者过去与固定时间窗内的时间相关的那些位置)来计算。加速度的分量可以在两个正交轴上计算--例如，x轴和y轴，这些轴可以对应于矩形显示屏的轴线。这可以通过根据位置数据计算每个轴上的位置的二阶导数来完成。

在将位置数据用于估计输入对象的速度和/或加速度之前，可以对位置数据进行平滑和/或去噪。这种平滑和/或去噪可以使用任何适当的技术来完成--例如，通过将递归贝叶斯滤波器或平滑(诸如卡尔曼滤波器)应用于位置数据。

在另一组实施例中，根据使用运动传感器获取的加速度数据来估计输入对象的加速度。在这种情况下，能够非常精确地确定估计加速度，其中该值基本上由传感器直接测量，而不是根据位置数据推断。运动传感器优选地与位置传感器分离。输入对象可以包括运动传感器。例如，加速度计可以内置在触笔或笔中，或者可以由人类用户佩戴或携带。输入对象可以包括输出(诸如无线通信单元)，用于将与输入对象的加速度有关的信息发送到装置。

可以使用适当的回归技术预测未来位置。可以使用以下任何一个或多个来预测：双指数平滑、高斯过程回归、神经网络、多层感知器、随机森林和支持向量回归。处理系统可以配置为通过将速度数据和加速度数据输入到多个算法中的每一个(例如，实现来自前述所列内容的相应技术或其他技术的算法)，并且通过处理估计未来位置的多个算法的输出，来预测输入对象的未来位置。算法可以实现不同的相应建模技术。

多个算法中的第一算法可以处理跨越第一时间间隔的速度数据和/或加速度数据，并且多个算法中的第二算法可以处理跨越比第一时间间隔长的第二时间间隔的速度数据和/或加速度数据。已经发现，当输入对象沿长笔划移动时(例如，当用户正在绘制图稿时)以及当输入对象沿短笔划移动时(例如，在手写期间)，使用至少一个相对短期模型和至少一个相对长期模型来提供输入对象的可靠运动跟踪。

每个算法可以输出相应的位置估计。处理系统可以使用空间平均处理或任何其他合适的处理来分析多个位置估计，以估计未来位置。

一组优选实施例使用高斯过程回归，其可以附加地输出置信度量。该置信度量可以有利地用于更新显示器和/或用于验证过程，如下所述。预测技术可以取决于通过分析历史输入数据而获取的训练数据。

对未来位置的预测可以取决于来自一个或多个其他传感器的另外的数据，诸如输入对象或交互式显示器中的压力或力传感器(其可以测量输入对象和交互式显示器之间的力的分量)和/或倾斜传感器(其可以确定输入对象和交互式显示器之间的角度)。已经发现这可以实现更高质量的预测。

使用与交互式显示器的位置传感器分离的传感器来预测输入对象的未来位置的构思本身是新颖的。因此，根据另一方面，本发明提供一种控制交互式显示器的方法，该方法包括：

接收表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；

从一个或多个传感器接收另外的数据；

基于位置数据和另外的数据两者来预测输入对象的未来位置；以及

根据所预测的未来位置来更新显示器。

根据另一方面，本发明提供一种装置，包括：

交互式显示器；

位置传感器，用于生成表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；以及

处理系统，被配置为：

基于位置数据和另外的数据两者来预测输入对象的未来位置；以及

基于所预测的未来位置来更新显示器。

在本发明的任何方面的一些实施例中，另外的数据可以涉及或表示输入对象的位置、运动、动量或状态。另外的数据可以包括表示输入对象的加速度和/或旋转和/或取向的数据。这样的数据可以从一个或多个传感器生成，这些传感器可以与用于生成位置数据的位置传感器分离。传感器可以例如形成输入对象和/或交互式显示器的一部分，并且可以包括以下中的一个或多个：加速度计、陀螺仪、罗盘、压力传感器、电磁线圈、天线、rf发射器、rf接收器和光传感器。

在一些实施例中，另外的数据可以间接地涉及输入对象的状态。另外的数据可以包括表示除输入对象之外的对象的位置、运动、动量或状态的数据。然而，该其他对象可以以某种方式(诸如通过物理连接)连接到输入对象。如果输入对象是触笔、笔或用户的手指，则其他对象可以是用户的手的一部分或全部，诸如手掌或手掌跟。在一些实施例中，相同位置传感器可以用于生成另外的数据，其可以表示除输入对象之外的对象的随时间的一系列位置。例如，电阻或电容触摸屏传感器阵列可以用于生成表示用户的指尖(或用户持有的触笔或笔)的随时间的位置的位置数据，和/或生成表示用户的手掌或手掌随时间的位置的另外的数据。这样的手位置数据可以提供关于输入对象的可能的未来运动的有用附加信息，并且因此提高预测引擎的准确性。

输入对象的预测位置通常是指与交互式显示器交互的输入对象的一部分(例如，用户指尖的中心或电磁触笔的尖端或线圈)的位置。应当理解，输入对象的其位置被预测的精确部分可以随时间改变--例如，如果用户在输入笔划期间将他或她的手指向左或向右滚动，则接触点将改变。

输入对象的速度和加速度可以有间隔地(可以是规则的或不规则的间隔)重复估计--即，以规则或不规则的更新周期来重复估计。可以在每个间隔或在间隔的子集上更新显示器--即，以规则或不规则的周期来更新显示器。替代地，可以以不同的间隔更新显示器，不一定与速度和加速度估计同步。与位置数据一样，速度和加速度优选地涉及输入对象在与交互式显示器交互的点处的移动。然而，在一些实施例中，输入对象的另一部分(例如，触笔的与其尖端相反的端部)的速度和/或加速度可以用于预测输入对象的未来位置。特别地，如果输入对象包括加速度计，则可以测量输入对象的加速度以确定加速度计在输入对象内的位置。

在一组实施例中，另外的数据包括压力数据，其可以从输入对象的压力传感器和/或从显示器的压力传感器生成。该压力数据可以用于缩放未来位置预测的积极性，例如，如果压力减小，则减少未来预测位置的数量。因此，处理系统可以配置为在连续的更新周期中生成随时间的未来位置估计的连续序列，并且可以配置为当压力数据表示第一压力时生成第一持续时间中的第一序列，并且当压力数据表示比第一压力小的第二压力时，生成比第一持续时间短的第二持续时间中的第二序列。每个序列的持续时间可以随压力单调增加。持续时间可以根据一个压力值来确定，或者其可以取决于随时间的一系列压力值--例如，当压力的一阶导数低于预定的负阈值水平时，持续时间可以减小。这些压力数据的使用可以是有用的，因为申请人已经意识到用户通常在笔划结束时减小他或她对输入对象的压力，因此当压力更小时减少未来预测位置的数量使得绘制线不太可能过头(overshoot)。

在一些实施例中，还估计输入对象的速度的二阶导数。该值称为加加速度。加加速度还可以用于预测输入对象的未来位置。

在一些更新周期中，可以基于估计速度和估计加速度来预测多个未来位置。在每个更新周期中预测的在未来位置集合中的未来位置的数量可以是固定的，但是优选地是可变的。处理系统可以基于位置数据(例如，基于输入对象的速度和/或加速度和/或加加速度)来计算要预测多少个未来位置。例如，当输入对象快速移动时，可以预测更多数量的未来位置，而当输入对象移动得更慢时，可以预测少量未来位置。

可以计算预测的一个或多个未来位置的置信度量(例如，通过预测过程的输出，如上所述)。该置信度量优选地表示输入对象确实如预测的那样移动的概率。置信度量的计算可以取决于通过对历史输入数据的分析而获得的训练数据。

可以在更新显示器之前平滑输入对象的预测的一个或多个未来位置。平滑优选地应用于位置数据(在去噪之前或之后)和预测的一个或多个未来位置的组合。可以使用任何适当的平滑操作--例如，递归贝叶斯滤波器，诸如卡尔曼滤波器。

当在一个更新周期中确定一个或多个未来位置的集合时，则在更新显示器之前，将验证过程应用于预测的未来位置(可选地在平滑之后)。验证过程可以使用速度、加速度、加加速度和置信度量(其不一定考虑速度或加速度)中的一个或多个，以针对一个或多个验证标准来评估未来位置的集合。如果验证过程失败，则处理系统可以预测更少数量的未来位置。对于更少数量的未来位置，这可以通过重复一个或多个回归和平滑步骤来完成。更短的预测通常会产生更确定的预测，因此更有可能通过验证过程。

置信度量也可以用于以其他方式更新显示器。例如，一些实施例可以控制在每个更新周期中预测的未来位置的数量，以给出满足质量标准的预测置信度，诸如至少是最小阈值置信度(例如，90％)，或者尽可能接近目标置信度(例如，90％)。

使用置信度量来控制交互式显示器的构思被认为本身是新颖的和具有创造性的。

因此，根据另一方面，本发明提供一种控制交互式显示器的方法，该方法包括：

接收表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；

基于位置数据预测输入对象的一个或多个未来位置的集合；

评估预测位置的集合的置信度量，该置信度量表示输入对象将移动到预测位置的概率；以及

基于预测的未来位置和置信度量来更新显示器。

根据另一方面，本发明提供一种装置，包括：

交互式显示器；

位置传感器，用于生成表示输入对象相对于交互式显示器的随时间的一系列位置的位置数据；以及

处理系统，被配置为：

基于位置数据预测输入对象的一个或多个未来位置的集合；

评估预测位置的集合的置信度量，该置信度量表示输入对象将移动到预测位置的概率；以及

基于预测的未来位置和置信度量来更新显示器。

在这方面或任何其他方面的一些实施例中，可以计算多个位置预测，并且可以针对每个候选未来位置确定置信度量的相应值。可以明确地计算置信度量(例如，存储在装置的存储器中的阵列中)，或者可以通过函数确定置信度量，该函数可以仅根据需要进行评估。位置预测可以全部涉及共同时间点，或者它们可以涉及一系列时间点。置信度量可以用于确定位置预测的集合中的哪些用来更新显示器。显示器的更新达到未来预测的程度可以取决于置信度量的一个或多个值--例如，当置信度低时，预测更新更短，而当置信度高时，预测更新更长。

在一些实施例中，置信度量可以用于从与公共时间点相关的多个未来位置中选择一个未来位置。然后可以使用所选择的未来位置来更新显示器。例如，可以选择具有最高置信度量值的未来位置。

在其他实施例中，空间平均操作可以应用于与公共时间点相关的多个预测的未来位置。置信度量也可以用作空间平均操作的输入。空间平均操作可以输出表示多个未来位置的平均值的单个未来位置--例如，其可以输出表示输入位置的几何中值的位置。可以根据相应置信度量来对平均操作进行加权--例如，其可以解决输入位置集合的韦伯问题或吸引-排斥问题。可以输出单个预测的未来位置，然后可以使用该位置来更新显示器。

更新显示器的方式取决于应用。

在一些实施例中，该装置可以用作绘图或书写平板电脑--例如，电子墨水设备。显示器可以示出表示输入对象随时间的实际和/或预测位置的一个或多个线段。每个线段优选地是连续的(在显示器的任何像素化的范围内)。可以通过以延伸段延长线段来基于预测的未来位置更新显示器。延伸段的形状、长度、位置、粗细和颜色中的任何一个或多个可以由预测的未来位置确定。

在其他实施例中，显示器可以示出基于一系列位置移动的图像，诸如图标或地图或窗口。在这种情况下，更新可以包括基于预测的未来位置来移动(即，在不同位置重绘)显示元素。

可以明确地计算一个或多个未来位置--例如，作为(x，y)坐标，其值存储在装置的存储器中。但是，它们可以在另一计算中隐式确定。类似地，可以明确地计算速度和/或加速度，或者可以作为由装置执行的计算的一部分隐式地确定速度和/或加速度。

在一些实施例中，可以在获得附加位置数据时校正显示器--例如，通过删除基于不正确预测的任何更新，并且使用实际位置数据更新屏幕--但是在其他实施例中，保留基于预测位置的更新。

该装置可以是任何电子设备，诸如移动电话、平板电脑、家用电器等。

显示器可以包括lcd、oled、等离子或电泳面板，或者可以使用任何其他适当的显示技术。位置传感器可以包括电阻膜传感器或电容输入传感器、表面声波输入传感器、电磁数字转换器或任何其他适当的触摸(包括接近)或位置检测技术。位置传感器优选地包括用于获取位置数据的电子电路--例如，一个或多个放大器、模拟-数字转换器等。

处理系统可以包括以下中的任何一个或多个：处理器、dsp、asic、易失性存储器、非易失性存储器、输入、输出等，如本领域技术人员将理解的。本文描述的一些或所有操作可以由存储在存储器中并在处理系统中的一个或多个处理器上执行的软件执行或在其控制下执行。该装置可以是单个单元，也可以是分布式的--例如，诸如在远程服务器上远程执行一个或多个操作。除非上下文要求，否则不必按照本文描述或要求保护的顺序执行操作。

在适当的情况下，本文描述的任何方面或实施例的特征可以应用于本文描述的任何其他方面或实施例。在参考不同的实施例或实施例集合的情况下，应当理解，这些不一定是不同的，而是可以重叠。

现在将参考附图仅通过示例的方式描述本发明的某些优选实施例，其中：

图1是体现本发明的带有触笔的平板电脑的平面图；

图2是平板电脑的示意性分解垂直截面图；

图3是平板电脑实现的步骤的流程图；以及

图4是由触笔绘制的线和未来预测位置的集合的示图。

图1示出便携式速写本或电子墨水平板电脑1，其具有电泳显示屏2。触笔3可以用于在平板电脑1上绘图或书写。

图2示出显示屏2的主要部件，其包括保护性丙烯酸外层4，其下方是光学透明的粘合层5，将外层4结合到电容式触摸膜6。电容式触摸膜6下方是电泳显示层7，再下面是电磁数字转换器8。

电容式触摸膜6将位置信息输出到微控制器单元(mcu)9。该信息通常涉及用户手指或手(或两者)的位置。

电磁数字转换器8布置成大约每6ms向mcu9输出触笔3的(x，y)位置坐标和压力测量值。电磁数字转换器8使用已知的电磁共振技术与触笔3通信以确定触笔3的位置。触笔3有间隔地向平板电脑1发送压力或力读数，指示触笔3尖端被按压到平板电脑1上的牢固程度。

mcu9可以通过向屏幕2发送适当的控制信号来控制电泳显示屏2的状态(输出)。在该示例中，屏幕更新速率是80hz(即，每12.5ms一次)。

在该特定示例中，用户利用触笔3进行绘图的显示屏2具有约70ms的固有更新延迟来响应来自触笔3的绘图输入。然而，期望所感知的延迟至少再减少15ms，以便大多数用户都不会觉察到延迟。

在一些实施例中，这通过从当前测量的位置样本集合中预测触笔3在时间上向前(约18ms)的电磁数字转换器8的三个样本的位置来实现。

在其他实施例中，mcu9的目标是最小化“白尾”中的像素数量，而不是总是预测接下来的三个样本，“白尾”是任何时刻触笔3的尖端和显示屏2输出的绘制线的端部之间的间隔。这就是用户实际观察到的“白尾”。当触笔3尖端快速移动时，与触笔3缓慢移动时相比，触笔3先于所绘制曲线之前更多像素。因此，速度可以是决定预测应当有多积极的因素。

图3示出mcu9在每个更新周期中执行的主要步骤。这里，更新周期速率对应于电磁数字转换器8的速率(约166hz)，显示器更新独立于此发生。然而，其他实施例当然可以使用不同的更新速率。

首先，从电磁数字转换器8收集(10)任何新的原始位置数据(由一对位置坐标、压力值和笔角度值组成)，并且将其添加到先前收集的位置数据的缓冲器中。

然后平滑(11)缓冲器中的位置数据。平滑可以应用于当前输入笔划中的所有位置数据。通过分析来自电磁数字转换器8的压力数据来确定输入笔划开始和结束：从低于或等于零到高于零的压力指示新线的开始，同时从高于零到低于或等于零表示该线的结束。距离和/或时间测量值可以附加地或替代地用于帮助识别各个笔划。

在一些实施例中，使用卡尔曼平滑器或滤波器或在其他实施例中使用样条平滑来执行输入笔划的平滑。可以替代地使用其他适当的平滑技术。这种平滑消除了原始数据中的噪声。

然后从经平滑的数据中提取(12)适当的特征。这些特征可以包括一个或多个位置坐标的序列、一个或两个维度中位置相对于时间的一个或多个一阶导数的序列、一个或两个维度中位置相对于时间的一个或多个二阶导数的序列、位置相对于时间的一个或多个三阶导数的序列和/或角度序列。

提取的特征被输入到预测-范围(prediction-horizon)步骤13，其确定输入对象的预测运动的超前距离。该确定可以基于诸如沿x轴和/或y轴的位置对时间的一阶、二阶和三阶导数的值，直到预测点。它还可以考虑来自后续处理步骤的验证结果，如下所述。例如，如果触笔3相对快速移动或者快速加速，则可以预测更少数量的时间步长(smallernumberoftimesteps)，以试图改善预测的质量。

然后，控制进行到预测步骤14，其基于经平滑的数据来预测未来坐标的序列。预测还可以使用其他信息源，诸如来自触笔3的压力数据和/或来自触笔3上的一个或多个加速度计和/或陀螺仪的数据和/或来自电容式触摸膜6的数据(例如，关于可以在用触笔3书写或绘图时放在平板电脑1上的用户的手的位置)。例如，在一些实施例中，如果压力数据指示压力减小，则预测更少数量的时间步长。

序列的长度取决于在先前步骤13中确定的时间步长的数量。预测基于平滑的位置数据，并且使用高斯过程回归(gpr)。替代地或附加地，可以使用其他预测机制，诸如支持向量回归、多层感知器、随机森林、循环神经网络等。

在一些实施例中，可以基于对显示器上的压力(来自电容式触摸膜6)和触笔3相对于平板电脑1的角度来估计用户的手的位置。在训练阶段期间，这些手的位置估计可以用于学习手在物理上能够做什么样的动作。在正常使用期间，手的位置估计用于基于先前或已学习的人的手如何工作的知识来提供对加加速度(加速度的变化)的更好估计。

然后验证(15)预测位置。这通过检查诸如在预测位置的一个或多个点处的速度--(x'，y')、加速度--(x”，y”)、x轴上的加加速度--x”'、y轴上的加加速度--y”'、轨迹角度的值是否在预定界限内来完成。如果预测步骤14输出置信度量，则这也可以用于验证过程15。如果预测位置被验证，则控制进行到后预测平滑步骤16。如果未被验证，则控制返回到预测-时域步骤13，具有生成更短预测时域的指令。然后在更短的时域上再次运行预测步骤14，并且在一个周期中执行另外步的验证15，直到获得有效的预测。

后预测平滑步骤16使用卡尔曼滤波器或平滑器、样条或任何其他适当的方法来平滑与原始数据组合的预测值(在第一平滑步骤11之前或之后)。

然后，mcu9使用后预测平滑的数据来更新电泳显示屏2。可能需要处理平滑的数据以适合屏幕分辨率--例如，使用最近邻算法--并且在渲染之前应用其他期望的操作，诸如抗锯齿。

在一些实施例中，mcu9尝试预测未来20ms，然后，如果验证失败，则在来自gpr的置信度为50-75％的情况下，尝试预测未来10ms，或者在来自gpr的置信度为0-50％的情况下，尝试预测未来5ms。在这种情况下，gpr可以在确定置信度时隐含地使用诸如速度变化的特征。

替代地，在另一组实施例中，mcu9使用gpr来提供满足预定置信水平(诸如90％)的最长预测时域。在这种情况下，单个预测操作有效地将图3的预测步骤14与预测-时域步骤13合并。如果验证(15)失败，则可以降低置信水平(例如，降低到75％)，并且gpr预测操作13、14再次进行，这次目的是使用满足75％置信水平的最长预测时域。随后的验证失败将导致使用的置信水平逐渐降低。

在一些实施例中，可以改变图3的步骤的顺序。可以包括其他步骤。可以省略一个或多个步骤。

图4示出示例性路径18，用户沿着该路径移动触笔3的尖端直到某个时间点。电磁数字转换器8已经有间隔地对该路径进行采样，因此mcu9可以访问存储在存储器中的该路径18的采样版本。

取决于mcu9在此时间点之前能够预测该路径18的精确程度，平板电脑1上显示的线可以或多或少地准确地表示该路径18。

在此该时间点，mcu9然后使用所收集的位置数据和任何其他相关的传感器数据(诸如来自触笔3的压力数据以及可能的来自触笔3的加速度计数据)，来使用上述步骤预测未来位置坐标19、20、21的序列。然后，mcu9指示电泳显示屏2渲染通过这些点的线。由于更新电泳显示屏2的延迟，所以触笔3将在渲染坐标19、20、21之前移动。如果预测是准确的，则触笔3将通过这些坐标19、20、21。如果用户不按预测移动触笔3，则渲染的线将是不准确的。然而，由于上述步骤，这通常不会以分散用户注意力的方式不准确。