专利名称：多触摸追踪的制作方法
技术领域：
本发明涉及追踪邻近二维(2D)触摸面 板的多个同时触摸。
背景技术：
基于电容性感测的2D触摸面板广泛地用于各种应用中。通常，2D触摸面板由手指直接接触或通过接近(即，不接触)而致动。有时使用手写笔来替代。举例来说，2D触摸面板用作膝上型计算机的触摸垫，用于家庭器具(例如微波炉及炉灶面)的控制面板，及用作手持式装置(例如移动电话)上的显示器的覆盖层。此项技术中已知许多其它应用。对于一些应用，2D触摸面板经设计以能够同时检测两个或两个以上触摸，此能力在此项技术中通常称为“多触摸”。举例来说，如众所周知，传统上计算机由鼠标控制，所述鼠标组合两个或三个传感器，即，用于光标运动的追踪球及用于选择光标位置处的图标的两个按钮。因此，鼠标组合通过鼠标装置的移动的光标运动及用于致动左鼠标按钮及右鼠标按钮的两个手指动作。在膝上型计算机中，鼠标功能由具有邻近按钮的触摸垫提供。用户通过在触摸垫区域上滑动一个手指来移动光标，且通过用他或她的拇指或一个或两个其它手指致动两个“鼠标”按钮来选择图标等等。需要多个同时手指输入的装置的另一实例是手持式游戏控制台，其中左手拇指及右手拇指通常用于控制装置的不同功能，或共同地控制相同功能。用于飞行中娱乐系统的控制器通常具有类似操作模式。最近，2D触摸面板已经编程以辨识多触摸笔势，例如拇指及食指的挤捏。更经典的实例将是音乐键盘，其中弹奏弦使用现代行业说法可称为多触摸笔势。通常，邻近触摸面板的触摸是在由可为固定或可变的时间间隔分离的一系列时间帧上获得，即轮询或取样。在对触摸面板进行取样的每一时间间隔处，获得每一所检测触摸的坐标集合。用于同时检测多个触摸的现有技术方法论述于(例如)US 5，825，352[1]、US 6，888，536 [2]或US 2006/0097991 [3]中。这些技术用于检测及处理传感器阵列上的多个同时触摸，以使得(例如)第一手指可用于控制光标(类似于膝上型计算机上的常规触摸垫)且第二手指可用于提供致动(类似于邻近于触摸垫所提供的常规机械按钮)。除了能够在单个帧中同时检测两个或两个以上触摸以外，还必需将在触摸面板的一个样本时间帧中所检测的触摸追踪到下一样本时间帧。此可用于使用独立触摸面板或并入到显示器中的触摸面板在轨迹垫上提供笔势或跨越所述显示器移动光标。一种用于追踪多个触摸的方法先前已在我们的未公开的美国专利申请案 60/949, 376[4]中提出。下文描述用于追踪邻近触摸面板的两个触摸的实例性方法。举例来说，在触摸面板上的第一时间帧(tl)中的两个位置处感测两个触摸且在给定时间间隔之后，在第二时间帧(t2)中的两个位置处感测两个触摸。为确定在时间tl处的哪一触摸追踪到在时间t2处的哪一触摸，计算出在触摸位置之间的所有可能路径的路径长度。组合中的每一者的总距离通过使用四个触摸位置的χ及y坐标来找出。具有最低距离值的组合表示两个物件的最小追踪距离，其被视为追踪所述两个物件的最可能组合。然而，当追踪邻近触摸面板的物件时，可应用一个物件可从一个位置追踪到另一位置所越 过的最大容许追踪距离。举例来说，如果在一个时间间隔处在位置传感器上检测到第一触摸且接着在下一时间间隔处检测到第二触摸，但在所述两个触摸之间的距离高于预定最大距离，那么将所述第二触摸视为新物件而非从第一触摸位置移动的同一物件。上文所述的追踪算法可扩展到较高数目个触摸，但'η'个触摸所需的计算数目为η ！因此，随着触摸数目的增加尤其是在将使用微控制器的情况下追踪触摸在计算上变得困难。当多个触摸比其从帧到帧的移动距离更靠近在一起时，追踪算法也将失灵，因为结果将取决于处理触摸坐标的次序。用于追踪邻近触摸2D接近传感器阵列的多个物件的现有技术方法论述于US 6，888，536[2]中。使用从先前图像测量的路径位置及速度沿现有轨线预测表面触点的当前位置。找到每一触点群组的最靠近活动路径且记录沿所述活动路径的距离。将每一触点群组与其最靠近路径配对，只要其之间的距离小于追踪半径。将未与活动或最近经去启动路径配对的任一群组分配为新路径，从而表示表面上的新手指的触摸。将无法与群组配对的任一活动路径去启动，从而表示从表面的举离。此方法使用需要数字信号处理器或微处理器的全标量数值处理，且超出微控制器的能力。因此需要一种可在具有有限处理能力及存储器容量的微控制器或其它集成电路装置上实施的可靠多触摸追踪算法。
发明内容
根据本发明，提供一种随着时间追踪多个触摸的方法，其中针对每一时间帧提供触摸数据集合，每一触摸数据集合一般来说包括多个触摸坐标，且每一触摸坐标界定触摸， 所述方法包括a)针对第一及第二时间帧提供第一及第二触摸数据集合；b)确定第二时间帧中的最靠近第一时间帧中的触摸中的每一者的触摸，且计算在每一此触摸对之间的间隔；c)以具有最小间隔的触摸对开始，证实每一对直到在所述第二时间帧中的所述触摸已经针对其配对的触摸之间尝试配对；d)因此，通过在必需的情况下重新应用步骤b)及C)多次来重新处理来自所述第一及第二触摸数据集合的至今尚未配对的触摸。因此，将来自所述第一及第二时间帧的触摸根据其相互接近度在步骤b)中临时地配对，且接着在步骤C)中确认或证实此配对，除非其将导致涉及在所述第二时间帧中的已经配对的触摸的重复或退化配对。描述此途径的另一方式是观察所述第二时间帧中的触摸是否最靠近所述第一时间帧中的两个或两个以上触摸，所选择的配对是否是具有最小间隔的一个配对。
时间次序是任意的，此意指所述两个时间帧中的较早者或所述两个时间帧中的较晚者的坐标可用作距离计算的基础。在此点上，应注意，在本发明的以上定义中对第一及第二时间帧的提及并不暗示第一时间帧为比第二时间帧早的时间帧(或晚的时间帧)。两种可能性均归属于本发明的范围内。明显地，所述方法避免了计算在多个触摸位置之间的所有可能路径的间隔距离的需要，且替代地仅当需要防止一个时间帧中的单个触摸与另一时间帧中的多个触摸配对时使用选择性重新计算。所述方法还避免了复杂的代数及浮点运算，且具有极小存储器要求， 因为所有处理基于仅比较两个触摸数据集合且不涉及依据多个在前时间帧而进行的任何路径预测或历史速度考虑。 所述方法优选经实施以使得在临时配对的触摸之间的距离超过阈值距离的情况下不进行配对。在此些情况下，所述触摸被视为单独致动而非单个移动致动。举例来说，在步骤C)中，如果临时配对的触摸之间的距离超过阈值距离，那么配对未通过证实。更优选地，如果具有最小间隔的触摸对(即，最靠近对)分离大于所述阈值距离，那么在第一与第二触摸数据集合中的触摸之间不会再寻求到配对。本发明还涉及一种用于处理触摸数据以随着时间在连续时间帧之间追踪多个触摸的装置，其中所述装置经配置以执行根据本发明的以上所定义的方法及在实施方式中描述的进一步定义的方面中的任一者。所述装置优选为微控制器，或至少包括微控制器。所请求的发明的优势是可使用几个简单计算及较少计算时间在轮询循环或时间帧之间追踪邻近触摸面板的物件。因此，本发明提供可靠多触摸追踪算法，其充分简单以在具有有限处理能力及存储器容量的微控制器或其它集成电路装置上实时运行。所述多触摸追踪算法优选托管于微控制器上的非易失性存储器中。在操作期间，所述微控制器会将数据以触摸坐标形式将输出到输出端口，所述触摸坐标按照通过本发明的方法获得的所追踪触摸排序或通过所述所追踪触摸标记。因此从微控制器接收输出的较高级系统组件接收经预处理的触摸数据而非需要预处理的原始触摸数据以确定哪些帧中的哪些触摸彼此相关联。依据所属领域的技术人员的一般常识将理解，微控制器是集成电路，其含有微处理器系统的基本操作单元以允许自治功能，即微处理器、易失性及非易失性存储器及输入 /输出功能，但与个人计算机中使用的当前技术水平的中央处理单元(CPU)、图形处理单元 (OPU)或数字信号处理器(DSP)的状态相比，其集成规模且因此成本及电力消耗低若干数量级。微控制器用于实时地执行小的控制程序(例如本发明的方法)，且自治地或独立地操作以实施其指定功能。所述控制程序通常存储于非易失性存储器中的微控制器上(即，作为固件)。特定来说，本发明的触摸追踪算法可存储于主机微控制器及其它装置上的非易失性存储器中。如果需要，那么还可将较高级笔势处理并入于微控制器或其它装置中，例如用于识别以下笔势中的任一者轻敲、两次轻敲、按压、轻弹、拖、挤捏、伸展或旋转。
为更好地理解本发明并显示可如何实施本发明，现在以实例方式参考附图，附图中图1是根据本发明实施例的电容性位置传感器阵列及所连接电路的示意图。图2A到2D示意性地显示一系列矩阵类型触摸面板，其图解说明如何将邻近触摸面板的来自两个顺序时间帧的多个触摸从一个时间帧追踪到下一时间帧； 图3是本发明的实施例的过程的流程图；及图4是根据本发明另一实施例的电容性位置传感器阵列及所连接电路的示意图。
具体实施例方式图1是图解说明根据本发明实施例的提供二维电容性变换传感器布置的触敏矩阵的电路图。图1中所示的触摸面板具有4个行电极及4个列电极。应了解，可根据需要来选择列及行的数目，另一实例是十二个列及八个行或任一其它可行数目个列及行。通过延伸适合形状及尺寸的电极将感测节点阵列容纳于衬底(例如玻璃面板)中或其下方。所述感测电极界定可在其内确定物件(例如，手指或手写笔)到传感器的位置的感测区域。对于其中传感器上覆于显示器(例如液晶显示器(LCD))上的应用，衬底可为透明塑料材料且电极由使用常规技术沉积于衬底上的氧化铟锡(ITO)的透明膜形成。因此，所述传感器的感测区域为透明的且可放置于显示屏幕上方而不会使在所述感测区域后显示的内容模糊。在其它实例中，所述位置传感器可不既定安置于显示器上方且可不为透明的；在这些例示中，举例来说，可使用更经济的材料(例如，铜层压印刷电路板(PCB))来替换ITO层。关于衬底上的感测电极的图案，存在可观的设计自由度。重要的是其将感测区域划分成布置成行及列的感测单元阵列(栅格)。(应注意，术语“行”及“列”在此处用于在两个方向之间进行方便的区分且不应理解为暗指垂直定向或水平定向。)举例来说，一些实例性电极图案揭示于US 2008/0246496 Al [7]中，其内容以全文引用方式并入本文中。所属领域的技术人员应认识到，图2中所图解说明的传感器为有源类型，即，基于测量两个电极之间(而非在单个感测电极与系统接地之间)的电容性耦合。作为有源电容性感测技术的基础的原理描述于US 6，452，514 [6]中。在有源类型传感器中，向一个电极(所谓的驱动电极)供应振荡驱动信号。所述驱动信号到所述感测电极的电容性耦合度是通过测量由所述振荡驱动信号转移到所述感测电极的电荷量来确定。所转移的电荷量 (即，在所述感测电极处所经历的信号的强度)是所述电极之间的电容性耦合的量度。当靠近所述电极不存在任何指向物件时，所述感测电极上的所测量信号具有背景值或静态值。 然而，当指向物件(例如用户的手指)接近所述电极(或更特定来说接近靠近分离所述电极的区)时，所述指向物件充当虚拟接地并吸收来自所述驱动电极的驱动信号(电荷)中的一些信号。此用来减小驱动信号的耦合到所述感测电极的分量的强度。因此，用所述感测电极上的所测量信号的减小来指示指向物件的存在。所图解说明的m χ η阵列为4 χ 4阵列，其包括4条驱动线(在下文中称为X线) 及4条感测线(在下文中称为Y线)。在图解说明中X线与Y线交叉处存在感测节点205。 实际上，X线与Y线位于触摸面板的由电介质分离的不同层上，使得其电容性耦合，即非欧姆接触。在每一节点205处，X线与Y线的邻近部分之间形成电容，此电容在此项技术中通常称为Ce或(；，实际上是耦合电容器。致动主体(例如，手指或手写笔)的存在具有引入分路电容的效应，接着所述分路电容由等效接地电容器经由所述主体接地到接地或大地。因此，所述主体的存在影响从耦合电容器的Y侧转移的电荷量且因此提供检测所述主体的存在的方式。此是因为每一感测节点的X与Y “板”之间的电容随着由触摸所引起的接地电容增加而减小。在此项技术中此是众所周知的。在使用中，依次驱动X线中的每一者以从传感器阵列获取全数据帧。为此，控制器 118 经由控制线 103. 1、103· 2、103· 3 及 103. 4 致动驱动电路 101. 1、101. 2、101. 3、101. 4 以依次驱动X线中的每一者。到所述驱动电路的另外控制线107提供输出启用以使输出浮动到相关X线的X板。对于每一 X线， 电荷被转移到连接到所述Y线中的相应Y线的相应电荷测量电容器C 112. 1、112.2、112.3、112.4。在由控制器控制的开关的作用下，发生电荷从耦合电容器205到电荷测量电容器C的转移。为简单起见，图解说明所述开关或其控制线。可在US 6,452, 514[6]及W0-00/44018[8]中找到另外的细节。电荷测量电容器C 112. 1、112. 2、112. 3、112.4上所保持的电荷可由控制器118经由相应连接线116. 1、116.2、116.3、116.4通过在控制器118内部的模/数转换器(未显
示)来测量。关于此矩阵电路的操作的更多细节揭示于US 6，452，514[6]及W0-00/44018[8]中。所述控制器可为单个逻辑装置，例如微控制器。所述微控制器优选可具有推拉型 CMOS引脚结构。必需功能可由单个通用可编程微处理器、微控制器或其它集成芯片(例如现场可编程门阵列(FPGA)或专用集成芯片(ASIC))提供。图2A到2C显示在一连串时间帧、、t2、t3及t4期间在触摸面板上多个触摸的演进。图2A与时间帧、及t2相关，图2B与时间帧t2及t3相关，且图2C与时间帧t3及t4相关。应注意，图2A到2C中所示的触摸面板具有8 χ 12电极阵列，而非图1中所示的5 χ 3 电极阵列。此对于操作原理无关紧要。特定来说，下文所描述的算法可应用于具有任意数目个传感器节点的触摸面板。为简化下文中的解释，将触摸坐标视为在传感器节点处，即在χ与y电极之间的交叉点处。然而，应了解，如在此项技术中周知，实际上通常应用后处理以在从邻近邻接节点群组获得的信号之间进行内插，借此产生位于节点位置中间的触摸坐标。使用两个不同符号显示图2A到2C中所示的触摸位置，其中使用十字表示先前触摸且使用圆圈表示当前触摸。应了解，可检测到更多或更少的触摸。还应了解，可使用US 5，825，352[1]、US 6，888，536 [2]或US 2006/0097991 [3]中所揭示的方法中的一者或为所属领域的技术人员已知的任何其它方法找出邻近触摸面板的物件的坐标以确定同时邻近触摸面板的多个物件的坐标。在当前技术的情况下，具有多触摸能力的电容性传感器的典型面板将具有大约在 3x4与12x12个节点之间的矩阵，其中趋势是此数目正稳定地增加，使得可预期在不久的将来多达20x20个节点。现将参照图2A到2C使用图3来描述如何将多个触摸从一个时间追踪到下一时间。
图3显示本发明实 施例的算法的流程图。图1中所示的主机控制器109用于施加所描述的算法。现描述图3中所示的算法。在描述详细过程流程之前，应注意，本发明的追踪过程实质上是两阶段过程，其中在第一阶段中将先前触摸与当前触摸临时配对，且在第二阶段中，依据是否检测到任何冲突，确认或丢弃所述临时配对中的每一者。接着，通过相同基本过程重新处理属于所丢弃临时配对的触摸坐标，且对此进行重复多达完全处理触摸数据所需的次数。因此，对渐进变小的触摸数据集合的子集重复实施所述基本过程。术语“先前触摸”将在通篇中用来识别在先前时间帧中检测的触摸。术语“当前触摸”将在通篇中用来识别在当前时间帧中检测的触摸。术语“触摸数据集合”用来描述从触摸屏的单个帧或样本输出的触摸坐标，因此本发明的过程通过共同处理先前触摸数据集合与当前触摸数据集合而操作。术语“临时配对”将在通篇中用来指示在过程的第一阶段中所识别的配对，且术语 “配对”通常将用来指示在过程的第二阶段中已确认或证实的配对。术语经确认配对或经证实配对或类似术语可偶尔用来强调与临时配对的区别。所述过程在每一当前触摸与其最靠近先前触摸之间进行临时配对。鉴于此规则， 应理解，在先前与当前触摸之间一般来说将不存在一对一映射。举例来说，特定当前触摸可比任一其它当前触摸更靠近两个不同先前触摸。现参照图3描述所述过程。在步骤302中，轮询触摸面板的处理器以获得邻近所述触摸面板的任何触摸的坐标。这是第一次轮询所述触摸面板，因此这些均被视为“新”触摸。术语“新触摸”将在通篇中用来识别未存在于先前时间帧中的邻近触摸面板的任何触摸。在步骤304中，在过去预定时间之后轮询所述处理器以找到另一触摸坐标集合。 所述预定时间通常为10ms，但可在Ims到Is的范围中。在步骤306中，轮询触摸面板的处理器以获得邻近所述触摸面板的任何触摸的坐标。一旦已针对两个连续时间间隔获得了两个触摸坐标集合，则追踪邻近于所述触摸面板的触摸。在步骤308中，产生含有与相应当前触摸临时配对的未配对先前触摸中的每一者的列表或表。通过间隔距离对所述列表进行排序以使得在其之间具有最短距离的临时配对的先前触摸与当前触摸出现在所述列表的顶部且离得最远的那些临时配对出现在所述列表的底部。在步骤310中，选择所述列表中的第一先前触摸，根据定义其将是未配对的。(然而，对于步骤310在过程流程中之后续遍历，情况通常将非如此。)忽视已经配对(即，确认为配对的)的所有先前触摸。在步骤312中，检查当前触摸是否已经与在列表的较高位置处的另一先前触摸 (即，较靠近其的一个触摸)配对。如果存在此较靠近配对，那么所述列表需要对从列表的目前一个配对到底部(即，最远的配对)的所有配对进行重新计算，在此情况下，过程将去往步骤308，其中产生所有未配对触摸的新列表。如果临时配对的当前触摸尚未与另一先前触摸配对，那么过程移到步骤314。在步骤314中，将临时配对的先前触摸与当前触摸配对，即，确认或证实其配对。
在步骤316中，对当前触摸中的每一者进行搜索以确立当前触摸中的任一者是否尚未与先前触摸配对。如果不再存在尚未配对的当前触摸，那么过程去往步骤320。如果存在剩余的未配对的当前触摸，那么过程去往步骤318。在步骤320中，将尚未与当前触摸配对的任何剩余的先前触摸视为已被丢弃。术语“已丢弃”意指在先前时间帧中的邻近触摸面板的物件在当前时间帧中不再邻近触摸面板，即已举离。在步骤318中，针对任何未配对的先前触摸对先前触摸进行搜索。如果存在剩余的未配对的先前触摸，那么过程去往步骤310，因为仍存在未配对的先前触摸及当前触摸。 然而，如果不存在未配对的先前触摸，那么过程去往步骤322。在步骤322中，将尚未配对的任何剩余的当前触摸标示为新触摸。在步骤320及322之后，过程去往步骤324，其中出于追踪目的输出配对的触摸坐标。在步骤324之后，过程去往步骤304，其中所述过程在重复整个过程之前等待预定时间。此过程将连续运行直到其终止。用以区分单个移动触摸与两个单独触摸的期望额外特征是，如果临时配对的触摸之间的距离超过阈值距离那么防止任何配对的证实。对此进行实施的有效方式是在步骤 310中包含额外测试。即，在步骤310中测试具有最小间隔(即，有序列表的顶部行)的触摸对是否分离大于所述阈值距离。如果情况如此，那么在先前触摸数据集合与当前触摸数据集合中的触摸之间不会再寻求到配对，且过程流程从步骤310跳到步骤304。现使用图2A到2C图解说明(举例来说)如何在12x8触摸矩阵中实施上文参照图3描述的算法。图2A显示两个触摸坐标集合，即当前触摸集合210、212、214及216以及先前触摸集合202、204、206及208。图2A图解说明在图3中在步骤306处显示的过程，其中两次轮询所述处理器以获得两个连续触摸数据集合。表1显示未配对的先前触摸及其来自图2A的临时配对的当前触摸中的每一者的列表，其中这些触摸中的每一者之间的距离显示于右手列中。所述表由触摸间间隔距离 (即，由右手列)来分类。
权利要求
1.一种随着时间追踪多个触摸的方法，其中针对每一时间帧提供触摸数据集合，每一触摸数据集合一般来说包括多个触摸坐标，且每一触摸坐标界定触摸，所述方法包括a)针对第一及第二时间帧提供第一及第二触摸数据集合；b)确定所述第二时间帧中的最靠近所述第一时间帧中的所述触摸中的每一者的触摸， 且计算每一此触摸对之间的间隔；c)以具有最小间隔的所述触摸对开始，证实每一对直到在所述第二时间帧中的所述触摸已经针对其配对的触摸之间尝试配对；d)因此，通过在必需的情况下重新应用步骤b)及c)多次来重新处理来自所述第一及第二触摸数据集合的至今尚未配对的触摸。
2.根据权利要求1所述的方法，其中如果临时配对的触摸之间的距离超过阈值距离那么配对未通过证实。
3.根据权利要求2所述的方法，其中如果具有所述最小间隔的所述触摸对分离大于所述阈值距离，那么在所述第一与第二触摸数据集合中的触摸之间不会再寻求到配对。
4.一种用于处理触摸数据以随着时间在连续时间帧之间追踪多个触摸的装置，其中所述装置经配置以执行根据权利要求1到3中任一权利要求所述的方法。
5.根据权利要求4所述的装置，其中所述装置包括微控制器。
6.根据权利要求4或权利要求5所述的装置，其中所述装置包括存储器，且根据权利要求1到3中任一权利要求所述的方法体现于存储于所述装置的所述存储器中的计算机程序中。
7.根据权利要求4到6中任一权利要求所述的装置，其进一步包括输出端口，其中所述装置经配置以将数据输出到所述输出端口，其中所述数据包括按照通过根据权利要求1到 3中任一权利要求所述的方法获得的所追踪触摸排序或通过所述所追踪触摸标记的触摸坐标。
全文摘要
本发明揭示一种在触摸传感器(例如，电容性触摸屏)上随着时间追踪多个触摸的方法。所述方法分析来自邻近的第一及第二时间帧的第一及第二触摸数据集合。首先，分析所述触摸数据集合以确定所述第二时间帧中的最靠近所述第一时间帧中的触摸中的每一者的触摸，且计算每一此触摸对之间的间隔。接着，以具有最小间隔的所述触摸对开始，证实每一对直到在所述第二时间帧中的所述触摸已经针对其配对的触摸之间尝试配对。此时，通过重新应用所述计算来重新处理来自所述第一及第二触摸数据集合的至今尚未配对的触摸，但仅包含所述至今尚未配对的触摸。重复此重新处理直到无需进行进一步配对。所述方法避免了复杂的代数及浮点运算，且具有极小存储器要求。因此，其理想地适于在微控制器上实施。
文档编号G06F3/041GK102224480SQ200980146518
公开日2011年10月19日 申请日期2009年10月21日 优先权日2008年10月21日
发明者丹尼尔·皮克特, 马丁·西蒙斯 申请人:爱特梅尔公司