检测手指在无触摸屏幕附近存在的方法和系统的制作方法

检测手指在无触摸屏幕附近存在的方法和系统的制作方法
【专利摘要】一种用于检测手指(DT)在屏幕附近存在的方法，该屏幕生成在水平方向X上和在竖直方向Y上的检测信号，包括：采样所述检测信号以及生成原始数据向量X和原始数据向量Y，其中所述原始数据呈现了在X方向上和在Y方向上分别限定所述手指在所述屏幕上的所述位置的向量的元素的最大值；-将前述向量X和前述向量Y划分成限定为宏区域的子集；-通过将所述向量X和所述向量Y的属于所述宏区域的所有元素加在一起来计算每个宏区域的累积值(A，B，C，D，E，F)；-从水平累积值(A，B，C)和竖直累积值(D，E，F)之中选择所述最大值。该方法在输出处供应标识基于累积值的最大值选择的宏区域的值，或者在屏幕附近存在扰动元素的情形下不供应任何值。
【专利说明】检测手指在无触摸屏幕附近存在的方法和系统

【技术领域】
[0001]本公开涉及在利用投射式电容技术的无触摸类型的屏幕附近手指(或手)悬置(hover)的检测。即使在没有直接触摸屏幕而是与其距离一定距离操作时，该技术也实现典型的触摸屏的触摸功能的激活

【背景技术】
[0002]当前触摸屏以相互感测技术工作。
[0003]在这些屏幕中，控制系统测量其中屏幕被假设为划分成的虚拟栅格的每行和每列，并且产生唯一配对的触摸坐标(该坐标指示已经出现的手指触摸的精确位置)。由此得到手指在屏幕上的位置的非常精确的检测。
[0004]参见图3和图4，当手指DT触摸交互感测技术的屏幕S时，控制器读取由手指DT激励的节点的所有配对的坐标(X和y)。具体而言，手指DT激励屏幕S的区域Z，该区域Z围绕接触PE的点同心地扩展。
[0005]这是可能的，因为控制器读取在将屏幕划分成的虚拟栅格的每行和每列的交汇处的电容变化；因此，所检测的数据可以有利地设置成2D矩阵的形式。
[0006]参见图4，节点PA对应于坐标x2和y0的配对，而节点PB对应于坐标xl和y3。
[0007]当手指触摸点PA (或PB)的区域时，对应节点PA和PB (以及相邻节点)被激励，并且控制器在输出处返回与手指接触的点的精确坐标。由此在此情形中，在手指和屏幕之间存在交汇区域的非常精确检测。
[0008]本发明人已经注意到，手指在电子设备的屏幕上遗留的踪迹实现用于解锁设备的密码的重构。
[0009]图10示出了手指在屏幕上追踪的路径的示例，该手指顺序地触摸区域C1、C2、C3、C4和C5。因此可以通过分析手指在区域之上的移位的方向的改变的顺序来标识密码。
[0010]图11(a)和图11(b)示出了在触摸模式中手指在电话的屏幕上遗留的踪迹的示例。
[0011]使用照相机的不同位置并且在不同照明条件下拍摄的照片，在许多情形中可以完全或部分重构手指行进的路径。在任一情形下，都存在使用设备的应用所生成的背景噪声或衣物项偶然接触导致的失真，但是密码的重构总是可能的。
[0012]图11(a)显示了手指DT在屏幕S上行进用于录入密码的路径OT的示例。可以注意，可以在每个反向和方向改变时清晰确定路径的定向性。
[0013]图11(b)显示了图11(a)的在已用布料摩擦之后并且在已被放入或取出口袋或钱包之后的手机。通过示例，在此情形中，一些方向改变已丢失，尤其是在路径的左上方。
[0014]用于重构已被录入的密码的备选技术基于移动传感器(例如加速计)的读取。这些传感器是用于提取在触摸屏的小键盘上输入的整个文本序列的优良源。
[0015]与当前移动电话中存在的其它传感器不同，加速计并不要求用于访问当前智能电话的操作系统的专有特权。
[0016]本发明人通过使用加速计进行测量的实验已经发现:可以以少于四次或五次尝试(平均而言)提取六个字符的密码。
[0017]移动设备可以期望具有保护系统和安全访问。该保护系统使得用户能够仅在设备已被解锁(例如通过在屏幕上录入数字密码)之后访问存储在设备本身中的服务和数据。
[0018]配备有触摸屏的设备的问题表现为由它们用户承担的安全性。具体而言，手指在屏幕上留下的踪迹以及设备中存在的加速计收集的数据可以被用于重构密码，这些密码通常被用于使得这些设备更为安全。
[0019]在过去数年中，一些研究人员已经研究和发展了能够推断用于解锁配备有触摸屏的设备的密码的系统。一些关于在屏幕上遗留的手指标记的分析、另一些关于高精度传感器检测的移动数据的分析，高精度传感器诸如设备中存在的加速计或陀螺仪。
[0020]一些研究已经发现存在通过遵循手指遗留在屏幕上的标记和/或利用来自移动传感器的信息来容易和快速重构用户输入的密码的可能性。
[0021]广泛的无触摸屏和触摸屏的应用涉及用于检测手指在屏幕附近存在(悬置手指)的技术:智能电话、平板、导航仪、各种类型的交互显示设备、控制面板和/或各种类型的远程控制是这类应用的一些示例。
[0022]诸如智能电话和平板之类的当前移动设备广泛分布，并且它们的用户逐渐运用它们也用于执行涉及敏感数据的操作。例如，关键操作是在线金融交易和保密的个人通信。在这些操作期间，例如录入秘密的密码，该密码如果对设备可用并且由第三方重构，则可以导致设备的安全性的问题。
[0023]对于许多这些应用而言，诸如例如要求在屏幕上输入密码来解锁设备以便增加隐私性、安全性和用户保护，可以感兴趣的是能够确定手指在屏幕上的位置而不实际接触屏眷。
[0024]在这些应用中，因此有用的是构思手指距屏幕以介于约3和1mm之间的距离浮置或悬置的情形。
[0025]通常，无触摸设备也是可以以触摸模式工作的设备；因此，两种技术(即，自感测和互相感测)共存，并且设备能够根据检测的电容信号中的变化从一种模式转向另一模式。一般而言，当手指触摸屏幕(手指-屏幕距离为O-1mm)时设备以触摸模式操作；在I毫米以上直至约1cm的距离时，设备转入无触摸模式。


【发明内容】

[0026]各种实施例的目的在于满足前述需求。
[0027]对于许多应用而言，采用手指在无触摸屏的附近和给定位置处存在的检测可以是有用的。
[0028]具体而言，在本说明书中，参考利用附近检测结束的交互屏幕，其能够标识屏幕上手指存在的区域并且对所述区域编码以便向系统返回表示屏幕的所涉及的区域的值。
[0029]无触摸屏幕因此可以控制屏幕而无需在屏幕本身和手指(或手)之间的直接接触。
[0030]各种实施例通过具有在随附的权利要求书中阐述的独特元素的方法来实现上述目标。
[0031]某些实施例也关于对应系统、对应无触摸设备、以及对应的可以加载进入至少一个处理设备的存储器并且包括用于当产品在这类设备上运行时执行实施例的方法的步骤的软件代码的一部分的对应计算机程序产品。如本文所述，可以理解，对于这类计算机程序产品的引用等同于对包含用于控制电子设备已被协同执行根据本发明的方法的指令的计算机可读装置的引用。对于“至少一个计算机”的引用应被理解为突出某些实施例以分布式或模块化方式实现的可能性。
[0032]权利要求书形成本文提供的发明的描述的一部分。
[0033]各种实施例可以关于由密码保护的设备的解锁。例如可以通过在设备的屏幕上以悬置方式录入数字密码来获得设备的解锁。
[0034]此外，不同实施例可以关于手在屏幕附近的对应手势和位置的识别，例如用于在设备上放大或缩小的操作。
[0035]各种实施例可以关于用于检测手指在屏幕附近的存在的方法，屏幕生成在水平方向X和竖直方向Y上的检测信号，其中该信号表示手指在屏幕上的位置中的存在，并且其中该方法包括:
[0036]-采样检测信号并且生成原始数据向量X和Y，其中原始数据具有限定手指在屏幕上分别在X方向和在Y方向上的位置的向量的元素的最大值；
[0037]-将前述向量X和Y划分成称为“宏区域”的子集；
[0038]-通过将向量X和向量Y的属于宏区域的所有元素相加在一起来计算每个宏区域的累积值(A，B, C，D，E，F)；
[0039]-从水平累积值(A，B，C)和竖直累积值(D，E，F)之中选择最大值并且在输出处供应标识基于累积值的最大值选择的宏区域的值，或者在屏幕附近存在扰动元素的情形中不输出值。
[0040]优选地，该方法包括生成表示源自原始数据向量X和Y的屏幕的矩阵M并且根据下式计算矩阵M的各个单独元素作为对应原始数据X和Y的均值:
[0041]M(i, j):地):划
[0042]在各种实施例中，该方法构思了将前述矩阵M划分成宏区域并且通过将矩阵M的属于宏区域本身的所有元素加在一起来计算各个宏区域的累积值。
[0043]在各种实施例中，该方法构思了在所计算的前述累积值之中寻找最小值，并且如果最小值超过阈值，则在输出处不返回任何值。
[0044]在各种实施例中，该方法构思了将标识宏区域的数值或数字与每个宏区域相关联并且多次重复该检测方法以获得所选择以便形成解锁序列或密码的相继宏区域的序列。
[0045]在各种实施例中，在给定时间帧中的多个相继帧上分析检测信号，并且该方法包括:
[0046]-如果上面信号的最大值在给定时间帧中在不同宏区域之上移动，则实现悬置动作的识别；或
[0047]-如果上面的信号的最大值强度变化但是在前述时间帧中没有宏区域改变，则实现缩放动作的识别。

【专利附图】

【附图说明】
[0048]现在将参考所附附图仅通过示例描述各种实施例，其中:
[0049]-图1(a)显示了屏幕的示例，并且图1(b)显示了对应于屏幕的节点的两个向量X和Y ;
[0050]-图2显示了在手指在屏幕附近的情形下节点X和Y的电容的分布；
[0051]-图3涉及已知技术并且已被描述，其显示了手指与屏幕接触以及与接触点相邻的节点激励区域；
[0052]-图4涉及已知技术并且已被描述，并且图6关于自感测技术，其显示了将屏幕划分成节点；
[0053]-图5显示了手指在屏幕附近并且接触技术和无接触技术之间的界限；
[0054]-图7显示了两个手指在屏幕附近的情形中的节点X和Y的电容分布；
[0055]-图8是使用原始数据X和Y构造的2D矩阵；
[0056]-图9和图17显示了将屏幕划分成9个宏区域；
[0057]-图10显示了手指在触摸屏上描绘的路径的示例；
[0058]-图11(a)和图11(b)关于已知技术并且已被描述，其显示了在触摸技术的情形下手指遗留的踪迹；
[0059]-图12显示了手指在屏幕附近并且在给定区域中检测的表示；
[0060]-图13(a)和图13(b)是示例说明用于检测手指和用于在屏幕上选择宏区域的系统的框图；
[0061]-图14、图15和图16是手指/手在屏幕附近存在的特定情形的示例(两个手指、拳头(fist)、摊开手掌、手指和拳头的存在)；
[0062]-图18、图19和图20显示了将矩阵M划分成用于确定宏区域的行和列；
[0063]-图21是示例说明用于检测手在屏幕上方的悬置的系统的框图；
[0064]-图22和图26是示例说明用于检测手在屏幕上方在如下位置之一的系统的框图:中央、右方、左方、上方和下方；
[0065]-图23和图24显示了将矩阵M划分成用于检测4个宏区域的行和列；以及
[0066]-图25示例说明手在屏幕之上执行的缩放的操作。

【具体实施方式】
[0067]在随后的描述中示出的是旨在提供实施例的各种示例的深入理解的各种具体细节。可以在没有一个或更多具体细节或者另外具有其它方法、部件、材料等的情形下火的一些实施例。在其它一些情形中，并未具体描述或表示已知的结构、材料或操作，使得一些实施例的各个方面将不被掩盖。在本说明书中对“实施例”或“一个实施例”的引用指示关于实施例描述的特定配置、结构或特征被包括在至少一个实施例中。然而，在本说明书中各种点可以存在的诸如“在实施例中”或“在一个实施例中”之类的表述并不必然指代同一实施例。此外，在一个或多个实施例中可以以任何充分方式组合特定配置、结构或特征。
[0068]提供在本文中使用的引用以便便于读者理解，并且并不限定实施例的保护领域或范围。
[0069]首先，理解用于执行已被简要描述的触摸功能的相互感测技术以及用于执行无触摸功能的自感测技术之间的差异是有利的。
[0070]在后者的情形中，S卩，在无触摸功能的情形中，可以检测手指和/或手在屏幕附近(而并非与其接触)并且可以识别手指或手在屏幕的平板的附近空间的手势(例如，用于悬置和缩小和放大的操作)。
[0071]在本文考虑的实施例的各种示例中，提出一种用于装配有使用投射电容技术的屏幕的设备的技术方案。通过在形态方面检测手指的相继位置的检测获得设备解锁，其中手指在设备的屏幕的不同区域之上悬置。与每个区域相关联的是数字(1，2，3，4，5，6，7，8，9)，并且以悬置方式选择数字序列表示解锁密码。
[0072]在自感测模式中，投射电容技术的主要特征是系统控制器独立于在Y方向上的数据读取在X方向上的数据。
[0073]由于明显的技术差异，因此不可能使用用于触摸技术的相同算法。
[0074]使用装配有使用投射电容技术(S卩，使用自感测)的无触摸屏幕的设备，可以提供在用户和包括无触摸屏幕的设备之间的更为直观界面。
[0075]以此方式，停悬手指的识别使得能够确保和保证设备的更好的安全性。
[0076]在各种实施例中，并且具体参照图la，所使用的屏幕例如是7-1n屏幕，其中具有在面板的较长侧上的16个电容节点以及在面板的较短侧上的16个电容节点(参见图1b)的节点分布。
[0077]因此，屏幕被划分成在水平侧X和竖直侧Y上的16个节点的精度。图1b显示了节点X和Y的两个向量的表示。
[0078]图2示出了手指对屏幕S的面板接近。当手指DT接近面板的中心时，在水平方向X和在竖直方向Y上的分布显示了两个峰值，分别为Pl和P2，Pl和P2的坐标被选择为手指DT在屏幕S上的2D位置(X，y)。
[0079]具体而言，在示出的状况中，手指DT被检测为在位置8，9 (X = 8，y = 9)。
[0080]当手指接近屏幕S时，控制器首先读取在“X”方向上的所有原始数据，并且随后读取在“Y”方向上的所有原始数据(或与之相反)，而不提供关于手指在屏幕S上的2D位置的配对(X，y)的任何信息。
[0081]根据原始数据X和Y的分析，可以注意，在X方向上的原始数据的最大值和在Y方向上的原始数据的最大值给出手指的坐标的最显著配对。
[0082]识别节点PA和PB，并且节点PA和PB并不呈现检测问题。
[0083]与触摸技术不同，参考图5和图6，在自感测技术中由屏幕返回的原始数据并不以矩阵的形式可用。
[0084]图6涉及自感测技术。在自感测技术的情形中，控制器在输出处返回针对每个节点的电容的累积值。例如，参见图6，节点Xl具有沿行Xl定位的节点的所有电容值的总和给出的值。类似地，在节点YO上读取的值由沿列YO定位的节点的所有电容值的总和给出。这适用于在X和Y上的所有节点。“鬼影”问题与由控制器执行的这类读取相联系，在本说明书的随后部分中更为详细地说明“鬼影(ghost)”问题。系统控制器将手指DT识别为接近屏幕S。手指DT和屏幕S之间的距离可以被划分成四个不同的层级，其中两个层级属于用户端而另两个属于屏幕端。
[0085]具体而言，层级S4 (Omm)是接触检测的逻辑电平0，S卩，手指DT与屏幕S接触。层级S3(lmm)是触摸检测的逻辑电平I (即，手指DT划过屏幕S)。电平S2 (近似3_)界定了悬置手指的监测的边界；即，在多于3mm处，检测到手指并且标识为在屏幕S之上悬置。层级SI (1mm)标识手指DT的邻近检测的边界；即，超过该距离，屏幕S不再标识手指DT在其之上的存在。
[0086]具体而言，对于小于Imm距离而言，限定为触摸；对于3mm和1cm之间的距离，手指被限定为在屏幕S之上“悬置”。
[0087]参见图6，在自感测技术的情形中，例如存在“鬼影点”的问题，即，点PA’ (xl,y0)和PB，(x2，y3)掩蔽两个手指在附近空间(PA(x2，yO)和PB(xl，y3))中的点的坐标。
[0088]因此，并不可能使用针对相互感测技术研发的技术方案也自动用于自感测技术。
[0089]为了更好地说明该概念，描述在自感测技术中当两个手指接近屏幕时出现的情况是有利的。
[0090]图7显示了两个手指在屏幕上方的情形中在X和Y方向上原始数据的16点分布。
[0091]原始数据在X上的分布和原始数据在Y上的分布均呈现两个峰值:P1和P2 ；P3和P4。
[0092]如图7所示，原始数据在X和在Y上的分布均显示两个峰值(Pl和P2)以及(P3和P4)，但是在该情形中，控制器并不提供关于食指和/或拇指的坐标的配对(x，y)。因此，系统表现为在邻近没有检测到手指。
[0093]这是所谓的“鬼影点问题”。
[0094]在图7的示例的情形中，控制器并不返回任何值，即，并不返回坐标的任何配对，并且表现为在屏幕附近未检测到手指的存在。
[0095]可以理解，当手掌张开的手或闭合的拳头位于屏幕附近时，该现象显著放大。
[0096]在此情形中，大的导体的存在引起关于在X上的数据和在Y上的数据的电容的显著变化。
[0097]因此，在手指加上手掌处于屏幕附近的情形中，系统控制器可以具有识别手指存在的问题。具体而言，手掌的存在可以遮蔽或遮掩因手指导致的峰值。因此，由于手掌的存在，控制器获得手指位置的错误检测，或者甚至根本无法检测。
[0098]图8显示了由系统检测的原始数据16X和16Y构造的2D矩阵的示例。
[0099]在所提出的示例中，2D矩阵具有16x16的尺寸，并且由在X方向和Y方向上的原始数据的ID表示构造而成。
[0100]矩阵的每个元素被计算为对应的原始数据X和Y的均值，即，矩阵的每个元素被计算为:
[0101]M(i, j) = X(i) +2
[0102]其中符号i和j的范围在O和15之间。
[0103]在各种实施例中，2D矩阵是所考虑的应用领域的数据的良好表示。
[0104]具体而言，在本文考虑的各种实施例中，目标在于不在屏幕的一个节点的精度层级而是在精度的较低层级检测手指的位置和/或手的位置。在此被认为感兴趣的针对应用所考虑的精度层级是宏区域层级。可以通过以常规方式划分之前构造的2D矩阵来限定这些宏区域。
[0105]在各种实施例中，可以不同地基于屏幕的尺寸并且根据应用来选择宏区域的数目和尺寸。
[0106]在此考虑的各种实施例中，在精度的粗略层级进行手指的检测，这与执行更为精确的检测(例如在节点层级的精度)的其它应用相反。
[0107]在图9所示的示例的情形中，针对录入密码设计的屏幕S的一部分已被划分成9个宏区域。
[0108]在各种实施例中，该应用被定向成检测手指在9个宏区域之一上的存在，该9个宏区域由屏幕划分而成，并且通过重复多次该检测以便标识所选择的数字序列，从而形成密码。
[0109]在各种实施例中，划分成9个宏区域对于例如其中要求录入数字密码或解锁PIN的应用是有用的。
[0110]已经研发这类应用以克服在设备上密码干扰的问题。具体而言，该实施例可以在基于录入数字密码或PIN(用于解锁移动电话的密码、ATM中的PIN、用户ID识别等)的所有应用中使用。
[0111]对于所有这些应用而言，投射电容技术实现安全性级别的增加。
[0112]在各种实施例中，已经将宏区域的数字选择为等于9，但是这仅是非限制性示例。在本说明书的后续部分中，将描述宏区域数目不同的不同实施例。
[0113]具体参见图9，在用于显示数字(1，2，3，4，5，6，7，8，9)的设备的屏幕上使用典型矩阵(3x3)尺寸规定的9个宏区域选项，该数字用于录入PIN或数字密码。
[0114]各种实施例提供一种系统，其能够检测手指在屏幕附近的位置序列(从与数字相关联的9个区域之中选择每个位置)，并且识别以悬置方式解锁设备的密码的录入。
[0115]如之前已经描述的那样，9个宏区域的选项是各种实施例的优选选项，但是3x3矩阵(9个位置)可以根据屏幕的用于其它类型应用的精度而变化。
[0116]因此，在参考9个宏区域的各种实施例中，在此描述的系统是可缩放和可适配的，以便调整所使用的任何屏幕的精度。
[0117]系统的操作的示意表示可以例如是图12中示出的示意表示。
[0118]如图12示意示出，在各种实施例中，在手指DT在屏幕的宏区域之上接近时(即，当手指DT接近9个宏区域之一时)，通过检测该存在并且在输出处供应与相关宏区域相关联的值来响应。具体而言，系统已经检测到手指DT的存在，并且已将该检测关联至屏幕的区域之一(即，在示出的示例中为左中区域)。在实验上，例如可以通过在PC显示器上在与屏幕的检测到存在手指的区域对应的区域中绘制圆圈P来可视化上述指派。
[0119]如图13(a)中示意示出，电容类型的原始数据10在输入处被供应至系统20。系统20分析用于检测手指DT在屏幕S之上悬置的位置的原始数据。系统20利用投射的电容技术以在输出处产生手指在屏幕上的位置30。
[0120]原始数据10是在X方向和在Y方向上的原始数据，其在输入处被供应至系统20。系统20在第一模块22中构造2D矩阵M。系统20在第二模块24中将2D矩阵M划分成6个条带。具体而言，矩阵M被划分成3个水平条带(A，B, C)和3个竖直条带(D，E，F)。最终，在模块26中，系统20识别和标识手指的位置(来自9个可能位置1，2，3，4，5，6，7，8，9中的一个)，并且将其作为参数32在输出处被返回。
[0121]已经注意，以悬置模式(即不触摸屏幕)工作的解锁方案的优势是多方面的。具体而言，应该强调，关于安全性，没有手指标记保留在屏幕上，并且无法使用加速计的数据，这是因为没有敲入(typing-1n)数据的操作。
[0122]现在将更具体描述系统20的每个模块中执行的步骤。
[0123]具体而言，在模块22中，从ID原始数据构造2D矩阵(例如参见图8)。
[0124]在各种实施例中，16x16的矩阵M(i，j)的每个元素等于其坐标X (i)和Y(j)的均值。
[0125]具体而言，在模块22中，矩阵M的元素被计算为
[0126]M(i, j) = X⑴ Pj)
[0127]其中符号i和j的范围在O至15之间。
[0128]在各种实施例中，M(i，j)是矩阵的元素(位置为:行i，列j)，并且由在轴X和在轴Y上设定的节点的电容的值计算而得。
[0129]具体而言，在各种实施例中，在模块24中，在先前模块中计算是16x16矩阵M被划分成条带，例如6个条带(参见图18和图19)。
[0130]对于6个条带的每个条带而言，计算累积的值，其由属于该条带的节点的电容值的总和给出。累积的值由A、B、C、D、E和F指定。
[0131]考虑水平条带(A，B，C)和竖直条带(D，E，F)的交汇/重合，可以标识9个宏区域(参见图20)。
[0132]在各种实施例中，例如通过划分可用的第一个十五行(即，其中i的范围为从O至14)为三个子组，每个子组具有每条带5行，并且不考虑第15行，来将矩阵M划分成3个水平条带A、B、C，其例如由图18所示。
[0133]在各个实施例中，例如通过将可用的第一个15列(即，j的范围为O至14)划分成三个子组，每个子组具有每条带5列，并且不考虑第15列，来将矩阵M也划分成3个竖直的条带D、E、F,如图19中所示。
[0134]在其它一些实施例中，可以忽略矩阵M的第一行和第一列，或者根据意愿忽略任何行和任何列。
[0135]再次参考各个实施例，在模块24中，此外还根据下式计算累积的值(A，B, C，D，E，F):

144
[0136]A = Σ Σ

1 = 0 j = 0

149
[0137]B = Σ Σ Μ(?^:)

i = 0 j = 5

1414
[0138]c = Σ Σ j)

i = 0 j = 10

4 14
[0139]D = ΣΣ 略 j)

i = 0 j-0

9 14
[0140]E = Σ Σ M(i' j)

i=5 j = 0
1414
[0141]F = Σ Σ M(i' =0

i=10j=0
[0142]在各种实施例中，矩阵M具有“偶数”尺寸；因此，为了获得针对条带的相同尺度，可以忽略矩阵的最后一行和最后一列。相反地，在其它一些实施例中，在累积的值A，B, C，D，E, F的计算中也包括最后一行和最后一列。
[0143]此外，在各种实施例中，在模块26中标识出手指DT在屏幕S上的位置。
[0144]具体而言,参见图20,通过叠置条带,精确地形成9个宏块,其被标识为1,2,3,4,5,6,7,8,9ο
[0145]具体而言，宏区域I定位在水平条带A和竖直的条带D相交处，即，矩阵M的左上方。
[0146]例如，宏区域2定位在水平条带A和竖直条带E相交处，即，在矩阵M的中上方等坐寸ο
[0147]在各种实施例中，手指DT的位置例如与宏区域I相关联，如果水平累积值(Α，B，
C)的最大值等于Α，而竖直累积值(D，E，F)的最大值等于D。
[0148]总结而言，宏区域被标识如下:
[0149]宏区域1:如果 max (A, B, C) = A 并且 max (D, E, F) =D
[0150]宏区域2:如果 max (A, B, C) = A 并且 max (D, E, F) =E
[0151]宏区域3:如果 max (A, B, C) = A 并且 max (D, E, F) =F
[0152]宏区域4:如果 max (A, B, C) = B 并且 max (D, E, F) =D
[0153]宏区域5:如果 max (A, B, C) = B 并且 max (D, E, F) =E
[0154]宏区域6:如果 max (A, B, C) = B 并且 max (D, E, F) =F
[0155]宏区域7:如果 max (A, B, C) = C 并且 max (D, E, F) =D
[0156]宏区域8:如果 max (A, B, C) = C 并且 max (D, E, F) =E
[0157]宏区域9:如果 max (A, B, C) = C 并且 max (D, E, F) =F
[0158]在各种实施例中，系统继而在输出处供应在屏幕上检测到手指DT定位到的宏区域。
[0159]参见图17和图20，例如可以假设，手指在宏区域I上(参见图20)与数字“7”(参见图17)相关联，手指在宏区域8上(参见图29)与数字“2”(参见图17)相关联，等等。
[0160]另外，可以假设数字“I”与宏区域I相关联，数字“2”与宏区域2相关联，等等。
[0161]对于这种类型的应用而言，无需精确检测手指在屏幕上的位置，而是标识手指定位在那个宏区域上就足以理解旨在选择哪个数字。
[0162]图14、图15和图16示出了系统20已经经受的各种测试。
[0163]具体而言，参见图14，如果两个手指Dl和D2在任两个输出位置被定位在屏幕S上，注意维持两个手指距屏幕的相同距离，系统20并不返回任何输出值。这出现是因为如果属于同一轴(X或Y)的两个条带达到相同累积值(或非常相似的值)，则系统20拒绝这种状况，并且并不检测手指的存在。
[0164]图14显示了系统20的仿真如何应对两个手指以相同距离并且在宏区域I和宏区域4的位置处在屏幕上的存在。矩阵的9个元素中没有任何一个在PC显示器上被激活；因而，系统并不检测两个手指在屏幕上的存在。
[0165]又一测试是如图15(a)中的拳头、或如图15(b)的手掌张开的手在屏幕S之上的定位。
[0166]系统20拒绝识别拳头和张开的手，并且并不在输出处返回作为对该激励的值。如果试图通过将拳头靠近屏幕S来选择矩阵M的元素，即，宏区域，则系统20并不返回任何输出值，这是因为它对所计算的所有累积值执行总体校验。
[0167]在此情形下，在显示PC上不出现圆圈。
[0168]在手掌张开的手被放置在屏幕S之上的情形中可以注意到类似行为。在这一情形中，对累积的值的最小值执行校验。如果最小值在某个阈值之上，则系统20在输出处并不返回任何值。
[0169]在此情形中，S卩，如果min(A，B, C，D，E，F)超过阈值TH，则矩阵M中没有元素被点亮，并且不激活位置。
[0170]此外，在此情形中，拒绝该值，并且系统准备下一检测，并且等待在宏区域之一之上的手指。
[0171]本发明人已执行又一测试。参见图16(a)和图16(b)，在屏幕之上存在手指和拳头的情形中，如果手指以自然方式点向屏幕(即，手的自然姿势，在屏幕的平面和穿过手指的直线之间近似为45° (参见图16(a)))，则系统20在输出处返回值。具体而言，拳头(或手的一部分，包括掌部直至手腕)相对于与屏幕平行并且穿过指尖DT的线L被定位在距屏幕更大的距离处。
[0172]相反，在图16(b)的情形中，如果闭合的拳头部分非常靠近屏幕，或相比于指尖在相当的距离处，或定位在直线L上，则系统20并不返回任何输出值。
[0173]系统的敏感度实现对鬼影拳头和/或手掌的问题的应对，即，拳头或手掌遮蔽或掩蔽手指的存在的检测的可能性。
[0174]图16(a)和图16(b)之间的差异实际上是细微的，但是在前者的情形中，系统20检测到手指DT并且并不检测拳头H。
[0175]在图16(b)中示出的状况的情形中，即，当拳头H在与手指DT距屏幕相等的距离处，系统20阻止输出并且并不返回任何值。这种布置防止系统20因鬼影拳头返回错误的输出。
[0176]图16(b)表示了系统20返回输出值的示例。具体而言，圆点在PC显示器的中央处点亮，并且这意味着系统20已经识别手指DT在屏幕S中央的位置，即，在中央宏区域5。
[0177]相反，图16(b)表示了系统20并不识别手指存在的示例，并且在PC显示器上并不激活圆点。
[0178]在各种实施例中，系统20在输入处接收原始电容数据(在示例中，16个元素的每个元素的两个向量X和Y)并且检测手指DT朝向屏幕S的接近。系统在输出处返回对应于手指DT在屏幕上的可能位置之一的数字。
[0179]在各种实施例中，系统20实现大多数问题的解决方案，这些问题可以在触摸屏的情形中可能碰见，在这些情形中，可以构思旨在重构密码顺序以便能够欺骗使用的攻击。
[0180]此外，所描述的系统20呈现了低的计算复杂度，其使其适于所有类型的设备，诸如例如智能手机、平板、PC和ATM等。
[0181]至此为止描述的实施例的主要目的在于通过在屏幕的表面的附近空间中录入密码来解锁设备。
[0182]优选地，每个条带的区域的尺寸可以缩放，并且适配屏幕的精度。
[0183]在各种实施例中，通过比较当前帧的6个累积值来选择在输出处来自系统20的、指示手指在屏幕之上的位置的值。
[0184]在将2D矩阵划分成6个条带并且计算对应的累积值之后，系统从所计算的三个水平累积值选择最大值并且从所计算的三个竖直累积值选择最大值。
[0185]如前已述，在两个条带交汇处定位的对应于两个最大累积值的是屏幕的如下区域，在该区域中由于手指放置在所述区域之上的存在因此较大数目的电容节点已被激活。
[0186]所提出的系统检测手指在宏区域层级处的位置，并且基本上基于传导元件(即手指)的存在激励在X轴上的相邻节点集以及在Y轴上的相邻节点集，其对应于由模块22构造的2D矩阵的元素集的激励。如前所述，通过比较六个条带的累积的值来选择区域。
[0187]使用这类系统所考虑的问题之一是屏幕之上的手的手掌和/或拳头的问题，手掌和/或拳头的存在可能遮蔽手指的存在。
[0188]系统20通过比较6个累积值来应对手的手掌和/或拳头的问题。具体而言，系统20执行又一校验以查看6个累积值的最小值是否超出给定阈值。如果是这样，则识别出手掌/拳头在屏幕之上的存在，并且系统在输出处并不返回任何值。
[0189]如前所述，使用利用投射电容技术的无触摸类型的屏幕可以在某些具体环境中是非常有用的，诸如例如汽车产业。在该情形中，基于非常简单的手势的悬置可以帮助驾驶者不将其注意力从路面抽离。
[0190]所描述的系统也可以用于检测手在屏幕的五个宏区域中的位置，该五个宏区域是左、右、上、中和下。
[0191]通过临时收集手的部分的序列(例如，右-中-左)，可以检测手的悬置位移。
[0192]在各种实施例中，可以在不需要高精度检测的情形中使用系统，例如这是由于用户可能无法注意屏幕的事实。
[0193]要求低精度以用于检测手在屏幕之上的移动的应用的最佳示例之一是如前所述的汽车产业，其中驾驶者无法将其视线离开公路，以例如选择/滚动在屏幕上的图标，例如在导航的情形下。在这种类型的情形中，系统对于在无触摸屏幕上执行简单手势来激活期望功能是有利的(地图内导航、菜单的图标的滚动等)。
[0194]此外，系统还可以在所有这些应用中使用，诸如视频游戏，其中手或手指在屏幕上方的悬置，其可以执行与普通操纵杆相同的功能。
[0195]在各种实施例中，系统能够将手的悬置解读为做出从基本手势中选择的给定手势的意图。
[0196]手可以被识别为在屏幕上方的五个不同位置(即，左、右、中、上、下)，并且也可以检测放大或缩小的手势。
[0197]通过添加手的位置的时间分析(其通过逐帧检测)，可以检测在四个方向(左、右、上、下)之一中的悬置的手势。
[0198]在各种实施例中，例如系统执行手在面板的5个宏区域中的位置的识别:左、右、中、上、下。为了检测这五个位置，将2D矩阵(在之前示例中计算)划分成4个条带:左、右、上和下。
[0199]图23和图24是屏幕划分成4个宏区域的示例。
[0200]在各种实施例中，矩阵M被划分成如图23中所示的两个水平条带A、B。例如矩阵M通过将可用的16个行(其中i的范围从O至15)划分成两个子组，每个子组为每个条带的8行。
[0201]在各种实施例中，矩阵M也被划分成如图24中所示的竖直的条带C、D。例如矩阵M通过将可用的16个列(其中j的范围从O至15)划分成两个子组，每个子组为每个条带的8列。
[0202]标记A被指定为表示宏区域“上部”的累积值；标记B被指定为表示宏区域“下部”的累积值。
[0203]以相似的方式，标记C被指定为表示宏区域“左部”的累积值；标记D被指定为表示宏区域“右部”的累积值。
[0204]在各种实施例中，系统用于在如下环境中应用，在该环境中无需在单个节点的精度的级别执行检测。
[0205]例如，一个好的应用领域是汽车产业，其中驾驶者可以在邻近模式中选择功能，而无需将其视线移离公路。
[0206]如在之前的实施例中，S卩，在关于在悬置模式中解锁设备的实施例中，这些实施例也基于使用宏区域的累积值以生成系统的输出值，其标识手在给定宏区域之上的位置。
[0207]系统在输出处返回五个位置:左、右、中、上和下。系统通过比较四个值(A，B，C和
D)来标识在悬置模式中手在其之上移动的宏区域。
[0208]首先，系统执行手在屏幕中央部分之上存在的校验，并且如果不存在，则系统在其它四个位置(左、右、上和下)寻找手的存在。
[0209]如果所有4个累积值都超过给定阈值，则选择中央区域。
[0210]否则，将具有来自A、B、C和D中的最大累积值的区域选择为该区域。
[0211]通过添加时间校验，可以检测手的悬置或位移的方向。具体而言，作为右-中-左的位置序列对应于向左悬置，即，手位移向左。
[0212]类似地，上-中-下的序列对应于向下悬置。下-中-上的序列对应于向上悬置。最终，左-中-右的序列对应于向右悬置。
[0213]所描述的系统也检测针对所有5个输出的缩放的手势。在此使用的用于检测缩放的方案可以应用至所有之前描述的实施例(例如，用于在悬置模式中解锁设备)，其中进行小的修改和重新表达以便考虑手指指向和选择的9个宏区域。
[0214]所考虑的系统也能够识别手执行的缩小和放大的操作的5个区域中的每个区域。
[0215]缩放操作的检测基于累积值的时间变化。
[0216]在各个实施例中，已经固定四个阈值以用于限定手与屏幕的四个距离dl、d2、d3和d4(参见图25)。
[0217]以此方式，获得在屏幕附近空间的离散化。
[0218]系统通过将由矩阵M计算所得累积值与一些阈值进行比较来将手与屏幕的距离分类。
[0219]缩放是在两个方向上执行的手势:“缩小”和“放大”。因此，为了检测缩放的移动，系统检验累积值的时间变化。如果有增加趋势，则意味着手在接近屏幕(缩小)；否则，在减小趋势的情形中，手移尚屏.(放大)。
[0220]更具体而言，系统逐帧检测(逐瞬间)手在屏幕之上的位置。可能的位置是上(U)、下(D)、右(R)、左(L)和中央(C)。
[0221]此外，考虑时间分析，系统可以对识别缩放操作(即，手的位移)是有利的。
[0222]参见图21，在模块100中检测手在屏幕之上的移动。该检测在输入处去往系统120的32个原始数据，S卩，在X方向上的16个原始数据和在Y方向上的16个原始数据。系统120计算手的位置，并且在输出处生成指示手可以定位的区域之一的值。
[0223]在模块140中指示的输出值可以是数字6，考虑中央区域C在划分成水平条带中和划分成竖直条带中均被考虑。
[0224]现在具体描述系统120的每个模块中执行的步骤。
[0225]参见图22，在输入处供应原始数据X和原始数据Y给模块200，并且原始数据X和原始数据Y被整体指定为标记I。
[0226]模块200根据输入处的数据构造矩阵M(16x16)。
[0227]矩阵M是整数矩阵，其中每个元素是其对应的电容数据X和电容数据Y之间的均值，从而对应于节点(i，j)。更具体而言，矩阵M的每个元素如下地计算:
[0228]M(i, j) = X“)+-扣)

2
[0229]其中，符号i，j的范围从0至15。
[0230]下一模块210在输入处接收矩阵M，将其划分成4个区域，并且针对每个区域计算对应的累积值A、B、C和D。
[0231]具体而言，例如可以如下地限定4个累积值:

157
[0232]A = Σ Σ咖」)

i = 0 ]=0

1515
[0233]B = Σ Σ Ki' j)

i = 0 j = 8

7 15
[0234]c = Σ Σ M(i' =0

i = 0 j = 0
[0235]

i=8 j = 0
[0236]模块220在四个累积值之间进行比较，并且基于结果在输出U处返回手的位置。
[0237]具体而言，如果最小值min(A，B，C，D)超过阈值TH(min (A，B，C，D) > TH)，则手位于屏幕中央，并且模块220在输出处返回值“中央”。
[0238]如果max (A，B, C，D) = C，则模块220返回值“左”作为手的位置。
[0239]如果max (A，B，C，D) = D，则模块220返回值“右”作为手的位置。
[0240]如果max(A, B, C, D) = A,则模块220返回值“上”作为手的位置。
[0241]如果max (A，B, C，D) = B，则模块220返回值“下”作为手的位置。
[0242]缩小和放大的操作的检测基于所考虑的累积值的强度的水平(即，幅度)的估计。手和屏幕之间的距离越短，则累积值的强度越高。通过将不同阈值应用至累积值，系统能够以固定数目的步骤采样手与屏幕之间的距离。
[0243]通过时间分析，还可以识别累积值的强度是增加还是减小，并且以此方式系统能够区分缩放的手势:
[0244]-放大=当手接近屏幕时；以及
[0245]-缩小=当手移离屏幕时。
[0246]通常，针对中间区域实现缩放的控制，但是也可以拓展至其它四个区域。
[0247]图25示例说明了手可以关于屏幕认定的不同区域。假设“d”是手和屏幕之间的距离，而“M”是累积值的强度，可以具有如下关系:
[0248]dl > d2 > d3 > d4 Ml < M2 < M3 < M4
[0249]再次参见图25，手Hl比手H4更远，并且对应的累积值Ml小于累积值M4。这是由于如下事实:更远的手更小程度地激励屏幕的节点。
[0250]现在将描述备选的系统，其对ID原始数据执行相同分析。
[0251]可以对ID原始数据执行与对2D矩阵执行的相同分析。该方案实现计算复杂度的减少，但是也减少手的位置的检测的精确性(可能是由于在X和在Y上的节点的不同敏感度)。
[0252]参见图26，在输入I处向模块300馈送原始数据X和原始数据Y。模块300计算累积值作为原始数据的子集的总和。

7
[0253]A = Z X(i)

i=0

15
[0254]B = ^ X(i)

i 二8

7
[0255]C = J] Y(i)

i = 0

15
[0256]D = Z Y(i)

i = 8
[0257]模块310将刚计算得出的累积值进行比较并且生成等于手在屏幕上方的位置的输出值，并且该输出可以为以下值之一:
[0258]"中央"min(A，B，C，D)> TH
[0259]"左"max(A，B，C，D)=A
[0260]"右"max(A，B，C，D)=B
[0261]"上〃max(A, B, C, D) =C
[0262]"下"max(A,B, C, D) =D
[0263]在此描述的技术方案主要基于累积值的计算和用于决定选择哪个宏区域的所述值的比较。因此，该技术方案适用于配备无接触屏幕的所有设备，包括具有有限量的计算资源的设备。
[0264]有利地，本文所提出的技术方案管理在屏幕上方的拳头或打开的手的存在，并且可以根据它们应用到的屏幕的不同尺度和精度按照期望定制和缩放。
[0265]在不存有对本发明所依赖的原理的偏见的情形下，甚至可以理解，仅通过非限制性示例的方式而不由此偏离本发明的由随附的权利要求书限定的保护范围地，关于本文已经描述的内容，细节和实施例可以变化。
【权利要求】
1.一种用于检测手指(DT)在屏幕(S)的附近的存在的方法，所述屏幕(S)生成在水平方向X上和在竖直方向Y上的检测信号，其中所述信号表示手指在所述屏幕上的位置处的所述存在，其中所述方法包括: -采样所述检测信号以及生成原始数据向量X和原始数据向量Y，其中所述原始数据呈现了在X方向上和在Y方向上分别限定所述手指在所述屏幕上的所述位置的向量的元素的最大值； -将前述向量X和前述向量Y划分成限定为宏区域的子集； -通过将所述向量X和所述向量Y的属于所述宏区域的所有元素加在一起来计算每个宏区域的累积值(A，B, C，D，E，F);以及 -从水平累积值(A，B，C)和竖直累积值(D，E，F)之中选择所述最大值，并且在输出处: -供应标识基于所述累积值的所述最大值选择的所述宏区域的值；或 -在所述屏幕的附近存在干扰元素的情形下，不供应值。
2.根据权利要求1所述的方法，包括根据所述原始数据向量X和所述原始数据向量Y生成表示所述屏幕的矩阵M，并且根据下式计算所述矩阵M的各个单独的元素作为对应的原始数据X和原始数据Y的均值:
M(i, j) = 乂⑴ + Y(j) ο
3.根据权利要求2所述的方法，包括将前述矩阵M划分成宏区域并且通过将所述矩阵M的属于所述宏区域的所有所述元素加在一起来计算每个宏区域的所述累积值。
4.根据权利要求2或3所述的方法，包括从所计算的累积值之中选择最小值，并且如果所述最小值超出阈值，则不返回任何输出值。
5.根据任一前述权利要求所述的方法，包括将每个宏区域与标识所述宏区域的数值或数字相关联。
6.根据任一前述权利要求所述的方法，包括多次重复所述方法以获得所选相继数字的序列，以便形成解锁序列或密码。
7.根据任一前述权利要求所述的方法，包括在时间段中分析多个相继帧上的所述检测信号，以及: -如果所述信号的最大值在所述时间帧中在不同宏区域之上移动，则识别为悬置动作；或 -如果所述信号的最大值的强度变化但是在所述时间帧中没有宏区域改变，则识别为缩放动作。
8.一种用于处理手指的检测的信号的系统，所述信号由屏幕(S)产生，所述系统被配置用于实现根据权利要求1至7中任一项所述的方法。
9.一种具有屏幕的设备，包括: -屏幕(S)，用于产生手指检测信号；以及 -用于处理手指检测信号的根据权利要求8所述的系统，操作性地连接至所述屏幕(S)，所述系统用于从所述屏幕(S)接收用于处理操作的手指检测信号。
10.一种计算机程序产品，所述计算机程序产品可以被加载进至少一个处理设备的存储器，并且所述计算机程序产品包括用于实现根据权利要求1至7中任一项所述的方法的步骤的软件代码的一些部分。
【文档编号】G06F3/044GK104281346SQ201410314168
【公开日】2015年1月14日 申请日期:2014年7月1日 优先权日:2013年7月1日
【发明者】N·I·瓜尔尼里, A·卡普拉 申请人:意法半导体股份有限公司