用于通过使用边缘分类来提高触摸屏事件分析的准确度的方法和装置与流程

本专利文献的披露的一部分包含受到版权保护的材料。版权所有者不反对任何人对本专利文献或本专利披露的复制，由于其出现在专利和商标局专利文件或记录中，但无论如何在其他方面保留所有版权。

技术领域

本发明总体上涉及触摸屏技术领域，并且更具体而言涉及增加边缘触摸分类器来提高触摸屏事件分析的准确度。

背景

背景部分中所讨论的主题不应该仅仅由于其在背景部分中有所提及而被假定为现有技术。类似地，背景部分中所提及的问题或者与背景部分的主题相关联的问题不应被假定为先前已在现有技术中被认识到。背景部分的主题仅仅代表不同的方法，在其中和其自身也可能是发明。

典型地，当今的各种电子设备由使用者通过与触敏屏幕的交互而操作。此特征具体地是最近一代智能手机的特性。通常，触敏屏幕响应手指接触来激活显示器，用于进一步处理。使用如触控笔等工具或手的其他部位也可制造接触。对触敏屏幕作出的手指和其他接触通常呈现为被激活的点或斑点(即，区域)。然而，当触摸接触发生在触摸屏的边缘时，仅可以将该触摸接触的一部分数字化。

触敏屏幕可以与分类引擎相关联，通过来自使用者的现实世界触摸事件数据正常地训练该分类引擎。然而，由于边缘接触在一般使用中很 少见，(分类引擎中的)分类器接收非常少的边缘训练实例。作为响应，边缘触摸事件的分类准确度趋向于更低。进一步地，由于触摸接触中可见的越少，要作用于的数据就较少。这导致若干问题，最明显的是分类算法可能与受限数据过拟合。第二，边缘接触与全接触、普通接触非常不同，导致一些分类算法不适于容纳的关键特性征的双模式(或甚至多模式)分布。因此需要缓解与边缘触摸事件相关联的潜在问题，否则这些问题会降低此类分类分析的准确度。

简要概述

对于某些实施例而言，用于提高触摸屏事件分析的准确度的装置包括两个单独的且不同的分类器，这两个分类器包括全触摸分类器和边缘触摸分类器。为了确定哪一个此类分类器适合每一个触摸事件，触摸屏设置有两个类似地不同的感测区域。一个此类感测区域源自常规的触摸屏，并且通常是触摸屏的中心区的大部分，但是在尺寸上相对于触摸屏的整个物理范围稍微减小。触摸屏围绕外围的平衡形成第二感测区域，该第二感测区域处处接近屏幕边缘。选择此边缘触摸感测区域的精确形状和尺寸来使能可能延伸超出触摸屏的边缘的任何手指触摸将被视为边缘触摸事件的高概率，该边缘触摸事件在随后的事件分析过程中将发起边缘接触分类器操作而不是全触摸分类器操作。

通过查看下文的附图、详细描述和权利要求书可以了解本发明的其他方面和优点。

附图简要描述

所包括的附图仅为说明目的，并且仅用于提供用于所披露技术的可能结构和过程步骤的示例。这些附图决不会限制本领域技术人员在不脱离本披露的精神和范围的情况下对实施例做出的形式和细节上的任何修改。

图1是用于分析触摸屏事件并且包括两个单独的且不同的分类器(一个用于全触摸事件，并且一个用于边缘触摸事件)的计算系统的框图；

图2包括图2A至图2D，展示了触摸屏上的触摸事件的四个不同示例；

图3包括图3A至图3D，展示了作为图2A至2D中的相应的触摸事件的结果的触摸屏“所见”；

图4是根据一个实施例的具有不同触摸屏区域的示例性触摸屏的图示；以及

图5是本发明的方法的一个实施例的流程图。

详细描述

本部分中描述了根据一个或多个实施例的方法和装置的应用。提供这些示例仅是为了添加上下文并帮助理解本披露。因此，对于本领域技术人员而言将明显的是可在没有这些具体细节中的某些或全部的情况下实践在此所描述的技术。在其他实例中，为了避免不必要地模糊本披露，未详细描述公知的过程步骤。其他应用也是可能的，这样使得以下示例不应视为对范围或设置的限定或限制。

在以下详细描述中，参考了形成说明书一部分的附图，在附图中以说明的方式示出了具体实施例。尽管足够详细地对这些实施例进行了描述以使得本领域技术人员能够实践本披露，但应理解的是，这些示例不是限制性的，这样使得在不脱离本披露的精神和范围的情况下可以使用其他实施例并且可以做出改变。

在本发明的实施例中，通过采用将边缘接触视为单独的且不同的种类的触摸事件的分类系统解决了起因于使用者接触触摸屏的边缘的上述问题。发生在屏幕的边缘附近的触摸由更适合处理边缘接触的分类器(例如，已经通过边缘接触对其进行了训练)来处理。另一方面，由另一个分类器对发生在屏幕中间(并且因此被完全数字化)的触摸进行处理。

可以用多种方式来实现一个或多个实施例，包括如过程、装置、系统、设备、方法、计算机可读介质(如包含计算机可读指令或计算机程序代码的计算机可读存储介质)、或如包括内嵌有计算机可读程序代码的 计算机可用介质的计算机程序产品。

所披露的实施例可以包括用于提高触摸屏事件分析的准确度的装置并且可以包括两个单独的且不同的分类器。第一分类器可以是全触摸分类器。第二分类器可以是边缘触摸分类器。为了确定第一分类器或第二分类器中的哪一个适合触摸事件，触摸屏设置了两个类似地不同的感测区域。一个此类感测区域源自常规的触摸屏，并且通常是触摸屏的中心区的大部分，但是在尺寸上相对于触摸屏的整个物理范围稍微减小。触摸屏围绕外围的平衡形成第二感测区域，该第二感测区域处处接近屏幕边缘。选择此边缘触摸感测区域的精确形状和尺寸使能可能延伸超出触摸屏的边缘的任何手指触摸可以被视为边缘触摸事件的高概率，该边缘触摸事件在随后的事件分析过程中将发起边缘接触分类器操作而不是全触摸分类器操作。

所披露的实施例可以包括用于提高触摸屏事件分析的准确度的方法并且可以包括检测触敏屏幕上的触摸事件，所述表面具有至少两个触摸区域；使用检测此类触摸事件的至少一个传感器生成振动声学波形信号；将该波形信号转换成至少一种其他形式；从所述转换后的波形信号中提取多个区别特征；以及通过采用至少两个不同分类过程之一取决于该两个不同触摸区域中的哪一个在该触摸事件中被触摸过对所述多个特征进行分类以便分析转换后的触摸事件波形信号的特征。

所披露的实施例可以包括携带用于提供社交信息的一个或多个指令序列的机器可读介质，当由一个或多个处理器执行时，这些指令致使该一个或多个处理器检测触摸敏感屏幕上的触摸事件(所述表面具有至少两个触摸区域)、使用检测此类触摸事件的至少一个传感器生成振动声学波形信号、将该波形信号转换成至少一种其他形式、从所述被转换的波形信号中提取区别特征、以及通过采用至少两个不同分类过程之一取决于这两个不同触摸区域中的哪一个在该触摸事件中被触摸过对所述特征进行分类以便分析被转换的触摸事件波形信号的特征。

一般情况下，使用者可使用触控笔或双手的其他部分(如手掌和手指的各种部位，即指垫、指甲、指节等)与触敏设备或计算机系统的触 敏屏幕接触。每个此类不同类型的触摸机制产生一种不同类型的数字签名。此外，触敏设备的每位使用者可拥有他或她自己独特的触摸事件特性，这些特性因解剖学差异如多肉、手指尺寸、手指形状、BMI等而产生。无论是不同使用者解剖学还是不同触摸机制的结果，可通过降低模糊度、在使用者之间进行区分、仅响应有意的触摸事件等等将触摸事件特性的这些差异有利地用于改进触摸屏技术。此类有利使用源自对触摸事件的基于传感器的精细的分析，该分析结合被设计用来提供在由触摸事件生成的数据中以其他方式被隐藏或不是非常明显的进一步分析特性的一个或多个算法。

举例来说，由本申请人在于2014年9月11日提交的并且标题为“用于基于触摸事件分析来区分触摸屏使用者的方法和装置(Method And Apparatus For Differentiating Touch Screen Users Based On Touch Event Analysis)”的未决美国专利申请号14/483,150中披露了一种此类装置。此共同未决的申请披露了：当使用者触摸触摸屏时，机械力被施加到该屏幕，导致可以被多种传感器(比如冲击传感器、振动传感器、加速度计、应变计、或声学传感器如传声器)捕获的机械振动。

一旦已经捕获了振动声学信号，该振动声学信号被转换成一系列特征，例如：平均声功率、标准偏差、方差、偏斜度、峰度、绝对值和、均方根(RMS)、离差、零交叉、频谱矩心、频谱密度、基于线性预测的倒谱系数(LPCC)、感知线性预测(PLP)、倒谱系数倒谱系数、梅尔频率倒谱系数(MFCC)、频率相位(例如，如FFT所生成的)。

同时，许多触摸屏技术能够将触摸事件的若干方面(如形状、尺寸、电容、取向、压力等)数字化。后者可以用作区别特征，或者此类特征可源自它们。

由于人手指在其解剖组成方面不同，因此其声学和触摸属性在人与人之间会不同。此外，使用者触摸屏幕的方式也会是有区别的(例如哪个手指、手指的哪一部分、有多平、有多用力)。因此，振动声学特征和触摸特征包含可以是不同使用者和使用者双手的不同部位(如指尖、指节和指甲)的特性的属性。

因此，可以提供可以在触摸计算设备上运行的分类器，在接收到触摸事件时，该分类器猜测哪个使用者正在操作该设备或该使用者是否是经授权的或是否具有任何个性化特征。可替代地，还可以提供可以在触摸计算设备上运行的分类器，在接收到触摸事件时，该分类器猜测手指的什么部位曾被用于接触屏幕。

对于某些实施例而言，所披露的方法可包括下列操作并且可采用下列组件：

(a)可被配置成用于连续地对振动声学数据进行采样(将其存入缓冲区)的感测系统。此缓冲区可以具有许多时长，比如像，50毫秒；

(b)触敏屏幕可被配置成用于等待触摸事件发生。任何数量的触摸技术可以是有可能的。触敏屏幕的操作可被配置成用于与感测系统并行运行；

(c)当触敏屏幕检测到触摸事件时，它可被配置成用于触发转换、特征提取和分类过程；

(d)对来自振动声学缓冲区中的数据进行检索。因为触摸屏通常有一些时延，所以可能有必要在缓冲区中向后查看以找到对应于触摸冲击的振动声学波形(例如，如果触摸屏具有20毫秒的时延，可能有必要在缓冲区中向后查看20毫秒以找到相应的振动声学事件)。可将缓冲区的全部或部分保存并传递到接下来的操作：

(e)接下来可执行转换操作。来自传感器的波形是振动声学信号的时域表示。除了保存波形之外，信号被转换成其他形式。这包括对波形进行滤波并转换成其他形式，包括频域表示；

(f)接下来可执行特征提取操作，其中，对触摸屏控制器数据和振动声学数据进行分析来提取表征不同使用者的特征。对于振动声学数据，为信号的全部表示计算特征；

(g)然后，将这些特征传递给分类单元，该分类单元使用该信息以使使用者对触摸事件进行标记(除了触敏屏幕报告的任何因素之外，例如X/Y位置、长/短轴、压力等)；

(h)然后，可以将增强的触摸事件传递给OS或最终使用者应用，从而基于触摸事件来关联使用。

对于某些实施例而言，分类器可被配置成用于使用以下特征中的一个或多个来执行其操作：触摸接触的位置(2D、或在曲面玻璃或其他非平面几何形状的情况下3D)、触摸接触的大小(某些触摸技术提供具有长轴和短轴的触摸接触的椭圆)、触摸接触的旋转、触摸接触的表面面积(例如，以平方毫米或像素为单位)、(某些触摸系统上可获得的)触摸的压力、触摸的切变(“切应力”(在文献中也称为“切向力”)由垂直于触摸屏的表面法线的力向量引起。这类似于法向应力——通常所说的压力——它由平行于表面法线的力向量引起。”)、触摸接触的数量、触摸的电容(如果使用电容式触摸屏)、触摸的扫频电容(如果使用扫频电容式触摸屏)、以及触摸的扫频阻抗(如果使用扫频电容式触摸屏)。计算阶段还可以计算较短时间内上述特征的导数，例如，触摸速度和压力速度。分类器还可以使用的其他特征包括：触摸的形状(某些触摸技术可以提供触摸的实际形状，而不只是圆或椭圆)、以及手势的图像(如由例如光学传感器、具有照相机的漫射受光表面、近距离电容感应所成像的)。

分类引擎可使用任何数量的方法，包括但不限于基本启发法、决策树、支持向量机、随机森林、朴素贝叶斯、弹性匹配、动态时间规整、模板匹配、k均值聚类、K最近邻算法、神经网络、多层感知器、多项逻辑回归、高斯混合模型、和AdaBoost。另外，可以通过例如投票方案组合来自若干不同分类器的结果。

对于某些实施例而言，可以基于一个或多个特征使用不同的分类器。例如，可以采用两个分类器，一个用于处理具有高标准偏差的传感器波形，而另一个分类器用于处理具有低标准偏差的波形。

图1是根据本发明的一个实施例的用于基于使用所产生的信号的两种不同分类之一分析触摸事件的示例计算系统的框图。该实施例的计算系统可以具有操作(OS)，并且可以运行各种类型的服务或应用(被称为app)。计算系统还可配备有可允许连接至通信网络的远程通信功能。这种计算系统可以包括但不限于桌面计算机(例如，表面计算)、膝上型 计算机、桌上计算机、移动计算机、移动互联网设备、移动电话、智能电话、PDA(个人数字助理)、游戏控制台、便携式媒体播放器等。

参照图1，计算系统包括触摸屏100、触摸事件检测器110、分类器120和OS 130。触摸屏100是电子视觉显示器，并且还作为补充或替代键盘、鼠标和或其他类型设备的输入/输出设备。触摸屏100显示一个或多个交互式元件，如用于被设计成用于在计算系统上执行特定功能的服务或应用的图形表示。使用使用者的手指部分(包括惯常的指尖)触摸交互式元件致使OS 130激活与适合于所标识的使用者的交互式元件有关的应用或服务。手指在其肌肉运动能力及其解剖学组成两方面上为不同的附属器。单个数字包含不同部分，如一个或多个指节、指尖、指垫和指甲。

当物体敲击特定材料时，振动声学波通过材料或沿着材料的表面向外传播。通常，交互式表面使用刚性材料，如塑料或玻璃，这两者快速地散布并忠实地保持信号。这样，当一根或多根手指触摸或接触触摸屏100的表面时，产生振动声学响应。对应的使用者手指的振动声学特性及其对应的独特解剖学特性为每个使用者产生独特的响应。

返回参照图1，触摸事件检测器110检测蕴含振动声学信号的触摸事件。例如，可以将触摸事件检测器110安排在触摸屏的后侧，从而使得可以捕获由触摸事件所引起的振动声学信号。触摸事件检测器110可通过由触摸事件而引起的振动声学信号的开始来触发。为了捕获触摸事件及随后的振动声学信号，触摸事件检测器110可以包括一个或多个冲击传感器、振动传感器、加速度计、应变计、或者声学传感器(如电容传声器、压电传声器、MEMS传声器)等。一旦触摸事件检测器110已经捕获了振动声学信号，振动声学分类器120处理振动声学信号来分析激活了触摸屏的触摸事件。

OS 130运行计算系统，这样使得可以符合振动声学信号的分类和相应使用者来激活功能。振动声学分类器120包括用于将振动声学信号分割成数字表示的分割单元122；用于将经数字化的振动声学信号转换成电信号的转换单元124；用于从电信号得出一系列特征的特征提取单元126；以及用于取决于它是全触摸事件还是边缘触摸事件使用上述特征对 每位使用者进行分类从而分析触摸事件的两个分类单元128和129，如下面将进一步描述的。

分割单元122对振动声学信号进行采样，例如，在96kHz的采样率下使用振动声学信号的4096个样本的滑动窗口。然后转换单元124对所采样的取决于时间的振动声学信号执行例如傅立叶变换，以产生具有频域表示的电信号。例如，此窗口的傅立叶变换可以产生2048个频率功率频带。

振动声学分类器120可进一步将此数据下采样成附加向量(即，由十个附加向量组成的存储桶(bucket))，从而提供不同的混叠。此外，可从振动声学信号计算附加时域特征，如平均绝对振幅、总绝对振幅、绝对振幅的标准偏差、针对分割后的输入信号和傅立叶变换后的信号两者的质心、和零交叉。

特征提取单元126还可从振动声学信号的频域表示计算一系列特征，例如冲击波形的基本频率。分类单元128和129使用这些特征来对振动声学信号进行分类从而例如区分什么使用者生成了触摸事件，这样使得计算系统可以根据所分类的振动声学信号选择性地激活与所标识的使用者有关的功能。

参照图2A至图2D，将看到设备134(即，智能手机)具有触摸屏136。图2A和图2B展示了完全在屏幕136上的触摸事件的两个示例。图2C和图2D展示了部分不在屏幕136的边缘上的触摸事件的两个进一步示例。图3A至图3D展示了作为图2A和2D中的触摸事件的结果的触摸屏“所见”。如图3A和图3B所示，图2A和2B的完全在屏幕上的触摸事件导致完全配置的触摸事件，在图1的实施例中由第一分类器128对这些触摸事件进行分类。然而，如图3C和图3D所示，如图2C和图2D中描绘的部分不在屏幕136的边缘的触摸事件被“看”作部分配置的边缘触摸事件，在图1的实施例中由第二分类器129对这些部分配置的边缘触摸事件进行分类。

图4中展示了确定为每个触摸事件启用第一分类器128或而是启 用第二分类器129的一种方式。在图4中，展示了具有经修改的触摸屏135的设备134。该修改由将触摸屏分成两个区域140和150组成。区域140是全触摸分类区域，并且区域150是边缘触摸分类区域。在该说明性实施例中，如果触摸事件完全在触摸区域140内，则仅启用第一分类单元128。然而，如果触摸事件的任何部分在边缘触摸区域150内，则仅启用第二分类单元129。可替代地，该触摸接触的矩心(即，加权中心)可用来决定触发哪一个分类器。全触摸第一分类单元128被“训练”成用于分析全触摸事件。而边缘触摸第二分类单元129被“训练”成用于分析边缘触摸事件。以此方式，触摸屏事件的分类有很大可能比那些对包括在此描绘的边缘触摸事件的所有触摸事件仅利用一个分类单元的那些系统更加精确。

为了帮助分类，使用者可为振动声学分类器120提供补充训练样本。在一个示例性实施例中，可使用用于特征分类的支持向量机(SVM)实现分类单元128和129。SVM是具有相关联的学习算法的监督学习模型，这些学习算法分析数据并识别模式，以用于分类和回归分析。

图5展示了本发明的示例性实施例的过程步骤。如其中所示，在步骤140中，在多区域触摸屏上检测触摸事件。这导致在步骤142中生成波形。在步骤144中转换该波形并且在步骤146中提取特征。然后，取决于该触摸事件是发生在第一还是第二区域内，对所提取的特征的分类发生在步骤或148或步骤150。

因此，将理解在此披露的是用于在触敏设备中的全触摸事件和边缘触摸事件之间进行区分的装置和方法。可以采用至少一个传感器来检测和捕获触摸事件导致的波形信号或声学效应或机械效应。对该波形信号进行转换，并且提取区别特征以用于两个不同的分类单元中，从而将此类特征与使用者相关联。针对此类全触摸事件对全事件分类器进行训练，同时对边缘触摸事件分类器进行训练以用于仅分析边缘触摸事件。触摸屏具有两个不同区域(完全和边缘)并且响应于触摸事件相对于这两个区域的位置启用合适的分类器。

本披露的这些和其他方面可通过各种类型的硬件、软件、固件等 来实现。例如，本披露的某些特征可以至少部分地通过包括用于执行在此所描述的各种操作的程序指令、状态信息等的机器可读介质来实现。程序指令的示例包括机器代码(如由编译器所产生的)和文件(其包含可由计算机使用解释器执行的高级代码)两者。机器可读介质的示例包括但不限于磁介质如硬盘、软盘、和磁带；光介质如CD-ROM盘；磁光介质；以及专门被配置成用于存储和执行程序指令的硬件设备，例如，只读存储器(“ROM”)和随机存取存储器(“RAM”)。

任何上述实施例可单独使用，也可彼此以任何组合来一起使用。虽然各实施例可能已经受到了现有技术各种的可能在本说明书中的一处或多处进行讨论或暗示的不足的激发，但是这些实施例并不一定解决任何这些不足。换言之，不同的实施例可能解决本说明书中可能有所讨论的不同不足。某些实施例可能仅部分地解决了本说明书中可能有所讨论的某些不足或仅某个不足，并且某些实施例可能没有解决任何上述不足。

虽然在此已描述了各实施例，但应该理解的是它们仅仅是以举例的方式呈现，而不是限制。因此，本申请的广度和范围不应被在此所描述的任何实施例所限制，而是应当仅根据以下和以后提交的权利要求书及其等同物来限定。