人机接口装置及方法与流程
相关专利申请案
本申请案主张2014年10月29日申请的共同拥有的第62/072,184号美国临时专利申请案的优先权，所述美国临时专利申请案特此出于所有目的以引用方式并入。
本发明涉及一种用于人机接口的方法及装置，特定来说，涉及一种用于传感器系统的连续圆形手势检测方法。
背景技术：
用于多级控制(例如，消费性电子产品中的音量控制或屏幕/灯亮度控制)的已知系统使用圆形触摸板或电容式线性滑动件(常安装于笔记本电脑中的键盘上方)，或所述系统使用当手指在专用滑动件区域中(例如，在触摸板的右边界上)移动时来自通用笔记本电脑触摸板的触摸信息。这些传感器提供关于指尖的绝对位置信息(如在许多圆形触摸板的情况中可能多义的位置信息)且因此提供指尖在圆形触摸板上的角度或在滑动件上的位置，可以直截了当的方式直接地或差分地映射到控制等级的信息。尤其对于触摸轮(touchwheel)，重要的是，指尖及轮的几何中心与轮上的参考点建立角度，且可评估此角度。
当涉及到辨识无固定参考位置的圆形手势时，确定圆形移动中的角度不再直截了当。此是对于例如具有使用近场电容式传感器系统的二维/三维(2d/3d)自由空间(free-air)手势或具有如视频或红外摄像机系统的中场/远场传感器系统的通用非圆形触摸板的情况。
考虑到可为顺时针或逆时针的圆或圆形移动，且不将其限制为具有固定起始或停止位置，在圆形移动期间的每一时间处，对于实时应用，仅可评估直到目前所获取的资料，即，仅部分手势图案。在未知所绘制的圆的中心的情况下，在移动开始时，检测单元无法断定圆的方向：例如，左右移动出现在顺时针圆的顶部中，但也出现在逆时针圆的底部中。在本发明中，圆形手势应被理解为意味着任何类型的圆形移动。如对于描述圆而不遵循参考点或规定路径的手或手指的任何自由移动来说为典型，无需具有恒定半径，而是半径及中心点可随时间变化。
存在将2d圆形移动映射到一维(1d)数据上的数种已知方法。
圆形触摸板：1d电容式滑动件100(例如，如图1中所示)包括多个线性布置的传感器元件110、120。此传感器也可布置成如图1中用传感器200所示的圆，以检测圆形移动，某些mp3音乐播放器使用此技术。
固定中心位置：可将2d笛卡尔(cartesian)坐标中的任何点一对一地映射到距固定参考位置(中心点)的距离及通过此点及参考位置的线与参考方向向量(例如，正x轴的方向)之间的角度，而产生极坐标中的点。此处，指定角度是所期望1d数据。假设圆c上输入位置pnew及c的固定中心位置pc，如图3中所示，其中pnew的x及y分量分别是p(new,x)及p(new,y)，可通过计算连接pnew及pc的向量的四象限反正切函数atan2而唯一地确定pnew相对于正x轴的角度α，即，α＝atan2(p(new,y)-p(c,y),p(new,x)-p(c,x))。相较于其输出以π为周期的单一自变数反正切函数，atan2额外地评估p(new,x)-p(c,x)及p(new,y)-p(c,y)的正负号且因此可将α映射到四象限中的一个象限。显然，此方法并不受限于圆上的输入位置，而是可采取任何2d位置作为输入且将输出角度。自然地，除此绝对角度输出之外，给定两个输入位置向量pold及pnew，还可计算两个输出角度，其差是对输入位置的移动的测量。
根据由申请人申请的标题为“用于传感器系统的连续圆形手势检测(continuouscirclegesturedetectionforasensorsystem)”的共同待决的美国专利申请案us14/503883(所述美国专利申请案特此以全文引用方式并入)，提出一种方法，其中连续速度向量之间的角度(或其近似值)随时间累加，因此执行对累加器的差分更新(differentialupdate)，其中速度向量定义为在时间上连续的两个位置向量之间的差。此说明于图4中。取决于旧速度向量与新速度向量之间的旋转方向(假定旋转量小于π/2)，1d累加器增加或减小。累加器改变的量是两个速度向量之间的角度或其近似值。此方法容忍平移及缩放，即，例如当用触摸板获取2d输入位置时，在触摸板中的哪一区域中(例如，在左下侧或右上侧中)绘制某一图案或将其绘制为多大都不重要，对1d输出测量的效应相同。然而，此方法未提供在圆上平滑地移动的位置的角度。虽然在理论上可求得连续速度向量之间的差分角度的积分，但仍将缺少积分常数。此外，运用近似计算及滤波/平滑化，在角度估计的每一差分更新时引入一(小)误差，此页将累加。两者都无法从输入速度向量的角度计算α，这是因为此将为多义映射，参见图5：以角度
根据揭示“用二维指示装置启动一维信号的方法及设备(methodandapparatusforinitiatingone-dimensionalsignalswithatwo-dimensionalpointingdevice)”的美国专利us8,330,731，两个连续运动向量之间的角度的正负号决定1d数据的(差分)更新值的正负号/极性。2d移动量按比例调整更新值的量值。1d数据的极性相对于角度正负号的改变有延迟地改变或在突然停止之后改变。起始检测：检测经定义目标区(例如，触摸板的右边缘)内的手指运动。此方法未提供绝对角度信息。
上述解决方案提供2d(圆形)移动到1d数据的映射，但其未考虑对点/手指在虚拟圆上的位置的绝对角度的估计。
技术实现要素：
因此，需要一种用于将2d(圆形)移动映射到1d数据上的改进的方法。根据各种实施例，在未知所绘制的虚拟圆的中心点的绝对位置的情况下，可检测2d空间中的点的圆形移动及此点相对于此中心点的角度。
根据实施例，一种用于检测由物体执行的连续圆形手势的方法可包括以下步骤：通过扫描执行圆形移动的物体的移动而检测所述移动且确定所述物体的后续位置点，其中依据经扫描位置点的历史而调适虚拟圆形移动的参考位置。
根据另一实施例，所述参考位置可为圆中心位置，且所述圆中心位置可用以确定圆形移动的当前输出角度。根据另一实施例，可使用(pnew-pc)的反正切来确定所述当前输出角度，其中pnew是当前位置点且pc是当前圆中心位置。根据另一实施例，可将所述位置点转变成二维平面中的位置，且将多个后续位置点的极值存储于缓冲器中。根据另一实施例，所述极值可包括轨迹上的一组位置，其中对于每一所包括位置p，存在两个相关联速度向量，在p处起始的当前速度向量及在p处结束的先前速度向量；且所述向量中的一个向量的角度大于或等于经定义角度，其中所述另一向量的角度小于所述经定义角度，或所述向量中的一个向量的角度大于经定义角度，其中所述另一向量的角度小于或等于所述经定义角度；且其中从所述所存储极值确定所述圆中心位置。根据另一实施例，所述极值可包括所述二维平面中的最左侧位置、最右侧位置、最顶部位置及最底部位置，且其中从所述所存储极值确定所述圆中心位置。根据另一实施例，可通过计算当前速度向量与所述当前速度向量的经低通滤波版本之间的角度而检测圆形移动。根据另一实施例，当新位置点与当前中心点之间的距离小于先前位置点与中心位置之间的距离时可更新所述圆中心位置。根据另一实施例，可通过将新圆中心位置与当前圆中心位置之间的距离的分数相加到所述当前圆中心位置而执行更新。根据另一实施例，可通过低通滤波圆中心位置变化而执行更新。根据另一实施例，可将当前位置缓冲于缓冲器中，且其中仅当确定移动是圆形移动的部分且当速度向量高于经预先确定的速度阈值时更新所述缓冲器。根据另一实施例，可在起始事件与停止事件之间确定手势。根据另一实施例，所述起始事件可由圆形轨迹及预定义阈值角度定义。根据另一实施例，可随多个测量累加当前角度测量值以确定所述起始事件。根据另一实施例，当针对预先确定时段未检测到圆形移动时可确定所述停止事件。根据另一实施例，当针对预先确定时段未检测到移动时可确定所述停止事件。根据另一实施例，可通过分析圆形移动的每一象限中的分段移动而确定圆形移动。根据另一实施例，所述方法进一步可包括使用存储圆形移动的四分之一的片段的经预先计算的阈值的查找表。根据另一实施例，所述物体可为手指、手或笔。根据另一实施例，可通过传感器系统通过传输电极产生准静态电场而执行扫描所述移动及确定所述物体的后续位置点，且其中所述传感器系统包括至少两个接收电极。
根据另一实施例，一种用于检测由物体执行的连续圆形手势的方法可包括：通过扫描执行圆形移动的物体的移动而检测所述移动且确定所述物体的后续位置点；检测圆形移动的半径的减小，其中当两个连续位置点之间的速度向量的扇区线(sectorline)与通过中心点及所述两个位置点的较旧位置点的线相交时检测到所述半径的所述减小；当已检测到所述半径的减小时更新中心点。
根据另一实施例，可通过将交点与所述中心点之间的距离的分数相加到所述中心点而执行更新。根据另一实施例，可通过低通滤波中心点变化而执行更新。根据另一实施例，所述扇区线可为新位置与旧位置之间的线的垂直平分线。根据另一实施例，所述扇区线相对于所述速度向量可具有不等于90度的角度。根据另一实施例，可考虑到顺时针及逆时针移动的两个不同线。根据另一实施例，所述方法进一步可包括输出位置点相对于所述虚拟圆形移动的参考位置的角度。
根据又一实施例，在用于检测连续圆形手势的方法中，可依据沿轨迹的局域/全局坐标极值而调适虚拟圆形移动的中心位置。
附图说明
图1展示呈线性布置及圆形布置的电容式滑动件的电极的常规布置；
图2展示对在近场手势检测系统前面的圆形手移动的2d位置估计的迹线；
图3展示圆c上成角度α的点；
图4展示两个连续速度向量之间的角度；
图5展示具有正切于2d平面中的圆的相同方向的两个运动向量；
图6展示2d中的顺时针及逆时针移动的轨迹；
图7展示中心位置距旧输入位置及新输入位置的距离的比较；
图8展示更新虚拟中心点位置pc的实例；
图9展示虚拟中心位置更新、四个极值点及经测量角度；
图10展示具有四个极值的虚拟中心更新实例；
图11展示圆形移动分类；
图12在左侧展示真实方向改变且在右侧展示对归因于错误中心估计的错误的方向改变的检测；
图13在顶部展示在点8之后产生错误的方向改变的不正确的中心估计，且在底部展示检测到临界点中的错误方向反转且替换缓冲器中的两个极值从而校正情境的方向验证；
图14展示反正切用线性片段的近似计算；及
图15展示使用准静态电场检测方法的具有四个框架接收电极的手势检测电极布局。
具体实施方式
圆形手势(旋转手指移动，在下文中也称为“空气轮(airwheel)”)可于手势检测系统中使用以控制多个不同参数，例如，音量或灯调暗控制等。然而，非触摸系统中的移动通常是不一致的且可难以检测，此通常可导致差的用户体验。本申请案中揭示的检测方法的各种实施例经设计以克服此可能缺点。
所揭示的方法不限于任何类型的用户输入装置。因此，其可应用于任何2d或3d检测系统。在图15中展示非触摸手势检测系统。此三维手势检测系统使用准静态交流电场搭配4框架接收电极布局。传输电极(未展示)可例如布置于这四个电极1510、1520、1530及1540下方且覆盖接收电极1510、1520、1530及1540的整个区域或由接收电极1510、1520、1530及1540环绕的整个区域。可使用其它布置。如图4中所示的速度向量vk可由来自接收电极1510、1520、1530及1540的测量值确定，所述测量值随减小的手指到电极距离而增加(或减小，取决于测量系统)。在此系统中，通常使用传输电极(未展示)以例如使用由微控制器端口产生的30到200khz方波信号产生电场，且当物体进入准静态电场时，多个接收电极1510、1520、1530及1540检测到所述场中的扰动。将来自接收电极的信号馈送到经配置以从这些信号确定三维位置的评估装置。与通常可使用脉冲的电容式触摸测量相反，在测量期间通常将用于产生准静态场的传输信号连续馈送到传输电极。本文中论述的方法在此三维非触摸手势检测系统中可为尤其有利的。此外，可忽略其中来自全部电极1510、1520、1530及1540的数据具有相同正负号(即，手指接近/离开全部电极)的手势检测样本，以更新圆计数器。然而，如上文提及，所述方法可应用于各种其它二维或三维手势检测系统。
手势检测系统在起始事件与停止事件之间确定物体(例如，手指)的移动。为了检测物体的圆形移动的目的，在起始及停止事件期间可进行多个位置测量，且即使系统能够检测三维位置，仍可将位置转换成二维坐标系统的x-y坐标。取样时间优选可为每秒200个样本，且系统可从经确定位置值及相关联的取样时间确定向量值。
图2展示使用如图15中所示的电极布置对在近场手势检测前面的圆形手移动的2d位置估计的迹线。图2以x及y方向展示对在近场手势检测系统前面的圆形手指移动的2d位置估计的迹线。在此图中，将位置展示为在检测区域的右上侧部分中。然而，取决于手姿势，经估计位置也可位于检测区域的另一部分中，例如在左下侧中，或取决于个别的手指或手的形状，经检测迹线的大小更大或更小。然而，无关于手姿势，此移动仍应被检测为圆形移动。不同定位结果的另一原因可为：预设参数组用于大量传感器(例如，大小不同)，且应无需消费者重新参数化系统，而是功能性应为拆封即提供。
以下是为可视化目的而需要绝对角度信息的实例：触摸手指在灯开关的半透明盖板上的圆形移动应照明在盖下方布置成圆的一组led的一个led，而经点亮led应为放置于对应于手指的当前位置的位置或角度处的led，即，照明遵循手指在虚拟圆上的位置。
总而言之，容忍不同手姿势或圆形手势的缩放及平移，以及对不准确参数化具稳健性，同时提供绝对角度信息的手段，构成本申请案中所主张的标的物的主要动机。
根据各种实施例，可通过评估输入位置的旋转方向而检测圆形移动，且依据输入位置的历史而更新用作输出角度计算的参考的虚拟圆中心。
输出角度的计算
输出角度的计算是直截了当的：针对各新输入位置
中心位置的更新
本发明的核心在于依据输入位置的历史而更新虚拟圆的中心位置(计算位置相对于所述中心位置的角度)。提出两种方法。
方法a：
通过组合沿圆形轨迹的数个特性位置(例如，通过平均化)而更新中心位置。将这些位置存储于缓冲器中，其中缓冲器项目中的每一者对应于沿圆形轨迹的特定特性位置。可能组的特性位置是x或y坐标中的区域极值，如图9中所示。每当检测到特性位置时，首先用此位置更新缓冲器中的对应项目，且接着更新中心位置。此说明于图9中。
通过计算当前速度向量υnew＝pnew-pold及先前速度向量υold而发现特性位置(下文中也称为极值)，其中pold是先前输入位置。如果υnew的角度采取经定义角度或超过(低于)所述经定义角度，且υold的角度低于(超过)相同经定义角度，那么pold被视为特性位置，将其存储于缓冲器中其对应项目中且更新中心位置pc。经定义角度的列表决定用以计算pc的特性位置的列表。
可在由物体(例如手指或手)执行的每一完整圆形移动期间更新极值。因此，新极值的值可为更大或更小两者。图10说明具有四个极值的以顺时针旋转起始的其中虚拟中心点改变位置且旋转改变方向的轨迹的此过程。编号指示其中检测到极值位置且将其存储于缓冲器中且更新pc的序列中的时间点(timeinstance)。交叉符号(cross)指示圆中心位置的改变位置。如可见，最左侧位置从点2到点6而改变到点11。最顶部位置从点3到点7而改变到点10。最右侧位置从点4改变到点9且最底部位置从点1到点5而改变到点8。
事实上，更新位置缓冲器及中心位置存在额外条件：更新仅发生在新输入位置pnew被分类为圆形移动的部分且速度||υnew||足够高(例如，高于阈值)的条件下的指定时间点处。
通过计算当前速度向量υnew与其经低通滤波版本lpυ＝lpf(υold)之间的角度θ而针对每一输入位置完成对圆形移动的分类。在圆形移动中，υnew的角度连续改变，且归因于滤波延迟，两个向量之间存在角度差。如果移动是非圆形的而是线性的，那么υnew的方向几乎不随时间改变且|θ|通常是小的。|θ|可用作样本属于圆形移动的可能性的连续测量，或可比较|θ|与固定阈值以进行二元分类。图11说明圆形分类过程的实例，其中轨迹从圆形改变为例如线性，且其中可见υnew与lpυ之间的角距的减小。
任选的细化
在绘制具有单个旋转方向的圆时，中心应始终在速度向量的相同侧上，即，对于顺时针旋转在其右侧且对于逆时针旋转在其左侧。侧仅在旋转方向也改变的条件下改变。位置的快速位移可导致中心点位置估计的失败，因此使所报告输出中的旋转方向反转。如图13中所示(顶部)，两个连续圆具有大的位置偏移，且第二圆可经完成而经估计中心位置仍在左侧且在所述圆外部。此可导致非预期输出角度。事实上，输出角度实际上将暗示存在圆形移动，但是在相反方向上。预期此情境仅在极特别的情况中发生，这是因为在正常使用中用户将趋于绕相同点旋转。
方向验证是防止归因于此类快速位置移位的方向反转的特征。在真实方向改变中，移动通常首先减速且接着反转旋转方向。对于由对中心位置的不正确估计引起的输出角度的方向改变，移动通常几乎未减速。因此，每当中心位置相对于速度向量处于不同侧中(如图12中所示)且速度未减小时，检测到不正确的中心估计。
当中心位置相对于速度向量改变侧但速度未显著减小时，方向验证假定不正确的中心估计。在此情况中，立即更新极值缓冲器中的两个最旧位置，用pnew替换其两者，此将经估计中心位置快速地调整回到速度向量的正确侧。图13中展示点取代(底部)，其中在极值8之后，用当前位置替换底部及左侧极值(在缓冲器中)，而产生新虚拟中心。替换校正先前图13中(顶部)发生的其中虚拟中心8及9显然在圆外部的错误的方向改变的效应。
使用此方法，因为中心位置突然改变，所以输出角度并不平滑，但用滤波，可成功地减轻不正确的中心估计的效应。
方法b：
当新位置与中心点之间的距离小于先前位置与中心点之间的距离时(即，当在更新步骤中圆的半径减小时)更新中心位置。
如果虚拟圆的半径减小，即，如果中心位置距当前输入位置pnew的距离(欧几里德(euclidean)距离)rnew小于其距先前输入位置pold的距离rold，那么更新中心位置pc。此说明于图7中。在先前提及的情况中，即，如果rnew<rold，那么当前输入位置pnew与先前输入位置pold之间的线的垂直平分线pb与通过pc及pold的线的交点pis位于pc与pold之间。接着，通过将中心点pc移动朝向pis(例如，通过例如采用一阶iir低通滤波器而将(pis-pc)的分数相加到pc)而更新所述中心点pc，即
pc＝m·pc+(1-m)·(pis-pc)，
其中m是iir滤波器的存储器因子。
图8说明对起始于(x,y)＝(80mm,0)处的实例轨迹的中心点pc的更新。
起始检测
可在起始事件与停止事件之间产生输出值。可由圆形轨迹定义且当例如已超过预定义阈值角度时定义起始事件。可随多个测量点累加角度，且当已超过阈值时产生起始事件。
可应用其它起始准则。特别地，对于3d无触摸传感器系统，一旦检测到移动便触发起始。
算法考虑每一新输入位置以计算绝对角度α，且如果发现其是极值，那么更新虚拟中心位置pc。仅在满足起始条件的条件下报告输出。
为检测起始，必须达到最小旋转角度且轨迹必须为圆形。此旋转角度是从前两个输入位置起或达特定时间量的连续α之间的角度变化的简单累加。
圆形轨迹分类使用圆形移动分类(上文描述)来填充缓冲器(优选地，有限长度的先入先出缓冲器)。通过例如用二元移动分类平均化存储于缓冲器中的分类而获得轨迹是圆形的可能性，其定义为总缓冲器长度内指示圆形移动的缓冲器项目的数目。在可能性大于预定义阈值的条件下将轨迹视为是圆形的。
另外，取决于圆形移动起始的位置，可将不同功能性映射到空气轮。举例来说，用通用2d触摸板，当在触摸板的左边缘处起始移动时，空气轮可进行音量控制，且当在右边缘处起始时，空气轮可控制显示器的亮度。
停止检测
可能停止检测技术包含：检测触摸的释放，或检测未移动手指达特定时间量，或通过除释放触摸之外的其它手段检测手指/手的移除，例如，手从3d传感器系统的移除。
如果轨迹不再是圆形，即，如果圆形轨迹的可能性变得低于经定义阈值，那么也可检测到停止。
也可通过外部手段(例如，通过按压/释放键盘的按钮)而触发起始及/或停止检测。
列表1简述(sketch)用四个极值点的方法a的所得算法。
列表1：使用方法a的中心位置的更新
列表2简述方法b的所得算法。
复杂性降低
为降低计算复杂性，当所需角度分辨率允许可近似计算用以计算输出角度的反正切函数时，可针对此提出两种方法。
-反正切函数由线性片段的近似计算
由线性片段近似计算反正切函数。因为函数绕原点是点对称的，所以仅近似计算正值y及x(即，第一象限或四分之一圆)的函数，且取决于y及x的正负号而改变输出角度的正负号及/或相加π的倍数是足够的。此说明于图14中，其中片段边界是(y/x)∈{0,1,4,20}，导致输出角度上π/22的最大误差。
-圆的分段
当对反正切函数的分辨率或细微度的要求甚至更低时，有效方法是：分段四分之一圆且引入坐标之间的比(y/x)的阈值，以将片段及其相关联角度确定为输出值。
所述想法是用mk＝tan(δk)的阈值创建经预先计算的查找表，δk是分离四分之一圆的片段的角度。评估x及y的正负号产生象限，且比较y/x与所存储阈值mk产生次象限(sub-quadrant)精度。
例如，当将完整圆分段成相等大小的16个片段，其中x轴及y轴表示片段边界时，每一象限含有四个片段。第一象限内成角度
根据其它实施例，给定标准2d触摸板或等效定位装置，可例如在触摸板的几何中心中引入人为固定中心位置，且可相对于此中心位置考虑经估计/经检测手指位置，而产生唯一角度(例如，相对于正x轴)。此实施方案的缺点可为仅当选定中心位置在所绘制的圆内时提供适当功能性。因此例如可无法辨识绘制于触摸板的右上角中的小圆。
根据各种实施例，可将上文论述的方法实施成多种多样装置。例如，圆形手势可用以效仿对hifi设备(hifiset)的虚拟音量控制轮的控制：顺时针移动增大音量，逆时针移动减小音量。
根据另一实施例，可实施从例如圆形触摸板已知的任何类型的媒体播放器控制功能性。
根据又一实施例，可通过本申请案中揭示的方法实施对灯开关中的调光器的控制或各种其它电器功能，例如(举例来说)速度控制、空调温度、机械移动功能等。
根据另一实施例，可实施对pc鼠标的滚轮的替换。
上文论述的各种方法可搭配多种传感器系统一起使用。具有二维传感器的此类传感器/测量系统的实例是触摸面板/触摸显示器、2d摄像机等。对于三维检测系统，所揭示的方法可与3d摄像机、3d电容式传感器系统等一起使用，其中例如通过省略一个维度而将3d位置转变成2d位置。
- 还没有人留言评论。精彩留言会获得点赞！