通过跟踪手指的移动来控制装置的制作方法

本申请要求于2016年12月9日提交的题为“通过跟踪手指的移动来控制装置(Controlling a Device by Tracking the Movement of a Finger)”的第62/432453号美国临时专利申请的优先权，其全部内容通过引用结合于本文。

技术领域

本发明一般涉及控制装置，更具体地说，涉及通过跟踪手指的移动来控制装置(例如，智能手机)。

背景技术：

智能电视、智能家电、虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)都变得越来越流行。它们成功的关键是拥有易于使用的用户界面来控制装置(例如，智能电视、智能电器和实现VR/AR的装置)。目前，虽然这些装置缺乏易于使用的用户界面。

通过让用户浏览各种菜单，智能电视目前控制起来还是比较繁琐的。许多智能装置要求用户手动启动智能手机应用程序并点击页面来控制智能装置，这比打开/关闭交换机更加麻烦。VR和AR提供沉浸式体验，为培训、教育、会议、广告、旅行、医疗保健、应急响应和科学实验的新方式打开了大门。然而，实现VR/AR的装置的当前用户界面相当有限：它们依赖于轻敲、滑动、语音识别或朝向手转动相机，以确保在戴着头戴式设备时手在相机的视野和视线内。

最近，已经进行了关于运动跟踪作为控制装置的手段的研究。然而，尽管取得了一些进展，但在商用硬件上实现高度精确和灵敏的无装备(device-free)跟踪仍然是一种公开挑战。根据游戏和应用程序开发人员的说法，需要亚厘米级别的精度和16毫秒内的响应时间才能提供良好的用户体验。考虑到其有限的处理能力和缺乏专用硬件，这对于使用商品装置(例如智能手机)来说尤其具有挑战性。

因此，目前没有用于通过高度精确和灵敏的无装备跟踪来容易地交互和控制诸如智能装置和实现VR/AR的装置之类的装置的手段。

技术实现要素：

在本发明的一个实施例中，一种用于通过跟踪目标的移动来控制装置的方法包括：估计信道脉冲响应，该信道脉冲响应表征在一个或更多个频率下具有不同延迟的信号遍历路径。该方法还包括选择对应于目标的一个或更多个信道抽头(channel tap)。该方法还包括基于估计的信道脉冲响应，估计所选择的一个或更多个信道抽头的相位变化，以估计目标距装置的距离变化。此外，该方法包括由处理器使用目标距装置的估计的距离变化来跟踪目标的移动。

上述方法的实施例的其他形式在装置和计算机程序产品中。

在本发明的一个实施例中，一种用于通过跟踪目标的移动来控制装置的方法包括基于在一个或更多个频率下估计的信道脉冲响应计算装置与目标之间的绝对距离的估计值。该方法还包括由处理器使用装置和目标之间的估计的绝对距离来跟踪目标的移动。

上述方法的实施例的其他形式在装置和计算机程序产品中。

前面已经相当概括地概述了本发明的一个或更多个实施例的特征和技术优点，以便本发明随后的详细描述可以更好地被理解。下面将描述本发明的附加特征和优点，它们可以构成本发明权利要求的主题。

附图说明

当结合以下附图考虑以下详细描述时，可以获得对本发明的更好理解，在附图中：

图1示出了根据本发明实施例配置的系统；

图2示出了根据本发明实施例的由手指的移动控制的装置的硬件配置；

图3是根据本发明实施例的通过允许装置使用声信号连续跟踪手指的移动来使用手指移动来控制装置的方法的流程图；

图4A示出了根据本发明实施例的信号生成和发送过程；

图4B示出了根据本发明实施例的信号接收和基带转换过程；

图5示出了根据本发明实施例当球向装置移动时多个信道抽头的相位；

图6A和6B分别示出了根据本发明实施例当用户将他的手指移向扬声器和麦克风时h[k]和hd[k]的相位；以及

图7A-7B分别示出了根据本发明实施例的粗粒度和细粒度信道估计对绝对距离估计的影响。

具体实施方式

虽然以下讨论了与使用手指的移动来控制装置(例如，计算机、游戏控制台、VR/AR头戴式设备和诸如智能手机和智能手表的智能装置)相关的本发明，但是本发明的原理可以应用于使用任何目标(例如，笔、铅笔)的移动来控制装置。本领域普通技术人员将能够将本发明的原理应用于这些实现。此外，将本发明的原理应用于这些实现的实施例将落入本发明的范围内。

如下所述，本发明提供了一种使用声信号的无装备跟踪系统。在一个实施例中，移动计算装置(例如，智能手机)连续地发送不可听的声信号。该信号由附近的物体(包括移动的手指)反射，并到达移动计算装置上的麦克风。移动计算装置分析所接收的信号以估计信道，基于其估计手指的距离变化以及移动计算装置和手指之间的绝对距离，以便定位手指。

由于声信号的波长小，因此有希望基于相位导出手指的距离变化。然而，与许多无线信号一样，音频信号通过多条路径到达接收器，例如这是由于不同物体的反射。这种多径传播对于使用原始接收信号的相位进行跟踪提出了重大挑战。为了解决该挑战，本发明估计了时域中的信道脉冲响应(channel impulse response，CIR)。该估计给出了每个信道抽头的信道系数。然后选择适当的信道抽头，其中使用所选择的抽头的相位来估计手指的距离变化。

为了进一步导出绝对距离，开发了一种框架，用来估计在几个连续间隔期间由移动的手指反射的路径的绝对距离，使得其变化与在这些间隔期间CIR的变化相匹配。推断绝对距离有两个目的：(i)获得初始绝对距离，使得手指的后续距离变化可以被转换成移动计算装置和手指之间的新绝对距离；以及(ii)通过将其与相对距离变化相结合，可以用于提高跟踪精度并减轻后续间隔中的误差累积。

在一个实施例中，本发明的方法在具有一个扬声器和两个麦克风的智能电话上实现，其能够以高精度(在0.3mm距离跟踪误差内，在二维空间中在0.99mm二维跟踪误差和0.5mm绘制误差之内)、低延迟(每12.5ms更新位置)并且易于部署地(本发明简单地利用智能手机，能够在没有任何额外硬件的情况下跟踪附近手指的移动)实时跟踪用户的移动手指。

在以下描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践本发明。在大多数情况下，省略了考虑时间因素等的细节，因为这些细节对于获得对本发明的完整理解不是必需的，并且在相关领域的普通技术人员的技能范围内。

现在详细参考附图，图1示出了根据本发明实施例配置的系统100。参考图1，系统100包括由用户的手指102控制的装置101。装置101可以是包含扬声器103和两个麦克风104A-104B(在图1中分别标识为“麦克风A”和“麦克风B”)的任何计算装置。麦克风104A-104B可以被统称为或被分别地单独称为麦克风104。虽然图1将装置101示出为包括一个扬声器103和两个麦克风104，但是本发明的装置101的范围不限于仅包括单个扬声器103和两个麦克风104。相反，装置101可以包括一个或更多个扬声器103和一个或更多个麦克风104。装置101的一些示例包括但不限于计算机、视频游戏控制台、VR/AR头戴式设备、智能电视和智能电器。装置101被配置为通过其扬声器103发出音频信号，无论是人类听得见的还是听不见的。此外，装置101被配置为通过麦克风104接收由用户的手指102反射的音频信号。装置101使用该反射的音频信号来实时地连续跟踪手指102，如下面进一步讨论的。下面结合图2提供装置101的实施例的硬件配置的更详细描述。

现在参考图2，图2是受控装置101(图1)的示例的功能框图。在该示例中，受控装置101包括一个或更多个处理器201。处理器201可以包括一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器、电子装置、电子单元或它们的组合。

处理器201被配置为存储由一个或更多个接口接收的数据，以及对数据进行处理并将其存储在存储器202上。存储器202可以在处理器201内实现或在处理器201外部实现。如本文所使用的，术语存储器指的是任何类型的长期、短期、易失性、非易失性或其他存储器，并且不限于任何特定类型的存储器或存储器的数量或保存存储数据的介质类型。在一个实施例中，存储器202存储应用程序，诸如用于使用手指102(图1)的移动来控制装置101的程序，其通过允许装置101使用声信号连续跟踪手指102的移动，。在一个实施例中，处理器201被配置为执行存储在存储器202中的应用程序的程序指令。

此外，扬声器103和麦克风104A、104B经由用户接口适配器203连接到装置101。扬声器103被配置为以各种频率生成音频信号(人类听得见或听不见)。此外，麦克风104A、104B被配置为接收由用户的手指102反射的音频信号。

图2的装置101的范围不限于图2中描绘的元件，而可以包括比图2中描绘的更少或更多的元件。

本发明可以是系统、方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或媒介)，其上具有计算机可读程序指令，用于使处理器执行本发明的各方面。

计算机可读存储介质可以是有形装置，其可以保留和存储指令以供指令执行装置使用。计算机可读存储介质可以是例如但不限于电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述项的任何合适组合。计算机可读存储介质的更具体示例的非详尽列表包括下列项：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘、机械编码装置(例如在其上记录有指令的穿孔卡或凹槽中的凸起结构)以及前述项的任何合适的组合。本文使用的计算机可读存储介质不应被解释为暂时性信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。

这里描述的计算机可读程序指令可以经由网络(例如，因特网、局域网、广域网/或无线网络)从计算机可读存储介质或外部计算机或外部存储装置下载到相应的计算/处理装置。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理装置内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或对象，包括诸如Smalltalk、C++等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的传统程序化编程语言。计算机可读程序指令可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分地在用户的计算机上且部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，使用互联网服务提供商而经由互联网)。在一些实施例中，例如包括可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息，来个性化电子电路，从而执行计算机可读程序指令，以执行本发明的各方面。

这里参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令实现。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得通过计算机的处理器或其他可编程数据处理装置执行的指令创建用于实现流程图和/或框图块中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机、可编程数据处理装置和/或其他装置以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括一种制品，其包括实现流程图和/或框图块中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他装置上，以使得在计算机、其他可编程装置或其他装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他装置上执行的指令实现在流程图和/或框图一个或更多个框中指定的功能/动作。

附图中的流程图和框图显示了根据本发明的各个实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就此而言，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或更多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由专用基于硬件的系统来实现，其执行特定功能或动作或执行专用硬件和计算机指令的组合。

如背景技术部分所述，智能电视、智能家电、虚拟现实(VR)和增强现实(AR)都变得越来越流行。它们成功的关键是拥有易于使用的用户界面来控制装置(例如，智能电视、智能电器和实现VR/AR的装置)。但是目前，这些装置缺乏易于使用的用户界面。通过让用户浏览各种菜单，智能电视目前控制起来还是比较繁琐的。许多智能装置要求用户手动启动智能手机应用程序并点击页面来控制智能装置，这比打开/关闭交换机更加麻烦。VR和AR提供沉浸式体验，为培训、教育、会议、广告、旅行、医疗保健、应急响应和科学实验的新方式打开了大门。然而，实现VR/AR的装置的当前用户界面相当有限：它们依赖于轻敲、滑动、语音识别或朝向手转向相机，以确保在戴着头戴式设备时手在相机的视野和视线内。最近，已经进行了关于运动跟踪作为控制装置的手段的研究。然而，尽管取得了一些进展，但在商用硬件上实现高度精确和灵敏的无装备跟踪仍然是一种公开的挑战。根据游戏和应用程序开发人员的说法，需要亚厘米级别的精度和16毫秒内的响应时间才能提供良好的用户体验。考虑到其有限的处理能力和缺乏专用硬件，这对于使用商品装置(例如智能手机)来说尤其具有挑战性。因此，目前没有用于通过高度精确和灵敏的无装备跟踪来容易地交互和控制诸如智能装置和实现VR/AR的装置之类的装置。

本发明提供了一种通过高度精确和灵敏的无装备跟踪来容易地交互和控制装置的手段，如下面结合图3、4A-4B、5、6A-6B和7A-7B所讨论的。图3是通过允许装置使用声信号连续跟踪手指的移动来使用手指移动以控制装置的方法的流程图。图4A示出了信号生成和传输过程。图4B示出了信号接收和基带转换过程。图5显示了当球朝向装置移动时多个信道抽头的相位。图6A和6B分别示出了当用户将他的手指朝向扬声器和麦克风移动时h[k]和hd[k]的相位。图7A-7B分别示出了粗粒度和细粒度信道估计对绝对距离估计的影响。

现在参考图3，图3是根据本发明实施例用于通过允许装置101使用声信号连续跟踪诸如手指(例如，图1的手指102)的物体的移动来使用手指移动以控制装置(例如，图1和图2的装置101)的方法300的流程图。

参考图3，结合图1-2，在步骤301中，装置101估计了信道脉冲响应，其表征在一个或更多个频率下具有不同延迟的信号遍历路径。

在一个实施例中，使用基于单载波的通信系统来估计时域中的信道。为了估计信道，发送已知的训练序列，其中观察到由多径引起的接收信号的变化。设S＝{s[l]，...s[K]}表示训练序列，其中K是序列的长度。在一个实施例中，选择26比特GSM训练序列，因为已知其具有良好的同步和信道估计特性并广泛用于单载波通信。S被调制为BPSK符号，其中比特0和1分别被映射到基带符号1和-1。

图4A示出了根据本发明实施例的信号生成和传输过程。为了在不可听频带上发送调制符号，缩减了信号带宽，使其不超过不可听频带的最大允许带宽。设fs和B分别表示采样率和信道带宽。为了限制发送符号的带宽，以fs/B的速率对符号进行上采样，这通过补零和低通滤波来完成，以平滑不连续性。最后，信号被上转换以通过听不见的频带发送它。设fc为通带的中心频率。通过将基带信号乘以来改变信号的频率：其中s(t)和x(t)分别是上采样的基带和通带信号。由于BPSK只有实部

为了消除传输频带之外的噪声，在x(t)上执行带通滤波，其通带范围从fc-B/2Hz到fc+B/2Hz。生成的通带信号通过扬声器103发送。由于发送的训练序列总是固定的，因此它可以离线生成并保存为波形音频(WAV)文件中的16位脉冲编码调制(PCM)格式，该格式可以由任何移动计算装置101(例如，智能手机或智能手表)播放。

如本文所讨论的，训练序列被称为帧。在帧之间，插入固定间隙(即，零符号)以避免帧间干扰。间隙应足够长，以使来自前一帧的延迟信号不会干扰新帧。但是，它应该尽可能短以提供低延迟。在一个实施例中，基于研究，帧之间24个零符号就足够了。结果，帧具有50个符号。假设基带符号间隔是l/B＝0.25ms，则每帧持续12.5ms。结果，可以每12.5ms获得新的信道估计，其用于以相同的间隔更新目标的位置(例如，手指102的位置)，该间隔低于16ms，这是提供无缝用户体验所需的。

现在参考图4B，图4B示出了根据本发明实施例的信号接收和基带转换过程。使用下面的下转换过程将到达麦克风104的被接收通带信号y(t)转换成基带符号r[n]：y(t)乘以和分别得到接收基带信号的实部和虚部。在每个符号间隔执行低通滤波和下采样以选择信号。这提供了以下基带信号：其中t是第n个基带符号被采样的时间(即，t＝n×Ts，其中Ts是符号间隔)。

在通带到基带信号转换之后，接收器通过能量检测和互相关来检测接收帧的第一个符号。首先基于能量检测来检测帧的粗略开始：如果三个连续符号的幅度高于阈值σ，则将第一符号视为帧符号的开始。在一个实施例中，σ＝0:003。然后基于互相关找到更精确的起点。具体地，找到在接收帧和发送帧之间给出最大互相关幅度的样本。注意，帧检测过程仅在跟踪开始时是必需的。由于帧间隔是固定的，因此一旦检测到帧，就可以通过添加恒定帧间隔来确定后续帧。

接下来，基于接收帧和已知训练序列来估计信道。在可以使用的单载波通信系统中有若干现有的信道估计算法，例如最大似然序列估计(MLSE)和最小二乘(LS)信道估计。

对于LS信道估计，需要确定参考长度P和存储长度L，其中L确定要估计的信道抽头的数量，并且P+L是训练序列长度。增加L会增加要估计的信道抽头的数量，但会降低估计的可靠性。在一个实施例中，P＝16且L＝10，这意味着跟踪移动直到50cm远。人们可以根据环境容易地调整P。

设m＝{m1，m2，…，mL+p}表示训练序列。循环训练矩阵为：

设y＝{y1，y2，…，yL+p}表示接收的训练序列。该信道估计为

其中yL＝{yL+1，yL+2，yL+p)。

给定预先计算的(M^HM)^-1M^H，信道估计的计算代价仅是矩阵到矢量的乘法，即O(P×L)。给定P＝16且L＝10，信道估计复杂度足够低，可以在移动计算装置上实现。

此外，改进了信道估计。在传统的数字通信中，在通带到基带转换期间的下采样简单地从过采样信号中挑选出每r个样本中的一个，其中r是上采样率。在一个实施例中，对过采样信号求平均以减少输出中的噪声。从采样间隔中的每r个样本中，选择第一l个样本，并将它们的平均值用作下采样输出。在一个实施例中，1＝4。

在步骤302中，装置101选择对应于目标(例如，手指102)的一个或更多个信道抽头。这里使用的“目标”是指反射信号的物体(例如，手指)或接收器。在一个实施例中，基于信道抽头跨一个或更多个频率在最近一组间隔期间的幅度和相位的变化来选择信道抽头。

在步骤303中，装置101基于估计的信道脉冲响应，估计所选择的信道抽头的相位变化，以估计目标(例如，手指102)距装置101(例如，麦克风104)的距离变化。在一个实施例中，通过使用前几个样本的平均值来估计信道脉冲响应或使用最小二乘或最小绝对收缩和选择算子(least absolute shrinkage and selection operator，LASSO)估计函数来估计信道脉冲响应，从而计算所选信道抽头的估计相位变化。

基于CIR估计跟踪相位。已经使用以下实验研究了反射信号的影响。移动连接在细长木棍上的小铝球(直径<1厘米)。移动木棍的人距球超过1米(在CIR抽头范围之外)。球最初距装置101(例如智能手机)30厘米，并朝装置101(例如，智能手机)移动20厘米。图5示出了根据本发明实施例的当球朝向装置101(例如，智能手机)移动时多个信道抽头的相位。结果表明，相位以多个抽头旋转，这指示路径长度在变化。这种变化是由移动的球引起的。如图5所示，即使只有一个小物体移动，也会在多个抽头中观察到相位旋转。实验重复多次，发现在三个连续的抽头中观察到相位旋转，具有延迟τ的反射信号影响了具有最小|τ-nTs|的三个h[n]。因此，h[n]可以近似为：

换句话说，每个信道抽头h[n]包含反射信号的相位和幅度，其延迟在(n-3/2)Ts和(n+3/2)Ts之间。路径长度根据dk＝τkVc随延迟τk而变化，其中dk是路径k的行进距离，并且Vc是音频的传播速度(即，Vc≈340m/s)。假设扬声器103和麦克风104位置邻近，则从麦克风104到反射物体(例如，手指102)的距离大约是行进距离的一半。因此，h[n]表示物体距麦克风104的距离在和之间。给定Ts＝0.25ms和4KHz带宽，则每个抽头捕获12.75cm范围内的物体。这使得可以过滤掉目标范围之外的物体的移动。例如，如果想要跟踪手指在距装置101的50厘米内的移动，则可以将信道抽头限制为前10个抽头以过滤掉50厘米以外的移动。这是因为第10个抽头可包含大约12个抽头远的物体的信息，这给出12*4.25＝51厘米。

虽然CIR矢量捕获了具有不同传播距离的信道，但是由于在每个信道抽头内混合了具有相似距离的多个路径，因此基于CIR来提取由目标移动引起的相位变化仍然是具有挑战性的。为了解决这个问题，将该问题分解为以下两个步骤：(i)如果知道哪个信道抽头受到移动目标影响，那么如何提取由目标移动引起的相位变化，以及(ii)如何确定哪个信道抽头受到了该目标的影响。下面给出了本发明解决这两个问题的方法。

假设第k个信道抽头受到目标移动的影响。为了观察移动目标的相位变化，比较两个连续的信道测量值。在两个连续信道之间取差值有效地消除了主要的静态反射。设Lk表示在h[k]中观察到的路径数量。假设第Lk个路径是从移动的手指102反射的路径，而其他Lk-1个路径在两个连续信道测量周期t-1和t期间保持相同。

其中h[k]^t是从第t帧估计的第k个信道抽头，而τd(t)是由第t帧间隔和第(t-1)帧间隔之间的目标移动引起的延迟差(即，τd(t)＝τLk(t)-τLk(t-1))。通过取它们的差值，得到

其中hd[k]^t＝h[k]^t-h[k]^t-1。假设与传播路径相关联的aLk在两个连续测量期间是恒定的，这是由于12.5ms间隔中的距离变化非常小。从hd[k]^t的角度中，观察到由τLk(t)的变化引起的相位旋转。

其中∠(X)是复数X的相位。

图6A和6B分别示出了根据本发明实施例当用户将他的手指102移向扬声器103和麦克风104时h[k]和hd[k]的相位。在收集到的迹线中，推测h[k]包括1秒至4.6秒之间的手指移动相关路径。在图6A中，相位非常稳定，并且手指移动带来的变化不明确，这是因为h[k]的大部分包含来自静态路径的信号。在消除静态路径的影响之后，由于手指从hd[k]移动，可以观察到清晰的相位旋转。

从hd[k]^t+1和hd[k]^t之间的相位差，获得由延迟差引起的相位旋转，并且最终使用相位变化之间的关系获得手指102在测量间隔期间的行进距离。注意τd(t)＝τLk(t)-τLk(t-1)。使用等式(1)，可以将相位差表示为

通过求解上述等式，可以计算当没有给出先前的时，可以简单地假设τd(t)＝τd(t-1)。一旦获得相位旋转，就可以基于计算距离变化，其中d^t是时间t处动态路径的距离变化，并且λ是音频信号的波长。只要相位变化小于2π，这种关系就成立，这对于手指移动速度和间隔持续时间是成立的。

上面的讨论假设人们知道哪个抽头用于跟踪手指102的移动。下面的讨论描述了如何找到对应于目标(例如，手指102)的信道抽头。也就是说，下面的讨论描述了如何在多个可能的抽头中找到包括从手指102反射的路径的正确抽头。如上所述，在多个抽头而不是在单个抽头中观察到通过手指移动的相位旋转。因此，需要选择这些抽头中的一个。

信道抽头可以被分类为动态抽头(即，包括动态路径的那些抽头)和静态抽头(即，不包括动态路径的那些抽头)。正确抽头应该是动态抽头，这是因为本发明跟踪手指102的移动。如果所有抽头都是静态抽头，那么这意味着手指102没有移动并且其位置不需要更新。

条件1：与静态抽头相比，动态抽头具有信道随时间的相对较大变化。因此，开发以下测试以识别抽头k中的动态路径：其将两个连续信道的幅度的归一化差值与阈值σi进行比较。在一个实施例中，σi＝0.05。

条件2：虽然上述条件区分了动态和静态抽头，但是信道估计中的噪声可能导致分类错误。为了避免这种情况，基于以下观察添加了另一个条件：静态抽头k由hd[k]表示的相位旋转非常不稳定，这是因为在求差过程中所有静态路径都被消除而hd[k]中的保留值可能包含随机噪音。相比之下，如果k是动态抽头，则hd[k]的相位旋转更加稳定，这是因为hd[k]包括动态路径，并且其在测量间隔期间的相位变化相对较小。这从图5和6A-6B中显而易见，图5和6A-6B示出了当动态路径不被包括在信道抽头中时的相位变化。基于这种观察，构造了另一种条件来过滤掉静态抽头。测量相位变化的稳定性，其被定义为最后三次测量期间的相位变化差。具体地，找到三个周期上的最大相位变化，表示为M2[k]^t＝maxi＝t-2，t-1，t f(i)，并且如果M2[k]^t高于σ2，则可以推断为静态抽头。否则，可以推断为动态抽头。在一个实施例中，σ2＝0.5。

在通过两个测试的抽头中，选择具有最小k的抽头作为包含涉及手指移动的路径的抽头，这是因为假设手指102是距装置101(例如，智能手机)最近的移动物体。

在步骤304中，装置101基于估计的信道脉冲响应来计算装置101与目标(例如，手指102)之间的绝对距离的估计值。

此时，焦点在于通过观察相位来跟踪手指102的距离变化。但是，在某个点需要绝对距离以获得随时间的绝对距离。因此，已经开发了一种基于信道系数估计绝对距离的方法。

基于信道估计精确地估计装置101和目标(例如，手指102)之间的绝对距离的现有技术，由于许多的多路径而在声信号中表现出较差的精确性，这导致许多未知数和严重欠约束的系统。

结果，为本发明开发了一种新的规划，通过仅考虑已改变的路径以显著减少未知数。新规划的结果表明它可以很好地估计绝对距离。这种方法用于估计初始位置，该初始位置用于将相对距离转换为绝对距离。

在步骤305中，装置101通过将装置101与目标之间的估计绝对距离以及目标距装置101的估计的距离变化结合来计算装置101与目标(例如，手指102)之间的更精确距离。在一个实施例中，将在多个间隔期间的当前绝对距离估计与距离变化估计相结合，以提高精度。

观察到不需要重建完整的信道轮廓以便跟踪移动的手指102。相反，仅需要重建由手指102反射的路径的延迟和幅度。由于手指102较小，则假设只有一条路径被手指102反射是合理的。因此，可以获得两个连续CIR估计之间的差值，这将抵消所有静态路径，从而仅保留动态路径，并将未知数减少到与手指102反射的路径相关的参数的数量。然后，从与手指102反射的路径相对应的保留动态路径中选择路径。

在一个实施例中，获得两个连续CIR之间的差值，其消除所有静态路径并且仅保持由移动手指102反射的路径：

其中a和τ分别是从手指102反射的信号的幅度和延迟。基于测量的hd[n]，目标是找到t和a，其最小化测量的CIR变化和估计的CIR变化之间的差值，其中估计的CIR从等式2中的数学模型导出。这给出以下优化问题：

这样的方案找到了与移动手指102反射的路径相关联的单个τ和a。这具有两个好处：(i)它减少了未知数并降低了计算复杂度，以及(ii)它消除了所有静态路径且有助于减小误差。然后可以很容易地计算作为延迟(τ)和声音传播速度的乘积的绝对距离。

在一个实施例中，虽然上述方法对于找到绝对距离是有用的，但其精度受估计信道的解析度限制。由于信道的带宽限制在4KHz，因此基带符号间隔为0.25ms，这被转换为4.25cm的信道解析度。当使用在4.25cm处采样的h[n]试图找到τ时，由于粗解析度，误差增加。

为了提高精度，利用过采样信号来实现更精细的解析度。对于在h[k]和h[k+1]之间接收的过采样信号，使用与上述相同的方法估计信道。这些样本间隔0.0208ms(即，1/FSms)，这对应于3.5mm的距离解析度。结果，信道估计的解析度不受基带符号率的限制，而是受到音频信号的采样率的限制，这高了12倍。通过这种细粒度的信道估计，可以使用相同的优化框架找到τ。

现在参考图7A-7B，图7A-7B分别示出了根据本发明实施例的粗粒度和细粒度信道估计对绝对距离估计的影响。在该实验中，在用户移动他的手指102的同时记录音频信号，并且使用测量的信道估计绝对距离。为了便于解释，图7A-7B的x轴表示对应于信道延迟的距离。图7A-7B中的线701示出了测量的信道差值。图7A-7B中的线702、703分别通过将估计的和真实的延迟插入等式2来对应于信道差值。真实的手指距离是32cm。粗信道估计下的信道差值偏离真实信道并且具有2cm的误差。相比之下，来自细粒度估计的信道差值接近于真实，并且仅具有0.4cm的误差。

在步骤306中，装置101使用装置101和目标(例如，手指102)之间的更精确的绝对距离以及目标距装置101(例如，智能手机)的估计的距离变化，基于到装置101上的不同地标(例如，装置101上的信号的“发送器”和“接收器”，例如扬声器103和麦克风104)的距离来跟踪目标的位置。在使用本发明的原理来跟踪装置的实施例中，仅使用装置101上的发送器(例如，发送器)或接收器来跟踪装置。可以通过利用装置101(例如，智能手机)上的两个麦克风204(地标)来完成在二维空间中跟踪手指。

在一个实施例中，结合相对距离和绝对距离。从相位估计出的绝对距离和距离变化都用于跟踪目标(例如，手指102)。在开始时，绝对距离用于获得目标的初始位置。之后，获得两个距离估计：从相位估计的和从信道差值估计的其中，作为相位变化的函数计算和然后使用加权因子a将两个距离估计结合：

给定电话形状因素，则扬声器103和麦克风104的相对位置是已知的。假设扬声器103位于原点(0，0)，并且两个麦克风104分别位于(x1，0)和(x2，0)。假设它们都在相同的Y轴上对齐，这是因为现代装置(例如智能手机)非常薄。手指102应位于其焦点为(x1，0)和(x2，0)并且总距离为dk的椭圆上。使用两个麦克风104作为地标，可以通过找到两个椭圆的交点来跟踪手指102。在一个实施例中，两个椭圆在装置101上的地标处具有焦点，并且到焦点的距离之和是装置101与目标(例如手指102)之间的估计绝对距离。当它们重叠时，两个椭圆之间存在两个交点，选择靠近前一个位置的那个交点。

虽然已经结合跟踪目标(例如手指)讨论了本发明，但是本发明的原理可以应用于对装置(例如，移动装置)进行跟踪。例如，结合对装置进行跟踪，计算两个圆(与两个椭圆相对)的交点，其中这两个以地标为圆心的圆的半径设置为距地标的估计距离。然后选择更靠近目标的先前位置的交点。

本发明开发了一种新颖的无装备声学跟踪系统，其实现0.9cm的中值跟踪误差。已经获得了几个重要的见解：(i)由于波长较小，基于相位的跟踪对于声信号是有效的，但是使用来自适当抽头(而不是整个信道)的信道估计来实现高精度，(ii)由于声道不稀疏，很难通过直接分解信道来估计绝对距离，因此，使用一种规划来获得消除所有静态路径的两个连续CIR估计之间的差值，这显著减少未知数并提高精度，以及(iii)声信道具有比奈奎斯特速率高得多的采样率，结果，本发明的细粒度信道估计在提高信道估计精度方面是有效的。

因此，本发明使用户能够通过简单地移动他/她的手指来控制另一个装置(例如，智能手机、智能手表、AR/VR头戴式设备)。该装置可以由用户的手指控制，因为能够跟踪移动的手指而不需要将任何东西保持在毫米级精度。

此外，虽然已经结合使用音频信号进行跟踪讨论了本发明，但是本发明的原理可以利用任何类型的信号，甚至具有在大约20到24,000Hz的音频范围之外的频率的信号，例如无线电频率。

已经出于说明的目的给出了对本发明的各种实施例的描述，但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。本文选用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的改进，或者使本领域技术人员能够理解本文公开的实施例。