用于使用电阻抗测量追踪手部运动的臂带的制作方法
背景
公开领域
本公开总体上涉及使用传感器进行对身体运动的追踪，并且具体涉及使用电阻抗测量对人的手部位置(handposition)的追踪。
相关技术的描述
诸如手势的身体运动对用户来说是与计算设备交互的一种吸引人的方式，因为手势已经是人们交流方式的自然部分。手势追踪设备可以使用户能够控制计算设备或与计算设备交互，而无需物理上触摸它们。例如，用户可以使用手势追踪设备来控制本地或远程环境中的存储器或显示设备。
手势识别系统可能使用起来难掌握、受到限制并且不舒适。例如，使用机械信号来追踪手部运动的手套状设备可能会干扰手的触觉。它们也可能很难针对具有不同的手部尺寸的不同用户进行定制。基于相机的手势追踪系统从捕获的图像中检测用户的手部区域，但是通常要求用户的整只手都在相机视野范围内。当图像中存在物体遮挡时，它们还可能遭受失败。
因此，手势追踪器使用不便、难以管理，并且受到来自系统布置或周围环境的失真。传统手势追踪器的成本还可能很高，因此限制了用户的采用率。此外，手势识别系统限于一小组预定义的手势。由于这些和其他原因，这样的手势识别系统不适用于头戴式显示器(hmd)的有效手部追踪。
概述
实施例涉及一种使用对用户的手臂的电阻抗测量来追踪人手部运动的可佩戴设备。位于可佩戴设备上的传感器从用户的手腕或手臂接收对应于用户的手部位置的电信号。从电信号中提取信息(例如，指示用户的手臂结构(例如肌腱)的状态的阻抗值，从而也指示用户的手部位置或姿势的阻抗值)。阻抗值或从电信号中提取的其他值可以用作实现机器学习模型的位置计算电路的输入。位置计算电路使用机器学习模型从输入中确定用户的手部位置。在一些实施例中，可佩戴设备包括惯性测量单元(imu)，该惯性测量单元测量用户的手臂的运动，并且向位置计算电路提供惯性信号作为用于确定手部位置的输入。在一些实施例中，使用从与电子信号的捕获同时拍摄的用户的手的视频图像中提取的真实事实(groundtruth)手部位置来训练机器学习模型。
在一个实施例中，系统包括可佩戴设备，该可佩戴设备包括布置在该可佩戴设备上的传感器。每个传感器测量从用户的手腕或手臂传输的电信号。位置计算电路耦合到传感器。位置计算电路利用机器学习模型使用从电信号中导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出。
在一个实施例中，位置计算电路位于可佩戴设备中。
在一个实施例中，位置计算电路位于可佩戴设备外部的主机系统或其他计算设备中。
在一个实施例中，每个传感器包括电极和位于电极和用户的手腕或手臂之间的导电剂。每个传感器可以将交流(ac)信号、直流(dc)信号或优选地包括多个频率的宽带宽ac信号传输到用户的手腕或手臂中。
在一个实施例中，每个电信号可以包括以下之一：电压和电压的相位；电流和电流的相位；或者dc信号的幅度。
在一个实施例中，传感器以网格阵列或棋盘格(checkerboard)图案布置。
在一个实施例中，从电信号导出的信息包括基于每对传感器之间测量的电阻抗的合计值。电阻抗是基于由一对传感器传输到用户的手腕或手臂中的探测信号和测量到的电信号来确定的。在一个实施例中，导出的信息可以包括电信号的波形、电信号的频域表示或电信号的时域样本。
在一个实施例中，位置计算电路从自电信号导出的信息中提取特征。这些特征包括以下中的一个或更多个：定义用户的手腕或手臂的手的手部位置的关节之间的角度，以及用户的手腕或手臂的手的手部位置的变化的简化表示(reducedrepresentation)。简化表示定义了用户的手腕或手臂的手的当前手部位置与用户的手腕或手臂的手的先前手部位置之间的差异。
在一个实施例中，每个传感器还通过改变探测信号的时间周期、探测信号的振幅或探测信号的相位来将探测信号传输到用户的手腕或手臂中。
在一个实施例中，第一传感器通过相对于由其他传感器对其他探测信号的传输而使探测信号的传输交错，来将探测信号传输到用户的手腕或手臂中。
在一个实施例中，惯性测量单元生成对应于可佩戴设备和用户的手臂的移动的惯性信号。位置计算电路还利用机器学习模型使用从惯性信号中导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出。
在一个实施例中，惯性测量单元包括陀螺仪、加速度计和磁力计中的一个或更多个。
在一个实施例中，一个或更多个相机生成用户的手的图像信号，例如从一个或多个角度显示手部位置的图像。位置计算电路还利用机器学习模型使用从图像信号中导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出。
在一个实施例中，相机是深度相机、红-绿-蓝(rgb)相机、红外相机或安装在hmd上的相机。
在一个实施例中，惯性测量单元生成对应于可佩戴设备的移动的惯性信号。位置计算电路还训练机器学习模型，以使用从惯性信号导出的信息生成描述用户的手腕或手臂的手的手部位置的输出。
在一个实施例中，相机生成用户的手腕或手臂的手的图像信号。位置计算电路还训练机器学习模型，以利用机器学习模型使用从图像信号中导出的信息来生成描述用户的手腕或手臂的手的手部位置的输出。
在一个实施例中，所计算的输出还描述由用户的手施加在接触用户的手的物体上的力。当手施加力时与当手放松时相比，即使手的整体位置看起来相似，但用户的手臂的结构(例如肌腱)也处于不同的状态。因此，与利用其他类型的传感器追踪系统可能实现的数据提取的类型相比，将电信号用于手部追踪允许甚至更多类型的数据提取。
在一个实施例中，位置计算电路还从安装在hmd上的相机接收图像信号。通过将图像信号和所计算的输出进行比较来确定比较信号。比较信号被传输到主机系统。
在一个实施例中，所计算的输出包括手形模型的参数。这些参数对应于用户的手腕或手臂的手的关节、成对关节之间的边、成对边之间的角度以及包括顶点和对于每个顶点在顶点和一个或更多个关节之间的距离的网格。
在一个实施例中，hmd(头戴式显示器)可以包括：
位置计算电路，其耦合到布置在可佩戴设备上的不同位置处的多个传感器，每个传感器被配置成测量从用户的手腕或手臂传输的电信号，位置计算电路被配置成利用机器学习模型使用从电信号导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出；以及
显示面板，其被配置为从位置计算电路接收所计算的输出。
在一个实施例中，hmd可以包括：
相机，其被配置为生成用户的手腕或手臂的手的图像信号，其中，位置计算电路还被配置为利用机器学习模型使用从图像信号中导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出。
相机可以是深度相机、红-绿-蓝(rgb)相机、红外相机或安装在hmd上的相机。
在一个实施例中，hmd可以包括：
相机，其被配置为生成用户的手腕或手臂的手的图像信号，其中，位置计算电路还被配置为训练机器学习模型，以利用机器学习模型使用从图像信号中导出的信息来生成描述用户的手腕或手臂的手的手部位置的输出。
位置计算电路还可以被配置成：通过将图像信号和所计算的输出进行比较来确定比较信号；和将比较信号传输到主机系统。
在实施例中，一种方法可以包括：
从布置在可佩戴设备上的不同位置处的多个传感器接收训练电信号，该训练电信号自用户的手腕或手臂被传输；
从训练电信号中提取训练特征；
使用所提取的训练特征来训练机器学习模型，以确定用户的手腕或手臂的手的手部位置；
从多个传感器接收电信号，该电信号自用户的手腕或手臂被传输；
从电信号中提取特征；
将特征传输到机器学习模型，以计算描述用户的手腕或手臂的手的手部位置的输出；和
将该输出传输到主机系统。
在实施例中，一种方法可以包括：将ac信号、dc信号或包括多个频率的宽带宽ac信号传输到用户的手腕或手臂中。
在实施例中，一种方法可以包括从电信号中导出信息，该信息包括以下中的一项或更多项：基于在每对传感器之间测量的电阻抗的合计值，电阻抗是基于电信号和由该对传感器传输到用户的手腕或手臂中的探测信号确定的；电信号的波形；电信号的频域表示；和电信号的时域样本。
在实施例中，一种方法可以包括从自电信号导出的信息中提取特征，该特征包括以下中的一个或更多个：定义用户的手腕或手臂的手的手部位置的关节之间的角度；和用户的手腕或手臂的手的手部位置的变化的简化表示，简化表示定义了用户的手腕或手臂的手的当前手部位置与用户的手腕或手臂的手的先前手部位置之间的差异。
在实施例中，一种方法可以包括通过改变以下中的一项或更多项来将探测信号传输到用户的手腕或手臂中：
探测信号的时间周期；
探测信号的振幅；和
探测信号的相位。
在实施例中，一种方法可以包括：
由第一传感器通过相对于由其他传感器传输的其他探测信号的传输而使探测信号的传输交错，来将探测信号传输到用户的手腕或手臂中。
在实施例中，一种方法可以包括：
由惯性测量单元生成对应于可佩戴设备的移动的惯性信号；和
利用机器学习模型使用从惯性信号中导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出。
在实施例中，一种方法可以包括：
由一个或更多个相机生成用户的手腕或手臂的手的图像信号；和
利用机器学习模型使用从图像信号中导出的信息来计算描述用户的手腕或手臂的手的手部位置的输出。
在实施例中，一种方法可以包括：
由惯性测量单元生成对应于可佩戴设备的移动的惯性信号；和
训练机器学习模型，以使用从惯性信号导出的信息生成描述用户的手腕或手臂的手的手部位置的输出。
在实施例中，一种方法可以包括：
由一个或更多个相机生成用户的手腕或手臂的手的图像信号；和
训练机器学习模型，以使用从图像信号导出的信息生成描述用户的手腕或手臂的手的手部位置的输出。
在实施例中，一种方法可以包括：
从一个或更多个相机接收用户的手腕或手臂的手的图像信号；
通过将图像信号和所计算的输出进行比较来确定比较信号；和
将比较信号传输到主机系统。
在根据本发明的实施例中，一个或更多个计算机可读非暂时性存储介质可以包含软件，该软件在被执行时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，系统可包括：一个或更多个处理器；以及至少一个存储器，该存储器耦合到处理器并包括可由处理器执行的指令，处理器当执行指令时可操作来执行根据本发明或任何上面提到的实施例的方法。
在根据本发明的实施例中，优选地包括计算机可读非暂时性存储介质的计算机程序产品当在数据处理系统上被执行时可操作来执行根据本发明或任何上面提到的实施例的方法。
在涉及系统、hmd和方法的所附权利要求中具体公开了根据本发明的实施例，其中，在一个权利要求类别(例如系统)中提到的任何特征也可以在另一个权利要求类别(例如hmd、系统、存储介质和计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项从属关系)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。
附图简述
通过结合附图考虑以下详细描述，可以容易地理解实施例的教导。
图(fig.)1是根据实施例的包括传感器阵列的可佩戴设备的示例视图。
图2a是根据实施例的沿着图1中的线xy截取的可佩戴设备的示例横截面视图。
图2b是根据实施例的具有环绕用户手臂的传感器的可佩戴设备的示例横截面视图。
图2c是根据实施例的用户的手形模型的示例说明。
图3a是根据实施例的传感器阵列的示例视图。
图3b是根据实施例的棋盘格图案的传感器的示例视图。
图3c是根据实施例的非均匀分布的传感器的示例视图。
图4是根据实施例的用于追踪用户的手部位置变化的系统的示例框图。
图5是描述根据实施例的与训练机器学习模型相关联的组件的示例框图。
图6是根据实施例的用于追踪用户的手部位置的示例过程。
附图仅为了说明的目的而描绘各种实施例。
详细描述
在实施例的以下描述中，阐述了许多具体细节，以便提供更透彻的理解。然而，注意的是，实施例可以在没有这些具体细节中的一个或更多个的情况下被实践。在其他实例中，没有详细描述众所周知的特征，以避免不必要地使描述复杂化。
在本文中参考附图描述实施例，在附图中相似的参考数字表示相同或功能相似的元件。另外，在附图中，每个参考数字的最左边的数字对应于第一次使用该参考数字的附图。
实施例涉及一种使用电阻抗测量来追踪人的手部运动的可佩戴设备。位于设备上的传感器可以将探测信号传输到用户手臂的内部结构(例如肌腱和肌肉)，并从用户手臂接收电信号。特别是，手臂的内部结构及其状态改变了探测信号，导致传感器接收到不同的电信号。在另一个示例中，传感器在不使用探测信号的情况下测量用户的手臂和内部结构的阻抗。接收到的电信号可以变化，并且对应于用户的手部位置。可以从电信号中提取特征。例如，电信号可以由神经网络使用机器学习模型来处理，从而以编程方式检测对应于电信号的手部位置，该机器学习模型可以针对每个用户进行训练。
可佩戴设备的示例视图
图1是根据实施例的包括传感器阵列108的可佩戴设备100的示例视图。可佩戴设备100包括可佩戴结构116，可佩戴结构116可以是柔性机械基底，例如塑料(例如聚乙烯或聚丙烯)、橡胶、尼龙、合成材料、聚合物等。可佩戴结构116被配置为佩戴在用户的手腕或手臂104的至少一部分周围。可佩戴设备100包括布置在可佩戴结构116上的不同位置处的传感器112。例如，传感器可以沿着可佩戴结构116的面向手臂104的内表面以一图案布置，使得传感器与手臂104电接触。
每个传感器112测量对应于用户的手腕或手臂104内的内部身体结构的移动或状态的电信号。在一些实施例中，传感器112包括安装在可佩戴结构116上的电极，以测量用户的手腕或手臂104的电阻抗。
在一些实施例中，惯性测量单元128被固定到可佩戴结构116，并生成对应于惯性测量单元128的移动并因此对应于用户手臂104的移动的惯性信号。可佩戴结构116将可佩戴设备100固定到用户的手腕或手臂104上。在一些实施例中，可佩戴结构116的一些或全部可以是刚性材料，而不是柔性材料。例如，可佩戴结构116可以包括包含传感器112的刚性主体部分以及将该主体部分固定到用户手臂104的带部分。在一些实施例中，可佩戴设备100不包括惯性测量单元128。
可佩戴设备100被放置在用户的手臂104上，以检测用户的手120的手部位置。手部位置包括用户的手的手掌、指关节和手指的角度和位置，并且包括对应于手的关节、成对关节之间的边以及成对边之间的角度的参数，如下面参考图2c详细示出和描述的。可佩戴设备100上的每个传感器112可以独立地用于接收穿过手臂104的电信号。在另一个示例中，成对的传感器一起工作，其中一些传感器发射探测信号，并且一些传感器接收电信号。传感器112从用户手臂104接收表示用户的手120的位置的电信号。
可佩戴设备100可以是便携式的、轻量的和低功率的，并且适合用作游戏控制器、媒体控制器、键盘控制器、机器人设备控制器等。可佩戴设备100可以包括微usb、
在一些实施例中，传感器112包括使用电阻抗断层成像(eit)来产生用于确定用户的手120的手部位置的输入的电极。eit是一种非侵入性方法，在该方法中，用户的手120的电导率、介电常数或阻抗可以从表面电极测量中推断出来。可佩戴设备100可以以单个频率施加ac信号，或者使用多个频率来更好地区分用户的手120内的组织。在一些实施例中，ac信号对应于包括频谱的宽带宽信号。
ac信号可以施加到传感器112的一些或全部，并且所产生的电压可以被传感器112接收。所得到的阻抗及其相位从测量到的电流和电压中确定。不同的阻抗值对应于用户的手腕或手臂的内部结构(例如关节、骨骼、肌腱等)的不同状态或排列，从而对应于不同的手部位置。可以重复该过程，以通过传感器112产生一组电压和/或电流的测量结果。如下面参考图2a、图2b、图3a、图3b和图3c所示和所述，传感器112可以以不同的配置布置。在一些实施例中，每个传感器112和惯性测量单元128安装在可佩戴结构116上，可佩戴结构116缠绕在用户手臂104上，以确保传感器阵列108覆盖用户手臂104的不同区域并可从该不同区域接收电信号，如下面参考图2b所示和所述的。
在一些实施例中，传感器112包括设计成与人的皮肤接触的电极。电极可以是圆形的、正方形的或矩形的，并且在直径或线性尺寸方面可以变化。在一些实施例中，电极的尺寸可以在1-10mm的范围内变化。电极可以由金属材料(例如ag-agcl)或可拉伸的导电聚合物(例如与聚氨酯(pu)混合的(3,4-乙烯二氧噻吩)(pedot))制成。电极可以使用镀银的聚偏二氟乙烯(pvdf)纳米纤维网和金属线(metallicthread)制造。具有导电剂和衬垫的接触区域可以在可佩戴设备100上每个电极后面使用，以提高受试者的舒适度并减小接触阻抗。电极和皮肤之间的导电剂可以是使用导电凝胶的“湿”连接，导电凝胶可以由丙二醇和nacl组成，或者可以是“干”连接，例如导电聚合物薄层(例如掺碳pdms)。
在一些实施例中，电极可以以10-100khz的频率驱动几毫安的ac信号进入用户的手臂104，然后测量所产生的电压或电流以确定阻抗的阻抗值和相位。在一些实施例中，电极可以传输对应于宽带宽信号的ac信号，该宽带宽信号包括包含mhz域的多个频率。
惯性测量单元128产生指示用户手臂104的运动的信息。惯性测量单元128可以包括陀螺仪、加速度计和/或磁力计。惯性测量单元128测量并报告用户的手120或手臂104周围的力、角速度和/或磁场。例如，惯性测量单元128使用一个或更多个加速度计检测线性加速度，并且使用一个或更多个陀螺仪检测旋转速率。惯性测量单元128的示例配置针对三个轴——俯仰(pitch)、翻滚(roll)和偏转(yaw)——中的每个轴可以每个轴包含一个加速度计、陀螺仪和磁力计。可佩戴设备100可以检测到用户手臂104正在移动，并且结合来自传感器112的电信号来改进用户手部位置的识别且便于手势识别。产生的惯性信号可以是电流、电压或数字数据。
追踪臂带的示例横截面视图
图2a是根据实施例的沿着图1所示的xy线截取的可佩戴设备100的示例横截面视图200。横截面视图200示出了用户手臂104和用户手臂104内的肌腱204。
可佩戴设备100佩戴在用户的手腕或手臂104上，其中传感器112经由导电剂120将探测信号212传输穿过手臂104。导电剂120减小了在传感器112和手臂104的皮肤之间的接触处呈现给探测信号212的阻抗。在一些实施例中，传感器112的阵列108没有完全缠绕手腕或手臂104，并且可以如图2a所示仅布置在手腕或手臂104的手掌侧上。探测信号212可以穿过手臂104的内部结构(例如肌腱204)，并作为电信号216被所示传感器112(或另一个传感器112)检测到。传感器112可以包括电极，该电极将ac信号或dc信号作为探测信号212传输到用户的手腕或手臂104中。
在一些实施例中，探测信号212是包括一定范围的频率的宽带宽ac信号。例如，探测信号212可以在频域中扩展，这产生了具有更宽的带宽的信号212。此外，宽带宽信号的使用降低了信号干扰的影响。在一些实施例中，探测信号212可以是由诸如电池的电源产生的并具有固定幅度(振幅)的dc信号。
在一些实施例中，探测信号212可以具有时变波形，例如正弦波形或ac波形。例如，探测信号212可以每半个周期连续地改变极性，分别在相对于时间的正最大值和负最大值之间交替。探测信号212的时间周期是波形从起始到结束重复自身所花费的时间长度，以秒为单位。振幅是以伏特或安培为单位测量的信号波形的幅度或强度。每个探测信号212的相位是相对于公共参考(例如接地)或另一个传感器的探测信号测量的。由于相位差异，任一传感器上的电信号216在其他传感器之一之后的不同时间达到峰值。在一些实施例中，每个传感器112还通过改变探测信号212的时间周期、探测信号212的振幅和探测信号212的相位中的一个或更多个而将探测信号212传输到用户的手腕或手臂104中。
在一些实施例中，传感器112以交错的方式将探测信号212传输到用户的手腕或手臂104中，其中传感器的不同子集在不同时间传输探测信号112。来自两个或更多个传感器112的探测信号212可以以10-100khz的频率传输通常几毫安的交流电流。其余的传感器可用于测量所产生的电压信号216。然后，可以针对多个刺激模式重复该过程，刺激模式定义了被选择来发射探测信号212的传感器对的顺序。在一些实施例中，使用多路复用器在多个传感器112之间切换单个电流源，以产生探测信号212。在一些实施例中，电压-电流转换器的系统被用来产生探测信号212，每个传感器112对应于一个电压-电流转换器，每个电压-电流转换器都由数模转换器控制。
如果探测信号212是ac信号，每个电信号216可以包括诸如电压和电压的相位或者电流和电流的相位的特性。如果dc信号用于探测信号212，则电信号216包括dc信号的幅度。可以通过在传感器112上多路复用的单个电压测量电路或者对应于每个传感器112的单独电路来进行对电信号216的测量。在一些实施例中，模拟解调电路可用于在模数转换器进一步处理之前将交流电压转换成dc电平。在一些实施例中，可以在执行数字解调之前直接转换交流信号。设备100可以以多个频率操作，并且测量电信号216的电压的幅度和相位两者。从电信号216导出的阻抗可以被传递到计算设备(例如，单独的主机系统或与可佩戴设备100集成的处理器)，以至少部分地基于电信号216来执行图像重建和显示。
在一些实施例中，从在传感器对之间测量到的电信号216中提取每对传感器112之间的电阻抗的相位数据。从传感器传输到位置计算电路的阻抗数据流包括来自每对传感器的成对阻抗测量结果的集合。传感器的每个组合用于执行成对测量，如果传感器的数量由n表示，则产生n2个阻抗值。在一些实施例中，从测量到的电信号216提取的信息包括每对传感器的阻抗随时间的变化(阻抗/s)。该阻抗/s指示用户的手臂104的状态随时间的变化，因此被用于确定用户手部位置。
传感器112布置在横跨用户的手腕或手臂104的可佩戴结构116上，以检测软组织(例如肌腱204)的状态。可佩戴设备100可以测量肌肉收缩、肌腱204的运动、肌腱204的长度和关节僵硬度中的任何一个或全部，以便确定用户的手120的手部位置。例如，从用户手臂104测量的这些值的组合可以指示由在用户的手120内的关节之间的骨骼形成的角度。手部的位置可以由代表从电信号216导出的在手部中的关节之间形成的角度的值的集合来表示。
可佩戴设备100通过确定由手腕连接到手120的手臂104内的结构状态来操作。例如，骨骼(例如桡骨和尺骨、桡骨茎突和尺骨茎突、腕骨、掌骨等)的状态可以被确定来识别用户的手120的位置。可以从电信号216中确定关节(例如腕掌指关节、掌指关节和指间关节等)的状态，以识别用户的手120的位置。可以从电信号216中确定肌肉(例如内在肌)、肌腱(例如屈肌腱、伸肌腱、腱鞘)以及正中神经和尺神经的状态，以识别用户的手120的位置。在其他优点中，可佩戴设备100可以确定当握持物体时的用户手部压力，并且可以在手120中握住物体的用户和用空的手120做出握住手势的用户之间进行区分。
图2b是根据实施例的具有环绕用户手臂104的传感器112的可佩戴设备的示例横截面视图250。可佩戴结构116缠绕在用户的手腕或手臂104上。在手臂104的一侧上的传感器可以将探测信号212传输到用户手臂中，而在手臂104的另一侧上的传感器可以接收行进穿过用户手臂104的肌腱204的电信号256。以这种方式，系统能够测量手腕或手臂104的横截面阻抗特性。
示例手形模型
图2c是根据实施例的用户的手形模型280的示例图示。在一些实施例中，参考手形模型280来表示用户的手部位置。手形模型280包括对应于用户的手腕或手臂104的手120的关节、成对关节之间的边、成对边之间的角度范围、以及包括顶点和对于每个顶点在顶点和一个或更多个关节之间的关系(例如距离)的网格的参数。由可佩戴设备100产生的电信号被用于参考手形模型280(例如在关节之间的成对的边之间限定的角度)来确定手部位置。
手形模型280定义了手120的可变形的形状和尺寸。例如，手形模型280包括骨架282和网格284。骨架282包括手部特征286，手部特征286代表骨架的节点(关节)。至少一些手部特征286与其他手部特征286之间具有固定的距离，这由骨架282的手边缘288示出。手边缘288是手120的骨骼的模型，并且手部特征286是连接骨骼的关节的模型。
每个手部特征286与定义关节的运动范围的一个或更多个自由度(dof)相关联。例如，手腕处的手部特征包括两个自由度(例如，俯仰和偏转)。在另一个示例中，每个指关节处的手部特征286包括两个自由度(例如，翻滚和偏转)。在又一示例中，每个手指关节处的手部特征286包括一个自由度(例如，偏转)。自由度可以包括旋转或平移自由度。每个自由度可以与一定范围的值相关联，例如可以由最大值和最小值定义，表示关节可以沿着自由度移动多少。手部位置由手形模型280的特定状态定义。例如，手部特征286的每个自由度的一组值可以定义特定的手部姿势。
手形模型280的网格284定义了用户手部模型280的表面。网格284可以包括顶点，其中每个顶点附有骨架282的一部分，例如手部特征286或沿着手边缘288的位置。顶点在互连时形成多边形网格，该多边形网格定义手部表面的模型。例如，顶点可以与所附的手部特征286具有预定义的距离。如果手部特征286被移动，则所附的顶点相应地移动，使得网格284随着骨架282的移动而改变。在一些实施例中，网格284的顶点可以被附到骨架282的一个以上的位置。
传感器的示例阵列和棋盘格图案
图3a是根据实施例的传感器112的阵列108的示例视图。如上面参考图2a或图2b所示和所述，每个传感器112安装在可佩戴结构116上。传感器112可以以矩形网格布置，此处矩形网格具有3行5列。阵列108可以安装在具有惯性测量单元128的可佩戴结构116上。在一些实施例中，惯性测量单元128从可佩戴结构116中省略。
图3b是根据实施例的传感器112的棋盘格图案阵列300的示例视图。如上面参考图2a或图2b所示和所述，每个传感器112安装在可佩戴结构116上。传感器112以交替棋盘格图案300布置。棋盘格图案阵列300可以安装在具有惯性测量单元128的可佩戴结构116上。在一些实施例中，惯性测量单元128从可佩戴结构116中省略。
图3c是根据实施例的传感器112的非均匀分布阵列360的示例视图。如上面参考图2a或图2b所示和所述，每个传感器112安装在可佩戴结构116上。传感器112在可佩戴结构116上的布置不遵循规则的间距值(pitchvalue)，而是传感器112被布置以优化手臂140中重要结构的检测。例如，传感器112的更大聚集位于可佩戴结构116上的簇(cluster)368中，该簇覆盖用户的手臂104内部的更高兴趣的位置(例如，用于提取关节和手部位置之间的角度)，例如腕管区。传感器112的更小聚集位于较低兴趣的区域364。
用于追踪手部位置的示例系统
图4是根据实施例的用于追踪用户的手部位置的系统的示例框图。该系统包括可佩戴设备100、主机系统428和头戴式显示器(hmd)424。可佩戴设备包括传感器阵列108和耦合到传感器阵列108的电路400。图4所示的系统可以代表虚拟现实(vr)系统、增强现实(ar)系统或混合现实(mr)系统。
如上面参考图2a和图2b所示和所述，传感器阵列108可以将探测信号212传输到用户的手臂104，并从用户的手臂104接收电信号216。传感器阵列108向电路400传输信号404。信号404可以是电信号216。电路400向主机系统428传输信号408。信号408可以是电信号216、从电信号216导出的信息或者描述由电路400从电信号216中计算出的用户的手120的位置的计算输出。从电信号216导出的信息可以包括基于在每对传感器112之间测量的电阻抗和阻抗的相位的合计值。电阻抗是基于由一对传感器112传输到用户的手腕或手臂104中的探测信号212和电信号216来确定的。
在一些实施例中，计算输出可以是描述用户的手120的手部位置的信息的任何离散的、不连续的表示，或者使用连续函数表示用户的手120的位置变化的模拟信号。可佩戴设备100、主机系统428和hmd424可以使用有线和/或无线通信系统经由网络412进行通信，网络412可以包括局域网和/或广域网的任何组合。
主机系统428可以包括输入接口电路432、存储器436、输出接口电路440、位置计算电路448和相机452。输入接口电路432、存储器436、输出接口电路440、位置计算电路448和相机452可以经由总线444进行通信。输入接口电路432从传感器112接收电信号216。在一些实施例中，输入接口电路432从惯性测量单元128接收惯性信号和/或从一个或更多个相机接收图像。
输入接口电路432是由数字逻辑和/或模拟电路组成的接口电路，用于从传感器阵列108中的每个传感器112接收电信号216。输入接口电路432可以从电信号216中导出信息，例如由电流(电感)的磁场自感应的用户的手腕或手臂104中的电压感应。导出的信息可以表示由电压(电容)感应的用户的手腕或手臂104的内部结构中电荷的静电储存。导出信息可以包括例如通过使用相位确定、希尔伯特变换等分析电信号216来确定合计值。如果传感器112将dc信号驱动到用户的手腕或手臂104中，则导出的信息可以表示相位角为零的阻抗。
导出的信息可以表示电信号216的波形。例如，s形(sigmoid)形状可以表示单一频率，而方形脉冲可以表示频谱。导出信息可以包括提取接收到的电信号216的波形形状，例如，通过使用霍夫(hough)变换来检测接收到的电信号216的波形的被分析地定义的形状。
导出的信息可以代表电信号216的频域表示。导出信息可以包括创建电信号216的频域表示。例如使用傅立叶变换，将电信号216从时域或空域转换到频域，例如快速傅立叶变换(fft)可以用于创建电信号216的频域表示。从电信号216导出的示例频域信息是每个频率的幅度和相位分量、哪些频率存在、哪些频率缺失等。
导出的信息可以代表电信号216的时域样本。导出信息可以包括执行电信号216的时域采样。时域采样将电信号216减少到一组离散时间样本，例如在一个时间点和/或空间点处的一组值。
存储器436可以被组织成数据库、表、文件等，被存储在存储卡和计算机硬盘驱动器中的一个或更多个上。在一些实施例中，存储器436存储用于手部追踪的用户手形模型280，如上面参考图2c详细示出和描述的。用户手形模型280定义了在三维(3d)空间中的手部的形状，并且可变形以定义手120的姿势或位置。用户手形模型280包括代表关节的“手部特征”。这些“手部特征”286代表用户的关节本身，并且不同于通过位置计算电路448从电信号216中提取的“特征508”。通过位置计算电路448从电信号216中提取的特征508是表示在手部特征286之间定义的角度的一组值。
手部特征286可以包括表示关节取向的自由度。因此，用户的手部位置或手部位置变化可以由表示针对用户手形模型的每个关节的关节取向的一组值来定义。用户手形模型280的描述在2017年4月13日提交的第15/487,355号美国申请中，该申请通过引用以其整体并入本文。在一些实施例中，为用户定制的用户手形模型280可以被生成为一组主分量手形模型，例如十个主分量手形模型的加权组合。每个主分量手形模型可以控制用户手形的线性不相关参数。有限数量的主分量手形模型的使用将用户手形的确定减少到更少数量的变量，并且这在2017年4月13日提交的美国申请第15/487,361号中进行了描述，该申请通过引用以其整体并入本文。
位置计算电路448耦合到输入接口电路432。位置计算电路448使用从电信号216中提取的特征作为机器学习模型的输入来计算描述用户的手120的位置和/或用户的手120的手部位置变化的输出。例如，机器学习模型可以定义作为输入的电信号216和作为输出的手形模型280的参数之间的关系。位置计算电路448可以是中央处理单元(cpu)的一部分，其通过执行由指令指定的基本算术、逻辑、控制和输入/输出(i/o)操作来执行计算机程序的指令。
在一些实施例中，图4所示的主机系统428的一个或更多个部件位于hmd424或可佩戴设备100中。例如，计算电路448可以位于电路400中，电路400可以是可佩戴设备100或hmd424的一部分。
输出接口电路440耦合到位置计算电路448，并传输描述用户的手120的手部位置的所计算的输出。例如，如果输出接口电路440被包括在电路400中，则它将把所计算的输出传送给主机系统428或hmd424。如果输出接口电路440被包括在主机系统428中，则它将把所计算的输出传送给hmd424。
如下面结合图5更详细讨论的，位置计算电路448包括机器学习模型训练和/或推断。例如，可以使用从电信号中提取的示例特征的训练数据集和相应的预期输出(例如，定义手部位置的一组值)来训练机器学习模型。在一些实施例中，训练数据的至少一部分是在训练过程中生成的，在该训练过程中，用户提供手部运动和手势，并且使用光学标志器来捕获这些手部运动和手势，如下面参考图5详细描述的。
所计算的输出还可以描述由用户的手120施加在接触用户的手120的物体上的力。力可以由用户的手腕或手臂104中的肌肉、肌腱和其他内部结构的收紧状态来表示，其通过基于电信号216的所计算的输出来描述。例如，传感器可以基于组织类型之间的电阻率差异以及骨骼肌和其他组织的不同阻抗谱来测量在物体上施加力的收紧的生物组织的无源电特性。
相机452可以是深度相机、红-绿-蓝(rgb)相机、红外相机或安装在hmd424上的相机。相机452可以通过基于已知的光速来分辨距离或者针对图像的每个点测量相机和用户的手120之间的光信号的飞行时间(time-of-flight)来捕获用户的手120的图像。相机452可以使用独立的电荷耦合器件(ccd)传感器来获取三个rgb颜色信号以对用户的手部120进行彩色图像采集。相机452可以是热像(thermographic)相机(也称为红外相机或热成像相机)，其使用波长长达14000nm(14μm)的红外辐射形成图像。在一些实施例中，相机452可以捕获用于训练数据的真实事实手部位置，如下面参考图5所述。尽管相机452可以用于训练，但是它不需要用于推断手部位置的变化。
hmd424经由网络412连接到可佩戴设备100和主机系统428。hmd424可以包括戴在用户的头上或作为头盔的一部分的显示设备，该显示设备在用户的眼睛前具有电子显示面板，以显示计算机生成的图像(cgi)和/或来自物理世界的真实图像。从传感器阵列108的电信号216生成的描述用户的手120的手部位置的所计算的输出可以被转换成由显示面板呈现给用户的虚拟场景中的动作。在电路400或主机系统428已经处理了电信号216以确定用户的手120的位置之后，hmd424从网络412接收信号420，信号420可以是电信号216或对应于用户的手120的手部位置的所计算的输出。在另一个示例中，hmd424接收包括虚拟场景的视频馈送(videofeed)，其至少部分基于用户的手部的位置的改变而生成。
输入接口电路432可以从相机452或安装在hmd424上的相机接收图像信号。在一些实施例中，在用于训练机器学习模型的前向传递(forwardpass)期间，位置计算电路448可以通过将图像信号与所计算的输出进行比较来确定比较信号。例如，位置计算电路448可以针对用户手形模型280的关节取向值而使用图像差分来确定图像信号和所计算的输出之间的变化。位置计算电路448还可以针对从图像导出的手部位置和从机器学习模型导出的手部位置之间的差异来确定误差或损失函数。在后向传递中，机器学习模型的参数被更新以最小化损失或误差函数。例如，相对于机器学习模型的参数计算梯度，并且朝着负梯度方向优化参数。在一些实施例中，图像信号和所计算的输出之间的误差可以基于结果被转换成图像。例如，哈钦森度量(hutchinsonmetric)可以用于测量图像信号和所计算的输出之间的差异。输出接口电路440还可以将比较信号传输到主机系统428或hmd424。可以使用其他类型的机器学习。在一些实施例中，机器学习模型使用线性回归而不是基于梯度的优化。
如上所述，在不同实施例中，从电信号216计算描述用户的手120的手部位置的输出可以由电路400、主机系统428或hmd424内的电路执行。
示例机器学习训练
图5是描述根据实施例的与训练机器学习模型556相关联的组件的示例框图。在一些实施例中，该过程可以具有不同于结合图5描述的那些步骤的步骤和/或附加步骤。一些步骤可以并行执行。可替代地，一些步骤可以并行执行，而一些步骤可以顺序执行。可替代地，一些步骤可以以流水线方式执行，使得步骤在前一步骤执行之前开始执行。
该框图示出了位置计算电路448内的特征提取电路548和机器学习模型556。如上面参考图4所述，从电信号216导出的信息被特征提取电路548接收。该信息可以包括在每对传感器112之间测量的电阻抗的阻抗值和相位数据。例如，该信息可以表示用户的手臂104的内部结构204呈现给探测信号212的电对抗(electricalopposition)。该信息可以是接收到的电压信号216与所发射的探测电流信号212的复合比(complexratio)，并且可以具有幅度和相位。如果传感器的数量用n表示，这导致n2个这样的阻抗值。在一些实施例中，该信息包括对于每对传感器的阻抗随时间的变化(阻抗/s)。该阻抗/s指示用户的手120中的关节之间的角度随时间的变化。
特征提取电路548从电信号216或从电信号216导出的信息中提取特征508。在一些实施例中，特征508包括在定义用户的手腕或手臂的手120的手部位置的关节之间的角度。在该实施例中，提取的特征508是表示在手部特征286之间定义的角度的一组值。关节之间的角度可以相对于用户手形模型280来定义，并且可以用于渲染对应于手形模型280和用户的手部位置的完全高保真的手。
在一些实施例中，特征508包括用户的手腕或手臂104的手120的手部位置变化的简化表示。在另一个示例中，由特征提取电路548提取的特征508使用简化表示进行编码。简化表示定义了在用户的手腕或手臂104的手120的当前手部位置和用户的手腕或手臂104的手120的先前手部位置之间的差异。相邻图像帧之间的时间冗余可以用来实现简化表示中的压缩。例如，传感器112传输的数据可以对应于用于时间采样的n2×8个图像帧，其中传感器112的数量是n，n2是测量用户的手臂104的电阻抗的传感器对的数量。
在一些实施例中，如果使用手部位置变化的简化表示，则传感器112传输的数据将仅包括描述从一个图像帧到另一个图像帧的变换的运动矢量。因此，8个图像帧的简化表示508将不包括每个帧中的关节值，而仅包括在连续帧之间变化的关节值。此外，因为只有帧之间的变化被表示在数据中，所以降低了对与手部位置相关的信息的处理和存储要求。此外，机器学习模型556可以使用压缩后的训练数据来训练，并且可以输出压缩后的训练数据。
在一些实施例中，如上面参考图1所示和所述的，惯性测量单元128生成对应于可佩戴设备100的移动的惯性信号504。位置计算电路448利用机器学习模型556，除了使用来自信号216的特征之外还使用从惯性信号504导出的特征来计算描述用户的手腕或手臂的手120的手部位置的输出。
在一些实施例中，相机452生成用户的手腕或手臂104的手120的关节和手指之间的角度的图像信号520。位置计算电路448利用机器学习模型556，除了使用来自信号216的特征之外，还使用从图像信号520导出的信息来计算描述用户的手腕或手臂104的手120的手部位置的输出。来自相机的图像信号520提供了用于提取手部位置特征508的扩展数据集，并且可以提高提取的准确性。
在一些实施例中，描述由用户的手施加在接触用户的手的物体上的力的真实事实预期输出可以使用力传感器阵列来确定。力数据对应于真实事实。机器学习模型556被训练来学习在训练输入和手部用力之间的连续相关性。在训练中，用户可以以各种不同水平的抓握力(即，手部用力)抓住力传感器阵列，并且收集来自可佩戴设备100的电数据。
电信号216可以随着肌肉、肌腱和其他内部结构在不同水平的手部用力下的变化而变化。使用机器学习技术将力传感器数据(“真实事实”)与电信号数据216相关联，并创建连续模型以从电数据216估计手部用力。
在一些实施例中，可以在不使用力传感器的情况下确定描述由用户的手施加的力的真实事实预期输出。例如，手部用力的主观水平(“真实事实”)可以直接被关联到电信号216。在训练中，用户可以以“轻级”、“中级”或“高级”等的抓握力(即，手部用力)来抓握物体。然后，从可佩戴设备100测量电信号216。电信号216可以随着肌肉、肌腱等在不同水平的手部用力下的变化而变化。用户标记的手部用力被关联到电信号数据216。机器学习技术用于创建从电数据216估计手部用力的模型。这种方法的优点是因不需要力传感器而降低了整个系统的复杂性。此外，这种方法便于使用任何物体/抓具(grasp)进行训练，而不是仅使用单个力传感器仪器化的物体进行训练。
在机器学习模型556的训练期间，特征提取电路548提取特征508，以便于调整机器学习模型556的参数。提取的特征508被用作机器学习模型556的输入，机器学习模型556的输出可以与存储在训练输出数据储存器(store)516中的真实事实输出进行比较。特别地，电信号216或它们的提取的信息从训练输入数据储存器512中检索，并被输入到特征提取电路548以生成特征508。
训练输入数据储存器512可以被组织为数据库、表、文件等，被存储在可移动或不可移动的存储卡、计算机硬盘驱动器等中的一个或更多个上。在一些实施例中，训练输入数据储存器512包括多个数据字段，每个数据字段描述训练输入数据的一个或更多个属性。例如，训练输入数据储存器512可以包含电信号216、惯性信号504、图像信号520或它们的提取值，这些被用作特征提取电路548的输入。训练输出数据储存器516存储与存储在训练数据输入储存器中的输入相对应的用户的手120的预期手部位置。在一些实施例中，训练输入数据储存器512和训练输出数据储存器516存储从多个用户捕获的信息。
使用包括来自训练输入数据储存器512和训练输出数据储存器516的信息的训练集来训练机器学习模型556。训练输出数据储存器516可以被组织为数据库、表、文件等，被存储在可移动或不可移动的存储卡、计算机硬盘驱动器等中的一个或更多个上。训练输出数据储存器516可以存储在已知特征508和对应于特征508的已知手部位置之间的关联。训练输出数据储存器516可以存储预期输出，即从来自惯性信号504或相机帧的信息中提取的手部位置。
在一些实施例中，用户的手120——其位置将被追踪用于训练机器学习模型556——配备有光学标志器。光学标志器可以是光反射器(无源标志器，例如后向反射器(retroreflector))或光发射器(有源标志器，例如led)。为了确定用户的手120的取向，可以以已知的几何形状布置若干个光学标志器。可以使用追踪相机来扫描和检测来自光学标志器的光。捕获的图像被处理以识别和计算(在2d图像坐标中)潜在的标志器位置。该2d数据可以被组合以计算光学标志器的3d位置。这样的测量的结果(描述光学标志器的位置且因此描述携带标志器的用户的手120的位置和取向的坐标)被存储在训练输出数据储存器516中，并用于训练机器学习模型556。
在一些实施例中，相机452生成对应于用户的手120的移动的图像信号520。可以训练单独的神经网络来生成从图像信号520导出的预期输出，其描述用户的手腕或手臂104的手120的手部位置。这个过程在2017年4月13日提交的第15/487,355号美国申请和2017年4月13日提交的第15/487,361号美国申请中进行了描述，这些申请通过引用以其整体并入本文。这些预期输出可以存储在训练输出数据储存器516中。例如，如上面参考图4所示和所述，位置计算电路448可以从相机452接收图像信号520，用于机器学习模型556的训练。对于每n2个阻抗样本，预期输出对应于表示用户的手腕或手臂104的手120的所捕获的位置变化的8个相机帧。位置计算电路448还可以通过从安装在hmd上的相机接收图像信号520来为训练输出数据储存器516创建训练数据集。
在一些实施例中，惯性测量单元128生成对应于可佩戴设备100的移动的惯性信号504。机器学习模型556被训练以生成从惯性信号504导出的预期输出，其描述用户的手腕或手臂104的手120的手部位置。这些预期输出可以存储在训练输出数据储存器516中。
训练机器学习模型556的目的是使机器学习模型556在经历了训练数据集的输入和预期结果之后能够对新的、未预见的输入准确地执行。可以使用几种不同的训练方法，包括决策树学习、关联规则学习、神经网络、深度学习、归纳逻辑编程、支持向量机、聚类、贝叶斯网络、强化学习和表示学习等。在基于梯度的优化方法中，可以计算成本函数中的误差(在前向传递中)和相对于模型的参数的梯度；然后，(在后向传递中)参数可以朝负梯度方向移动。在神经网络中，可能有多层成本函数；针对每一层进行训练。在线性回归中，计算封闭形式的解，且可以直接写出输出。
在一些实施例中，机器学习模型556的训练可以在两次传递中完成。第一次，在前向传递中，从电信号216和惯性信号504导出的阻抗中提取训练特征508。以这种方式，从电信号216导出的信息被输入到特征提取电路548中。特征提取电路548的输出是一组特征508。特征508对应于在定义手部位置的关节之间的角度。在一些实施例中，这些特征对应于用户的手腕或手臂104的手120的手部位置变化的简化表示。因此，每个特征508是从一组输入216和504中提取的输出。位置计算电路448可以确定每个特征508和存储在训练数据输出储存器516中的(例如，来自相机452的)预期输出之间的误差或损失函数。第二次，在后向传递中，调整机器学习模型556的参数以最小化误差或损失函数。在下一次前向传递中，使用该更新后的机器学习模型556。以这种方式，可以跨多个用户收集大量的训练集。
在一些实施例中，机器学习模型556可以是递归神经网络(rnn)模型，其是一类单元之间的连接形成有向循环的人工神经网络。这创建了机器学习模型556的内部状态，其允许机器学习模型556展示动态时间行为。在该实施例中，位置计算电路448可以使用其内部存储器来处理任意输入序列，例如从电信号216提取的特征。
在一些实施例中，(例如，经由线性判别分析(lda)、主成分分析(pca)等的)降维可以用于减少全手形模型的维数，从而减少特征508中的数据量并降低机器学习问题的复杂性。pca可以应用(例如，经由线性判别分析(lda)、主成分分析(pca)等的)降维，以将特征向量410中的数据量减少到更小、更具代表性的数据集。pca是一种统计过程，它使用正交变换将一组可能相关的变量的观测值转换成一组称为主成分的线性不相关变量的值。主成分的数量小于或等于原始变量的数量或观测值的数量中的较小者。
例如，如果全手形模型具有22个关节角度，则对应于全手形模型的预期输出可以作为图像信号520由相机452测量。这些预期输出可以使用pca被简化成更小的模型(例如，10个特征)，并存储在训练输出数据储存器516中。机器学习模型556可以使用电信号216、惯性信号504、图像信号520或者它们的对应于存储在训练输入数据储存器512中的简化模型(10个特征)的提取值的训练集进行训练。在在线预测或推断过程中，输入数据被经训练的模型用来预测对应于简化手形模型(10个特征)的输出。然后，对应于简化手形模型(10个特征)的输出可以被投射回全手形模型(22个关节角度)以供使用。
在在线预测或推断过程中，位置计算电路448接收(例如，在真实环境中)来自传感器112和惯性测量单元128的输入216和/或504，并使用提取的特征508和经训练的机器学习模型556来计算输出。这种方法的益处和优点是为用户生成了一小组输入数据(电信号216)。不需要相机或图像处理，尽管在实施例中，图像信号可以被用作模型556的输入、用在模型556的训练中，或用于系统的校准以确定通过模型556计算的输出和实时图像信号之间的误差。
用于追踪手部位置的示例过程
图6是示出根据实施例的用于训练机器学习模型556以基于训练电信号追踪用户的手部位置的过程650和用于基于电信号216推断用户的手部位置的过程654的流程图。在一些实施例中，这些过程可以具有不同于结合图6描述的那些步骤的步骤和/或附加步骤。这些过程的步骤可以以不同于结合图6描述的顺序的顺序来执行。一些步骤可以并行执行。可替代地，一些步骤可以并行执行，而一些步骤可以顺序执行。可替代地，一些步骤可以以流水线方式执行，使得步骤在前一步骤执行之前开始执行。
在机器学习训练过程650中，电路400或主机系统428从传感器112接收600电信号216，传感器112被布置在围绕用户的手腕或手臂104的至少一部分佩戴的可佩戴结构116上的不同位置处。每个传感器112测量对应于用户的手腕或手臂104内结构的移动的电信号216。
特征提取电路548从电信号216中提取608训练特征508。在一些实施例中，导出在每对传感器112之间测量的电阻抗的阻抗和相位。在一些实施例中，从测量到的电信号216导出的信息包括每对传感器的阻抗随时间的变化(阻抗/s)。从电信号216或从自电信号216导出的信息中提取的特征508可以包括在定义用户的手腕或手臂104的手120的位置的关节之间的角度，以及用户的手腕或手臂104的手120的手部位置变化的简化表示。
过程650是用于例如通过导出实现机器学习模型556的神经网络层的参数来生成机器学习模型556的训练过程。在过程650中，使用提取的特征508、对应于来自训练输入数据储存器512的已知手部位置的信息以及来自训练输出数据储存器516的预期输出来训练612机器学习模型556，以基于特征508确定用户的手120的手部位置。为了创建训练集，位置计算电路448可以从相机452接收图像信号520，如上面参考图4和图5所示和所述的。对于每n2个阻抗样本，预期输出可以对应于代表用户的手腕或手臂104的手120的所捕获位置的8个相机帧。在训练过程650之后，推断过程654可以被执行用于对用户进行实时用户手部追踪。
在手部位置推断过程654中，可佩戴设备100中的传感器112将探测信号212发射616到用户的手臂104的内部结构204，如上面参考图2a所示和所述。输入接口电路432从传感器112接收620电信号216。电信号216对应于用户的手腕或手臂104内结构的移动。
特征提取电路548从自电信号216导出的信息(例如阻抗值)中提取628特征508。位置计算组件448将用于推断的特征508传输到机器学习模型556，以生成632描述用户的手120的手部位置的输出。在推断期间，使用了相似特征集训练的机器学习模型556被应用于提取的特征508。
在一些实施例中，使用机器学习模型556来确定基于新特征的分类、二进制(binary)或其他评分(score)。在一些实施例中，确定与训练输出数据储存器516中的每个用户手部位置相关联的评分。与每个用户手部位置相关联的评分可以指示电信号216对应于该用户手部位置的可能性。
在一些实施例中，通过评估表示与特征508相关联的评分的加权总和的表达式来确定与每个用户手部位置相关联的评分。与特征相关联的权重可以预先确定，例如，由专家用户配置。对特定用户的某些手部位置最具决定性的特征可以被更重地加权。输出接口电路440将所计算的输出传输636到主机系统428或hmd424。
实施例的前述描述为了说明的目的被提出；它并不旨在是无遗漏的或将实施例限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是范围不由该详细描述限制，而是由在基于此的申请上发布的任何权利要求限制。因此，实施例的公开旨在是说明性的，而不是限制在所附权利要求中阐述的范围。
- 还没有人留言评论。精彩留言会获得点赞！