能够测量单个指骨和拇指骨的移动的手套的制作方法

文档序号:18077202发布日期:2019-07-03 04:33阅读:179来源:国知局
能够测量单个指骨和拇指骨的移动的手套的制作方法

本公开涉及一种能够测量单个指骨和拇指骨的移动的手套。



背景技术:

虚拟现实(VR)技术可用于许多应用,诸如军事训练、教育学习和视频游戏。VR技术可使用一个或多个电子设备来模拟虚拟环境和使用者在该虚拟环境中的物理存在。一种类型的VR技术是增强现实(AR)技术,其中使用者的真实环境可由计算机生成的对象或内容进行补充。另一种类型的VR技术是混合现实(MR)技术,其中使用者的真实环境和虚拟环境可混合在一起。

可使用一个或多个电子设备来模拟VR/AR/MR技术。一个电子设备可为VR头戴式耳机,其中使用者可使用VR头戴式耳机来查看模拟虚拟环境。当使用者移动他/她的头部以查看周围时,头戴式耳机中包括的显示器可更新以反映使用者的头部移动。另一个电子设备可包括一个或多个相机。一个或多个相机可用于捕获使用者在AR技术中的真实环境和/或可用于定位跟踪。另一个电子设备可包括VR手套。VR手套可佩戴在使用者的手上,并且可允许使用者实时触摸、感觉和握持虚拟对象。可能需要能够在不阻塞的情况下准确检测使用者的手和手指的位置和运动的VR手套。



技术实现要素:

本公开涉及能够测量单个指骨和拇指骨的移动的VR手套。VR手套可包括多个惯性测量单元(IMU)以跟踪一个或多个手指节段和/或手节段的移动。IMU可包括一个或多个运动传感器,诸如陀螺仪和加速度计,用于测量IMU可附接的物体(例如,指骨)的取向、位置和速度。IMU可邻近指(或拇指)骨定位并且可测量对应骨的惯性运动。在一些示例中,VR手套可包括磁力仪以确定地磁场的方向。VR手套还可包括一个或多个其他电子部件,诸如多个电极,用于感测航向、实现电容式触摸和/或指尖之间的接触感测。VR手套还可包括力传感器、触觉反馈致动器、温度传感器和加热器。VR手套还可包括逻辑部件,诸如板载控制器、连接器、收发器、电池等。可使用一个或多个总线来承载电子部件之间的信号到例如手上控制器。VR手套可为织物手套,其中一个或多个(例如,所有)电子部件可针织或织造到手套中。在一些示例中,可使用导电线将织物缝合在一起。本公开的示例还可包括通过将由IMU检测到的运动与一个或多个局部坐标系进行比较,从而在不使用磁力仪的情况下检测手套的移动。航向初始化可包括旋转优化器,并且航向校正可包括检测与IMU相关联的节点的无规律情况(例如,碰撞、旋转等)。

根据本公开的一个方面,提供了一种能够测量单个指骨和拇指骨的移动的手套,其中所述手套被配置为佩戴在使用者手上,所述手套包括:一个或多个电子部件,所述一个或多个电子部件包括:多个惯性运动单元(IMU),每个IMU邻近手骨或指骨定位并被配置为生成指示所述手骨或指骨的运动的信号,其中所述多个IMU被配置为测量所述使用者的所述手和手指中一者或多者的加速度和旋转速率;其中所述手套包括位于每个手指节段或拇指节段上的至少两个IMU;和逻辑部件,所述逻辑部件被配置为:使用所述信号确定所述使用者的关节的一个或多个移动,以及使用来自与所述使用者的手指相关联的所述多个IMU中的至少两个IMU的所述信号确定所述手指的一个或多个移动。

附图说明

图1示出了根据本公开示例的示例性人手模型。

图2示出了根据本公开示例的示例性VR手套的后视图。

图3示出了根据本公开示例的示例性VR手套的框图。

图4A示出了根据本公开示例的用于使用VR手套确定手和手指的定位和运动的示例性过程。

图4B示出了根据本公开示例的示例性手参考。

图4C示出了根据本公开示例的包括在手参考中的多个手指以及拇指的示例性局部坐标系。

图5示出了根据本公开示例的使用x旋转优化器确定初始航向的示例性过程。

图6A示出了根据本公开示例的两个或更多个手指的示例性碰撞。

图6B示出了根据本公开示例的两个或更多个节点的示例性旋转。

具体实施方式

本申请要求2017年9月29日提交的美国临时专利申请No.62/566,303的权益,该临时专利申请的全部公开内容出于所有目的以引用方式并入本文。

在以下对示例的描述中将引用附图,在附图中以例示的方式示出了可被实施的特定示例。应当理解,在不脱离各个示例的范围的情况下,可使用其他示例并且可作出结构性变更。

现在将参照如附图所示的示例来详细描述各种技术和过程流步骤。在以下描述中,阐述了众多具体细节,以便提供对其中描述或提到的一个或多个方面和/或特征的透彻理解。然而,对于本领域的技术人员显而易见的是,所述或提到的一个或多个方面和/或特征可以在不具有这些具体细节中的一些或全部的情况下实施。在其他情况下,公知的过程步骤和/或结构未详细描述从而不会模糊本文所述或提到的方面和/或特征中的一些。

而且,尽管可按照连续次序描述过程步骤或方法步骤,但是此类过程和方法可被配置为按照任意适合次序来工作。换言之,可在本公开中描述的步骤的任何序列或次序自身未指出需要按该次序执行步骤。此外,尽管被描述或暗示为非同时发生(例如,因为在其他步骤之后描述一个步骤),但可以同时执行一些步骤。而且,在附图中借助其描述对过程的图示未暗示所示过程不包括其他变型及其修改,未暗示所示过程或其步骤中的任一个必须为示例中的一个或多个,并且未暗示所示过程为优选的。

虚拟现实(VR)技术可用于许多应用,诸如军事训练、教育学习和视频游戏。VR技术可使用一个或多个电子设备来模拟虚拟环境和使用者在该虚拟环境中的物理存在。一种类型的VR技术是增强现实(AR)技术,其中使用者的真实环境可由计算机生成的对象或内容进行补充。另一种类型的VR技术是混合现实(MR)技术,其中使用者的真实环境和虚拟环境可混合在一起。

可使用一个或多个电子设备来模拟VR/AR/MR技术。一个电子设备可为VR头戴式耳机,其中使用者可使用VR头戴式耳机来查看模拟虚拟环境。当使用者移动他/她的头部以查看周围时,头戴式耳机中包括的显示器可更新以反映使用者的头部移动。另一个电子设备可包括一个或多个相机。一个或多个相机可用于捕获使用者在AR技术中的真实环境和/或可用于定位跟踪。另一个电子设备可包括VR手套。VR手套可佩戴在使用者的手上,并且可允许使用者实时触摸、感觉和握持虚拟对象。VR手套也可用于与虚拟表面进行交互、使用手势传达输入、显示与其他(例如,虚拟)参与者交互的表达情绪等。可能需要能够在不阻塞的情况下准确检测使用者的手和手指的位置和运动的VR手套。VR手套也可用于与真实环境中的对象进行交互,尽管例如当在VR头戴式耳机中显示时,这些对象可能被修改。

本公开涉及能够测量单个指骨和拇指骨的移动的VR手套。VR手套可包括多个IMU以跟踪一个或多个手指节段和/或手节段的移动。IMU可邻近指(或拇指)骨定位并且可测量对应骨的惯性运动。在一些示例中,VR手套可包括磁力仪以确定地磁场的方向。VR手套还可包括一个或多个其他电子部件,诸如多个电极,用于感测航向、实现电容式触摸和/或指尖之间的接触感测。VR手套还可包括力传感器、触觉反馈致动器、温度传感器和加热器。VR手套还可包括逻辑部件,诸如板载控制器、连接器、收发器、电池等。可使用一个或多个总线来承载电子部件之间的信号到例如手上(也称为“手套上”)控制器。VR手套可为织物手套,其中一个或多个(例如,所有)电子部件可针织或织造到手套中。在一些示例中,可使用导电线将织物缝合在一起。本公开的示例还可包括通过将由IMU检测到的运动与一个或多个局部坐标系进行比较,从而在不使用磁力仪的情况下检测手套的移动。航向初始化可包括旋转优化器,并且航向校正可包括检测与IMU相关联的节点的无规律情况(例如,碰撞、旋转等)。

在该部分描述了根据本公开的方法与装置的代表性应用。提供这些示例仅是为了添加上下文并有助于理解所述示例。因此,对于本领域的技术人员而言将显而易见的是,可在没有具体细节中的一些或全部的情况下实践所述示例。在其他情况下,为了避免不必要地模糊所述示例,已详细描述熟知的过程步骤。其他应用也是可能的,使得以下示例不应被视为是限制性的。

示例性VR系统可包括VR头戴式耳机、主机设备和VR手套。VR头戴式耳机和VR手套可附接到使用者。可将VR头戴式耳机定位成使得至少其显示器位于使用者眼睛前方。VR头戴式耳机可被配置为将模拟虚拟环境显示给使用者。当使用者移动他/她的头部以查看周围时,VR头戴式耳机中包括的显示器可更新以反映使用者的头部移动。例如,如果使用者向下移动他/她的头部,则显示器可向使用者显示地面。主机设备可包括电子设备,诸如个人计算机、移动电话和/或可穿戴设备。主机设备可与VR系统中包括的一个或多个部件通信。例如,主机设备可存储一个或多个环境(例如,使用者所在的模拟环境的房间)并且可将关于环境的信息传输到VR头戴式耳机。

VR手套可佩戴在使用者的手上,并且能够跟踪使用者的手和手指的运动(例如,位置和速度)。在一些情况下,VR手套可允许使用者实时触摸、感觉和握持虚拟对象。在一些示例中,VR手套的一个或多个功能和特征可允许使用者在不存在相机且阻塞较少的情况下与模拟虚拟环境进行交互。VR手套还可与系统中的一个或多个其他部件(例如,主机设备)进行通信。例如,主机设备可存储控制对象(例如,咖啡杯)的一个或多个属性,并且可向VR手套传输关于控制对象的信息(例如,形状、定位、感觉等)。

图1示出了根据本公开示例的示例性人手模型。人手131可具有27自由度。由于位于远侧骨103A、中间骨103B和近侧骨103C之间的关节可允许屈曲或延伸,四个手指101中的每一个可具有四自由度。四个手指101中的每一个还具有与掌骨103D相关联的可允许外展或内收的关节。由于位于远侧骨107A和近侧骨107C之间的关节可允许屈曲或延伸,拇指105可具有五自由度。位于拇指105上的近侧骨107C和掌骨107D之间的关节可允许屈曲(或延伸)和外展(或内收)。另外,在拇指105上的掌骨107D与腕骨107E之间的关节可允许屈曲(或延伸)和外展(或内收)。此外,腕部109可具有六自由度,其中使用者的腕部移动可包括屈曲或延伸、外展或内收、以及旋后或内翻。可能需要能够跟踪手的多自由度的VR手套。

VR手套的概述

图2示出了根据本公开示例的示例性VR手套的后视图。VR手套230可佩戴在使用者手上,使得控制器223的一个或多个部分可邻近使用者手的后部定位。即,图2的后视图可为使用者手的背面的视图。在一些情况下,控制器的一个或多个部分可邻近使用者的手掌定位。VR手套230可包括多个电子部件,其中可将一些或所有电子部件针织或织造到VR手套230的材料中。电子部件可包括多个惯性测量单元(IMU)202、多个力传感器206、多个触觉单元(未示出)、多个复位电极214、控制器223、多个总线222、一个或多个LED 226、电池234和收发器238中的一者或多者。虽然图中所示的电子部件邻近使用者手的背面定位,但本公开的示例可包括邻近使用者的腕部或其他位置定位的一个或多个部件(例如,电池234)。例如,电池234可安装在控制器223的顶部上的外壳的顶部上(未示出)。

IMU 202可被配置为测量使用者骨的加速度和旋转速率,以便捕获使用者手和/或手指的运动。多个力传感器206可被配置为测量施加到使用者手指的力。多个触觉单元(未示出)可被配置为通过模拟振动和/或力来重建触摸感测。多个复位电极214可与复位和/或校准程序结合使用,以感测航向(下文讨论)、实现电容式触摸和/或提供手指之间的接触数据。控制器223可包括被配置为经由多个总线222与电子部件通信的逻辑部件。一个或多个LED 226可被配置为向使用者提供光学反馈。电池234可被配置为向电子部件提供电力。收发器238可被配置为与外部设备(例如,VR头戴式耳机和/或主机设备)通信。

虽然图中未示出,但本公开的示例可包括一个或多个温度传感器以确定环境温度和/或使用者的温度。在一些示例中,一个或多个IMU可包括温度传感器。本公开的示例还可包括一个或多个加热器以模拟温度(例如,使用者抓握热咖啡杯)。在一些示例中,VR手套230可包括位于指尖处的一个或多个电极(未示出)。这些电极可用于具有触敏(例如,电容式)设备的触摸输入。

VR手套230能够实现精细水平的运动捕获。即,例如,VR手套230能够区分整个手指的移动(例如,使用者放弃他/她的食指)和手指关节的移动(例如,使用者弯曲食指)。尽管图中未示出,但VR手套230的另一面(例如,手掌面)可包括一个或多个电子部件(例如,IMU、触觉传感器、力传感器等)。VR手套230中包括的电子部件的特征和功能将在下文中详细讨论。

图3示出了根据本公开示例的示例性VR手套的框图。VR手套330可包括多个手指节段301和手节段311。手指节段301可邻近使用者的手指中的一个或多个手指定位(例如,图1所示的手指101),诸如食指、中指、无名指和小指。拇指节段305可邻近使用者的拇指定位(例如,图1中所示的拇指105)。

运动捕获

VR手套330可包括多个IMU(例如,图3中所示的IMU 302)以跟踪一个或多个手指节段和/或手节段的移动。一个或多个(例如,每个)手指节段301可包括多个IMU 302。IMU 302可邻近指骨(例如,图1中所示的远侧骨103A)定位。在一些示例中,一个或多个(例如,每个)IMU 302可耦接到微控制器单元(MCU)304。IMU 302可测量对应指或拇指骨的惯性运动(例如,加速度和旋转速率)并且可将信息传送到MCU 304。MCU 304可处理信息和/或将信息传送到控制器323。在一些示例中,每个IMU 302可耦接到唯一的MCU 304。在一些示例中,多个IMU 302可耦接到单个MCU 304。如图所示,本公开的示例可包括一个IMU 302和一个MCU 304,它们被配置为测量一个指骨的惯性运动(例如,图1所示的近侧骨103C)。在一些示例中,每个手指节段301可包括三个IMU302(和/或三个MCU 304)。在一些示例中,两个或更多个(例如,少于所有)手指节段301可各自包括三个IMU 302。另外,拇指节段305可包括三个IMU 302(和/或两个MCU 304),用于其三个骨(例如,图1中所示的远侧骨107A、近侧骨107C和掌骨)。另外,一个或多个IMU可邻近使用者的手掌(例如,图1中所示的掌骨107D)定位。在一些情况下,手指节段301和拇指节段305可包括总共16个或更多个IMU 302。

这样,IMU 302可邻近唯一的指骨定位并且可测量该特定指骨的运动。在一些示例中,IMU 302可包括被配置为检测三个方向上的加速度的一个或多个多轴加速度运动传感器(例如,加速度计)。例如,IMU 302可为可检测z轴方向移动、y轴方向移动和x轴方向移动的3轴IMU。在一些示例中,IMU 302可包括一个或多个传感器(例如,3轴陀螺仪)以检测总共6个轴的旋转移动。

每个IMU 302可生成指示相应指骨的测量加速度和旋转移动的信号,并且可将该信号经由一个或多个信号线或总线322传输到控制器诸如控制器323。在一些示例中,总线322可与特定手指节段301或拇指节段305相关联(例如,专用)。控制器323可单独处理来自相应总线322的信号以跟踪特定指骨的运动和/或可共同处理两个或更多个信号以跟踪一个或多个指关节的运动。例如,可基于给定手指与另一手指之间的信息差异来确定给定手指的移动。

IMU 302可仅使用加速度计和陀螺仪来确定加速度和旋转移动,从而确定相关手指部分的俯仰、滚动和偏航。在一些示例中,IMU可包括磁力仪。下文讨论了用于确定手和手指的定位和运动的方法。

航向校正

VR手套330可包括被配置为校正计算得出的手指航向的多个复位电极314。如上所述,本公开的示例可包括IMU,该IMU可能不包括磁力仪(例如,由于其缺点,诸如靠近磁体时失去方向)。在一些示例中,IMU 302可包括加速度计。加速度计可用于在惯性加速度可能不显著的条件下测量IMU 302的滚动和俯仰(即,倾斜)。如果没有磁力仪,由于缺乏垂直于重力的参考信号,IMU无法校正航向(偏航)。

本公开的示例可包括使用用于校正航向漂移的复位电极314。复位电极314可沿手指节段301或拇指节段305的一个或多个侧定位。复位电极314可被定位成使得相邻的复位电极314可进行电接触,并且可生成指示电接触的信号。例如,复位电极314可位于沿着手指节段301的中间骨(例如,图1所示的中间骨103B)和近侧骨(例如,图1所示的近侧骨103C)的横向侧上。在一些示例中,四个手指节段301中的至少三个可包括复位电极314A,并且复位电极314B各自位于相应手指的相对侧上。在一些示例中,小指节段301可仅包括位于更靠近无名指节段301的小指节段301的一侧上的一个复位电极314B。在一些示例中,拇指节段305可仅包括位于更靠近手指节段301(例如,食指节段301)定位的拇指节段305的一侧上的一个复位电极314A。

在一些示例中,相邻的复位电极314可电接触,但航向不应更新(例如,校正)。例如,可越过使用者的手指。又如,使用者的手指可相对于相邻手指(例如,中指)屈曲(例如,食指可弯曲45至90°)。为了防止电接触导致执行航向校正程序,系统可确定手指的取向。基于该取向,系统可以进行或可以不进行航向更新。

在一些示例中,复位电极314可为导电贴片。一个电极可接地,并且另一个电极可耦接到MCU 304。复位电极314可向MCU 304发送信号,其中信号(例如,1位信号)可指示电极状态。在一些示例中,MCU 304可向控制器323发送信息包,其中包可包括电极信号。在一些示例中,复位电极314可用于复位航向(下文讨论)。

力感测

VR手套还可包括一个或多个力传感器306。力传感器306可位于例如VR手套330的指尖处。力传感器306可被配置为测量施加到传感器表面的力的量,并且可生成指示所测量的力的量的信号。力传感器306可耦接到MCU 304。MCU 304可处理信息和/或将信息传送到控制器323。在一些示例中,每个力传感器306可耦接到唯一的MCU 304。在一些示例中,多个力传感器306可耦接到单个MCU 304。如图所示,本公开的示例可包括一个力传感器306和一个MCU 304,它们被配置为测量针对一个手指(例如,食指)施加的力的量。在一些示例中,每个手指可具有力传感器306,并且VR手套330可包括五个力传感器306。尽管图中未示出,但VR手套330可包括其他力传感器306。例如,一个或多个力传感器306可邻近使用者的手掌定位(例如,在手节段311中)。力传感器306可用于检测使用者手指与真实环境之间的交互(例如,使用者从桌子上拾走咖啡杯)。

在一些示例中,力传感器可为电阻式力传感器。电阻式力传感器可包括例如可弯曲构件(例如,应变仪结构)。电路可放置在可弯曲构件上,并且可在构件响应于所施加的力而弯曲时检测电阻的变化。电阻的变化量可指示施加到力传感器的力的量。

在一些示例中,力传感器可为压电式力传感器。压电式力传感器可包括压电材料,该压电材料可根据施加到力传感器的力的量而产生与压电材料上的压缩量成比例的电压。

在一些示例中,力传感器可为电容式力传感器。电容式力传感器可包括多个电极,其中电极之间的距离可受到所施加的力的影响。跨电极的电容变化可与电极之间的距离相关。因此,电容的变化量可指示施加到力传感器的力的量。

在一些示例中,电容式力感测可包括多个可变形电极,其中施加的力可影响电极的形状。跨电极的电容变化可与电极的形状相关,并且电容的变化量可指示施加到力传感器的力的量。

触觉反馈

VR手套330还可包括触觉反馈以响应于某些动作而在手套的节段(例如,靠近指尖的节段)中产生移动。可将一个或多个驱动信号应用于位于指尖处的致动器308,并且致动器308可将运动赋予指尖。例如,在MR/AR应用中,力传感器可响应于真实表面,该真实表面可能具有虚拟对象(例如,按钮或键),该虚拟对象在按下时可调用能够触发触觉事件的信号。例如,当使用者的手指触摸虚拟对象时,来自致动器308的运动可用于模拟纹理或点击反馈。

在一些示例中,致动器可包括螺线管,该螺线管具有可包括线材包裹物的筒体。可将电流施加到线材以产生可将磁柱塞拉伸到筒体内部的磁场。可调节流向线材的电流以控制柱塞的移动,从而赋予运动。

在一些示例中,致动器可包括线性马达、转子马达或其他电磁致动器结构。在一些示例中,致动器可由压电材料和能够响应所施加的电信号而产生移动的其他结构形成。

在一些示例中,一个或多个致动器可邻近VR手套330的腕部节段定位。系统可响应于与对象相关联的一个或多个动作(例如,灯在模拟环境中变暗)而驱动致动器。

控制器

手节段311可包括控制器323(例如,板载控制器)。控制器323可包括一个或多个电路,诸如微控制器和/或总线控制器323。手控制器332可包括一个或多个部件,包括但不限于存储器325、连接器327和收发器338。存储器325可用于读取和/或写入信息。例如,手参考和/或手指参考可存储在存储器325中(下文讨论)。又如,一个或多个计算机可读存储程序可存储在存储器325中。连接器327可用于将VR手套330连接到例如用于有线通信的一个或多个部件(例如,VR头戴式耳机)。又如,连接器327可用于将VR手套330连接到电源以对板载电池(例如,图2中示出的电池234)充电。

控制器323可接收来自部件的信号并且可经由收发器338处理信息。在一些示例中,控制器323可将信号(例如,共同)发送到主机设备(例如,主机设备)。在一些示例中,控制器323可完全或部分地位于VR手套330的另一部分上。例如,控制器323可位于使用者手背面的掌骨上方。当位于曲面(例如,使用者手背面)上时,控制器323可包括由柔性节段隔开的多个刚性节段,使得控制器323可适形于使用者的手。

虽然图中未示出,但VR手套330可包括一个或多个加速度计。例如,当使用者的手不在移动时,可使用一个或多个加速度计和/或陀螺仪校正取向。例如,在加速度计测量重力而不是惯性加速度时,可使用加速度计校正滚动和/或俯仰(即,倾斜)中的任何漂移。

编织材料

VR手套330可为针织或织造手套,其中一个或多个(例如,所有)电子部件可整合到手套的织物中。在一些示例中,手套可包括具有多个节段的织物,所述多个节段具有不同数目的层。例如,节段可包括其中可能不存在电子部件的单个层。在存在电子部件(例如,IMU)的情况下,织物可为具有将电子部件固定在层之间的口袋的两层织物。电子部件可分别定位。例如,IMU可邻近指骨的中心定位。可编织到手套织物中的电子部件可包括但不限于IMU、电极和控制器。在一些示例中,可使用导电线将织物缝合在一起。又如,可将导电线、棒或编织物与其他非导电线同时针织以产生VR手套。例如,总线322可由至少作为整体针织结构的一部分的导电线形成。又如,导电线可将一个或多个部件电耦合在一起和/或可用于路由信号。在一些情况下,总线322可包括导电线。

VR手套的操作

图4A示出了根据本公开示例的用于使用VR手套确定手和手指的定位和运动的示例性过程。系统中包括的VR手套(例如,图2中所示的VR手套230)和/或一个或多个其他部件(例如,主机设备和/或VR头戴式耳机)可与系统中包括的一个或多个其他部件建立通信(过程400的步骤402)。在系统中的部件之间建立通信可包括利用一个或多个收发器(例如,图2所示的收发器238,图3所示的收发器338等)。收发器可使用诸如蓝牙或Wi-Fi等协议进行无线通信。在一些情况下,VR手套可使用无线通信技术与主机设备或其他VR手套建立配对。当设备配对后,主机设备/VR手套可向VR手套发送信息,反之亦然。例如,主机设备可将(例如,在步骤404中使用的)手参考信息发送到VR手套。在一些示例中,手套可利用电连接器(例如,图3中所示的连接器327)提供到另一个部件(例如,使用合适的电缆)的有线连接。

可通过检索或确定手参考来提供手参考490(过程400的步骤404)。图4B中示出了示例性手参考。在一些示例中,可从库文件(例如,位于图3中所示存储器325中的文件)检索手参考490。

在一些示例中,可基于一个或多个测量值和/或图像来生成手参考490。例如,主机设备可包括可允许使用者将他/她的手放在主机设备屏幕上的应用程序(或者,主机设备可拍摄或接收数字图像)。应用程序可拍摄使用者手的图像并且可自动确定一个或多个测量值(例如,一个或多个指骨的长度、使用者手指展开时手指之间的距离等)。可执行一个或多个优化和/或校准步骤来优化测量值。另外,本公开的示例可包括确定(例如,包括记录)使用者手的运动范围。运动范围可用于限制使用者手指和/或关节的移动角度。

系统可执行一个或多个手初始化的步骤。初始化可包括确定使用者手的定位和/或位置。例如,主机设备可向使用者提供指令,以将他/她的手置于某个位置(例如,手掌触摸垂直于重力方向的桌面)。使用者可将他/她的手置于指定位置,VR手套可在该指定位置处(例如,使用IMU)对使用者的手进行一个或多个测量,并且VR手套可基于测量值来设置手参考。在一些示例中,进行测量可包括使用一个或多个相机(未示出)和/或一个或多个光学传感器(未示出)来确定使用者手的定位和/或位置。一个或多个相机和/或一个或多个光学传感器可在没有主机设备(或一个或多个其他部件诸如手套)提供指令的情况下进行测量。

系统可执行手指的初始化。在一些示例中,主机设备还可向使用者提供指令,以将他/她的手指放置在某个位置(例如,手指还触摸垂直于重力方向的桌面)。使用者可将他/她的手指放置在一个或多个指定位置,VR手套可(例如,使用IMU、相机、光学传感器等)进行一个或多个测量,并且VR手套可根据测量值来设置手参考,包括手指参考信息。在一些示例中,确定手指参考的测量可与确定手参考的测量同时发生(例如,过程400的步骤406)。

使用手参考信息,系统可执行航向初始化(过程400的步骤410)。一个或多个航向初始化步骤可为测量和确定初始航向的一个或多个步骤。在不使用IMU的磁力仪的情况下,系统可依赖其他部件进行航向初始化和校正。下文讨论了航向初始化和校正的方法。航向初始化步骤可包括确定图中4B所示的手参考490上的单个手指节点488的航向(下文讨论)。

一旦系统具有手参考信息和初始航向信息,该系统即可开始使用VR手套模拟VR环境(过程400的步骤412)。VR手套可确定一个或多个手指和/或使用者的手何时已移动(过程400的步骤414)。系统可使用手参考490作为对手和(例如,所有)手指中的一者或多者的参考。每个手指节点488可具有局部坐标系492,如图4C所示。手指节点488之间可为平面489,该平面可表示(例如,以指/拇指骨之间的角度的一半)穿过使用者关节的平面。给定节点488的局部坐标系492可表示IMU的当前定位和位置。系统可检测给定IMU(例如,图3中所示的IMU 302)的局部坐标系(例如,由IMU信号的变化确定)的变化(过程400的步骤416)。控制器(例如,图3中所示的控制器323)可接收来自相应IMU的一个或多个信号,这些信号可指示局部坐标系492(过程400的步骤418)。控制器可将所接收的信号信息与相应IMU的局部坐标系进行比较(过程400的步骤420)。控制器可使用局部坐标系与手参考之间的差异来确定IMU的移动(过程400的步骤422)。IMU的移动可反映IMU靠近其定位的指骨和/或手骨的移动。

在一些示例中,控制器可接收来自与运动相关联的IMU以及与运动不相关联的IMU的信号信息。控制器可处理所有信息以确定哪个IMU与运动相关联。在其他示例中,控制器可仅接收来自与运动相关联的IMU的信号信息。在一些示例中,控制器可周期性地(例如,以预定时间间隔)测量来自一个或多个(例如,所有)IMU的信号信息。控制器接收的信号信息可包括IMU与移动相关联的指示,并且还可包括移动的加速度、旋转速率和方向的信息。例如,如图4C所示,信号信息可包括与给定局部坐标系492的x轴494、y轴496和/或z轴498的当前位置和/或变化相关的信息。

VR手套可确定手套的一个或多个手指和/或其他部分(例如,图3所示的手节段311)是否经历输入,诸如力输入(过程400的步骤424)。一个或多个力传感器(例如,图2中所示的力传感器206)可测量施加到传感器表面的力的量(如之前所述)(例如,使用者的手指触摸虚拟对象)。在一些示例中,力传感器可向控制器发送指示接收到力输入的一个或多个信号。该一个或多个信号可包括关于力的信息,诸如力的量。在一些示例中,控制器可周期性地(例如,以预定时间间隔)测量来自一个或多个(例如,所有)力传感器的信号信息。在一些情况下,控制器可接收来自所有力传感器的信号信息,并且可处理与力传感器相关联的信息,该力传感器与力输入相关联。

另外,系统可确定是否经由一个或多个致动器提供触觉反馈(过程400的步骤426)。一个或多个致动器(例如,图3中所示的致动器308)可将运动赋予手套的节段(例如,指尖)。控制器可将一个或多个信号发送到致动器(和/或致动器耦接到的MCU)以产生移动。在一些示例中,控制器可响应于检测到的力输入将信号发送至致动器(例如,过程400的步骤424)。

控制器(例如,图4中所示的控制器323和/或位于VR头戴式耳机上的控制器)可传输和/或接收与步骤414至426的运动相关联的信息,并且可更新模拟环境(过程400的步骤428)。在一些示例中,一个或多个其他部件(例如,相机、光学传感器、图2中所示的复位电极214)可提供与一个或多个使用者的手移动、定位和位置相关的相同和/或附加信息。如下文所述,在图4中所示的一个或多个步骤期间或之间,系统可经历航向校正步骤。

航向初始化

如果没有磁力仪,可使用其他方法和部件来确定每个IMU的初始航向。可执行一个或多个步骤来初始化航向(例如,图4中所示的过程400的步骤410)。例如,VR手套可使用x旋转优化器和/或y旋转优化器。

图5示出了根据本公开示例使用旋转优化器确定初始航向的示例性过程。过程500可从主机设备开始,向使用者提供指令以将他/她的手定位在某个位置中(步骤502)。例如,指令可要求使用者定位他/她的手,使得手掌可垂直于重力(例如,使用者的手掌可面对主机设备的屏幕),称为x优化器。使用者可将他/她的手置于指定位置中(过程500的步骤504)。指令可要求使用者执行某种类型的移动(过程500的步骤506)。例如,指令可要求使用者围绕x轴旋转他/她的手(例如,挥手再见)。系统可接收来自VR手套中包括的一个或多个部件的信息以测量使用者的运动(例如,使用一个或多个IMU,诸如图3中所示的IMU 302)(过程500的步骤508)。系统可使用所测量的运动信息来确定初始航向信息(过程500的步骤510)。

在一些示例中,VR手套可使用y旋转优化器来确定初始航向信息。借助y旋转优化器,指令可要求使用者将他/她的手定位在某个位置(例如,步骤502)。例如,指令可要求使用者将他/她的手掌放置在垂直于重力方向的桌面上,他/她的手指彼此接触。使用者可将他/她的手置于指定位置中(例如,步骤504)。指令可要求使用者执行某种类型的移动(例如,步骤506)。例如,指令可要求使用者围绕y轴旋转他/她的手,诸如旋转手90度,以将局部坐标系的x轴平行于重力方向(例如,拇指向上指向)。可使用一个或多个加速度计来确定初始航向。

航向校正

在没有可靠航向参考的情况下,每个计算出的手指位置的航向可彼此独立地漂移,从而导致在确定移动、定位和位置时不准确(例如,图4中所示的步骤414至422)。系统可校正漂移以减少或防止此类不准确。由于每个手指的漂移可为独立的,因此手指可朝向彼此或远离彼此漂移。如果两个相邻手指在相反方向上漂移,则它们最终可能碰撞。校正此类漂移的一种方式可通过检测所呈现手指的碰撞来进行。图6A示出了根据本公开示例的两个计算出的手指位置的示例性碰撞。该过程首先确定两个或更多个手指是否在模拟空间中彼此碰撞。如上所述,手指节点608的航向取向可在一个或多个航向初始化步骤(例如,图4中所示过程400的步骤410)期间确定。例如,使用者的手指可在实际空间中展开,但系统可能错误地确定使用者的手指在模拟空间中彼此接触或交叉,如图所示。例如,模拟空间中的手指可能碰撞(未示出),并且/或者一个或多个手指节点诸如(模拟空间中的)手坐标系692中的手指节点688A和手指节点688B可能碰撞。可通过以下方式来校正漂移:(例如,使用主机设备)移动一个或多个节点688的航向以移开,直至它们不再在模拟空间中发生碰撞。

除此之外或另选地,一个或多个节点诸如手指节点688C的航向可旋转远离另一个节点诸如位于同一手指上的手指节点688D的航向,如图6B所示。在一些示例中,系统可通过比较与近侧骨(例如,图1中所示的近侧骨103C)相关联的节点688的航向来确定手指的航向是否已在模拟空间中漂移。校正手指的航向可包括修改与近侧骨相关联的节点688在模拟空间中的航向。系统可通过以下方式确定手指节点的航向是否已漂移:将与中间骨(例如,图1中所示的中间骨103B)和远侧骨(例如,图1中所示的远侧骨103A)相关联的节点688的航向和与近侧骨相关联的节点688的航向进行比较。校正与中间骨或远侧骨相关联的节点688的航向可包括相对于与近侧骨相关联的节点688的航向的校正。即,对于给定手指,模拟空间中的近侧骨、中间骨和远侧骨的节点应在使用者的手指在实际空间中延伸时对齐。

校正漂移的另一种方式可通过使用航向复位电极(例如,图2中所示的复位电极214)来进行。当相邻手指在实际空间中触摸时,电极可电耦合在一起。如果相邻手指在实际空间中触摸,但系统错误地确定使用者的手指在模拟空间中展开(或反之亦然),则系统可执行一个或多个航向校正步骤。对于实际空间中的触摸手指,系统可确定触摸手指的航向的平均值,并且将模拟空间中手指的航向设置成等于所确定的平均值。

在一些示例中,可除此之外或另选地使用一个或多个其他部件(例如,旋转传感器、相机、光学传感器等)来启动漂移校正过程和/或校正漂移。例如,相机可确定系统应基于手指在真实空间中的位置来校正哪个手指的漂移。(例如,包括在VR头戴式耳机中的)相机可拍摄使用者手指的图像,并且可检查图像中手指的取向是否与系统模拟中的情况不同。除此之外或另选地,相机可用于跟踪一个或多个使用者手的一个或多个位置。

包括在虚拟现实系统中并且被配置为佩戴在使用者手上的手套,该手套包括:一个或多个电子部件,其包括:多个惯性运动单元(IMU),每个IMU邻近手骨或指骨定位,并且被配置为生成指示手骨或指骨的运动的信号,其中多个IMU被配置为测量使用者的手和手指中一者或多者的加速度和旋转速率;以及逻辑部件,其被配置为使用信号确定使用者关节的一个或多个移动,并且确定使用者手指的一个或多个移动。除此之外或另选地,在一些示例中,手套不包括磁力仪。除此之外或另选地,在一些示例中,多个IMU中的至少两个IMU邻近属于同一手或手指的指骨定位,手套还包括:一个或多个总线,其包括被配置为接收来自多个IMU中的至少两个IMU的信号的至少一个总线,其中确定使用者手指的一个或多个移动包括使用所接收的信号。除此之外或另选地,在一些示例中,一个或多个总线中的每一个与单独的手指相关联,并且其中确定使用者手指的一个或多个移动包括从一个或多个总线中的每一个接收单独的信号。除此之外或另选地,在一些示例中,手套还包括拇指节段和多个手指节段;以及多个电极,每个电极位于手指节段或拇指节段的一面上,其中逻辑部件被进一步配置为在多个电极中的两个电接触时生成第二信号。除此之外或另选地,在一些示例中,一个手指节段仅包括一个电极,并且拇指节段仅包括一个电极。除此之外或另选地,在一些示例中,手套还包括:拇指节段和多个手指节段;以及一个或多个力传感器,其被配置为确定力是否被施加并邻近所述多个手指节段中的至少一个手指节段、所述拇指节段或两者的指尖定位。除此之外或另选地,在一些示例中,手套还包括:拇指节段和多个手指节段;以及多个致动器,其被配置为使所述多个手指节段中的至少一个手指节段、所述拇指节段或两者的指尖振动。除此之外或另选地,在一些示例中,手套还包括:包括一个或多个电子部件中的至少一个的针织材料。除此之外或另选地,在一些示例中,针织材料包括:一个或多个第一节段和一个或多个第二节段,第一节段包括围绕一个或多个电子部件中的至少一个的多个层,第二节段包括单个层。除此之外或另选地,在一些示例中,手套还包括:被配置作为针织材料内的针织线的一个或多个导电线。除此之外或另选地,在一些示例中,手套还包括:多个微控制器单元(MCU),其中每个IMU耦接到唯一的MCU。除此之外或另选地,在一些示例中,多个IMU的数量大于或等于16。除此之外或另选地,在一些示例中,逻辑部件包括在板载控制器中。

本文公开了用于操作虚拟现实系统的方法。该方法可包括:与一个或多个设备建立通信,该一个或多个设备包括手套;检索或确定手参考,其中所述手参考包括多个手指坐标系,每个手指坐标系指示节点的位置;以及以下操作中的一者或多者:基于指示相应IMU的加速度和旋转的一个或多个信号检测多个IMU中每个IMU的移动,以及确定一个或多个手指节段、拇指节段或两者是否经历所施加的力。除此之外或另选地,在一些示例中,检测多个IMU中每个IMU的移动包括:将一个或多个信号与至少一个手指坐标系进行比较。除此之外或另选地,在一些示例中,确定手参考包括初始化航向,初始化航向包括:向使用者提供第一指令以将使用者的手沿相对于重力的给定轴线定位;以及向所述使用者提供第二指令以围绕所述给定轴线移动所述手。除此之外或另选地,在一些示例中,该方法还包括:通过检测节点中的至少两个的碰撞来校正航向漂移。除此之外或另选地,在一些示例中,该方法还包括:通过检测节点中的至少两个的旋转差异来校正航向漂移,其中节点中的至少两个与相同手指或拇指节段相关联。除此之外或另选地,在一些示例中,该方法还包括:接收指示两个电极发生电接触的第二信号;以及在接收到第二信号时校正航向的漂移。除此之外或另选地,在一些示例中,该方法还包括:向所确定的一个或多个手指节段、所述拇指节段或两者的至少一部分提供振动。

虽然参照附图对公开的示例进行了全面的描述,但应注意,各种变化和修改对于本领域内的技术人员而言将变得显而易见。应当理解,此类变化和修改被认为包括在由所附权利要求所限定的所公开的示例的范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1