可穿戴无线HMI装置的制作方法

文档序号:11160763阅读:1133来源:国知局
可穿戴无线HMI装置的制造方法

本公开的实现涉及可穿戴技术手势控制。更具体地,本公开的实现涉及使穿戴者能够无线地控制输入参数并且将其发送至电子接收器和计算装置的可穿戴人机接口(HMI)装置,即,与传感器、开关、控制单元、无线通信模块、和电源适配的手套和其它服装。



背景技术:

近年来,可穿戴技术已经不断地获得了认可,但是绝大部分的这种装置仍然在试验阶段,并且商用的可穿戴技术仍然具有众多缺陷。在可穿戴技术领域内,手势控制手套是出现在市场中的最早期产品之一,但是它们当前仍然有功能受限和通用性显著缺乏的问题。例如,任天堂动力手套(Nintendo Power Glove)是仅用于游戏目的的可穿戴手装置的早期示例。

进一步使缺乏通用性加剧的是:目前大多数可穿戴手套技术缺乏无线能力;用户只能够在电缆/电线所允许的长度范围内移动远离接收装置。嵌入式机械弹簧的使用也有助于这种装置的刚度并且降低了对消费者的吸引力,而对许多这种装置的自定义通信协议的依赖进一步阻碍了它们的广泛采用。

市场中对如下可穿戴手势手套存在未被满足的需求:该可穿戴手势手套实现在本行业中已知的通信协议标准以与电子设备和计算机(即,功能上很好地集成的键盘、鼠标、操作杆)接口连接,并且还具有更换鼠标、游戏手柄、和操作杆的能力以控制电子装置(诸如,无人机、游戏机、计算机、电视机、家庭自动化电气用具)并且将手语转换成更易理解的通信手段(诸如,书面语言或者口头语言)。



技术实现要素:

在随附权利要求书的范围内的装置、设备、和方法的各种实现方式分别具有若干方面,其中没有一个方面单独地对本文描述的属性负责。在不限制随附权利要求书的范围的情况下,在考虑本公开之后,并且具体地,在考虑到标题为“具体实施方式”这部分之后,人们将理解是如何将各种实现方式的各个方面用于创建基于上下文的事件条目。

根据一些实现方式,可穿戴手势控制接口设备用于基于由用户提供的手势来控制可控装置。在一些实现方式中,可穿戴手势控制接口设备可以包括:多个传感器,该多个传感器被配置为检测用户的取向和/或位置和/或移动和/或弯曲并且生成与该取向和/或位置和/或移动和/或弯曲对应的传感器数据;以及微控制器,该微控制器被配置为:使用采样模块来采样来自多个传感器的传感器数据;使用判定模块来判定来自多个传感器之一的传感器数据是否满足传输判据;并且根据来自多个传感器中的该一个传感器的传感器数据满足传输判据的判定,使用传输模块来把与全部多个传感器对应的控制数据传输至可控装置。

在一些实现方式中,可穿戴手势控制接口设备用于基于由用户提供的手势来控制可控装置。该可穿戴手势控制接口设备包括:多个传感器,该多个传感器被配置为检测用户的取向和/或位置和/或移动和/或弯曲并且生成与该取向和/或位置和/或移动和/或弯曲对应的传感器数据;以及微控制器,该微控制器可在低延迟模式和高精度模式中操作,该微控制器被配置为:使用采样模块对来自多个传感器的传感器数据进行采样;当在低延迟模式中操作时,基于来自一部分多个传感器的传感器数据,使用生成模块来生成传感器输出;并且当在高精度模式中操作时,基于来自全部多个传感器的传感器数据,使用生成模块来生成传感器输出。

在一些实现方式中,传感器用于测量物体的弯曲或者挠曲。该传感器包括:第一柔性导电板和第二柔性导电板;柔性半导体多孔衬底,该柔性半导体多孔衬底设置在该第一与第二导电板之间并且与该第一和第二导电板接触,其中,半导体多孔衬底的电阻基于该半导体多孔衬底的弯曲量而变化;第一引线,该第一引线连接至该第一柔性导电板,该第一引线被配置为接收驱动信号,该驱动信号基于该半导体多孔衬底的电阻而改变以生成输出信号;第二引线,该第二引线连接至该第二柔性导电板,该第二引线被配置为在不需要附加的信号调节的情况下将该输出信号直接地传输至微控制器。

在一些实现方式中,可穿戴手势控制接口设备用于基于由用户提供的手势来控制可控装置。该可穿戴手势控制接口设备包括:多个传感器,该多个传感器被配置为检测用户的取向和/或位置和/或移动和/或弯曲并且生成与该取向和/或位置和/或移动和/或弯曲对应的传感器数据;以及微控制器,该微控制器可在低延迟模式和高精度模式中操作,该微控制器被配置为:使用采样模块对来自多个传感器的传感器数据进行采样;使用判定模块来判定来自多个传感器之一的传感器数据是否满足传输判据;并且根据来自多个传感器中的该一个传感器的传感器数据满足该传输判据的判定,微控制器被配置为:当在低延迟模式中操作时,基于来自一部分多个传感器的传感器数据,使用生成模块来生成控制数据;并且当在高精度模式中操作时,基于来自全部多个传感器的传感器数据,使用生成模块生成控制数据;并且使用传输模块将控制数据传输至可控装置。

鉴于下面的描述,本申请的各种优点是显而易见的。

附图说明

为了更好地理解本发明的上述方面以及本发明的附加方面和实现方式,应该结合下面的附图参考下面的具体实施方式,在附图中,在整个附图中相同的附图标记表示对应的部分。其中

图1是手势手套的内衬的背视图。

图2示出了手势手套的全部传感器、开关、电池和电子部件的相对定位。

图3图示了针对挠曲传感器的手势手套的正(+)电压布线层。

图4图示了在挠曲传感器与微控制器单元(MCU)之间的连接。

图5图示了针对开关的手势手套的负(-)电压布线层。

图6图示了在按钮开关与MCU之间的连接。

图7图示了在手势手套的手指上的按钮开关的安装位置。

图8图示了手势手套的毡型材料的初级层。

图9图示了从MCU(在上面的图8中描绘的层的顶部)到开关和传感器(在图8中描绘的层的顶部下方发现的)的布线。

图10图示了应用于MCU的顶部上和挠曲传感器的顶部上的薄毡型材料的保护层。

图11图示了手势手套的最终外护套(包住下面的全部复合层)。

图12是整体组装后的手势手套的部分透视图,示出了该手势手套在外护套下方部分可见的全部电子设备和织物衬里底层。

图13是具有其外护套的成品手势手套的等距视图。

图14是成品手势手套的表面呈现视图。

图15图示了针对手势手套开发的新型挠曲传感器的功能结构。

图16是由手势手套的MCU执行的处理步骤的流程图。

图17是由RF接收器装置(例如,控制台应用或者可控电子装置)执行的处理步骤的流程图。

图18是用于由接收器装置提取单独的手势位置和手取向的处理步骤的通用表示。

图19是通过针对接收器计算机进行的鼠标和操纵杆控制的应用执行的处理步骤的流程图。

图20a是可穿戴人机接口(HMI)装置(手势手套是一种实现方式)和可由可穿戴HMI装置控制的电子装置的框图。

图20b是描绘了类似于图20a的实现方式的框图,但是,手势库和手势检测位于HMI上(与图20a相反,在图20a中,手势库和手势检测位于可控装置自身上)。

图21是示出了图20a的可穿戴HMI装置的功能细节的框图。

图22是示出了可由图20a的可穿戴HMI装置控制的电子装置的功能细节的框图。

在附图的若干视图,相同的附图标记表示对应的部分。

具体实施方式

本文描述的许多细节是为了提供对在附图中图示的示例实现方式的全面理解。然而,一些实现方式可以在没有许多特定细节的情况下实践,并且权利要求书的范围仅受在权利要求书中具体列举的那些特征和方面的限制。此外,并未对已知的方法和系统进行详尽描述,以免不必要地模糊本文描述的实现方式的更为显著的方面。

现在更详细地参照本发明,图1图示了手势手套的示例实现方式的内衬100的背视图。在一些实现方式中,针对内衬100,使用聚酯或者棉织物的舒适共混物。图1还针对传感器和电子部件的位置参考描绘了掌指关节101和近端指节间关节102。

图2是手势手套的示例实现方式的背透视图,示出了关节传感器110和111、按钮开关120、121和122、微控制器(MCU)130、运动处理单元(MPU)131、射频传输单元(RFTX)132、和电源(例如,电池组或者一个或者多个锂聚合物电池(诸如,可再充电型))113的相对定位。出于更清楚的说明起见,贯穿本公开,词语“开关”或者“多个开关”应表示,但不限于,以下任何一种:位置开关、方向开关、方向控制、微型操纵杆等。在一些实现方式中,除了本文描述的传感器和开关之外,手势手套还包括一个或者多个操纵杆、红外传感器、全球定位系统传感器、或者被配置为检测用户手势或者用户输入的任何类似的传感器。在一些实现方式中,传感器、开关、电子部件(例如,MCU、MPU、RFTX、和电源)、和替代输入装置(例如,操纵杆等)的位置和数量与图2中图示的那些部件的位置和数量是全部或者部分不同的。这种差异可以是由于不同实现方式的封装约束(可用于电力供应的空间)、或者是适用于传感器和/或用户输入装置(例如,操纵杆的用户友好型定位)的操作约束和/或人体工程学约束。

将四个挠曲传感器110放置在近端指节间关节102的背侧上,并且将一个挠曲传感器111放置在拇指与食指之间。可选地,可以将附加的挠曲传感器(类似于挠曲传感器111)放置在其它手指中的每一个之间。将四个开关倾斜地安装在每个手指120的内侧指骨上。食指包含在近端指骨121上的附加的开关。将两个以上的开关安装在手122的背表面上,位于拇指的底部处,用于辅助控制功能。

图3图示了用于驱动挠曲传感器110和111的正(+)电压布线层112。每个挠曲传感器利用并联布线模式接收源电压。

图4图示了单独的挠曲传感器110和111、信号线113与微控制器单元(MCU)130的连接。针对状态变化每个挠曲传感器由MCU软件单独地监测。

图5图示了用于驱动按钮开关120、121和122的负(-)电压布线层123。每个按钮开关利用并联布线模式链接至源电压。每个按钮开关可以将数字信号提供至MCU,该数字信号指示按钮开关被“按压”还是未被“按压”。

图6图示了单独的按钮开关120、121和122、信号线124到微控制器单元(MCU)的连接。针对状态变化每个按钮开关位置由MCU软件监测。

图7图示了在内侧指骨120上的按钮开关的倾斜安装、针对四个手指的典型布置、和在平行于矢状平面的食指的近端指骨上的附加的按钮开关121。这种取向在使手指弯曲的同时防止开关的意外致动。

图8图示了在布线层上的柔软的、薄的、毡型材料140的初级层。电线在织物覆盖下伸展。在织物141的中部设置有狭槽或者开口,以供布线穿过织物的顶面,以与它们相应的目的地点连接。

图9图示了通信布线141到安装在毡型织物140的顶部上的MCU的连接。织物层保护下方的布线和上方的电子模块(MPU、MCU、电池、和RFTX)并且将它们隔离。

图10图示了分别用于保护电子模块(MPU、MCU、RFTX)和挠曲传感器110和111的薄毡型材料150、151、和152的最终层。

图11图示了在下面的复合层之上的最终外护套(160)的安装;该最终外部护套是由压合织物制成,以完成手套。附加的包装材料161(诸如,毡)可以用于填充并且平衡在指骨处由倾斜地安装在手指120的内侧指骨上的嵌入式按钮开关造成的手套的突出点。

图12图示了手势手套的整体组件,其中,手势手套的电子设备和织物衬里的底层在外护套160下方部分可见。

图13是具有外护套160的成品手势手套的等距视图。

图14是使用压合材料的成品手势手套的表面呈现视图。

图15图示了用于检测在手势手套中的手指挠曲位置的典型挠曲传感器110和111的功能结构。这种挠曲传感器安装在近端指节间关节的背侧之上。挠曲传感器由半导体注碳弹性塑料(诸如,聚氨酯或者聚乙烯多孔衬底材料)的核心170构成,该半导体注碳弹性塑料能够可选地用以下一种或者多种浸渍:乙醇、异丁烷、丙烷、1,1-二氟乙烷、碳粉、和石墨粉。在核心170的上方和下方,存在两个薄的柔性导电板171(由导电抗腐蚀片材制成),该柔性导电板171完成在整个上半导体核心表面和下半导体核心表面之上的导电通路。在实施例中,较宽的导电板171用于最佳感测,与导电层接触的宽接触表面降低了信号噪声,并且克服了由在制造过程期间产生的表面不规则性造成的局部信号退化。宽接触表面面积还在不同批次的生产单元或者具有相同的整体尺寸的传感器之间提供电流通路冗余、容错、和更高的精度和再现性。可以使用任何已知的导电的附接手段(诸如,铜焊、焊接、或者钎焊)172来将导电引线173附接至上导电板171和下导电板171。所施加的电流的极性可在上导电板171与下导电板171之间互换。导电板171,连同核心半导体层170和附接的引线173,被封闭在柔性且耐用的薄塑料护套174中。该护套由平坦的锥形区域175制成,该护套用作将传感器组件紧固至手势手套的其余部分的指定表面(应用于区域175的任何固定手段都不会引起核心感测区域170和171的压缩)。在与区域175相对的传感器端处,使用非导电的环氧胶密封176来密封引线173离开护套174的区域,以防止核心滑动,并且为引线提供锚点,以便防止在导电板171上的相应附接点172处由于重复的移动而断开连接或者疲劳。环氧密封176还用作挠曲传感器的第二紧固表面。沿着传感器的长度在任一方向上挠曲该传感器组件都会拉伸和压缩半导体材料,从而增加了导电密度并且降低了传感器组件的电阻。

在一些实现方式中,可以利用电阻改变化学添加剂(诸如,乙醇、异丁烷、丙烷、1,1-二氟乙烷、碳粉、石墨粉等)来进一步浸渍注碳多孔衬底。为此,可以通过将多孔衬底浸泡在包含乙醇、异丁烷、丙烷、1,1-二氟乙烷、碳粉、石墨粉的各种溶液或者悬浮液中来浸渍多孔衬底,随后低温干燥1个小时或者更长时间(诸如,24个小时),以便实现化学添加剂浸渍的各种重量百分比水平。在一些实施例中,多孔衬底材料具有像海绵一样的吸收性和吸收一致性,具有高渗透性以吸收化学溶液。

在不同的实现方式中,可以根据需要对材料和化学浓度进行调整以针对电阻变化产生期望的动态范围。例如,越高的碳沉积会产生越高的导电性和越小的动态范围。可替代地,越高的化学添加剂沉积会在材料未被挠曲时产生越高的电阻,并且在弯曲期间产生越大的动态范围。因此,可以在未挠曲到挠曲弯曲之间调整该范围。例如,在多孔衬底内具有大约10%化学沉积的一些实现方式中,最大-最小电阻率范围分别可以是大约30k欧姆到大约2k欧姆,并且在多孔衬底内具有100%化学沉积的其它实现方式中,分别可以是大约200k欧姆到大约5k欧姆。

在操作中,可以将传感器定位在接近HMI装置的用户的手指或者手关节或者肌肉的可穿戴HMI装置中,从而使得这样的关节或者肌肉的任何运动使传感器变形,导致传感器将代表变形程度的相应的模拟信号直接地输出至MCU。因为挠曲传感器具有相对于其物理部件的挠曲或者弯曲量而变化的可变电阻,所以模拟信号变化。在一些实现方式中,挠曲传感器(例如,挠曲传感器110或者111)提供全范围信号(例如,大约1伏特到大约3.3伏特)以向计算装置(诸如,微控制器(例如,图2中的MCU 130))传送挠曲传感器位置。在一些实现方式中,挠曲传感器通过使用浸渍有单位重量10%的化学添加剂的1.5mm厚度的、低密度的注碳聚氨酯多孔衬底170展示出宽电阻范围,即从在90度挠曲下的大约2000欧姆到在直中性位置中的大约30,000欧姆。该范围消除了对外部信号调节电路的需求,允许挠曲传感器与微控制器直接接口连接,从而减少了延迟。在一些实现方式中,挠曲传感器可以在低至3.3伏特的所施加的源驱动电压下运行。

图16是由手势手套的MCU执行的处理步骤的流程图。

在步骤1601中,MCU初始化系统。该系统可以包括电子模块(诸如,MPU、MCU、电池、RFTX)。初始化系统的示例可以包括:针对某些电子模块加载装置设置或者默认设置并且设置阈值以确定何时传送传感器数据。

步骤1601a至1601d描述了根据本发明的至少一个实施例的用于初始化系统的过程。在步骤1601a中,MCU加载系统通信和装置设置。在步骤1601b中,MCU向通信模块加载默认设置。在步骤1601c中,MCU初始化MPU。在步骤1601d中,MCU为运动传感器和挠曲传感器设置阈值。当由运动传感器和挠曲传感器生成的值超出由MCU设置的阈值时,MCU将由一个或者多个传感器(诸如,挠曲传感器)测得的传感器数据传输至另一个计算装置。

在步骤1602中,MCU对来自一个或者多个传感器(诸如,挠曲传感器、按钮开关、微型操纵杆、或者MPU)的数据进行采样。如本文所讨论的,传感器可以被配置为检测用户的取向和/或位置和/或移动和/或弯曲,并且生成与该取向和/或位置和/或移动和/或弯曲对应的传感器数据。

在步骤1603中,MCU通过将来自每个传感器的采样数据与阈值进行比较来判定传感器数据是否满足预定传输判据。如果采样数据未超出阈值,则MCU返回步骤1602并且继续对来自一个或者多个电子装置的数据进行采样。如果采样数据超出阈值,则MCU前进至步骤1604。在一些实现方式中,当来自一个或者多个传感器的采样数据超出阈值时,MCU可以对来自全部传感器的数据进行采样。通过判定传感器数据是否满足预定传输判据,MCU可以准确地决定传输数据还是避免传输数据。传输数据要求电力,并且利用在固定的电力供应上操作的HMI,以允许用户具有自由的移动范围,节电为用户提供了更好的整体体验。

在步骤1604中,MCU基于MCU是在低延迟模式中操作还是在高精度模式中操作,利用统计调节,对采样数据进行平均。

在低延迟模式中,可以使用用于测量用户的每个具体取向或者移动的单个传感器。通过使用单个传感器,需要的处理时间较少,这意味着通过该系统整体上实现了低延迟。在针对低延迟应用的这些实现方式中,可以通过使用任何已知的滤波算法或者融合算法(例如,卡耳曼滤波器或者自定义滤波器),在一对一的基础上,将陀螺仪、加速度计、和磁力计数据的原始传感器数据与传感器输出(一个陀螺仪、一个加速度计、一个磁力计)相关联。然后,通过多次读取将传感器数据聚合,并且进行时间平均以产生具有低漂移和低噪声的稳定输出。在对时间平均的数据流进行采样之后采用的低通滤波算法使噪声最小化,从而产生了可用于高效并且精确地控制控制台应用的非常稳定的取向和运动数据。在低通滤波之前的时间平均对于实现输出中的高精度输出至关重要。

在高精度模式中,MCU可以从多个冗余传感器(例如,用于测量相同线性方向的两个或者更多个加速度计、或者用于测量相同角移动的两个或者更多个陀螺仪)接收传感器数据。因为惯性传感器倾向于有为在传感器数据中显露出的一种类型的噪声的长期漂移,所以冗余传感器可以是有帮助的。通过对来自多个冗余传感器的采样数据进行平均,MCU可以降低在采样数据中的噪声量。例如,如果采样数据包括多个采样,则有可能其中一些采样可能具有大的噪声分量。然而,如果其它采样具有有限的噪声分量,则对该采样的平均会降低在采样数据中的整体噪声分量。通过降低噪声,本文描述的电子装置可以更容易地处理采样数据的期望信号分量。

在一些实现方式中,多个冗余传感器可以安装在自定义印刷电路板上,相对于彼此相隔固定的已知的距离。该距离可以在电路板制造期间预定。如上所述,来自多个冗余传感器的传感器数据与在低延迟模式中经历滤波方法的每个输出一起使用。然后,结合已知的实际物理或者取向数据,来考虑来自每个传感器的位置和取向数据,以进一步消除漂移、噪声,并且进行定位以获得最佳的精度。因为在钎焊在MPU板上的传感器之间的实际距离和角度是已知的,所以该配置使长期漂移和噪声偏差最小化。

在混合低延迟高精度模式中,MCU可以包括20Mhz到50Mhz的处理器。在该实现方式中,利用更高电池消耗的标称权衡,可以使用上文描述的高精度和低延迟方法。在一些实现方式中,利用更高电池消耗的相似权衡,可以通过使用I2C或者SPI通信总线将多个低频率MCU一前一后地连接,以采集并且处理来自每组陀螺仪、加速度计、和/或磁力计的数据,从而划分处理负载并且实现更高的吞吐量。

在一些实现方式中,可以反向执行在步骤1603和1604中由MCU执行的过程。在这些实现方式中,MCU对采样数据进行平均以降低噪声,并且然后,将采样数据与阈值进行比较。

在步骤1605中,MCU创建ASCII数据流,作为来自每个传感器的采样数据的名=值对(name=value pair)。在一些实现方式中,名(name)对应于电子部件(例如,挠曲传感器或者按钮开关),并且值(value)对应于由电子部件测得的人类动作或者手势。例如,“B0=H”,其中,“B0”是位于食指的近端指骨上的、垂直安装的按钮开关121,并且“=H”表示在“H”为“按压”按钮状态时“B0”的值。如“B0=L”中,零(0)值将意味着按钮开关为未“按压”。在一些实现方式中,每个名和/或值由每个字符8个字节表示。ASCII数据流和名=值对的使用有利于使用应用平台接口(API)与控制台应用通信。通过使用ASCII数据,对控制台应用或者类似的电子装置进行编程的任何开发人员可以容易地解释并且处理这种使手势处理系统通用化或者与装置无关的数据格式。

在一些实现方式中,MCU创建编码的(例如,压缩的)数据流。在这些实现方式中,将采样数据的每个字节编码成对应的值,以进行进一步的处理并且传输至控制台应用。对数据进行编码的其中一种益处是减少在手套与控制台应用之间传输的的数据量,从而改善手势处理延迟。

在步骤1606中,MCU通过使用无线模块(例如,射频传输单元(RFTX)132)将来自一个或者多个传感器的传感器数据传输至控制台应用(即,可控装置)。

在一些实现方式中,MCU将数据作为数据传输包传输。数据传输包由以下组成:i)描述命名的变量及其相应的值的标准ASCII字符;或者,ii)与传感器数据对应的编码值。然后,通过射频传输单元(RFTX)132、蓝牙、或者WiFi(IEEE 802.1)模块,来推送包含全部数据变量(包括HMI的开关、挠曲传感器、和运动处理单元)的整个数据包。

在一些实现方式中,如步骤1603所述,如果来自至少一个传感器的传感器数据超出阈值,则MCU将来自至少两个(可选地,全部)传感器的传感器数据传输至控制台应用,因此实现改进的精度。

在步骤1607中,MCU重置在其存储器中存储的全部变量、寄存器和计数器,并且返回步骤1602以继续对传感器数据进行采样。

图17是由RF接收器装置(例如,无人驾驶飞行器、游戏机、可控装置、控制台应用)执行的处理步骤的流程图。图17描绘了用于从手势手套拦截数据的初级层、类别、或者过程。该层可以用在任何电子设备或者计算装置上。该层的输出由图17底部的“A”表示,其为转发到更高的层或者封装类别的事件。将名-值对转换成阵列或者列表,对该阵列或者列表进行循环遍历和解析以评估变量状态,诸如,按钮开关120、121和122、挠曲传感器位置110和111、以及手取向和移动(MCU)131。如果任何变量超出了其给定的阈值,则针对封装类别的更高层应用提高事件“A”,诸如,分别在图18和图19中描述的手势控制接口和鼠标控制应用。通过由RF接收器装置处理数据,MCU要求较少的处理能力来运行,从而,节省电池电力。同样,RF接收器装置可以具有更快的处理能力,因此,与在MCU处解释手势命令相比,通过将在接收器装置处解释手势命令而减少了延迟。然而,在诸如图20b所示一些替代实现方式中,预期处理传感器数据,解释手势,并且生成手势命令的正是MCU。在这种实现方式中,MCU将手势命令传输至RF接收器装置。手势命令在由控制台应用执行时使该控制台应用执行动作(例如,使无人驾驶飞行器执行桶滚)。MCU可以使用如上文在步骤1605和1606中描述的类似技术(例如,ASCII名=值对或者压缩编码技术)来将手势命令传输至RF接收器装置。

图18是在本发明的实施例中的用于提取单独的手势位置和手取向的处理步骤的通用表示。针对超出每个变量的阈值限制的值,对从如图17所述的输出“A”接收的事件进行评估。如果值低于阈值,则在图18中该过程终止或者退出。如果超出阈值,则将在该触发之后进行的输入存储在存储器中,直到值降到低于给定变量的阈值的那一刻为止。随后,追踪采集到的数据并且对其进行模式识别算法(诸如,隐马尔柯夫模型或者具有集成模糊逻辑的神经网络),该数据的输出识别触发动作、宏、存储过程、程序等的所述运动。

图19是由用于鼠标和操纵杆控制的应用执行的处理步骤的流程图。将从如图17所述的输出“A”接收的事件解析为手取向和运动,将该手取向和运动转换为在接收器计算机的操作系统中模拟各种鼠标按钮状态的鼠标移动和按钮状态。

更详细地,仍然参照图1至图19的本发明,手势手套通过使用多种方法使用无线传输来控制电子装置。在实施例中,存在通过手势手套无线地控制装置的三种方法。第一,可以将手指110和拇指111的挠曲取向用作控制无线连接的装置的输入方法。第二,可以使用嵌入式开关120或者交替用户控制(例如,操纵杆或者电容性触控板)来控制链接的装置。第三,还可以将手取向和运动(MPU)131用作手势控制参数。此外,针对多个附加的手势控制,可以使用这三种方法的任何组合。与新的且通用的数据传输分组(将在下文中进行详细描述)结合的输入方法的这种新颖混合使手势手套成为多功能人机接口装置的独特解决方案。

手势手套的其中一个最明显的且独特的功能特征是:挠曲传感器110起作用的方法。在一些实现方式中,四个(4)挠曲传感器110测量在每个手指的背侧上的近端指节间关节102处的四个(4)手指的挠曲位置。将第五(5)挠曲传感器111放置在拇指与食指之间。当手指是直的(未挠曲)时,传感器未被压缩;因此,在两个(2)导电板171之间的电流流动通路中核心材料170的导电密度最低并且传感器的电阻最高。对取决于挠曲位置并且在5,000Ω(90度挠曲)到200,000Ω(直的、未挠曲的位置)之间变化的该电阻进行采样,并且在按照微秒的时间顺序的若干读数上对其进行平均,并且通过无线射频传输单元(RFTX)132将其中继至无线接收器装置。

手势手套实现的第二种控制方法是通过使用按钮开关120。微控制器单元(MCU)130在数据包传输期间监测按钮开关120的两种(2)状态(开或者关)并且将其中继至给定的无线接收装置。

手势手套利用的第三种控制方法是通过使用手取向和运动。为了促进这种方法,使用惯性运动处理单元(MPU)131来测量在XYZ轴上的静态重力。在无线数据包传输内,这些值由微控制器单元(MCU)130读取,并且由微控制器单元(MCU)130将其作为手的倾斜取向传输至无线接收器装置。使用相同的MPU 131来测量手的空间运动。在任何轴平面中的移动会引起在MPU 131上的惯性力,在无线数据包传输内,该惯性力也由MCU 130读取并且加以中继。对于手势检测,手势手套被配置为执行以下:

i)静态的位置手势检测,诸如,当用户将戴有手套的手举起并且固定不动且5指全部舒展开时,检测5个单元(5分钟或者5个点)的值;

ii)简化的移动手势检测,诸如,解释手在空中的简单运动来表示重击、或者投掷、或者“划掉”;

iii)组合式手势检测,诸如,将某些意义分配给在将手指保持在某些位置的同时执行的手的某些移动。

为了测量手的取向和空间运动,MPU 131可以包括一个或者多个传感器,诸如,磁力计、陀螺仪、惯性传感器、加速度计、和肌动电流仪。磁力计可以测量用户的身体部分相对于地球磁场的取向。陀螺仪可以测量用户的身体部分在一个或者多个轴中的角度取向的变化。加速度计可以测量用户的身体部分在一个或者多个(例如,三个)轴中的移动的变化。肌动电流仪可以测量在用户肌肉收缩期间产生的电信号。MPU 131可以被配置为检测在用户皮肤上的张力或者应力水平,并且对传感器数据进行编码以与用户的身体部分(例如,手)的一般配置对应。在这种配置中,MPU 131可以检测在用户的手掌上的张力,或者检测用户的手是握拳还是手指伸展开。

在一些实现方式中,MPU 131可以包括传感器(诸如,磁力计、陀螺仪、加速度计、和肌动电流仪)的冗余对(例如,二、四、六)。在这些配置中,MPU 131可以通过合并冗余并且对来自冗余传感器的群的传感器数据进行平均来降低传感器噪声。通过对来自冗余传感器的群的传感器数据进行平均,可以通过用来自正常运转的传感器的传感器数据对具有异常噪声的传感器数据进行平均,来使在一个传感器中发现的异常噪声最小化。

在一些实现方式中,MPU 131可以包括用于降低在随着时间流逝而累积的传感器数据中的漂移或者不准确/噪声的多传感器阵列。

在一些实现方式中,MPU 131是具有传感器阵列的自定义印刷电路板。在一些实现方式中,MPU 131包括用于在传感器与MCU 130之间传输数据的多主多从单端串行计算机总线。MCU 130可以使用由Philips开发的I2C协议来处理来自MPU 131的传感器数据。在一些实现方式中,每个传感器是可寻址的,并且总线包含两个输出、时钟信号、和传感器数据。在每个时钟周期中,MCU 130对来自每个传感器的数据的一个位进行采样,直到对全部的传感器数据都进行了采样。然后,MCU 130重复采样过程。

一旦无线接收器装置接收到数据包,将数据包经历一连串处理层,每个层设计为兼容地耦合或者去耦合,从而使手势手套通用地适用于具有最小附加电子设备或者计算能力的宽范围的现场应用。图17描述了用于拦截数据包并且在将手势手套传输的每个变量的值传送至更高的处理层之前对其进行预处理的过程。该方法建立用于通信的基本层,该基本层可以按照软件类别的形式标准化,可输入到使用初级层的标准过程的封装类别中以拦截手势控制数据并且构造更复杂的控制应用。作为示例,在图18中描述了更高级的类别或者过程以检测预定义手势或者手移动,以触发程序、方法、宏等,并且进一步触发链。在图19中描述了针对鼠标控制的另一种应用。对经由蓝牙、射频(例如,振幅调制、频率调制、相位调制)、或者WiFi由计算机接收的数据进行解析并且将其转换成代表鼠标的位置X、Y值,并且可以对按钮状态进行映射以模拟在计算机的驻留操作系统上的鼠标移动和点击。另外,手势控制应用和鼠标控制应用可以串接在一起,以通过组合使用手指、开关、和在手势手套中的运动传感器来创建具有大量控制的更健壮的应用。而且,左手手套和右手手套可以配合使用,以便甚至更好地控制接收器装置。

在进一步的细节中,仍然参照图1至图19的本发明,可以将手势手套制作成若干商用大小(例如,小号、中号、和大号)以适合成年人和儿童最常见的手大小范围。

可选地使用弹性得到改进的压合材料,使得可以按照仅若干预设的大小来生产手势手套,该预设的大小仍然覆盖了潜在用户的大多数手大小。

就其构造而言,可以使用本领域已知的任何适合的手套制作技术来组装手势手套。如图1至图19所示,在本发明的一个实施例中,按层来组装手套,以使手势手套轻薄、耐久且实用。从第一(最里面的)层开始,内衬100由棉或者聚酯或者任何其它适合的材料的柔软且舒适的共混物组成。安装在内衬100顶部的有:挠曲传感器110和111、按钮开关120、121和122、以及它们相应的电力和通信布线112、113、123和124。在该布线层上方,引入了一层毡型材料140(或者任何其它适合的材料),用于隔离并且保护随后的电子设备层。在该毡型材料140的中心设置有缝隙、孔口、或者切口141,以允许下层布线出现在放置在如图9所示的毡型材料的顶部上的电子设备层上。微控制器单元(MCU)130、运动处理单元(MPU)131、射频传输单元(RFTX)132、和电池133、以及它们相应的通信和电力布线都位于电子设备层中。然后,用另一层毡型材料(施加在图10中的区域150、151和152中)覆盖电子设备和挠曲传感器,以在使用期间保护它们不受物理损坏,并且通过抑制由电子设备、传感器、开关、和布线造成的任何突起来提供平滑轮廓或者对手套进行修饰。最后,将手套形式的压合材料放置在下方的全部层的顶部上,以产生成品手套。在一种实现方式中,最终手套组件的灵活性和手感非常接近具有滑动配合的现成的高品质、高性能手套。在另一实现方式中,可以将自定义制造的支架、内骨架、或者外骨架适配到手势手套或者可以用其替代手势手套的一个或者多个或者全部层,以便为附接至手势手套的电子部件提供支撑。在又一实现方式中,在具有或者不具有类似服装手套的一个或者多个覆盖层的情况下,可以通过任何已知的手段将本发明的电子部件直接地和/或单独地附接至用户的手指、拇指、手掌或者手背。

本发明的各种实现方式的优点包括,但不限于,由于其标准协议和基础类别软件而产生的即插即用能力。在其各种实现方式中,手势手套提供准许数百种不同手势的多种控制输入。ASCII数据包传输实现方式允许快速且容易地开发应用,这些应用可以将手势手套用作与各种装置的输入接口。纤细灵活的外观给用户带来穿戴普通手套的感受。一些实现方式采用在不同的可穿戴HMI装置形状因子(诸如,无指手套、适合一个或者多个手指或者适合另一身体部分(诸如,手腕、前臂、手肘、脚踝、脚、或者小腿中的一个或者多个)的套筒)中的类似的数据处理原理和部件。

在一些实现方式中,本发明是使其用户能够以更加动态且自然的方式与机电装置或者电子装置接口连接的可穿戴装置。

图20a是根据一些实现方式的主从环境2000的框图,该主从环境2000包括可穿戴人机接口(HMI)装置2001(其手势手套是一种实现方式)和可由可穿戴HMI装置控制的电子装置2020。在一些实现方式中,主从环境100包括耦合至电子装置2020(例如,无人驾驶飞行器、控制台应用、RF接收器装置)的HMI装置2001(例如,手势手套)和用于互相连接这些部件的一种或者多种通信网络2010。该一种或者多种网络2010的示例包括局域网(LAN)和广域网(WAN)(诸如,互联网)。可选地,通过使用任何已知的网络协议,包括:各种有线或者无线协议(诸如,以太网、通用串行总线(USB)、FIREWIRE、全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、Wi-Fi、互联网语音传输协议(VoIP)、Wi-MAX、或者任何其它适合的通信协议),来实施该一种或者多种网络2010。

在一些实现方式中,HMI装置2001包括一个或多个传感器2002和/或微控制器2004。一个或多个传感器2002被配置为检测用户的取向和/或位置和/或移动和/或弯曲(即,手势),并且生成与该取向和/或位置和/或移动和/或弯曲对应的传感器数据。微控制器2004被配置为对来自一个或多个传感器2002的传感器数据进行采样并且确定是否将传感器数据或者对应的手势控制数据传输至电子装置2020。如本文所述,微控制器2004可以被配置为在不同模式(诸如,低延迟模式和高精度模式)中操作,并且基于该模式将控制数据传输至电子装置2020。控制数据是数据,该数据在由电子装置2020处理时使电子装置2020执行动作(例如,执行鼠标点击功能或者驾驶无人驾驶飞行器)。

在一些实现方式中,电子装置2020可以包括应用2022和/或手势库2024、和/或智能手势检测算法2026。该应用2022被配置为处理从HMI装置2001接收的控制数据并且执行使电子装置2020执行动作的命令。在一些实现方式中,控制数据是传感器数据。在这些实现方式中,应用2022分析传感器数据并且基于传感器数据从手势库2024检索手势命令。手势库2024是与传感器数据有关的手势命令的数据库。在图19的标题为“基于传感器状态执行命令级联”的部分中示出了手势库2024的示例。即使当手势库2024不具有与传感器数据有关的任何预设手势命令时,智能手势检测算法2026也允许进行手势的智能检测;相反,可以通过智能处理、猜测和/或在传输过程中计算来检测新的手势。如图20a和20b所示,手势库和智能手势检测可以驻留在受控装置自身(如图20a)或者HMI装置(如图20b)上。

在一些实现方式中,从HMI装置2001传输的控制数据是手势命令。在这些实现方式中,手势库2024可以存在于HMI装置2001上。在这些实现方式中,微控制器2004可以分析传感器数据并且基于传感器数据从手势库2024检索手势命令。一旦将手势命令传输至电子装置2020,应用2022执行该命令并且使电子装置2020执行动作。

图21是示出了图20a的可穿戴HMI装置2001的功能细节的框图。

在一些实现方式中,HMI装置2001包括控制处理单元一个或多个CPU(诸如,在图20中示出的微控制器2002(即,MCU))、MPU 2102、一个或者多个网络接口或者其它通信接口2104(例如,RFTX)、用户界面2110、存储器2106、和用于将这些部件互相连接的一条或者多条通信总线2108。通信总线2108可以包括将系统部件互相连接并且控制在系统部件之间的通信的电路(有时称作芯片集)。

在一些实现方式中,HMI装置2001包括一个或者多个惯性传感器2116,该惯性传感器2116直接地或者间接地确定用户的身体部分的取向和移动。在一些实现方式中,位置/运动传感器316包括但不限于:陀螺仪、加速度计、和GPS装置。在一些实现方式中,HMI装置2001还可以包括一个或者多个挠曲传感器2110,该挠曲传感器2110确定用户的身体部分的弯曲。在一些实现方式中,HMI装置2001还可以包括一个或者多个按钮传感器2112,该按钮传感器2112检测按钮的由用户发起的按压。由任何上述传感器按照任何组合产生的传感器数据都可以由HMI装置2001用于追踪用户手势并且基于与追踪到的用户手势对应的手势命令来控制电子装置2020。

存储器2106包括高速随机存取存储器(诸如,DRAM、SRAM、DDR RAM、或者其它随机存取固态存储器装置);并且可选地包括非易失性存储器(诸如,一个或者多个磁盘存储装置、光盘存储装置、闪存存储器装置、EPROM、EEPROM、或者其它已知的非易失性固态存储装置)。存储器2016可选地进一步包括与一个或多个CPU 2002远离地定位的一个或者多个存储装置(例如,云存储)。存储器2106,或者可替代地,在存储器2106内的一个或多个非易失性存储器装置包括非暂时性计算机可读存储介质。在一些实现方式中,存储器2106或者存储器2106的计算机可读存储介质存储以下程序、模块和数据结构、或者它们的子集或者超集:

操作系统2120,该操作系统2120包括用于处理各种基本系统服务并且用于执行硬件相关任务的过程;

网络通信模块2122(或者传输模块),该网络通信模块2122用于经由例如RFTX 2104(有线或者无线)和一种或者多种网络2010(图20a)(诸如,互联网、其它广域网、局域网、城域网等)将HMI装置2001连接至电子装置2020;

采样模块2124,该采样模块2124用于对来自多个传感器2216、2110和2112的传感器数据进行采样;

判定模块2126,该判定模块2126用于判定来自多个传感器之一的传感器数据是否满足传输判据;

生成模块2127,该生成模块2127用于当在低延迟模式中操作时,基于来自一部分多个传感器的传感器数据来生成控制数据;并且当在高精度模式中操作时,基于来自全部多个传感器的传感器数据来生成控制数据;以及

选择模块2128,该选择模块2128用于基于来自多个传感器的传感器数据来选择用于可控装置的手势命令。

可以将上文识别的元件中的每一个存储在HMI装置2001的一个或者多个先前提到的存储器装置中,并且上文识别的元件中的每一个与用于执行上文所述的功能的一组指令对应。不需要将上文识别的模块或者程序(即,多组指令)实施为单独的软件程序、过程、模块或者数据结构,并且因此,在各种实现方式中,可以对这些模块的各种子集进行组合或者否则重新布置。在一些实现方式中,存储器2106可选地存储上文识别的模块和数据结构的子集。此外,存储器2106可选地存储上文未描述的附加模块和数据结构。

图22是示出了可由图20a的可穿戴HMI装置2001控制的电子装置2020的功能细节的框图。在一些实现方式中,电子装置2020包括一个或者多个处理单元(CPU)2204、一个或者多个网络接口或者其它通信接口2204、存储器2206、和用于将这些部件互相连接的一条或者多条通信总线2208。通信总线2208可以包括将系统部件互相连接并且控制在系统部件之间的通信的电路(有时称作芯片集)。

在一些可选的实现方式中,电子装置2020还包括使用一个或者多个输出装置来呈现图形用户界面(GUI)并且经由一个或者多个输出装置接收用户输入的用户界面。在一些可选的实现方式中,电子装置2020包括用户界面2210,该用户界面2210包括零个或者多个显示装置2212(例如,屏幕或者监视器)和零个或者多个输入装置或者机构2214。该一个或者多个输出装置,可选地包括一个或者多个视觉显示器并且可选地包括一个或者多个扬声器,使得能够通过电子装置2020呈现媒体内容。在一些实现方式中,该一个或者多个输入装置包括便于用户输入的用户界面部件(诸如,键盘、鼠标、语音命令输入单元或者麦克风、触屏显示器、触敏式输入板、照相机、手势捕捉相机、和/或其它输入按钮或者控制),并且可选地包括这种输入装置中的两个或者更多个。此外,电子装置2020可以使用麦克风和语音识别、或者照相机和虹膜/面部识别来补充或者替代物理或者虚拟键盘。

存储器2206包括高速随机存取存储器(诸如,DRAM、SRAM、DDR RAM、或者其它随机存取固态存储器装置);并且可选地包括非易失性存储器(诸如,一个或者多个磁盘存储装置、光盘存储装置、闪存存储器装置、EPROM、EEPROM、或者其它已知的非易失性固态存储装置)。存储器2206可选地进一步包括与一个或多个CPU 2002远离地定位的一个或者多个存储装置(例如,云存储)。存储器2206,或者可替代地,在存储器2206内的一个或多个非易失性存储器装置包括非暂时性计算机可读存储介质。在一些实现方式中,存储器2206或者存储器2206的计算机可读存储介质存储以下程序、模块和数据结构、或者它们的子集或者超集:

操作系统2220,该操作系统2220包括用于处理各种基本系统服务并且用于执行硬件相关任务的过程;

网络通信模块2222,该网络通信模块2222用于经由一个或者多个通信网络接口2204(有线或者无线)和一种或者多种网络2010(图20a)(诸如,互联网、其它广域网、局域网、城域网等)将电子装置2020连接至HMI装置2001;

应用模块2224,该应用模块2224用于分析来自HMI装置2001的传感器数据(即,控制数据)以确定对应的手势命令和/或执行手势命令以使电子装置2020执行动作;

手势库2230,该手势库2230用于存储手势命令和对应的传感器数据并且处理对来自应用模块2224的手势命令的请求。

可以将上文识别的元件中的每一个存储在电子装置2020的一个或者多个先前提到的存储器装置中,并且上文识别的元件中的每一个与用于执行上文所述的功能的一组指令对应。不需要将上文识别的模块或者程序(即,多组指令)实施为单独的软件程序、过程、模块或者数据结构,并且因此,在各种实现方式中,可以对这些模块的各种子集进行组合或者否则重新布置。在一些实现方式中,存储器2206可选地存储上文识别的模块和数据结构的子集。此外,存储器2206可选地存储上文未描述的附加模块和数据结构。

在一些实现方式中,电子装置2020的至少一些功能由HMI装置2001执行,并且这些功能的对应的子模块可以位于HMI装置2001内。此外,在一些实现方式中,HMI装置2001的至少一些功能由电子装置2020执行,并且这些功能的对应的子模块可以位于电子装置2020内。图20所示的HMI装置2001和电子装置2020仅仅是示例性的,并且,在各种实现方式中,用于实现本文描述的功能的模块的不同配置都是可能的。

要考虑,通过使用本文描述的装置和技术,用户可以采用HMI装置2001的任何控制形式(按钮、手指、运动、传感器、开关、微型操纵杆等)来定义数百种自定义手势并且实现数百种自定义手势命令,该自定义手势命令在执行时使电子装置2020执行动作。除了其它原因之外,这可能是由于所公开的处理技术、冗余传感器所允许的准确度和/或所公开的弯曲传感器所允许的精度。

为了创建自定义手势,可以将在HMI装置或者另一种电子装置上执行的手势手套控制台应用放到学习模式中,在学习模式期间,由穿戴手势手套的用户/操作者执行自定义手势的重复试验。

在使用行业标准模式识别算法的当前最佳情况应用中,需要对相同的手势模式进行大约一百次试验,以针对给定的自定义手势建立良好的统计数据集,以便降低数据方差并且估算适当的判定边界以便在现场应用中重复使用手势模式。这些技术仍然处于研发中。

与此相反,对于待通过模式识别算法适当地识别的自定义手势,手势手套控制台应用需要不超过十次的训练重复。通过使用加权统计措施(包括:来自融入到针对自定义手势能够利用更少的训练集来更好地预测判定边界的新计算方法中的K近邻、动态时间规整、支持向量机和非线性相关的部分算法的组合)的算法或者方程式来实现这点。可以将来自这种方法的预测输出直接用于低延迟应用,或者进一步将其经历附加的识别层(诸如神经网络、决策树、或者用于高精度应用的隐马尔柯夫)。

一旦将自定义手势添加至手势库,可以从控制台应用使用手势库或者可以将手势库上传至手势手套MCU以便直接现场使用。

本文描述的每一个方法通常受存储在计算机可读存储介质中并且由一个或者多个服务器或者客户端装置的一个或者多个处理器执行的指令支配。不需要将上文识别的模块或者程序(即,多组指令)实施为单独的软件程序、过程、或者模块,并且因此,在各种实现方式中,可以对这些模块的各种子集进行组合或者否则重新布置。

出于解释的目的,已经参照特定实现方式对上面的说明进行了描述。然而,上述说明性的讨论不旨在详尽地展现所公开的精确形式或者限制所公开的精确形式。鉴于上文的教导,许多修改和变型都是可能的。选择并且描述实现方式是为了更好地解释本发明的原理和其实际应用,从而使本领域的技术人员能够更好地利用本发明和具有各种修改的实现方式,以适应于所预期的特定使用。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1