一种电子设备的控制系统和方法

文档序号:6337906阅读:143来源:国知局
专利名称:一种电子设备的控制系统和方法
技术领域
本发明涉及一种利用手指的各种动作控制电子设备的系统,是一种输入系统,属信息处理领域。
背景技术
电脑、手机、游戏机、电子乐器等在社会中大量普及和使用,物联网的概念一经提出就引起巨大影响,这些设备和技术都会面临一个问题怎样提供一个界面友好易于控制的人机界面。这些电子设备大多带有作为输出系统的显示器提示用户当前的状态和其它信息;常用的输入设备也很多,控制电脑时大都使用鼠标和键盘,控制手机使用触摸屏和键盘,控制游戏机使用体感控制器和按键、控制电视使用遥控器。这些控制设备使用的输入设备虽然种类繁多,但都需要人手来操作,而且基本是各个手指来控制。由此引发了一个有趣的问题是否可以将这些设备融合为一个设备统一由手来操作。MEMS (微电子机械系统)加速度传感器是基于MEMS固态硅基电容式,基于惯性原理的,既可以测静态的加速度如地球重力加速度,又可以测动态的加速度如冲击、振动等; 其倾角测量也是基于加速度传感器的原理,即地球重力加速度对传感器中的惯性质量块的作用致使质量块相对于两个极板发生偏移导致极板间的电容发生改变最后输出电压发生变化。MEMS加速度传感器可以用来监测振动、运动等,其有模拟电压输出和数字SPI输出。 三维MEMS重力加速度传感器可以检测三维方向上的加速度,以其出色的性能,如体积小、 功耗极低、高精度、线性度、稳定性、重复性、可靠性、温度特性、抗振性等,已广泛运用于各个领域,特别是手持设备中大量使用。根据位移公式可以S = V0t+l/2at2 ;可知位移S与初速度Vtl、加速度a和时间t有关,如果初速度Vtl为零,则只与加速度a和时间t有关,所以只要在开始动作前保持静止, 既可以根据变化的加速度和时间计算出后续连续的位移的大小。只要有了三维坐标轴上的加速度的方向和大小,再加上时间,就可以进一步计算出三维方向上的方向、位移、速度和加速度。关于使用MEMS加速度传感器作为鼠标移动功能的具体实现和算法已经很多,这里不再详细说明。三维重力加速度传感器以重力(F = mg)为输入矢量来决定物体在空间的姿态。把加速度传感器固定在物体的水平面上,当物体姿态改变时,加速度传感器的敏感轴随之转动一定角度,由于重力的作用,传感器敏感轴上的加速度会发生改变,因此可通过测量加速度的变化来反映物体姿态的变化。通过三轴加速度传感器进行倾角计算的具体算法已经有大量公开的研究,这里不再详细说明。有了角度和对应的时间,就可以近一步计算出角速度和角加速度。陀螺仪又名角速度计,多数的方案是通过一个不断旋转的陀螺,当传感器晃动时, 会改变陀螺的水平,并且改变周遭的电压,进而计算出物体移动的角度。陀螺仪与三维重力加速度传感器看起来很接近,不过加速度计只能侦测物体的移动行为,并不具备精确侦测物体角度改变的能力,陀螺仪可以侦测物体水平改变的状态,但无法计算物体移动的激烈程度。三维MEMS陀螺仪传感器可以检测三维方向上的移动的角度,以其出色的性能,如体积小、功耗极低、高精度、线性度、稳定性、重复性、可靠性、温度特性、抗振性等,已广泛运用于各个领域,特别是手持设备中大量使用。MEMS环境振动驱动的微型压电发电工作原理是利用环境振动激励压电悬臂梁发电系统产生受迫振动,从而引起压电体在激振力作用下发生机械应变,经材料内部机电耦合转换将机械应变能转换为电能,在压电薄膜的表面产生电荷,通过外电路对电荷进行收集和处理,从而作为微电池为微功耗的微型器件供电。Nordic半导体的nRFMLEl在尺寸方面超过了以前的超低功率(ULP)系统芯片 (SoC)它把2. 4GHz收发器核和一个8位混合信号微控制器与闪存集成在一块芯片上,用于超低功耗无线系统。尺寸为4X 4mm,是目前尺寸最小的单片超低功耗无线解决办法,只需要一块芯片就可以实现无线应用系统,且最大电流很小,可以用钮扣电池供电。

发明内容
本发明的目的是提出一种轻巧、方便、自然、通用的电子设备的输入设备系统和方法,此系统可以让用户方便地用手指的动作控制电脑、手持设备、游戏机、模拟乐器等。更简单地说,此系统和方法可以替代和模拟鼠标、键盘、触摸屏、遥控器等常用的使用手指的输入设备。本发明的基本思路就是监控人的手指的运动,并将其运动转换为电子设备识别的信号而达到控制电子设备的目的,只要手指做出了相应的动作,就可以控制电子设备,这种控制方法非常自然和直观。本发明中的控制系统由附着在多个手指上的多个独立的感应单元、信号处理器和接口模块组成,每个感应单元至少包含一个三维重力加速度传感器或一个三维陀螺仪传感器用来分别获得对应手指的加速度或角度,然后信号处理器再对这些收集到的加速度和角度数据进行处理和比较差别,从而分析出手指的动作,再转换成电子设备可以识别的电子信号和信息,最后通过接口模块输入到并控制电子设备。需要指出的是,每个感应单元中可以根据需要添加电源模块、无线模块(或有线模块)组合成一个更复杂的感应单元,而各个感应单元可以通过无线方式(或有线方式)将感应到的感应数据不断地报告给信号处理器。每个感应单元可以只有一个三维重力加速度传感器(或三维陀螺仪传感器),而这个传感器通过有线方式直接将感应数据报告给信号处理器。采用无线模块时,感应单元附着方式特别灵活,比较适合采用较少(如2个)感应单元的控制系统,如鼠标控制系统;采用有线模块的感应单元比较适合采用多个(如10个)感应单元的控制系统,如电子乐器模拟控制系统;当然多个有线感应单元也可以共用一个无线模块将多个手指的感应数据统一报告给控制系统处理器。所以这个系统至少由一个信号处理器、接口模块和两个感应单元组成。十只手指可以就有十个对应的感应单元,两只手指可以有两个对应的感应单元,但一只手指上也可以用多个感应单元。电子设备的接口可以包括但不限于USB、PS2、串口、WIFI、ZigBee、蓝牙、红外等接口(包括硬件接口其对应软件协议),控制系统可以根据电子设备的接口采用合适的接口标准,用于将识别出的手指动作对应的信息发送给电子设备进行进一步处理,如鼠标类控制系统识别出对应于左键按下的动作后,通过USB中HID鼠标协议将左键按下的信息告知电子设备,此时的电子设备可以是一台电脑。系统不断地识别出手指完成的动作,就可以不断地发出信息控制电子设备。感应单元附着在手指上的方式包括但不限于将传感器内置在指环、指套、手套中然后佩戴在各手指上;将传感器黏贴固定在各手指上;通过各种手段将传感单元内置在手指皮肤下;将传感器放在手指周围贴近手指的有弹性的结构上,这样手指做按下或弯曲动作时弹性物体变形,手指弹起时弹性物体自然反弹,这样也可以感应到手指的动作,也是一种佩戴方式。一般来讲,为了取得较好的感应效果,感应单元可以感应手指的指甲、指尖、各个中节指骨对应的指段,拇指的感应单元可以感应远节拇指的位置,其它手指的感应单元可以感应手指的各个中节指骨对应的位置。感应单元手指感应的位置在系统开始工作后不应该发生重大变化,否则会干扰系统对手指动作的判别,如感应单元不能在一个动作尚未完成时就从食指第一关节上方就移动到第二关节上方,或者也不能从第一关节上方移动到第一关节侧面,否则系统可能会识别失败。很显然,因为手掌手心的方向根据手腕旋转的角度而不同,手掌手心的方向可能朝向任何一个方向,所以此系统开始运作时指向了一个方向,不失一般性,假设此时是在手掌手心向下,手指自然张开静止放置的原始状态。当任一手指开始弯曲、伸直、旋转、摆动时,都会导致感应单元输出的感应向量发生变化。为了简化系统的理解和处理,此系统各个手指的感应向量中感应的方向基本一致,这一点可以通过感应单元附着的方式和位置来保证。当感应单元使用三维重力加速度传感器时,感应向量就是在某一时刻,某个三维重力加速度传感器感应到的三维加速度数据值,可以表示为一个三维感应向量Kn,Yn, Si],其中紐,Yn,,Zn分别是手指在X,Y,Z三个正交立体坐标轴上的三维重力加速度数值, η代表手指的编号。当感应单元使用三维陀螺仪传感器时,感应向量就是在某一时刻,某个三维陀螺仪传感器感应到的三维角度上的变化,可以表示为一个三维感应向量Kn,Yn, Si],其中 Xn, Yn,,Zn分别是手指在X,Y,Z三个正交立体坐标轴上的各自夹角的数值,η代表手指的编号。在原始状态下,就已经可以得到每只手指对应的基准感应向量,这个基准感应向量可以用于判别手指的运动。需要指出的是,直接佩戴在手指上的系统开始第一次识别之前需要保持基本静止,这样就可以排除手指的动作造成干扰,而只记录重力作用下对应的各个手指的基准感应向量,即手指的基准状态,这些基准感应向量是以后用于判别手指运动的重要参考依据。这之后,下文中提到的原始状态时手指可以都是静止的,也可以是不静止的,每识别出一个动作后,原始状态可能会发生变化,基准感应向量也可能对应变化。下文中提到的原始状态,在没有特别说明的情况时,都是指手掌掌心向下并指向Z轴的反方向,各手指自然弯曲的状态。根据系统的设定,从手指的动作开始到动作结束可以收集到多组数据,即多组感应向量,假设每10毫秒采集一次数据,那么在1秒的时间内每只手指可以采集到100组数据。时间越长,收集到数据越多。从多只手指的多组的感应向量和对应的时间差就可以计算出手指三维方向上的移动的方向、速度、位移和加速度,手指的旋转的方向、角度、角速度和角加速度等多种手指信息,这些信息可以用于分析和识别手指的动作。手指的角度的意思就是手指与某个轴的夹角,如某手指在X轴的角度就是这个手指与X轴正方向的夹角;需
6要指出的是,使用三维陀螺仪替代三维重力加速度传感器也能确定三维方向上的手指的角度、角速度和角加速度,可以用于分析手指的运动,但无法准确的判读三维方向上的直线位移,所以在本发明中不能替换全部的三维重力加速度传感器,如在判断手指按下和弹起的时候可以使用,判断手指直线移动的时候就无法使用。而为了阐述判别手指的可以识别的运动的方法,我们引入阀值的概念阀值是特定的手指信息的集合,可能包含但不限于手指三维方向上的移动的方向、速度、位移和加速度,手指的旋转的方向、角度、角速度和角加速度中全部或一部分信息,而用于识别不同动作的阀值可能是完全不一样的,具体阀值的选择可以根据人的习惯和统计学原理来确定。 阀值也可包含多组感应单元之间的关系。阀值可以动态改变,如快速连续按下和弹起时的阀值和慢慢按下和弹起时的阀值可以取值不一样,快速时可以较小的位移阀值即满足要求,慢的时候较大的位移阀值才满足要求,便于更灵敏和更好地检测手指的动作。阀值与感应单元的感应位置也有很大关系,如手指弯曲时指尖的角加速度就会大于近节指骨位置的角加速度。下面开始解释当此系统使用三维重力加速度传感器时,此控制系统如何识别和判断手指完成控制动作的方法。这时提到的角度通常都是手指与Z轴的夹角,但在手掌心指向的方向与重力垂直时,则大多数情况下无法计算出具体的角度,所以此时可以选用角速度做阀值的一个因子。原始状态下,当手指中只有一只手指A开始向下弯曲,此时采样到的数据会体现为在其它手指的对应的感应向量基本不变,只有手指A对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z三个方向的全部方向或一部分方向,不失一般性,假设在Z轴上反方向的加速度和角速度增加较多,从而位移和角加速度变化量较大,而且那么这个变化量比其它没动的手指在Z轴上的变化大得超过了一个阀值,可以结合基准感应向量,那么系统就可以识别手指A发生了一次在Z轴反方向上的按下动作;然后如果手指A恢复原始状态,Z轴上则正方向的位移和角速度增加较多,而且那么这个变化量比其它没动的手指在Z轴上的变化差别大得超过了一个阀值,可以结合基准感应向量,那么系统就可以识别手指A发生了一次在Z轴正方向上的弹起的动作。原始状态下,当手指中有只有部分手指开始向下弯曲,此时采样到的数据会体现为在其它手指的对应的感应向量基本不变,只有这些手指对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z三个方向的全部方向或一部分方向,不失一般性,假设在Z轴上反方向的加速度和角速度增加较多,从而位移和角加速度变化量较大, 而且这个变化量比其它手指上Z轴上变化大得超过了一个阀值,可以结合基准感应向量, 那么系统就可以识别这些手指发生了一次在Z轴反方向上的按下动作;然后如果某些手指恢复原始状态,Z轴上正方向的位移和角速度增加较多,而且这些变化量比其它手指上Z轴上变化差别大得超过了一个阀值,可以结合基准感应向量,那么系统就可以识别某些手指发生了一次在Z轴正方向上的弹起的动作。原始状态下,当手指中有全部手指开始向下弯曲,此时采样到的数据会体现为在这全部手指对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z 三个方向的全部方向或一部分方向,不失一般性,假设在Z轴上反方向的速度和角速度增加较多,从而位移和角加速度变化量很大,而且所有手指在Z轴上的变化量之差别小于一个阀值,可以结合基准感应向量,那么系统就可以识别所有手指发生了一次在Z轴反方向上的按下动作;然后如果所有手指恢复原始状态,Z轴正方向的位移和角速度增加较多,而且所有手指在Z轴上的变化量之差别差别小于一个阀值,可以结合基准感应向量,那么系统就可以识别所有手指发生了一次在Z轴正方向上的弹起的动作。原始状态下,当手指中有只有一只手指A开始向后卷曲,此时采样到的数据会体现为在手指A对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y, Z三个方向的全部方向或一部分方向,不失一般性,假设在X轴正方向的加速度增加和Z轴上角度减少,从而位移和角度变化量很大,而且这个变化量比其它手指上X轴和Z轴上变化大得超过了一个阀值,可以结合基准感应向量,那么系统就可以识别手指A发生了一次在X 方向上的弯曲动作;然后如果手指A恢复原始状态,X轴反方向的加速度增加和Z轴上角度增加较多,而且这个变化量比其它手指上X轴和Z轴上变化差别大得超过了一个阀值,并且手指信息与原始状态的手指信息的差别小于一个阀值,那么系统就可以识别手指A发生了一次在X轴方向上的恢复动作。在原始状态时一只手指A开始向前伸直,X轴反方向的加速度和Z轴上角度增加较多,从而位移和角加速度变化量很大,而且那么这个变化量比其它手指上X轴和Z轴上变化大得超过了一个阀值,可以结合基准感应向量,那么系统就可以识别手指A发生了一次在X 轴方向上的伸直动作;然后如果手指A恢复原始状态,X轴正方向的加速度增加和Z轴上角度减少较多,从而位移和角加速度变化量很大,而且那么这个变化量比其它手指上X轴和Z 轴上的变化差别大得超过了一个阀值,并且手指信息与原始状态的手指信息的差别小于一个阀值,那么系统就可以识别手指A发生了一次在X轴方向上的恢复动作。类似的,系统可以判别多只手指完成的弯曲动作、伸直动作各自对应的恢复动作。 手指完成一次弯曲和和伸直动作是有快有慢的,这个区别可以用于对应滚轮滚动的速度。 在使用三维重力加速度传感器时,手指的速度、加速度、角速度和角加速度可以对应于滚轮的速度,如速度和角加速度越快,滚轮可以滚动越快。现在开始阐述手指在上下左右前后方向上的移动动作的判别。不失一般性,当手指中有全部手指开始向左运动,此时采样到的数据会体现为在这全部手指对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z三个方向的全部方向或一部分方向,不失一般性,假设左边是指向Y轴正方向,Y轴上正方向的加速度增加较多但角速度变化不大,从而位移较大,而且所有手指在Y轴上的变化量之差别小于一个阀值,可以结合基准感应向量,那么系统就可以识别所有手指发生了在Y轴方向上的移动动作;如果全部手指向右运动,Y轴上则反方向的加速度增加较多但角速度变化不大,从而位移较大,而且所有手指在Y轴上的变化量之差别小于一个阀值,可以结合基准感应向量,那么系统就可以识别所有手指发生了在Y轴反方向上的位移动作。需要指出的是,在原始状态下确定重力加速度的方向后,在之后移动动作的计算位移的过程中要排除重力加速度的数值造成的影响。类似的,系统可以判别多只手指完成的其它一个或同时多个坐标轴上的移动,即识别多只手指完成的在三维方向上的移动动作。需要特别说明的是移动、手指的按下和弹起的动作同时被检测到,就像鼠标左键被按下时同时向右拖动时可以同时被检测到一样。 用于计算位移的加速度也可以采用这两个或多个重力加速度传感器在三维方向上的平均值,以便减小各种误差。原始状态下,当手掌开始旋转,不失一般性,重力加速度的方向是指向Z轴的反方向且大小为g,假设手掌顺时针旋转,那么手指中所有的手指开始跟随运动,此时采样到的数据会体现为在这全部手指对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z三个方向的全部方向或一部分方向,不失一般性,假设所有手指在围绕X轴顺时针旋转,各个手指的感应向量[X,Y,ζ]变化如下在0到90度范围内,Y会从零逐渐增加到g,ζ会从g逐渐减小到0 ;在90到180度范围内,Z会从零逐渐减小到-g,Y会从g 逐渐减小到0 ;在180到270度范围内,Z会从-g逐渐增加到0,Y会从0逐渐减小到-g ;在 270到360度范围内,Z会从0逐渐增加到g,Y会从_g逐渐减小到0。所有手指的变化量差别小于一个阀值,可以结合基准感应向量,那么系统就可以识别多只手指围绕X轴完成了一次正向旋转动作。类似的道理,可以分析出一次多只手指围绕X轴完成的反向旋转动作。而且根据角度的变化的数值,系统可以判定正反旋转动作的角度,如旋转了 90度或140 度。拇指与其它手指的完成反向正向捻搓和反向捻搓。重力加速度的方向是指向Z轴的反方向,在手掌合拢时,当大拇指可以与其它手指上接触,不失一般性,大拇指可以与食指接触摩擦,此时采样到的数据会体现为在这大拇指和食指对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z三个方向的全部方向或一部分方向,不失一般性,假设大拇指在Y轴上正方向的加速度增加较多,食指在X轴上正方向加速度和在Z 轴上角度减小较多,而且两只手指在在Y轴和X轴上的变化量之差别都大于一个阀值,可以结合基准感应向量,那么系统就可以识别大拇指和食指完成了一个正向捻搓动作;如大拇指在Y轴上反方向的加速度增加较多,食指在X轴上反方向加速度和在Z轴上角度增加较多,而且两只手指在在Y轴和X轴上的变化量之差别都大于一个阀值,可以结合基准感应向量,那么系统就可以识别大拇指和食指完成了一个反向捻搓动作。原始状态下,拇指与其它手指的完成双指反向和双指相向运动,不失一般性,大拇指可以与食指完成这个动作。当大拇指与食指反向而行,此时采样到的数据会体现为在这大拇指对应的感应向量中三维方向上某些方向的持续的变化,某些方向的是指X,Y,Z三个方向的全部方向或一部分方向,不失一般性,假设大拇指在Y轴上反方向的加速度和增加较多,食指在Y轴上正方向加速度和Z轴上的角度增加较多,而且两只手指在在Y轴的运动方向相反,可以结合基准感应向量,如果这个动作满足系统设定的阀值,那么系统就可以识别大拇指和食指完成了一次在Y轴方向上的反向的动作;如大拇指在Y轴上正方向的加速度增加较多,食指在Y轴上反方向加速度和Z轴上的上角度减小较多,而且两只手指在在Y 轴的运动方向相反,可以结合基准感应向量,如果这个动作满足系统设定的阀值,那么系统就可以识别大拇指和食指完成了一次在Y轴方向上的相向的动作。每次在Y轴方向的反向运动可以被电子设备解释为对现有显示内容的放大,每次在Y轴方向的相向运动可以被电子设备解释为对现有显示内容的缩小,类似与触摸屏上使用两只手指完成的放大和缩小功能。根据之前对本系统的介绍,本系统可以得手指在各方向上的位移,如在X,Y轴的各方向的位移可以确定在X,Y轴确定的平面上的运动轨迹,所以本控制系统还可以实现写字功能,写字功能的实现需要识别几个关键动作如何判别进入写字模式;笔(就是手指,为了便于理解称其为笔,下同)在平面上位移的距离;落笔和抬笔的检测。下面阐述此系统识别这几个动作的方法从原始状态进入写字(键盘)模式的动作可以做出如图的动作食指做伸直动作, 中指反向进行了深度弯曲动作,不失一般性,中指的感应向量与食指的感应向量相比,在X 轴方向的加速度发生了翻转,在Z轴上的角度发生了较大变化,可以结合基准感应向量,可以得知中指反向进行了深度弯曲动作,食指进行了伸直动作,在保持此姿势并静止一段合适的时间后,即完成了写字动作并可以进入了写字模式。不失一般性,假设此时写字平面为X和Y轴确定的平面,此时食指在平面上落笔动作会体现为Z轴上反方向加速度变化由一个较大的值变为零,抬笔表现为Z轴的正方向加速度从零开始增加且大于一个阀值再变为零。再结合基准感应向量,食指在X和Y轴上位移的形成的轨迹可以通过不同时刻X和Y轴上的位移量确定。用户可以在写字状态下用食指进行书写,书写一个字符后就可以停顿一下,而此时控制系统就可以对食指形成的轨迹进行文字识别,识别成功后直接形成键盘的扫描码通过键盘接口报告给电子设备,这样就可以输入识别出的对应的英文、法语等单字节编码数据,如用户写了一个“A”字后,控制系统就通过标准键盘接口输出对应键盘上“A”的扫描码,书写了“f”后就输出“f”的扫描码。因为现有键盘无法支持直接输出汉字、日语等多字节编码数据,所以可以通过自定义的协议USB HID接口协议报告识别出的汉字、日语等对应的复杂的多字节编码供电子设备处理。当用户想退出写字状态,只需将食指和中指恢复原始状态并保持静止一会即可, 然后就可以转入鼠标模式等工作状态。可以看到,各工作模式之间的转换简单且灵活。这种键盘可以完成少量的文字输入工作,特别适合用于上网时对浏览器网址和搜索关键字输入的操作,使用户在这时候不需要随身携带大尺寸键盘或虚拟的触摸屏键盘, 特别适合在大屏电视、手持设备上使用。用户可以非常方便地在键盘和鼠标功能之间切换 手指进入写字动作既可认为是进入键盘模式,此时此控制系统是作为一个键盘控制电子设备,手指退出写字动作既可以认为进入鼠标模式,此时此控制系统是作为一个鼠标控制电子设备。因为USB协议支持键盘和鼠标的复合设备,所以此复合的控制系统只需要一个接口即可。除了手指在直线方向上运动的情形,以上判别手指运动的方法也可以使用三维陀螺仪来做到,即感应单元中用三维陀螺仪替换三维重力加速度传感器,因为陀螺仪也可以准确的得到手指弯曲的角度,通过分析各手指在三维方向上角度变化和之间的差别,也可以判别各手指的按下、弹起、弯曲、伸直、恢复、捻搓、旋转动作,但此时只使用旋转方向、角度、角速度、角加速度作为阀值的组成部分。这样也可以避免使用任何机械开关、按键和滚轮。不失一般性,假设原始状态时手掌掌心朝向Z轴的反方向,手指自然弯曲静止,手掌到小臂的延长线与X轴重合(且X轴的正方向指向小臂这一端),然后记录此时基准感应向量,这时原始状态下,如果手指A向下轻度弯曲,对应的陀螺仪会报告在X轴上角度持续变大,Z轴上的角度持续变小,如果这个角度变化较小且小于一个阀值,并且与其它手指的角度变化差异相比大于一个预定的阀值,系统可以识别手指A发生了一次按下动作;原始状态下,如果手指A向上弹起,对应的陀螺仪会报告在X轴上角度持续变小,Z轴上的角度持续变大,如果这个角度变化较小且小于一个阀值,并且与其它手指的角度变化差异相比大于一个预定的阀值,系统可以识别手指A发生了一次弹起动作;原始状态下,如果手指A向后弯曲,对应的陀螺仪会报告在X轴上角度持续变大, Z轴上的角度持续变小,如果这个角度变化较大且大于一个阀值,并且与其它手指的角度变化差异相比大于一个预定的阀值,系统可以识别手指A发生了一次弯曲动作;如果手指A恢复到原始状态,对应的陀螺仪会报告在X轴上角度持续变小,Z轴上的角度持续变大后恢复与基准感应向量的差别小于一个阀值,这么系统可以识别手指A发生了一次恢复动作;原始状态下,如果手指A伸直,对应的陀螺仪会报告在X轴上角度持续变小,Z轴上的角度持续变大,如果这个角度变化较大且大于一个阀值,并且与其它手指的角度变化差异相比大于一个预定的阀值,系统可以识别手指A发生了一次伸直动作;如果手指A恢复到原始状态,对应的陀螺仪会报告在X轴上角度持续变大,Z轴上的角度持续变小后恢复与基准感应向量的差别小于一个阀值,并且与其它手指的角度变化差异相比大于一个预定的阀值,这么系统可以识别手指A发生了一次恢复动作;在使用三维陀螺仪时,手指的角速度和角加速度可以对应于滚轮的速度,如角加速度越快,滚轮可以滚动越快;角加速度越慢,滚轮可以滚动越慢;原始状态下,如果手指A和拇指正向捻搓,手指A对应的陀螺仪会报告在X轴上角度持续变大,Z轴上的角度持续变小,拇指对应的陀螺仪会报告在Y轴上角度持续变大,如果这些角度变化差异大于一个阀值且方向垂直,系统可以识别手指A和拇指完成了一次正向捻搓动作;原始状态下,如果手指A和拇指反向捻搓,手指A对应的陀螺仪会报告在X轴上角度持续变小,Z轴上的角度持续变大,拇指对应的陀螺仪会报告在Y轴上角度持续变小如果这些角度变化差异大于一个阀值且方向垂直,系统可以识别手指A和拇指完成了一次反向捻搓动作;原始状态下,如果手指A和手指B同时围绕X轴顺时针旋转,手指A对应的陀螺仪会报告在Y,Z轴上角度持续变化,而且与手指B之间角度变化差异小于一个阀值,系统可以识别手指A和手指B完成了围绕X轴上的正向旋转动作和角度;原始状态下,如果手指A和手指B同时围绕X轴逆时针旋转,手指A对应的陀螺仪会报告在Y,Z轴上角度持续变化,而且与手指B之间角度变化差异小于一个阀值,系统可以识别手指A和手指B完成了围绕X轴上的反向向旋转动作和角度。在使用陀螺仪时也可以增加一个三维重力加速度传感器来得到手指在直线方向上运动的数据,来判别手指的动作。如一个系统有两个感应单元,两个感应单元中都含有三维陀螺仪传感器,在其中一个感应单元中再添加一个重力加速度传感器,这样系统就可以识别包含手指三维直线位移运动在内的动作,两个陀螺仪加一个重力加速度传感器即可以识别包括手指在直线方向上运动在内的各种动作。本系统的分析方法使用多只手指的同时间段的感应向量进行分析和比较,特别注重分析和比较一只手指是否相对其它手指的动作变化是否超过一个阀值,这是分析和判断手指运动的重要方法之一。如在食指在做按下动作时,有可能会带动中指也微微向下运动, 但只要两个手指的向下的手指信息相差很多(如位移量相差很多),那么即使两只手指都向下运动了,系统还是能准确判断出这是只有食指做出了按下的动作。
11
针对以上可以识别的动作,根据具体感应向量,可以判别动作完成的不同的速度、 位移的距离等手指信息,如握紧拳头造成的弯曲和一般弯曲是不一样的;如手指的按下动作有块有慢。采用更多级别的不同的阀值也可以用于识别更细微的动作,如手指按下可以包括轻按和重按多种级别对应如弹钢琴时按键的力度;手指的弯曲根据加速度和角加速度的值分为12级,这种级别的区分是控制系统更加好用和适用的重要方法。另外系统每成功识别出一个动作时可以通过声、光、振动等反馈给用户,虽然这不是此系统必须需要的。需要特别指出的是这个系统识别出的手指的按下和弹起的动作可以对应于机械开关或机械按键的按下和弹起,可以让这个系统不使用任何机械开关或按键。如这个系统可以使用动作来开机和关机,而不需要电源键;这个系统可以使用动作来代表鼠标上的左键,就不需要一个机械的按键来实现左键。这个控制系统就可以完全不使用任何易损坏的机械开关的元器件,大大延长控制系统的寿命。更明确地说,这个系统识别出的手指的动作和动作组合可以对应于控制设备和电子设备的各种机械元器件的功能,动作组合是指系统可以识别的动作的组合(如一次按下动作和一次弹起动作就是一个动作组合)。如手指的旋转代表音量键的旋转,手指的弯曲代表鼠标滚轮的滚动,这样控制系统或电子设备就可以不需要使用机械式元器件或降低机械式元器件的使用频率,大大降低控制系统和电子设备的故障率,这个优点是其它原理的控制设备所不具有的重大优点。这个系统可以是一个具有完整鼠标功能的三维鼠标,任意挑选三个手指,不失一般性,如右手的食指、中指、无名指。可以使用三个感应单元分别收集这三个手指的动作, 食指、中指、无名指的按下和弹起分别对应鼠标的左键、中键、右键的按下和弹起;食指单独 (或中指、或无名指)弯曲动作和伸直动作分别对应滚轮向下滚动和向上滚动的功能;食指、中指、无名指手指同时在三维方向上的移动动作对应鼠标的三维方向上的移动功能。若不需要鼠标中键的功能,任意挑选两个手指,不失一般性,如食指、中指。可以使用两个感应单元分别收集这两个手指的动作,食指、中指的按下和弹起分别对应鼠标的左键、右键的按下和弹起;食指(或中指)单独弯曲动作和伸直动作分别对应滚轮向下滚动和向上滚动的功能;食指、中指同时在三维方向上的移动动作对应鼠标的三维方向上的移动功能。需要特别说明的是,具体哪只手指对应哪个鼠标按键功能,完全由用户的喜好和需要决定,换句话说,食指也可以对应右键,大拇指也可以对应左键。同一个动作可以翻译成不同的电子设备可以识别的信号,不同的动作也可以翻译成同一的电子设备可以识别的信号,如食指和中指同时按下可以认为是鼠标只有右键的按下,也可以认为是鼠标左键和右键同时按下。这个控制系统检测到的动作和动作组合可以对应直观地控制电子设备的人机界面。这个系统使用无线方式与电子设备相连时可以作电子设备的有以下功能的遥控器。这个的遥控器的可以使用的识别的动作包含但不限于一只或多只手指的在三维方向上按下和弹起的动作;一只或多只手指在三维方向上的弯曲、恢复和伸直的动作;多只手指在三维方向上的移动动作;多只手指完成的在三维方向上的正向旋转和其相应的角度、反向旋转动作和其相应的角度;大拇指和其它手指完成的在三维方向上的正向捻搓和反向捻搓动作;大拇指和其它手指完成的在三维方向上的双指反向运动和双指相向动作;中指和食指完成完成的在三维方向上的写字动作、落笔动作、抬笔动作。这些功能可以根据需要对应于常用的电子设别的遥控器,手指顺时针旋转代表放大音量;类似的,一个手指按下时控制设备各方向的位移可以控制电子设备的显示内容向上、向左、向右滚动,实现直观而简洁。当电子设备是是电视时,也可以控制控制电视上一个频道、下一个频道、音量减少、音量增大、 静音、放音、关闭电源、打开电源等。现有的遥控器大多采用红外通信方式,成熟而可靠,但不适合鼠标、游戏棒等运动范围、角度大的情形,因为其红外光线方向性太强,而RF无线接口就不受方向和角度的影响,具有全向的特点,所以现在的鼠标等电子设备开始大量使用无线RF接口。当一个用户家中同时有很多RF无线接口(如2.4G频段)的设备,如一个房间同时存在2台电脑、1台电视机、一个游戏机,只要在工作范围内(如10米),这些设备都可以与用户手指上的一套无线控制系统进行连接并受控,那么就会引起一个问题用户的动作到底是用于控制那个设备。很显然用户的控制的设备切换需要简单而明确。这里提出一个可行的切换设备的指向初始遥控方式控制系统上加入指向性很强的无线通信模块,如红外模块,当这个控制系统的红外模块向电子设备的红外模块发射建立RF连接的必要信息, 电子设备收到后就开始按这些信息通过RF接口尝试连接控制系统,连接成功后,控制系统开始使用RF接口控制电子设备。这样就可以自动地、简单地完成RF设备的切换。举例来讲,用户先做一个可识别的动作(如双指同时伸直再弯曲),控制系统识别这个动作后就知道需要进行新一次设备连接,控制系统先通过红外接口模块向电视的红外接口发送信息, 然后电视使用接收到的信息与控制系统建立RF连接成功后,用户然后通过指定动作将电视放音;用户此时又想关闭电脑,只需用手指向电脑,红外和RF依次连接建立后就可以控制电脑,此时控制系统与电视断开连接。这样,不但一个控制系统容易地切换受控设备,即使家里有多人有多个同样的控制系统也可以做到简单的切换受控设备。可以容易地想到,这个系统可以通过对多个手指的数据进行组合分析,可以检测和识别这些手指的进行或完成的更复杂的动作,包括但不限于手指之间相碰撞、捻搓、旋转、分开动作。因为手指的可完成的动作千变万化,无法枚举,所以本发明无法枚举可以识别出的所有动作,而只能说此系统可以识别的动作或其组合是非常多的,而从原理上来讲可以说可以识别所有手指完成的动作。而根据需要识别的动作的多少和精度,根据不同的需要,可以选择只有两个感应单元的情形,也有选择更多感应单元的情形,选择的感应单元越多,可以识别出的动作也就越多和越精确,这一点由用户自由根据场景和需要决定。如在使用此系统来玩游戏时,可以选择十个手指都配有感应单元,这样手指就可以做出手枪的形状,食指的每次弯曲就可以是扣动一次枪的扳机,手指全部张开表示将手枪放弃;手指空握表示换成手榴弹,进而手指再次张开和投掷表示将手榴弹透出,而且可以判别投掷的方向、角度、速度等信息,配合游戏机,可以完成一种互动优良且很有趣的游戏。当然此控制系统也可以用于远程操控,如控制远程手术、远程操作机器等。这个系统可以用于模拟电子乐器的弹奏,如电钢琴,手指的动作直接对应如那只琴键被按下、琴键按下和弹起的时间、用力的大小都可以由这个系统捕捉和记录,然后可以将这些动作按照一定的算法产生相应的 MIDI音乐格式文件,这样就可以通过这个系统模拟和记录乐器的弹奏。如使用此系统来做鼠标时,可以只使用两个感应单元而不使用另外8个感应单元,这样只需要两只手指就可以完成普通鼠标具有的功能。这个系统的扩展性是非常强的,使用同样的原理,可以将人的躯体遍布感应单元,这样就可以感知人的躯体的各种动作。
根据能量转换原理,手指和手掌在各种运动的时刻会有大量的动能可以转换为电能,这样在这个系统就可以将手指运动时的动能转换为电力对系统进行充电,从而减低此设备进行充电的次数,甚至不需要通过外部设备进行充电。这点功能的好处非常明显通过运动不但完成了控制过程,还同时完成了充电。现在已经研发出MEMS微发电机体积非常微小,可以与超级电容结合在一起,当用户每次做移动、摇动手指等动作时即可以不断地向超级电容中进行中充电,然后超级电容可以作为电源给本系统的模块进行充电,这种充电功能特别适合附着在手指上的使用电池的无线感应模块。为了降低控制设备的电源消耗,这个系统可以在检测到手上的脉搏后才进入正常运行状态,而没有检测到脉搏时则进入休眠状态以节省系统的电力。也可以在做了达到某种阀值的某种动作后,此系统才能从睡眠状态中激活而进入激活工作状态,否则一直休眠以节省系统的电力,当然可以通过完成一个指定的动作或组合动作让此控制系统进入休眠状态,另一个动作再恢复工作状态,这两个动作可以相同或不同。如当计算机的用户想用一般键盘进行文字录入工作时,而不想佩戴在手指上控制系统干扰他的工作,此时他可以旋转手腕到90度,然后再旋转恢复到原始状态,此时就可以将控制系统休眠;用户再次旋转手腕到90度,然后再旋转恢复到原始状态,此时就可以将控制系统激活到工作状态。终上所述,此系统通过识别手指的动作,并将动作翻译成的电子设备可以接受的信息来控制电子设备。这是一种不受空间限制、低功耗、便于携带、便于学习和使用、同时适合多种电子设备和灵活配置的下一代控制系统和方法。


以下是本发明的各种附图。图1是本控制系统结构示意图。图中1.电子设备,2.控制系统,3.信号处理器, 4.接口模块,100.多个感应单元。图2是控制系统中一只手指在Z轴方向上按下动作的示意图。图中,3.食指,4.中指,6.食指感应单元,7.中指感应单元,31.动作结束后位置的食指,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指移动方向。图3是控制系统中一只手指在Z轴方向上弹起动作的示意图。图中,3.食指,4.中指,6.食指感应单元,7.中指感应单元,31.动作结束后位置的食指,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指移动方向。图4是控制系统中一只在X轴方向上手指弯曲动作并恢复动作的示意图。图中, 3.食指,4.中指,6.食指感应单元,7.中指感应单元,31.弯曲动作结束后位置的食指,11. X 坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指移动方向。图5是控制系统中一只在X轴方向上手指伸直动作的示意图。图中,3.食指,4.中指,6.食指感应单元,7.中指感应单元,31.动作结束后位置的食指,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指移动方向。图6是控制系统中在X轴方向上全部手指移动的示意图。图中,3.食指,4.中指, 6.食指感应单元,7.中指感应单元,31.动作结束后位置的食指,41.动作结束后位置的中指,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指和中指移动的方向。图7是控制系统中所有手指在围绕Y轴手指旋转动作的示意图。图中,3.食指,4.中指,6.食指感应单元,7.中指感应单元,9.右手掌,31.动作结束后位置的食指,41.动作结束后位置的中指,91.动作结束后位置的右手掌,14.右手掌的变化。图8是控制系统中拇指和食指反向捻搓运动的示意图。图中,3.食指,5.拇指, 6.食指感应单元,8.拇指感应单元,31.动作结束后位置的食指,51.动作结束后位置的拇指,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指移动方向,15.拇指移动方向。图9是控制系统在X轴上中拇指和食指双指相向运动的示意图。图中,3.食指,
5.拇指,6.食指感应单元,8.拇指感应单元,31.动作结束后位置的食指,51.动作结束后位置的拇指,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,14.食指移动方向,15.拇指移动方向。图10是控制系统通过写字动作的写字示意图。图中,3.食指,4.中指,6.食指感应单元,7.中指感应单元,11. X坐标轴,12. Y坐标轴,13. Z坐标轴,20.食指移动的轨迹。图11是控制系统作为一种鼠标的示意图。图中,3.食指,4.中指,6.食指感应单元,7.中指感应单元,9.右手掌,300.鼠标,303.食指指洞装置,304.中指指洞装置,301. 信号处理器,302.无线接口模块,305.电源模块。图12是控制系统作为模拟钢琴的示意图。图中,3.左手食指,10.多个感应单元, 100.左手,101.右手。图13是控制系统作为电视机遥控器的示意图。图中,5.拇指,6.食指感应单元, 8.拇指感应单元,101.右手,200.电视机,301.信号处理器,302.无线接口模块。图14是手指与三轴之间夹角的示意图。图中,3.食指,6.食指感应单元,11.X坐标轴,12. Y坐标轴,13. Z坐标轴,500.食指所在的直线,501.食指与X轴的夹角,502.食指与Y轴的夹角,503.食指与Z轴的夹角。
具体实施例方式以下是第1个实施例。参见图1,控制系统(2)由多个感应单元(100)、接口模块 G)、信号处理器C3)组成。信号处理器C3)和多个感应单元(100)之间可以通过有线或无线方式连接,信号处理器C3)分析和比较多个感应单元(100)报告的感应向量后,通过接口模块⑷向电子设备⑴输入可以识别的电子信息,用于控制电子设备(1)。接口模块和电子设备(1)之间可以通过有线或无线方式连接。先说明下面的实施例所涉及的一些概念。各手指感应单元分别得到的多组感应向量,可以分别表示为[Xan,Yan, Zan],[Xbn, Ybn, Zbn],[Xcn, Yen, Zcn]等,η 是非负整数, a, b,c等是手指的编号,X,Y,Z范围是整数(数值的符号代表方向)。不失一般性,假设原始状态时手掌掌心朝向Z轴的反方向,手指自然弯曲静止,手掌到小臂的延长线与X轴重合 (且X轴的正方向指向小臂这一端),然后记录此时基准感应向量,这时右手中的食指、中指和大拇指的基准感应向量分别是[XaO, YaO, ZaO],[XbO, YbO, ZbO],[XcO, YcO, ZcO]。手指与三轴之间的夹角就是感应单元与所感应位置的手指指骨确定的直线与在三轴两两确定的三个平面上投影之间的夹角。图14是手指与三轴之间夹角的示意图,感应单元(6)附着在所感应位置的食指(3)的中节指骨的位置,不失一般性,食指C3)正好处在三维坐标系中X轴(11)和Z轴(13)确定的平面中,食指指向坐标系的原点,这样就确定了食指⑶所在的直线(500),那么食指(3)与X坐标轴(11)之间的夹角是食指与X轴的夹角(501),那么食指(3)与Y坐标轴(12)之间的夹角是食指与Y轴的夹角(502),那么食指(3)与Z坐标轴(13)之间的夹角是食指与Z轴的夹角(503),每个夹角增大方向就是夹角弧线的箭头指向的方向。在以下的实施例中,其它手指的角度也是如此计算。而且在以下的实施例中的指环式感应单元都含有独立的电源模块,所有感应单元都通过无线方式与信号处理器相连接,信号处理器最终通过无线接口模块与电子设备相连接。以下是第2个实施例,这个实施例简要描述了控制系统如何识别一只手指按下的动作。参见图2,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13)的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是都使用三维重力加速度传感器的食指( 上的食指感应单元(6)和中指上的中指感应单元(7)。原始状态下,食指(3)按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31),而中指(4)没有变化,运动共持续了 1秒钟,这样共可以得到食指C3)和中指(4)对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指(3)在Z轴(13)反方向上位移为1厘米,食指⑶在X轴(11)正方向上位移为0.3厘米,食指(3)在Y轴(12)方向上位移差为0.1 厘米,食指C3)在Z轴上的角度减小5度,这个动作满足系统设定的阀值条件食指(3)和中指⑷在Z轴(13)方向上平均加速度值差别过大,食指(3)和中指⑷在X轴(11)和 Y轴(1 方向上平均加速度值相差较小,且食指C3)在Z轴(1 上的角度减小,通过食指 (3)的10个感应向量计算出的Z轴上(1 累积位移值在不断增加(没有发生先增后减的情形),角度都在不断减小(没有发生先减后增的情形),那么系统就可以识别食指(3)完成了在Z轴(13)上的按下动作。以下是第3个实施例,这个实施例简要描述了控制系统如何识别一只手指弹起的动作,参见图3,其中X坐标轴(11)、Y坐标轴(1 、Z坐标轴(1 是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13)的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是都使用三维重力加速度传感器的食指感应单元(6)和中指感应单元(7)。原始状态下,食指C3)按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31),而中指(4)没有太大变化,运动共持续了 1秒钟,这样共可以得到食指C3)和中指(4)对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指⑶在Z轴(13)正方向上位移1厘米,食指⑶在X轴(11)反方向上位移为0.3厘米,食指⑶在Y轴(12)方向上位移差为0.1厘米,食指⑶在Z轴上的角度增加5度,这个动作满足系统设定的阀值条件食指C3)和中指(4)在Z轴(13) 方向上平均加速度值相差过大,食指C3)和中指(4)在X轴(1 和Y轴(1 方向上平均加速度值相差较小,且食指C3)在Z轴(1 上的角度增加,通过食指(3)的10个感应向量计算出的Z轴上(1 累积位移值和角度都在不断增加(没有发生先增后减的情形),那么系统就可以识别食指(3)完成了在Z轴(13)上的弹起动作。以下是第4个实施例,这个实施例简要描述了控制系统如何识别一只手指弯曲后然后恢复的动作。参见图4,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13)的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是都使用三维重力加速度传感器的食指感应单元(6)和中指感应单元(7)。原始状态下,食指C3)按箭头(14)指示的方向上运动,就会有虚线画出的弯曲动作结束后位置的食指(31),而中指(4)没有太大变化,运动共持续了 1秒钟,这样共可以得到食指C3)和中指(4)对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指(3)在X轴(11)正方向上位移1.5厘米,食指
(3)在Z轴(13)反方向上位移为0.3厘米,食指(3)在Y轴(12)方向上位移差为0.1厘米,食指⑶在Z轴上的角度减小30度,这个动作满足系统设定的阀值条件食指(3)和中指⑷在X轴(11)正方向平均加速度值相差较大,食指⑶和中指⑷在Y轴(12)方向上平均加速度值相差很小,且食指C3)在Z轴(1 上的角度减小很多,通过食指(3)的10 个感应向量计算出的X轴正方向上(11)累积位移值在不断增加(没有发生先增后减的情形),Z轴(1 上角度都在不断减小(没有发生先减后增的情形),那么系统就可以识别食指(3)完成了在X轴(11)上的弯曲动作。然后弯曲动作结束后位置的食指(31)按箭头(14)指示的相反方向运动,而中指
(4)没有太大变化,运动共持续了1秒钟,这样共可以得到食指C3)和中指(4)对应的各10 组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指⑶在X轴(11)反方向上位移1.5厘米,食指(3)在Z轴(13)正方向上位移为 0.3厘米,食指C3)和弯曲动作结束后位置的食指(31)在Y轴(1 方向上位移差为0. 1厘米,食指C3)在Z轴上的角度增加观度,这个动作满足系统设定的阀值条件食指C3)和中指(4)在X轴(11)反方向上平均加速度值相差较大,食指C3)和中指(4)在Y轴(12)方向上平均加速度值相差很小,且食指C3)在Z轴(1 上的角度增加很多,通过食指(3)的 10个感应向量计算出的X轴反方向上(11)累积位移值在不断增加(没有发生先增后减的情形),Z轴(13)上角度都在不断增加(没有发生先增后减的情形),并且手指信息与原始状态对应的手指信息的差别很小,那么系统就可以识别食指⑶完成了在X轴(11)上的恢复动作。以下是第5个实施例,这个实施例简要描述了控制系统如何识别一只手指伸直的动作。参见图5,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13)的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是都使用三维重力加速度传感器的的食指感应单元(6)和中指感应单元(7)。 原始状态下,食指(3)按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31),而中指(4)没有太大变化,运动共持续了 1秒钟,这样共可以得到食指(3)和中指(4)对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指⑶在X轴(11)反方向上位移1.2厘米,食指⑶在Z轴(13) 正方向上位移为0.3厘米,食指(3)和动作结束后位置的食指(31)在Y轴(12)方向上位移差为0. 1厘米,食指C3)在Z轴(1 上的角度增加30度,这个动作满足系统设定的阀值条件食指C3)和中指(4)在X轴(11)反方向上平均加速度值相差较大,食指C3)和中指 (4)在Y轴(1 方向上平均加速度值相差较小,且食指C3)在Z轴(1 上的角度增加很多,通过食指C3)的10个感应向量计算出的X轴(11)反方向上累积位移值在不断增加(没有发生先增后减的情形),z轴(1 上角度都在不断增加(没有发生先增后减的情形),那么系统就可以识别食指(3)完成了在X轴(11)上的伸直动作。以下是第6个实施例,这个实施例简要描述了控制系统如何识别全部手指移动的动作。参见图6,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13)的反方向。不失一般性,假设每10毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是都使用三维重力加速度传感器的食指感应单元(6)和中指感应单元(7)。原始状态下,食指(3)和中指(4)按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31)和动作结束后位置的中指(41),运动共持续了 30毫秒,这样共可以得到食指C3)和中指(4)对应的各3组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在30豪秒的时间内,食指C3)和中指(4)在三轴方向上加速度值差值很小,两手指在即X轴(11)上加速度之差、Y轴(12)加速度之差、Z轴(13)加速度之差都很小,且两只手指都在X轴(11)正方向上位移了 0. 05厘米,这个动作满足系统设定的阀值条件食指( 和中指(4)在三轴方向上加速度值相差一直都很小,食指( 和中指(3)在 X轴(11)正方向上同时移动距离大于零且之差很小,那么系统就可以识别出食指⑶和中指(4)共同完成了在X轴(11)正方向上的移动动作。以下是第7个实施例,这个实施例简要描述了控制系统如何识别全部旋转的动作。参见图7,X坐标轴、Y坐标轴、Z坐标轴是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴的反方向。不失一般性,假设每100 毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是食指C3)上的食指感应单元(6)和中指⑷上的中指感应单元(7),它们都使用三维重力加速度传感器。 原始状态下右手掌掌心方向指向Z轴的反方向,然后右手掌(9)围绕Y轴顺时针做旋转运动,经过右手掌的变化(14)后共旋转了 140度,就会有动作结束后位置的右手掌(91),相应的就有动作结束后位置的食指(31)、动作结束后位置的中指(41),这里的两只手掌之间的距离不表示运动产生的位移。运动共持续了 1秒钟,这样共可以得到食指C3)和中指
对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在 1秒的时间内,食指C3)和中指(4)在Y轴方向的加速度保持不变,食指C3)和中指(4)在 X轴的加速度经过了从零增加到g然后变小、Z轴方向上加速度值从g到零然后变为负值减小(但绝对值增大),那么系统就可以识别食指C3)和中指(4)在围绕Y轴上的顺时针旋转动作。以下是第8个实施例,这个实施例简要描述了控制系统如何识别两只手指完成的反向捻搓动作。参见图8,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13) 的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是食指( 上的食指感应单元(6)和拇指( 上的拇指感应单元(8),它们都使用三维重力加速度传感器。原始状态下食指( 指肚和拇指( 指肚贴在一起。食指⑶按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31),而拇指(5)按箭头(15)指示的方向上运动就会有虚线画出的动作结束后位置的拇指(51), 运动共持续了 1秒钟,这样共可以得到食指C3)和拇指( 对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指C3)在X轴
(11)反方向上位移1厘米,拇指⑶在Y轴(11)反方向上位移为1厘米,食指⑶在Z轴 (13)角度增加了 10度,这个动作满足系统设定的阀值条件食指C3)和中指(4)在相互垂直的方向上平均加速度值都很大,且食指C3)在Z轴(1 上的角度增加,通过食指(3)的 10个感应向量计算出的Z轴上(1 角度都在不断增加(没有发生先增后减的情形),那么系统就可以识别食指C3)和拇指( 共同完成了一次在X轴(11)和Y轴(1 确定的平面上的反向捻搓动作。以下是第9个实施例,这个实施例简要描述了控制系统如何识别两只手指完成的双指相向动作。参见图9,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴 (13)的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是食指( 上的食指感应单元(6)和拇指( 上的拇指感应单元 (8),它们都使用三维重力加速度传感器。食指C3)按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31),而拇指(5)按箭头(15)指示的方向上运动就会有虚线画出的动作结束后位置的拇指(51),最后食指(3)指肚和拇指(5)指肚可以贴在一起。 运动共持续了 1秒钟,这样共可以得到食指C3)和拇指( 对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指⑶在X轴 (13)正方向上位移2厘米,拇指(5)在X轴(11)反方向上位移为2厘米,食指⑶在Z轴 (13)角度减小了 10度,这个动作满足系统设定的阀值条件食指C3)和拇指( 相向方向上平均加速度值都很大,运动方向正好相反,且食指C3)在Z轴(1 上的角度减小,通过食指(3)的10个感应向量计算出的X轴上(11)正方向位移都在不断增加(没有发生先增后减的情形),通过拇指(5)的10个感应向量计算出的X轴上(11)反方向位移都在不断增加 (没有发生先增后减的情形),那么系统就可以识别食指C3)和拇指( 共同完成了一次在 X轴(11)上的双指相向动作。当电子系统收到双指相向的动作对应的信息后,可以将显示器上的现有显示内容的照片进行放大后再显示。以下是第10个实施例,这个实施例简要描述了控制系统如何使用写字动作完成键盘的功能。参见图10,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13)是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(13) 的反方向。不失一般性,假设每10毫秒系统接收感应单元的感应向量一次,此系统配有两个感应单元是食指(3)上的食指感应单元(6)和中指(4)上的中指感应单元(7),它们都使用三维重力加速度传感器。这个书写轨迹的辨别与使用鼠标写字基本相同,但更自然地体现手写体的不同特点。在原始状态下,当食指(3)和中指(4)分别完成伸直动作和深度弯曲动作后停止1秒就进入了写字状态并确定了原点,食指(3)和中指(4)在Z轴(13)反方向同时上检测到加速度变大然后变为零,就知道已经落笔,食指⑶按轨迹00)进行运动,在1秒内完成了全部轨迹,这样共可以得到食指C3)和中指(4)对应的各100组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内食指C3)在X轴(11)和Y轴
(12)上的相对于原点的100个坐标值。然后食指(3)和中指⑷在Z轴(13)正方向同时上检测到加速度变大然后变为零,就知道已经提笔,连续停顿500毫秒后,可以认为一次书写已经结束,这时信号处理器就可以根据这100各坐标值和Z轴(1 方向上检测到的落笔和抬笔动作,就可以分析出轨迹00)是由几个曲线组成(一个或多个),然后进行文字识另|J。不失一般性,假设轨迹00)是一个大写的“b”英文字母,那么信号处理器就可以在识别出“b”后,通过接口输出对应的扫描码16进制数值0x3062。这样就实现了使用写字动作进行键盘输入的功能。以下是第11个实施例,是控制系统作为鼠标的一种情形。参见图11,这是使用本发明原理的且符合大多数用户现有习惯的鼠标。此鼠标(300)上面拱起适和手掌自然贴近,虚线画出的右手掌(9)自然放在鼠标上方,鼠标(300)两个感应单元分别是食指感应单元(6)和中指感应单元(7),它们都使用三维重力加速度传感器,分别放置在食指指洞装置(303)和中指指洞装置(304)处,并通过有线方式的SPI接口与信号处理器(301)连接。 食指指洞装置(303)和中指指洞装置(304)可以使用具有很好弹性的物质制作(如硅胶), 食指( 和食指的指尖部分分别放入食指指洞装置(30 和中指指洞装置(304)中, 这样当食指( 和中指(4)可以在做各种动作时可以带动食指指洞装置(30 和中指指洞装置(304)跟随运动,这样就达到了感应手指的目的。而鼠标(300)下面部分与桌面直接接触,上面部分安放着信号处理器(301)、无线接口模块(30 和电源模块(305)。当手指作出不同的可识别的动作时,鼠标(300)就通过无线接口模块(302)输出对应的信息,动作与信息的对应关系是食指(3)按下动作对应鼠标(300)左键按下;食指(3)弹起动作对应鼠标(300)左键弹起;中指按下动作对应鼠标(300)右键按下;中指弹起动作对应鼠标(300)右键弹起;食指(3)弯曲动作对应鼠标(300)滚轮向下滚动;食指(3)伸直动作对应鼠标(300)滚轮向上滚动;食指( 和中指(4)在桌面上的前后左右运动对应鼠标(300)的前后左右运动。这样就实现了一个符合大多数用户现有习惯的鼠标,便于用户使用。以下是第12个实施例,是控制系统作为模拟钢琴的一种情形。参见图12,多个感应单元(10)配戴在左手(100)和右手(101)的全部手指上,它们都使用三维重力加速度传感器。原始状态先保持静止,此时即可确定一个原点,不失一般性,假设左手食指C3)就是原点,且对应于标准钢琴键盘的琴键“中央C”的中间,因为每个琴键的长度和宽度是标准已知的,食指C3)做出按下、弹起、弯曲、伸直、移动的动作时,这些感应单元就可以感应到食指(3)的动作和力度的大小,食指(3)的按下就表示琴键“中央C”被按下,食指(3)的弹起就表示琴键“中央C”弹起。因为手掌可以移动,所以每个手指对应的琴键也会随之发生变化,系统可以根据位移的距离算出对应的琴键。就可以这样左手(100)和右手(101)可以在一个虚拟的钢琴上进行弹奏,弹奏的内容可以保存到MIDI格式(Musical Instrument Digital Interface)的文件中用于回放等目的。以下是第13个实施例,是控制系统作为电视机的遥控器的一种情形。参见图13, 电视机(200)对着用户,用户的右手(101)的拇指和食指都各自佩戴一个带电源模块的指环式感应单元,它们都使用三维重力加速度传感器,分别是拇指感应单元(8)和食指感应单元(6),其中拇指( 上的感应单元(8)含有信号处理器(301)和无线接口模块(302),这些感应单元与信号处理器(301)通过无线方式相连接。当右手(101)做出各种动作时, 这些感应单元将感应数据传递给信号处理处理器(301)后处理后,再通过无线接口模块 (302)将转换出的对应这些动作的遥控指令信号通过电视机O00)的无线接口传输给电视机(200)处理。当用户的手掌顺时针旋转时,控制系统可以通过信号通知电视机(200)根据旋转的角度逐渐增大音量;当用户的手掌逆时针旋转时,控制系统可以通过信号通知电视机(200)根据旋转的角度逐渐减小音量。当用户的手掌先做握拳动作,然后突然张开时, 控制系统可以通过信号通知电视机(200)关闭电视机电源。当用户做正向捻搓运动时,控制系统可以通过信号通知电视机(200)切换到上一个频道;当用户做反向捻搓运动,控制系统可以通过信号通知电视机(200)切换到下一个频道。当用户做双指相向运动,控制系统可以通过信号通知电视机(200)静音;当用户做双指反向运动,控制系统可以通过信号通知电视机(200)放音。当手指都做伸直动作并保持3秒时,电视机(200)可以进入设置状态。当电视机(200)设置菜单出现,用户可以通过右手(101)的移动动作控制游标运动, 食指的按下动作表示确定,具体含义依赖于电视机(200)设置菜单。遥控器可以识别的动作包括但不限于以上的动作,而且各动作与遥控器功能的对应关系可以根据习惯和需要调離
iF. ο以下是第14个实施例,这个实施例简要描述了使用三维陀螺仪传感器时,控制系统如何识一只手指按下的动作。参见图2,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13) 是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(1 的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是都使用三维陀螺仪传感器,分别是食指C3)上的食指感应单元(6)和中指(4)上的中指感应单元(7)。原始状态下,食指(3)按箭头(14)指示的方向上运动,就会有虚线画出的动作结束后位置的食指(31),而中指(4)没有变化,运动共持续了 1秒钟,这样共可以得到食指C3)和中指(4)对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指C3)在X轴 (11)上角度增大了 10度,Z轴(13)上的角度变小了 10度,Y轴(12)上角度没有变化,而中指在X轴(11)和Z轴上的变化只有1度,Y轴(12)上角度没有变化,那么食指(3)与中指C3)手指的在三轴上角度变化差异较大,系统可以识别食指C3)发生了一次在Z轴上的按下动作。以下是第15个实施例,这个实施例简要描述了使用三维陀螺仪传感器时,控制系统如何识别一只手指弯曲动作。参见图4,其中X坐标轴(11)、Y坐标轴(12)、Ζ坐标轴(13) 是互相正交的三个坐标轴,各自箭头指向的方向是各自的正方向,而且重力加速度的方向是指向Z轴(1 的反方向。不失一般性,假设每100毫秒系统接收感应单元的感应向量一次,此系统配有两个指环式感应单元是食指感应单元(6)和中指感应单元(7),它们都使用三维陀螺仪传感器。食指C3)按箭头(14)指示的方向上运动,就会有虚线画出的弯曲动作结束后位置的食指(31),而中指(4)没有太大变化,运动共持续了 1秒钟,这样共可以得到食指C3)和中指(4)对应的各10组感应向量。控制系统分析这些数据,可以结合基准感应向量,可以计算出在1秒的时间内,食指⑶和动作结束后位置的食指(31)在X轴(13)上角度增大30度,食指C3)在Z轴上的角度减小30度,这个动作满足系统设定的阀值条件食指⑶和中指⑷在X轴(11)正方向、Z轴(13)反方向上角度变化相差较大,在Y轴(12)
21方向上角度变化相差很小,通过食指(3)的10个感应向量计算出的X轴(11)角度在不断增加(没有发生先增后减的情形),Z轴(1 上角度都在不断减小(没有发生先减后增的情形),那么系统就可以识别食指⑶完成了在X轴(11)上的弯曲动作。
权利要求
1.一种电子设备的控制系统和方法,其特征在于这个控制系统由附着在多个手指上的多个独立的感应单元、信号处理器和接口模块组成,每个感应单元至少包含一个三维重力加速度传感器或一个三维陀螺仪传感器用来分别获得对应手指的加速度或角度,然后信号处理器再对这些收集到的加速度和角度数据进行处理和比较差别,从而分析出手指的动作,再转换成电子设备可以识别的电子信号和信息,最后通过接口模块输入到并控制电子设备。
2.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统可以计算出包括但不限于全部手指中各个手指的部分信息三维方向上手指的移动的方向、速度、位移和加速度,三维方向上手指的旋转的方向、角度、角速度和角加速度中,然后通过这些手指的信息识别手指的动作。
3.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于当这个系统中的感应单元使用三维重力加速度传感器时,可以识别的动作和其对应的方法包含但不限于一只或多只手指的在三维方向上按下和弹起的动作;一只或多只手指在三维方向上的弯曲、恢复和伸直的动作;多只手指在三维方向上的移动动作;多只手指完成的在三维方向上的正向旋转和其相应的角度、反向旋转动作和其相应的角度;大拇指和其它手指完成的在三维方向上的正向捻搓和反向捻搓动作;大拇指和其它手指完成的在三维方向上的双指反向运动和双指相向动作;中指和食指完成完成的在三维方向上的写字动作、落笔动作、 抬笔动作。
4.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于当这个系统中的感应单元使用三维陀螺仪传感器时,可以识别的动作和其对应的方法包含但不限于一只或多只手指的在三维方向上按下和弹起的动作;一只或多只手指在三维方向上的弯曲、 恢复和伸直的动作;多只手指完成的在三维方向上的正向旋转和其相应的角度、反向旋转动作和其相应的角度;大拇指和其它手指完成的在三维方向上的正向捻搓和反向捻搓动作。
5.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统使用识别出的手指的按下和弹起的动作对应于机械开关或机械按键的按下和弹起,可以让这个系统不使用任何机械开关或机械按键;使用识别出的手指的弯曲和伸直动作对应于机械滚轮的下滚动和上滚动,可以让这个系统不使用机械滚轮。
6.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统可以是一个具有完整鼠标功能的三维鼠标,可以用于实现鼠标的左键、右键、中键、滚轮对应的功能和鼠标在三维方向上移动的功能,根据用户需要,其中各手指的按下和弹起动作分别对应左键、右键、中键的按下和弹起;单独一只手指的弯曲动作和伸直动作分别对应滚轮向下滚动和向上滚动的功能,滚轮滚动也可以对应手指的正向捻搓动作和反向捻搓动作;多只手指在三维方向上的移动动作对应鼠标的三维方向上的移动功能;而且这种鼠标可以不使用任何机械按键。
7.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统可以作为一只书写笔书写文字,然后可以将文字进行识别后直接输出键盘的扫描码或文字的编码。
8.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统使用无线方式与电子设备相连时可以作有以下功能的电子设备遥控器上一个频道、下一个频道、音量减少、音量增大、静音、放音、关闭电源、打开电源和进行设置;电子设备是游戏机时,此系统还可以作为一种游戏机的体感输入设备;这个系统还可以模拟和记录乐器的弹奏。
9.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统可以将手指运动时的动能转换为电力对系统进行充电;这个系统可以在检测到手上的脉搏后或检测到可识别的动作或动作组合后才进入正常运行状态,否则进入休眠状态以节省系统的电力。
10.根据权利要求1所述的一种电子设备的控制系统和方法,其特征在于这个系统可以通过指向初始遥控方式来切换被控的电子设备。
全文摘要
一种电子设备的控制系统和方法,这个控制系统由附着在多个手指上的多个独立的感应单元、信号处理器和接口模块组成,每个感应单元至少包含一个三维重力加速度传感器或一个三维陀螺仪传感器用来分别获得对应手指的加速度或角度,然后信号处理器再对这些收集到的加速度和角度数据进行处理和比较差别,从而分析出手指的动作,再转换成电子设备可以识别的电子信号和信息,最后通过接口模块输入到并控制电子设备,是一种不受空间限制、超低功耗、便于携带、便于学习和使用、同时适合多种电子设备的控制系统和方法。
文档编号G06F3/033GK102478959SQ20101057675
公开日2012年5月30日 申请日期2010年11月28日 优先权日2010年11月28日
发明者苗胜, 蒋霞 申请人:蒋霞
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1