基于肌电信号的手势输入计算机字符装置及方法与流程

文档序号:15980086发布日期:2018-11-17 00:13阅读:268来源:国知局

本发明涉及一种表面肌电信号处理领域的方法及装置,更确切地说,本发明涉及一种基于肌电信号的手势输入计算机字符装置及方法。

背景技术

键盘和鼠标是目前常见电子设备的输入装置,主要通过操作键盘或鼠标实现移动光标以及输入单击、双击的命令,完成对电子设备的操作。然而,键盘、触摸板和鼠标等以往的输入设备在操作过程中需要实体装置,不具有便捷性。

近年来,出现了一种手势输入装置,用户可以通过手运动的直观输入,来选择画面上项目的光标移动或使项目自身在画面上移动等操作。即用户通过自己的手的运动使画面上的光标或项目直观地移动。目前市场上常见的手势输入装置大多数都是通过使用摄像机来捕捉用户的手势动作信号。因而,手势输入装置与键盘、触摸板和鼠标等以往的输入装置相比,具有不需要键盘或鼠标等实体操作装置的优点。并且经过熟习的训练后,任何人都能够如愿操作。而且手势输入装置还能应用于各种游戏包括体感游戏中,使之更具便捷性与趣味性。不足之处是用户必须在摄像机的视野范围内进行手势操作,手一旦离开摄像机的视野范围便不能进行信息的输入。这样使用户操作时的活动范围被限制,十分不便。而且环境光线的明暗也会影响摄像机的运作,从而影响手势输入的识别效果。

不论是通过实体键盘、鼠标装置来完成输入,又或者是摄像机等来捕捉手势信号的输入方式,他们的共同特点都是对外界条件要求严格,不具有便捷性,所以现在亟需提供一种具有可移动性,用户操作时拥有更自由的活动范围的输入方式,解决对环境有严格要求限制的问题。为人们的生活提供更加便捷、多元化的方式。



技术实现要素:

本发明所要解决的技术问题是克服了现有技术存在的对外界条件要求严格及不具有便捷性的问题,提供了一种基于肌电信号的手势输入计算机字符装置及方法。

为解决上述技术问题,本发明是采用如下技术方案实现的:所述的基于肌电信号的手势输入计算机字符装置包括手臂环单元与执行单元;

所述的手臂环单元是由左手臂环与右手臂环组成,左手臂环与右手臂环结构相同,左手臂环与右手臂环分别佩戴在左手臂与右手臂上;

所述的左手臂环包括左表面肌电信号采集单元、左控制单元与左发送单元,右手臂环包括右表面肌电信号采集单元、右控制单元与右发送单元;

左表面肌电信号采集单元与左控制单元之间采用有线连接,左控制单元与左发送单元之间采用有线连接;右表面肌电信号采集单元与右控制单元之间采用有线连接,右控制单元与右发送单元之间采用有线连接;

所述的执行单元包括接收单元、处理器与显示器;接收单元与处理器之间采用有线连接,处理器与显示器之间采用有线连接;

所述的手臂环单元通过左发送单元与右发送单元和执行单元中的接收单元之间采用无线连接。

技术方案中所述的左表面肌电信号采集单元与左控制单元之间采用有线连接是指:所述的左表面肌电信号采集单元为由十二路医疗级的肌电传感器组成的肌电传感器组,每路传感器由一块医疗级的肌电传感器与一个塑料外壳构成,每一路肌电传感器都需要固定在塑料外壳的正中心位置,肌电传感器的肌电电极表面暴露于塑料外壳内侧,即接触皮肤的那一侧;十二路医疗级的肌电传感器的十二根电信号线经外壳的侧边引出;

所述的左控制单元包括运算单元;所述的运算单元包括型号为stm32f407vet6的主控芯片;

左表面肌电信号采集单元的十二根肌电传感器的电信号线与左控制单元中运算单元的pe0引脚~pe11引脚相连接。

技术方案中所述的左控制单元与左发送单元之间采用有线连接是指:所述的左控制单元包括运算单元;所述的运算单元包括型号为stm32f407vet6的主控芯片;

所述的左发送单元采用型号为nrf2401的射频收发芯片,左控制单元中的运算单元的pb3引脚~pb8引脚依次和左发送单元中的型号为nrf2401的射频收发芯片的六个引脚相连接,即pb3引脚~pb8引脚依次和data引脚、clk1引脚、dr1引脚、ce引脚、cs引脚与pwr_up引脚连接。

技术方案中所述的接收单元与处理器之间采用有线连接是指:所述的接收单元采用的是同时接收两个不同频道数据的型号为nrf2401的射频收发芯片,型号为nrf2401的射频收发芯片设置有p0.0引脚~p0.5引脚;所述的处理器包括型号为stc89c52的主控芯片;接收单元即型号为nrf2401的射频收发芯片的ce引脚、cs引脚、data引脚、clk1引脚、dr1引脚与pwr_up引脚依次和处理器的p0.0引脚~p0.5引脚线连接。

技术方案中所述的处理器与显示器之间采用有线连接是指:所述的处理器与显示器之间通过型号为db9的rs232通讯接口相连接,所述的型号为db9的rs232通讯接口包括型号为max232的芯片与型号为db9的接口;

所述的处理器包括型号为stc89c52的主控芯片;处理器中的型号为stc89c52的主控芯片上的p3.0/rxd引脚、p3.1/txd引脚和型号为max232的芯片上的r1out引脚、t1in引脚相连接,型号为max232的芯片上的t1out引脚、r1in引脚和rs232通讯接口的2号引脚、3号引脚相连接,rs232通讯接口与计算机的显示器连接。

一种基于肌电信号的手势输入计算机字符方法,其步骤如下:

1)双手手势动作说明及功能定义;

2)采集双手臂表面肌电信号及手势识别结果输出;

3)手势动作信息的传输:

(1)双手手势动作识别成功后,手势信息数据通过发送单元的nrf2401射频收发芯片3以无线传输方式输出,并发送至接收单元;

(2)接收单元的nrf2401射频收发芯片通过无线方式接收来自手臂环单元识别后的手势信息数据,其中包括左手臂环和右手臂环发出的两组手势动作数据。最后将手势信息数据通过有线方式传输至执行单元的处理器;

4)处理器将手势信息转换为相对应的字符内容并在显示器进行结果显示。

(1)处理器将手势信息转换为相对应的字符内容的主函数;

(2)处理器将手势信息转换为相对应的字符内容的中断函数。

技术方案中所述的双手手势动作说明及功能定义是指:

1)双手手势动作说明:

所述的可识别的手势动作包括握拳、伸掌、曲腕、伸腕、开枪及空捏六种手势动作,加上放松,一共有放松、握拳、伸掌、曲腕、伸腕、开枪及空捏七种状态;为表述方便,将左手放松、左手握拳、左手伸掌、左手曲腕、左手伸腕、左手开枪、左手空捏分别记为l1、l2、l3、l4、l5、l6、l7,将右手放松、右手握拳、右手伸掌、右手曲腕、右手伸腕、右手开枪、右手空捏分别记为r1、r2、r3、r4、r5、r6、r7;

2)双手手势动作功能定义;

3)中文输入;

4)数字输入;

5)英文输入;

6)特殊符号输入。

技术方案中所述的双手手势动作功能定义是指:

(1)左手握拳动作且右手握拳动作l2r2定义为“切换输入模式”,用于在输入过程中进行英文输入模式、中文输入模式、0-9数字输入模式与ascii表中的特殊符号输入模式的切换,默认为英文输入。通过左手握拳右手握拳动作l2r2在以上四种输入模式中按顺序进行循环切换,每动作一次切换一种输入模式;

(2)左手握拳动作且右手伸掌动作l2r3定义为“交替换挡键alt”,动作一次相当于按下一次交替换挡键;

(3)左手握拳动作且右手曲腕动作l2r4定义为“退格键backspace”,动作一次相当于按下一次退格键,可删除光标前的一个字符;

(4)左手握拳动作且右手伸腕动作l2r5定义为“大小写锁定键capslock”,动作一次相当于按下一次大小写锁定键,可用于切换大小写;

(5)左手握拳动作且右手开枪动作l2r6定义为“上档转换键shift”,动作一次相当于按下一次上档转换键,可用于中英文转换。也具有输入法切换、快速切换半角和全角、选择连续文件、直接删除文件等功能;

(6)左手握拳动作且右手空捏动作l2r7定义为“控制键ctrl”,动作一次相当于按下一次控制键,可提供很多快捷方式;

(7)左手放松状态且右手握拳动作l1r2定义为“回车enter”,动作一次相当于输入一个回车符号;

(8)左手放松状态且右手伸掌动作l1r3定义为“空格space”,动作一次相当于输入一个空格符号;

(9)左手放松状态且右手曲腕动作l1r4定义为“向左←”,用于在输入过程中实现向左移动光标,动作一次光标向左移动一格;

(10)左手放松状态且右手伸腕动作l1r5定义为“向右→”,用于在输入过程中实现向右移动光标,动作一次光标向右移动一格;

(11)左手放松状态且右手开枪动作l1r6定义为“向上↑”,用于在输入过程中实现向上移动光标,动作一次光标向上移动一行;

(12)左手放松状态且右手空捏动作l1r7定义为“向下→”,用于在输入过程中实现向下移动光标,动作一次光标向下移动一行;

(13)当左手伸掌动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“q”、“w”、“a”、“s”、“z”、“x”字母,动作一次相当于按下一次相对应的字母键;

(14)当左手曲腕动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“e”、“r”、“d”、“f”、“c”、“v”字母,动作一次相当于按下一次相对应的字母键;

(15)当左手伸腕动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“t”、“y”、“g”、“h”、“b”、“n”字母,动作一次相当于按下一次相对应的字母键;

(16)当左手开枪动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“u”、“i”、“j”、“k”、“m”、“,”字母或符号,动作一次相当于按下一次相对应的字母或符号键;

(17)当左手空捏动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“o”、“p”、“l”、“;”、“.”、“/”字母或符号,动作一次相当于按下一次相对应的字母或符号键;

用户可使用默认定义的双手手势动作的功能,也可以在初次使用该方法时对双手手势动作按照自己的习惯进行自定义设置。

技术方案中所述的中文输入是指:

(1)左手握拳动作右手握拳动作“l2r2”切换至中文输入模式后,输入显示界面显示数字输入模式标识“中”;在显示器中,当把光标定位到需要进行文字输入的位置后,用户根据要输入的中文的拼音所包含的字母的排列顺序,分别依次进行相应的手势动作,此时在显示器上看到按照手势动作的先后顺序依次显示并排列的相应字母,并构成拼音组合;如“方”字的拼音为“fang”,则需依次做如下手势动作:“l4r5—l3r4—l5r7—l5r4”;

(2)汉字的输入

a.将字母串组合逐个从“标准拼音库”中进行检索,找出符合国家标准的有效拼音组合;

b.然后根据输入的拼音组合如“fang”,从“拼音识别汉字库”中进行检索,找出拼音“fang”所包含的所有汉字;并根据每个汉字的使用频率记录标识数值从大到小的顺序,在显示器上的输入法界面下侧对备选汉字进行显示,本输入法中备选汉字按“每页一行,每行七个”的方式进行显示,或根据情况自主调节;

c.在输入法显示界面,通过“向左”或“向右”来移动光标选择需要的汉字,通过“向上”或“向下”来移动光标对备选汉字列表进行翻页切换;

a)当“向左”到本页第一个后切换至上页最后一个备选项,此时本页不是第一页,当本页是第一页时,光标不再移动;当“向右”到本页最后一个后切换至下页第一个备选项;

b)当“向上”到第一页后无法再向上翻页,当“向下”到最后一页后停止向下翻页;如需选择“方”字,可通过“向右”两次,把光标移动到“方”字所在位置,

d.移动光标对汉字完成选择后,通过“回车”选择光标所在汉字,完成汉字的输入;

当备选汉字超过七个时,按使用频率大小的规则分为多页,通过“向上”、“向下”翻页切换。如本示例中拼音“fang”共包含37个汉字:“放芳方房防坊访仿纺妨舫昉彷枋匚邡汸牥昘瓬肪钫眆淓旊仿蚄纺堏访趽钫鲂髣鴋鲂鶭”;如要输入“纺”字,只需“向下”翻页一次,然后“向右”移动光标一次,最后“回车”选择光标所在的汉字“纺”,即完成对该汉字的输入;

所述的数字输入是指:

经过多次左手握拳动作右手握拳动作l2r2切换至数字输入模式后,输入显示界面显示数字输入模式标识“数”,并在显示界面显示数字界面,默认光标所在数字为5,通过如前文所定义的“向上、向下、向左、向右”动作移动光标所在位置,选择需要的数字,最后通过选择数字界面的“enter”完成数字输入,也通过左手放松状态且右手握拳动作l1r2“回车”选择来完成数字输入;

所述的英文输入是指:

(1)左手握拳动作右手握拳动作l2r2切换至英文输入模式后,输入显示界面显示英文输入模式标识“英”;

(2)用户根据所需输入的英文字母进行相对应的手势动作,显示器界面直接显示对应手势动作所代表的英文字母;如需输入大写英文字母时,通过左手握拳动作且右手伸腕动作l2r5锁定大写,输入显示界面显示输入模式标识“英a”,“a”表示当前为输入英文大写字母模式;然后用户根据所需输入英文大写字母进行相对应的手势动作,显示器界面直接显示对应手势动作所代表的英文大写字母。

所述的特殊符号输入是指:

(1)经过多次左手握拳动作右手握拳动作l2r2切换至特殊符号输入模式后,输入显示界面显示特殊符号输入模式标识“符”,输入法界面按矩阵如分四行,每行八个符号,或其它的矩阵排列方式显示32个可显示的ascii特殊符号;

(2)通过“向上、向下、向左、向右”动作移动光标,选择需要的符号,然后通过左手放松状态且右手握拳动作l1r2“回车”选择完成特殊符号输入。

技术方案中所述的采集双手臂表面肌电信号及手势识别结果输出是指:

1)用户正确并成功的将左手臂环、右手臂环佩戴在左手臂、右手臂前臂中段即腕部和肘部中间位置后,然后进行手势动作;当手势动作时,左手臂环、右手臂环中表面肌电信号采集单元的十二路肌电传感器会采集每个传感器相对应手臂位置相关肌肉处的表面肌电信号;

2)由于采集得到的信号中包含其它生理电信号产生的干扰、电子设备对肌电信号产生的工频干扰以及其它干扰项,所以需要对采集的数据进行预处理;

本发明中利用fir数字滤波器对采集得到的肌电信号进行带通滤波,去除50hz工频和谐波,降低低频信号能量,使得表面肌电信号主要集中在5~200hz之间,以此来完成对数据的预处理;

3)提取肌电信号特征信息;

本发明中采用样本熵对表面肌电信号进行特征提取;

4)分类器进行动作分类

本发明中分类器采用支持向量机分类器,将提取的肌电信号特征信息输入分类器,实现对手势动作的分类识别;其中3)步骤和4)步骤的算法组合具有较好的鲁棒性和实时性,可以满足使用者对多模式类别和识别效率的需求;

5)手势动作识别结果输出

最终左手臂环、右手臂环的控制单元可以完成对采集得到的肌电信号一系列的分析与处理,最终完成对手势动作的模式识别,并对手势动作识别进行结果输出。

与现有技术相比本发明的有益效果是:

1.本发明所述的基于肌电信号的手势输入计算机字符装置及方法摆脱了要求键盘或鼠标等实体装置输入的限制,使用更加便捷;

2.本发明所述的基于肌电信号的手势输入计算机字符装置及方法可使用户操作时拥有更自由的活动范围,对环境无严格要求限制,具有可移动性;

3.本发明所述的基于肌电信号的手势输入计算机字符装置及方法低成本,低功耗,为人们的生活提供了更加多元化的方式,具有十分广阔的应用前景。

附图说明

下面结合附图对本发明作进一步的说明:

图1为本发明所述的基于肌电信号的手势输入计算机字符装置结构组成的示意框图;

图2为本发明所述的基于肌电信号的手势输入计算机字符装置中手臂环的外观示意图;

图3为本发明所述的基于肌电信号的手势输入计算机字符装置中手臂环的正确佩戴方式示意图;

图4为本发明所述的基于肌电信号的手势输入计算机字符方法中对肌电信号分析与处理的流程框图;

图5-1为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的放松手势动作示意图;

图5-2为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的握拳手势动作示意图;

图5-3为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的伸掌手势动作示意图;

图5-4为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的曲腕手势动作示意图;

图5-5为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的伸腕手势动作示意图;

图5-6为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的开枪手势动作示意图;

图5-7为本发明所述的基于肌电信号的手势输入计算机字符方法中所采用的可识别的空捏手势动作示意图;

图6为本发明所述的基于肌电信号的手势输入计算机字符方法的中文输入显示界面示意图;

图7为本发明所述的基于肌电信号的手势输入计算机字符方法的中文输入显示界面向上向下翻页示意图;

图8为本发明所述的基于肌电信号的手势输入计算机字符方法的中文输入显示界面汉字选择整体过程示意图;

图9为本发明所述的基于肌电信号的手势输入计算机字符方法中数字输入显示界面示意图;

图10为本发明所述的基于肌电信号的手势输入计算机字符方法中特殊符号输入显示界面示意图;

图11为本发明所述的基于肌电信号的手势输入计算机字符方法的流程框图;

图12-1为本发明所述的基于肌电信号的手势输入计算机字符装置的运算单元连接电路示意图;

图12-2为本发明所述的基于肌电信号的手势输入计算机字符装置的发送单元连接电路示意图;

图12-3为本发明所述的基于肌电信号的手势输入计算机字符装置的振动马达连接电路示意图;

图12-4为本发明所述的基于肌电信号的手势输入计算机字符装置的指示灯连接电路示意图;

图12-5为本发明所述的基于肌电信号的手势输入计算机字符装置的供电稳压电路示意图;

图12-6为本发明所述的基于肌电信号的手势输入计算机字符装置的充电口连接电路示意图;

图12-7为本发明所述的基于肌电信号的手势输入计算机字符装置的按钮连接电路示意图;

图12-8为本发明所述的基于肌电信号的手势输入计算机字符装置的处理器连接电路示意图;

图12-9为本发明所述的基于肌电信号的手势输入计算机字符装置的接收单元连接电路示意图;

图12-10为本发明所述的基于肌电信号的手势输入计算机字符装置的rs232通讯接口连接电路示意图;

图13-1为本发明所述的基于肌电信号的手势输入计算机字符方法中处理器工作的主函数流程图;

图13-2为本发明所述的基于肌电信号的手势输入计算机字符方法中处理器工作的中断函数流程图;

图中:1.肌电传感器组,2.运算单元,3.射频收发芯片,4.振动马达,5.指示灯,6.锂电池,7.充电口,8.按钮,9.绑带。

具体实施方式

下面结合附图对本发明作详细的描述:

参阅图1,本发明所述的基于肌电信号的手势输入计算机字符装置包括手臂环单元与执行单元;

所述的手臂环单元是由左手臂环与右手臂环组成,左手臂环与右手臂环结构相同,左手臂环与右手臂环分别佩戴在左手臂、右手臂上。

所述的左手臂环包括左表面肌电信号采集单元、左控制单元与左发送单元,所述的右手臂环包括右表面肌电信号采集单元、右控制单元与右发送单元,且左手臂环和右手臂环的结构原理及连接方式均相同,以下均围绕左手臂环进行介绍说明。

参阅图2,所述的左表面肌电信号采集单元为由十二路医疗级的肌电传感器组成的肌电传感器组1,2套结构相同的肌电传感器组1分别构成左表面肌电信号采集单元与右表面肌电信号采集单元,完成用户双手手势动作时左手臂、右手臂表面肌电信号的采集;

每路传感器由一块医疗级的肌电传感器与一个塑料外壳构成,将十二路医疗级的肌电传感器内嵌在十二个塑料外壳里,安装有肌电传感器的十二个塑料外壳依次首尾连接成环形的手臂环。确切地说,每一路肌电传感器都需要固定在塑料外壳的正中心位置,肌电传感器的肌电电极表面暴露于塑料外壳内侧,即接近皮肤的那一侧。塑料壳长为2.0厘米,宽为0.7厘米,厚度为0.3厘米,相邻两个塑料外壳之间以150°的夹角并采用三根皮带的方式相连接,皮带要求能够伸缩且在相邻两个塑料外壳之间均匀地分布,以适用于不同粗细手臂的使用。十二路医疗级的肌电传感器的十二根电信号线经外壳的侧边引出,十二根电信号线的引出端和左控制单元中的运算单元2相连接。

所述的左控制单元包括运算单元2、震动马达4、指示灯5、锂电池6、充电口7、按钮8与绑带9。左控制单元完成对左表面肌电信号采集单元所得到的表面肌电信号的分析与处理,即将输入的肌电信号转换为手势信息。

参阅图12-1,所述的运算单元2包括型号为stm32f407vet6的主控芯片、最小系统电路及基本外设电路;

所述的型号为stm32f407vet6的主控芯片为具有fpu(floatpointunit,浮点运算单元)的armcortexm4内核,可以完成对采集得到的肌电信号的数据处理;

所述的最小系统包括8m晶振电路、32.768k晶振电路与rst复位按键电路;

所述的基本外设电路包括模拟部分的电源电路与型号为cr1220的rtc(real-timeclock,实时时钟)电池电路,作为实时时钟的备用电池使用。

参阅图12-3,所述的震动马达4采用标准微型振动马达,可用来提供震动反馈,完成对用户采取相应功能时的震动提醒。本发明使用用于手机的扁平纽扣式震动马达,规格选择0827,当然也可选择0830、0834、1020等规格。震动马达类型也可以选择圆柱型(空心杯auswan)振动马达或线型震动马达等,具体可根据自身需求进行选择;振动马达4一端与三极管q集电极连接,另一侧与3v3连接,三极管的基极与运算单元2的pa9引脚(即68号引脚)之间连接510ω电阻,由此构成振动马达控制电路。

参阅图12-4,所述的指示灯5包括红色与绿色两个led(lightemittingdiode,发光二极管)即指示灯d1与指示灯d2,指示灯d1与指示灯d2完成对电源情况以及不同指示的信号说明。指示灯5也可选择贴片led等其它类型指示灯;指示灯d1与指示灯d2的正极连接3v3,指示灯d1与指示灯d2的负极经过510ω电阻后与运算单元2的pa6引脚、pa7引脚(即31号引脚、32号引脚)连接。

参阅图12-5,所述的锂电池6采用标准可充电常规型圆柱5v锂电池,型号为icr18650,可以反复使用,完成对手臂环单元的电源提供。

供电稳压电路包括型号为ams1117-3.3v的正向低压降稳压器、电解电容c10、电容c11、电容c12与电解电容c13;锂电池6输出的电压5v与型号为ams1117-3.3v的正向低压降稳压器中3号引脚线连接,经过2号引脚输出电压为3.3v,可为运算单元2及左手臂环其它电路提供电源保证。

参阅图12-6,所述的充电口7采用统一标准micro-usb充电口,提供对锂电池6充电时的插槽接口输入。usb有两条数据输出线usb_dm、usb_sp分别与运算单元2的pa11引脚、pa12引脚(即70号引脚、71号引脚)连接。

参阅图12-7,所述的按钮8为统一标准常开圆形按钮,提供完成多种功能的设置。按钮8的负极接地,按钮8的正极连接运算单元2的pa8引脚(即67引脚)。

所述的绑带9采用带有魔术贴的可粘贴绑带,使用时绑在用户佩戴手臂环位置的后侧即可。

参阅图2,运算单元2通过pa9引脚与振动马达4电路连接,通过pa6引脚、pa7引脚与指示灯5电路连接,通过pa11引脚、pa12引脚与充电口7连接,通过pa8引脚与按钮8连接。锂电池电路通过供电稳压电路输出3.3v电压与运算单元2任意3v3引脚连接以提供电源保证。

参阅图12-2,所述的左发送单元采用型号为nrf2401的射频收发芯片3。左发送单元将处理后的手势信息数据进行无线通信传输,即将手势信息通过型号为nrf2401的射频收发芯片3无线传输至接收单元。型号为nrf2401的芯片3设置的引脚包括1号引脚即gnd电源地引脚、2号引脚即3v3电源输入引脚、3号引脚即ce引脚、4号引脚即cs引脚、5号引脚即data引脚、6号引脚即clk1引脚、7号引脚即dr1引脚;8号引脚即pwr_up上电引脚;3号引脚至8号引脚分别与运算单元2的pb6引脚、pb7引脚、pb3引脚~pb5引脚、pb8引脚(即92号引脚、93号引脚、89号引脚~91号引脚、95号引脚)相连接。

所述的执行单元包括接收单元、处理器与显示器。

参阅图12-9,所述的接收单元采用无线射频收发技术,本发明采用的是可以同时接收两个不同频道数据的nrf2401射频收发芯片,完成对手势动作信息数据的传输。当接收单元与手臂环单元的左发送单元、右发送单元连接成功后,可以同时无线接收左手臂环和右手臂环发出的两组手势动作信息数据。然后通过有线方式将手势动作识别结果发送至处理器,以便处理器完成后续的处理。接收单元即nrf2401的六个引脚即ce引脚、cs引脚、data引脚、clk1引脚、dr1引脚与pwr_up引脚(3号引脚~8号引脚)与处理器的p0.0引脚~p0.5引脚(39引脚~34引脚)相连接。

参阅图12-8,所述的处理器包括型号为stc89c52的主控芯片与最小系统电路,其中:最小系统电路包括11.0592mhz晶振电路、rst复位按键电路;处理器通过读取接收单元输入的代表手势动作的信号,完成一系列相对应字符内容转换的功能。

参阅图12-10,所述的显示器即为计算机的显示器,完成对输入字符的显示。处理器与显示器之间通过型号为db9的rs232通讯接口相连接。即max232的r1out引脚、t1in引脚(12号引脚、11号引脚)和处理器的p3.0/rxd引脚、p3.1/txd引脚(10号引脚、11号引脚)相连接,max232的t1out引脚、r1in引脚(即14号引脚、13号引脚)和rs232通讯接口的2号引脚、3号引脚相连接,最后rs232通讯接口与计算机显示器连接,完成当前手势输入方式所对应字符内容的显示,由此最终达到利用双手肌电信号完成计算机字符的输入的目的。

参阅图1,手臂环单元中的左表面肌电信号采集单元的十二根肌电传感器电信号线与左控制单元中运算单元2的pe0引脚~pe11引脚(即97号引脚与98号引脚、1号引脚~5号引脚和38号引脚~42号引脚)共十二个引脚相连接,输出表面肌电信号。左控制单元中运算单元2的pb3引脚~pb8引脚(即89号引脚~93号引脚、95号引脚)共六个引脚和左发送单元中的射频收发芯片nrf2401的六个引脚相连接,即和5号引脚即data引脚、6号引脚即clk1引脚、7号引脚即dr1引脚、3号引脚即ce引脚、4号引脚即cs引脚、8号引脚即pwr_up引脚依次连接;通过左发送单元无线传输处理后的左手手势信息数据至接收单元。同样的,右手臂环通过右发送单元无线传输处理后的右手手势信息数据至接收单元。接收单元采用的nrf2401射频收发芯片通过无线方式同时接收来自左手臂环和右手臂环的手势信息数据,并通过有线方式与处理器的p0.0引脚~p0.5引脚(39号引脚~34号引脚)相连接,将双手手势信息数据有线传输至处理器。最后处理器的p3.0/rxd引脚、p3.1/txd引脚(10号引脚、11号引脚)与max232的r1out引脚、t1in引脚(即12号引脚、11号引脚)相连接,max232的t1out引脚、r1in引脚(14号引脚、13号引脚)和db9的2号引脚、3号引脚相连接,最后db9与计算机的显示器连接。

本发明所述的基于肌电信号的手势输入计算机字符装置佩戴方法及使用说明:

参阅图3,将左、右手臂环佩戴在用户左、右手臂前臂中段(腕部和肘部中间位置)。左、右手臂环内侧需紧贴手臂皮肤,不能套在衣服外面。若佩戴位置出现严重晃动的情况,识别率将受到极大影响。

在左、右手臂环关机状态下,通过单击左、右手臂环控制单元中间圆形按钮8便可以打开设备。单击按钮8后,如果出现800毫秒振动马达4震动,且指示灯5亮起显示为绿灯并以2秒频率缓慢闪烁,则代表设备打开成功,此时设备进入等待连接模式。若单击按钮8后无反应,则可能是设备电量不足,应及时充电。当震动马达4出现800毫秒震动且指示灯5显示绿色并闪烁频率加快时,表示左、右手臂环内的发送单元与接收单元连接成功。

在开机状态下,按按钮8的时间达5秒后松开,便可以关闭设备,此时出现800毫秒震动马达4震动,且指示灯5灭掉。手臂环控制单元内置锂电池6,在开机状态中应可以供电10个小时左右。当锂电池6电量不足的时候,设备会自动关机,设备通过插入micro-usb充电口7充电,充电状态中指示灯5显示红色并会长亮,大约2个小时即可充满,充满以后红色指示灯5会熄灭。

参阅图11,所述的基于肌电信号的手势输入计算机字符方法包括双手手势动作说明及功能定义、采集双手臂表面肌电信号及手势识别结果输出、手势动作信息的传输、处理器将手势动作信息转换为相对应的字符内容,并在显示器进行结果显示。

1.双手手势动作说明及功能定义

1)双手手势动作说明

参阅图5-1至图5-7,所述的可识别的手势动作包括握拳、伸掌、曲腕、伸腕、开枪及空捏六种手势动作,加上放松,一共有放松、握拳、伸掌、曲腕、伸腕、开枪及空捏七种状态;为表述方便,将左手放松、左手握拳、左手伸掌、左手曲腕、左手伸腕、左手开枪、左手空捏分别记为l1、l2、l3、l4、l5、l6、l7,将右手放松、右手握拳、右手伸掌、右手曲腕、右手伸腕、右手开枪、右手空捏分别记为r1、r2、r3、r4、r5、r6、r7。

2)双手手势动作功能定义

表1所示为不同手势动作对应的功能,利用基于肌电信号的手势输入计算机字符装置及方法实现对双手手势动作的识别与输入。

表1

双手手势动作功能定义的详细说明:

(1)左手握拳动作且右手握拳动作(l2r2)定义为“切换输入模式”,用于在输入过程中进行英文输入(英)模式、中文输入(中)模式、0-9数字输入(数)模式与ascii表中的特殊符号输入(符)模式的切换,默认为英文输入。通过左手握拳右手握拳动作(l2r2)在以上四种输入模式中按顺序进行循环切换,每动作一次切换一种输入模式;

(2)左手握拳动作且右手伸掌动作(l2r3)定义为“交替换挡键(alt)”,动作一次相当于按下一次交替换挡键;

(3)左手握拳动作且右手曲腕动作(l2r4)定义为“退格键(backspace)”,动作一次相当于按下一次退格键,可删除光标前的一个字符;

(4)左手握拳动作且右手伸腕动作(l2r5)定义为“大小写锁定键(capslock)”,动作一次相当于按下一次大小写锁定键,可用于切换大小写;

(5)左手握拳动作且右手开枪动作(l2r6)定义为“上档转换键(shift)”,动作一次相当于按下一次上档转换键,可用于中英文转换。也具有输入法切换、快速切换半角和全角、选择连续文件、直接删除文件等功能;

(6)左手握拳动作且右手空捏动作(l2r7)定义为“控制键(ctrl)”,动作一次相当于按下一次控制键,可提供很多快捷方式;

(7)左手放松状态且右手握拳动作(l1r2)定义为“回车(enter)”,动作一次相当于输入一个回车符号;

(8)左手放松状态且右手伸掌动作(l1r3)定义为“空格(space)”,动作一次相当于输入一个空格符号;

(9)左手放松状态且右手曲腕动作(l1r4)定义为“向左(←)”,用于在输入过程中实现向左移动光标,动作一次光标向左移动一格;

(10)左手放松状态且右手伸腕动作(l1r5)定义为“向右(→)”,用于在输入过程中实现向右移动光标,动作一次光标向右移动一格;

(11)左手放松状态且右手开枪动作(l1r6)定义为“向上(↑)”,用于在输入过程中实现向上移动光标,动作一次光标向上移动一行;

(12)左手放松状态且右手空捏动作(l1r7)定义为“向下(→)”,用于在输入过程中实现向下移动光标,动作一次光标向下移动一行;

(13)当左手伸掌动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“q”、“w”、“a”、“s”、“z”、“x”字母,动作一次相当于按下一次相对应的字母键;

(14)当左手曲腕动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“e”、“r”、“d”、“f”、“c”、“v”字母,动作一次相当于按下一次相对应的字母键;

(15)当左手伸腕动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“t”、“y”、“g”、“h”、“b”、“n”字母,动作一次相当于按下一次相对应的字母键;

(16)当左手开枪动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“u”、“i”、“j”、“k”、“m”、“,”字母或符号,动作一次相当于按下一次相对应的字母或符号键;

(17)当左手空捏动作,右手分别做握拳、伸掌、曲腕、伸腕、开枪及空捏动作时,分别定义为“o”、“p”、“l”、“;”、“.”、“/”字母或符号,动作一次相当于按下一次相对应的字母或符号键;

用户可使用默认定义的双手手势动作的功能,也可以在初次使用该方法时对双手手势动作按照自己的习惯进行自定义设置。

3)中文输入

根据中国《国家标准信息交换汉字编码》建立“标准拼音库”和“根据拼音识别汉字库”,每个汉字在汉字库中具有一个使用频率记录标志。此标志用于在使用本发明的输入方法时,对备选汉字进行排序,使用频率记录标志数值大的汉字,在备选汉字显示时优先排列在前面。汉字每被使用一次,则对应该汉字的使用频率记录标志计数加一。

(1)左手握拳动作右手握拳动作(l2r2)切换至中文输入模式后,输入显示界面显示数字输入模式标识“中”。在显示器中,当把光标定位到需要进行文字输入的位置后,用户根据要输入的中文的拼音所包含的字母的排列顺序,分别依次进行相应的手势动作。此时在显示器上可以看到按照手势动作的先后顺序依次显示并排列的相应字母,并构成拼音组合;如“方”字的拼音为“fang”,则需依次做如下手势动作:“l4r5—l3r4—l5r7—l5r4”;

(2)汉字的输入

a.将字母串组合逐个从“标准拼音库”中进行检索,找出符合国家标准的有效拼音组合。

b.然后根据输入的拼音组合如“fang”,从“拼音识别汉字库”中进行检索,找出拼音“fang”所包含的所有汉字;并根据每个汉字的使用频率记录标识数值从大到小的顺序,在显示器上的输入法界面下侧对备选汉字进行显示,本输入法中备选汉字按“每页一行,每行七个”的方式进行显示(也可以根据情况自主调节),如图6所示。

c.在输入法显示界面,通过“向左”或“向右”来移动光标选择需要的汉字,通过“向上”或“向下”来移动光标对备选汉字列表进行翻页切换;

a)当“向左”到本页(此时本页不是第一页;当本页是第一页时,光标不再移动)第一个后切换至上页最后一个备选项,当“向右”到本页最后一个后切换至下页第一个备选项;

b)当“向上”到第一页后无法再向上翻页,当“向下”到最后一页后停止向下翻页;如需选择“方”字,可通过“向右”两次,把光标移动到“方”字所在位置,

d.参阅图7,移动光标对汉字完成选择后,通过“回车”选择光标所在汉字,完成汉字的输入。

当备选汉字超过七个时,按使用频率大小的规则分为多页,通过“向上”、“向下”翻页切换。如本示例中拼音“fang”共包含37个汉字:“放芳方房防坊访仿纺妨舫昉彷枋匚邡汸牥昘瓬肪钫眆淓旊仿蚄纺堏访趽钫鲂髣鴋鲂鶭”。如要输入“纺”字,只需“向下”翻页一次,然后“向右”移动光标一次,如图8所示,最后“回车”选择光标所在的汉字“纺”,即可完成对该汉字的输入。

4)数字输入

经过多次左手握拳动作右手握拳动作(l2r2)切换至数字输入模式后,输入显示界面显示数字输入模式标识“数”,并在显示界面显示数字界面,如图9所示。默认光标所在数字为5,能够通过如前文所定义的“向上、向下、向左、向右”动作移动光标所在位置,选择需要的数字,最后可以通过选择数字界面的“enter”完成数字输入,也可以通过左手放松状态且右手握拳动作(l1r2)“回车”选择来完成数字输入;

5)英文输入

(1)左手握拳动作右手握拳动作(l2r2)切换至英文输入模式(英)后,输入显示界面显示英文输入模式标识“英”;

(2)用户根据所需输入的英文字母进行相对应的手势动作,显示器界面直接显示对应手势动作所代表的英文字母;如需输入大写英文字母时,通过左手握拳动作且右手伸腕动作(l2r5)锁定大写,输入显示界面显示输入模式标识“英a”,“a”表示当前为输入英文大写字母模式;然后用户根据所需输入英文大写字母进行相对应的手势动作,显示器界面直接显示对应手势动作所代表的英文大写字母。

6)特殊符号输入

(1)参阅图10,经过多次左手握拳动作右手握拳动作(l2r2)切换至特殊符号输入(符)后,输入显示界面显示特殊符号输入模式标识“符”,输入法界面按矩阵(如分四行,每行八个符号,或其它的矩阵排列方式)显示32个可显示的ascii特殊符号;

(2)参阅图10,通过“向上、向下、向左、向右”动作移动光标,选择需要的符号,然后通过左手放松状态且右手握拳动作(l1r2)“回车”选择完成特殊符号输入。

本发明所述的基于肌电信号的手势输入计算机字符方法的步骤3)中文输入至步骤6)特殊符号输入可根据用户需要选择其中的步骤。

2.采集双手臂表面肌电信号及手势识别结果输出

参阅图4,具体步骤如下:

1)用户正确并成功的将左、右手臂环佩戴在左、右手臂前臂中段(腕部和肘部中间位置)后,方可进行手势动作;当手势动作时,左、右手臂环中表面肌电信号采集单元的十二路肌电传感器会采集每个传感器相对应手臂位置相关肌肉处的表面肌电信号;

2)由于采集得到的信号中包含其它生理电信号产生的干扰、电子设备对肌电信号产生的工频干扰以及其它干扰项,所以需要对采集的数据进行预处理;

本发明中利用fir数字滤波器对采集得到的肌电信号进行带通滤波,去除50hz工频和谐波,降低低频信号能量,使得表面肌电信号主要集中在5-200hz之间,以此来完成对数据的预处理;

3)提取肌电信号特征信息;

本发明中采用样本熵对表面肌电信号进行特征提取;

4)分类器进行动作分类

本发明中分类器采用svm(supportvectormachine,支持向量机)分类器,将提取的肌电信号特征信息输入分类器,实现对手势动作的分类识别。其中3)步骤和4)步骤的算法组合具有较好的鲁棒性和实时性,可以满足使用者对多模式类别和识别效率的需求;

5)手势动作识别结果输出

最终左手臂环、右手臂环的控制单元可以完成对采集得到的肌电信号一系列的分析与处理,最终完成对手势动作的模式识别,并对手势动作识别进行结果输出。

3.手势动作信息的传输

1)双手手势动作识别成功后,手势信息数据通过发送单元的nrf2401射频收发芯片3以无线传输方式输出,并发送至接收单元;

2)接收单元的nrf2401射频收发芯片通过无线方式接收来自手臂环单元识别后的手势信息数据,其中包括左手臂环和右手臂环发出的两组手势动作数据。最后将手势信息数据通过有线方式传输至执行单元的处理器。

4.处理器将手势信息转换为相对应的字符内容并在显示器进行结果显示

执行单元的处理器通过有线方式接收到接收单元输出的代表手势动作的信息数据,然后对手势识别结果进行处理,转换为一系列相对应的输入字符内容,最终得到手势动作对应的计算机字符输入命令。

参阅图13-1,图中所示为处理器将手势信息转换为相对应的字符内容的主函数流程图。处理器上电后,进入主程序,首先对系统进行初始化并开启中断,然后进入死循环等待中断响应。当接收单元将数据发送给处理器时,即为有事件触发中断,随后程序跳出死循环,进入中断函数。

参阅图13-2,图中所示为处理器将手势信息转换为相对应的字符内容的中断函数流程图。进入中断后,先关闭中断,然后读取并存储来自接收单元的手势数据,并判断该手势数据是否是已定义手势中的一种。若不是,则直接跳出中断,等待重新接收数据;若是,则输出该手势对应的计算机字符内容,并在计算机的显示屏上显示字符输入内容,最后跳出中断,重新进入死循环。

最终实现基于肌电信号的手势输入计算机字符的功能,达到利用双手肌电信号完成计算机字符的输入的目的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1