智能手表基于手臂肌肉电流信号做手势识别的方案的制作方法
【专利摘要】智能手表小巧并有很强的数据运算和处理能力，其缺点和优点同样明显。一方面，和智能手机比较，由于显示屏幕尺寸小，使得在信息呈现和用户输入上有很大局限，实用性不强；另一方面，和智能手机或其他电子设备比较，紧贴用户的皮肤，使得通过添加生物感应器，在检测用户的生命生物信息并加以利用上具有很大的优势。本发明方案将基于手臂肌肉电流信号检测的手势识别技术添加到智能手表中，软件充分利用手表的信号和数据处理能力，加上增加有限的硬件电路，不但可以通过手势方便的控制智能手表，而且也可以通过安装手势应用程序将智能手表变成通用手势识别控制器，极大地增强智能手表的实用性和价值，实现了两种技术的无缝整合。
【专利说明】智能手表基于手臂肌肉电流信号做手势识别的方案
【技术领域】
[0001]本发明涉及在智能手表中加入一种手势识别方法的技术方案，此手势识别方法基于手臂肌肉电流信号(EMG)检测，通过智能手表进行信号处理，提取手势特征参数，实现手势的区别。将此种手势识别技术集成到智能手表中，可以一体化的实现用手势控制智能手表，或者进一步通过智能手表实现通用手势识别控制器的功能，用于控制例如手机、电视、电脑等电子设备。在技术上，当我们做某种手势时，相应的手臂肌肉会产生微弱的生物电流信号，通过检测肌肉电流信号的变化，加上实时数字信号手势识别算法处理，可以检测出手指、手掌、手腕运动构成的手势的特征参数信息，达到手势区分，并进一步映射成各种计算机控制输入命令。同时，智能手表作为佩戴在手臂上紧贴皮肤的可穿戴设备，在提取生物特征并加以利用上具有先天的可行性优势，通过加入此种手势识别技术，将大幅度提高智能手表的实用价值。
【背景技术】
[0002]随着软硬件相关科技的快速发展，智能手表的集成度越来越高，功能越来越丰富，很大比例的手机功能可以通过智能手表实现，大大简化用户接收和传递信息的方法。但和智能手机比较，智能手表受限于小尺寸显示屏幕，在内容显示和操作上仍存在很大的缺陷，一般只能作为智能手机的辅助外设使用，使得实用性不够强，影响智能手表的普及；而在另一方面，和其他电子设备包括智能手机比较，智能手表紧贴用户的皮肤，通过添加生物感应器技术，在检测用户的生命生物信息并加以处理和利用上具有很大的优势和潜力。现代医学揭示手臂肌肉电流信号是属于神经系统产生的生物电流，肌肉借着神经冲动产生的微弱生物电流，产生收缩动力。手势是通过神经系统按照一定的方式刺激手臂的多块肌肉实现的。本发明提出了通过检测手臂肌肉电流信号的变化来实现手势识别，并应用在智能手表中，可以通过手势控制智能手表，或者通过手势应用程序将智能手表转换成通用手势控制器。此方案增加不多的硬件成本，主要利用智能手表已有的信号和数据处理能力，但是极大地提高智能手表产品的实用性和附加值。
【发明内容】
[0003]本发明的目的是针对智能手表实用功能偏少，并由于显示屏幕尺寸限制，用户控制输入困难的现状，结合手表佩戴和紧贴在手臂上的先天优势，提出的一种通过检测手表下手臂肌肉电流信号的变化来实现手势识别的新型方案。此发明不但可用于直接控制智能手表，而且可以通过手表实现通用手势识别控制器的功能。此发明通过在智能手表中增加不多的模拟信号前端处理和采集硬件电路，利用智能手表的计算处理能力识别手势，并配合已有外设，例如蓝牙通讯，实现智能手表价值的大幅提升。技术实现上，在手表紧贴皮肤的表带内侧以及手表的背面，按照手臂主要肌肉的位置，放置一路或多路表皮肌肉电流信号传感器，拾取肌肉电流信号；信号经过滤波，放大，模拟信号数字化等处理后，由智能手表的处理器进行实时的数字信号处理，提取各个手势的特征参数，实现手势区别以到达手势识别的目的。手势识别功能在智能手表的操作系统中被映射成一种人机交互设备(HID，Human Interface Device 或 HCI, Human Computer Interaction)。
【专利附图】
【附图说明】
[0004]图1:加入了通过肌肉电流信号识别手势技术的智能手表的一种可能外观示意。
[0005]图2:加入了通过肌肉电流信号识别手势技术的智能手表的另外角度外观示意。
[0006]图3:肌肉电流信号到手势信息所经过的各个信号处理环节框架示意。
[0007]图4:常用手势动作示意。
[0008]图5:手势识别算法基本流程示意。
【具体实施方式】
[0009]本发明的核心是在智能手表的中加入基于手臂肌肉电流信号检测做手势识别的功能。具体的技术实施为在手表的表带内侧紧贴手臂皮肤处以及手表的背面，按照手臂肌肉位置放置一路或者多路表皮肌肉电流传感器，传感器可能但不限于采用差分形式，拾取的信号通过相应的模拟信号滤波，放大，模拟信号数字化转换等电路，变成智能手表的处理器可见的连续的数字信号流，通过在处理器中实现手势识别处理算法，提取各个手势的特征参数，最终实现手势识别。
[0010]图1是集成了通过肌肉电流识别手势技术的智能手表(100)的一种可能的外观表现形式。智能手表(100)包含但不限于以下部件:带处理器、存储、通讯等电路和软件操作系统的手表主机(101)，手表的显示屏(105)，摄像头(104)，话筒(107)，按钮开关(108)，表带(102)。智能手表(100)安装的应用程序软件，通过菜单或者图标(106)方式可以选择运行和退出。此发明和现有智能手表在外观上最大的区别表现为:在表带(102)的内侧(102A)安装有表皮肌肉电流信号传感器(103)，可能但不限于差分传感器；传感器(103)的数量根据不同的成本需求、设计复杂度和手势识别精度可以是一路，或者多路。应当指出，图中展示的表带(102)分为中间分离的两部分，实际应用并不局限于此，本发明的着重点是在智能手表(100)的表带(102)内侧(102A)布置有传感器(103)电路，以及在手表主机(101)内实现的手势识别算法。表带(102)本身的表现形式可以是多样的。表带的外侧(102B)可以布置有但不限于其他辅助手势识别相关的部件。设计中，表带(102)内部可能但不限于安装与传感器(103)相关的模拟信号前端处理电路，可能但不限于采用柔性电路板技术。
[0011]图2是从另外一个角度观看集成了通过肌肉电流信号变化识别手势技术的智能手表(100)的外观表现形式，此角度主要展示传感器(103)在智能手表主机的背面(101A)的布置情况。传感器(103)除了可以布置在表带内侧(102A)，在手表主机背面(101A)同样可以按照设计需要放置；同时，传感器(103)的数量也不限于一路，或固定的几路，实际应用中传感器(103)的通道数量完全取决于设计成本、复杂度和手势识别精度的需求。
[0012]图3指示的是从手臂皮肤表面而来的表皮肌肉电流信号(306)可能经过的一系列处理环节。从传感器(103)拾取的原始表皮肌肉电流信号(306)，信号非常微弱，通常峰峰值在IOmV以内，对检测手势有用的信号频率范围在O?1000Hz以内。原始信号(306)经过线性模拟放大器电路(301)放大成峰峰值适合后续模拟到数字转换电路(303)量程的放大信号(307)，再经过滤波电路(302)做频率范围限制，以减少无用信号频率对后续算法的干扰，放大和滤波后的信号(308)按照那奎斯特(Nyquist) 二倍采样原理通过模拟到数字转换电路(303 )转换成数字信号(309 )，数字信号(309 )经过智能手表(100 )的处理器进行手势识别算法处理(304)，以最终检测出手势特征信息(305)。应当说明，此示意图只是用于说明整个信号处理流程的可能实现框架，实际实现中可能但不完全限于此框架，例如放大器电路(301)和滤波电路(302)在实现上完全有可能位置互换，滤波算法也可能在数字领域实现等等。
[0013]图4指示的是用于控制智能手表(100)可能的常用手势和手势代表的命令。例如:手掌上翻(401)的手势动作可用做往上移动命令，手掌下翻(402)可用作往下移动命令，握拳(403)可用作选择和确认命令，正常手掌位置(404)表示无命令输入。上述的动作也可以用来做连续手势动作，进而被映射成其他命令，例如快速的两次手掌上翻(401)动作，可以用来表示往左移动命令，连续的两次下翻(402)表示往右移动命令等。此处的图示只是用于描述手势动作和计算机命令输入可能的映射情况，实际应用中可以定义多种手势以满足不同应用的需要，例如特殊的手势动作或者手势动作序列可以用于启动或终止手势命令输入。
[0014]图5指示的是手势识别的数字信号处理算法流程框架。经过模拟到数字转换后的一路或多路数字信号(309)先经过数字预处理单元(501)进行例如数字滤波，用于进一步在信号中除去环境噪音，比如50Hz或者60Hz的电源交流信号干扰；经过数字预处理后的信号接着进入分段处理单元(502)，进行例如整流(Rectify)、均方根(RMS)、快速傅立叶变换(FFT)、小波运算(Wavelet)等处理，整理出各个信号通道(309)的频率和能量分布信息，相位一致性信息，以及通道和通道间的相位关系等信息；提取的多个信息再经过特征提取(503)算法的处理，例如阈值判断和自相关参数提取算法，提取出各个手势的特征参数。在工作模式下，手势判断逻辑(505)用特征参数配合手势特征库模型(504)数据，通过一定的算法进行匹配判断，最终输出手势信息(506)。除了工作模式，设备还将支持手势训练模式，在此模式下，特征参数被用于更新或扩展手势特征库模型(504 )。
[0015]最后应说明的是，以上实施例仅用以说明本发明可能的技术方案而非限制。根据实际应用的不同，产品在外观，算法等会有差异，尽管参照较佳实施例对本发明进行了详细说明，本领域的技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
【权利要求】
1.一种在智能手表中实现手势识别技术的方法，此手势识别技术核心基于手臂肌肉电流信号(EMG, Electromyography)检测，并将此技术运用在智能手表中，实现用手势控制手表。
2.如权利要求1集成了手势识别技术的智能手表，在手表表带内侧，紧贴手臂皮肤的位置有一路或多路表皮肌肉电流信号传感器，传感器按照手臂主要肌肉的位置放置，传感器可采用但不限于差分模式。
3.如权利要求1，2集成了手势识别技术的智能手表，在手表表带内部可装配有模拟信号处理电路，可能但不限于模拟信号放大电路、模拟信号滤波电路等，电路板可能采用但不限于柔性电路板技术。
4.如权利要求1，2，3集成了手势识别技术的智能手表，在智能手表主机背面，紧贴手臂皮肤位置，可不放置，或放置有一路，或多路表皮肌肉电流信号传感器，传感器按照手臂肌肉的位置放置，传感器可采用但不限于差分模式。
5.如权利要求1，2，3，4集成了手势识别技术的智能手表，一路或多路的手臂表皮肌肉电流信号，需要经过但不限于模拟信号放大电路、模拟到数字转换电路，滤波电路；滤波电路可以在模拟信号领域或者数字化后的数字域完成。
6.如权利要求1，2，3，4，5集成了手势识别技术的智能手表，数字化后的一路或多路肌肉电流信号，可由但不限于智能手表已有的中央处理器进行数字信号处理，提取各个手势的特征参数，通过手势特征库模型进行手势匹配，以区分手势，以及手势到计算机命令的可编程映射。
7.如权利要求6，提取的各个手势的特征参数，在训练模式下，可以用于更新和扩展手势特征库模型。
8.如权利要求6，通过智能手表识别的手势信息，在映射成计算机命令后，可用于直接控制智能手表；或者通过手势应用程序将智能手表转换成通用手势控制器，通过智能手表已配备的蓝牙或者W1-Fi等无线通讯方式，连接到其他电子设备，作为一种人机交互输入设备使用。
9.如权利要求1，手势命令对智能手机的控制，可以通过某些特殊手势动作或手势动作序列打开和关闭，或者通过智能手表上的物理按钮或虚拟按钮打开和关闭。
【文档编号】G04B47/06GK103558918SQ201310568203
【公开日】2014年2月5日 申请日期:2013年11月15日 优先权日:2013年11月15日
【发明者】不公告发明人 申请人:上海威璞电子科技有限公司