专利名称：一种人机交互设备的制作方法
技术领域：
本发明涉及计算机应用技术领域，特别是涉及一种佩戴在手指上的人机交互设备。
背景技术：
现代的新型人机交互有很多种形式，包括多点的触摸屏，基于传感器的体感设备， 基于图像识别的交互，基于肌肉计算的交互等。以上的各种交互方式能够弥补很多以前存在的不足，但是这些交互方式也存在一些新问题和缺点。多点触摸的交互方式，这种交互方式现在已经非常普遍的应用在各种设备中了， 该设备的原理是当人的手指接触触摸屏元件时，该点的电容或者电阻会发生相应的变化， 通过采集不同点的数值就可以判断出触摸的位置。但是这种设备的局限在于操作者必须在设备前使用并与触摸屏接触，当远离设备时是无法操作该设备的。体感型人机交互方式，其包括通过遥控器内的加速度传感器感知使用者手部的运动来进行交互，或是通过一种特殊的摄像头，这种摄像头可以采集景深信息，然后通过对图像的处理重构出使用者的骨架来进行交互。体感交互方式的缺点在于使用者必须在设备前大幅度的动作才能够被准确的判断为交互动作，微小的动作是不被接受的。一种肌肉计算的交互设备，设备通过采集人体肌肉的肌电信号来判断人体手部的动作，从而进行交互。这种设备目前还不成熟，设备笨重且不易携带。采集人手部动作的数据手套，该手套的原理是每一个手指都附着一个弯曲传感器，通过对弯曲传感器的变化的采集来重现人体的手部的动作最终完成交互。这种设备造价极为昂贵，且佩带起来相对麻烦，尤其是在炎热的夏季这种设备不适合普通用户使用。
发明内容
本发明的目的在于提供一种新型人机交互设备，该设备支持一种全新人机交互方式可接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。为实现本发明的目的而提供的一种人机交互设备，包括运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集设备与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和设备与其他表面的摩擦音频，得到“拖拽” 的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。所述人机交互设备通过无线的方式和其他设备进行连接实现人机交互。所述处理模块，包括拖拽命令模块，用于根据采集的运动轨迹，判断在起点和终点之间的设备在运动过程中人的手势，根据设备与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作；点击命令模块，用于通过计算麦克风采集的音频瞬时功率和所述运动位置传感器的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。所述拖拽命令模块，包括音频处理子模块，用于当设备与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；位移处理子模块，用于通过对运动位置传感器进行建模处理，计算所述设备的位移轨迹。所述音频处理子模块，通过计算声音片段的MFCC参数、过零率和功率指标，经过训练利用SVM分类器得到该段音频是否是摩擦来确定的起始点。所述人机交互设备，设计成一个戒指佩戴在手指上，在戒指的上方部署用于采集手指运动与姿态的传感器，在戒指的下方安装一个音孔朝向手指皮肤的麦克风，戒指是电池供电，通过无线的方式和其他设备进行连接。所述传感器是加速度传感器、陀螺仪中的一个或多个。所述音频处理子模块，用于当手指与其他表面发生滑动摩擦时，声波会通过手指骨传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点。所述人机交互设备，设计成笔型，所述麦克风和所述运动位置传感器是安装在笔尖处。所述音频处理子模块，具体执行下列操作通过麦克风采集到音频，将音频变成数字化的信号也就是音频文件；通过截断的方法，把音频切成片段；对获得的片段进行处理，加海明窗，计算MFCC，计算片段的功率，计算片段的过零率作为特征，该特征为一个多维的向量由MFCC和片段功率过零率拼接而成；对获得的片段进行标注，并训练SVM模型；通过SVM对计算出来的特征进行分类，把小片段分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。本发明的有益效果是本发明的设备体积小(接近戒指体积)，佩戴方便，无需专用的操作表面，且可识别微小动作，使用舒适自由。
图1是本发明的人机交互设备的结构示意图；图2是本发明的一种人机交互设备的一实施例的示意图；图3是图2的实施例佩戴在手指上的示意图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种人机交互设备进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明的人机交互设备，由用于采集手指运动与姿态的运动位置传感器(如线加速度传感器、陀螺仪传感器中的一种或多种)和音孔朝向手指皮肤的麦克风共同构成。通过判断摩擦起始点这种新颖的方式解决了传统体感设备难以得到动作的起始数据的问题。 另外通过麦克风指向手指皮肤来采集骨传导音频的方式也大大的提高了摩擦声音的信噪比。下面结合上述目标详细介绍本发明的一种人机交互设备，图1是本发明的人机交互设备的结构示意图，如图1所示，所述设备1，包括运动位置传感器11，用于采集运动轨迹与姿态；麦克风12，用于采集设备与其他表面的摩擦音频；处理模块13，用于根据采集的运动轨迹和设备与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。所述处理模块13，包括拖拽命令模块131，用于根据采集的运动轨迹，判断在起点和终点之间的设备在运动过程中人的手势，根据设备与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间， 得到一个拖拽动作；所述拖拽命令模块131，包括音频处理子模块1311，用于当设备与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；所述音频处理子模块，通过计算声音的MFCC参数、过零率和功率指标，经过训练利用SVM分类器得到摩擦的起始点。具体执行下列操作1.通过麦克风采集到音频，将音频变成数字化的信号。2.通过截断的方法，把音频切成很短的片段。3.对获得的片段进行处理，加窗(海明窗)，计算MFCC，计算片段的功率，计算片段的过零率作为特征，该特征为一个多维的向量由MFCC和片段功率过零率拼接而成。4.对获得的片段进行标注，并训练SVM模型。5.通过SVM对计算出来的特征进行分类，把小片段分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。位移处理子模块1312，用于通过对运动位置传感器进行建模处理，计算所述设备的位移轨迹。所述位移处理子模块，利用滤波然后修正再积分的方法计算所述设备的位移轨迹。点击命令模块132，用于通过计算麦克风采集的音频瞬时功率和所述运动位置传感器的一个轴向线加速度，得到相应的数值，利用阈值的方法对该数值进行处理判断是否是一个点击动作。所述人机交互设备1通过无线的方式和其他设备进行连接实现人机交互。本发明一共采集两种不同的交互命令拖拽和点击。
设备或者计算机通过对以上数据的计算，得到相应的交互命令，即拖拽和点击来对相应的设备或计算机进行进一步的交互。拖拽本发明的拖拽定义为，该设备与其他物体表面(桌面，衣服，皮肤，其他手指等)发生滑动摩擦的行为，这个拖拽是有相应的轨迹与方向的。关于拖拽一共分为2个方面，一方面是拖拽的起始点，一方面是拖拽过程中手指的运动轨迹。当与其他表面发生滑动摩擦时， 声波会传导到设备的麦克风中。然后设备通过相应的对音频处理的算法来判断是否是一个摩擦声，从而得到摩擦的起始点。而拖拽的轨迹，是通过对设备上的线加速度传感器和陀螺仪进行建模处理，计算出来的。本发明中采集摩擦的起始点，是通过算法实现的，计算声音的MFCC参数、过零率， 和功率指标，通过训练利用SVM分类器得到，当然这不是唯一的方法，还可以采用其他一些现有技术。本发明中获得拖拽轨迹是通过现有成熟技术完成的，利用滤波然后修正再积分的方法完成。以上都只是实现方法，实际上还可以有其他类似的方法得到这些结果。点击本发明的点击定义为，该设备与其他物体表面发生碰撞的行为(可扩展为单击， 双击等)。通过计算麦克风采集的音频瞬时功率和线加速度传感器的一个轴向线加速度，可以得到相应的数值，利用算法对该数值进行处理，就可以判断是否是一个点击动作。采集瞬时功率和一个轴的计算度数值，然后通过判断阈值(阈值通过统计得出)的方法来确定是不是一个点击。图2是本发明的一种人机交互设备的一实施例的示意图，图3是图2的实施例佩戴在手指上的示意图，如图2和图3所示，作为一种可实施方式，整体设备设计成一个戒指佩戴在手指上，在戒指的上方部署用于采集手指运动与姿态的传感器(可部署加速度传感器、陀螺仪等中的一个或多个，一种实施方式为部署线加速度传感器)。在戒指的下方安装一个音孔朝向手指皮肤的麦克风。戒指是电池供电，通过无线的方式(蓝牙、数传等)和其他设备进行连接。所述人机交互设备2，包括运动位置传感器21，用于采集手指运动与姿态的运动位置；麦克风22，音孔朝向手指皮肤，用于采集的手指与其他表面的摩擦音频以及麦克风的瞬时功率；处理模块23，用于根据采集手指运动与姿态的运动位置，判断在起点和终点之间的手指的姿态来获得在运动过程中人的手势，当手指与其他表面发生滑动摩擦时，声波会通过手指骨传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点，得到“拖拽”命令的人机交互命令；以及通过采集到的运动位置传感器数据和麦克风的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；所述人机交互设备2通过无线的方式24 (蓝牙、数传等)和其他设备进行连接，利用手指移动过程的手势进行人机交互。将所述人机交互设备2佩戴在人的手指或手臂上后，可接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。本发明的人机交互设备主要用于人机交互领域，可以有很多种不同的外形，作为另一种可实施方式，可以做成笔的形状，区分在于做成笔的话，麦克风和传感器应该安装在笔尖处。相对于传统的体感设备，或者遥控设备，本发明有很多优点首先该发明不要求使用者在交互动作中大幅度的运动，即可以用手指非常小幅的摩擦和点击就可以轻松完成和设备之间的交互；另外本发明可以制成一种可穿戴式的交互设备，也就是说对于随时随地的交互都提供了便利；最后本发明的目的是“把所有的平面都变成触摸板”，这对提高交互体验有着非常重要的促进作用。通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。
权利要求
1.一种人机交互设备，其特征在于，所述设备，包括 运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集设备与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。
2.根据权利要求1所述的人机交互设备，其特征在于，所述人机交互设备通过无线的方式和其他设备进行连接实现人机交互。
3.根据权利要求1所述的人机交互设备，其特征在于，所述处理模块，包括拖拽命令模块，用于根据采集的运动轨迹，判断在起点和终点之间的设备在运动过程中人的手势，以及根据与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作；点击命令模块，用于通过计算麦克风的采集音频瞬时功率和所述运动位置传感器的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。
4.根据权利要求3所述的人机交互设备，其特征在于，所述拖拽命令模块，包括 音频处理子模块，用于当与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；位移处理子模块，用于通过对运动位置传感器进行建模处理，计算所述设备的位移轨迹。
5.根据权利要求4所述的人机交互设备，其特征在于，所述音频处理子模块，通过计算声音片段的MFCC参数、过零率和功率指标作为特征，利用经过训练的SVM分类器得到摩擦的起始点。
6.根据权利要求4所述的人机交互设备，其特征在于，所述人机交互设备，设计成一个戒指佩戴在手指上，在戒指的上方部署用于采集手指运动与姿态的传感器，在戒指的下方安装一个音孔朝向手指皮肤的麦克风，通过无线的方式和其他设备进行连接。
7.根据权利要求6所述的人机交互设备，其特征在于，所述传感器是加速度传感器、陀螺仪中的一个或多个。
8.根据权利要求6所述的人机交互设备，其特征在于，所述音频处理子模块，用于当手指与其他表面发生滑动摩擦时，声波会通过手指骨传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点。
9.根据权利要求1所述的人机交互设备，其特征在于，所述人机交互设备，设计成笔型，所述麦克风和所述运动位置传感器是安装在笔尖处。
10.根据权利要求5所述的人机交互设备，其特征在于，所述音频处理子模块，具体执行下列操作通过麦克风采集到音频，将音频变成数字化的信号也就是音频文件； 通过截断的方法，把音频切成片段；对获得的片段进行处理，加海明窗，计算片段的MFCC，计算片段的功率，计算片段的过零率作为特征向量；该特征为一个多维的向量由MFCC和片段功率过零率拼接而成；对获得的片段的特征进行标注，并训练SVM模型；通过SVM对计算出来片段的特征进行分类，分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。
全文摘要
本发明公开了一种人机交互设备，包括运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。所述设备能够接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。
文档编号G06F3/01GK102184011SQ20111011766
公开日2011年9月14日 申请日期2011年5月6日 优先权日2011年5月6日
发明者张博宁, 王向东, 钱跃良 申请人:中国科学院计算技术研究所