一种基于惯性传感器的虚拟键盘人机交互技术的制作方法
【专利摘要】本发明提出一种基于惯性传感器的虚拟键盘人机交互技术。智能穿戴设备周期性地向控制对象发送陀螺仪数据和加速度传感器数据；控制对象接收到数据后，通过敲击时刻识别模块、运动模式识别模块和所敲按键识别模块完成键盘的文本输入。所述三个模块的功能分别是：判定敲击的时刻；设定移动标志值、确定运动模式；根据敲击时刻的移动标志值判定所敲击的按键、生成相应的计算机输入指令内容控制计算机键盘文本输入。所述人机交互技术与传统键盘、虚拟激光投影键盘和触摸屏虚拟键盘等人机交互技术相比，输入方式更加自由灵活，提升了虚拟键盘人机交互的体验。
【专利说明】
一种基于惯性传感器的虚拟键盘人机交互技术
技术领域
[0001] 本发明涉及人机交互技术领域、惯性传感器技术领域和无线传感器网络技术领 域。
【背景技术】
[0002] 所谓人机交互（Human-Computer Interaction，HCI)，是指关于设计、评价和实现 人们使用的交互式计算机系统，并围绕相关的主要现象进行研究的学科。它与认知心理学、 人机工程学、多媒体技术、虚拟现实技术等密切相关。其中，认知心理学与人机工程学是人 机交互技术的理论基础，而多媒体技术、虚拟现实技术与人机交互是相互交叉和渗透的。人 机交互技术主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人 的信息交换两部分。
[0003] 在现有的人机交互方法中，文本输入方法主要包括传统键盘输入、虚拟激光投影 键盘输入、触摸屏输入、无线键盘输入、智能穿戴设备输入等等。
[0004] 1.传统键盘输入
[0005] 人与机器最初的交互起源于打字机，最早的键盘就是应用在这些技术不太成熟的 打字机上的。1868年美国人克里斯托夫?拉森?肖尔斯获打字机模型专利并取得经营权经 营，设计出沿用至今的"QWERTY"键盘。虽然键盘的出现将计算机带入了字符用户界面时代， 但是传统键盘不仅体积庞大、携带不便，无法满足移动终端对输入设备的需求。
[0006] 2.虚拟激光投影键盘输入
[0007] 随着计算机技术的发展，传统的机械键盘的输入方式已经不能满足用户的需求， 虚拟激光投影键盘作为一种新的文本输入方式，主要由键盘图像投影模块、红外图像采集 模块和红外激光定位系统三部分构成，用内置的红色激光发射器可以在任何表面投影出标 准键盘的轮廓，然后通过红外线技术跟踪手指的动作，确定按键命令，完成文本的输入，虽 然在功能上跟传统键盘一致，但是这种键盘需要一个特定的平面作为投影承载媒介，容易 受到外界干扰。
[0008] 3.触摸屏输入
[0009] 键盘的交互方式从PC时代一直延续到互联网时代，并无太大改变，直到20世纪90 年代初，触摸屏技术的出现，给人机交互领域带来了新一轮变革，彻底改变了人们的生活方 式。目前，市场上的触摸屏种类主要包括以下几种：电阻式、电容式、In-cell结构式和On-cell 结构式等等，并且不同种类的触摸屏有着不同的透光率特性、触摸分辨率特性和耐久 性特性。目前触摸屏技术已广泛应用于智能手机(例如iPhone)和平板电脑（比如Surface Pro)上，使用时在触摸屏上形成一个虚拟键盘，用户只需在上面轻轻一点，就能完成文本的 输入，用户的体验更轻快、流畅、精准。台式电脑由于没有配备触摸屏，还在使用传统的键盘 完成文本的输入，输入方式比较单一。
[0010] 4.无线键盘输入
[0011]随着计算机网络技术的发展，可以利用无线传感网络技术，将键盘与电脑脱离开 来，提高计算机的便捷使用性。例如，罗技公司的k230无线键盘，它采用2.4Ghz无线传输技 术，虽然在使用感受方面与普通有线键盘没有任何区别，没有任何延迟的现象出现，但是有 效通信范围受到限制;Remote Mouse键盘模拟技术，将智能手机或者平板电脑变成无线键 盘，远程控制PC机完成文本输入，缺点在于受限于触摸屏的虚拟键盘输入。
[0012] 5.智能穿戴设备输入
[0013] 2015年来自美国德克萨斯州奥斯汀的一个团队推出了一款名为Gest的可穿戴设 备。这款设备配备了加速器、陀螺仪和磁力计，这些传感器可以准确定位到手指的位置，并 将其通过蓝牙技术传输给计算机或者移动设备，带来了新的人机交互体验。Gest模拟键盘 时，手指不能向前后左右四个方向移动，只能在原地进行敲击。
【发明内容】
[0014] 为了解决现有技术体积庞大不便携带(例如传统键盘）、需要一个特定平面作为投 影媒介(例如虚拟激光投影键盘）、局限于远程触摸屏虚拟键盘输入(例如Remote Mouse键 盘控制）、不能向左右前后移动只能原地敲击输入(例如Gest键盘控制）的问题，本发明提出 一种基于惯性传感器的虚拟键盘人机交互技术。
[0015] 针对现有技术存在的问题，本发明提供的技术方案如下：
[0016] 智能穿戴设备(集成了加速度传感器和陀螺仪)周期性地向控制对象发送传感器 数据，所述数据包括Z轴方向陀螺仪数据、X轴方向加速度传感器数据和Y轴方向加速度传感 器数据，控制对象接收到数据后，通过敲击时刻识别模块、运动模式识别模块和敲击按键识 别模块实现按键的输入。所述3个模块采用的具体的技术方案如下。
[0017] 1.敲击时刻识别模块
[0018] 控制对象接收到智能穿戴设备发送来的陀螺仪数据后，首先进行卡尔曼滤波处 理，消除噪声，平滑陀螺仪数据，使得波峰波谷的特征更加明显后，然后进行实时波谷检测 (检测原理为极小值原理，检测时忽略绝对值较小的波谷），并且判定波谷出现的时刻为敲 击时刻。
[0019] 2.运动模式识别模块
[0020] 控制对象接收到智能穿戴设备发送来的加速度数据后，分别进行成对波峰波谷检 测(检测原理为极大值极小值原理，检测时忽略绝对值较小的波峰波谷），并将检测到的波 峰波谷依次加入到相应的缓存器中。所述缓存器包括两个，分别存储两个自由度的加速度 传感器波峰波谷数据。
[0021] 如果X/Y轴方向加速度传感器数据的波峰波谷缓存器中存有两个缓存元素，则进 行判定，如果这两个元素分别是波峰和波谷，将右/前移标志值设置为1，判定向右/前移动； 如果这两个元素分别是波谷和波峰，则将左/后移标志值设置为1，判定向左/后移动。继续 进行检测，如果右/前移标志值为1并且检测到波谷和波峰，则将右/前移标志值设置为〇，判 定向右/前移动后又回到初始位置，清空缓存器;如果左/后移标志值为1并且检测到波峰和 波谷，则将左/后移标志值设置为〇,判定向左/后移动后又回到初始位置，清空缓存器。
[0022] 所述运动模式包括静止、向某一方向移动、向某一方向移动后又回到初始位置，所 述某一方向包括向右、向左、向前和向后。所述移动标志值的设置是为了区分原地敲击还是 移动敲击。所述移动敲击包括向右敲击、向左敲击、向前敲击和向后敲击。
[0023] 3.敲击按键识别模块
[0024] 在敲击时刻，移动标志值存在五种情况。第一种情况是右移标志值为1，判定为向 右敲击按键;第二种情况是左移标志值为1，判定为向左敲击按键;第三种情况是前移动标 志值为1，判定为向前敲击按键;第四种情况是后移动标志值为1，则判定为向后敲击按键； 第五种情况是4个移动标志值均为0，判定为原地敲击按键;判定好敲击按键之后，生成相应 的计算机输入指令，控制键盘输入。
[0025] 所述技术方案包含的智能穿戴设备可识别5个按键，不少于6个所述的智能穿戴设 备即可识别26个按键，即可实现全英文字母覆盖输入。采用该技术方案，与传统键盘、虚拟 激光触摸键盘和触摸屏虚拟键盘等人机交互技术相比，输入方式更加自由灵活，提升了键 盘人机交互的体验。
【附图说明】
[0026]图1 一种基于惯性传感器的虚拟键盘人机交互技术示意图
[0027]图2敲击时刻识别模块示意图
[0028]图3 X轴方向运动模式识别模块示意图
[0029]图4敲击按键识别模块示意图
[0030] 图5卡尔曼滤波过后的陀螺仪数据示意图
【具体实施方式】
[0031] 下面结合附图对本发明的技术方案作进一步详细描述。如图1，智能穿戴设备周期 性地向控制对象发送陀螺仪数据和加速度传感器数据，控制对象接收到智能穿戴设备发送 来的加速度数据后，通过3个模块实现键盘输入。所述的3个模块如图2、图3和图4所示，具体 实施过程如下。
[0032] 1.敲击时刻识别模块实施
[0033]控制对象接收到智能穿戴设备发送来的陀螺仪数据后，先进行卡尔曼滤波处理， 随后进行实时波谷检测，并且判定波谷出现的时刻为敲击时刻。
[0034] 2.运动模式识别模块实施
[0035] 控制对象接收到智能穿戴设备发送来的加速度数据后，分别进行成对波峰波谷检 测，并将检测到的波峰波谷依次加入到相应的缓存器中。
[0036] 以X轴方向加速度传感器为例，如果检测到缓存器中存有两个缓存元素，则进行判 定，如果这两个元素分别是波峰和波谷，将右移标志值设置为1，判定右向移动;如果这两个 元素分别是波谷和波峰，将左移标志值设置为1，判定左向移动。继续进行检测，如果右移标 志值为1，并且检测到波谷和波峰，则将右移标志值设置为〇,判定右向移动后又回到初始位 置，清空缓存器;如果左移标志值为1，并且检测到波峰和波谷，则将左移标志值设置为〇，判 定左向移动后又回到初始位置，清空缓存器。
[0037] 3.敲击按键识别模块
[0038]在敲击时刻，根据移动标志值存在五种情况进行敲击按键识别。第一种情况是右 移标志值为1，判定为向右敲击按键;第二种情况是左移标志值为1，判定为向左敲击按键； 第三种情况是前移动标志值为1，判定为向前敲击按键;第四种情况是后移动标志值为1，则 判定为向后敲击按键;第五种情况是4个移动标志值均为Ο，判定为原地敲击按键;判定好敲 击按键之后，生成相应的计算机输入指令，控制键盘输入。
[0039]下面通过具体的实施例，即模拟敲击f键、g键、d键、r键和ν键的实施例，对本发明 的技术方案和交互效果进行描述:所述实施例使用的智能穿戴设备集成了三轴加速度传感 器模块和三轴陀螺仪模块，其采样频率是50Hz。智能穿戴设备每隔0.02秒向控制对象发送 一次X轴速度传感器数据、Y轴速度传感器数据和Z轴陀螺仪数据。控制对象接收到数据后， 通过敲击时刻识别模块、运动模式识别模块和敲击按键识别模块实现键盘输入。卡尔曼滤 波后的陀螺仪数据如图5所示，显示出明显的波谷特征;敲击时刻对应的移动标志值如表格 1所示，结果显示智能穿戴设备准确地控制键盘输入了 4个r、4个ν、4个f、4个g和4个d。
[0040] 表格 1
[0041]
【主权项】
1. 一种基于惯性传感器的虚拟键盘人机交互技术，其特征在于： S1:敲击时刻的识别； S2:运动模式的识别； S3:所敲按键的识别。2. 如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S1进 一步包括:控制对象接收到智能穿戴设备发送来的陀螺仪数据后，首先进行卡尔曼滤波处 理，然后进行实时波谷检测(检测原理为极小值原理，检测时忽略绝对值较小的波谷），并且 判定波谷出现的时刻为敲击时刻。3. 如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S2进 一步包括:控制对象接收到智能穿戴设备发送来的加速度传感器数据后，分别进行成对波 峰波谷检测(检测原理为极大值极小值原理，检测时忽略绝对值较小的波峰波谷），并将检 测到的波峰波谷依次加入到相应的缓存器中。4. 如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S2进 一步包括： 如果X/Y轴方向加速度传感器数据的波峰波谷缓存器中存有两个缓存元素，则进行判 定，如果这两个元素分别是波峰和波谷，将右/前移标志值设置为1，判定向右/前移动;如果 这两个元素分别是波谷和波峰，则将左/后移标志值设置为1，判定向左/后移动。继续进行 检测，如果右/前移标志值为1并且检测到波谷和波峰，则将右/前移标志值设置为0，判定向 右/前移动后又回到初始位置，清空缓存器；如果左/后移标志值为1并且检测到波峰和波 谷，则将左/后移标志值设置为0,判定向左/后移动后又回到初始位置，清空缓存器。5. 如权利要求1所述的一种基于惯性传感器的虚拟键盘人机交互技术，所述步骤S3进 一步包括： 在敲击时刻，根据移动标志值判定敲击的按键。如果右移标志值为1，则判定为向右敲 击对应的按键;如果左移标志值为1，则判定为向左敲击对应的按键;如果前移动标志值为 1，则判定为向前敲击对应的按键;如果后移动标志值为1，则判定为向后敲击对应的按键； 如果4个移动标志值均为0,则判定为原地敲击对应的按键。判定好敲击的按键后，生成相应 的计算机输入指令内容控制键盘输入。
【文档编号】G06F3/01GK105975091SQ201610526346
【公开日】2016年9月28日
【申请日】2016年7月5日
【发明人】桂林卿, 杨帅, 余海, 房鹏, 陈洪洋, 束锋
【申请人】南京理工大学