用于智能眼镜的虚拟键盘系统的制作方法
【专利摘要】本发明公开一种用于智能眼镜的虚拟键盘系统，人手追踪系统和自定位系统集成在智能眼镜主体上；人手追踪系统用于探测人手三维定位信息和空间位置、角度；自定位系统固定连接在智能眼镜主体上，用于获取人头部的实时自然运动数据，计算人头部的实时自然运动的空间方向、位移、速度；智能眼镜主体采集人手追踪系统和定位系统的信息，计算实时相对运动数据。本发明通过物理平面与屏幕的关联映射可以有效避免交互系统误响应；人手在物理平面上操作，可有效缓解因为悬空手臂操作导致的疲劳感；提供类似于传统的交互操作界面，能够适应操作者的操作习惯，便于使用；通过自定位系统的引入，可以有效消除由于人的头部运动导致的操作偏移问题。
【专利说明】用于智能眼镜的虚拟键盘系统
【技术领域】
[0001]本发明涉及人工智能领域，具体涉及一种用于智能眼镜的虚拟键盘系统。
【背景技术】
[0002]近几年，智能可穿戴设备的开发越来越热，智能可穿戴设备包括智能手表、智能眼镜、智能手环等产品。其中，智能眼镜是类似智能手机一样，具有独立的操作系统，可以由用户安装软件、游戏等软件服务商提供的程序，通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络实现无线网络接入的一类眼镜的总称。
[0003]Google Glass，是由谷歌公司于2012年4月发布的一款“增强现实”眼镜，具有和智能手机一样的功能，通过声音控制拍照，视频通话和辨明方向以及上网冲浪、处理文字信息和电子邮件等。但是目前与智能眼镜进行人机交互的方式主要通过语音交互或者人眼部运动捕捉，并没有其他更好的交互方式能让智能眼镜响应人的命令信号。
[0004]语音交互技术由于其输入信号的局限性，作为现有技术的一个补充，并不能完全解决人与计算机进行交互的问题。且只能通过人的声音命令单次断续的给计算机发送命令，不可能像鼠标那样迅速、准确的让人与计算机进行命令交互，无法满足控制信号快速、准确的输入要求。
[0005]人眼部运动捕捉控制，是智能眼镜通过捕捉人眼珠的转动和眨眼等动作进行相应的响应，控制模式较为有限，而且存在着操作不够准确、使用时易产生疲劳感等缺点。
[0006]传统的人机交互方式更多的是采用人的肢体语言发送命令信号给计算机，比如用手指通过鼠标发送信号给计算机、通过身体控制游戏、触屏采用手指的点击发送信号等。其发展较为成熟，最经典的配置就是笔记本电脑的键盘、触摸板结合的方案，可以实现便捷高效的输入。
[0007]对于可透视的智能眼镜，需要提供一种精确高效且不易使人产生疲劳感的交互方案，以便能够使得智能眼镜可以作为一种独立的工作单元进行工作，这样可以极大地拓展智能眼镜的应用范围，甚至可以作为一台随身携带的个人电脑使用。
[0008]采用类似于传统笔记本电脑的键盘布局，围绕智能眼镜搭建一种仿真的虚拟键盘系统，不但可以适应人们的使用习惯，而且有利于实现精确高效的交互操作。至于人手悬空操作易产生疲劳感的问题，则可以通过生活中普遍存在的具有平面的物体(如桌子、书本甚至墙壁等)作为承载体，人手在此类物体的平面上进行相应的动作，并将人手动作映射到虚拟键盘上来从而形成相应模拟交互环境。
[0009]在专利申请号201310263439.9，“一种人机交互的智能眼镜系统及交互方法”中，提出一种输入方法:利用双目红外装置对悬空于眼部前的人手进行三维追踪定位从而获得手势动作作为输入，适合于对于智能眼镜中所模拟出的悬空屏幕进行按键操作。
[0010]上述方法有以下几个不足:1、人体会有一定程度的自然摆动，比如人的头部在自然姿态下并不是绝对静止的，而是实时的有一些晃动，这种晃动的幅度和方向是不可预知的，当人手进行悬空的操作时，如果此时人的头部产生了特定方向的晃动，而人手并没有动，可能会出现双目红外装置追踪到手相对于头部的“点击”动作，双目装置识别的是眼镜投射屏幕与手的相对运动的点击动作，而无法判定出是手的运动造成还是人头部的自然摆动造成，容易造成误触发从而影响控制质量，而如果人保持高度集中，头部尽量静止来保证精确输入则易造成疲劳感和精神恍惚。
[0011]2、由于手部需要悬空进行三维操作，无法避免长时间操作易产生疲劳感的问题，在个人产品实际体验中，采用Leap Motion设备相类似的三维手势操作方式，通常10分钟后手臂会产生明显酸痛感。
[0012]3、没有提供普适的精确操作接口，不能满足多样化的交互要求，仅能提供辅助性的操作输入。
[0013]从以上分析来看，专利申请号201310263439.9中提出的方案适用于临时性的或者不具敏感性质的操作情形，并不适用于有频繁交互需求且要求交互高效精确的智能眼镜使用环境。
[0014]市场上现有的智能眼镜通常通过语音交互或者人眼部运动捕捉进行响应，有以下缺点:1、语音交互具有局限性，只能断续进行输入操作，不能进行快速精确输入；2、语音交互易产生疲劳感，无法适应长时间的交互要求；3、语音交互适用于作为补充性的交互方式，很难进行独立的纯语音交互；4、人眼部运动捕捉易产生误操作，人眼有不自主性的动作产生，容易造成误触发；5、人眼部动作捕捉易使人产生疲劳感，不利于进行长时间交互；6、人眼部动作捕捉的模式较少，不利于复杂的操控。
【发明内容】
[0015]本发明在于解决现有技术存在的上述技术问题，提供一种用于智能眼镜的虚拟键盘系统。
[0016]本发明的技术方案包括一种用于智能眼镜的虚拟键盘系统，包括智能眼镜主体、人手追Ife系统和自定位系统，所述人手追Ife系统和自定位系统集成在所述智能眼镜王体上；所述人手追踪系统用于探测人手三维定位信息和空间位置、角度，并传送给所述智能眼镜主体；所述自定位系统固定连接在所述智能眼镜主体上，用于获取人头部的实时自然运动数据，计算人头部的实时自然运动的空间方向、位移、速度，并传送给所述智能眼镜主体；所述智能眼镜主体采集所述人手追踪系统和定位系统的信息，计算实时相对运动数据。
[0017]优选地，所述智能眼镜主体包括智能眼镜框架、显示模块、运算模块；所述智能眼镜框架用于人手追踪系统和自定位系统，提供系统所有模块的载体；所述显示模块用于提供投射显示，并提供模拟键盘和触摸板的显示；所述运算模块采集所述人手追踪系统和定位系统的信息，计算实时相对运动数据，得到有效操作信息。
[0018]优选地，所述投射显示包括主显示区域、虚拟键盘显示区域和触摸板显示区域。
[0019]优选地，所述人手追踪系统包括双目摄像模块和平面探测模块，所述双目摄像模块用于探测人手的景深影像，获得人手的三维定位信息，并传送给所述智能眼镜主体；所述平面探测模块用于探测人手所处平面的空间位置和角度，并传送给所述智能眼镜主体。
[0020]优选地，所述双目摄像模块包括两个摄像头及双目摄像处理单元，所述双目摄像处理单元采集所述摄像头的图像，采用立体算法计算手指指尖的位置。[0021]优选地，所述平面探测模块由至少3个固定朝向不同的测距仪构成。
[0022]优选地，所述测距仪采用激光测距仪或者红外测距仪。
[0023]优选地，所述自定位系统包括定位传感器和定位单元，所述定位传感器固定连接在所述智能眼镜主体上，用于获取人头部的实时自然运动数据；所述定位模块获取所述定位传感器的数据，计算人头部的实时自然运动的空间方向、位移、速度，并传送给所述智能眼镜主体。
[0024]优选地，所述定位传感器采用陀螺仪或者加速度计。
[0025]本发明的有益效果包括:通过物理平面与屏幕的关联映射可以有效避免交互系统误响应；人手在物理平面上操作，可有效缓解因为悬空手臂操作导致的疲劳感；提供类似于传统的交互操作界面，能够适应操作者的操作习惯，便于使用；通过自定位系统的引入，可以有效消除由于人的头部运动导致的操作偏移问题。
【专利附图】
【附图说明】
[0026]图1为本发明实施例的虚拟键盘系统的工作流程图。
[0027]图2为本发明实施例的虚拟键盘系统的双目相机立体定位示意图。
[0028]图3为本发明实施例的虚拟键盘系统的三维平面定位示意图。
[0029]图4为本发明实施例的虚拟键盘系统的显示输出区域示意图。
【具体实施方式】
[0030]下面结合附图和具体实施例对本发明作进一步详细说明。
[0031]本发明以智能眼镜为主体，通过集成人手追踪系统、自定位系统进行智能眼镜虚拟键盘系统的功能实现。
[0032]本发明实施例提供一种用于智能眼镜的虚拟键盘系统，如图1所示，包括智能眼镜主体1、人手追踪系统2和自定位系统3，该虚拟键盘系统操作环境可以选用生活中常用物体的物理平面，要求是非透明的，可以是桌子、平整的书本、墙壁、窗台、凳子及相类似的非透明物体的平面。
[0033]人手追S示系统2和自定位系统3集成在智能眼镜王体I上；人手追S示系统2用于探测人手三维定位信息和空间位置、角度，并传送给智能眼镜主体I ;自定位系统3固定连接在智能眼镜主体I上，用于获取人头部的实时自然运动数据，计算人头部的实时自然运动的空间方向、位移、速度，并传送给智能眼镜主体I ;智能眼镜主体I采集人手追踪系统2和定位系统的信息，计算实时相对运动数据。
[0034]该虚拟键盘系统使用前需要先进行预定位，在使用中人手在选定的物理平面上的操作映射到投影出的虚拟键盘中，产生相对应的交互效果。
[0035]本发明实施例，通过物理平面与屏幕的关联映射可以有效避免交互系统误响应；人手在物理平面上操作，可有效缓解因为悬空手臂操作导致的疲劳感；提供类似于传统的交互操作界面，能够适应操作者的操作习惯，便于使用；通过自定位系统3的引入，可以有效消除由于人的头部运动导致的操作偏移问题。
[0036]智能眼镜主体I包括智能眼镜框架、显示模块、运算模块；智能眼镜框架使用智能眼镜的基本框架，用于人手追踪系统2和自定位系统3，提供系统所有模块的载体；[0037]智能眼镜框架包括常用的智能眼镜的物理框架主体，微处理器、独立电源、无线连接装置及投影显示装置。
[0038]显示模块用于提供投射显示，并提供模拟键盘和触摸板的显示；运算模块采集人手追踪系统2和定位系统的信息，计算实时相对运动数据，得到有效操作信息。
[0039]投射显示包括主显示区域、虚拟键盘显示区域和触摸板显示区域。其将虚拟人手按照实际人手的位置显示在交互区上方。
[0040]优选地，人手追踪系统2包括提供人手相对于智能眼镜的3D定位信息的双目摄像模块和平面探测模块，双目摄像模块用于探测人手的景深影像，获得人手的三维定位信息，并传送给智能眼镜主体I ;平面探测模块用于探测人手所处平面的空间位置和角度，并传送给智能眼镜主体I。
[0041]双目摄像模块，用于虚拟键盘系统工作时对操作人的双手指尖进行空间定位和追踪，包括两个摄像头及双目摄像处理单元，双目摄像处理单元采集摄像头的图像，采用立体算法计算手指指尖的位置。
[0042]根据虚拟键盘系统的需要，该双目摄像模块实现对人的双手的手指的质检进行实时定位追踪，模块的两个摄像头根据所探测到的两张图像采用立体算法计算出手指指尖的实时位置，基本原理如图2所示，当追踪判定指尖在某位置与所使用的物理平面接触时，虚拟键盘系统的效果即为手指在相对应的虚拟位置处按下，产生相应的输入响应。
[0043]视差c^XfXffb/z,
[0044]其中，f为焦点距离，b为基线，z为纵向距离。
[0045]由于系统可以 同 时追踪十个手指，因此可以支持10个手指同时按下进行输入。当判定人手移动到触摸板位置后，同样的，人手在桌面上的触摸、滑动及双击等操作，相当于在虚拟键盘下的虚拟触摸板上做下相同的操作。
[0046]平面探测模块提供所使用物理平面相对于智能眼镜的3D定位信息，由至少3个固定朝向不同的测距仪构成，上述测距仪定位出的三个点来定位操作环境所使用的物理平面的空间位置。
[0047]优选地，测距仪采用激光测距仪或者红外测距仪。
[0048]平面探测模块提供所使用物理平面相对于智能眼镜的位姿信息，每个测距仪发出的光线会与物理平面产生一个交点，三个就会产生三个交点，且根据测距仪的数据可以在空间中定位出这三个交点分别相对测距仪组的距离数据，则每个点的方向和距离都确定后即可确定点相对于测距仪组的空间位置，根据三个点的数据即可确定出该物理平面相对于测距仪组的相对空间位置，如图3所示，即可得到物理平面相对于智能眼镜的3D定位信息。
[0049]自定位系统3为在虚拟键盘系统工作时实时探测出由于人头部的自然摆动所产生的双目相机的扰动，避免因为人头部的运动造成系统定位的偏移，包括定位传感器和定位单元。
[0050]定位传感器固定连接在智能眼镜主体I上，用于获取人头部的实时自然运动数据；定位模块获取定位传感器的数据，计算人头部的实时自然运动的空间方向、位移、速度，并传送给智能眼镜主体I。
[0051]优选地，定位传感器采用陀螺仪或者加速度计。
[0052]本发明实施例工作过程:[0053]1、虚拟键盘系统进入工作前，首先选取一处平整的非透明的物理实体平面，避免光折射造成追踪系统的紊乱，双手以操作传统键盘的姿势自然放置于该平面上；
[0054]2、启动虚拟键盘系统后，该系统设定预定位，以便于提供手、平面与相应的初始定位。此过程的完成包含人手相对于智能眼镜的定位和使用的物理平面相对于智能眼镜的定位。
[0055]3、初始定位完成后，该系统即可正常工作，虚拟键盘系统中的模拟手将严格根据人手的位置移动进行相应的移动，若手指执行敲击动作则模拟手在模拟键盘中执行相应的敲击动作，同样也可以将手移动到触摸操作区域，可进行模拟触摸板的控制，如图4中所示。严格根据人手移动做出响应是针对人头部的自然摆动，人们在交互操作时头部的摆动将不影响模拟影像中模拟手的动作。运算模块根据自定位系统3实时得到头部运动的信息，依据头部与手的实时相对运动数据扣除头部的实时运动数据，即可得到手部的有效操作信息，从而实现精确地交互操作。
[0056]本发明实施例具有如下效果:
[0057]①、通过物理平面与屏幕的关联映射可以有效避免交互系统误响应；
[0058]②、人手在物理平面上操作，可有效缓解因为悬空手臂操作导致的疲劳感；
[0059]③、提供类似于传统的交互操作界面，能够适应操作者的操作习惯，便于使用；
[0060]④、通过眼镜自我定位系统的引入，可以有效消除由于人的头部运动导致的操作偏移问题；
[0061]⑤、能够随时随地方便地将智能眼镜作为具备完整输入功能的独立终端使用，有利于智能眼镜的推广应用。
[0062]以上所述本发明的【具体实施方式】，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
【权利要求】
1.一种用于智能眼镜的虚拟键盘系统，其特征在于，包括智能眼镜主体、人手追踪系统和自定位系统，所述人手追踪系统和自定位系统集成在所述智能眼镜主体上；所述人手追踪系统用于探测人手三维定位信息和空间位置、角度，并传送给所述智能眼镜主体；所述自定位系统固定连接在所述智能眼镜主体上，用于获取人头部的实时自然运动数据，计算人头部的实时自然运动的空间方向、位移、速度，并传送给所述智能眼镜主体；所述智能眼镜主体采集所述人手追踪系统和定位系统的信息，计算实时相对运动数据。
2.如权利要求1所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述智能眼镜主体包括智能眼镜框架、显示模块、运算模块；所述智能眼镜框架用于人手追踪系统和自定位系统，提供系统所有模块的载体；所述显示模块用于提供投射显示，并提供模拟键盘和触摸板的显示；所述运算模块采集所述人手追踪系统和定位系统的信息，计算实时相对运动数据，得到有效操作信息。
3.如权利要求2所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述投射显示包括主显示区域、虚拟键盘显示区域和触摸板显示区域。
4.如权利要求1所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述人手追踪系统包括双目摄像模块和平面探测模块，所述双目摄像模块用于探测人手的景深影像，获得人手的三维定位信息，并传送给所述智能眼镜主体；所述平面探测模块用于探测人手所处平面的空间位置和角度，并传送给所述智能眼镜主体。
5.如权利要求4所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述双目摄像模块包括两个摄像头及双目摄像处理单元，所述双目摄像处理单元采集所述摄像头的图像，采用立体算法计算手指指尖的位置。
6.如权利要求4所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述平面探测模块由至少3个固定朝向不同的测距仪构成。
7.如权利要求6所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述测距仪采用激光测距仪或者红外测距仪。
8.如权利要求1所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述自定位系统包括定位传感器和定位单元，所述定位传感器固定连接在所述智能眼镜主体上，用于获取人头部的实时自然运动数据；所述定位模块获取所述定位传感器的数据，计算人头部的实时自然运动的空间方向、位移、速度，并传送给所述智能眼镜主体。
9.如权利要求8所述的用于智能眼镜的虚拟键盘系统，其特征在于，所述定位传感器采用陀螺仪或者加速度计。
【文档编号】G06F3/0488GK103713737SQ201310684110
【公开日】2014年4月9日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】王建军, 樊建平, 朱青松, 岳冰心, 谢耀钦 申请人:中国科学院深圳先进技术研究院