一种基于手势趋势的图形界面响应方法
【技术领域】
[0001]本发明涉及计算机或智能设备的交互控制技术领域，更具体地说，涉及通过手势识别的非接触式方式，对计算机或智能设备的图形界面进行操作的方法。
【背景技术】
[0002]随着芯片计算能力的提高及能耗的降低，越来越多的传统屏幕设备嵌入了完整的计算机系统，拥有典型的操作系统及主要的I/o接口，还能联网进行通信。但与传统的计算机使用场景不同，很多大屏幕设备，如液晶电视、投影仪、户外LED广告展板等，使用键盘与鼠标进行输入时是极为不便捷的，需要新的输入及输出响应方式来提高用户对设备的使用效率。
[0003]在传统上，对电视等大屏幕设备的操作都是通过典型的红外遥控器来完成的。这在电视、投影仪等设备还只执行简单的视频播放处理、频道切换的阶段是合理的，但是在智能电视、智能投影仪时代，这些设备已经拥有了完整的操作系统，在显示上有了较为完整的图形界面，固定按键的传统遥控器已经无法满足对无限组合的功能设定的需求。
[0004]目前，对遥控器的一个常用替代技术是通过在用户所携带的智能手机上安装虚拟遥控器应用来实现的。用户通过手机上的遥控器应用，通过局域网或者手机自带的红外模块来对智能电视进行操作。但是这种方法，需要辅助以手机这一用户个人所有的终端设备，不但不能保证在用户需要时就在电视、投影仪周围，也无法在一群用户间方便地传递使用，拥有诸多不便，也依然没有从根本上改变交互控制方式。
[0005]进一步地，对于在原生于桌面现移植于智能电视等设备的图形操作系统，出现了利用智能手机或改进的遥控器的所谓空鼠装置，这种遥控设备通过手持遥控装置进行角度摆动来改变智能电视上的红外感应点，从而模拟鼠标的移动。这种遥控方式的缺点在于需要用户在没有依托的立体空间里进行精确的稳定操作以选中界面元素，容易出现感应点的抖动，极易造成用户的疲劳。
[0006]在另一方面，从电视游戏应用领域发展而来的纯体感技术，已经不需要任何介质就能感应人体的行为并且执行交互，目前常用的方式是用通过检测出人的手势来在3D场景中反应人的真实操作。但是在更为精确的应用界面控制的应用领域，传统体感技术没有界定标准的手势反馈的界面反应方法，而只是简单地复用于桌面界面或触摸式终端设备界面，这使得其使用的疲劳度还大于前述的空鼠装置。因此，较为实用的场景也只是对翻页、起始、停止等特定指令进行了识别，适用面很窄。
[0007]综上所述，现有的主流交互技术或方法都无法有效解决在非触控条件下的大屏幕设备的交互问题，人机交互体验差、界面定位反馈不准确、使用疲劳度高。这是目前阻碍大屏幕智能设备进一步发展的主要技术问题。
【发明内容】
[0008]有鉴于此，本发明的主要目的在于提供一种基于手势趋势判断的图形界面响应方法，从而不需要用户在具有全自由度的手势操作中模拟类似鼠标的全部行程即可完成非触控界面元素的点选，并获得良好的界面反馈以及使用导引。本方法通过计算机设备联接的普通摄像头，来识别用户的手势的移动趋势或变形趋势，并包括以下步骤:
[0009]A、确定手势所对应的界面元素；
[0010]B、判断手势的移动趋势；
[0011]C、确定手势所对应的下一个界面元素。
[0012]所述步骤A中，对手势对应元素的确定，可以为当计算机设备初始检测到手势时，预先选定某特定界面元素为操作焦点，或者为当计算机设备在检测到手势的状态保持之后，选定所述步骤C所得到的下一个界面元素作为焦点。
[0013]所述步骤B中手势的移动趋势，包括且不限于在保持手势姿态下在立体空间中的全方向上的移动及在向第二手势姿态改变的过程中在立体空间内的全方向上的移动。进一步地，在步骤B中，对手势移动趋势的判断，其参数包括但不限于手势在立体空间中的整体移动垂直于计算机设备的显示界面的二维空间所得到的映射的速度矢量及整体姿态变化的角速度。
[0014]所述步骤C中，对手势所应当对应的下一个界面元素的确定，包括对所述下一个界面元素的聚焦反馈及界面中用于提示手势在界面中相应位置的界面反馈元素的非用户自主变化。所述聚焦反馈包括但不限于所述界面元素的高亮或其所对应的具体应用的激活亦或者是其所指示的功能的执行。所述非用户自主变化包括但不限于根据在步骤A中所述的界面元素及步骤C中所述的下一个界面元素的相对位置，经过计算后得到的移动路径所进行的线性移动。
[0015]本方法所描述的计算机设备，其检测手势趋势改变的方法为通过计算机设备所联接的一个或多个光学镜头，以普通CCD或CMOS感应器来获得图片流信息，通过图片帧序列的比对来获得。
[0016]进一步地，该计算机设备可以以机顶盒的形式通过高清媒体接口(HDMI)与电视、投影仪等设备进行联接，也可以通过嵌入式集成的方式与电视、投影仪等构成一体的智能电视、智能投影仪等。
[0017]本发明所述的方法，不需要借助任何特殊的手势传感设备以及物理遥控装置，同时对目前的界面反馈手势的方法进行了重大的优化，能主动为用户引导手势对界面的操作，有着很强的实用价值，并为基于手势的界面的大规模实用推广打下了基础。
【附图说明】
[0018]图1为本发明的基于手势趋势判断的图形界面响应方法的一个较佳实施例的流程图；
[0019]图2为本发明的实施例中计算机设备对手势进行捕获并在界面进行识别反馈的示意图；
[0020]图3为本发明所述的方法中，对手势趋势的角度的判断几何示意图；
[0021]图4为对图3所不手势的具体移动趋势及姿态变化可能的不意图。
【具体实施方式】
[0022]下面结合附图对所述方法进行更为详细的说明以体现本方法的优势。
[0023]图1所示为本发明所公开方法的一个较佳实施例的流程图。该流程包括以下步骤:
[0024]101确定手势所对应的界面元素。
[0025]102判断手势的移动趋势。
[0026]103确定手势所对应的下一个界面元素。
[0027]在实际的应用场景中，图1所示流程可以由图2所示的用户操作示意图来实施。
[0028]如图2所示，带有通用界面的计算机设备以挂载方式与电视进行结合，以电视屏幕作为输出显示，并通过201所示的设备所配备的普通光学摄像头来摄取用户的手势。