一种面向互动电视的手势交互方法和系统的制作方法
【专利摘要】本发明属于人机交互【技术领域】，具体为一种面向互动电视的手势交互方法和系统。本发明采用简单高效的时域特征提取方法，对加速度信号进行平稳降噪、去冗余和归一化处理，并用SVM进行分类和识别。手势识别结果应用于基于Android平台的机顶盒原型系统，实现用户与电视的实时交互。实验结果表明本发明实现了电视常用手势的准确识别，识别率达到了96%，手势动作的识别时间介于48~63ms。
【专利说明】—种面向互动电视的手势交互方法和系统
【技术领域】
[0001]本发明属于人机交互【技术领域】，具体涉及一种面向互动电视的手势交互方法和系统。
【背景技术】
[0002]电视数字化和网络化的发展在增强电视功能性和互动性的同时，也为人机交互的研究带来了挑战用户如何快捷而高效地操控电视成为一个关键问题。一般而言，电视用户倚靠在沙发上，并与电视机有广3米的距离。对于这种有一定距离的交互场景，目前用户仍广泛使用传统式红外遥控器。遥控器面板相应地增加了更多的按键，一定程度上满足了操控大量节目频道和多种功能选项的需求，但也随之带来可扩展性差、占用视觉注意的问题[3]。基于鼠标和键盘的人机交互模式极大地方便了人们操作和访问计算机上成千上万的资源，但它并不适用于电视场景和“沙发文化”MM。文献[6]指出，相比手持式设备，使用无线鼠标和键盘的错误率显著增加。基于视觉的手势交互通过摄像头采集并识别用户动作信息，对周围环境的光线和用户所处的位置方向等有强烈的依赖性[5][7]，因此应用有一定的局限性。
[0003]加速度传感器以其低功耗、低成本、高灵敏度和小体积而广泛应用于智能终端上，可以检测宿主设备的三维运动信息，且不受外部环境条件的限制。基于加速度传感器的手势交互逐步引起重视M。同时，以手机为代表的智能移动终端不断发展和普及，且具有“随时随身”、操作轻便、用户个性化的特点，也为基于手势的实时交互提供了契机和支撑环境。
[0004]手势特征选取和分类器设计是影响手势识别效果及速度的两个关键问题。文献
[9]将加速度数据量化后直接利用HMM(Hidden Markov Model,隐马尔科夫)模型对手势建模。文献[10]基于DTW(Dynamic Time Warping,动态时间归整)算法实现手势识别。然而，人手的自由度和噪声等因素给手势识别带来了很大的困难，如何克服这些困难以获得更加简洁干净的手势数据成为难点。文献[11]设计了一种基于帧描述的手势特征提取方法，结合了信号的频域特征和时域特征。但是频域特征的提取需要对手势数据进行离散傅里叶变换，计算复杂度是，不适用于计算能力受限的智能移动设备。
[0005]另外，现有的手势识别研究成果多是使用加速度传感器采集数据后在PC平台上处理得到，不利于手势识别技术的推广。
[0006]为解决上述问题，本发明解决的问题有:(I)选择内置加速度传感器的智能移动终端作为交互载体；(2)针对智能移动终端计算能力受限的特性，采用复杂度为的时域特征提取方法，对手势数据依次进行平稳降噪、去冗余和归一化处理，减小同类手势不同采样数据间的差异性，降低随机噪声的影响，提升识别质量。由于SVM(Supp0rt VectorMachine,支持向量机)在解决小样本、非线性及高维模式识别问题中具有一定的鲁棒性，系统采用SVM分类器实现手势的建模和识别；(3)将实时识别的手势动作结果以指令的形式发送到应用模块，实现对电视机顶盒的遥控。
【发明内容】
[0007]本发明的目的在于设计一种对实时手势识别准确率高，且响应及时的面向互动电视的手势交互方法和系统。
[0008]本发明设计的面向互动电视的手势交互方法，具体步骤如下:
1、特征提取。
[0009]特征提取的主要任务和难点是如何去除原始信号的噪声及冗余，减小同类手势不同采样数据间的差异性，保留手势动作的主要特征，便于后期进行建模和识别。一个手势G可以定义为:
【权利要求】
1.一种面向互动电视的手势交互方法，其特征在于具体步骤如下: (I)特征提取 设一个手势G定义为:
2.根据权利要求1所述的面向互动电视的手势交互方法，其特征在于所述基于SVM手势分类和识别，使用LIBSVM开源库作为SVM算法包进行手势数据的分类及识别，其算法步骤如下: (1)将特征提取后的手势数据按照如下格式进行标记，生成特征值向量: <label> <indexl>:<valuel> <index2>:<value2> … 其中，〈label〉用来标识当前数据所属的类别，类别值共有6种，O为“向右”，I为“向左”，2为“向上”，3为“向下”，4为“确定”，5为“返回” ；<index>是从I开始的连续整数，代表采样序列；〈value>为实数，是实际记录的加速度向量值；
2 (2)选取径向基函数(RBF)，即
3.一种基于权利要求1或2所述方法的面向互动电视的手势交互系统，其特征在于手势数据采集模块、手势识别模块和手势应用模块；其中，手势数据采集模块用于对用户手势动作的加速度信号采集获取，并传输给手势识别模块；手势识别模块用于提取加速度信号的时域特征，利用SVM完成手势的建模和识别；手势应用模块将手势识别结果反馈给用户，同时解析成电视机顶盒系统能够响应的命令，以实现对电视的实时控制；手势识别模块又分为离线SVM模型训练子模块和在线手势识别子模块两部分； 系统的手持端是iPod Touch4，它内置三维加速度传感器以及用于通信的Wifi模块，加速度数据通过系统API获取并传送到手势识别模块；离线SVM模型训练子模块运行在PC端，在线手势识别子模块运行在手持端；系统的电视机顶盒端的硬件平台为sigma8654开发板，硬件配置为IGHz CPU，512MRAM，通过LAN接口与无线路由器连接，搭载了 Android2.2系统。
4.根据权利要求3所述的面向互动电视的手势交互系统，其特征在于手势数据采集模块采集手势数据时，用户对系统支持的6组基本手势进行交互实验；离线训练阶段，手势数据传输到PC端进行后续的特征提取及建模；在线识别阶段，手势数据保留在iPod Touch4端；一个手势动作的开始和结束由智能移动终端上的按钮触发，按下按钮表示开始执行一个手势动作，释放按钮表示一个手势动作结束，即可触发手势特征提取算法，进而训练或识别；以6类手势动作实现对电视机顶盒的控制，依次是向右、向左、向上、向下、确定和返回。
5.根据权利要求4所述的面向互动电视的手势交互系统，其特征在于手势应用模块主要有两大功能:一是展示手势识别结果，由智能移动终端通过语音的形式为用户提供反馈，同时为系统的手势识别率统计提供直观的依据，二是将识别结果应用于实际用途，即用手势进行电视机顶盒的遥控，检验本发明算法的实际效果。
6.根据权利要求4所述的面向互动电视的手势交互系统，其特征在于智能移动终端对电视机顶盒的遥控通过二者之间建立的稳定可靠的通信协议实现；借鉴FTP协议的架构，所述通信协议定义在TCP/IP协议的应用层，并在协议的命令中加入机顶盒系统能够识别的命令； 根据制定的通信协议，客户端发送手势命令，服务器端接受到这些命令后，解析命令格式为系统的模拟按键信息，并将按键事件插入到系统的按键事件的队列，由此做出正确的响应。
【文档编号】G06F3/01GK103914149SQ201410128223
【公开日】2014年7月9日 申请日期:2014年4月1日 优先权日:2014年4月1日
【发明者】金城, 刘雪君, 刘亚波, 张玥杰, 薛向阳 申请人:复旦大学