多种手势对应同一交互命令的柔性映射交互算法的制作方法

本发明涉及手势识别
技术领域：
，具体是指一种多种手势对应同一交互命令的柔性映射交互算法。
背景技术：
随着人机交互领域近几年的快速发展，手势交互已经成为人机交互领域的一个研究热点。手势是人与人之间非语言交流的最重要方式[1]，手势交互是继鼠标、键盘和触摸屏之后一种新型的非接触式的人机交互[2]，以其直观、自然、人机和谐的方式在各个领域取得了广泛应用，如：基于手势交互的车辆控制[3]、基于手势交互的智能电视控制[4]和基于手势交互的3d模型控制等[5]，有力的推动了人机交互的友好发展。与此同时，我们注意到在手势与交互界面进行交互过程中往往遇到两个问题，一是，手势识别错误导致交互界面变化错误；二是，手势不识别。本发明主要从如何解决上述两个问题并评价该解决方案展开的。随着交互技术的发展，传统的接触式交互设备如：键盘、鼠标和游戏手柄等已经不能满足目前人机交互的需求。新的交互设备如：kinect[6][7]、leapmotion[5]和数据手套[8]等的出现使得基于手势的交互取得了长足的发展。目前，基于手势的交互主要涉及三种技术：手势跟踪、手势分割、和手势识别。对于手势跟踪，目前有如下方法：基于kinect的手势跟踪方法[6]，基于camshift的手势跟踪方法[9]和基于深度学习的手势跟踪方法[10]；对于手势分割，目前有如下方法：结合rgb-d颜色空间的最大期望手势分割方法[11]，基于神经网络的手势分割方法[12]和结合肤色空间的模糊分类手势分割方法[13]；对于手势识别，目前有如下方法：基于手部分区的手势识别方法[7]和同时追踪躯体和对手势的动态手势识别方法[14]。目前手势交互主要分为两种：基于视觉的手势交互和基于穿戴式的手势交互。在基于视觉的手势交互过程中，我们通过kinect和leapmotion等捕捉设备捕捉手势信息，经过一系列处理后即可获得手势识别结果，然后根据得到的识别结果对三维模型[15]、机器人[16]和虚拟物体[5]等进行操控。基于穿戴设备的手势交互与基于视觉的手势交互除获取手势信息设备采用的是穿戴设备外其余之处非常类似，与视频捕捉设备获取的数据相比，虽然穿戴设备获取的数据非常精确，但穿戴设备较为昂贵，在普及程度上有一定的限制。kumar提出了一种方法通过数据手套获取手势信息用来做空中输入[17]。交互界面是根据应用的功能进行设计的，申请人致力于智能教学界面常用功能的设计与实现以及常用交互手势的选择。本发明选取证明“同底面积同高的三棱柱体积是三棱锥体积的三倍”这一定理的立体几何课的交互界面进行设计与实现以及交互手势的选择，但在交互界面的设计与实现过程中我们遇到了两个问题即在智能交互界面中手势识别错误导致交互界面变化错误和手势不识别两个问题。技术实现要素：基于上述问题，本发明针对现有技术的不足，提出了多种手势对应同一语义的柔性映射交互模型，实验结果显示，该交互模型能够很好的解决如上两个问题，并且该交互模型是一种符合人类日常交互习惯的自然的交互模型，能够有效的较低用户的认知负荷。本发明是通过如下技术方案实现的，提供一种多种手势对应同一交互命令的柔性映射交互算法，包括以下步骤，a.设计智能教学交互界面的交互命令并选择交互手势，具体步骤如下，a-1.根据功能需求设计交互界面；a-2.根据交互界面要完成的功能设计k1个交互命令，k1为自然数；a-3.自然交互手势的选择，按照以下方式进行，a-3-1.设计交互过程中常用的k2种交互手势的手势集合，k2为自然数且k2≥k1；a-3-2.采用调查问卷的方式确定k2种交互手势中的k3个交互手势可自然的表达相对应的k1交互命令，且使用该手势表达该语义符合人类的认知行为习惯，所述的k3个交互手势中至少有一组包含两个交互手势可自然的表达对应的同一个交互命令；b.确定对应同一交互命令的多种手势b-1.根据交互手势的显著特征将k3个交互手势分为双手轨迹手势和动态手势、单手轨迹手势和带有抓住状态的手势三类；b-2.针对这三类手势的特征采用不同的衡量标准进行归类，对于双手轨迹手势和单手轨迹手势本发明选取掌心作为轨迹跟踪点，对于动态手势本发明选取指尖作为轨迹跟踪点，对于带有抓住状态的手势本发明考察其抓住状态和抓住状态外的手势轨迹信息；b-3.判断对应同一交互命令的交互手势是否可以归为一类，对于含有一个轨迹跟踪点的交互手势选择费雷歇距离判断手势轨迹是否相似，是否可以归为一类；对于含有多个轨迹跟踪点的交互手势采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类；b-3-1.弗雷歇距离的计算方法如下，设a和b是s上的两条连续曲线，即a:[0,1]→s,b:[0,1]→s；又设α和β是单位区间的两个重参数化函数，即α:[0,1]→[0,1],β:[0,1]→[0,1]；则曲线a与曲线b的弗雷歇距离f(a,b)定义为：其中d是s上的度量函数；在f(a,b)的计算公式中，先固定最外层的α和β，也就是对每一个选定的α与β组合计算公式(2)，上式中d,a,α,b,β均视为被固定住的已知函数，只将t当作变量；此时，由于变量t将在单位区间[0,1]内遍历所有的连续值(无穷多个)，为了便于直观理解，将该区间做离散化处理，即在该区间采样若干点来做分析，然后通过逐渐增加采样点的个数来提高精度，最后通过求极限的思想来理解两天曲线的弗雷歇距离，fα,β(a,b)的离散化计算公式为，因此，f(a,b)的离散化计算公式为，由于采集的手势轨迹点的信息是离散的，因此计算两个手势轨迹的离散型弗雷歇距离作为两个轨迹手势之间相似度的指标，具体步骤如下：首先，为解决轨迹手势的大小不一问题，选取设定尺寸a1×b1作为轨迹手势的标准大小，将轨迹手势的轨迹点信息根据公式5进行标准化处理；(x,y)为轨迹手势轨迹点信息映射到标准区域后的位置信息；(xt,yt)为采集的轨迹手势轨迹点位置信息；gesturewidth和gestureheight为该轨迹手势的宽度和高度；此时，我们得到了标准手势大小下的轨迹手势的轨迹点的位置信息，计算弗雷歇距离的算法可以计算轨迹手势的轨迹点个数不同的轨迹手势的弗雷歇距离，最终通过计算轨迹手势的轨迹曲线的弗雷歇距离并根据计算得到的结果判断两个交互手势是否可以归为一类，判断方法如下，设定弗雷歇距离的阈值，如果两个交互手势计算得到的弗雷歇距离小于该阈值则该两种手势可以归为一类，反之，如果两个交互手势计算得到的弗雷歇距离大于该阈值，则该两种交互手势不能归为一类，b-3-2.判断含有多个轨迹跟踪点的手势是否可以归为一类的方法，如下，采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类，轨迹跟踪点与中心点的运动趋势为三种，分别为相互靠近、相互远离和相互静止，具体计算多个跟踪点的手势运动趋势步骤如下，首先，通过公式6计算得到开始状态下多个轨迹跟踪点的中心点，(cx,cy)为计算得到的开始状态下多个轨迹追踪点的中心点位置信息；(xi,yi)为开始状态下的轨迹追踪点位置信息；n为轨迹跟踪点的个数，然后，通过公式(7)计算其各个追踪点与中心点的相互运动趋势；若得出的value值大于1，则其运动趋势为相互远离；反之运动趋势为相互远离；因轨迹跟踪点在与中心点相互靠近过程中可能会出现轨迹跟踪点越过中心点，此时相互靠近运动趋势变为相互远离运动趋势，因此当相互远离或相互靠近运动趋势占总体的运动趋势的y％以上时，y％的取值为70％～85％，则该手势的运动趋势为相互远离或相互靠近，否则为相互静止，(xi,yi)为当前时刻轨迹点坐标；(xi+1,yi+1)为下一时刻轨迹点坐标；考虑用户在做手势时会有抖动的问题，因此采取公式(8)作为前置限制条件，当满足公式8的轨迹跟踪点与中心点为相互静止状态；其中valuethreshold为手势抖动的阈值，在该范围内手势的轨迹跟踪点与中心点为相互静止状态；计算手势追踪点与中心点的运动趋势为计算手势开始到手势结束整个过程手势轨迹跟踪点与中心点的相互运动趋势，统计每一个手势跟踪点的每一个时刻的相互运动趋势的情况，如果该种运动趋势如相互靠近的次数占总的统计次数的y％以上，此时我们认为该手势的运动趋势为相互靠近，如果相互靠近和相互远离运动趋势各自所占比例都不超过y％，则运动趋势为相互静止，根据计算得到的结果，我们将运动趋势一致的手势分为一类；c.多种手势对应同一语义的柔性映射交互算法，包括以下分步骤，c-1.获取手势信息和手势识别结果；采用kinect同时捕捉手势区域的彩色信息和轨迹信息，当操作者需要对交互界面进行操作时只需站在kinect前部约1.5米处并将手臂向前伸出做出手势即可，采用公式(9)将手势区分为动态手势和轨迹手势，其中动态手势符合该公式，反之，不符合公式(9)的手势为轨迹手势，handposition为手势结束时坐标的位置，prehandposition为手势开始时坐标的位置，value为区分两种手势的阈值；对带有抓住状态的手势，采用结合主方向的类hausdorff距离的静态手势识别方法[18]进行识别；对于轨迹手势，采用十二方向编码的隐马尔科夫模型方法[20]进行识别；对动态手势，采用基于形状上下文的密度分布特征动态手势识别方法[21]进行识别；最终我们得到手势识别结果xij；c-2.柔性映射交互算法，建立了满足公式(9)的柔性映射交互模型，f(xij)＝yi(i＝1,2,…,k1j＝1,2,…,k3)(10)。作为优选，所述的k2种交互手势中如果某种手势可以表达对应交互命令的人数占总调查人数的x％以上，x％的取值为60％～85％，则认为使用该手势表达该语义符合人类的认知行为习惯。作为优选，所述的步骤b-3-1中设定弗雷歇距离的阈值为150。作为优选，所述的步骤c-1中选取20作为value的值。作为优选，所述的k1＝5，为旋转、切分、拼合、放大、缩小五个交互命令。作为优选，所述的k3＝14，为单手画圈手势、拧旋钮手势、二指放开手势、三指放开手势、五指放开手势、二指闭合手势、三指闭合手势、五指闭合手势、双手远离手势、双手靠近手势、左手抓住不动右手抓住远离手势、左手抓住不动右手抓住靠近手势、右手抓住远离手势、左手抓住靠近手势共计十四个交互手势。作为优选，所述的步骤b-1中n1为3，即根据交互手势的显著特征将k3个交互手势分为双手轨迹手势和动态手势、单手轨迹手势和带有抓住状态的手势三类。作为优选，所述的步骤b-3-1中，尺寸a1×b1为400×400或500×500。采用上述方案后，本发明能够很好的解决在与智能教学界面交互过程中遇到的手势识别错误导致智能教学界面变化错误和手势不识别两个问题，并且该柔性映射交互算法是一个符合人类日常交互习惯的交互算法，能够显著地减少用户的交互负荷的有益效果。附图说明图1.a为本发明实施例智能教学界面三个三棱锥组合成一个三棱柱的状态参考图；图1.b为本发明实施例智能教学界面一个三棱柱切分为三个三棱锥的状态参考图；图2.a为本发明实施例智能交互界面中的物体旋转交互命令的状态参考图；图2.b为本发明实施例智能交互界面中的三棱柱切分为三个三棱锥交互命令的状态参考图；图2.c为本发明实施例智能交互界面中的三个三棱锥拼合为一个三棱柱交互命令的状态参考图；图2.d为本发明实施例智能交互界面中的智能教学界面中物体放大交互命令的状态参考图；图2.e为本发明实施例智能交互界面中的智能教学界面中物体缩小交互命令的状态参考图；图3.a为本发明实施例中设计的单手画圈手势状态参考图；图3.b为本发明实施例中设计的拧旋钮手势状态参考图；图4.a为本发明实施例中设计的左手抓住不动右手抓住远离手势状态参考图；图4.b为本发明实施例中设计的右手抓住远离手势状态参考图；图5.a为本发明实施例中设计的左手抓住不动右手抓住靠近手势状态参考图；图5.b为本发明实施例中设计的右手抓住靠近手势状态参考图；图6.a为本发明实施例中设计的二指放开手势状态参考图；图6.b为本发明实施例中设计的三指放开手势状态参考图；图6.c为本发明实施例中设计的五指放开手势状态参考图；图6.d为本发明实施例中设计的双手远离手势状态参考图；图7.a为本发明实施例中设计的二指闭合手势状态参考图；图7.b为本发明实施例中设计的三指闭合手势状态参考图；图7.c为本发明实施例中设计的五指闭合手势状态参考图；图7.d为本发明实施例中设计的双手靠近手势状态参考图；图8为本发明实施例智能教学界面的手势根据其显著特征分为的三类手势示意图；图9为本发明实施例二维欧式平面上两条曲线之间的弗雷歇距离的计算示意图；图10为本发明实施例中五指抓手势开始状态的多个轨迹跟踪点状态参考图；图11.a为本发明实施例中手势图像示意图；图11.b为本发明实施例中手势轨迹信息示意图；图12为本发明实施例中智能教学界面的交互操作主流程图；图13为本发明实施例中多种手势对应同一语义柔性映射算法内部映射规则建立流程图；图14为本发明实施例中智能教学界面三个三棱锥拼合为一个三棱柱状态参考图；图15为本发明实施例中智能教学界面二指放开手势操作后智能教学界面的变化状态参考图；图16为本发明实施例中智能教学界面三棱柱缩小变化状态参考图；图17为本发明实施例采用的算法与一种手势对应一种语义交互算法两种交互算法的nasa-tlx评分状态参考图。具体实施方式为能清楚说明本发明方案的技术特点，下面通过具体实施方式，对本方案进一步阐述。在本实施例中，以智能教学界面中选取证明“同底面积同高的三棱柱是三棱锥体积的三倍”这一定理的立体几何课的交互界面的设计与实现及交互手势的选择。一种多种手势对应同一交互命令的柔性映射交互算法，包括以下步骤，a.设计智能教学交互界面的交互命令并选择交互手势，具体步骤如下，a-1.根据功能需求设计交互界面，在本实施例中选取证明“同底面积同高的三棱柱是三棱锥体积的三倍”这一定理的立体几何课的交互界面，设计了包含两个状态的智能教学界面，其中第一个状态的智能教学界面是三个三棱锥组合成一个三棱柱，如图1.a中所示，第二个状态的智能教学界面是一个三棱柱切分为三个三棱锥，如图1.b中所示；a-2.根据交互界面要完成的功能设计5个交互命令，分别是三棱柱切分为三个三棱锥、三个三棱锥拼合为一个三棱柱、智能教学界面中物体放大、智能教学界面中物体缩小、智能教学界面中物体旋转五个交互命令，如图2.a、图2.b、图2.c、图2.d、图2.e中所示；a-3.自然交互手势的选择，按照以下方式进行，a-3-1.设计交互过程中常用的20种交互手势的手势集合，20种交互手势包括单手画圈手势、拧旋钮手势、以手肘为中心进行旋转手势、单手画圆弧手势、二指放开手势、三指放开手势、五指放开手势、二指闭合手势、三指闭合手势、五指闭合手势、双手远离手势、双手靠近手势、左手抓住不动右手抓住远离手势、左手抓住不动右手抓住靠近手势、右手抓住远离手势、左手抓住靠近手势、从左向右挥手手势、从右向左挥手手势、从左上向右下挥手手势、从右上向左下挥手手势；a-3-2.采用调查问卷的方式确定20种交互手势中的14个交互手势可自然的表达相对应的5个交互命令，且使用该手势表达该语义符合人类的认知行为习惯；在本实施例中，调查问卷的主要内容包含以下三个方面：智能教学界面的介绍、在交互过程中常用的二十种交互手势的手势集合介绍以及相应的六个调查问题，调查问卷中的六个调查问题如表1所示：表1在本实施例中，向拥有智能手机或智能电视操作使用经验的用户发放了总共50份的调查问卷，这些被调查用户的平均年龄为23.5，其中有一半是男性，一半为女性。最终，在调查后共计收到了47份有效调查问卷。在本实施例中规定，认为某种手势可以表达某种语义的人数占总调查人数的70％以上时即可确定该手势可以自然的表达该语义并且使用该手势表达该语义符合人类的认知行为习惯。调查结果总结如表2中所示，表2根据调查问卷的到的结果，我们可以得出以下结论：结论1：单手画圈手势和拧旋钮手势，如图3.a和图3.b中所示，可以自然的表达交互场景中物体旋转这一语义，认为其能够表达该语义的人数比例分别为100％和97.8％，如表2所示；结论2：左手抓住不动右手抓住远离手势和右手抓住远离手势，如图4.a和图4.b中所示，可以自然地表达交互界面中三棱柱切分为三个三棱锥这一语义，认为其能够表达该语义的人数比例分别为95.7％和85.3％，如表2所示；结论3：左手抓住不动右手抓住靠近手势和右手抓住靠近手势，如图5.a和图5.b中所示，可以自然的表达交互场景中三个三棱柱拼合为一个三棱锥这一语义。认为其能够表达该语义的人数比例分别为100％和89.3％，如表2所示；结论4：二指放开手势、三指放开手势、五指放开手势和双手远离手势，如图6.a、图6.b、图6.c、图6.d中所示，可以自然的表达交互场景中物体放大这一语义，认为其能够表达该语义的人数比例分别为100％、95.7％、100％和100％，如表2所示；结论5：二指闭合手势、三指闭合手势、五指闭合手势和双手靠近手势，如图7.a、图7.b、图7.c、图7.d中所示，可以自然的表达交互界面中物体缩小这一语义，认为其能够表达该语义的人数比例分别为100％、95.7％、100％和100％，如表2所示；结论6：手部快速撤回至胸前这一手势可以自然的表达交互界面退回上一个状态这一语义，支持这一结论的人占总数的89.3％，如表3所示，表3项目支持不支持人数425所占总人数的比例89.3％10.7％因此，在本实施例中，以智能教学界面为基础论证了在同一交互场景中多种手势对应同一语义的柔性映射交互模型符合人类认知规律及日常行为习惯，是一种自然的交互方式；b.确定对应同一交互命令的多种手势b-1.根据交互手势的显著特征将14个交互手势分为双手轨迹手势和动态手势、单手轨迹手势和带有抓住状态的手势三类；b-2.针对这三类手势的特征采用不同的衡量标准进行归类，对于双手轨迹手势和单手轨迹手势选取掌心作为轨迹跟踪点，对于动态手势选取指尖作为轨迹跟踪点，对于带有抓住状态的手势考察其抓住状态和抓住状态外的手势轨迹信息；b-3.判断对应同一交互命令的交互手势是否可以归为一类，对于含有一个轨迹跟踪点的交互手势选择费雷歇距离判断手势轨迹是否相似，是否可以归为一类；对于含有多个轨迹跟踪点的交互手势采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类；b-3-1.弗雷歇距离的计算方法如下，设a和b是s上的两条连续曲线，即a:[0,1]→s,b:[0,1]→s；又设α和β是单位区间的两个重参数化函数，即α:[0,1]→[0,1],β:[0,1]→[0,1]；则曲线a与曲线b的弗雷歇距离f(a,b)定义为：其中d是s上的度量函数；在f(a,b)的计算公式中，先固定最外层的α和β，也就是对每一个选定的α与β组合计算公式(2)，上式中d,a,α,b,β均视为被固定住的已知函数，只将t当作变量；此时，由于变量t将在单位区间[0,1]内遍历所有的连续值(无穷多个)，为了便于直观理解，将该区间做离散化处理，即在该区间采样若干点来做分析，然后通过逐渐增加采样点的个数来提高精度，最后通过求极限的思想来理解两天曲线的弗雷歇距离，fα,β(a,b)的离散化计算公式为，因此，f(a,b)的离散化计算公式为，由于采集的手势轨迹点的信息是离散的，因此计算两个手势轨迹的离散型弗雷歇距离作为两个轨迹手势之间相似度的指标，具体步骤如下：首先，为解决轨迹手势的大小不一问题，选取400×400作为轨迹手势的标准大小，将轨迹手势的轨迹点信息根据公式5进行标准化处理；(x,y)为轨迹手势轨迹点信息映射到标准区域后的位置信息；(xt,yt)为采集的轨迹手势轨迹点位置信息；gesturewidth和gestureheight为该轨迹手势的宽度和高度；此时，我们得到了标准手势大小下的轨迹手势的轨迹点的位置信息，计算弗雷歇距离的算法可以计算轨迹手势的轨迹点个数不同的轨迹手势的弗雷歇距离，最终通过计算轨迹手势的轨迹曲线的弗雷歇距离并根据计算得到的结果判断两个交互手势是否可以归为一类，判断方法如下，设定弗雷歇距离的阈值，如果两个交互手势计算得到的弗雷歇距离小于该阈值则该两种手势可以归为一类，反之，如果两个交互手势计算得到的弗雷歇距离大于该阈值，则该两种交互手势不能归为一类，在本实施例中，所述弗雷歇距离的阈值设定为150；b-3-2.判断含有多个轨迹跟踪点的手势是否可以归为一类的方法，如下，采用多个轨迹跟踪点与开始状态下多个跟踪点的中心点的运动趋势判断多个轨迹手势是否可以归为一类，轨迹跟踪点与中心点的运动趋势为三种，分别为相互靠近、相互远离和相互静止，具体计算多个跟踪点的手势运动趋势步骤如下，首先，通过公式6计算得到开始状态下多个轨迹跟踪点的中心点，(cx,cy)为计算得到的开始状态下多个轨迹追踪点的中心点位置信息；(xi,yi)为开始状态下的轨迹追踪点位置信息；n为轨迹跟踪点的个数，然后，通过公式(7)计算其各个追踪点与中心点的相互运动趋势；若得出的value值大于1，则其运动趋势为相互远离；反之运动趋势为相互远离；因轨迹跟踪点在与中心点相互靠近过程中可能会出现轨迹跟踪点越过中心点，此时相互靠近运动趋势变为相互远离运动趋势，因此当相互远离或相互靠近运动趋势占总体的运动趋势的70％以上时，则该手势的运动趋势为相互远离或相互靠近，否则为相互静止，(xi,yi)为当前时刻轨迹点坐标；(xi+1,yi+1)为下一时刻轨迹点坐标；考虑用户在做手势时会有抖动的问题，因此采取公式(8)作为前置限制条件，当满足公式8的轨迹跟踪点与中心点为相互静止状态；其中valuethreshold为手势抖动的阈值，在该范围内手势的轨迹跟踪点与中心点为相互静止状态；计算手势追踪点与中心点的运动趋势为计算手势开始到手势结束整个过程手势轨迹跟踪点与中心点的相互运动趋势，统计每一个手势跟踪点的每一个时刻的相互运动趋势的情况，如果该种运动趋势如相互靠近的次数占总的统计次数的y％以上，此时我们认为该手势的运动趋势为相互靠近，如果相互靠近和相互远离运动趋势各自所占比例都不超过y％，则运动趋势为相互静止，根据计算得到的结果，我们将运动趋势一致的手势分为一类；根据上述的判断手势是否属于为一类的方法，下面将依次考察本实施例中已经得出的结论的五组手势之间的联系，在本实施例采用kinect设备对手势数据进行采集，选取了10人具有智能手机或智能电视操作经验的同学进行数据采集，这些同学需要站在kinect正前面1.5m处，按照要求做出相应的手势，在做手势的时候我们同时捕捉手势的轨迹信息和手势图片信息，如图11.a和图11.b中所示；本实施例中采集了10位同学的手势，其中每位同学每个手势采集10组手势，则每种手势有100个样本，下面将对对应一种语义的多种手势之间的关系进行论证；针对结论1中的单手画圈手势和拧旋钮手势，本实施例中采用弗雷歇距离考察该两种手势的手势轨迹是否相似，因拧旋钮手势的轨迹跟踪点为两个，所以本实施例将拧旋钮手势的两条轨迹曲线首尾连接成一条轨迹曲线与单手画圈手势计算弗雷歇距离，计算得到的弗雷歇距离为130.825195小于阈值，即该两种手势的轨迹曲线及其相似，因此该两种手势可以映射到旋转这一语义上；针对结论2中左手抓住不动右手抓住远离手势和右手抓住远离手势，除考察其都具有的抓住状态外还考察右手的移动轨迹是否相似，这两个手势的右手的移动轨迹计算得到的弗雷歇距离为65.732787小于阈值，即该两种手势的右手移动的轨迹及其相似，并且这两种手势都带有抓住状态，因此该两种手势可以映射到将三棱柱切分为三个三棱锥这一语义上；针对结论3中左手抓住不动，右手抓住靠近手势和右手抓住靠近手势，本实施例除考察其都具有的抓住状态外还考察右手的移动轨迹是否相似，两个手势的右手的移动轨迹计算得到的弗雷歇距离为64.589072小于阈值，即该两种手势的右手移动的轨迹及其相似，并且这两种手势都带有抓住状态，因此这两种手势可以映射到将三棱锥拼合为一个三棱柱这一语义上；针对结论4中的二指放开手势、三指放开手势、五指放开手势和双手远离手势，本实施例采用多个跟踪点的手势分类匹配方法论证这四种手势的多个跟踪点的运动趋势是否相同，这四个手势的轨迹跟踪点的相互运动趋势计算结果如表4所示，实验结果表明该四种手势的运动趋势是一致的都为相互远离，因此该四种手势可以映射到放大语义上；表4针对结论5中的二指抓手势、三只抓手势、五指抓手势和双手靠近手势，本实施例采用多个跟踪点的手势分类匹配方法论证这四种手势的多个跟踪点的运动趋势是否相同，这四个手势的轨迹跟踪点的相互运动趋势计算结果如表5所示，实验结果表明该四种手势的运动趋势是一致的都为相互靠近，因此该四种手势可以映射到缩小语义上；表5因此我们可以得出结论：对应同一语义的多种手势之间是有共同特征。如对应于旋转语义的单手画圆手势与拧旋钮手势有着相似的手势轨迹；对应于放大语义的二指放开手势、三指放开手势、五指放开手势和双手远离手的轨迹跟踪点的运动趋势都为相互远离；c.多种手势对应同一语义的柔性映射交互算法，如图12中所示，智能教学界面的交互操作主流程示意图，首先通过kinect捕捉手势的彩色信息和轨迹点信息，然后对捕捉得到的手势信息进行处理进而对手势进行识别得到手势识别结果，然后将手势识别结果作为输入信息输入到柔性映射交互算法并最终得到本次交互的交互命令，最终智能教学界面根据交互命令的要求进行变化。本发明所提出的多种手势对应同一语义的柔性映射交互算法处于连接手势识别结果与智能教学界面的重要位置；当遇到手势识别错误导致智能教学界面变化错误时即智能教学界面的变化与预期变化不同，用户只需做出撤销手势即手部快速回撤至胸前，此时智能教学界面会回退至上一状态，此时用户只需再次做出该手势或者对应该语义的其它手势进行交互操作直至交互界面的变换与用户的期望一致即智能教学界面的变化正是用户想让交互界面做出的变化；当用户遇到手势不识别即做出手势后交互界面没有变化，此时，只需用户再次做出该手势或者做出对应该语义的其它手势进行操作直至交互界面做出用户所期望的变换即可；具体操作时包括以下分步骤，c-1.获取手势信息和手势识别结果；采用kinect同时捕捉手势区域的彩色信息和轨迹信息，当操作者需要对交互界面进行操作时只需站在kinect前部约1.5米处并将手臂向前伸出做出手势即可，采用公式(9)将手势区分为动态手势和轨迹手势，其中动态手势符合该公式，反之，不符合公式(9)的手势为轨迹手势，handposition为手势结束时坐标的位置，prehandposition为手势开始时坐标的位置，value为区分两种手势的阈值，在本实施例中，选取20作为value的值；对带有抓住状态的手势，采用结合主方向的类hausdorff距离的静态手势识别方法[18]进行识别；对于轨迹手势，采用十二方向编码的隐马尔科夫模型方法[20]进行识别；对动态手势，采用基于形状上下文的密度分布特征动态手势识别方法[21]进行识别；最终我们得到手势识别结果xij；c-2.柔性映射交互算法；本实施例中的智能教学界面包含14种交互手势xgesture＝{x1,x2,…,x14}和5种交互语义y＝{y1,y2,…,y5}，其分别对应柔性映射交互算法的14种输入和5种输出，柔性映射交互算法的功能就是将这14种手势分别映射到5种交互语义上，并且本发明提出的柔性映射交互算法处于连接手势识别结果与智能教学界面的重要位置，柔性映射交互算法的内部映射规则建立流程如图13所示，具体步骤如下，采用调查问卷方式从常用的手势中选取能够自然的表达本实施例智能教学界面中所需的交互语义的共计14种手势，首先，我们将选取得到的14种手势按照其显著特征分为三组，如图8所示；其次，我们按照分组结果采用相应的衡量方法进行分类；本实施例中对每一个手势采集了100个手势样本并对其特征进行统计，对于带有抓住状态的手势，考虑其抓住状态和抓住状态外的手势轨迹的相似性，带有抓住状态的四种手势的手势轨迹的弗雷歇距离统计结果如表6所示，左手抓住不动右手抓住远离手势和右手抓住远离手势的右手的运动轨迹的弗雷歇距离的计算值小于阈值并且这两种手势都带有抓住状态，因此该两种手势可以归为一类；左手抓住不动右手抓住远离手势和右手抓住远离手势的运动轨的的弗雷歇距离的计算值小于阈值并且这两种手势都带有抓住状态，因此可以归为一类；表6对于具有多个轨迹跟踪点的手势，本发明考察其每个跟踪点与开始状态下多个跟踪点计算出的中心点的相互运动趋势，具有多个轨迹跟踪点的9个手势的多个跟踪点的运动趋势统计结果如表7所示，其中二指闭合手势、三指闭合手势、五指闭合手势和双手远离手势因其多个轨迹跟踪点与中心点的相互运动趋势一致都为相互靠近，因此这四个手势被分为一类；二指放开手势、三指放开手势、五指放开手势和双手远离手势因其多个轨迹跟踪点与中心点的相互运动趋势一致都为相互远离，因此这四个手势被分为一类；拧旋钮手势的跟踪点与中心点的运动趋势为相互静止，因此该手势单独分为一类；表7手势弗雷歇距离二指放开手势相互远离三指放开手势相互远离五指放开手势相互远离双手远离手势相互远离二指闭合手势相互靠近三指闭合手势相互靠近五指闭合手势相互靠近双手靠近手势相互靠近拧旋钮手势相互静止对于单手轨迹手势因其只有一种手势，因此单手画圆手势单独分为一类；最后，本发明将单独分为一类的手势采用统一的轨迹匹配方式进行分类，对于拧旋钮手势因其有两个轨迹跟踪点即两条轨迹曲线，因此本发明将这两条轨迹曲线进行首尾连接成一条轨迹曲线再与其他手势的轨迹进行匹配，拧旋钮手势和单手画圆手势的弗雷歇距离为130.825195小于阈值，因此该两种手势可以分为一类；至此，本实施例中将一个大类的手势集合按照匹配原则最终分为了5类，此时本实施例中的柔性映射的内部映射机制建立完毕，即建立了满足公式9的柔性映射交互模型，f(xij)＝yi(i＝1,2,…,5j＝1,2,…,14)(10)。下面根据上述实施例进行了实验并做分析如下：假设教师可以非常容易的学习并使用上述实施例中设计并实现的智能教学界面并且教师操作智能教学界面时的认知负荷较小；同样假设教师可以适应采用手势控制教学界面完成教学任务。下面，将进行相关实验来论证上述两个假设：1)、实验实验环境为搭载corei5-4590cpu，和4g内存的普通pc，实验的场景为证明“同底面积同高的三棱柱是三棱锥体积的三倍”这一数学定理的在智能教学界面，在实验开始时，选取10名具有智能电视或智能手机使用经验的实验者，这些实验者会依次完成该智能教学界面的每一个交互语义，每完成一个交互语义后，要求实验者采用替代手势再次完成该交互语义一次。在实验开始的时候，依次告诉实验者表达这一语义的有哪些手势，如表达放大的语义的手势有二指放开手势、三指放开手势、五指放开手势和双手远离手势四种。本次实验采用nasa-tlx(nationalaeronauticsandspaceadministrationtaskload)认知负荷测评法来评估多种手势对应同一语义的柔性映射交互算法的认知负荷，同时采用一种手势对应一种语义交互算法作为对比算法进行对比进而评估本发明算法的认知负荷。nasa-tlx主要包含以下六个方面：脑力要求：评价整个手势交互过程中实验者心里变化程度大小；体力要求：评价整个手势交互过程中实验者需要付出的体力的大小：时间要求：完成整个任务的安排是否合理，实验者是否感觉到时间不充裕；努力程度：为了完成整个交互任务，实验者需要付出多大的努力，是否能够轻松完成整个任务；操作绩效：实验者是否能够顺利的完成交互任务，遇到问题是否能够及时解决；受挫程度：实验者在整个交互过程中是否感到了心烦、厌烦和沮丧等负面情绪以及负面情绪的大小。每项指标的最高分为100，最低分为0。分数越高表示完成整个交互过程实验者的认知负荷越大。在实验者依次完成交互语义实验后，实验者需参照nasa-tlx评分规则对其中所涉及到的六项指标依次进行打分并依次回答表8中的问题。表82)实验结果及其分析本实施例设计实现了证明“同底面积同高的三棱柱是三棱锥体积的三倍”这一数学定理的智能教学界面。下面我们选取智能教学界面中的放大语义简书该智能教学界面所完成的功能。如图14所示为三个棱锥拼合为一个三棱柱状态的智能教学界面，此时我们想要将该三棱柱进行放大操作，我们能够选取的交互手势有二指放开手势、三指放开手势、五指放开手势和双手远离手势，此时我们只需任选一种手势如二指放开手势对智能教学界面进行操作，操作完成后如图15所示，此时，智能教学界面中的三棱柱变大，符合我们的想要交互界面做出的变化；若此时智能教学界面中的三棱柱没有变化，此时，我们只需更换对应放大语义的不同手势如五指放开手势操作智能教学界面，直至智能教学界面做出的变化符合我们需要智能教学界面做出的变化；若此时智能教学界面中的三棱柱做出了变化但不符合我们的交互意图如图16所示，此时，我们只需要做出撤回手势使得智能教学界面回到变化之前的状态，在选择对应放大语义的任一手势对智能教学界面进行操作直至智能教学界面的变化正好是我们所期望的变化。实验结果如图17所示，与一种手势对应一种语义交互算法相比多种手势对应一种语义算法柔性映射交互算法的认知负荷降低了51.2％。两种交互算法在脑力要求方面的评分基本持平，一个实验者的对问题1的回答很好的解释了该现象，该实验者说尽管多种手势对应一种语义算法所需要记住的手势比一种手势对应一种语义算法所需要记住的手势多，但对应同一语义的多种手势非常相似，所以能够很容易记住。其余的五个方面多种手势对应一种语义柔性映射交互算法都有着很好的表现，因为该柔性映射交互算法解决了交互过程中遇到的手势不识别以及手势识别错误导致智能教学界面变化错误两个问题。在一种手势对应一种手势交互情境下如果用户当前交互手势出错，用户需要一直做出该交互手势直至交互界面变换正确，在这一过程中交互手势可能一直识别不正确或不能识别，这极大加重了用户的交互负担。根据实验的反馈可知，尽管多种手势对应一种语义柔性映射交互算法需要记住多种手势，但是对应一种语义的多种手势之间有着共同之处，一旦学会了，可以记忆很长一段时间，并且该智能教学界面通过多种手势对应同一语义柔性映射交互算法能够非常容易控制。同时实验者也反馈说该算法是符合我们日常行为习惯并且用户能够快速的熟练使用它。综上所述，本发明提出了多种手势对应同一语义柔性映射交互算法能够很好的解决在与智能教学界面交互过程中遇到的手势识别错误导致智能教学界面变化错误和手势不识别两个问题，并且该柔性映射交互算法是一个符合人类日常交互习惯的交互算法，能够显著地减少用户的交互负荷。本发明分析了该算法在智能教学界面中的表现，在以后的应用中，可将该模型扩展到其他交互界面上如场景漫游和三维模型的交互。还应说明，本发明中引用了其他的手势识别方法，对于这些手势识别方法所引用的文献介绍如下：[1]yinx，xiem.handposturesegmentation，recognitionandapplicationforhuman-robotinteraction[m]//humanrobotinteraction.intech，2007。[2]nguyen，viett.enhancingtouchlessinteractionwiththeleapmotionusingahapticglove[j].computerscience，2014。[3]rienera，ferschaa，bachmairf，etal.standardizationofthein-cargestureinteractionspace[c]//proceedingsofthe5thinternationalconferenceonautomotiveuserinterfacesandinteractivevehicularapplications.acm，2013：14-21。[4]ahnj，kimk.investigatingsmarttvgestureinteractionbasedongesturetypesandstyles[j].journaloftheergonomicssocietyofkorea，2017，36(2)。[5]cuij，kuijpera，sourina.explorationofnaturalfree-handinteractionforshapemodelingusingleapmotioncontroller[c]//cyberworlds(cw)，2016internationalconferenceon.ieee，2016：41-48。[6]carterm，newnj，vellosoe，etal.remotegazeandgesturetrackingonthemicrosoftkinect：investigatingtheroleoffeedback[c]//proceedingsoftheannualmeetingoftheaustralianspecialinterestgroupforcomputerhumaninteraction.acm，2015：167-176。[7]renz，yuanj，mengj，etal.robustpart-basedhandgesturerecognitionusingkinectsensor[j].ieeetransactionsonmultimedia，2013，15(5)：1110-1120。[8]camastraf，defeliced.lvq-basedhandgesturerecognitionusingadataglove[m]//neuralnetsandsurroundings.springerberlinheidelberg，2013：159-168。[9]huzf，wangyk，luoy，etal.animprovedcamshift-basedparticlefilteralgorithmforreal-timehandgesturetracking[j].sensors&transducers，2014，177(8)：307。[10]sanchez-rieraj，hsiaoys，limt，etal.arobusttrackingalgorithmfor3dhandgesturewithrapidhandmotionthroughdeeplearning[c]//multimediaandexpoworkshops(icmew)，2014ieeeinternationalconferenceon.ieee，2014：1-6。[11]juz，wangy，zengw，etal.amodifiedemalgorithmforhandgesturesegmentationinrgb-ddata[c]//fuzzysystems(fuzz-ieee)，2014ieeeinternationalconferenceon.ieee，2014：1736-1742。[12]huanglp，wuqx，zhanggr，etal.gesturesegmentationusingspikingneuralnetworksinspiredbythevisualsystem[j].2015.[13]zhangq，luj，zhangm，etal.handgesturesegmentationbasedonmixedskin-colormodel2015，12(9)：3527-3536。[14]songy，davisr.continuousbodyandhandgesturerecognitionfornaturalhuman-computerinteraction[c]//twenty-fourthinternationaljointconferenceonartificialintelligence.2015。[15]wangkr，xiaobj，xiajy，etal.areal-timevision-basedhandgestureinteractionsystemforvirtualeast[j].fusionengineeringanddesign，2016，112：829-834。[16]qiank，niuj，yangh.developingagesturebasedremotehuman-robotinteractionsystemusingkinect[j].internationaljournalofsmarthome，2013，7(4)。[17]kumarp，vermaj，prasads.handdataglove：awearablereal-timedeviceforhuman-computerinteraction[j].internationaljournalofadvancedscienceandtechnology，2012，43。[18]yangxw，fengzq，huangzz，etal.gesturerecognitionbasedoncombiningmaindirectionofgestureandhausdorff-likedistance[j].journalofcomputer-aideddesign&computergraphocs.2016，28(a)：75-81。[19]zhangy，wush，luoy.applicationsandrecognitionofgesturetrajectoryusinghmm[j].semiconductoroptoelectronics，2015，36(4)：650-656。[20]xuw.continuousgesturetrajectoryrecognitionsystembasedoncomputervision[j].appliedmathematics&informationsciences，2012，6(2s)：339-346。[21]xiaoyanzhou，zhiquanfeng，yuqiao，etal.theman-machinefinger-guessinggamebasedoncooperationmechanism[m]//transactionsoncomputationalsciencexxx.springer，berlin，heidelberg，2017：92-109。最后，还应说明，上述举例和说明也并不仅限于上述实施例，本发明未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本发明的技术方案并非是对本发明的限制，参照优选的实施方式对本发明进行了详细说明，本领域的普通技术人员应当理解，本
技术领域：
的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换都不脱离本发明的宗旨，也应属于本发明的权利要求保护范围，例如为解决轨迹手势的大小不一问题，也可以选择500×500作为轨迹手势的标准大小，当然也可以选择其他的像素尺寸作为标准大小，本实施例中的上述说明不作为限定，再次说明，上述实施例只是给出了随意举了一个目前常用的实施方式。当前第1页12