一种基于虚拟界面的自然交互方法

一种基于虚拟界面的自然交互方法
【专利摘要】本发明提供了一种基于虚拟界面的自然交互方法，属于智能计算机领域。该方法包括：S1，构建虚拟界面：通过静态和动态两种方式构建虚拟界面；S2，对虚拟界面进行分区：将虚拟界面平均分成多个区域，每个区域具有不同的功能；S3，虚拟界面的实时刷新移动：在交互过程中，如果用户需要更换位置进行操作，则虚拟界面会根据用户移动的距离情况进行相应的同方向的移动。本发明方法通过静态和动态两种方式构建虚拟界面，将虚拟界面进行分区，然后将虚拟界面作为输入界面与应用系统进行交互，有效解决了“Midas Touch Problem”，而且减少了用户的操作负荷，具有良好的用户体验。
【专利说明】
一种基于虚拟界面的自然交互方法
技术领域
[0001] 本发明属于智能计算机领域，具体涉及一种基于虚拟界面的自然交互方法。
【背景技术】
[0002] 手势是日常生活中人们经常使用的一种交流方式，而手势交互作为一种自然的交 互方式吸引了越来越多专家学者的注意，成为人机交互研究领域的一个热点。与传统的基 于图形用户界面的交互方式相比，基于视觉的手势交互界面使用户摆脱了键盘、鼠标等输 入设备的束缚，因而快速成为一种自然、无约束的交互方式。基于视觉的手势交互界面被广 泛应用在智能空间、增强现实、普适计算等领域，逐渐成为国内外的研究热点。但是由于基 于视觉的手势交互界面本身具有非接触性和模糊性等特点，计算机处理系统会对进入视频 范围内的所有手势命令进行处理，以至于用户的一些下意识的手势也会被解释成有效命 令，造成系统紊乱。所以在基于视觉的手势交互界面中还存在一个问题即"Midas Touch Problem"。
[0003] 在基于视觉的手势交互界面中"Midas Touch"是一个普遍存在的问题。在文献"基 于视觉的手势界面关键技术研究[J]"（武汇岳，张凤军，刘玉进，等..计算机学报，2009，10: 2030-2041.WU Yue-hui,ZHANG Feng-jun,LIU Yu-jin,et al.Re search on Key Issue of Vision-Based Gesture Interfa ces[J].Chinese Journal of Computers，2009,10: 203 0-2041)中，武岳汇等人总结到对于该问题的解决办法大致可以分为3类，分别是基于 时间延迟的策略、基于空间接近的原则以及基于widget提供交互上下文的方法。基于时间 延迟的策略（Jacob R J K . Eye Movement-Based Human-Computer Interact ion Techniques:Toward Non-Command Interfa-ces[J].IN ADVANCES IN HUMAN-COMPUTER INTERACTION. 1999:151-19)是Jacob提出的，其主要思想是通过计算手势控制界面上的光 标在界面对象上停留时间的长短来判断该对象是否被选中。显然，该方法不够自然。因为用 户在操作时必须时刻注意手势停留在对象上的时间，这无疑增加了用户的认知负荷和操作 负荷。Kato等人提出了基于空间接近原则的策略(Kato H，Billinghurst M，Poupyrev I，et al .Virtual Object Manipulation on a Table-Top AR Environment!! J] ? Proc ? ISAR 2000,2000:111-111)。该方法的主要思想是通过判断用户手持的paddle与虚拟对象之间的 距离来完成一系列的交互任务。此方法的缺陷是由于paddle与虚拟对象之间的距离不容易 控制所以也会产生误选的可能。Kjeldsen提出在手势动作和视觉界面widget之间建立一定 的映身才关系（Kjeldsen R,Levas A,Pinhanez C.Dynamically reconfigurable vision-based user interfaces[J].Machine Vision and Applications，2004，16(1):6-12?)〇由 于每个界面widget具有一定的空间位置，所以可通过其提供的交互上下文来约束视觉交互 行为。虽然此系统在一定程度上解决了误选的问题，但是该方法不够自然。因为当系统需要 很多widget时，这无疑会加大用户的认知负荷，而且会使界面空间过大而影响交互。武岳汇 等人提出了一个可扩展的视觉手势交互模型，该模型将手势交互分为选择性处理、分配性 处理和集中处理三个阶段;然后在此模型的基础上提出了一个手势识别框架。虽然该算法 可以解决"Midas Touch Problem"，但对于用户无关的训练应用，该方法的识别率不高。

【发明内容】

[0004] 本发明的目的在于解决上述现有技术中存在的难题，提供一种基于虚拟界面的自 然交互方法，解决"Midas Touch Problem"，减少用户的操作负荷。
[0005] 本发明是通过以下技术方案实现的：
[0006] -种基于虚拟界面的自然交互方法，包括：
[0007] S1，构建虚拟界面:通过静态和动态两种方式构建虚拟界面；
[0008] S2,对虚拟界面进行分区：将虚拟界面平均分成多个区域，每个区域具有不同的功 能；
[0009] S3,虚拟界面的实时刷新移动:在交互过程中，如果用户需要更换位置进行操作， 则虚拟界面会根据用户移动的距离情况进行相应的同方向的移动。
[0010] 所述S1包括：
[0011] S11:获取摄像头所捕获到的视频帧图像；
[0012] S12:对视频帧图像进行手势分割，将人手从背景中分离出来；
[0013] S13:对分割后的手势图像进行识别，判断识别结果是否为拳头，若识别结果为拳 头，则记录下该帧手势的位置H，然后转到步骤S14;若识别结果不是拳头，则转到步骤S12; [0014] S14:判断手势是否处于静止状态，若为静止状态，则转到步骤S15 ;若不是静止状 态，则转到步骤S16;
[0015] S15:采用静态方式创建虚拟界面；
[0016] S16:采用动态方式创建虚拟界面；
[0017] S17:判断手势是否静止，若静止，表明人手轨迹运动结束即动态构建虚拟界面的 过程结束，转到步骤S18;若手势非静止，则转到步骤S16;
[0018] S18:对集合C中的手势坐标点求轴对齐包围盒，得到的包围盒即为虚拟界面，根据 虚拟界面给出有效手势命令的坐标范围。
[0019] 所述S15是这样实现的：
[0020] 以H为中心，在其周围生成虚拟界面，虚拟界面各点的值由以下公式求得：
[0022]式中的HxHyHz分别为H点处的x、y、z方向的坐标值，L、W和H为认知实验中所得到的 虚拟界面的值。
[0023] 所述L、W和H的取值如下： '.￡ = 55:1
[0024] W - 423 H = 542 、 〇
[0025] 所述S16是这样实现的：
[0026] 保存每帧手势的空间坐标点到集合C中。
[0027] 所述S18中的根据虚拟界面给出有效手势命令的坐标范围是这样实现的：
[0028] 记人手在空间中的手势坐标为S，其在空间x方向、y方向和z方向的坐标值分别Sx、 Sy、Sz，只有当Sx、Sy、Sz均满足下列条件时，手势命令才是有效的： .T, < Sx < X,
[0029] 丨。 Z[ < Sz < z2
[0030] 所述S2包括：
[0031]将虚拟界面平均分成四个区域，分别为放大功能区、缩小功能区、旋转功能区和移 动功能区；
[0032] S21:按照公式(6)计算虚拟界面的重心位置：
.(6)
[0034] 式中的&，、~分别为重心位置处的1坐标值、7坐标值和2坐标值；
[0035] S22:判断人手位于哪个功能区内：从摄像头实时获取每帧手势的Sx、Sy、Sz值，并对 Sx、Sy、Sz进行判断，具体判断过程如下：
[0036] (a)判断是否满足公式(7)，若满足，则表明人手处于放大功能区，此时3D场景中三 维物体的体积会变大； W丨,"
[0037] W Wz2 (7)
[0038] (b)判断是否满足公式(8)，若满足，则表明人手处于缩小功能区，此时3D场景中三 维物体体积会缩小； .T,)r < 5t < x2
[0039] i .Vi ^ Sr < ym Wz2 (8)
[0040] (c)判断是否满足公式(9)，若满足，则表明人手处于旋转功能区，此时3D场景中的 三维物体会按照一个固定的方向旋转一定角度； W A.,"
[0041 ] j.v",<Kv2 zi - - Z2 (9)
[0042] (d)判断是否满足公式（10)，若满足，则表明人手处于移动功能区，此时通过判断 人手的运动方向决定3D物体的移动方向； W A
[0043] ^ y," ^ Sy < Z>-S^-Z2 (.10)
[0044] (e)如果以上条件都不满足，表明人手处于虚拟界面之外，此时3D场景中的物体不 会有任何变化，即手势命令无效。
[0045] 所述S3包括：
[0046] S31:记下虚拟界面学习完成时，即步骤S1结束时，通过Kinect获得的人体的初始 重心坐标Pi;
[0047] S32:获取每帧人体的重心坐标P2,并计算人体在空间中移动的距离i = |i^P2| <
[0048] S33:判断虚拟界面是否需要移动，判断d>s是否成立，s为一常量，若成立表明虚 拟界面需要移动，然后根据公式(11)更新虚拟界面中的值;若不需要移动，则转到步骤S32; Xj = Xj -^d ^cosa x2 = & + - j', t d ^ cos (5
[0049] <V2 = V2 + ^^c〇Sy0 zx = zx+ cos y z2=z2+d*cosr (U)
[0050] 其中，d为人体移动的距离;cosa、cos0、cos y分别为向量与空间x轴、y轴、z轴 方向夹角的余弦值。
[0051 ] s 取值为 200。
[0052]与现有技术相比，本发明的有益效果是:本发明方法通过静态和动态两种方式构 建虚拟界面，将虚拟界面进行分区，然后将虚拟界面作为输入界面与应用系统进行交互，有 效解决了 "Midas Touch Problem"，而且减少了用户的操作负荷，具有良好的用户体验。
【附图说明】
[0053]图1认知实验结果图
[0054] 图2概率分布图
[0055] 图3本发明构建虚拟界面的步骤框图 [0056]图4虚拟界面功能分布图
[0057]图5虚拟界面学习所用时间图 [0058]图6交互出错次数
[0059]图7用户评价图。
【具体实施方式】
[0060]下面结合附图对本发明作进一步详细描述：
[0061] 针对基于视觉的手势交互界面中的"Midas Touch Problem"，本发明提出了虚拟 界面的概念。本发明用统计分析的方法建立虚拟界面的认知基础，提出了一种基于认知行 为模型的虚拟界面构建方法，实现了一个基于虚拟界面的示范应用。在具体方法上，本发明 采用静态和动态两种方式对虚拟界面进行构建，并对已构建的虚拟界面进行分区，每个分 区具有不同的功能，从而达到一种手势实现多个功能，降低用户记忆负荷的目的。实现虚拟 界面的实时刷新功能，达到与人体亦步亦趋的效果。本发明提出了有效的虚拟界面感知方 法，验证了其交互能力及其解决"Midas Touch Problem"的积极效果。实验结果表明：虚拟 界面不仅能够高效解决"Midas Touch Problem"，而且具有良好的用户体验。
[0062]手势是日常生活中人们经常使用的一种交流方式，而手势交互作为一种自然的交 互方式吸引了越来越多专家学者的注意，成为人机交互研究领域的一个热点。与传统的基 于图形用户界面的交互方式相比，基于视觉的手势交互界面使用户摆脱了键盘、鼠标等输 入设备的束缚，因而快速成为一种自然、无约束的交互方式。基于视觉的手势交互界面被广 泛应用在智能空间、增强现实、普适计算等领域，逐渐成为国内外的研究热点。但是由于基 于视觉的手势交互界面本身具有非接触性和模糊性等特点，计算机处理系统会对进入视频 范围内的所有手势命令进行处理，以至于用户的一些下意识的手势也会被解释成有效命 令，造成系统紊乱。所以在基于视觉的手势交互界面中还存在一个问题即"Midas Touch Problem"。
[0063]本发明在已有的研究基础上，提出了一种基于虚拟界面的手势交互方法。该方法 通过静态和动态两种方式构建虚拟界面，将虚拟界面进行分区，然后将虚拟界面作为输入 界面与应用系统进行交互，有效解决了 "Midas Touch Problem"。
[0064] 认知是人认识外界事物的过程，也可称为认识，体现了人最基本的心理过程，它可 以对作用于人的感觉器官的外界事物进行信息的加工。人要想对事物进行认识，一般要经 过从"不知"到"了解"，在从"了解"到"理解"的过程 [12，13]。在心理学中，认知是通过个体思 维对信息进行处理的一种心理功能，是通过一系列像知觉、想象、形成概念或判断等心理活 动来达到获取知识的过程。
[0065]通过研究认知理论，并将其运用到人机交互中是人机交互领域中一个新的研究方 向，受到了众多学者和专家的关注。人机交互顾名思义是人和计算机进行交互。在基于视觉 的手势交互中，人手活动的有效区域往往是视频所能捕获到的整个范围，即用户在视频范 围内的任一手势动作都会被计算机解释成有效命令。按照认知理论，在手势交互过程中，人 手的运动范围会遵循一定的规律。本文在基于Kincet智能电视控制平台上进行实验，对实 验中人手的运动范围进行计算和统计，寻找其中的规律。
[0066]人手在运动过程中是遵循一定规律的，为了研究其中的规律，本发明设计了认知 实验。实验前先对操作者进行一些系统培训，比如讲解实验的过程和任务，让他们对实验有 一个认识。为了使得到的实验数据更具有普遍性和统计意义，实验对象选择了 200名不同年 龄(年龄段在19-27岁之间）、不同性别（其中包括男生110人，女生90人）、不同学历(包括研 究生和本科生）、不同生活经验(其中35人有使用过智能手势操作或智能电视的经历）的人。 认知实验是在基于Kinect智能电视控制平台上进行的。实验的具体过程是：在视频用暴风 影音软件打开的情况下，让操作者均站在一个固定的位置，按照顺序依次完成以下六个任 务。这六个任务分别是（1)操作者向左挥手减少视频的音量；（2)操作者向右挥手增加视频 的音量；（3)操作者向上挥手切换上一个频道；（4)操作者向下挥手切换下一个频道；（5)操 作者的手向前做前推动作，使视频快进；（6)操作者的手向后拉做后拉动作，使视频快退。六 个手势动作完成即为任务结束。在实验的整个操作过程中，不对操作者的手势轨迹做出任 何纠正，操作者完全按照自己的操作习惯，用自己最自然、最舒适的方式去操作完成整个交 互任务。
[0067] 记录下每个实验者从任务开始到任务结束即整个任务操作过程中人手运动的轨 迹点集合。因为kinect可以获得三维的人手空间坐标，所以对手势轨迹点集合求取轴对齐 包围盒(AABB)，便得到一个三条边均与空间坐标轴平行并且能够将手势轨迹点集合中的所 有手势点包围起来的最小长方体或是立方体（以下均称为长方体）。所以最终获得的实验数 据为该长方体的长宽高的值。
[0068] 通过认知实验获得了实验数据后，就可以对数据进行分析。本发明是利用美国 MathWork公司的MATLAB软件对数据进行分析和统计。由MATLAB得到的曲线图如图1所示。
[0069] 由图1可知，虽然不同长方体的长、宽和高的值不尽相同，但均在一定范围内。这表 明虽然不同的人有不同的操作方式和交互方式，但操作区域大都在一定范围内，此范围也 是极为相似的。该操作范围即体现了交互过程中人手运动的规律性。在交互过程中，人手的 活动区域大都控制在一定范围内，此范围对于操作者来说是舒适和方便的。该范围即为本 发明所提出的虚拟界面，所以认知实验的设计为虚拟界面的存在和构建提供了理论和数据 支持。图2为概率分布图。由图2所知，认知实验过程中所得到的长方体的长、宽和高的值均 近似服从正态分布。
[0070] 本发明用L表示所得长方体的长度均值，表示长度标准差，W表示宽度均值，~表 示宽度标准差，H表示高度均值，表示高度标准差。按照公式（1)计算L、W和H的值，按照公 式⑵计算〇L、〇W、〇H的值。
[0073] 其中，式（1)、（2)中1^、11、111分别表示在认知实验中，每个实验操作者所得到的操 作范围的长宽高的值;N为参加认知实验的总人数。 X - 551 \aL = 97
[0074] 经过计算得到：= <cV =l〇7单位均为mm<JL、W和H的值将用到下一节 汉=542 ~=94 1 .... ,： ^ 〇 虚拟界面的构建过程中。
[0075] 手势分割是从复杂背景中将手势图像分离出来，只在前景中保留手势部分。手势 分割的好坏将直接影响后续的手势识别效果。本发明采用微软的Kinect传感器获取深度数 据，在此基础上利用人手的深度信息对手势进行分割，避免了光照、背景等因素的影响，提 高了手势分割的鲁棒性。然后对分割结果进行去噪、腐蚀、膨胀等处理。
[0076] 手势识别是人机交互领域中的一项关键技术。本发明采用的是基于手势主方向和 类-Hausdorff距离的手势识别算法。该算法主要是对空间手势的手势坐标点分布特征进行 提取，然后利用类-Hausdorff作为相似性度量。实验结果表明，该算法对于手势的平移、旋 转和缩放具有很好的鲁棒性，具有很强的稳定性和实用性。
[0077] 当今世界人体工程学受到了越来越多国家的重视，并且其应用领域也越来越广。 以人为本作为人体工程学的基本思想，在科技快速发展的今天已经成为一种趋势。将人-机-环境系统作为一个整体来研究是现代人机工程学的研究方向，其目的是为人类创造出 适合的产品和舒适的环境，从而达到人-机-环境和谐统一的目的。从人机工程学的角度出 发，根据人的行为习惯，本发明提出了两种构建虚拟界面的方式，分别是静态构建和动态构 建，意在建立一种符合用户操作习惯和并且能够增加用户舒适度的创建方式。
[0078]动态构建虚拟界面的具体方法为:操作者在空中按照自己的操作习惯随意画一个 闭合的轨迹，此闭合轨迹的外接包围盒即为构建的虚拟界面。静态创建虚拟界面的方式为： 操作者将手自然抬起，做拳头手势，并在空中静止几秒后，在人手的周围，以人手为中心会 自动建立一个虚拟界面。该虚拟界面的大小，可由前面认知实验的结论(所得到的长方体的 长宽高的均值)来确定。这两种构建方式符合人的操作习惯，而且降低了操作者的操作负荷 和认知负荷。这两种方式的共同特点是：需要事先对拳头手势进行识别。因为本发明将拳头 手势作为构建虚拟界面的特定手势。这样可以避免一些无效手势命令。本发明用
[0079] VR={xi,X2,yi,y2,zi,Z2}. (3)
[0080]来表示虚拟界面。其中xi、X2为在x方向上虚拟界面的最小值和最大值;yi、y2为在y 方向上虚拟界面的最小值和最大值;Z1、Z2为在z方向上虚拟界面的最小值和最大值。
[0081]构建虚拟界面的算法的框架流程图如图3所示。
[0082]构建虚拟界面的具体算法如下：
[0083]步骤1:获取摄像头所捕获到的视频帧图像；
[0084]步骤2:对视频帧图像进行手势分割，将人手从背景中分离出来；
[0085] 步骤3:对分割后的手势图像进行识别，判断识别结果是否为拳头;若识别结果为 拳头，记录下该帧手势的位置H，转到步骤4;若识别结果不是拳头，则转到步骤2;
[0086] 步骤4:判断手势是否处于静止状态，若为静止状态，则可判断为此方式为静态创 建虚拟界面，然后转为步骤5;若不是静止状态，则为动态创建虚拟界面的方式，转为步骤6;
[0087]步骤5:以H为中心，在其周围生成虚拟界面。虚拟界面各点的值可由以下公式求 得：
[0089]式中的HxHyHz分别为H点处的x、y、z方向的坐标值，L、W和H为认知实验中所得到的 虚拟界面的值；
[0090] 步骤6:保存每帧手势的空间坐标点到集合C中；
[0091] 步骤7:判断手势是否静止，若静止，表明人手轨迹运动结束即动态构建虚拟界面 的过程结束，转到步骤8;若手势非静止，则转到步骤6;
[0092]步骤8:对集合C中的手势坐标点求轴对齐包围盒，得到的包围盒即为虚拟界面；
[0093] 记人手在空间中的手势坐标为S，其在空间x方向、y方向和z方向的坐标值分别Sx、 Sy、Sz。只有当Sx、Sy、Sz均满足下列条件时，手势命令才是有效的。 W x2
[0094] < .V! < 5；,. S jv'2 Z1 ^ ^ Z2 . (5)
[0095] 对虚拟界面分区的方法如下：
[0096] 学习过程确定了虚拟界面的大小和位置，接下来是利用虚拟界面与3D场景进行 交互。本发明的交互任务主要为放大、缩小、旋转和移动三维物体。为了实现这四种常用的 功能，本发明提出了分区的概念，即对虚拟界面进行分区。本发明将虚拟界面平均分成四个 区域，每个区域具有不同的功能，从而用一种手势就可以完成所有的功能。分区后的虚拟界 面以及个分区所具有的功能如图4所示：
[0097]具体分区算法如下所述：
[0098]步骤1:按照公式(6)公式计算虚拟界面的重心位置。
[0100] 式中的&，、~分别为重心位置处的1坐标值、7坐标值和2坐标值。
[0101] 步骤2:判断人手位于哪个功能区内。从摄像头实时获取每帧手势的Sx、Sy、Sz值，并 对S x、Sy、Sz进行判断。具体判断过程如下：
[0102] (a)判断是否满足公式(7)。若满足，则表明人手处于放大功能区，此时3D场景中三 维物体的体积会变大。
[0103] < < v", ^ ，( 7)
[0104] (b)判断是否满足公式(8)。若满足，则表明人手处于缩小功能区，此时3D场景中三 维物体体积会缩小。 w x2
[0105] <}\<Sv<ym z> ^s-- ^ z2 ? (8)
[0106] (c)判断是否满足公式(9)。若满足，则表明人手处于旋转功能区，此时3D场景中的 三维物体会按照一个固定的方向旋转一定角度。 Xj < Sy < xm
[0107] * VH, < S,. < v, zi ^ < z2 (9)
[0108] (d)判断是否满足公式（10)。若满足，则表明人手处于移动功能区。通过判断人手 的运动方向决定3D物体的移动方向。 xIH < Sx < x,
[0109] j V", ^ Sy < W2-) (10)
[0110] (e)如果以上条件都不满足，表明人手处于虚拟界面之外，此时无论人手怎么操作 3D场景中的物体都不会有任何变化，即手势命令无效。
[0111] 虚拟界面的实时刷新移动方法如下：
[0112] 在交互过程中，有时用户需要更换位置进行操作。在这种情况下，本发明规定之前 学习好的虚拟界面会根据用户移动的距离情况进行相应的同方向的移动，达到与用户亦步 亦趋的效果。具体算法如下所述：
[0113]步骤1:记下虚拟界面学习完成时，人体的初始重心坐标丹。
[0114] 步骤2:获取每帧人体的重心坐标P2,并计算人体在空间中移动的距离d = |巧P2| _
[0115] 步骤3:判断虚拟界面是否需要移动。判断d>s是否成立，s为事先定义的一常量， 其推荐取值为200。若成立表明虚拟界面需要移动，然后根据公式（11)更新虚拟界面中的 值;若不需要移动，则转到步骤2。 (11)
[0117] 其中，d为人体移动的距离;cosa、cos0、cos y分别为向量与空间x轴、y轴、z轴 方向夹角的余弦值。
[0118]本发明实验所用的普通个人计算机的基本配置为:windows7系统，CPU为Intel Xeon W3520,主频2.67GHz，ft#8GB〇
[0119]本发明的实验操作场景和3D场景如下：左上方是虚拟界面所对应的功能区图。当 人手处于虚拟界面的不同功能区时，对应功能图标的周围会出现一红色边框，表示用户此 时所处的功能区域，给用户一种实时的反馈。当人手在虚拟界面之外时，系统会根据人手和 虚拟界面的相对位置，在图片上给出相应的反馈。例如，当人手处于虚拟界面的下方时，左 上方图中的下方会出现一红线，以此来告诉用户此时人手的位置。左中方是Kinect实时捕 获到的用户操作场景。左下方为利用Kinect获得的深度信息对人手进行分割的结果。右边 部分为虚拟场景，场景中的物体为一魔方。虚拟界面构建完成后，用户通过虚拟界面与虚拟 场景中的魔方进行交互。
[0120]操作者通过虚拟界面与3D场景交互的过程如下：（a)初始状态下3D场景中魔方的 状态；（b)人手处于移动功能区，此时魔方相对于初始位置向右进行了一段距离的移动；（c) 人手处于缩小功能区，此时魔方的体积在移动的基础上变小；（d)人手处于放大功能区，在 (c)的基础上魔方的体积进行了一定比例的放大；（e)人手处于旋转功能区，可以看到魔方 在(d)的基础上进行了一定角度的旋转；（f)人手处于虚拟界面外时，3D场景中的魔方不会 发生任何变化，与(e)的状态完全相同，即此时手势命令无效。
[0121]在交互过程中，虚拟界面的实时刷新变化，包括：（a)虚拟界面学习完成时，虚拟界 面在屏幕上的投影位置，即初始位置；（b)当人体向左平移一段距离时，虚拟界面的移动情 况，结果为虚拟界面向左也移动了一定的距离；（c)当虚拟界面向左移动时，人手在旋转功 能区使魔方进行一定角度的旋转；（d)当人体向右平移一段距离时，虚拟界面向右也移动了 一段距离。（e)当虚拟界面向右移动时，人手在放大功能区使魔方的体积在原来的基础上变 大。
[0122]本发明在时间和精度方面对本文算法进行了评价。时间为虚拟界面学习过程中所 消耗的时间。其中时间又分为静态建立虚拟界面所消耗的时间和动态建立虚拟界面所消 耗的时间。精度为在通过虚拟界面与3D场景进行交互时，交互出错的次数(预先设置好任务 即每次实验过程中需要与3D场景交互10次，也就是所有的功能共执行10次）。选取30名实验 者进行30次独立实验，分别计算每次实验时学习虚拟界面所用的时间和交互出错出现的次 数。在30名操作者中，又平均分成两组，每组15个人。其中一组选用静态构建虚拟界面的方 式对虚拟界面进行构建，另外一组选用动态构建虚拟界面的方式进行构建虚拟界面。对实 验过程中得到的数据利用matalab软件进行作图，得到的结果图如图5和图6所示。
[0123] 图5为虚拟界面学习过程中的时间统计图。由图可知，静态构建虚拟界面所需要的 时间明显少于动态构建虚拟界面所需要的时间。这是因为静态构建虚拟界面时，操作者不 需要通过在空中画轨迹来确定虚拟界面的大小。通过对每一组所得到的数据计算平均值， 得到静态构建虚拟界面所需的平均时间为2502ms，动态构建虚拟界面所需的平均时间为 4950ms。图6为精度统计图。由图可知，在所有的实验中，虽然每次实验都有不同的操作者完 成，但交互出错的次数基本在1次到3次之间。由此表明，使用本算法操作者能够很好与系统 进行交互，能够很顺利地完成操作任务。
[0124] 此外本发明还把用户体验作为对本文算法的一个评价标准。为了方面描述，将本 发明基于虚拟界面算法的系统简称为VIM(Virtual Interface Method)。与之相对应的即 无虚拟界面算法的系统则称之为NVIM(None Virtual Interface Method)。随机选取50名 不同专业、不同年龄、不同性别的本科生和研究生作为实验者，在实验场景和交互任务完全 相同的V頂和NV頂系统上进行实验。本实验场景如上面所讲到的为3D场景中的立方体。实验 任务为将放大、缩小、旋转和移动功能共操作10次。本文将从疲劳度、努力程度、愉悦度和可 行性这四个方面对使用VIM的系统和使用NVIM的系统进行评价。其中，疲劳度为操作过程 中，操作者的辛苦程度;努力程度为为完成交互任务，操作者需要付出多少的努力;愉悦度 为使用系统时，用户所感到的愉悦程度;可行性为对于用户来说，系统的可行程度。其中疲 劳度和努力程度分数越低表示系统越好，可行性和愉悦度分数越高表示系统越好。实验者 做完实验后，会为他们发放一份调查问卷。调查问卷的主要内容是请操作者根据之前的操 作过程，从切身感受出发，从疲劳度、努力程度、愉悦度和可行性方面对这两个不同的系统 分别进行打分。具体的打分标准为:满分均为100分。然后求各个性能在不同算法中的平均 分。实验结果如图7所示。由图7可知在疲劳度和努力程度方面，基于VIM的系统优势尤其明 显。这是因为与基于NVM的系统相比，基于V頂系统的操作空间被限制到了某个特定的范围 内也就是虚拟界面内，这样操作者在小范围内就可以完成整个操作任务而不需要移动身体 或者努力伸长胳膊才能达到目的。由于虚拟界面的存在防止了下意识的手势触发命令，所 以在愉悦度和可行度方面，基于V頂的系统也具有一定的优势。
[0125] 本发明提出了虚拟界面的概念，通过学习过程构建虚拟界面，并规定处于虚拟界 面之内的手势是有效手势，而处于虚拟界面之外的手势是无效手势，不会触发任何命令，有 效解决了在基于视觉的手势交互界面中出现的"Midas Touch Problem"。发明用大量的统 计实验构建"虚拟界面"的认知基础;提出了一种基于认知行为模型的虚拟界面构建算法； 实现了一个基于虚拟界面的示范应用。从实验结果来看，虚拟界面的存在，不仅能有效解决 "Midas Touch Problem"，而且减少了用户的操作负荷，具有良好的用户体验。
[0126] 上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本 发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本 发明上述【具体实施方式】所描述的方法，因此前面描述的方式只是优选的，而并不具有限制 性的意义。
【主权项】
1. 一种基于虚拟界面的自然交互方法，其特征在于:所述基于虚拟界面的自然交互方 法包括： S1，构建虚拟界面:通过静态和动态两种方式构建虚拟界面； 52, 对虚拟界面进行分区：将虚拟界面平均分成多个区域，每个区域具有不同的功能； 53, 虚拟界面的实时刷新移动:在交互过程中，如果用户需要更换位置进行操作，则虚 拟界面会根据用户移动的距离情况进行相应的同方向的移动。2. 根据权利要求1所述的基于虚拟界面的自然交互方法，其特征在于:所述S1包括： S11:获取摄像头所捕获到的视频帧图像； S12:对视频帧图像进行手势分割，将人手从背景中分离出来； S13:对分割后的手势图像进行识别，判断识别结果是否为拳头，若识别结果为拳头，则 记录下该帧手势的位置H，然后转到步骤S14;若识别结果不是拳头，则转到步骤S12; S14:判断手势是否处于静止状态，若为静止状态，则转到步骤S15;若不是静止状态，则 转到步骤S16; S15:采用静态方式创建虚拟界面； S16:采用动态方式创建虚拟界面； S17:判断手势是否静止，若静止，表明人手轨迹运动结束即动态构建虚拟界面的过程 结束，转到步骤S18;若手势非静止，则转到步骤S16; S18:对集合C中的手势坐标点求轴对齐包围盒，得到的包围盒即为虚拟界面，根据虚拟 界面给出有效手势命令的坐标范围。3. 根据权利要求2所述的基于虚拟界面的自然交互方法，其特征在于:所述S15是这样 实现的： 以Η为中心，在其周围生成虚拟界面，虚拟界面各点的值由以下公式求得：式中的HxHyHz分别为Η点处的X、y、ζ方向的坐标值，L、W和Η为认知实验中所得到的虚拟 界面的值。4. 根据权利要求3所述的基于虚拟界面的自然交互方法，其特征在于:所述L、W和Η的取 值如下：5. 根据权利要求4所述的基于虚拟界面的自然交互方法，其特征在于:所述S16是这样 实现的： 保存每帧手势的空间坐标点到集合C中。6. 根据权利要求5所述的基于虚拟界面的自然交互方法，其特征在于:所述S18中的根 据虚拟界面给出有效手势命令的坐标范围是这样实现的： 记人手在空间中的手势坐标为S，其在空间X方向、y方向和z方向的坐标值分别Sx、Sy、 Sz，只有当Sx、Sy、Sz均满足下列条件时，手势命令才是有效的：7. 根据权利要求6所述的基于虚拟界面的自然交互方法，其特征在于:所述S2包括： 将虚拟界面平均分成四个区域，分别为放大功能区、缩小功能区、旋转功能区和移动功 能区； S21:按照公式(6)计算虚拟界面的重心位置：式中的Xm、ym、Zm分别为重心位置处的X坐标值、y坐标值和Z坐标值； S22:判断人手位于哪个功能区内：从摄像头实时获取每帧手势的Sx、Sy、Sz值，并对S x、 Sy、Sz进行判断，具体判断过程如下： (a) 判断是否满足公式(7)，若满足，则表明人手处于放大功能区，此时3D场景中三维物 体的体积会变大；(b) 判断是否满足公式(8)，若满足，则表明人手处于缩小功能区，此时3D场景中三维物 体体积会缩小；(c) 判断是否满足公式(9)，若满足，则表明人手处于旋转功能区，此时3D场景中的三维 物体会按照一个固定的方向旋转一定角度；(d) 判断是否满足公式（10)，若满足，则表明人手处于移动功能区，此时通过判断人手 的运动方向决定3D物体的移动方向；(e) 如果以上条件都不满足，表明人手处于虚拟界面之外，此时3D场景中的物体不会有 任何变化，即手势命令无效。8. 根据权利要求7所述的基于虚拟界面的自然交互方法，其特征在于:所述S3包括： S31:记下虚拟界面学习完成时，即步骤S1结束时，通过Kinect获得的人体的初始重心 坐标Pi; S32:获取每帧人体的重心坐标P2，并计算人体在空间中移动的距离?/ = 4/^1, 5 S33:判断虚拟界面是否需要移动，判断d>s是否成立，s为一常量，若成立表明虚拟界 面需要移动，然后根据公式(11)更新虚拟界面中的值;若不需要移动，则转到步骤S32;其中，d为人体移动的距离;cosa、cosP、cos γ分别为向量与空间X轴、y轴、z轴方向 夹角的余弦值。9. 根据权利要求8所述的基于虚拟界面的自然交互方法，其特征在于：所述s取值为 200 〇
【文档编号】G06F3/0481GK105929946SQ201610236789
【公开日】2016年9月7日
【申请日】2016年4月15日
【发明人】冯志全, 刘慧
【申请人】济南大学