一种基于混合现实桌面手势交互方法

1.本技术涉及混合现实技术领域，尤其涉及一种基于混合现实桌面手势交互方法。


背景技术：

2.空中手势交互作为自然手势交互中的常见形式，凭借其不借助中间设备、直接人体输入的特点，已经被广泛应用于混合现实领域。然而，空中手势交互存在比较明显交互疲劳问题，无法满足需要频繁交互、长期交互的交互场景需求。
3.由于空中手势交互存在明显交互疲劳问题，研究者们开始不断探索其他降低交互疲劳的交互方式。knierim p,schwind v,feit am,et al.physical keyboards in virtual reality:analysis of typing performance and effects of avatar hands[c]//proceedings of the 2018chi conference on human factors in computing systems.2018:1-9.中引入物理键盘以提高混合现实打字绩效；cho i,wang x,wartell zj.hyfinball:a two-handed,hybrid 2d/3d desktop vr interface for multi-dimensionaz visualization[c]//visualization and data analysis 2014.spie,2014,9017:150-163.中通过多模式切换的手持式按钮球hyfinball来减少用户拿放设备的次数以减轻交互疲劳，提高交互绩效；meier m,streli p,fender a,et al.tapld:rapid touch interaction in virtual reality using wearable sensing[c]//2021ieee virtual reality and 3d user interfaces(vr).ieee,2021:519-528.中利用可穿戴式惯性传感器tapid监测用户和桌面的接触情况，通过手指在桌面上的点击动作来完成交互过程；lu s,cai l,ding x,et al.a combined strategy of hand tracking for desktop vr[c]//pacific rim conference on multimedia.springer,cham,2018:256-269.中在桌面混合现实手部追踪组合策略中，将手势识别传感器由最开始所在的头戴式显示器上转移到桌面上，减轻头戴式显示器重量以减轻颈部疲劳，在桌面支撑手臂情况下进行空中手势交互；li g,rempel d,liu y,et al.design of 3d microgestures for commands in virtual reality or augmented reality[j].applied sciences,2021,11(14):6375.中研究基于手指和手部动作的3d微手势设计，以避免较大幅度的前臂和上臂手势造成的手臂疲劳；li x,han f,sun x,et al.bracelet:arms-down selection for kinect mid-air gesture[j].behaviour&information technology,2019,38(4):401-409.中提出了基于kinect的手臂向下选择方法——bracelet，通过手臂向下运动减轻手臂交互产生的“大猩猩手臂综合征”；iqbal h,latif s,yan y,et al.reducing arm fatigue in virtual reality by introducing 3d-spatial offset[j].ieee access,2021,9:64085-64104.中提出proxyhand和stickhand技术，通过引入3d空间偏移来减小混合现实交互中的手臂疲劳；roh,byunjh,park yj,et al.arpointer:advanced ray-casting interface using laser pointer metaphor for object manipulation in 3d augmented reality environment[j].applied sciences,2019,9(15):3078.中在三维增强现实环境中使用激光指针隐喻ar pointer来避免空中手势疲劳问题，用户通过配备有6dof惯性测量单元传感器和触摸屏的
移动设备进行射线投射来实现交互行为。虽然这些交互方式一定程度减轻了交互疲劳，但它们大都基于具有强侵入性的可穿戴设备与控制器，在减轻交互疲劳的过程中舍弃了人机交互的自然性与舒适度，难以实现人和三维虚拟空间的自然融合。
[0004]
目前，国内外尚缺少基于裸手交互的低疲劳、高效率、适合长时间使用的混合现实交互方法。


技术实现要素：

[0005]
本技术提供了一种基于混合现实桌面手势交互方法，其技术目的是实现桌面裸手交互，旨在通过桌面小范围手指动作与混合现实场景交互产生交互行为来降低交互疲劳，并通过显示和控制的实时同步和心理一致性来提升人机互信度，提升交互绩效。
[0006]
本技术的上述技术目的是通过以下技术方案得以实现的：
[0007]
一种基于混合现实桌面手势交互方法，包括：
[0008]
s1：用户佩戴混合现实头戴式显示器，用户处于混合现实环境中并保持坐姿作业状态，手指在桌面上滑移点击；
[0009]
s2：对桌面手势交互图像进行捕获，对桌面手势交互图像的图像干扰进行消除，获取手指与桌面的手指触摸信息，所述手指触摸信息包括手指触摸数量、手指触摸时间、手指触摸位置及手指轮廓面积；
[0010]
s3：根据手指触摸个数、手指触摸时间、手指触摸位置及手指轮廓面积对桌面手势进行判定，完成对桌面手势的识别；
[0011]
s4：对交互目标进行选择，并根据所识别的桌面手势，实现混合现实环境中的交互行为触发，完成混合现实桌面手势交互。
[0012]
进一步地，所述图像干扰包括静态干扰和动态干扰；所述静态干扰由桌面环境产生，通过背景剔除技术对静态干扰进行消除；所述动态干扰由肢体运动产生，通过手指特征提取分离技术对动态干扰进行消除。
[0013]
进一步地，对桌面手势进行判定包括：
[0014]
根据手指触摸数量，桌面手势判定包括单指手势和多指手势；
[0015]
根据手指时变特性，桌面手势判定包括静态手势和动态手势；
[0016]
根据手指触摸位置在桌面上的变化，桌面手势判定包括滑移手势、点击手势及其他复杂手势。
[0017]
进一步地，根据手指时变特性，桌面手势判定包括静态手势和动态手势，包括：
[0018]
在手势动作出现到手势判定生效时间段内，若手指出现在桌面触摸位置抖动范围小于距离阈值l，则判定为静态手势；若手指出现在桌面触摸位置抖动范围大于距离阈值l，则判定静态手势失败，重新对桌面手势进行判定。
[0019]
进一步地，所述点击手势包括单指点击和单指双击；若最新一次单指按下和最新一次单指离开的间隔时间小于单击判定阈值，则判定为单指点击；若连续两次单指点击的间隔时间小于双击判定阈值，则判定为单指双击。
[0020]
进一步地，所述滑移手势包括单指滑动，若手指滑移距离大于大范围滑动距离阈值且在滑移期间手指滑移速度始终大于大范围滑动速度阈值，则判定单根手指大范围滑动，进而触发控件滑动。
[0021]
进一步地，所述其他复杂手势包括单指长按和两指缩放；
[0022]
若最新一次单根手指首次按下时刻和当前单根手指按下时刻之间的间隔时间大于长按判定阈值，且该间隔时间内手指保持按下、手指位置变化小于长按判定阈值，判定单指长按，并触发扩展菜单；
[0023]
若桌面最开始检测出两根手指时两根手指中心点中的任意一个中心点移动速度大于缩放判定阈值，且在此期间桌面手指数量持续为2，则判定两指张开或者回缩，触发物体放大缩小。
[0024]
进一步地，对交互目标进行选择包括：
[0025]
从用户视野中心向虚拟环境投射射线，通过射线与虚拟环境中的三维物体或ui控件产生碰撞来对交互目标进行选择。
[0026]
本技术的有益效果在于：本技术提出的基于混合现实桌面手势交互方法大幅提升混合现实交互技术可用性，利用计算机视觉技术实时监测用户桌面手指动作，允许用户通过桌面小范围手指动作与混合现实交互系统产生交互行为，大幅降低交互疲劳，提升交互速度，并且不干涉其他手势交互技术，具有较强的技术兼容性，满足需要频繁交互、长期交互的混合现实场景需求。
附图说明
[0027]
图1为本技术所述交互方法的流程图；
[0028]
图2为桌面手势交互方法应用场景示意图；
[0029]
图3为手势采集流程图；
[0030]
图4为桌面手势分类示意图；
[0031]
图5为单指单击/双击触发点击流程图；
[0032]
图6为单指长按触发扩展菜单示意图；
[0033]
图7为单指滑动触发控件滑动示意图；
[0034]
图8为双指放缩触发虚拟物体放缩示意图；
[0035]
图中：1-用户；2-混合现实头戴式显示器；3-虚拟环境；4-激光投影相机设备；5-桌面。
具体实施方式
[0036]
下面将结合附图对本技术技术方案进行详细说明。
[0037]
如图1所示，本技术所述的基于混合现实桌面手势交互方法包括：
[0038]
s1：用户佩戴混合现实头戴式显示器，用户处于混合现实环境中并保持坐姿作业状态，手指在桌面上滑移点击；
[0039]
s2：对桌面手势交互图像进行捕获，对桌面手势交互图像的图像干扰进行消除，获取手指与桌面的手指触摸信息，所述手指触摸信息包括手指触摸数量、手指触摸时间、手指触摸位置及手指轮廓面积；
[0040]
s3：根据手指触摸个数、手指触摸时间、手指触摸位置及手指轮廓面积对桌面手势进行判定，完成对桌面手势的识别；
[0041]
s4：对交互目标进行选择，并根据所识别的桌面手势，实现混合现实环境中的交互
行为触发，完成混合现实桌面手势交互。
[0042]
上述桌面手势交互方法应用场景如图2所示，用户佩戴混合现实头戴式显示器，身体处于坐姿作业状态，手指在桌面上不断执行滑移、点击等手势动作来与虚拟环境完成交互行为。桌面旁有一激光投影相机设备，用来获取手指在桌面上的触摸手势信息。
[0043]
激光投影相机设备捕获用户桌面手势交互图像，利用计算机视觉技术图像处理算法分析手指与桌面红外激光层的接触情况，采集桌面手势交互信息。由于桌面环境十分复杂，相机捕获到的用户桌面交互图像存在较多的噪声干扰，本技术根据各噪声干扰的运动状态，将噪声干扰分为动态干扰和静态干扰。针对以桌面杂物遮挡为例的静态干扰，通过背景剔除技术消除；针对以用户肢体运动为例的动态干扰，通过手指特征提取分离技术消除。完成复杂桌面环境噪声消除之后，根据提取到用户手指和桌面的接触信息，其中包含：当前手指触摸时间、当前用户手指触摸数量、当前手指在桌面上的触摸位置、当前手指轮廓面积等手势要素，将其储存在算法中，其具体过程如图3所示。
[0044]
通过激光投影相机设备对桌面手势交互图像捕获与分析，可以得到当前桌面手势要素，通过对这些桌面手势要素的分类处理，组合形成各类手势，最终完成各类手势识别。按照当前用户手指触摸数量，桌面手势可分为单指手势与多指手势；按照当前用户手指时变特性，桌面手势可分为静态手势与动态手势；按照手指在桌面上的触摸位置变化，桌面手势可分为滑移手势与点击手势。各分类依据相互组合，可有效扩展手势库数量，桌面手势具体分类依据如图4所示。
[0045]
考虑到计算机视觉技术在手势采集过程中存在波动，算法分析到手指在桌面的触摸位置会随着计算机图像处理过程的波动而发生变化，即手势识别过程中的抖动问题。抖动问题极大程度影响静态手势识别，本技术设定在手势动作出现到手势判定生效时间段内，如果手指在桌面触摸位置抖动范围小于距离阈值l，则判定为静态手势；如果手指出现在桌面触摸位置抖动范围大于距离阈值l，则判定静态手势失败，重新判定手势。
[0046]
针对用户无意识手势，本技术收集了桌面交互场景下用户可能出现的动静态手势，分析这些手势的手指触摸数量、手指时变特性、手指触摸位置变化等手势要素，建立无意识桌面手势库，以便在设计过程避免无意识手势判定。
[0047]
在各手势要素优先级层面，本技术优先以手指触摸数量为手势分类依据，其次以手指时变特性作为动静态手势分类依据，最后以手指的触摸位置变化情况等手势要素对手势进行具体细分。
[0048]
本技术的桌面手势交互方法通过射线隐喻的交互方式实现，以完成虚拟环境中三维物体和ui控件的交互目标选择，并通过桌面手势完成混合现实中的交互行为触发。
[0049]
在交互目标选择方面，本技术从用户眼中心向虚拟环境投射出一条射线，通过射线与虚拟环境中的三维物体或ui控件产生碰撞来完成目标选择。射线光标初始默认位于视野中心；射线方位由用户手指移动惯性来驱动，射线移动角度、方向分别随着用户在桌面上手指移动速度的大小、方向变化而变化，其具体关系表示为：
[0050]
射线水平方向移动角度α
x
＝kv
x
；
[0051]
射线竖直方向移动角度αy＝kvy；
[0052]
其中；v
x
表示用户手指在桌面水平方向的移动速度，vy表示用户手指在桌面竖直方向的移动速度，k表示混合现实系统控制显示映射系数(c/d比)。
[0053]
本技术将实时记录和储存射线与混合现实中三维物体和ui控件的碰撞信息，例如：被碰撞体的名称、碰撞点的坐标等。
[0054]
在交互行为触发方面，本技术在完成射线隐喻选择的基础上，通过识别特定桌面手势来完成混合现实中的交互行为触发。目前本技术已实现的交互行为如下：
[0055]
(1)单指单击/双击触发点击行为：
[0056]
算法记录最新一次单根手指按下和最新一次单根手指离开之间的间隔时间δt，当间隔时间δt小于单击判定阈值ts，判定单击动作实现。同理，算法记录连续两次单击动作，且两次单击动作间隔时间δt小于双击判定阈值td，判定双击动作实现，判定流程如图5所示。由于单击、双击触发点击过程受到海森堡效应影响，即由于时间差的存在，用户最开始的目标位置与最终单击双击动作的判定位置常常存在偏差，本技术将点击行为触发位置回溯至单击双击执行前t
x
时间段下的射线光标触发位置。
[0057]
(2)单指长按触发扩展菜单：
[0058]
算法记录最新一次单根手指按下和现在单根手指按下之间的间隔时间δt，当间隔时间δt大于长按判定阈值t
l
，且该时间段内手指保持按下、手指位置变化小于长按判定阈值δx,判定长按动作实现，触发当前射线所碰撞的ui控件扩展菜单，如图6所示。
[0059]
(3)单指滑动触发控件滑动：
[0060]
算法记录单根手指在桌面上的滑移速度v与滑移距离x，当手指滑移距离x大于大范围滑动距离阈值x0且在滑移期间手指滑移速度v始终大于大范围滑动速度阈值v0，判定单根手指大范围滑动，进而触发控件滑动，如图7所示。
[0061]
(4)两指放缩触发虚拟物体放缩：
[0062]
算法记录桌面最开始出现两根手指时两根手指的中心点间距δx0与当前两根手指中心点间距δx1，以及两根手指的中心点移动速度v1和v2,当任意中心点的移动速度大于两指放缩判定阈值v0，且在此期间桌面手指数量保持为2，判定两指张开或回缩，虚拟物体体积变为原来倍，触发物体放大或缩小，如图8所示。
[0063]
以上为本技术示范性实施例，本技术的保护范围由权利要求书及其等效物限定。