沉浸式VR系统中避免过度刺激的方法与系统与流程
本发明涉及虚拟现实(vr，virtualreality)技术。特别地，本发明涉及在沉浸式vr系统中识别用户的不适体验，避免对用户造成过度刺激的方法与系统。
背景技术：
人机交互技术中，控件是用于构建图形用户界面的可重用软件组件。通常，一个控件对应一种功能。例如，图1展示了二维图形用户界面中的“确认”控件。“确认”控件包括提示窗，提示窗中包括“确认”按钮与“取消”按钮。在“确认”控件被调用时，弹出如图1所示的提示窗，识别用户对“确认”按钮或“取消”按钮的点击来获得用户的操作意图，并实现人机交互。现有技术中的滑动解锁技术，通过手部在触摸屏上的滑动向信息处理设备告知用户的输入意图。
新型人机交互技术也在不断发展，基于手势识别的人机交互技术是热点之一。对手部运动的识别，可以通过多种方法实现。来自微软公司的us20100199228a1(公开日：2010年8月5日)提供了利用深度摄像头捕获并分析用户的身体姿态，并将其解释为计算机命令的方案。来自nintendo公司的us20080291160a1(公开日：2008年11月27日)提供了利用红外传感器和加速度传感器捕获用户手部位置的方案。来自松下电器产业株式会社的cn1276572a提供了使用摄像头对手部进行拍照，然后对图像进行归一化分析，并将归一化得到的图像进行空间投影，并将所得的投影坐标与预先存储的图像的投影坐标进行比较。图2示出了来自天津锋时互动科技有限公司的专利申请cn201110100532.9提供的手势识别与空间位置的感知系统与方法。如图2所示，手势识别系统包含：计算机主机101、多摄像头系统的控制电路102、多个摄像头103、使用者手部104、运行于计算机主机101的应用程序105、应用程序105中的被操作对象106与虚拟手光标107。手势识别系统还包括在图2中未示出的用于照明使用者手部104的红外照明光源以及放置于每个摄像头前的红外滤光片。多个摄像头103捕获使用者手部104的图像，控制电路102对摄像头103采集的手部图像进行处理，并识别手部的姿态和/或位置。此外，现有技术中还有利用数据手套来辅助对手部姿态的识别的方案。
沉浸式vr系统综合了计算机图形技术、广角立体显示技术、传感跟踪技术、分布式计算、人工智能等技术的最新成果，通过计算机模拟生成一个虚拟的世界，并呈现在用户眼前，为用户提供逼真的视听感受，使得用户全身心地沉浸在虚拟世界当中。当用户看到的和听到的一切都有如现实世界般真实时，用户自然而然会与该虚拟世界进行交互。
随着头戴式vr设备的各方面技术成熟，沉浸式vr给用户带来了临境感受，同时使得用户对三维交互的体验需求上升到一个新的层次。现有头戴式vr设备一般包括头戴式显示器和vr内容生成设备。
头戴式显示器可以穿戴在用户头部并向用户提供虚拟场景的沉浸式视场。头戴式显示器还包含用于头部定位的传感器。
vr内容生成设备包含计算模块、存储模块、和头部定位模块。头部定位模块实时从头戴式显示器中的头部定位传感器获得数据，经过传感器融合相关算法处理，头部定位模块能够得出当前用户的头部姿态。
vr内容生成设备获得当前头部姿态，渲染出以当前用户头部姿态为视角的虚拟场景，并通过头戴式显示器呈现用户。头戴式显示器与vr内容生成设备可以集成在一起(如vr移动一体机)，也可以是通过显示数据线(如hdmi)连接在一起(如htcvive)。
中国专利申请cn201310407443中公开了一种基于运动捕捉的浸入式虚拟现实系统，提出通过惯性传感器对用户进行动作捕捉，利用人类肢体的生物力学约束修正惯性传感器带来的累积误差，从而实现对用户肢体的准确定位与跟踪。
中国专利申请cn201410143435中公开了一种虚拟现实组件系统，该发明中用户通过控制器与虚拟环境进行交互，控制器利用惯性传感器对用户肢体进行定位跟踪。
中国专利申请cn2015104695396提供了沉浸式虚拟现实系统100，通过引用将其全文合并于此。虚拟现实系统100可由用户佩戴于头上。当用户在室内走动与转身时，虚拟现实系统100可以检测到用户头部位姿的变化以改变相应渲染场景。当用户伸出双手，虚拟现实系统100中也将依照当前手部的位姿渲染虚拟手，并使用户可操纵虚拟环境中的其他物体，与虚拟现实环境进行三维互动。虚拟现实系统100也可识别场景中其他运动物体，并进行定位与跟踪。虚拟现实系统100包括立体显示装置110，视觉感知装置120，视觉处理装置160，场景生成装置150。可选地，虚拟现实系统中还可以包括立体音效输出装置140、辅助发光装置130。辅助发光装置130用于辅助视觉定位。例如，辅助发光装置130可以发出红外光，用于为视觉感知装置120所观察的视野提供照明，促进视觉感知装置120的图像采集。
虚拟现实系统中各装置可通过有线/无线方式进行数据/控制信号的交换。立体显示装置110可以是但不限于液晶屏、投影设备等。立体显示装置110用于将渲染得到的虚拟图像分别投影到人的双眼，以形成立体影像。视觉感知装置120可包括相机、摄像头、深度视觉传感器和/或惯性传感器组(三轴角速度传感器、三轴线加速度传感器、三轴地磁传感器等)。视觉感知装置120用于实时捕捉周围环境与物体的影像，和/或测量视觉感知装置的运动状态。视觉感知装置120可固定在用户头部，并与用户头部保持固定的相对位姿。从而如果获得视觉感知装置120的位姿，则能够计算出用户头部的位姿。立体音效装置140用于产生虚拟环境中的音效。视觉处理装置160用于将捕捉的图像进行处理分析，对使用者的头部进行自定位，并对环境中的运动物体进行定位跟踪。场景生成装置150用于根据使用者的当前头部姿态与对运动物体的定位跟踪更新场景信息，还可以根据惯性传感器信息预测将捕获的影像信息，并实时渲染相应虚拟影像。
视觉处理装置160、场景生成装置150可由运行于计算机处理器的软件实现，也可通过配置fpga(现场可编程门阵列)实现，也可由asic(应用专用集成电路)实现。视觉处理装置160、场景生成装置150可以嵌入在可携带设备上，也可以位于远离用户可携带设备的主机或服务器上，并通过有线或无线的方式与用户可携带设备通信。视觉处理装置160与场景生成装置150可由单一的硬件装置实现，也可以分布于不同的计算设备，并采用同构和/或异构的计算设备实现。
技术实现要素：
在基于手势识别的人机交互过程中，需要设计控件来促进应用程序的开发。控件以手势作为输入，而产生事件或消息作为输出。事件或消息可指示用户的“确认”或“取消”的操作目的，或指示多种不同含义的用户意图。而且由于人的生物特征决定了用户的手在交互空间的轨迹无法实现上笔直或者规范的问题，从而已有的人机交互技术难以有效地理解手势输入的意图。
现有技术中的vr系统的关注点均集中在能提供沉浸式体验的产品工业设计、交互设计和内容设计上。当体验某些刺激性的vr内容时，比如观看恐怖片或者身临其境地进行刺激性的游戏时，一些用户可能产生心理不适或抗拒，在长时间暴露于vr系统的3d场景中时，部分用户会出现眩晕。现有技术的vr系统缺乏有效的技术手段应对上述问题，忽视了用户正在经历的不适体验，导致用户抵触虚拟现实体验，或者造成对用户精神的过度刺激。现有技术也未考虑如何识别用户在沉浸式vr体验中受到了过度刺激，以及如何应对。
根据本发明的第一方面，提供了基于手势识别的第一人机交互方法，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述方法包括：响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。
根据本发明的第一方面的基于手势识别的第一人机交互方式，提供了根据本发明第一方面的基于手势识别的第二人机交互方法，其中包括：响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的基于手势识别的第三人机交互方法，其中包括：响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第四人机交互方法，其中包括：初始化所述控件，所述控件进入未激活状态。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第五人机交互方法，其中所述第一端是导轨区域靠近入口区域的部分。
根据本发明的第一方面的基于手势识别的第二人机交互方式，提供了根据本发明第一方面的基于手势识别的第六人机交互方法，其中所述第二端是导轨区域远离入口区域的部分。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第七人机交互方法，其中包括：在用户界面上依据手势信息显示光标，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第八人机交互方法，其中包括：依据光标在导轨区域的中线上的投影位置，在导轨区域中绘制滑块。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第九人机交互方法，其中包括：响应于控件进入激活态，在用户界面上隐藏光标，以及改变控件的外观，以向用户提示控件进入激活态。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十人机交互方法，其中包括：响应于控件进入未激活态，在用户界面上依据手势信息支持的位置显示光标。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十一人机交互方法，其中包括：响应于滑块移出导轨区域，隐藏所述滑块。
根据本发明的第一方面的前述人机交互方式，提供了根据本发明第一方面的第十二人机交互方法，其中包括：在控件的激活态下，响应于手势信息指示的“抓握”动作，使光标固定于滑块，以及依据手势信息绘制滑块。
根据本发明的第一方面的基于手势识别的第一人机交互方式，提供了根据本发明第一方面的第十三人机交互方法，其中所述导轨区域的第一端有多个。
根据本发明的第一方面的基于手势识别的第二人机交互方式，提供了根据本发明第一方面的第十四人机交互方法，其中所述导轨区域的第二端有多个。
根据本发明的第二方面，提供了根据本发明第二方面的基于手势识别的第一人机交互装置，其中控件基于用户的手势信息识别用户的命令，所述控件包括入口区域与导轨区域，入口区域将用户界面分为第一部分与第二部分，第一部分不包括导轨区域，第二部分包括导轨区域；所述装置包括：激活模块，用于响应于光标从用户界面的第一部分通过入口区域移动到用户界面的第二部分，控件进入激活态，并在控件的导轨区域显示滑块；事件生成模块，响应于滑块从导轨区域的第一端移出导轨区域，所述控件生成第一事件。
根据本发明的第二方面的基于手势识别的第一人机交互装置，提供了根据本发明第二方面的第二人机交互装置，其中包括：第二事件生成模块，用于响应于滑块从导轨区域的第二端移出导轨区域，所述控件生成第二事件。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第三人机交互装置，其中包括：去激活模块，响应于滑块从导轨区域的第一端或第二端移出导轨区域，所述控件进入未激活态。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第四人机交互装置，其中包括：初始化模块，用于初始化所述控件，所述控件进入未激活状态。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第五人机交互装置，其中所述第二端是导轨区域靠近入口区域的部分。
根据本发明的第二方面的第二人机交互装置，提供了根据本发明第二方面的第六人机交互装置，其中所述第一端是导轨区域远离入口区域的部分。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第七人机交互装置，其中还包括：在用户界面上依据手势信息显示的装置，以及所述手势信息指示由图像采集设备捕捉的用户手部图像提取的用户手部的位置和/或姿态。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第八人机交互装置，其中包括：滑块绘制模块，用于依据光标在导轨区域的中线上的投影位置，在导轨区域中绘制滑块。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第九人机交互装置，其中包括：外观改变模块，用于响应于控件进入激活态，在用户界面上隐藏光标，并播放指定的声音，显示指定的文字，和/或提供力学反馈，以向用户提示控件进入激活态。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第十人机交互装置，其中包括：光标显示模块，用于响应于控件进入未激活态，在用户界面上依据手势信息支持的位置显示光标，播放指定的声音，显示指定的文字，和/或提供力学反馈。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第十一人机交互装置，其中包括：滑块隐藏模块，用于响应于滑块移出导轨区域，隐藏所述滑块。
根据本发明的第二方面的前述人机交互装置，提供了根据本发明第二方面的第十二人机交互装置，其中包括：光标固定模块，用于在控件的激活态下，响应于手势信息指示的“抓握”动作，使光标固定于滑块，以及依据手势信息绘制滑块。
根据本发明的第二方面的第一人机交互装置，提供了根据本发明第二方面的第十三人机交互装置，其中所述导轨区域的第一端有多个。
根据本发明的第二方面的第二人机交互装置，提供了根据本发明第二方面的第十四人机交互装置，其中所述导轨区域的第二端有多个。
根据本发明的第三方面，提供了一种信息处理设备，其中所述信息处理设备包括处理器、存储器以及显示装置，所述信息处理设备还耦合到手势识别设备并接收手势识别设备提供的手势信息；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本发明的第一方面的前述人机交互方法。
根据本发明的第四方面，提供了一种计算机程序，其使得当由信息处理设备的处理器运行所述程序时，使所述信息处理设备执行根据本发明的第一方面的前述多种人机交互方法之一。
根据本发明的第五方面，提供了根据本发明第五方面的第一在沉浸式虚拟显示系统中避免过度刺激用户方法，包括：呈现虚拟现实场景；响应于识别用户体验到不适，改变虚拟现实场景。
根据本发明第五方面的第一在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第二在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过识别用户头部以指定模式运动，来识别用户体验到不适。
根据本发明第五方面的第一或第二在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第三在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过识别用户手部以指定模式运动，来识别用户体验到不适。
根据本发明第五方面的第一至第三在沉浸式虚拟显示系统中避免过度刺激用户方法之一，提供了根据本发明第五方面的第四在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过捕获的音频出现指定特征和/或音频中包括指示指定短语或句子的语音，来识别用户体验到不适。
根据本发明第五方面的第一至第四在沉浸式虚拟显示系统中避免过度刺激用户方法之一，提供了根据本发明第五方面的第五在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过从交互设备接收到用户的指示，来识别用户体验到不适。
根据本发明第五方面的第一至第五在沉浸式虚拟显示系统中避免过度刺激用户方法之一，提供了根据本发明第六方面的第四在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过切换、弱化和/或关闭正在播放的视频内容来改变虚拟现实场景。
根据本发明第五方面的第六在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第七在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过切换、弱化和/或关闭正在播放的音频内容来改变虚拟现实场景。
根据本发明第五方面的第六或第七在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第八在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过弹出提示窗口来改变虚拟现实场景。
根据本发明第五方面的第二在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第九在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过检测用户头部移动的速度和/或加速度大于阈值来识别用户头部以指定模式运动。
根据本发明第五方面的第三在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第十在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过检测用户手部移动的速度和/或加速度大于阈值，或手部相对头部或眼睛的距离持续小于阈值来识别用户手部以指定模式运动。
根据本发明第五方面的第四在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第十一在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过检测捕获音频的频率和/或响度超过阈值，或者识别音频中出现的文字属于指定集合，来识别用户体验到不适。
根据本发明第五方面的第五在沉浸式虚拟显示系统中避免过度刺激用户方法，提供了根据本发明第五方面的第十二在沉浸式虚拟显示系统中避免过度刺激用户方法，其中通过识别用户按下交互设备的指定按键、用户对交互设备的握力超出阈值、和/或用户对交互设备做出扔和/或甩的动作，来识别用户体验到不适。
根据本发明的第六方面，提供了根据本发明第六方面的第一沉浸式虚拟现实系统，包括计算单元、显示设备以及传感器模块；所述计算单元用于运行虚拟现实应用以构建虚拟现实场景；传感器模块用于感知用户的状态；所述计算单元还运行程序以基于传感器模块所感知的用户的状态来识别用户是否体验不适，以及响应于识别出用户体验到不适，改变所构建的虚拟现实场景。
根据本发明的第六方面的第一沉浸式虚拟现实系统，提供了根据本发明第六方面的第二沉浸式虚拟现实系统，其中所述计算单元通过指示虚拟现实应用来改变由虚拟现实应用所构建的虚拟现实场景。
根据本发明的第六方面的第一沉浸式虚拟现实系统，提供了根据本发明第六方面的第三沉浸式虚拟现实系统，其中所述计算单元通过指示现实设备来改变由虚拟现实应用所构建的虚拟现实场景。
根据本发明的第六方面的第一至第三沉浸式虚拟现实系统之一，提供了根据本发明第六方面的第四沉浸式虚拟现实系统，其中传感器模块包括头部姿态捕获装置，所述头部姿态捕获装置用于捕获并输出用户头部的姿态。
根据本发明的第六方面的第四沉浸式虚拟现实系统，提供了根据本发明第六方面的第五沉浸式虚拟现实系统，其中传感器模块手势捕获装置，所述手势捕获装置用于捕获并输出用户的手势。
根据本发明的第六方面的第五沉浸式虚拟现实系统，提供了根据本发明第六方面的第六沉浸式虚拟现实系统，其中传感器模块包括音频捕获装置，所述音频捕获装置用于捕获用户发出的声音、语音、和/或识别语音中的词句。
根据本发明的第六方面的第六沉浸式虚拟现实系统，提供了根据本发明第六方面的第七沉浸式虚拟现实系统，还包括交互设备，所述交互设备用于指示用户的按下按键、用户的握力超出阈值、速度、加速度、和/或用户对交互设备做出扔和/或甩的动作。
根据本发明的第六方面的第四沉浸式虚拟现实系统，提供了根据本发明第六方面的第八沉浸式虚拟现实系统，其中所述计算单元还运行程序通过传感器模块获取用户头部姿态，并从用户头部姿态中检测用户头部移动的速度和/或加速度大于阈值来识别用户头部以指定模式运动；以及将用户头部以指定模式运动作为识别用户体验不适的依据。
根据本发明的第六方面的第五沉浸式虚拟现实系统，提供了根据本发明第六方面的第九沉浸式虚拟现实系统，其中所述计算单元还运行程序通过传感器模块获取用户手部姿态，并从用户手部姿态中检测用户手部移动的速度和/或加速度大于阈值，或者用户手部相对头部的距离持续小于阈值来识别用户体验到不适。
根据本发明的第六方面的第六沉浸式虚拟现实系统，提供了根据本发明第六方面的第十沉浸式虚拟现实系统，其中所述计算单元还运行程序通过传感器模块获取用户发出的音频，通过检测捕获音频的频率和/或响度超过阈值，或者识别音频中出现的文字属于指定集合，来识别用户体验到不适。
根据本发明的第六方面的第七沉浸式虚拟现实系统，提供了根据本发明第六方面的第十一沉浸式虚拟现实系统，其中所述计算单元还运行程序获取交互设备的指示，来识别用户体验到不适。
根据本发明的第六方面的第一至第十一沉浸式虚拟现实系统之一，提供了根据本发明第六方面的第十二沉浸式虚拟现实系统，其中所述计算单元通过切换、弱化和/或关闭正在播放的视频内容，和/或通过切换、弱化和/或关闭正在播放的音频内容，和/或通过弹出提示窗口来改变所构建的虚拟现实场景。
根据本发明的第七方面，提供了一种在沉浸式虚拟显示系统中避免过度刺激用户的装置，包括：呈现模块，用于呈现虚拟现实场景；改变模块，用于响应于识别用户体验到不适，改变虚拟现实场景。
根据本发明的第八方面，提供了一种信息处理设备，包括处理器、存储器、显示设备，所述信息处理设备还耦合到传感器模块并接收传感器模块感知的用户的状态；所述存储器存储程序，所述处理器运行所述程序使所述信息处理设备执行根据本发明第五方面提供的在沉浸式虚拟显示系统中避免过度刺激用户方法之一。
附图说明
当连同附图阅读时，通过参考后面对示出性的实施例的详细描述，将最佳地理解本发明以及优选的使用模式和其进一步的目的和优点，其中附图包括：
图1展示了现有技术中二维图形用户界面的“确认”控件；
图2是现有技术中的手势识别系统结构示意图；
图3是根据本发明实施例的基于手势识别的人机交互系统的框图；
图4是根据本发明实施例的二维用户界面中基于手势识别的控件的示意图；
图5a-5d是根据本发明实施例的二维用户界面中基于手势识别的控件的多种状态的示意图；
图6是根据本发明实施例的二维用户界面中基于手势识别的人机交互方法的流程图；
图7是根据本发明实施例的三维用户界面中基于手势识别的控件的示意图；
图8a-8d是根据本发明实施例的三维用户界面中基于手势识别的控件的多种状态的示意图；
图9是实现本发明实施例的信息处理设备的框图；
图10是根据本发明实施例的虚拟现实系统的框图；
图11是根据本发明实施例的避免虚拟现实系统过度刺激用户的方法的流程图；以及
图12是根据本发明实又一施例的避免虚拟现实系统过度刺激用户的方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
图3是根据本发明实施例的基于手势识别的人机交互系统的框图。根据本发明实施例的人机交互系统包括彼此耦合的手势输入设备310、信息处理设备320以及显示设备330。在一个例子中，手势输入设备310，用于捕获用户手部的图像，并将获取的图像发送给信息处理设备进行处理。信息处理设备320，用于接收手势输入设备发送的手部图像，识别图像中用户手部的手势信息。信息处理设备320还通过显示设备330向用户展示图形和/或图像，例如在显示设备330上绘制用户手部的虚拟图像。信息处理设备可以是诸如计算机、手机或专用的手势识别设备。显示设备330可以是诸如平面显示器、投影仪、头戴式显示器。
在另一个例子中，手势输入设备310感知用户手部的位置和/或姿态，识别用户手部的手势信息，并将用户手部信息发送给信息处理设备320。信息处理设备320识别手势输入设备310提供的用户手部信息作为用户提供的输入，并通过显示设备330向用户提供输出，以实现人机交互。显然，信息处理设备320还可通过声音、力学作用等形式与用户进行交互。
作为依然另一个例子，手势输入设备310还是可以是例如深度传感器、距离传感器、vr控制器(如oculusrifttouch)、游戏手柄、数据手套(如cyberglove)、动作捕捉系统(如optitracker)、陀螺仪等，用于感知用户手部的位置和/或姿态。
从用户在现实世界中所做的手势和/或动作，提取出基于虚拟坐标系的手势信息(i)。手势信息(i)可以是一个向量，并形式化表示为i＝{c,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。以及其中，虚拟坐标系用以展示由信息处理设备320所构建的虚拟世界中的位置信息。而用现实坐标系展示现实世界中物体或空间的位置信息。信息处理设备320所构建的虚拟世界可以是例如二维图形用户界面的二维空间、三维空间或融合了用户的虚拟现实场景。现实坐标系与虚拟坐标系，可以是二维坐标系或三维坐标系。可按一定的频率或时间间隔更新手势信息(i)，或者在用户的手部位置和/或姿态发生变化时，更新手势信息(i)。
在用户界面上，可以依据手势信息(i)显示光标，用来向用户提供视觉响应。光标在图形界面上的位置可表示为手势信息(i)的函数，例如func_a(i)。本领域技术人员可以理解，函数func_a根据不同的应用场景或设置而不同。
例如，在一个二维用户界面中，通过公式(1)计算要绘制光标的位置：
func_a(i)＝c*0+palm*0+index.position*0.5+mid*0+little*0(1)
(1)式中，index.position指用户食指的位置，因而从(1)式中可知，光标在用户界面上的位置，仅依赖于用户食指位置，且光标在用户界面上移动的距离，是用户食指移动距离的一半。
光标可具有单一样式，例如手的形状。光标也可具有对应于不同手型的多种样式。
下面结合图4-图6来说明，在二维用户界面中如何通过手势来操作控件。
图4是根据本发明实施例的二维用户界面中基于手势识别的控件的示意图。参看图4，根据本发明实施例的二维用户界面中基于手势识别的控件包括：入口区域与导轨区域。图4中的入口区域是一条线段。在另一个例子中，入口区域可以是曲线。入口区域将用户界面的二维平面分为两部分，将包括导轨区域的一侧，称为导轨侧，而将另一侧称为自由侧。图4中，导轨区域是矩形。显然，在其他例子中，导轨区域可具有其他形状，例如线段、三角形、椭圆形等。入口区域与导轨区域可以被绘制在二维用户界面上，以提示用户控件所在的位置。在另一个例子中，入口区域和/或导轨区域可以被隐藏，以不影响用户界面上展示的内容。导轨区域临近或邻接于入口区域。导轨区域靠近入口区域的部分称为入口端，而导轨区域远离入口区域的部分称为出口端。在另一个例子中，为了让用户用手部的悬空操作更易于被识别，控件的入口区域与导轨区域呈现为豁口状或喇叭口状，从而易于引导用户通过手势使光标进入导轨区域。
在图4的例子中，导轨区域还包括滑块。滑块可沿导轨区域移动。
图5a-5d是根据本发明实施例的二维用户界面中基于手势识别控件的多种状态的示意图。
基于手势识别的控件具有激活态与非激活态。非激活态为控件的初始状态。图5a展示了处于非激活态的控件，以及关联于手势信息(i)的光标。注意到在图5a中，导轨区域上未绘制滑块，或者将滑块隐藏。导轨区域中不包括滑块，可以是给用户的提示，告知用户控件处于非激活态。
当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，控件由非激活态转换为激活态。控件接收指示手势信息(i)的事件，并识别手势信息(i)使光标位置发生的变化。当手势信息(i)使光标位置从控件的自由侧经由入口区域进入导轨侧，将控件状态改变为激活态。以及绘制激活态的控件。
可选地，当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，在导轨区域上绘制滑块，以及也显示光标；用户通过手势将光标移动到滑块上，并通过“抓握”动作，使光标固定于滑块，以及接下来，滑块将跟随光标移动。“抓握”动作不是必须的，在一个实施例中，控件处于激活态时，滑块跟随光标移动，或者控件基于手势信息(i)使滑块位置发生变化。依然可选地，随着滑块的移动，还播放指定声音、改变视觉展示和/或向用户提供力学反馈。例如，随着滑块向出口端移动，播放的声音逐渐增加和/或频率逐渐升高，而随着滑块向出口端移动，播放的声音逐渐减弱和/或频率逐渐降低。
图5b展示了处于激活态的控件。在激活态的控件中，导轨区域包括滑块。滑块关联于手势信息(i)用以给用户其手部位置的提示，并且隐藏光标。作为举例，依照确定绘制光标位置的规则，确定绘制滑块的位置。进一步地，绘制滑块的位置被限定在导轨区域，使得呈现出滑块沿导轨移动。在图5b的例子中，导轨区域包括中线。光标(未绘制出)的位置在中线上的投影位置，为在导轨区域中绘制滑块的位置。可选地，改变控件的外观，以向用户提示控件被激活并进入激活态。例如，沿控件的边缘绘制阴影，和/或改变控件区域的颜色，和/或显示指定的文字。依然可选地，通过向用户提供力学反馈，和/或播放指定的声音，以向用户提示控件被激活并进入激活。
若用户的手势使得光标从导轨侧进入导轨区域，或者用户的手势使光标绕过入口区域而进入导轨侧，则不会使处于非激活态的控件变为激活态。以及滑块不会被显示，而依然显示光标。
在根据本发明的实施例中，若用户通过手势使滑块从导轨区域的出口端移出导轨，代表用户向控件指示“确认”命令，以及若用户通过手势使滑块从导轨区域的入口端移出导轨，代表用户向控件指示“取消”命令。
图5c展示了收到“确认”命令的控件。对于激活态的控件，作为举例，用户向右侧移动食指，滑块的位置(图5c中展示为虚线样式的滑块)相应沿导轨区域向右移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的出口端移出导轨区域，控件生成代表“确认”命令的事件。通过处理代表“确认”命令的事件，同控件所关联的操作被确认。随着滑块移出导轨区域，隐藏滑块，例如，仅在导轨区域内绘制滑块，而隐藏滑块在导轨区域以外的部分。可选地，改变控件的外观，以向用户提示控件识别了用户的意图并产生了“确认”事件。例如，使控件区域闪烁，和/或改变控件区域的颜色，和/或显示指定的文字。依然可选地，向用户提供力学反馈，和/或播放指定的声音，以向用户提示控件识别了用户的意图。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。
图5d展示了收到“取消”命令的控件。对于激活态的控件，作为举例，用户向左侧移动食指，滑块的位置(图5d中展示为虚线样式的滑块)相应沿导轨区域向左移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的入口端移出导轨区域，控件生成代表“取消”命令的事件，或者不产生事件，来指示用户没有做出“确认”指示，或者指示用户放弃或取消了原有的企图。通过处理代表“取消”命令的事件，同控件所关联的操作被取消或忽略。随着滑块移出导轨区域，隐藏滑块。可选地，改变控件的外观，和/或向用户提供力学反馈，以向用户提示控件识别了用户的意图并产生了“取消”事件。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。
在根据本发明的另一实施例中，导轨区域具有十字形状。在激活态，当滑块从右侧或上方移出导轨时，控件产生“确认”事件；而当滑块从左侧或下方移出导轨时，控件产生“取消”事件。
所属领域技术人员将意识到，导轨区域可以有多个出口。当滑块从一些出口移出时，控件产生“确认”事件，而滑块从另一些出口移出时，控件产生“取消”事件。为提示用户出口的不同含义，在各个出口方向，可通过视频、音频和/或力学反馈向用户就出口的含义提供不同的指示。
在依据本发明的依然有一个实施例中，导轨区域具有十字形状，以及有多个出口，十字区域的每个分支对应一个出口，以及每个出口指示不同的含义或者多个出口指示多种含义。例如，当滑块从上方出口移出时，控件产生“取消”事件，指示用户放弃了对播放音乐的企图；当滑块从右侧出口移出时，控件产生“静音”事件，指示用户希望立即使来自某应用程序的音频输出的音量下降为0；当滑块从上方出口移出时，控件产生“设置为高采样率”事件；以及当滑块从下方出口移出时，控件产生“设置为低采样率”事件。响应于收到控件所输出的指示不同含义或不同命令的事件，应用程序进行相应的处理。
图6是根据本发明实施例的二维用户界面中基于手势识别的人机交互方法的流程图。为使用根据本发明实施例的控件，初始化控件(610)。控件初始化过程，包括在用户界面上绘制控件，例如，在用户界面中绘制如图5a所示的控件。以及使控件接收手势信息(i)。可选地，还在用户界面上绘制光标，绘制光标的位置关联于手势信息(i)。在另一例子中，由控件所应用于的程序或其他程序在用户界面上绘制光标。控件接收手势信息(i)，从手势信息(i)中获取光标的位置。响应于光标从自由侧通过入口区域移动到导轨侧，控件进入激活态(620)。图5b展示了激活态的控件。可选地，控件进入激活态时，还改变控件的外观，产生指定的声音，和/或提供力学反馈，以向用户提示控件进入激活态。控件还在导轨区域绘制滑块。绘制滑块的位置被限定在导轨区域，使得呈现出滑块沿导轨移动。以及使滑块跟随用户的手势而移动。作为举例，依照确定绘制光标位置的规则，确定绘制滑块的位置。进一步地，将光标位置在导轨区域中线的投影，作为绘制滑块的位置。
控件手势信息(i)中获取滑块的位置。控件检测滑块是否从导轨区域的一侧移出导轨区域(640)。参看图5c，当控件检测到滑块从导轨区域的出口端移出导轨区域，控件产生第一事件(650).作为举例，第一事件可以是“确认”事件、“静音”事件等。以及参看图5d，当控件检测到滑块从导轨区域的入口端移出导轨区域，控件产生第二事件(650)。第二事件可以是“取消”事件、“设置为高采用率”等事件。
在步骤650，随着产生第一事件，控件进入未激活态。可选地，改变控件的外观，产生指定的声音，和/或提供力学反馈，以向用户提示控件识别了用户的意图并产生了第一事件。以及可选地，绘制光标以跟踪用户的手势。
在步骤660，随着产生第二事件，控件进入未激活态。可选地，改变控件的外观，产生指定的声音，和/或提供力学反馈，以向用户提示控件识别了用户的意图并产生了第二事件。以及可选地，绘制光标以跟踪用户的手势。
在进一步的实施例中，用户在虚拟世界中创建根据本发明实施例的空间，和/或设置或改变控制的位置。用户可将控件设置在便于操作的位置。例如，用户手臂向侧方充分伸展开时，光标所在的位置。从而既便于用户指示“确认”/“取消”等命令，又不影响对虚拟世界中其他对象的操作。
下面结合图7-8来具体说明，在三维用户界面中根据本发明的基于手势识别控件的实施例。图7是根据本发明实施例的三维用户界面中基于手势识别的控件的示意图。参看图7，根据本发明实施例的三维用户界面中基于手势识别的控件包括：入口区域与导轨区域。图7中的入口区域是一有限矩形平面。在另一个例子中，入口区域可以是曲面或平面上由封闭曲线围住的区域。图7中，入口区域所在的平面将用户界面的三维空间分为两部分，将包括导轨区域的一侧，称为导轨侧，而将另一侧称为自由侧。图7中，导轨区域是长方体。显然，在其他例子中，导轨区域可具有其他形状，例如圆柱体、球体、椭球体等。入口区域与导轨区域可以被绘制在三维用户界面上，以提示用户控件所在的位置。导轨区域可以与三维用户界面的物体相融合，例如，用户界面的花瓶、邮筒等。在另一个例子中，入口区域和/或导轨区域可以被隐藏，以不影响用户界面上展示的内容。导轨区域临近或邻接于入口区域。导轨区域靠近入口区域的部分称为入口端，而导轨区域远离入口区域的部分称为出口端。
在图7的例子中，导轨区域还包括滑块。滑块可沿导轨区域移动。可选地，控件中还包括导轨线，在图7中，导轨线是沿导轨区域的长方体的长轴方向的中线。导轨线的一个端点在入口区域上。滑块沿导轨线移动。
图8a-8d是根据本发明实施例的三维用户界面中基于手势识别的控件的多种状态的示意图。
图8a展示了处于非激活态的控件，以及关联于手势信息(i)的光标。在非激活态的控件上，导轨区域上未绘制滑块，或者将滑块隐藏。导轨区域中不包括滑块，是给用户的提示，告知用户控件处于非激活态。
当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，控件由非激活态转换为激活态。控件接收指示手势信息(i)的事件，并识别手势信息(i)使光标位置发生的变化。当手势信息(i)使光标位置从控件的自由侧经由入口区域进入导轨侧，将控件状态改变为激活态。以及绘制激活态的控件。
可选地，当用户的手势使得光标从自由侧通过入口区域进入导轨侧时，在导轨区域上绘制滑块，以及也显示光标；用户通过手势将光标移动到滑块上，并通过“抓握”动作，使光标固定于滑块；以及接下来，滑块将跟随光标移动。
图8b展示了处于激活态的控件。在激活态的控件中，导轨区域包括滑块。滑块关联于手势信息(i)用以给用户其手部位置的提示，并且隐藏光标。作为举例，依照确定绘制光标位置的规则，确定绘制滑块的位置。进一步地，绘制滑块的位置被限定在导轨区域，使得呈现出滑块沿导轨移动。在图8b的例子中，导轨区域包括导轨线。光标(未绘制出)的位置在导轨线上的投影位置，为在导轨区域中绘制滑块的位置。可选地，改变控件的外观，以向用户提示控件被激活并进入激活态。例如，沿控件的边缘绘制阴影，和/或改变控件区域的颜色，和/或播放指定的声音，和/或显示指定的文字。
若用户的手势使得光标从导轨侧进入导轨区域，或者用户的手势使光标绕过入口区域而进入导轨侧，则不会使处于非激活态的控件变为激活态。以及滑块不会被显示，而依然显示光标。
在根据本发明的实施例中，若用户通过手势使滑块从导轨区域的出口端移出导轨，代表用户向控件指示“确认”命令，以及若用户通过手势使滑块从导轨区域的入口端移出导轨，代表用户向控件指示“取消”命令。以及可选地，若用户的手势尝试使滑块从入口端或出口端以外的区域移出导轨区域，滑块被限制在导轨区域中，控件依然处于非激活态。
图8c展示了收到“确认”命令的控件。对于激活态的控件，作为举例，用户向右侧移动食指，滑块的位置(图8c中展示为虚线样式的滑块)相应沿导轨区域向右移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的出口端移出导轨区域，控件生成代表“确认”命令的事件。通过处理代表“确认”命令的事件，同控件所关联的操作被确认。随着滑块移出导轨区域，隐藏滑块。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。
图8d展示了收到“取消”命令的控件。对于激活态的控件，作为举例，用户向左侧移动食指，滑块的位置(图8d中展示为虚线样式的滑块)相应沿导轨区域向左移动，以及时向用户提供视觉反馈，使用户知晓控件是否正确识别了自己的意图。当随着用户食指的移动，控件检测到滑块从导轨区域的入口端移出导轨区域，控件生成代表“取消”命令的事件，或者不产生事件，来指示用户没有做出“确认”指示，或者指示用户放弃或取消了原有的企图。通过处理代表“取消”命令的事件，同控件所关联的操作被取消或忽略。随着滑块移出导轨区域，隐藏滑块。进一步地，随着滑块移出导轨区域，控件的状态转换为非激活态，以及绘制光标以跟踪用户的手势。
所属领域技术人员将意识到，导轨区域可以有多个出口。当滑块从一些出口移出时，控件产生“确认”事件，而滑块从另一些出口移出时，控件产生“取消”事件。为提示用户出口的不同含义，在各个出口方向，可通过视频、音频和/或力学反馈向用户就出口的含义提供不同的指示。
在依据本发明的依然有一个实施例中，导轨区域具有多个出口每个出口指示不同的含义或者多个出口指示多种含义。例如，当滑块从第一出口移出时，控件产生“取消”事件；当滑块从第二出口移出时，控件产生“静音”事件；当滑块从第三出口移出时，控件产生“设置为高采样率”事件；以及当滑块从第四出口移出时，控件产生“设置为低采样率”事件。响应于收到控件所输出的指示不同含义或不同命令的事件，应用程序进行相应的处理。
在本发明的另一个实施例中，在三维用户界面按如下方式显示控件。初始时，控件处于非激活状态时，显示光标，隐藏入口区域，显示导轨区域；控件由非激活状态转化为激活状态时，弱化手势光标，在导轨区域上显示滑块，并显示导轨区域和/或导轨线。控件在进入激活状态的瞬间，触发特效，包括：逐渐弱化光标，以及显示导轨区域和/或导轨线。在用户通过控件，确认或取消当前控件所关联的操作时，触发另一特效，包括：滑块在高亮显示之后逐渐弱化并消失，逐渐恢复对光标的显示，将导轨区域和/或导轨线段逐步恢复为控件处于非激活态时的样式。
在根据本发明的另一实施例中，展示了在应用中如何利用手势来操作根据本发明实施例提供的控件。(1)在显示设备的用户界面上显示非激活状态的控件以及关联于手势信息(i)的光标；(2)用户改变手势或移动手部位置，观察显示设备上控件与光标的变化；用户通过改变手势或移动手部位置来控制光标从自由侧通过入口区域进入导轨区域，控件被激活。在激活控件时，用户界面提示用户控件被激活。(3)当控件处于激活状态后，用户通过改变手势或移动手部位置来控制滑块，使得滑块沿导轨区域移动。如果用户要执行确认操作，则使得滑块从导轨区域的出口端移出；如果要执行取消操作，则使得滑块从导轨区域的入口端移出。可选地，在执行确认操作和取消操作时，用户界面提示用户所执行的操作。
图9是实现本发明实施例的信息处理设备的框图。在根据本发明的实施例中，信息处理设备900在用户界面上生成控件，并识别用户手势信息(i)或接收手势输入/手势识别设备提供的手势信息(i)，识别用户的指示，并向用户提供反馈以同用户交互。图9中展示的信息处理设备900是计算机。计算机仅仅是适当的计算环境的一个例子，而不意图暗示关于本发明的使用或功能范围的任何限制。图9所展示的信息处理设备也不应当被解释为在所示出的任何组件或组件组合方面有任何依赖性或要求。
信息处理设备900包括直接或间接地耦合到总线910的存储器912、一个或更多处理器914、一个或更多呈现组件916、i/o组件920以及电源922。总线910所代表的可以是一种或更多种总线(比如地址总线、数据总线或其组合)。是在实际情况中各个组件的界定并不是必然如图9中的方式。举例来说，可以把诸如显示设备之类的呈现组件视为i/o组件920。此外，处理器可具有存储器。本发明的发明人认识到这正是本领域的性质，并且重申图9的图示仅仅是为了说明可以与本发明的一个或多个实施例相结合地使用的示例性计算机系统。
信息处理设备900通常包括多种存储器912。作为举例而非限制，存储器912可以包括：随机存取存储器(ram)、只读存储器(rom)、电子可擦写可编程只读存储器(eeprom)、闪存、压缩盘只读存储器(cdrom)、数字通用盘(dvd)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。计算机存储介质可以是非易失性的。
信息处理设备900包括一个或更多处理器914，其从诸如总线910、存储器912或者i/o组件920之类的各种实体读取数据。一个或多个呈现组件916向用户或其他设备呈现数据指示。示例性的呈现组件916包括显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等。呈现组件916也可以是用于耦合显示设备、扬声器、打印组件、振动组件、平面显示器、投影仪、头戴式显示器等的i/o端口。说明性的i/o组件920包括摄像头、麦克风、操纵杆、游戏手柄、碟形卫星信号收发天线、扫描仪、打印机、无线设备等。
根据本发明的基于手势识别的控件也可在手势识别设备或手势输入设备中实施。手势识别设备或手势输入设备可以集成到键盘、鼠标、遥控器等输入设备中。
图10是根据本发明实施例的虚拟现实系统的框图。虚拟现实系统由硬件以及运行在硬件上的软件构成，为清楚的目的，在图10中，展示了由虚线分割的硬件层与软件层。在硬件层中展示跟根据本发明实施例的虚拟现实系统的硬件设备，而在软件层展示了虚拟现实系统的软件。
虚拟现实系统包括互相耦合的计算单元1010、显示设备1020、内存/存储设备1030以及传感器模块1040。计算单元1010包括cpu(centralprocessingunit，中央处理单元)以及用于加速视频展示、图像识别、场景渲染等任务的gpu(graphicprocessingunit，图形处理单元)。计算单元1010可包括一个或多个cpu以及一个或多个gpu。显示设备1020在计算单元1010的指示下向用户展示图形、图像内容，以呈现虚拟现实场景。显示设备220可以是例如头戴式显示器、投影器、虚拟现实眼镜。内存/存储设备1030可以包括：随机存取存储器(ram)、只读存储器(rom)、电子可擦写可编程只读存储器(eeprom)、闪存、压缩盘只读存储器(cdrom)、数字通用盘(dvd)或其他光学或全息介质、磁盒、磁带、磁盘存储或其他磁性存储设备。内存/存储设备1030用于存储程序以及程序运行时的临时数据和/或结果数据。传感器模块1040检测用户状态，并就用户的状态向虚拟现实提供提供输入。
传感器模块1040包括多种传感器和/或输入装置。例如，传感器模块1040包括头部姿态捕获装置1042、手势捕获装置1044、音频/语音捕获装置1046和/或交互设备1048。
作为举例，头部姿态捕获装置1042包括位于头戴式显示器内部的陀螺仪，用于以一定频率或实时地向vr系统提供用户头部的位置、朝向、俯仰等头部姿态信息，可选地，头部姿态捕获装置还对头部姿态信息进行处理，以识别出用户头部的动作，例如从头部姿态信息中识别出摇头、头部剧烈晃动、头部快速后仰等头部动作。在另一个例子中，头部姿态捕获装置242包括视频采集装置，通过捕获用户头部的图像，识别头部的姿态信息和/或头部的动作。
手势捕获装置1044可包括在中国专利申请cn201110100532.9中提供的手势识别系统，通过引用将其全文合并于此。手势识别装置1044还可以是数据手套(cyberglove)。手势捕获装置244从用户在现实世界中所做的手势和/或动作，提取出手势姿态(i)。手势姿态(i)可以是一个向量，并形式化表示为i＝{c,palm,thumb,index,mid,ring,little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。
音频/语音捕获装置1046可以是麦克风/阵列、语音处理/识别模块、语言处理模块等。音频/语音捕获装置1046用于识别用户的尖叫、哭喊等音频信息和/或识别用户求救、抱怨等话语。音频/语音捕获装置1046还可提取音频的强弱、频率等特征，和/或将语音转换为本文。
交互设备1048可以是例如vr控制器(如oculusrifttouch)、游戏手柄、数据手套(如cyberglove)、动作捕捉系统(如optitracker)，用于识别用户的指令。例如，当用户按下按键或做出预定动作/手势时，表示用户向虚拟现实系统给出指定的指令。在另一个例子中，交互设备1048包括压力传感器，能感知用户握力大小，以及通过用户的握力大小来识别用户的紧张或不适感。在另一个例子中，交互设备1048包括惯性传感器，通过速度和/或加速度能感知用户对交互设备进行剧烈晃动、扔/甩等交互动作，通过检测这些动作来识别用受到惊吓的程度。
vr应用软件1060在计算单元1010上运行，用于构建虚拟现实场景，并同用户交互。刺激检测与处理模块1070收集从传感器模块1040获取的信息，识别用户受到刺激的程度或用户体验到的不适感，并向vr应用软件1060做出指示，指示vr应用软件改变所构建的虚拟现实场景，以减轻对用户的刺激或减少对用户造成的不适感。刺激检测与处理模块1070可指示vr应用软件1060屏蔽部分或全部vr场景，以降低对用户的刺激。或者刺激检测与处理模块1070指示vr应用软件1060弹出对话框、中止或暂停对对vr场景的构建。刺激检测与处理模块1070还可指示vr应用软件1060弱化当前的vr场景，例如降低当前vr场景的逼真程度或改变vr场景的内容，降低其恐怖、暴力的程度。
可选地，刺激检测与处理模块1060直接改变显示设备1020所展示的vr场景，而无需vr应用软件1060的协助，从而对于未提供相应接口或控制机制的第三方vr应用软件，也可实施根据本发明的实施例。可选地刺激检测与处理模块1060指示音频设备调整播放的音频，诸如降低音量、改变节奏、播放欢快的音乐等，而无需vr应用软件1060的协助。
刺激检测与处理模块1060可轮询传感器模块1040以识别用户受到刺激的程度或用户体验到的不适感。而在另一个例子中，传感器模块在感知用户受到刺激或经历不适时，或者在指定条件下(例如，定时器到期)，向刺激检测与处理模块1070发出消息或中断信号。
图11是根据本发明实施例的避免虚拟现实系统过度刺激用户的方法的流程图。在根据本发明的实施例中，vr应用1060(也参看图10)构建vr场景(1110)。刺激检测与处理模块1060通过传感器模块1040识别vr场景中的用户正经历不适体验和/或不适体验的程度(1120)。以及在必要时，为避免给用户过度刺激，降低用户在vr场景中的不适感，改变所构建的vr场景(1130)，减少对用户的刺激，从而缓解用户的紧张感/不适感。
图12是根据本发明实又一施例的避免虚拟现实系统过度刺激用户的方法的流程图。vr应用1060(也参看图2)构建vr场景(1210)。通过头部姿态捕捉装置1042(也参看图10)获取用户头部姿态(1220)。作为举例，头部姿态捕捉装置1042以固定频率对头部姿态进行采样，得到第t帧的头部姿态，记为phead(t)。头部姿态包括3个自由度，即
从头部姿态中，识别头部的运动模式。用户的头部出现指定的运动模式时，认为用户正在体验紧张或不适(421)。在一个例子中，用户被吓到时头部会迅速后仰，而头部迅速后仰的头部运动模式可通过检测用户头部移动的速度大于指定阈值τ1来识别，例如，phead(t)-phead(t-1)＞τ1，其中phead(t)取第t帧的头部姿态中取沿滚动轴的偏移量。在另一个例子中，比较第t帧头部姿态与第t-n帧的头部姿态沿滚动轴的偏移量差值是否大于阈值τ1，来识别用户头部移动的速度是否大于阈值τ1。其中，t与n均为正整数。
在另一个例子中，用户被吓到时，会连续剧烈晃动头部表示抗拒看到的vr场景。连续剧烈晃动头部的运动模式可通过检测用户头部转动的加速度大于指定阈值τ′1来识别，例如phead(t)+phead(t-2)-2phead(t-1)＞τ′1，其中phead(t)取第t帧的头部姿态中绕偏航轴的转动角度。在依然另一个例子中，比较第t帧头部姿态与第t-n帧的头部姿态绕偏航轴的转动角度的二阶差值是否大于阈值τ′1。
若通过用户的头部姿态，识别用户正在体验紧张或不适，改变vr场景(1230)。
可选地，通过手势捕获装置1044(也参见图10)获取用户手势姿态(1222)。作为举例，手势捕获装置1044以指定频率给出手势姿态(i)，手势姿态(i)可以是一个向量，并形式化表示为i＝{c，palm，thumb，index，mid，ring，little}。其中，c表示整个手的手型，例如，握拳、五指张开、胜利手势等，palm代表指示手掌的位置信息，thumb、index、mid、ring和little分别代表拇指、食指、中指、无名指和小指的位置信息和/或朝向信息。在另一个例子中，手势姿态包括3个自由度，记为
从手势姿态中，识别用户手部的运动模式。用户的手部出现指定的运动模式时，认为用户正在体验紧张或不适(1223)。在一个例子中，用户被吓到时手部会迅速前推，以希望阻止危险考虑，而手部迅速前推的手部运动模式可通过检测用户手部移动的速度大于指定阈值τ2来识别，例如，ppalm(t)-ppalm(t-1)＞τ2，其中ppalmm(t)取第t帧的手部姿态中取沿滚动轴的偏移量。在又一个例子中，用户被吓到时会连续剧烈挥手表示抗拒看到的vr内容，而用户连续剧烈挥手的手部运动模式可通过检测用户手部移动的加速度大于阈值τ′2来识别，例如，ppalm(t)+ppalm(t2)2ppalm(t1)＞τ′2，其中ppalm(t)取第t帧的手部姿态中绕滚动轴的转动角度。在又一个例子中，用户捂住眼睛的行为暗示着用户想回避看到的内容，而用捂住眼睛的手部运动模式可通过检测用户手掌捂在眼前达到一定时间来识别，例如，连续t帧的手部姿态中手部位置距离眼睛位置q的平均距离小于阈值τ″2，用
若通过用户手部的运动模式识别用户正在体验紧张或不适，改变vr场景(1230)。
在根据本发明的另一个实施例中，在vr场景中构建在根据本发明图4或图7展示的实施例的控件，通过识别用户的手势激活控件。当用户通过手势向控件指示“确认”命令时，表明用户感到紧张或过度刺激。作为响应，改变vr场景，以减少对用户刺激，降低用户的紧张感。而当用户通过手势向控件指示“取消”命令时，表明用户能够接受vr场景的内容，而暂时无需对构建的vr场景做出改变。
可选地，通过音频/语音捕获装置1046(也参见图10)获取用户手势姿态(1224)。作为举例，音频/语音捕获装置1046向刺激检测与处理模块1070(也参见图10)给出捕获的音频、音频特性、语音和/或从语音中识别的文本。音频特性包括音频的频率、幅度等。
若捕获的音频信号呈现指定特征，或语音中包括指定词句，认为用户正在体验紧张或不适(425)。在一个例子中，用户被吓到时会呼喊“救命”等词语。提供文字集合y，其中的元素是用户在体验紧张或不适时会说出或呼喊出的词句。捕获用户发出的音频x，识别音频x中的词句，并转化为文字y，若文字y在预定义的文字集y中，则认为用户表示在体验紧张、对vr内容感到不适或抗拒。
在另一个例子中，用户被吓到时会尖叫或高喊。识别用户发出的音频的频率和/或响度，若频率和/或响度超出指定阈值，则认为用户表示在体验紧张、对vr内容感到不适或抗拒。
若通过音频识别用户正在体验紧张或不适，改变vr场景(1230)。
依然可选地，通过交互设备1048(也参看图10)获取交互设备的信号(1226)。交互设备的信号指示了用户的指令。用户的指令指示用户的不适感(1227)。在一个例子中，用户被告知当在vr系统中感到不适时，可通过按下按键或做出预定动作/手势来向vr系统告知不适感。例如，在诸如用户的vr控制器、游戏手柄或数据手套的交互设备1048上提供按键，用户按下按键，交互设备1048向刺激检测或处理模块1070发送信号，指示用户通过按键发出了感到不适的指令。在另一个例子中，用户体会紧张或不适时，会紧握手持的物体。而交互设备1048包括压力传感器，并由用户手持。当感知到用户的握力超出阈值或者长时间持续超出阈值时，交互设备1048向刺激检测或处理模块1070发送信号，指示用户的不适感(1227)。
若通过交互设备的信号识别用户正在体验紧张或不适，改变vr场景(1230)。
依然可选地，通过用户手持的交互设备的运动模式，来识别用户手部的运动模式。在用户的手部出现指定的运动模式时，认为用户正在体验紧张或不适。例如，在交互设备上设置陀螺仪，并实时或以一定频率提供手持设备的姿态。或者捕获交互设备的图像，从图像中识别交互设备的姿态。还可以在交互设备上产生超声波、红外线、可见光等指示信息，从而通过接收指示信息来识别手持设备的姿态。从手持设备的姿态中，获取手持设备的运动模式。若手持设备的速度和/或加速度大于阈值，认为持握手持设备的用户正体验紧张或不适。
需要指出的是，上面通过举例的方式提出可通过识别用户的头部运动模式、用户的手部运动模式、用户的音频/语音特征或交互设备的信号来识别用户正在体验紧张或不适。所属领域技术人员将意识到，上述识别用户正在体验紧张或不适的手段可组合使用。通过组合上述手段的一种或多种，可更准确、更简洁或更有效的识别用户正在体验紧张或不适。
响应于识别到用户正体验紧张或不适，改变vr场景(1230)。在根据本发明的实施例中，通过多种手段改变vr场景。在一个例子中，通过切换、弱化和/或关闭当前展示的视频内容(1232)来改变vr场景，以减少对用户刺激，降低用户的紧张感。例如，将当前向用户展示的恐怖vr场景切换为轻松的内容，降低当前vr场景的逼真度/分辨率，使当前展示的vr场景变得模糊，或者改变当前的vr场景的亮度。在另一个例子中，通过切换、弱化和/或关闭当前播放的音频内容(1234)来改变vr场景，以减少对用户的刺激。例如，将当前紧张、刺激的音乐，改变为轻松、欢快的音乐，使带来紧张、刺激的音源向远离用户的方向移动，改变音量，甚至停止声音的播放等。在依然又一个例子中，向用户弹出提示窗口(1236)，来询问用户的意愿并缓解用户的紧张情绪。例如，通过弹出窗口向用户询问是否过于紧张，是否需要休息。可以组合上面提供的多种手段来改变vr场景。
在根据本发明的依然另一个实施例中，刺激检测与处理模块1070(参看图10)也监测vr场景。在vr场景在展示紧张、刺激等时，访问传感器模块1040以识别用户是否体验到不适。可选地，vr应用1060就其内容告知刺激检测与处理模块1070，例如，在将出现或已经出现紧张、刺激内容时，通知刺激检测与处理模块1070开始或加强对用户的检测，以有效识别用户是否体验到不适。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
- 还没有人留言评论。精彩留言会获得点赞！