专利名称：一种基于虚拟现实的体感操作方法及系统的制作方法
技术领域：
本发明属于电子设备操作控制技术及人机交互技术领域，尤其涉及一种基于虚拟现实的体感操作方法及系统。
背景技术：
德国弗朗霍夫通讯研究院海因里希一赫兹研究所开发的iPoint3D系统，它的功能是在立体显示三维影像的3D显示器上，利用手势操作三维影像。对于德国的iPoint3D 系统，主要是通过三维手势操作三维显示的图片，它存在一些问题，这些图片相互之间没有三维关系，手势对图片的操作包括放大、缩小、移动等简单的二维操作，并且有些动作必须要双手才能完成。现在对人的主要部位的跟踪检测技术在发展，对人体基本动作的检测有初步的成果，但是目前在三维空间下的手势还没有一个完整定义，这种三维手势也没有用到虚拟现实中。因此，我们把三维手势映射到对三维显示的虚拟空间的操作上，可以实现人的动作对虚拟现实的控制。
发明内容
有鉴于此，本发明所要解决的技术问题是提供一种基于虚拟现实的体感操作方法及系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。 其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。本发明一方面，公开了一种体感操作方法，包括 识别操作者的手势及其在真实空间中的运动轨迹； 对手势类别及运动轨迹进行解析，得到相应的操作命令；
根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。在一些可选的实施例中，所述的识别手势的运动轨迹包括所述运动轨迹的形状， 和/或运动轨迹选定点的位置。在一些可选的实施例中，所述对手势类别及运动轨迹进行解析包括 根据预先约定的手势形状，确定手势类别；
对手势的运动轨迹进行量化处理，得到轨迹信息； 映射所述的轨迹信息到相应的操作命令。在一些可选的实施例中，所述的对手势的运动轨迹进行量化处理包括 测算所述运动轨迹的起始点和中间点之间的第一连线的长度；
测算所述运动轨迹的起始点到结束点之间的第二连线的长度； 测算所述运动轨迹的中间点到结束点之间的第三连线的长度； 当所述第一连线和第三连线的长度之和与第二连线的差值大于预设的阈值，确定所述运动轨迹为弧线；否则，确定所述运动轨迹为直线。
在一些可选的实施例中，当所述运动轨迹为直线时，根据起始点和结束点，确定手势在空间中的运动方向；当所述运动轨迹为曲线时，根据起始点、中间点和结束点，确定手势在空间中弧线运动的方向。在一些可选的实施例中，所述相应的操作命令具体包括
当所述运动轨迹是直线时，根据运动轨迹的方向，对虚拟场景中的选定物体进行平移。当所述的运动轨迹是弧线时，对虚拟场景中的选定物体进行翻转。在一些可选的实施例中，所述进行相应的场景调整包括
当识别出的手势指示选定点时，将该手势在虚拟场景中对应点的物体作为选定物体显示在虚拟场景中；
当识别出的手势指示平移时，从所述选定点开始，将选定物体在虚拟场景中平移与所述运动轨迹相应的线条。当识别出的手势指示翻转时，从所述选定点开始，将选定物体依据所述选定物体的中心点翻转与所述运动轨迹形状相应的角度。本发明的另一方面是公开了一种体感操作系统，包括 识别单元，识别操作者的手势及其在真实空间中的运动轨迹； 解析单元，对手势类别及运动轨迹进行解析，得到相应的操作命令；
编辑单元，根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。在一些可选的实施例中，所述的识别单元包括 手势识别模块，采集操作者的手势形状；
动作识别模块，记录手势的空间位置及运动轨迹。在一些可选的实施例中，所述的解析单元包括
手势解析模块，根据预先约定的手势形状，确定手势类别； 轨迹处理模块，对手势的运动轨迹进行量化处理，得到轨迹信息。为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。本发明通过三维手势实现人与虚拟现实交互，使用户在三维显示的虚拟场景中随意的控制，将用户三维手势信号通过虚拟现实编辑以实现虚拟场景的变化，从而使用户感受到自己对虚拟现实的控制。本发明涉及基于三维手势的体感操作系统，利用三维手势检测技术，检测出在三维空间下手的各种动作，从而设计出三维手势与三维显示的虚拟现实变化之间的映射，目的是使人在现实空间中执行各种三维手势动作，而三维现实的虚拟现实则根据动作进行相应变化，使人能感到亲身体验虚拟现实效果。它适用于控制各种三维显示的虚拟现实，如三维地图、城市规划、道路桥梁、工业和医学的仿真应用以及网络游戏寸。说明书附图
图1是本发明方法流程图； 图2是具体实施例一手掌拉近或推远效果图；图3是具体实施例--手掌平移效果图；图4是具体实施例--手掌弧线移动效果图；图5是具体实施例--手掌三维移动效果图；图6是具体实施例--手指点击和手握拳手势7是具体实施例--手握拳移动效果图；图8是具体实施例二初始化用户视角效果图；图9是具体实施例二手掌拉近或推远效果图；图10是具体实施例—二手掌平移效果图；图11是具体实施例一二手掌弧线移动效果图；图12是具体实施例一二手掌三维移动俯视示意13是具体实施例一二手掌三维移动侧视示意14是具体实施例一二手掌三维移动效果图；图15是具体实施例一二移动物体效果图；图16是双目视觉传感器模型立体视图；图17是双目视觉传感器模型俯视图；图18是三点定圆示意图；图19是本发明体感操作系统结构示意图。
具体实施例方式以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。图1为本发明一种体感操作方法流程图，包括以下步骤 步骤101 识别操作者的手势及其在真实空间中的运动轨迹；
本步骤中，识别操作者的手势可以通过测算该手势上的所有点在真实空间中的坐标实现。识别手势在真实空间中的运动轨迹时，可以将手势上的一个点作为测算基准点，例如将一个手指指端作为测算基准点，通过测算该测算基准点在运动过程中在每一位置的坐标， 识别出运动轨迹。上述测算坐标，均可以基于立体视觉技术实现，这里不再赘述。步骤102 对手势类别及运动轨迹进行解析，得到相应的操作命令；
本步骤中，可以利用预设的手势模板，确定操作者的手势对应的操作类型。作为一种实施方式，当手抬起时，虚拟场景激活；手放下时，取消控制；手势是掌时，解析后的操作命令是对虚拟场景的移动和旋转；手势是伸出手指时，操作命令是选择物体；手势是握拳时，操
6作命令是抓取所选择的物体。更具体的，根据运动轨迹的起始点、中间点和结束点，以及预设的阈值，确定所述运动轨迹为弧线或直线运动。在一些可选的实施例中，当所述运动轨迹为直线时，根据起始点和结束点，确定手势在空间中的运动方向。在一些可选的实施例中，当所述运动轨迹为曲线时，根据起始点、中间点和结束点，确定手势在空间中弧线运动的方向。步骤103 根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。本步骤中，在一些可选的实施例中，当识别出的手势指示选定点时，将该手势在虚拟场景中对应点的物体作为选定物体显示在虚拟场景中；
当识别出的手势指示平移时，从所述选定点开始，将选定物体在虚拟场景中平移与所述运动轨迹相应的线条。当识别出的手势指示翻转时，从所述选定点开始，将选定物体依据所述选定物体的中心点翻转与所述运动轨迹形状相应的角度。利用三维手势检测技术，确定用户的手型和手的空间坐标信息，最后确定手势动作，具体实现如下
首先，需要得到手在空间中的坐标，如图16所示，两台焦距为/的摄像机平行放置，光轴之间的距离为T,图16中的两个矩形分辨表示左右摄像机的成像平面，O1和Or为左右摄像机的焦点，对于场景中的任意一点Λ在左右摄像机成像平面上的成像点分别为A和凡， 它们在成像平面上的成像坐标(图像坐标)为夕和Ζ，则视差定义为J - χ1 - xr (如图17 所示)。以图16中的左摄像机焦点。为原点，GA所在直线为I轴，左摄像机光轴为Z轴， 垂直于X 轴的为Y轴，则P点在O1坐标系中的坐标可以按照公式(1)计算
权利要求
1.一种体感操作方法，其特征在于，包括 识别操作者的手势及其在真实空间中的运动轨迹； 对手势类别及运动轨迹进行解析，得到相应的操作命令；根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。
2.如权利要求1所述的方法，其特征在于，所述的识别手势的运动轨迹包括所述运动轨迹的形状，和/或运动轨迹选定点的位置。
3.如权利要求1所述的方法，其特征在于，所述对手势类别及运动轨迹进行解析包括 根据预先约定的手势形状，确定手势类别；对手势的运动轨迹进行量化处理，得到轨迹信息； 映射所述的轨迹信息到相应的操作命令。
4.如权利要求3所述的方法，其特征在于，所述的对手势的运动轨迹进行量化处理包括测算所述运动轨迹的起始点和中间点之间的第一连线的长度； 测算所述运动轨迹的起始点到结束点之间的第二连线的长度； 测算所述运动轨迹的中间点到结束点之间的第三连线的长度； 当所述第一连线和第三连线的长度之和与第二连线的差值大于预设的阈值，确定所述运动轨迹为弧线；否则，确定所述运动轨迹为直线。
5.如权利要求4所述的方法，其特征在于，当所述运动轨迹为直线时，根据起始点和结束点，确定手势在空间中的运动方向；当所述运动轨迹为曲线时，根据起始点、中间点和结束点，确定手势在空间中弧线运动的方向。
6.如权利要求1所述的方法，其特征在于，所述相应的操作命令具体包括当所述运动轨迹是直线时，根据运动轨迹的方向，对虚拟场景中的选定物体进行平移；当所述的运动轨迹是弧线时，对虚拟场景中的选定物体进行翻转。
7.如权利要求1所述的方法，其特征在于，所述进行相应的场景调整包括当识别出的手势指示选定点时，将该手势在虚拟场景中对应点的物体作为选定物体显示在虚拟场景中；当识别出的手势指示平移时，从所述选定点开始，将选定物体在虚拟场景中平移与所述运动轨迹相应的线条；当识别出的手势指示翻转时，从所述选定点开始，将选定物体依据所述选定物体的中心点翻转与所述运动轨迹形状相应的角度。
8.—种体感操作系统，其特征在于，包括识别单元，识别操作者的手势及其在真实空间中的运动轨迹；解析单元，对手势类别及运动轨迹进行解析，得到相应的操作命令；编辑单元，根据操作命令，进行相应场景调整，更新三维显示的虚拟现实信息。
9.如权利要求8所述的系统，其特征在于，所述的识别单元包括 手势识别模块，采集操作者的手势形状；动作识别模块，记录手势的空间位置及运动轨迹。
10.如权利要求8所述的系统，其特征在于，所述的解析单元包括手势解析模块，根据预先约定的手势形状，确定手势类别； 轨迹处理模块，对手势的运动轨迹进行量化处理，得到轨迹信息。
全文摘要
本发明公开了一种基于虚拟现实的体感操作方法及系统，利用三维手势检测技术，检测出在三维空间下手的各种动作，从而设计出三维手势与三维显示的虚拟现实变化之间的映射，目的是使人在现实空间中执行各种三维手势动作，而三维现实的虚拟现实则根据动作进行相应变化，使人能感到亲身体验虚拟现实效果。
文档编号G06F3/01GK102226880SQ20111014920
公开日2011年10月26日 申请日期2011年6月3日 优先权日2011年6月3日
发明者王嘉, 程懿远, 胡洪磊, 颜世聪, 鲍东山 申请人:北京新岸线网络技术有限公司