本发明涉及手势识别技术，尤其涉及一种手势操控虚拟现实视频的方法、装置和系统。
背景技术：
随着vr(virtualreality，虚拟现实)市场的不断升温，虚拟现实逐渐走向大众视野，传统的视频媒体受到冲击，越来越多vr设备被开发出来，现在最流行的一种vr视频观看方式是使用google公司定义的vr眼镜搭载手机观看vr视频。然而，将手机放入vr眼镜后，手就不能对手机屏幕进行触摸从而控制vr视频，比如重力感应切换视角模式和手动切换视角模式的转换，视频的暂停、快进、快退、手机屏幕亮度控制、手机声音控制等常规操作。更重要的是在手动切换视角模式下，无法切换vr视频的观看视角。
可见，当将视频播放设备放入vr设备后，存在用户无法对视屏播放设备进行播放控制，严重影响用户观看体验的问题。
技术实现要素：
鉴于上述问题，提出了本发明以便提供一种解决上述问题的手势操控虚拟现实视频的方法、装置和系统，用以提高用户的观看体验。
依据本发明的一个方面，提供一种手势操控虚拟现实视频的方法，包括：
获取一系列的人手深度图，解析所述人手深度图，得到人手图像；
按照设定的目标区域选取标准，在所述人手图像中选取一目标区域，通过捕获所述目标区域的移动轨迹，得到人手运动轨迹；
将所述人手运动轨迹与预先定义的手势模板进行匹配，并将匹配到的手势的种类及该手势的运动距离发送至虚拟现实视频播放设备进行视频播放控制。
依据本发明的另一个方面，提供一种手势操控虚拟现实视频的装置，包括：
获取深度图模块，用于获取一系列的人手深度图；
图像处理模块，用于解析所述人手深度图，得到人手图像，按照设定的目标区域选取标准，在所述人手图像中选取一目标区域，通过捕获所述目标区域的移动轨迹，得到人手运动轨迹；
手势匹配模块，用于将所述人手运动轨迹与预先定义的手势模板进行匹配；
手势信号发送模块，用于将所述手势匹配模块匹配到的手势的种类及该手势的运动距离发送至虚拟现实视频播放设备进行视频播放控制。
依据本发明的第三个方面，提供一种手势操控虚拟现实视频的系统，包括：本发明提供的所述手势操控虚拟现实视频的装置、深度摄像机、以及虚拟现实视频播放设备；
所述深度摄像机，用于为所述手势操控虚拟现实视频的装置提供人手深度图；
所述虚拟现实视频播放设备，用于在接收到手势的种类及手势的运动距离时，匹配与所述手势的种类对应的控制指令以及根据所述运动距离确定控制量，并按照所述控制量执行所述控制指令。
本发明有益效果如下：
本发明为通过vr设备观看vr视频时，提供了一种灵敏度高、稳定性好、计算量小、使用方便、用户体验好的手势控制vr视频操作的方式。很好的解决了现有技术中用户无法对视屏播放设备进行播放控制，严重影响用户观看体验的问题。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明第一实施例提供的一种手势操控虚拟现实视频的方法的流程图；
图2为本发明第二实施例提供的一种手势操控虚拟现实视频的方法的流程图；
图3为本发明第二实施例中图像处理中获取相对最远局部圆的流程图；
图4为本发明第二实施例中通过相对最远局部圆生成并匹配相应的手势的流程图；
图5为本发明第三实施例中手势操控虚拟现实视频的装置的结构框图；
图6为本发明第四实施例提供的一种手势操控虚拟现实视频的装置的结构框图；
图7为本发明第五实施例提供的一种手势操控虚拟现实视频的系统框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种手势操控虚拟现实视频的方法、装置和系统，通过使用深度摄像机输出的人手深度图，获取到人手的手势，并将获取的手势与预先定义的相应手势族进行匹配，从而得到用户控制虚拟现实视频的手势信息，进行视频播放控制，极大的提升了用户观看虚拟现实视频时的用户体验。下面就通过几个实施例对本发明的具体实施过程进行详细的阐述。
在本发明的第一实施例中，提供一种手势操控虚拟现实视频的方法，如图1所示，所述方法包括：
步骤s101，获取一系列的人手深度图，解析人手深度图，得到人手图像；
本发明实施例中，获取的深度图是深度摄像机实时采集到的深度图。为了采集人手深度图，可以但不限于为将深度摄像机佩戴在用户的胸前。
进一步地，在本发明的一个具体实施例中，解析人手深度图，得到人手图像，包括：按设定的深度阈值，对所述人手深度图进行二值化，并通过对点进行联通区域扩散，得到所述人手图像。该实施例中，将人手深度图以设定的深度阈值进行二值化处理，减小了处理的计算量，提高了处理效率。当摄像机佩戴在用户胸前时，该深度阈值可以但不限于设为1.2米。
步骤s102，按照设定的目标区域选取标准，在所述人手图像中选取一目标区域，通过捕获所述目标区域的移动轨迹，得到人手运动轨迹；
本发明实施例中，选取的所述目标区域满足：目标区域内落在人手上的点占目标区域内所有点的比例值超出设定的比例阈值。
在本发明的一个具体实施例中，在人手图像中，从人手最远深度点沿着人手延伸的反方向移动设定距离，得到相对最远点，并以所述相对最远点为圆心、以设定值为半径，截取一局部圆作为选取的目标区域。其中，移动的距离可以在5～8cm范围内选取，设定的半径满足：半径长度内像素点的个数占深度图总像素点个数的0.5％。本实施例通过深度图中的局部圆技术，大大减少了获取手势时的计算量，提高了手势获取的效率及稳定性。当然，需要指出的是，本领域技术人员可以根据需求对上述移动距离的取值范围以及半径选取所满足的百分比进行灵活调整，本发明实施例不对其具体取值进行唯一限定。
进一步地，在本发明的一个具体实施例中，通过捕获目标区域的移动轨迹，得到人手运动轨迹，具体包括：
对于每一帧图像，求取目标区域内所有点的x、y坐标的平均值；
按照时序序列，统计各帧图像中目标区域在x、y方向上的平均变化值；
根据所述x、y方向上的平均变化值，确定出人手的运动轨迹。通过该运动轨迹，可以得到该手势的运动距离。
步骤s103，将人手运动轨迹与预先定义的手势模板进行匹配，并将匹配到的手势的种类及该手势的运动距离发送至虚拟现实视频播放设备进行视频播放控制。
本发明实施例中，定义手势模板时，手势的获取可以参见步骤s101和s102的方式，在获取到手势后，将该手势加入到定义的手势模板。
进一步地，由于手势的种类有限，特别是简单易用的手势种类更有限，当其无法满足视频控制类型的数量要求时，本发明实施例还提供一种解决方案，该解决方案将视频控制进行模式划分，相同的手势在不同的模式下代表不同的控制类型，具体的实施方式为：
在得到人手图像后，提取所述人手图像中的手形，若提取的手形与设定的模式切换手形相同，则判定出用户进行了模式间的切换，将所述手形发送至虚拟现实视频播放设备进行视频播放的模式控制。在切换模式后，可以采用与其他模式下相同的手势，进行本模式下的控制。即，本实施例通过模式切换，实现了手势的复用。
进一步地，为了便于确定用户何时开始手势、何时结束手势，本发明实施例中，通过手形进行判断，具体的：
提取所述人手图像中的手形；
若提取的手形与设定的开启人手运动轨迹采集的手形(例如伸开手)相同，则按照设定的目标区域选取标准在所述人手图像中选取一目标区域，以获取人手运动轨迹；
若提取的手形与设定的结束人手运动轨迹采集的手形(例如握拳)相同，则判定手势结束，停止获取人手运动轨迹。
当然，本实施例中将匹配到的手势及该手势的运动距离发送至虚拟现实视频播放设备，由虚拟现实视频播放设备根据该手势信息进行视频控制(即要求视频播放设备侧具有识别手势信息的能力)，仅是本发明的一种具体实现方式，在其他实现方式中，可以在本地存储手势与控制指令的对应关系，当得到手势信息后，继续进行控制指令的匹配，并将匹配到的控制指令发送到视频播放设备，以达到视频控制的效果。
综上所述，本发明实施例所述方法，实现了通过手势操控虚拟现实视频的播放，虽然现有技术中也存在其他手势控制方案，但是现有的手势控制大多数都是基于摄像机或者双目摄像机，存在计算量大，精度低，稳定性差等缺点。而本发明实施例采用的是深度摄像机，深度摄像机是通过硬件加速的方式屏蔽了大量的图形图像计算输出深度图，其精度、稳定性高于传统的相机和摄像机。另外，本发明实施例在人手图像解析时采用了设定深度阈值进行二值化处理的技术、在手势运动轨迹判断时采用了局部圆技术，极大的降低了计算量，提高了手势获取效率。
在本发明的第二实施例中，提供一种手势操控虚拟现实视频的方法，如图2所示，所述方法包括如下步骤：
步骤1，通过深度摄像机相应接口，时时获取佩戴于用户胸前的深度摄像机采集的深度图。具体的，本实施例中，通过调用深度摄像机sdk，获取大小为640*480、每秒30帧的深度图。
步骤2，将获取的深度图，按一定深度值(如1.2米)进行二值化，得到二值化深度图。其中，在一定深度值范围内就是人体的双手。
步骤3，在二值化后的深度图定义的人体双手中，选择出一个相对最远的局部圆，其具体实施流程如图3所示。
步骤4，根据相对最远局部圆的运动轨迹，定义相应手势，形成手势族(即手势模板)，用于手势匹配。本实施例中，手势定义分为重力感应模式和手动切换视频视角模式两个模块。重力感应模式下，通过手势向主要的4个方向滑动，定义不同操作。手势滑动模式下，向不同的方向滑动，视角就跟随滑动方向切换。
在定义手势后，可以进行虚拟现实视频控制，具体包括：
步骤5，通过获取的深度图，选择相对最远局部圆，根据相对最远局部圆的运动轨迹，生成手势，并与定义的手势族进行匹配。具体的匹配处理过程如图4所示。
步骤6，匹配成功后，将具体手势信号传送给播放虚拟现实视频的设备；
具体的，本实施例中，将手势数据封装成相应的结构体，并将其发送给播放虚拟现实视频的设备。其中，手势数据包含手势的种类(例如手势运动方向)、以及在运动方向上x轴y轴上的运动距离。发送结构体的方式包括：使用网络或者usb连接发送。
步骤7，视频播放设备接收到具体手势信号后，根据预先定义的手势族与控制指令的匹配关系，确定控制指令，以及根据运动的距离信息确定控制量，并调用相应接口，按照控制量执行控制指令，完成手势对虚拟视频的控制操作。
具体的，本实施例中，视频播放设备接收到结构体信息后，将手势数据加入等待队列中，然后从等待队列中依次取出手势数据，与设备本地存储的模式-手势-控制指令对应关系表进行匹配，并在匹配成功时，调用接口，按照确定的控制量执行匹配到的控制指令，如果未匹配成功，则认为为无效信息，进行丢弃处理，再次从队列中取数据进行处理。
如图3所示，为图像处理中获取相对最远局部圆的流程图，具体处理过程为：先将深度图进行二值化、判断点的深度是否小于1.2米，如果小于将点进行联通区域扩散。如果此点的联通区域的点数小于5000，此为噪声丢弃；如果此地的联通区域点数大于5000，则为人手。接着在人手图像上选出人手最远深度点，取出最远点的深度，根据最远深度，在人手上选取一个比最远深度点近设定距离(可在5～8cm范围内取值)的相对最远点，如果找不到，则丢弃当前图像帧，继续获取下一图像帧。然后以相对最远点为圆心，画一个半径长度为20个像素点的局部圆。如果局部圆90％的点在人手上，就使用此局部圆；如果不是从新选相对最远点(再次选择的时候不选以前局部圆中的点)。
如图4所示，为通过相对最远局部圆生成并匹配相应的手势的流程图。本实施例中当需要用手势对虚拟视频进行操控的时候，将手握拳移入深度摄像机的摄像范围内，将手进行张开表示开始生成手势(松开握拳表示手势结束)。接着在手上计算出相对最远局部圆，当相对最远局部圆向某个方向运动时，通过局部圆上的点生成和匹配手势，具体过程如下：
1、相对最远局部圆的生成是通过相对最远局部点生成的。当手张开时，通过(相对最远局部点)局部圆的圆心，确定局部圆的范围。
2、时时比较相对最远局部圆范围内的点的x，y坐标的变化，根据整个局部圆的x，y的变化，计算出x，y平均变化值。
3、在不同的模式和手势族中不同的组下，通过x和y轴的平均变化值，判断局部圆的远动轨迹。在重力感应模式下，当y轴的值的变化幅度不超过10％的时候，认定为横向运动(x变大向右、x变小向左)，运动的值为x轴的变化值。当x轴的变化幅度不超过10％的时候，认定为竖向运动(y轴变大向上、y抽变小向小)，运动的值为y轴的变化值。在手动控制视角模式下，通过x,y值的平均变化值，计算出运动的方向和运动值。
4、当手再次握拳时，表明运动轨迹的结束，在不同模式和不同手势族组下，通过轨迹的运动方向和运动值，匹配相应的定义手势，并将数据传入视频播放设备手势调用接口，完成手势操作。
综上所述，本发明实施例所述方法，为通过vr设备观看vr视频时，提供了一种灵敏度高、稳定性好、计算量小、使用方便、用户体验好的手势控制vr视频操作的方式。与现有的专利比较填补了通过深度相机获取的手势控制vr视频操作的空白，通过深度图中的最远局部圆技术，大大减少了获取手势时的计算量，提高了手势获取的稳定性。提供了重力感应模式和手动切换视角模式下观看vr视频的接口与转换方法、解决在非重力感应情况下流畅的改变vr视频的观看视角的问题。同时本发明其改善了现有方法的便携性与续航能力。
在本发明的第三实施例中，提供一种手势操控虚拟现实视频的装置，如图5所示，包括：
获取深度图模块510，用于获取一系列的人手深度图；
图像处理模块520，用于解析所述人手深度图，得到人手图像，按照设定的目标区域选取标准，在所述人手图像中选取一目标区域，通过捕获所述目标区域的移动轨迹，得到人手运动轨迹；
手势匹配模块530，用于将所述人手运动轨迹与预先定义的手势模板进行匹配；
手势信号发送模块540，用于将所述手势匹配模块匹配到的手势的种类及该手势的运动距离发送至虚拟现实视频播放设备进行视频播放控制。
进一步地，本发明实施例中，图像处理模块520，按设定的深度阈值，对所述人手深度图进行二值化，并通过对点进行联通区域扩散，得到所述人手图像。
进一步地，本发明实施例中，图像处理模块520选取的所述目标区域满足：目标区域内落在人手上的点占目标区域内所有点的比例值超出设定的比例阈值。
进一步地，本发明实施例中，图像处理模块520，在所述人手图像中，从人手最远深度点沿着人手延伸的反方向移动设定距离，得到相对最远点，并以所述相对最远点为圆心、以设定值为半径，截取一局部圆作为选取的目标区域。
进一步地，本发明实施例中，图像处理模块520，对于每一帧图像，求取所述目标区域内所有点的x、y坐标的平均值，按照时序序列，统计各帧图像中目标区域在x、y方向上的平均变化值，根据所述x、y方向上的平均变化值，确定出人手的运动轨迹。
在本发明的一个可选实施例中，图像处理模块520，还用于提取所述人手图像中的手形，若提取的手形与预定义的手形相匹配，则触发手势信号发送模块540；手势信号发送模块540将所述手形的信息发送至虚拟现实视频播放设备，以通过手形进行视频播放控制。
其中，预定义的手形包括如下手形中的一个或多个：预定义的用于模式切换的手形、预定义的用于开始手势的手形和预定义的用于结束手势的手形。
需要指出的是，本实施例所述装置可以设在深度摄像机内，也可独立于深度摄像机为独立的中间装置。
综上所述，本发明实施例所述装置，实现了通过手势操控虚拟现实视频的播放，并且本发明实施例所述装置在人手图像解析时采用了设定深度阈值进行二值化处理的技术、在手势运动轨迹判断时采用了局部圆技术，极大的降低了计算量，提高了手势获取效率。
在本发明的第四实施例中，提供一种手势操控虚拟现实视频的装置，如图6所示，包括：
获取深度图模块610，本模块为整个发明方案提供捕获手势所需要的时时深度图，具体的，本模块通过调用深度摄像机深度图接口，获取范围为120度，深度为0～5米，图像大小为640*480的时时深度图。
图像处理模块620，本模块将深度图以1.2米进行二值化，通过对点进行联通区域扩散，取出人手的图像(深度图中小于1.2米的是人手的位置)。然后在人手图像中选择一个人手最远深度点，并根据该最远深度点，选择出一个相对最远点，以该相对最远点选择出一个相对最远局部圆，根据局部圆的运动，得到人手运动轨迹，即生成了操作手势。
定义手势模块630，本模块定义各种视频控制操作类型对应的手势，得到并保存各手势，得到手势族。如，使用二根手指切换重力感应模式和手势滑动模式，使用4根手指用于重力感应下的第一组手势和第二组手势的切换。在重力感应模式下，第一组手势定义手势的左右滑动进行快进快退，手势的上下滑动进行音量的控制。切换第二组手势定义右滑动控制视频播放的开始和暂停，左滑动用于重力感应和手动切换视角模式的转换，上下滑动进行屏幕亮度的控制。在手动切换视频视角模式下，手势向任意一个方向滑动都用于控制视角的切换。
手势匹配模块640，本模块是指将图像处理模块620捕获的相对最远局部圆的运动轨迹，与已定义的手势族中的手势进行匹配，如果匹配成功，则触发手势信号发送模块650。
手势信号发送模块650，本模块发送手势信息给视频播放设备。
而在视频播放设备侧：接收手势信息，通过手势种类(即滑动的方向)确定相应操作，通过手势移动距离确定改变量大小，调用相应的手势接口(等同于用手在手机屏幕上)操控视频。
在本发明的第五实施例中提供一种手势操控虚拟现实视频的系统，如图7所示，包括：第三或第四实施例所述的手势操控虚拟现实视频的装置、深度摄像机、以及虚拟现实视频播放设备；
深度摄像机，用于为所述手势操控虚拟现实视频的装置提供人手深度图；
而手势操控虚拟现实视频的装置的结构及功能在实施例三、四中已经进行了充分说明，本实施例在此不作赘述。
虚拟现实视频播放设备，用于在接收到手势的种类及手势的运动距离时，匹配与所述手势的种类对应的控制指令以及根据所述运动距离确定控制量，并按照所述控制量执行所述控制指令。
本发明实施例为通过vr设备观看vr视频时，提供了一种灵敏度高、稳定性好、计算量小、使用方便、用户体验好的手势控制vr视频操作的方式。很好的解决了现有技术中用户无法对视屏播放设备进行播放控制，严重影响用户观看体验的问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。