一种基于Kinect体感设备的多视点自由立体交互系统的制作方法
【专利摘要】本发明提出一种基于Kinect体感设备的多视点自由立体交互系统。该系统包括Kinect体感设备、计算机和多视点自由立体显示器。该系统将多视点自由立体显示技术、虚拟现实技术和体感技术相结合，利用Kinect体感设备实时获取人体骨骼数据，由多帧平滑处理后的骨骼数据判断用户做出的特定的肢体动作，将肢体动作转化为与3D虚拟场景交互的控制响应命令，基于GPU实时渲染更新后的3D虚拟场景并生成合成图像，并输出至多视点自由立体显示器上实时显示，用户无需佩戴助视设备即可观看到可交互的立体画面。
【专利说明】—种基于Kinect体感设备的多视点自由立体交互系统
【技术领域】
[0001]本发明涉及虚拟现实3D (三维)交互技术，更具体地说，本发明涉及基于Kinect体感设备的多视点自由立体交互技术。
【背景技术】
[0002]虚拟现实交互技术是新兴的一种综合集成技术，人们可利用计算机来虚构一个3D世界，并与虚拟的3D世界产生交互作用。目前许多虚拟现实交互系统都采用助视3D显示器显示3D虚拟世界，但佩戴助视设备给用户带来不便。传统的硬件交互设备包含了目前常见的鼠标和键盘，也包含了各种数据手套、操纵杆和捕捉器等等。用户可以通过这些设备与虚拟的3D世界进行交互。然而传统的交互设备的交互方式略显单一，且当用户需要手持或触摸交互设备时，交互体验有所降低，特别地，当用户需完成较复杂的肢体动作时，传统的交互设备难免成为累赘。
[0003]近年来,体感交互技术蓬勃发展，渐渐走进人们的生活。Kinect体感设备的传感深度范围在0.8米到4.0米之间，而自由立体显示器的最佳观看距离一般在2米左右，两者之间的适应距离范围存在匹配关系。通过Kinect体感设备，用户可以在不手持或触摸任何设备的情况下，将肢体动作转化为与计算机进行沟通的“语言”，自然地实现人与机器之间的交互。通过自由立体显示器，用户可以无须佩戴助视设备便可观看到立体画面。
【发明内容】
[0004]本发明提出一种基于Kinect体感设备的多视点自由立体交互系统。如附图1所示，该系统包括Kinect体感设备、计算机和多视点自由立体显示器。
[0005]所述Kinect体感设备用于获取用户的骨骼信息，并将所述骨骼信息传送至计算机。
[0006]所述计算机用于根据所述Kinect体感设备反馈的骨骼信息判断用户做出的肢体动作，并转换为与3D虚拟场景交互的控制响应命令，计算机的显卡核心GPU (图形处理器)用于实时渲染3D虚拟场景而得到多幅视差图像，并利用GPU并行处理数据的能力快速生成合成图像。
[0007]所述多视点自由立体显示器用于显示生成的合成图像，使用户观看到3D虚拟场景的立体画面。
[0008]本发明基于Kinect体感设备的多视点自由立体交互系统，其特征也在于其实现包括以下四个步骤:
步骤1:如附图2所示，根据Kinect体感设备反馈的骨骼数据流中的追踪状态判断是否有用户被追踪到，如果有则从中提取用户的骨骼数据，并采用平滑算法平衡化骨骼数据中的不规则点，否则退出本次追踪。
[0009]步骤2:建立与人体常用肢体动作相关的模板库，每个模板对应于一个肢体动作，且每个模板与人体骨骼点在骨骼坐标系中轴上坐标值的变化轨迹、变化范围及持续时间相关，即模板与肢体动作存在时间域与空间域的对应关系。由步骤I所述平滑处理后的骨骼数据中提取用户某个骨骼点在骨骼坐标系中轴上的值及其当前时间值。当用户做出一个与该骨骼点相关的肢体动作时，并利用匹配算法判断该动作是否与模板库中某个模板相匹配，若匹配成功，则执行与该模板对应的控制响应命令。
[0010]步骤3:建立与步骤2所述模板库中各模板相对应的命令响应函数，每个命令响应函数均与3D虚拟场景的切换或世界坐标变换相关。将所述命令响应函数应用于3D虚拟场景，达到与3D虚拟场景交互的目的。
[0011]步骤4:如附图3所示，采用3D虚拟摄像机对3D虚拟场景进行渲染而获取多幅视差图像，为充分利用GPU并行处理数据的能力，采用Pixel Shader (像素着色器)完成多次渲染叠加过程，即对视差图像进行调制，再由调制后的视差图像生成合成图像，最终，将合成图像输出至多视点自由立体显示器上实时显示。
[0012]本发明提出的基于Kinect体感设备的多视点自由立体交互系统，利用Kinect体感设备获取用户的骨骼数据，用户直接通过肢体动作控制多视点自由立体显示器中的3D虚拟场景，且实时观看由自己控制的立体画面。该系统提高了观看者与多视点自由立体显示系统的交互体验，解决了传统交互方式中用户手持或触摸交互设备而带来的不便。
【专利附图】
【附图说明】
[0013]附图1为本发明提出的基于Kinect体感设备的多视点自由立体交互系统示意图。
[0014]附图2为体感设备获取骨骼数据流程示意图。
[0015]附图3为实时渲染3D虚拟场景并生成合成图像示意图。
[0016]上述附图中的图示标号为:
I观看者，2 Kinect体感设备,3计算机,4多视点自由立体显示器,5 3D物体,6 3D虚拟摄像机，7视差图像，8调制后的视差图像，9合成图像。
[0017]应该理解上述附图只是示意性的，并没有按比例绘制。
【具体实施方式】
[0018]下面详细说明利用本发明一种基于体感技术的多视点自由立体交互系统的一个典型实施例，对本发明进行进一步的具体描述。有必要在此指出的是，以下实施例只用于本发明做进一步的说明，不能理解为对本发明保护范围的限制，该领域技术熟练人员根据上述本
【发明内容】
对本发明做出一些非本质的改进和调整，仍属于本发明的保护范围。
[0019]附图1为本发明的一种基于Kinect体感设备的多视点自由立体交互系统的示意图，该系统包括Kinect体感设备、计算机和多视点自由立体显示器。在本实施实例中Kinect体感设备型号为Kinect for Windows,计算机中的GPU米用NVIDIA GeForce GTX560，多视点自由立体显示器为21.5英寸的柱透镜光栅自由立体显示器，视点数为8，2D分辨率为1920 X 1080，光栅相对显示器的倾斜角度为arctan(-0.4330)。
[0020]在本实施实例中将Kinect体感设备置于多视点自由立体器的正下方，且与其底座位于同一高度。通过Kinect体感设备的马达调整其交互区域，保证用户的整个骨骼框架在交互区域范围内。限定用户的活动范围在Kinect体感设备的水平视角范围小于57.5°，垂直视角范围小于43.5°，与Kinect体感设备的距离在0.8米到4.0米之间。[0021]Kinect体感设备通过Kinect SDK (软件开发工具包)中相应API (应用程序接口)获取用户的骨骼信息，并将所述骨骼信息通过USB (通用串行总线)数据线传送至计算机，根据Kinect体感设备反馈的骨骼数据流中的追踪状态判断是否有用户被追踪到，如果有则从中提取用户的骨骼数据，采用霍尔特双指数平滑算法平衡化骨骼数据中的不规则点，否则退出本次追踪。
[0022]建立与人体常用肢体动作相关的模板库，每个模板对应于一个肢体动作，且每个模板与人体骨骼点在骨骼坐标系中H z轴上坐标值的变化轨迹、变化范围及持续时间相关，即模板与肢体动作存在时间域与空间域的对应关系。在本实施实例中，建立了 4个与常用手势相关的模板，包括向左横向移动右手、向右横向移动右手、向前纵向推动右手和左右挥动右手。由平滑处理后的骨骼数据中提取用户某个骨骼点在骨骼坐标系中轴上的值及其当前时间值，并分别保存在预定义的数组中。当用户做出一个与该骨骼点相关的肢体动作时，并利用匹配算法判断该动作是否与模板库中某个模板相匹配，若匹配成功，则执行与该模板对应的控制响应命令。以用户向左横向移动右手为例，其须满足四个匹配条件:第一，右手新一帧骨骼数据的z值都应大于前一帧骨骼数据的z值；第二，右手新一帧骨骼数据的值与前一帧骨骼数据的_7值的差值的绝对值在一个给定的范围内，这个范围设定为20厘米；第三,右手移动起始位置与停止位置之间的时间差在250毫秒和1500毫秒之间；第四，整个右手移动的距离在Z轴上至少有40厘米的长度。
[0023]建立模板库中各模板相对应的命令响应函数，每个命令响应函数均与3D虚拟场景的切换或世界坐标变换相关，其中包括3D物体的平移变换矩阵、旋转变换矩阵和缩放变换矩阵。将所述命令响应函数应用于3D虚拟场景，达到与3D虚拟场景交互的目的。以用户向左横向移动右手为例，该模板的命令响应函数为生成一个使3D物体绕轴旋转30°的世界变换矩阵，保存在预定义的矩阵变量中，并将得到的矩阵变量与原有的世界变换矩阵相乘。当Kinect体感设备识别到用户发出该动作，将相应地改变对应3D物体的状态。
[0024]在本实施实例中，采用一种离轴平行式的3D虚拟摄像机对3D虚拟场景进行渲染。设置视点数#为8，摄像机间距V为5毫米，零视差平面离摄像机距离/为400毫米，摄像机的水平视角为30°。将#个离轴摄像机按照等距离V平行排列后，各摄像机视野截锥体的光轴左边距离7和右边距离r按数学关系，
【权利要求】
1.一种基于Kinect体感设备的多视点自由立体交互系统，其特征在于，该系统包括Kinect体感设备、计算机和多视点自由立体显示器； 所述Kinect体感设备用于获取用户的骨骼信息，并将所述骨骼信息传送至计算机； 所述计算机用于根据所述Kinect体感设备反馈的骨骼信息判断用户做出的肢体动作，并转换为与3D虚拟场景交互的控制响应命令，计算机的显卡核心GPU (图形处理器)用于实时渲染3D虚拟场景而得到多幅视差图像，并利用GPU并行处理数据的能力快速生成合成图像； 所述多视点自由立体显示器用于显示生成的合成图像，使用户观看到3D虚拟场景的立体画面。
2.如权利要求1所述的一种基于Kinect体感设备的多视点自由立体交互系统，其特征在于其实现包括以下四个步骤: 步骤1:根据Kinect体感设备反馈的骨骼数据流中的追踪状态判断是否有用户被追踪至IJ，如果有则从中提取用户的骨骼数据，并采用平滑算法平衡化骨骼数据中的不规则点，否则退出本次追踪； 步骤2:建立与人体常用肢体动作相关的模板库，每个模板对应于一个肢体动作，且每个模板与人体骨骼点在骨骼坐标系中H z轴上坐标值的变化轨迹、变化范围及持续时间相关，即模板与肢体动作存在时间域与空间域的对应关系，由步骤I所述平滑处理后的骨骼数据中提取用户某个骨骼点在骨骼坐标系中z，_F，轴上的值及其当前时间值，当用户做出一个与该骨·骼点相关的肢体动作时，并利用匹配算法判断该动作是否与模板库中某个模板相匹配，若匹配成功，则执行与该模板对应的控制响应命令； 步骤3:建立与步骤2所述模板库中各模板相对应的命令响应函数，每个命令响应函数均与3D虚拟场景的切换或世界坐标变换相关，将所述命令响应函数应用于3D虚拟场景，达到与3D虚拟场景交互的目的； 步骤4:采用3D虚拟摄像机对3D虚拟场景进行渲染而获取多幅视差图像，为充分利用GI3U并行处理数据的能力，采用Pixel Shader (像素着色器)完成多次渲染叠加过程，即对视差图像进行调制，再由调制后的视差图像生成合成图像，最终，将合成图像输出至多视点自由立体显示器上实时显示。
【文档编号】G06T15/00GK103440677SQ201310323324
【公开日】2013年12月11日 申请日期:2013年7月30日 优先权日:2013年7月30日
【发明者】王琼华, 李述利, 张 杰, 刘军, 邓欢 申请人:四川大学