一种三维交互式投影成像方法【专利摘要】本发明涉及一种三维交互式投影成像方法。首先，建立三维模型；通过体感设备实时采集用户特定动作及行为，以控制所建立的三维模型进行相应的变化；其次，实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N＞1；最后，通过影像输出设备，实时的将分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。本发明通过体感设备捕捉人体特定动作及行为（诸如手掌、手指或其他肢体动作的不同变化）来实现人与虚拟场景的相交互，且其投影方式为通过光学折射和衍射在透明介质中合成3D影像。【专利说明】一种三维交互式投影成像方法【
技术领域：
】[0001]本发明涉及一种三维交互式投影成像方法。【
背景技术：
】[0002]传统的三维成像都是在显示屏等显示设备中实现，同时其实现人体与虚拟场景的交互需要采用鼠标及键盘等传统输入设备，对于全息投影一般也只是停留在幻想阶段。[0003]而本发明通过体感设备捕捉人体特定动作及行为(诸如手掌、手指或其他肢体动作的不同变化）来实现人与虚拟场景的相交互，且其投影方式为通过光学折射和衍射在透明介质中合成3D影像。【
发明内容】[0004]本发明的目的在于提供一种能够实现人体动作与虚拟场景相交互的三维交互式投影成像方法。[0005]为实现上述目的，本发明的技术方案是：一种三维交互式投影成像方法，包括如下步骤，步骤S01:建立三维模型；步骤S02:通过体感设备实时采集用户特定动作及行为，以控制所述步骤S01所建立的三维模型进行相应的变化；步骤S03:实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N>1;步骤S04:通过影像输出设备，实时的将步骤S03分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。[0006]在本发明实施例中，所述用户特定动作及行为为用户手势信息，所述用户手势信息包括手掌、手指及手持工具的状态信息。[0007]在本发明实施例中，所述步骤S02至S03,具体实现过程为：步骤S21:给所述体感设备采集的所有手掌、手指及手持工具均分配一个唯一标识，并形成每一帧的数据，所述每一帧数据包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步骤S22:根据所述步骤S21所得的每一帧数据，生成运动信息，该运动信息包括旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子、平移向量、手掌中心位置、手掌移动的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的长度、宽度、方向、指尖位置和指尖速度；步骤S23:根据所述步骤S22的运动信息控制所述步骤S01的三维模型进行相应的变化，步骤S24:将所述步骤S23变化后的三维模型分解为N个二维面，同时保证重组后的N个二维面同时联动。[0008]在本发明实施例中，所述N为2。[0009]在本发明实施例中，所述N为4。[0010]在本发明实施例中，所述体感设备包括LeapMotion体感传感器和Kinect摄像机。[0011]在本发明实施例中，所述透明介质包括玻璃、亚克力板、全息投影薄膜、水雾以及水雾混合物。[0012]在本发明实施例中，所述影像输出设备包括显示器及投影机。[0013]相较于现有技术，本发明具有以下有益效果：本发明通过体感设备捕捉人体特定动作及行为(诸如手掌、手指或其他肢体动作的不同变化）来实现人与虚拟场景的相交互，且其投影方式为通过光学折射和衍射在透明介质中合成3D影像。【专利附图】【附图说明】[0014]图1为本发明三维交互式投影成像原理图。[0015]图2为本发明手掌的法向量和方向图。[0016]图3为本发明手掌球的圆心和半径示意图。[0017]图4为本发明手持工具示意图。[0018]图5为本发明手指方向和指尖位置不意图。【具体实施方式】[0019]下面结合附图，对本发明的技术方案进行具体说明。[0020]如图1所示，本发明的一种三维交互式投影成像方法，包括如下步骤，步骤S01:建立三维模型；步骤S02:通过体感设备实时采集用户特定动作及行为，以控制所述步骤S01所建立的三维模型进行相应的变化；步骤S03:实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N>1;步骤S04:通过影像输出设备，实时的将步骤S03分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。[0021]所述用户特定动作及行为为用户手势信息，所述用户手势信息包括手掌、手指及手持工具的状态信息。[0022]所述步骤S02至S03,具体实现过程为：步骤S21:给所述体感设备采集的所有手掌、手指及手持工具均分配一个唯一标识，并形成每一帧的数据，所述每一帧数据包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步骤S22:根据所述步骤S21所得的每一帧数据，生成运动信息，该运动信息包括旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子、平移向量、手掌中心位置、手掌移动的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的长度、宽度、方向、指尖位置和指尖速度；步骤S23:根据所述步骤S22的运动信息控制所述步骤S01的三维模型进行相应的变化，步骤S24:将所述步骤S23变化后的三维模型分解为N个二维面，同时保证重组后的N个二维面同时联动。[0023]所述体感设备包括LeapMotion体感传感器和Kinect摄像机以及其他体感设备等。[0024]所述透明介质包括玻璃、亚克力板、全息投影薄膜、水雾以及水雾混合物等其他透明介质。[0025]所述影像输出设备包括显示器及投影机等其他影像输出设备。[0026]以下为本发明的具体实施例。[0027]本发明的三维交互式投影成像方法，即透明介质的三维空气成像原理如下：通过软件编程，将设计好的三维CAD文件分别投影到屏幕的若干个面（1-4个面)，结合体感传感器的软件接口编程，使得若干个面的影像同时联动。分别控制联动的4个面的影像通过影像输出设备（如显示器、投影机等）分别输出到透明介质上，再通过折射和衍射到角度为45度的若干个面透明介质表面，从而合成出整个可触摸控制的3D虚拟影像。让人可以从全方位观察并控制3D影像，而无需任何辅助控制设备，也无需佩戴任何观看设备。[0028]本实施例中采用LeapMotion传感器，根据该传感器内置的两个摄像头从不同角度捕捉的画面，重建出手掌在真实世界三维空间的运动信息。[0029]具体即，通过LeapMotion传感器会定期的发送关于手的状态信息，每份这样的信息称为「帧」（frame)。每一个这样的帧包含检测到的；?所有手掌的列表及信息；?所有手指的列表及信息；?手持工具(细的、笔直的、比手指长的东西，例如一枝笔）的列表及信息；?所有可指向对象（PointableObject)，即所有手指和工具的列表及信息；LeapMotion传感器会给所有这些分配一个唯一标识（ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的。根据这些ID，可以查询每个运动对象的信息。[0030]根据每帧和前帧检测到的数据，生成运动信息。例如，若检测到两只手，并且两只手都超一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转。若两只手靠近或分开，则记为缩放。所生成的数据包含：?旋转的轴向矢量；?旋转的角度(顺时针为正）；?描述旋转的矩阵；?缩放因子；?平移矢量；如图2-3所示，对于每只手，可以检测到如下信息：?手掌中心的位置(三维矢量，相对于传感器坐标原点，毫米为单位）；?手掌移动的速度(毫米每秒）；?手掌的法矢量(垂直于手掌平面，从手心指向外）；?手掌朝向的方向；?根据手掌弯曲的弧度确定的虚拟球体的中心；?根据手掌弯曲的弧度确定的虚拟球体的半径；对于每个手掌，亦可检测出平移、旋转(如转动手腕带动手掌转动)、缩放(如手指分开、聚合）的信息。检测的数据如全局变换一样，包括：?旋转的轴向矢量；?旋转的角度(顺时针为正）；?描述旋转的矩阵；?缩放因子；?平移矢量；LeapMotion除了可以检测手指外，也可以检测手持的工具。像上文所说的，就是细的、笔直的、比手指长的物件。[0031]如图4-5所示，对于手指和工具，会统一地称为可指向对象（PointableObject,每个PointableObject包含了这些信息：?长度；?宽度；?方向；?指尖位置；?指尖速度。[0032]根据全局的信息、运动变换，手掌、手指和工具的信息和变换，将设计好的三维CAD文件通过体感传感器的软件接口编程，使得若干个面的影像同时联动，并分别控制联动的4个面的影像通过影像输出设备（如显示器、投影机等）分别输出到透明介质上，再通过折射和衍射到角度为45度的若干个面透明介质表面，从而合成出整个可触摸控制的3D虚拟影像。[0033]三维透明介质的选择：目前可以选择的透明介质有玻璃，亚克力板、全息投影薄膜；另一种透明介质是水雾或者水雾与微小粒子合成的尘埃装水雾，即通过雾化装置产生的高浓度水雾或者水雾混合体喷射出一面雾化的透明空气介质。[〇〇34]以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。【权利要求】1.一种三维交互式投影成像方法，其特征在于：包括如下步骤，步骤SOI:建立三维模型；步骤S02:通过体感设备实时采集用户特定动作及行为，以控制所述步骤S01所建立的三维模型进行相应的变化；步骤S03:实时将所述步骤S02变化后的三维模型分解为N个二维面，其中，N为自然数，且N>1;步骤S04:通过影像输出设备，实时的将步骤S03分解后的N个二维面分别投影到折射和衍射成角度的各透明介质上，实时变化的三维虚拟影像。2.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述用户特定动作及行为为用户手势信息，所述用户手势信息包括手掌、手指及手持工具的状态信息。3.根据权利要求2所述的一种三维交互式投影成像方法，其特征在于：所述步骤S02至S03,具体实现过程为：步骤S21:给所述体感设备采集的所有手掌、手指及手持工具均分配一个唯一标识，并形成每一帧的数据，所述每一帧数据包括所有手掌的列表及信息、所有手指的列表及信息和手持工具的列表及信息；步骤S22:根据所述步骤S21所得的每一帧数据，生成运动信息，该运动信息包括旋转的轴向向量、旋转的角度、描述旋转的矩阵、缩放因子、平移向量、手掌中心位置、手掌移动的速度、手掌的法向量、手掌朝向的方向、手指及手持工具的长度、宽度、方向、指尖位置和指尖速度；步骤S23:根据所述步骤S22的运动信息控制所述步骤S01的三维模型进行相应的变化，步骤S24:将所述步骤S23变化后的三维模型分解为N个二维面，同时保证重组后的N个二维面同时联动。4.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述N为2。5.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述N为4。6.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述体感设备包括LeapMotion体感传感器和Kinect摄像机。7.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述透明介质包括玻璃、亚克力板、全息投影薄膜、水雾以及水雾混合物。8.根据权利要求1所述的一种三维交互式投影成像方法，其特征在于：所述影像输出设备包括显示器及投影机。【文档编号】G03B35/18GK104090465SQ201410268953【公开日】2014年10月8日申请日期:2014年6月17日优先权日:2014年6月17日【发明者】陈强申请人:福建水立方三维数字科技有限公司