一种基于体感交互的产品展示方法及系统与流程

本发明涉及虚拟现实展示技术领域，尤其涉及一种基于体感交互的产品展示方法及系统。

背景技术：

企业通常需要将产品展示出来，才能让更多的人了解该产品。目前，产品大多通过图片和视频等二维方式进行展示，或者直接展示实物。但是，一方面，通过图片和视频等二维方式获取到的产品信息往往不够全面，并且缺乏沉浸感和体验感；另一方面，一些大型设备和有毒有害产品不便于直接展示实物，人们无法通过接触到实物以获取产品信息。

技术实现要素：

针对上述现有技术的不足，本发明提供一种基于体感交互的产品展示方法及系统。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明实施例提供了一种基于体感交互的产品展示方法，所述方法包括：

步骤1，获取产品的特征数据。

步骤2，根据所述特征数据进行建模，获得所述产品的三维模型，并输出所述三维模型进行显示。

步骤3，获取用户的手势信息。

步骤4，将所述手势信息与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。

步骤5，根据所述控制指令控制所述三维模型执行相应的动作。

第二方面，一种基于体感交互的产品展示系统，所述系统包括：

第一获取模块，获取产品的特征数据。

建模模块，根据所述特征数据进行建模，获得所述产品的三维模型，并输出所述三维模型进行显示。

第二获取模块，获取用户的手势信息。

匹配模块，将所述手势信息与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。

控制模块，根据所述控制指令控制所述三维模型执行相应的动作。

本发明的一种基于体感交互的产品展示方法及系统的有益效果是：特征数据可包括点云数据，可通过kinect摄像头等扫描目标产品获得该点云数据，点云数据用于表示目标物体上所有点的三维坐标和颜色，根据点云数据进行建模，就能获得目标产品的三维模型，三维模型可显示在屏幕上，也可采用全息投影的方法进行显示。采用模板匹配的方法对用户的手势信息进行匹配，计算简单、易于实现，能够快速确定与手势信息对应的控制指令，根据该控制指令就可控制三维模型执行相应的动作，可通过软件编程实现控制三维模型执行相应动作的过程。对目标产品进行三维建模，并采用体感交互技术进行交互式展示，能够使用户多方位的获取产品信息，更直观的了解目标产品，提高了获取产品信息时的沉浸感和体验感，并且能够更深入地了解那些不便于接触到实物的产品，例如文物等贵重物品和其它有毒有害产品。

附图说明

图1为本发明实施例的一种基于体感交互的产品展示方法的流程示意图；

图2为本发明实施例的一种基于体感交互的产品展示系统的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供的一种基于体感交互的产品展示方法，所述方法包括：

步骤1，获取产品的特征数据。

步骤2，根据所述特征数据进行建模，获得所述产品的三维模型，并输出所述三维模型进行显示。

步骤3，获取用户的手势信息。

步骤4，将所述手势信息与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。

步骤5，根据所述控制指令控制所述三维模型执行相应的动作。

本实施例中，特征数据可包括点云数据，可通过kinect摄像头等扫描目标产品获得该点云数据，点云数据用于表示目标物体上所有点的三维坐标和颜色，根据点云数据进行建模，就能获得目标产品的三维模型，三维模型可显示在屏幕上，也可采用全息投影的方法进行显示。采用模板匹配的方法对用户的手势信息进行匹配，计算简单、易于实现，能够快速确定与手势信息对应的控制指令，根据该控制指令就可控制三维模型执行相应的动作，可通过软件编程实现控制三维模型执行相应动作的过程。对目标产品进行三维建模，并采用体感交互技术进行交互式展示，能够使用户多方位的获取产品信息，更直观的了解目标产品，提高了获取产品信息时的沉浸感和体验感，并且能够更深入地了解那些不便于接触到实物的产品，例如文物等贵重物品和其它有毒有害产品。

优选地，所述特征数据包括点云数据，所述步骤1的具体包括：

步骤1.1，获取产品的深度图和rgb图，对所述深度图和所述rgb图进行配准，建立所述rgb图到所述深度图的对应关系。

步骤1.2，对所述深度图进行坐标转换，获得初始点云数据。

步骤1.3，根据所述对应关系，将所述rgb图中的颜色信息添加到所述初始点云数据中，获得所述点云数据。

具体地，可通过kinect获取目标物体的深度图和rgb图，深度图用于表示目标产品的三维信息，深度图中的每个像素值代表目标产品上对应点到相机平面的距离，rgb图用于表示目标产品的颜色，kinect为一款3d体感设备，集合了实时动作捕捉、影像和语音识别、麦克风输入等功能，主要包括一个红外发射器、一个rgb摄像头和一个红外摄像头，其内部还内置有用于语音识别的阵列麦克风系统。红外发射器用于发射红外光，红外摄像头用于接收红外发射器发射的红外光，经过ps1080芯片处理后得到深度图，rgb摄像头用于拍摄rgb图，阵列麦克风系统采用四元线性麦克风阵列技术，通过阵列接听声音的时间差来定位声源。可采用kinect中的mapcolorcoordinatestodepth()函数和mapdepthcoordinatestocolor()函数实现深度图和rgb图的配准，根据相机标定原理，将深度图中的点的坐标转换成在世界坐标系上的坐标，就获得了初始点云数据。通过对深度图和rgb图进行处理，获得点云数据，计算量少、运算速度快，能够获得准确的点云数据。

优选地，所述步骤2的具体包括：

步骤2.1，采用随机取样的方法对所述点云数据进行去噪和精简，获得预处理点云数据。

步骤2.2，基于层次化的紧支撑径向基函数，根据所述预处理点云数据进行曲面拟合，获得所述三维模型。

具体地，进行曲面拟合时如果点云点数太多会影响效率，因此采用随机采样的方法对点云数据进行去噪和精简，删除冗余的点，随机采样就是从总体单位中抽取部分单位作为样本进行调查，径向基函数是关于中心点径向对称的函数，可分为紧支撑和非紧支撑径向基函数，其中，紧支撑径向基函数的差值矩阵是一个对角占优的稀疏矩阵，只影响其支撑范围内的点，矩阵的存储和求解的复杂度较小，有利于大数据量的重建工作。可采用3dsmax建模软件进行建模，并可将建立的三维模型导入到unity3d虚拟现实平台中进行显示。

优选地，所述步骤3的具体实现为：

通过kinect摄像头对用户进行骨骼追踪，获得多张不同的骨骼图像，根据多张所述骨骼图像中骨骼的相对位置确定所述手势信息。

具体地，可采用kinect获取用户的深度图，通过kinect中的e.openskeletonframe()函数开启kinect骨骼数据流，通过skeleton对象的trackingstate属性判断摄像头的有效视角场内是否有人体骨骼，通过polylinecreatefigure()函数将追踪到的骨骼绘制成多张不同骨骼图像，对比多张骨骼图像中手的相对位置，获得手势信息。例如：手判定为向左移动时，三维图像向左翻转；手判定为向右移动时，三维图像向右翻转；手判定为向上移动时，三维图像向上翻转；手判定为向下移动时，三维图像乡下翻转。

优选地，还包括如下步骤：

通过unity3d虚拟现实平台显示所述三维模型。

具体地，通过kinectforwindowssdk2.0和unity3d编程用户交互界面和其它功能组件，实现控制指令控制三维模型执行相应的动作的过程，进而实现手势信息与展示系统进行智能交互的过程。

如图2所示，本发明实施例提供的一种基于体感交互的产品展示系统，所述系统包括：

第一获取模块，获取产品的特征数据。

建模模块，根据所述特征数据进行建模，获得所述产品的三维模型，并输出所述三维模型进行显示。

第二获取模块，获取用户的手势信息。

匹配模块，将所述手势信息与数据库中的手势模板进行匹配，所述数据库中包括多个不同的手势模板以及与所述手势模板一一对应的控制指令，根据匹配结果，获得所述控制指令。

控制模块，根据所述控制指令控制所述三维模型执行相应的动作。

优选地，所述特征数据包括点云数据，所述第一获取模块具体用于：

获取产品的深度图和rgb图，对所述深度图和所述rgb图进行配准，建立所述rgb图到所述深度图的对应关系。

对所述深度图进行坐标转换，获得初始点云数据。

根据所述对应关系，将所述rgb图中的颜色信息添加到所述初始点云数据中，获得所述点云数据。

优选地，所述建模模块具体用于：

采用随机取样的方法对所述点云数据进行去噪和精简，获得预处理点云数据。

基于层次化的紧支撑径向基函数，根据所述预处理点云数据进行曲面拟合，获得所述三维模型。

优选地，所述第二获取模块具体用于：

通过kinect摄像头对用户进行骨骼追踪，获得多张不同的骨骼图像，根据多张所述骨骼图像中骨骼的相对位置确定所述手势信息。

优选地，还包括显示模块，所述显示模块具体用于：

通过unity3d虚拟现实平台显示所述三维模型。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。