一种三维场景重建的方法与装置与流程

本发明涉及一种三维场景重建的方法与装置，尤其是一种应用于虚拟现实、增强现实或混合现实的三维场景重建的方法与装置。

背景技术

虚拟现实(virtualreality，vr)技术是利用电脑模拟产生一个三维空间的虚拟世界，通过头戴显示设备(headmounteddisplay，hmd)提供给用户关于视觉等感官的模拟，让用户仿佛身临其境，由于其逼真的效果，被广泛应用于教育、医学、交通等领域，引起越来越多的关注。

增强现实(augmentedreality，ar)，是一种实时地计算头戴显示设备位置及角度并增加待显示图像的技术，此项技术可以在头戴显示设备屏幕上将虚拟世界与现实世界融合并实现交互。

混合现实(mixedreality，mr)指的是结合真实和虚拟世界创造了新的环境和可视化，物理实体和数字对象共存并能实时相互作用，以用来模拟真实物体。

三维场景重建(3dreconstruction)技术是指通过计算机视觉和计算机绘图重现真实物体形状与姿态的过程。为了使虚拟现实、增强现实和混合现实场景更加逼真或需要将现实场景投射入虚拟现实、增强现实和混合现实场景中，需要精确、高效的三维场景重建技术。

现有技术中三维场景重建常采用彩色图像重建方法或深度图像重建方法，随着技术的发展，出现了将二者结合的图像-深度信息的3d重建算法，比如rgb-dslam(simultaneouslocalizationandmapping)等算法，需要同时计算图像-深度传感器的姿态和待重建场景，场景重建的准确性直接受到传感器姿态估计结果的影响；也有些方法在slam算法基础上加入了imu(惯性测量单元)，用以辅助图像-深度传感器的姿态估计，imu可以提供图像-深度传感器的角速度和加速度信息，经过积分之后便可以得到图像-深度传感器的旋转角度和移动距离，然而由于惯性传感器本身的测量误差，使得其获得的角速度与加速度信息也存在误差，特别是移动距离，往往和实际位移存在较大偏差，从而使重建场景和实际场景存在偏差，同时还可能存在缩放比例(scaling)上的差异，比如单目slam算法(monocularslam)。

在实际应用中，现有技术需要同时计算图像-深度传感器的姿态和待重建场景，因此存在复杂度高和稳定性差的问题，例如基于图像的算法要求待重建场景中有足够的特征点，对于缺乏特征点的场景(白色墙面等)，效果较差；基于深度传感器的算法要求传感器的运动不能过于剧烈；基于多传感器融合的算法，计算复杂度较高。

为了解决上述问题，本发明设计了一种三维场景重建的方法与装置，用于解决室内环境中，有限范围内的场景重建，利用高精度的外部定位方式，配合图像-深度传感器的imu定位信息，能够更快更稳定地重建3d场景，同时解决重建场景和实际场景缩放比例(scaling)上的偏差。

技术实现要素：

本发明目的是：本发明设计了一种三维场景重建的方法与装置，用于完成室内环境中，有限范围内的场景重建，解决重建场景和实际场景缩放比例(scaling)的偏差，保证重建3d场景的实时性与稳定性。

本发明的技术方案是：设计一种三维场景重建的方法与装置，利用高精度的外部定位方式，所述外部定位方式包括但不限于激光扫描方式(lighthouse)、摄像头定位方式，配合头戴显示设备的imu定位信息以及图像-深度传感器，用于完成室内环境中有限范围内的场景重建；

具体三维场景重建方法技术路线如下：

1.根据外部定位方式和头戴显示设备上的惯性测量模块计算头戴显示设备的姿态，包括在待重建空间中的位置和朝向。

2.图像-深度传感器获取待重建场景的深度图像和彩色图像。

3.标定头戴显示设备和图像-深度传感器之间的相对位置：通过拍摄标定工具的图像，比如棋盘格，重建出图像-深度传感器的运动轨迹；再将其与同一时间段内头戴显示设备的定位姿态轨迹进行对比，可获得两者之间的相对位置；

即phmd＝tpcamera，其中phmd表示头戴显示设备的姿态，pcamera表示相机的姿态，t表示两者之间的转换算法。

4.预处理深度图像：对深度图像进行去畸变，降噪等处理，然后将深度图像从相机坐标系转换到头戴显示设备的坐标系。

5.通过头戴显示设备的定位信息，将深度图像逐帧融合起来，结合彩色图像重建出三维场景。

本发明技术方案中具体三维场景重建装置结构如下：

1.外部定位单元，用于采集虚拟现实、增强现实和混合现实头戴显示设备姿态信息。

2.imu惯性测量单元，用于辅助估算虚拟现实、增强现实和混合现实头戴显示设备的姿态。

3.图像-深度传感器单元，用于采集彩色和深度图像数据。

4.计算分析单元，用于计算彩色和深度图像数据，完成三维重建。

与现有技术相比，本发明技术方案创新点在于：

1.创新的引入外部定位方式来定位虚拟现实、增强现实和混合现实头戴显示设备，结合imu惯性测量单元所采集的姿态信息，判断图像-深度传感器设备姿态信息，保证了三维重建的精确度与准确度；

2.采用相机姿态和头戴显示设备姿态联合标定算法(hmd-camerajointcalibration)，精确标定虚拟现实、增强现实和混合现实头戴显示设备与图像-深度传感器的相对位置；

3.创新的采用头戴显示设备的定位信息，提高了三维场景重建的效率，可以根据用户所处的现实环境，实时重建虚拟现实、增强现实和混合现实场景，增强虚拟现实、增强现实和混合现实的沉浸感，并且帮助用户实时避障。

与现有技术相比，本发明技术方案具有以下有益效果：本发明方案结合了图像-深度传感器重建的优势，根据高精度的外部定位，准确获得虚拟现实、增强现实和混合现实设备的姿态信息，以校正虚拟现实、增强现实和混合现实设备自带imu所采集的姿态信息，来实现三维场景重建，本发明方案弥补了基于深度图的定位方案的不足，可获取精确的图像-深度传感器姿态，提高三维重建质量，保证了三维场景重建过程的稳定性和实时性。

附图说明

图1为本发明技术方案三维场景重建方法流程图；

图2为本发明技术方案三维场景重建装置结构示意图；

具体实施方式

如背景技术中所述，现有技术的三维场景重建方法存在复杂度高和稳定性差等问题。

在本发明方案中，设计了一种三维场景重建的方法与装置，利用高精度的外部定位方式，配合图像-深度传感器的imu定位信息，完成室内环境中有限范围内的场景重建。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1为本发明技术方案三维场景重建方法流程图；

具体三维场景重建方法步骤如下：

步骤101：标定虚拟现实、增强现实或混合现实头戴显示设备与图像-深度传感器的相对位置；

所述相对位置的标定是指建立头戴显示设备姿态信息与图像-深度传感器姿态之间的数学模型关系，本实施例中采用相机姿态和头戴显示设备姿态联合标定算法(hmd-camerajointcalibration)；

步骤102：图像-深度传感器获取待重建场景的深度图像和彩色图像；

步骤103：根据外部定位方式和imu所采集的信息计算图像-深度传感器姿态；

所述外部定位方式用于采集头戴显示设备运动图像，通过定位算法可得到头戴显示设备姿态信息，从而根据步骤101所建立的数学模型关系，计算出图像-深度传感器姿态信息；

步骤104：计算各帧图像的深度信息；

所述图像的深度信息由图像-深度传感器采集得到，深度传感器因其测量原理的不同，可以分为tof(timeofflight)摄像头、激光扫描测距仪、结构光深度测量传感器等；

步骤105：综合深度信息与彩色图像信息，重建3d场景。

通过算法，计算定位摄像头获得的虚拟现实、增强现实和混合现实头戴显示设备的运动图像，结合imu惯性测量单元测得的设备姿态信息，计算图像-深度传感器姿态；

得到所述图像-深度传感器姿态信息后，结合其所采集到的深度图像和彩色图像，进行三维场景重建。

图2为本发明技术方案三维场景重建装置结构示意图；

图2所示的三维场景重建装置可以包括：外部定位单元201、头戴显示设备单元202和计算分析单元205；

所述虚拟现实头戴显示设备202可以包括：imu惯性测量单元203、图像-深度传感器单元204。

其中，外部定位单元201用于采集头戴显示设备单元202姿态信息；所述虚拟现实、增强现实和混合现实头戴显示设备单元202中带有imu惯性测量单元203，单元203可以实时采集单元202的运动角速度和加速度信息，再根据标定后的单元202与图像-深度传感器单元204的相对位置信息，由计算分析单元205计算并分析单元204采集到的深度图像与彩色图像，从而进行三维场景重建。

所述外部定位单元包括但不限于扫描灯塔(lighthouse)、定位摄像头等装置。

具体而言，本发明方案所公开的虚拟现实、增强现实和混合现实设备包括但不限于虚拟现实、增强现实和混合现实头戴显示设备与操作控制设备；

以上所述，仅为本发明具体实施方式。本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求所界定的保护范围为准。