三维场景重建方法及系统与流程

本发明涉及计算机视觉和计算机图形学技术领域，尤其涉及一种三维场景重建方法及系统。

背景技术：

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图象坐标系与世界坐标系的关系。然后利用多个二维图象中的信息重建出三维信息。物体三维重建是cagd(computeraidedgeometricdesign，计算机辅助几何设计)、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。

无论是物体的高精度三维重建还是场景的高精度三维重建均是混合现实应用和下一代机器人技术中的关键组成部分。而三维重建过程中一般会用到相机进行实景拍摄，尤其在三维场景重建时，消费级彩色-深度相机更是得到广泛应用，其为大量用户访问已扫描三维模型提供了很大便利，同时也带动了彩色-深度扫描和三维重建系统研究的再次兴起。但现有技术中的三维重建系统一般都是基于消费级彩色-深度传感器提供的数据流，采用立体栅格化的隐式场景几何表示方法，即tsdf(truncatedsigneddistancefunction，截断符号距离函数)，进行三维场景重建，这种场景表示方法对快速的相机位姿跟踪和帧数据融合很有帮助。

但是消费级传感器获取到的深度数据总是含有大量的噪声，大量噪声的输入会使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。尤其在大型三维场景重建时，大量噪声的输入还会使得相机位姿跟踪的结果不可用，并恶化漂移误差，降低系统的鲁棒性。

技术实现要素：

针对背景技术中现有技术存在的缺陷，本发明提供了一种三维场景重建方法及系统。

第一方面，本发明提供的一种三维场景重建方法，该方法包括：

逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述当前图像帧中每个所述深度数据点的总体不确定度；

基于所述当前图像帧中每个所述深度数据点的所述总体不确定度，对所述当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到所述当前图像帧与所述场景子图的第一图像帧之间的相机位姿变化值；

若所述相机位姿变化值在设定阈值内，则将所述当前图像帧与对应场景子图进行深度数据点融合，得到融合后的场景子图；

将所有场景子图进行融合，得到重建后的三维场景图。

第二方面，本发明提供的一种三维场景重建系统，该系统包括：

第一处理模块，用于逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述当前图像帧中每个所述深度数据点的总体不确定度；

第二处理模块，用于基于所述当前图像帧中每个所述深度数据点的所述总体不确定度，对所述当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到所述当前图像帧与所述场景子图的第一图像帧之间的相机位姿变化值；

第三处理模块，用于若所述相机位姿变化值在设定阈值内，则将所述当前图像帧与对应场景子图进行深度数据点融合，得到融合后的场景子图；

第四处理模块，用于将所有场景子图进行融合，得到重建后的三维场景图。

本发明实施例提供的三维场景重建方法及系统采用每个深度数据测量点处局部时间邻域内的数据分布，在线估计每个深度数据点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，以提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，并通过融合经过噪声处理后的场景子图得到重建后的三维场景图。

附图说明

图1为本发明实施例提供的三维场景重建方法流程示意图；

图2为本发明实施例提供的三维场景重建方法中的场景子图融合为三维场景图的流程示意图；

图3为本发明实施例提供的三维场景重建系统结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。尤其三维场景图的重建在计算机图像处理领域有非常重要的应用。

而现有技术中，三维场景图的重建一般基于消费级彩色-深度相机对实景进行拍照，然后通过计算机对图像进行处理，进行三维场景图的重建。但相机中的消费级传感器获取的深度图像中的深度数据会有大量的噪声，从而使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。大型三维场景重建时，大量噪声的输入还会使得相机位姿跟踪的结果不可用，并恶化漂移误差，降低系统的鲁棒性。

因此，在三维场景图重建时，如何有效的去除噪声，提高系统的鲁棒性，成了三维场景重建亟待解决的问题。

为了解决上述三维场景图重建时，噪声有效去除的技术问题，进一步提高系统鲁棒性，本发明实施例提供了一种三维场景重建方法，结合每个深度数据测量点处局部时间邻域内的数据分布，在线估计逐点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，以提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性；图1为本发明实施例提供的三维场景重建方法流程示意图，如图1所示，该方法包括：

步骤10、逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到当前图像帧中每个深度数据点的总体不确定度；

步骤11、基于当前图像帧中每个深度数据点的总体不确定度，对当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到当前图像帧与场景子图的第一图像帧之间的相机位姿变化值；

步骤12、若相机位姿变化值在设定阈值内，则将当前图像帧与对应场景子图进行深度数据点融合，得到融合后的场景子图；

步骤13、将所有场景子图进行融合，得到重建后的三维场景图。

具体地，上述本发明实施例提供的三维场景重建方法具体为逐帧读取消费级彩色-深度相机捕获到的带有噪声的图像帧，通过深度数据处理得到当前图像帧中每个深度数据点的表面采样不确定度以及测量不确定度，融合每个深度数据点的表面采样不确定度和测量不确定度得到每个深度数据点的总体不确定度，然后通过该总体不确定度引导不同图像帧之间深度数据整合，提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，即通过当前图像帧中每个深度数据点的总体不确定度，对当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到当前图像帧与场景子图的第一图像帧之间的相机位姿变化值，并将得到的当前图像帧与场景子图的第一图像帧之间的相机位姿变化值与设定阈值进行比较，如果上述相机位姿变化值在设定阈值内，说明该当前图像帧可以用来与该第一图像帧对应的场景子图进行融合，得到融合了上述当前图像帧的场景子图；最后将所有场景子图进行融合，得到重建后的三维场景图。

本发明实施例提供的三维场景重建方法采用每个深度数据测量点处局部时间邻域内的数据分布，在线估计每个深度数据点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，在保持物体几何细节的同时有效减少噪声，以提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，并通过融合经过噪声处理后的场景子图得到重建后的三维场景图。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法中的基于当前图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到当前图像帧中每个深度数据点的总体不确定度，具体包括：

对当前图像帧中每个深度数据点以及每个深度数据点相对应的领域点进行主成分分析，建立相应的局部坐标系以及协方差矩阵，根据深度数据点的坐标以及协方差矩阵获得深度数据点的表面采样不确定度；基于icp(iterativeclosestpoint，迭代最近点)算法对当前图像帧与前后连续多个图像帧进行局部相对变换，得到当前图像帧的深度方差图，并基于深度方差图得到当前图像帧中每个深度数据点的测量不确定度。

具体地，获取上述当前图像帧中每个深度数据点的表面采样不确定度的具体过程为：输入彩色-深度图像，使用相机内参反投影后获得三维深度数据点，通过对每个深度数据及其时间领域点进行主成分分析，根据其邻域点的空间分布情况估计三维正态概率分布，以表示该深度数据表面采样不确定度；

具体地，获取上述当前图像帧中每个深度数据点测量不确定度的具体过程为：基于icp(iterativeclosestpoint，迭代最近点)算法对当前图像帧与前后连续多个图像帧进行局部相对变换，即获得当前图像帧与前后连续多个图像帧中任一图像帧之间的相机位姿变换矩阵，通过当前图像帧与其他图像帧之间的相机位姿变换进行这两帧图像对准，将其他各图像帧的深度数据重投影至当前图像帧，并统计对应位置的深度数据，并通过方差计算，获得当前图像帧中每个深度数据点的深度方差，从而形成深度方差图，并根据该深度方差图得到当前图像帧中每个深度数据点的测量不确定度，其中，每个深度数据点测量不确定度的获得可通过每个深度数据点的方差估计其正态分布，从而获得每个深度数据点的测量不确定度。

然后通过深度数据点的表面采样不确定度和测量不确定度，获得总体不确定度，该总体不确定度可为高斯正态分布，并构建相对应的模型，总体不确定模型为其中，为各深度数据点表面采样不确定度构建的表面采样不确定度模型，为各深度数据点测量不确定度构建的测量不确定度模型，φ^surf以及φ^meas均为混合权重，混合权重均为0.5；μnk为高斯分布的均值，为表面采样不确定度的高斯分布协方差矩阵，为测量不确定度的高斯分布协方差矩阵，从而实现通过总体不确定对数据噪声进行建模和处理，提高系统对噪声的鲁棒性。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法在基于深度方差图得到当前图像帧中每个深度数据点的测量不确定度后，还包括：

获取当前图像帧与前后连续多个图像帧的深度中值图，并根据深度中值图中的深度中值对当前图像帧的深度数据点进行中值滤波。即本发明实施例提供的三维场景重建方法在获得当前图像帧中每个深度数据点的测量不确定度后，还通过当前图像帧与其他各图像帧相对应的相机位姿变换，进行图像帧之间的图像对准，并计算获得这些图像帧中深度数据的深度中值，从而形成当前图像帧与前后连续多个图像帧的深度中值图，并通过该深度中值图中的深度中值对当前图像帧中的深度数据进行中值滤波，有效去除当前图像帧中深度数据的噪声，提高提高系统的鲁棒性。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法还包括：

若相机位姿变化值不在设定阈值内，则基于当前图像帧新建一个场景子图。即本发明实施例提供的三维场景重建方法获得当前图像帧与场景子图的第一图像帧之间的相机位姿变化值与设定阈值进行比较，该相机位姿变化值超出了设定阈值，则基于当前图像帧新建一个融合该当前图像帧的场景子图。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法中的将所有场景子图进行融合，得到重建后的三维场景图，具体包括：

根据所有场景子图的相机位姿，获得全局相机位姿图；

根据全局相机位姿图进行场景子图融合，获得三维场景图。即本发明实施例提供的三维场景重建方法在对当前图像帧进行深度数据处理，得到融合并降噪处理后的场景子图，然后进行所有场景子图进行融合，得到重建后的三维场景图，其中，所有场景子图进行融合时，根据各个场景子图的相机位姿进行对准，各个场景子图的相机位姿以各子图中的第一图像帧的相机位姿作为参照，然后通过各个子图的相机位姿形成全局相机位姿图，通过该全局相机位姿图，实现各个场景子图的对准，并进行深度数据融合，得到重建后的三维场景图。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法中的根据全局相机位姿图进行场景子图融合，获得三维场景图，图2为本发明实施例提供的三维场景重建方法中的场景子图融合为三维场景图的流程示意图，如图2所示，该方法具体包括：

步骤20、确定当前场景子图第一图像帧为关键帧，并提取关键帧中的orb特征；

步骤21、将提取出的orb特征与已有的场景子图第一图像帧中的orb特征进行匹配；

步骤22、根据关键帧与已有的场景子图第一图像帧的orb特征匹配结果，将关键帧插入全局相机位姿图中，获得当前场景子图与已有的场景子图的连接位置关系；

步骤23、通过光束平差法局部优化当前场景子图关键帧的相机位姿、各已有的场景子图第一图像帧的相机位姿以及特征点的三维坐标；

步骤24、检测关键帧插入后的全局相机位姿图是否存在闭环；其中：

步骤25、若存在闭环，则通过光束平差法全局优化纠正闭环，并根据全局优化后的当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得三维场景图；

步骤26、若不存在闭环，则根据局部优化后的当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得三维场景图。

具体地，上述场景子图融合为三维场景图的具体流程为：确定当前场景子图中第一个图像帧为关键帧，并提取关键帧中的orb特征，将该orb特征与已有的场景子图的第一个图像帧的orb特征进行匹配，其中已有的场景子图即其他已经获得的用于构建三维场景图的场景子图；然后根据关键帧的orb特征与已有的场景子图的第一个图像帧的orb特征的匹配结果，将关键帧插入上述实施例得到的全局相机位姿图中，获得当前场景子图的相机位姿与各个已有的场景子图的相机位姿关系，从而根据该相机位姿关系，获得当前场景子图与已有的场景子图的连接位置关系；

通过光束平差法局部优化当前场景子图关键帧的相机位姿、各已有的场景子图第一图像帧的相机位姿以及特征点的三维坐标后，检测关键帧插入后的全局相机位姿图中的任意两个图像帧之间是否存在闭环，若存在闭环，则通过光束平差法全局优化纠正闭环，并根据全局优化后的当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得三维场景图，即全局相机位姿图中的任意两个图像帧之间如果存在闭环，则将该闭环作为进行全局优化的条件，对当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿进行优化，并根据上述实施例中的根据全局相机位姿图进行场景子图融合，获得三维场景图的方法，进行场景子图融合，获得三维场景图；

若不存在闭环，则根据局部优化后的当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿，融合所有场景子图，获得三维场景图，其中融合所有场景子图，获得三维场景图的方法与上述融合方法一致。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法中的通过光束平差法全局优化纠正闭环，并根据优化后的当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿，具体包括：

通过光束平差法全局优化当前场景子图关键帧的相机位姿、各已有的场景子图第一图像帧的相机位姿、特征点的三维坐标以及闭环，并更新当前场景子图关键帧的相机位姿以及各已有的场景子图第一图像帧的相机位姿。即关键帧插入后的全局相机位姿图存在闭环时，对当前场景子图关键帧的相机位姿、各已有的场景子图第一图像帧的相机位姿、特征点的三维坐标以及闭环进行优化，并将优化后的当前场景子图关键帧的相机位姿和各已有的场景子图第一图像帧的相机位姿，进行更新，获得新的全局相机位姿图，并根据新的全局相机位姿图，获得三维重建场景图。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法中的阈值包括旋转参数阈值和平移参数阈值，其中：

旋转参数阈值为20°；平移参数阈值为0.3米。即本发明实施例提供的三维场景重建方法中的阈值包括两个阈值，分别为旋转参数阈值和平移参数阈值，其中旋转参数阈值为20°，平移参数阈值为0.3米，且上述实施例中相机位姿变化值与设定阈值进行比较时，相机位姿变化值中的旋转参数和平移参数，其中任意一个参数不在相对应的阈值内，则基于当前图像帧，新建一个场景子图，从而提高各个场景子图之间通过相机位姿进行对准的对准概率。

在上述实施例的基础上，本发明实施例提供的三维场景重建方法中的基于当前图像帧中每个深度数据点的总体不确定度，对当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到当前图像帧与场景子图的第一图像帧之间的相机位姿变化值，具体为：

通过总体不确定度获取相机位姿变化值相对应的当前图像帧的第一样本数据和第一图像帧的第二样本数据；

通过第一样本数据和第二样本数据，获得样本数据偏移量；

基于所述样本数据偏移量，对所述相机位姿变化值进行最大似然估计。即从图像帧的总体不确定度分布中采集两帧图像的样本数据分别为psk和ptk；通过样本数据获得数据偏移量δpk(t^*)＝ptk-psk，数据偏移量的分布可通过两个观测点之间偏移(误差)向量的空间分布获得，即其中为两个观测点之间偏移(误差)向量的空间分布，其中m是高斯混合模型分量的个数，此处取值为4；t^*为两帧扫描数据间的最优对准矩阵；为两个观测点之间偏移(误差)向量的空间分布的协方差矩阵。通过当前帧的深度和彩色信息、偏移量以及能量函数，获得场景子图，即对相机位姿变化值进行最大似然估计具体为：

其中，φkm为混合权重、ηkm为归一化权重，c为采样点之间对应的集合，其中t为优化方程中的变换矩阵变量，其包含有上述实施例中的相机位姿变化值中的旋转参数和平移参数；其中，为了充分利用彩色-深度数据中同时包含的深度数据点和颜色信息，可将求解帧间变换的目标形式化为最小化如下能量函数求得相机位姿变化值中的旋转参数和平移参数：

ergbd＝wgeoegeo+ergb

其中，π是相机投影函数，xs表示有效样本的集合。wgeo是几何项的权重，可设置为4。

本发明实施例提供的三维场景重建方法能够高效鲁棒地利用消费级彩色-深度相机捕获到的低质量数据重建高质量三维场景。该方法通过对每个深度数据测量点应用总体不确定度来鲁棒地处理传感器的固有测量噪声，在处理有噪声输入的扫描数据时具有显著优势，并以一种巧妙的方式引导深度数据点的融合，能够在保持物体几何细节的同时有效减少噪声。同时利用基于场景子图及不确定度的层次化光束平差法来重建全局一致的三维场景，构建了一个实用的实时的三维场景重建系统，对大型场景有良好的扩展性。

本发明实施例还提供了一种三维场景重建系统，图3为本发明实施例提供的三维场景重建系统结构图，该系统包括第一处理模块31、第二处理模块32、第三处理模块33和第四处理模块34，其中第一处理模块31，用于逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个深度数据点的测量不确定度，得到当前图像帧中每个深度数据点的总体不确定度；第二处理模块32，用于基于当前图像帧中每个深度数据点的总体不确定度，对当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到当前图像帧与场景子图的第一图像帧之间的相机位姿变化值；第三处理模块33，用于若相机位姿变化值在设定阈值内，则将当前图像帧与对应场景子图进行深度数据点融合，得到融合后的场景子图；第四处理模块34，用于将所有场景子图进行融合，得到重建后的三维场景图。

具体地，上述本发明实施例提供的三维场景重建系统具体为第一处理模块31逐帧读取消费级彩色-深度相机捕获到的带有噪声的图像帧，通过深度数据处理得到当前图像帧中每个深度数据点的表面采样不确定度以及测量不确定度，融合每个深度数据点的表面采样不确定度和测量不确定度得到每个深度数据点的总体不确定度，以便三维场景重建系统通过该总体不确定度引导不同图像帧之间深度数据整合，从而提高系统对低质量彩色-深度数据噪声的鲁棒性，即第二处理模块32通过当前图像帧中每个深度数据点的总体不确定度，对当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到当前图像帧与场景子图的第一图像帧之间的相机位姿变化值；然后第三处理模块33将得到的当前图像帧与场景子图的第一图像帧之间的相机位姿变化值与设定阈值进行比较，如果上述相机位姿变化值在设定阈值内，说明该当前图像帧可以用来与该第一图像帧对应的场景子图进行融合，则将当前图像帧与对应场景子图进行深度数据点融合，得到融合了上述当前图像帧的场景子图；最后第四处理模块34将所有场景子图进行融合，得到重建后的三维场景图。

本发明实施例提供的三维场景重建系统采用每个深度数据测量点处局部时间邻域内的数据分布，在线估计每个深度数据点的不确定度，并利用该不确定度引导不同图像帧之间深度数据整合，以提高三维场景重建系统对低质量彩色-深度数据噪声的鲁棒性，并通过融合经过噪声处理后的场景子图得到重建后的三维场景图。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。