三维场景重建方法和设备与流程

本发明涉及三维场景重建的领域，更具体地说，涉及用于室内三维场景重建的方法和设备。

背景技术：

真实而准确的室内场景三维模型在沉浸式的远程交互、辅助设计、建筑及室内设计的教育、室内装修的分享、房地产公司的广告和市场推广以及增强现实游戏有着广泛的应用，如何快速而便捷的重构室内场景是一个很有挑战性的问题。

作为一种三维重建技术，运动估计结构(Structure-from-Motion，SfM)仅仅根据二维图像特征(如SIFT，SURF或Harris Corner等)来估算照相机的姿态，从而实现三维重建。针对室内场景的特殊性，如大面积的单色的墙体或天花板，许多区域(如天花板，单色的墙壁及单色的家具等等)没有显著的纹理，很难检测到有效的二维图像特征，导致SfM方法检测不到足够的特征点，最终导致传统SfM方法失败。

另外，在三维重建中，当采用最近点迭代法(Iterative Closest Point，ICP)进行点云对齐时，同样由于室内场景的特殊性，很多区域(天花板，墙壁，桌面等)是大面积的平面，缺乏显著的几何结构特征，会导致ICP收敛速度很慢或者错误的收敛；此外对于大的场景，ICP不可避免的累积误差会导致重建的精度很差。

技术实现要素：

鉴于以上情形，期望提供更适于在室内场景中进行三维场景重建的三维场景重建方法和设备。

根据本发明的一个方面，提供了一种三维场景重建方法，包括：由处于不同姿态和/或不同地点的双目摄像头获取多帧图像序列；基于当前帧的深度图像，提取平面特征，并且将基于先前帧深度图像提取的平面特征与基于当 前帧深度图像提取的平面特征进行平面匹配以形成平面链；基于当前帧的二维图像，提取图像特征，并且将基于先前帧二维图像提取的图像特征与基于当前帧二维图像提取的图像特征进行特征点匹配以形成特征点链；利用所述平面链和所述特征点链，计算旋转矩阵和位移向量；以及根据计算出的旋转矩阵和位移向量，将当前帧的平面特征和图像特征点变换到世界坐标系下的表示，其中所述平面链和所述特征点链中的各平面和各特征点为各帧摄像头坐标系下的表示。

优选地，在根据本发明实施例的三维场景重建方法中，利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的步骤通过集束调整来执行。

优选地，在根据本发明实施例的三维场景重建方法中，利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的步骤包括：将所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面以及所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点进行最小误差匹配；以及基于所述最小误差匹配，计算所述旋转矩阵和所述位移向量。

优选地，在根据本发明实施例的三维场景重建方法中，所述最小误差匹配包括：计算所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第一值；计算所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第二值；计算所述第一值与所述第二值的加权和，并将其定义为第三值；通过使得所述第三值最小，计算所述旋转矩阵和所述位移向量。

根据本发明的另一方面，提供了一种三维场景重建设备，包括：三维图像采集单元，能够移动并且具有多种不同的姿态，用于以不同姿态和/或不同地点获取多帧图像序列；平面匹配单元，用于基于当前帧的深度图像，提取平面特征，并且将基于前一帧深度图像提取的平面特征与基于当前帧深度图像提取的平面特征进行平面匹配以形成平面链；特征点匹配单元，用于基于当前帧的二维图像，提取图像特征，并且将基于前一帧二维图像提取的图像特征与基于当前帧二维图像提取的图像特征进行特征点匹配以形成特征点 链；计算单元，用于利用所述平面链和所述特征点链，计算旋转矩阵和位移向量；以及变换单元，用于根据计算出的旋转矩阵和位移向量，将当前帧的平面特征和图像特征点变换到世界坐标系下的表示，其中所述平面链和所述特征点链中的各平面和各特征点为各帧摄像头坐标系下的表示。

优选地，在根据本发明实施例的三维场景重建设备中，所述计算单元被配置为通过集束调整来执行利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的处理。

优选地，在根据本发明实施例的三维场景重建设备中，所述计算单元进一步配置为：将所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面以及所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点进行最小误差匹配；以及基于所述最小误差匹配，计算所述旋转矩阵和所述位移向量。

优选地，在根据本发明实施例的三维场景重建设备中，所述计算单元进一步配置为：计算所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第一值；计算所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点之间的距离加权平方和，并将其定义为第二值；计算所述第一值与所述第二值的加权和，并将其定义为第三值；通过使得所述第三值最小，计算所述旋转矩阵和所述位移向量。

在根据本发明实施例的三维场景重建方法和设备中，通过鲁棒的成对匹配的算法在帧与帧之间匹配从深度图像中提取出的平面特征以及从二维图像中提取出的可视特征。平面特征很好的约束了低纹理和低几何结构区域的重构。从而，可以得到更加准确的室内三维模型。特别是针对现有方法失效的区域(大面积的单色墙壁)，根据本发明的方案依然可以达到非常精确的结果。

附图说明

图1是示出根据本发明实施例的三维场景重建方法的过程的流程图；以及

图2是示出根据本发明实施例的三维场景重建设备的配置的功能性框 图。

具体实施方式

下面将参照附图对本发明的各个优选的实施方式进行描述。提供以下参照附图的描述，以帮助对由权利要求及其等价物所限定的本发明的示例实施方式的理解。其包括帮助理解的各种具体细节，但它们只能被看作是示例性的。因此，本领域技术人员将认识到，可对这里描述的实施方式进行各种改变和修改，而不脱离本发明的范围和精神。而且，为了使说明书更加清楚简洁，将省略对本领域熟知功能和构造的详细描述。

在描述本发明的实施例之前，首先将对三维场景重建的基本概念进行说明。三维场景重建是指在完全未知的环境中创建地图，这通常是由在该未知环境中运动的、包括摄像头的装置来实现的，通过在运动过程中根据摄像头不断获得的新数据构建增量式环境地图。

在三维场景重建中，存在两种坐标系：摄像头坐标系和世界坐标系。在初始状态下，摄像头坐标系与世界坐标系重合。随着摄像头位置和姿态的改变，摄像头坐标系与世界坐标系不再相同。为了创建增量式环境地图，需要将摄像头在不同位姿状态下获得的数据进行合并，即需要计算将摄像头坐标系变换到世界坐标系的旋转矩阵和位移向量，或者也可以计算将世界坐标系变换到摄像头坐标系的旋转矩阵和位移向量，其与前者是相反的，或者说在得到一个之后，可以根据相对原理求得另一个。通过以得到的旋转矩阵和位移向量将当前摄像头位姿下拍摄得到的新数据变换到世界坐标系下，可以完成与现有地图的合并。

接下来，将参照图1描述根据本发明实施例的三维场景重建方法。如图1所示，所述三维场景重建方法包括如下步骤。

首先，在步骤S101，由处于不同姿态和/或不同地点的双目摄像头获取多帧图像序列。所述双目摄像头可以实时采集二维图像(彩色图像或灰度图像)和深度图像。

然后，在步骤S102，基于当前帧的深度图像，提取平面特征，并且将基于先前帧深度图像提取的平面特征与基于当前帧深度图像提取的平面特征进行平面匹配以形成平面链。这里，先前帧的数量可以是一个，也可以是多个。并且，所形成的平面链的数量可以是一个，也可以是多个。

深度图像中的平面检测通过在生成的点云中的局部区域拟合平面，并基于预定规则，通过对平面参数空间内投票来提取出最终的平面。由于该部分特征并非本发明所关注的内容，且可以通过现有技术实现，因此为了避免冗余起见，不对其进行详细描述。

接下来，在步骤S103，基于当前帧的二维图像，提取图像特征，并且将基于先前帧二维图像提取的图像特征与基于当前帧二维图像提取的图像特征进行特征点匹配以形成特征点链。例如，所提取的特征点可以是诸如角点之类的容易分辨的点。

需要说明的是，这里所述的平面链和特征点链中的各平面和各特征点均为各帧摄像头坐标系下的表示。

在深度图像和二维图像进行平面和图像特征匹配之后，得到了图像特征/平面特征匹配集。我们将帧间联系在一起的图像特征以表示，即上文中所述的特征点链。每个特征点链对应一个世界坐标系下的三维点p_k。表示第i帧里的第k个特征点链。同理，我们将帧间联系在一起的平面特征以表示，即上文中所述的平面链。每一个平面链对应相同的世界坐标系下的平面Ω_j。表示第i帧里的第j个平面链。假设完成帧间的特征点匹配和平面匹配之后，平面链的数量为M且特征点链的数量为K。

另外，需要说明的是，尽管在说明书中以及在附图中以先后顺序示出了步骤S102和步骤S103。但是，步骤S102和步骤S103并不限于这样的时间顺序，并且也可以彼此独立地并行进行。

然后，处理进行到步骤S104。在步骤S104，利用所述平面链和所述特征点链，计算旋转矩阵和位移向量。

最后，在步骤S105，根据计算出的旋转矩阵和位移向量，将当前帧的平面特征和图像特征点变换到世界坐标系下的表示。从而完成当前帧图像与已有地图的合并，实现增量式的三维场景重建。

通过在帧与帧之间匹配从深度图像中提取的平面特征以及从二维图像中提取的可视特征，很好地约束了低纹理和低几何结构区域的重构。例如，在现有技术中，仅以平面特征或仅以可视特征进行三维重构，这在存在大面积 墙面的低纹理和低集合结构区域的室内场景重建的情况下，很可能出现ICP不收敛、收敛慢或错误收敛以及检测不到足够的特征点的问题。该问题通过结合平面特征与可视特征的匹配得以解决。

此外，在本发明中的平面提取方法把场景分段描述为平面。此描述方法可以进一步用于噪声消除，即通过拟合平面来剔除噪点。并且，由于以面匹配代替点匹配，从而有助于数据压缩。

接下来，将具体描述步骤S104中的处理。

平面特征是对场景中稠密点云的压缩表示同时具有更清晰的帧间对应关系。根据这一优点，把平面特征加入集束调整(Bundle Adjustment)来全局地优化恢复出来的摄像头姿态以达到更好的重构效果。

在步骤S104中，利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的处理是通过集束调整来进行的。

首先，将介绍传统的集束调整的概念。在给出从不同视角拍摄的、描述同一个场景的一系列图片的情况下，集束调整可以根据所有特征点在图像中的投影作为标准，同时提炼出描述场景结构的三维点坐标、相对运动参数和相机的光学参数。

通常在每个基于特征点的三维场景重建算法中都要用到集束调整，它是基于三维结构和视角参数(即相机位置，朝向，固有标定和径向畸变)的优化问题，在假定所获得的图像特征中有一些噪声的基础上获得最佳重构效果：如果图像特征误差服从标准高斯分布，那么集束调整就基于最大似然估计。集束调整的名字由来于每个三维特征和相机光学中心“发射”出的光束，而这些光束可以根据结构和视角参数进行最佳调节。

然而，传统的集束调整运行在二维图像空间下。在本发明中，提出了扩展的集束调整。具体来讲，将匹配的平面加入传统的集束调整算法。由于可以通过双目摄像头采集到的深度信息，根据本发明的技术调整直接在三维空间中进行。与传统的集束调整相比，平面提供了更强的约束，可以在室内场景重建的应用场景下更加准确地进行摄像头姿态估计。摄像头姿态可以由旋转矩阵和位移向量来表示。

通过根据本发明的集束调整，上文中所述的利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的步骤包括如下步骤：

首先，将所述平面链中各平面与世界坐标系下的对应平面通过所述旋转 矩阵和所述位移向量变换到摄像头坐标系后的平面以及所述特征点链中各特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点进行最小误差匹配。

简单来讲，期望以所述旋转矩阵和所述位移向量进行的变换所带来的误差最小。

具体地，对于一个平面链，如果将第i帧中的平面称为第一平面，将该平面链对应的世界坐标系下的平面称为第二平面，将第二平面以所述旋转矩阵和所述位移向量变换到摄像头坐标系下的平面称为第三平面，则期望第一平面与第三平面之间的误差最小。

并且，同样地，对于一个特征点链，如果将第i帧中的特征点称为第一特征点，将该特征点链对应的世界坐标系下的特征点称为第二特征点，将第二特征点以所述旋转矩阵和所述位移向量变换到摄像头坐标系下的特征点称为第三特征点，则期望第一特征点与第三特征点之间的误差最小。当然，对于每一个平面链和每一个特征点链，都期望误差最小。

这里，需要说明的是，在一个平面链中，一帧对应一个平面，例如，第i帧对应一个平面。然而，可以存在多个平面链。并且，每一帧的旋转矩阵和位移向量都不相同，且一帧对应一组旋转矩阵和位移向量。在本说明书中所要计算的旋转矩阵和位移向量，均是针对特定一帧(如，当前帧)而言。当双目摄像头移动到下一位置和/或变换到下一位姿以获取下一帧图像时，需要重新计算新的旋转矩阵和位移向量。

然后，基于所述最小误差匹配，计算所述旋转矩阵和所述位移向量。

接下来，将进一步描述如何进行所述最小误差匹配。

作为一种可能的实施方式，概括地讲，所述最小误差匹配包括：

计算所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第一值；

计算所述特征点链中各特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点之间的距离加权平方和，并将其定义为第二值；

计算所述第一值与所述第二值的加权和，并将其定义为第三值；

通过使得所述第三值最小，计算所述旋转矩阵和所述位移向量。

为了便于理解，下面通过公式对以上的具体计算过程进行说明。

如上文中所述，在完成帧间的特征点匹配和平面匹配之后，可以得到M个平面链和K个特征链链中的平面和特征为各帧摄像头空间下的表示。问题的未知量为序列中N帧对应的摄像头的姿态M个平面在世界坐标系下的参数和K个点在世界坐标系下的坐标第i帧(可认为是当前帧)的摄像头姿态由旋转矩阵R_i和位移向量T_i表示，它们通过以下公式(1)把世界坐标系下的点X_wld变换到第i个摄像头坐标系下的点X_i：

X_i＝R_iX_wld+T_i …(1)

所述最小误差匹配的目标函数为：

$\min \frac{c}{\mathrm{Np}\ln }\underset{\{i,j|i\∈\mathrm{Dj}\}}{\mathrm{\Σ}}{C}_j^i{D}_{p1n}^2(Q(R_i,T_i,\mathrm{\Ωj}),P_j^i)+\frac{1-c}{\mathrm{Npt}}\underset{\{i,k|i\∈\mathrm{Ck}\}}{\mathrm{\Σ}}{D}_{\mathrm{pt}}^2(Q(R_i,T_i,p_k),f_k^i)...\left(2\right)$

其中：

D_pln(*)为平面间的距离；

D_pt(*)为特征点间的距离；

Q(*)为已知摄像头姿态、点或平面从世界坐标系到摄像头坐标系的变换；

c为权重；

Npln和Npt分别为所有平面链中平面的个数和所有特征链中特征点的个数；

为权重，n_px为平面中点的个数，为平面链中平面中点的平均个数。

从而，将特征约束和平面约束一起加入了集束调整的优化过程中。与传 统的集束调整相比，平面提供了更强的约束，可以在室内场景重建的应用场景下得到更加准确的摄像头姿态估计，即旋转矩阵和位移向量。

接下来，将参照图2描述根据本发明实施例的三维场景重建设备。如图2所示，三维场景重建设备200包括：三维图像采集单元201、平面匹配单元202、特征点匹配单元203、计算单元204和变换单元205。

三维图像采集单元201能够移动并且具有多种不同的姿态，用于以不同姿态和/或不同地点获取多帧图像序列。例如，三维图像采集单元201可以通过双目摄像头来实现。所述双目摄像头可以实时采集二维图像(彩色图像或灰度图像)和深度图像。

平面匹配单元202用于基于当前帧的深度图像，提取平面特征，并且将基于前一帧深度图像提取的平面特征与基于当前帧深度图像提取的平面特征进行平面匹配以形成平面链。这里，先前帧的数量可以是一个，也可以是多个。并且，所形成的平面链的数量可以是一个，也可以是多个。

特征点匹配单元203用于基于当前帧的二维图像，提取图像特征，并且将基于前一帧二维图像提取的图像特征与基于当前帧二维图像提取的图像特征进行特征点匹配以形成特征点链。例如，所提取的特征点可以是诸如角点之类的容易分辨的点。所形成的特征点链的数量可以是一个，也可以是多个。

计算单元204用于利用所述平面链和所述特征点链，计算旋转矩阵和位移向量。

变换单元205用于根据计算出的旋转矩阵和位移向量，将当前帧的平面特征和图像特征点变换到世界坐标系下的表示。

需要指出的是，这里所述的平面链和特征点链中的各平面和各特征点为各帧摄像头坐标系下的表示。

通过在帧与帧之间匹配从深度图像中提取的平面特征以及从二维图像中提取的可视特征，很好地约束了低纹理和低几何结构区域的重构。例如，在现有技术中，仅以平面特征或仅以可视特征进行三维重构，这在存在大面积墙面的低纹理和低集合结构区域的室内场景重建的情况下，很可能出现ICP不收敛、收敛慢或错误收敛以及检测不到足够的特征点的问题。该问题通过结合平面特征与可视特征的匹配得以解决。

此外，在本发明中的平面匹配单元把场景分段描述为平面，可以进一步用于噪声消除，即通过拟合平面来剔除噪点。并且，由于以面匹配代替点匹 配，从而有助于数据压缩。

接下来，将具体描述计算单元204的配置。

计算单元204被配置为通过集束调整来执行利用所述平面链和所述特征点链，计算旋转矩阵和位移向量的处理。

如上文中所示，在本发明中，计算单元204通过集束调整来优化恢复出的摄像头姿态以达到更好的重构效果。

具体来说，所述计算单元204进一步配置为：

将所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面以及所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点进行最小误差匹配。简单来讲，期望以所述旋转矩阵和所述位移向量进行的变换所带来的误差最小。

基于所述最小误差匹配，计算所述旋转矩阵和所述位移向量。

接下来，将进一步描述如何进行所述最小误差匹配。

作为一种可能的实施方式，概括地讲，所述计算单元204进一步配置为：

计算所述平面链中的平面与世界坐标系下的对应平面通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的平面之间的距离加权平方和，并将其定义为第一值；

计算所述特征点链中的特征点与所对应的世界坐标系下的特征点通过所述旋转矩阵和所述位移向量变换到摄像头坐标系后的特征点之间的距离加权平方和，并将其定义为第二值；

计算所述第一值与所述第二值的加权和，并将其定义为第三值；

通过使得所述第三值最小，计算所述旋转矩阵和所述位移向量。

具体来说，所述最小误差匹配的目标函数为上文中所示的公式(2)。从而，将特征约束和平面约束一起加入了集束调整的优化过程中。与传统的集束调整相比，平面提供了更强的约束，可以在室内场景重建的应用场景下得到更加准确的摄像头姿态估计，即旋转矩阵和位移向量。

由于根据本发明实施例的三维场景重建设备的各单元的配置完全对应于上文中所述的根据本发明实施例的三维场景重建方法的各步骤的处理，因此为了避免冗余起见，这里不再对其细节展开描述。

迄今为止，已经参照图1和图2详细描述了根据本发明实施例的三维场 景重建方法和设备。在根据本发明实施例的三维场景重建方法和设备中，通过鲁棒的成对匹配的算法在帧与帧之间匹配从深度图像中提取出的平面特征以及从二维图像中提取出的可视特征。平面特征很好的约束了低纹理和低几何结构区域的重构。从而，可以得到更加准确的室内三维模型。特别是针对现有方法失效的区域(大面积的单色墙壁)，根据本发明的方案依然可以达到非常精确的结果。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过软件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。