一种基于单个深度视觉传感器的室内场景三维重建方法
【技术领域】
[0001] 本发明属于室内场景的三维重建技术领域，特别涉及一种基于单个深度视觉传感 器的室内场景三维重建方法。
【背景技术】
[0002] 建立高质量的室内场景三维模型，尤其是针对室内每个物体创建独立的三维模型 是一项极具挑战性的任务。目前，很多室内场景的三维重建方法把重点放在重建室内场景 中的局部模型上，致使其方法本身具有：易丢失诸多室内场景的细节信息、需要繁琐的用户 交互操作、需要激光扫描仪等大型昂贵的硬件设备等缺点。
[0003] 商业化的深度相机可以实现场景中物体的三维模型重建，但建立室内场景的三维 模型与建立单个物体的三维模型不同，在深度相机的视野范围内，必须沿着某一复杂轨迹 的很多视角进行扫描，才能为一个大的室内场景重建三维模型。而且深度相机的移动轨迹 需要近距离覆盖每个物体所有的图像表面，但扫描过程中会发生明显的漂移，从而需要从 不同视角进行全局配准。因此，完整室内场景的自动三维模型重建方法并不可靠，需要人工 标记不同视角下的对应点。
[0004] 此外，具有影响力的kinectfusion系统的应用证明使用商业化的深度相机可以 实时进行三维模型重建，完成包括图像积分、视觉测程、实时3D重建等工作。但早期的 kinectfusion系统使用平面立体像素网格，只能用于较小的体积范围；视觉测程算法虽可 以提高kinectfusion系统的精确度，但仅能应用于比较狭小的空间内和相机运动轨迹比 较简单的情况下，复杂的相机运动路径会影响整个室内场景的三维模型重建效果。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供一种设计合理、扫描过程及使用硬 件设备简单、数据信息全面、点云配准精度高且计算性能优异的基于单个深度视觉传感器 的室内场景三维重建方法。
[0006] 本发明解决其技术问题是采取以下技术方案实现的：
[0007] -种基于单个深度视觉传感器的室内场景三维重建方法，包括以下步骤：
[0008] 步骤1、对彩色相机和深度相机进行联合标定，求解出深度相机和彩色相机的内参 矩阵K和外参数；利用单个深度传感器设备多角度采集室内场景的深度数据和RGB数据；
[0009] 步骤2、对采集到的深度数据和RGB数据进行去噪处理，利用孔洞周围的深度值对 孔洞进行填充，得到平滑的深度数据；
[0010] 步骤3、利用步骤1中计算得出的内参矩阵K，将步骤2得到的深度数据转换为相 应的三维点云数据；
[0011] 步骤4、对步骤2中得到的不同视角的RGB图像进行匹配计算，并根据匹配得到的 结果，对步骤3中得到的不同视角的点云进行配准，建立室内场景的点云模型；
[0012] 步骤5、对步骤4中得到的点云模型进行平面拟合，提取地面、桌面、墙壁等标志性 的平面类模型，从而实现将其对应的点云从步骤4中得到的场景模型中分割出来，建立场 景中每个物体的独立完整的三维模型。
[0013] 而且，所述步骤1的具体步骤包括：
[0014] 步骤1. 1、提取彩色相机和深度相机拍摄的标定棋盘的图像上角点为校准点，进行 相机校准，求解出深度相机和彩色相机的内参矩阵K和外参数；
[0015] 步骤1. 2、对同一时刻得到的RGB数据和深度数据进行配准，并求解得到深度数据 与RGB数据的对齐变换矩阵；
[0016] 步骤1. 3、利用单个深度传感器摄像头对室内场景进行扫描，采集室内物体表面 RGB数据和深度数据，使其扫描范围尽可能覆盖到室内场景中的每个物体的完整表面。
[0017] 而且，所述步骤2的具体步骤包括：
[0018] 步骤2. 1、对步骤1中的RGB数据和深度数据使用双边滤波器进行平滑去噪，得到 低噪音并且能够保持特征的数据；
[0019] 步骤2. 2:将步骤2. 1中所述数据输入双边滤波器的滤波方程式中进行计算，得到 平滑去噪的深度数据。
[0020] 而且，所述步骤4的具体步骤包括：
[0021] 步骤4.1、对不同视角的原图和待匹配图进行Canny边缘检测计算边缘的局部斜 率，根据斜率计算出局部方向角，为每一条边缘构建一条方向角曲线和对应的相对链码；
[0022] 步骤4.2、用待匹配图的边缘方向曲线的相对链码和原图中的相对链码进行比较， 确定不同视角的两幅图之间的平移关系，进行相位相关计算；
[0023] 步骤4. 3、找到相关系数最大的，对待匹配图进行旋转矫正，找到不同视角的两幅 图能够匹配的精确位置，完成不同视角的两幅图之间的精确匹配；
[0024] 步骤4. 4、利用步骤4. 3的不同视角的两幅图像的匹配结果，完成对其各自对应的 点云进行配准，求解变换矩阵。
[0025] 而且，所述步骤5的具体步骤包括：
[0026] 步骤5. 1、使用PCA主成分分析方法拟合平面；
[0027] 步骤5.2、利用平面到原点的距离公式d" = | |cog*n| |，将原始数据转换成xy平 面上的数据；
[0028] 上述公式中，d"代表平面到原点的距离，cog代表平面的重心，n代表平面的法向 量；
[0029] 步骤5. 3、进行不确定性分析，求解最佳拟合平面，实现平面拟合。
[0030] 而且，所述步骤1. 1的具体步骤包括：
[0031] (1)定义二维坐标系下的点为m= [u,v]T，其中u，v分别是在X、Y轴上的坐标，三 维坐标系下的点为M= [X，Y，Z]T，其中X、Y、Z分别是在X、Y、Z轴上的坐标，旋转矩阵为R =[Ar2r3]，其中，代表旋转矩阵R的列，平移量为t，则图像坐标系点与世界坐标 系下点的转换关系为：
[0032]
[0033]
[0034] 其中，s是比例因子，u，v分别是在X、Y轴上的坐标，K为相机的内参数矩阵，亡是 相机在X轴上的焦距，仁是相机在Y轴上的焦距，f是相机的焦距，dx是像素点在x轴的物 理尺寸，dy是像素点在y轴的物理尺寸，u。是相机在X轴上的主点坐标，v。是相机在Y轴上 的主点坐标；
[0035] (2)根据单应性矩阵H，将图像上的点m和空间中的点M关联起来：
[0036] 定义世界坐标系下的点为i?二f.K7，则图像上的点m和空间中的点M转换公 式为：MM，其中s是比例因子，H是单应性矩阵，I;是图像坐标系的点，#是世界坐 标系下的点；
[0037] 令单应矩阵H=IX，h2,h3]，则IXh2h3]=人Khr2t]，其中hi,h2,113分别代表 单应矩阵H的第一列、第二列、第三列，A是任意的比例，K为相机的内参矩阵；
[0038] 为方便计算相机内参数和外参数，自定义矩阵B，令：
[0039]
[0040] 其中，Bn，B12,B13,B21，B22,B23,B31，B32,B33是矩阵B的元素，f及相机在X轴上的焦 距，仁是相机在Y轴上的焦距，u。是相机在X轴上的主点坐标，v。是相机在Y轴上的主点坐 标；
[0041] 求解相机内参数：
[0042]
[0043] 求解相机外参数：
[0044] 6=入K\，r2=入K%，r3=riXr；；，t=入K%，即可求出相机的旋转矩阵R， 平移量t。
[0045] 而且，所述步骤1. 2的具体步骤包括：
[0046] (1)分别定义彩色相机和深度相机的三个平面：tjW和仏(/1/ = 1,2,3，
^其中r[卩)代表彩色相机的第i个平面，riy)代表深度相 机的第i个平面，n"是平面的法向，ndl是平面以)的法向，c代表彩色相机，d代表深度 相机；深度数据和RGB数据之间对应的对齐变换矩阵为f=gj，其中R'是旋转矩阵， t'是平移量。在投影空间中，根据旋转矩阵M'、投影比例S'将点映射成77!^
[0047]
[0048] 其中，Ai是未知的比例因子，R'，t'分别为旋转矩阵、平移量，I3是一个3*3的 单位矩阵，M'是旋转矩阵，S'是投影比例；
[0049] 将n。;，]^标准化成~；将上述公式重新定义为：
[0050]
每一对i7W.和/#，有一个平移量的线性 约束t' =L其中L，g分别是为便于计算自定义的矩阵，且
[0051]
[0052] 其中ndl，nd2,nd3分别是深度相机的第一个平面、第二个平面、第三个平面的法向， 11。1，11。2，11。3分别是彩色相机的第一个平面、第二个平面、第三个平面的法向，1?'是旋转矩 阵；
[0053] (2)当平面个数大于3时，平面配准算法包括以下四个步骤：
[0054] 1)为每一对#丨/)和77^计算一个对齐变换矩阵T;
[0055] 2)对于每一个T，计算所有tjP的深度相机坐标77以，计算第j个计算所得的平面 nd]和其对应的平面及丨/)之间的欧氏距离1,。
[0056] 3)用rank(T) = \max(l,lj为所有的T排序，其中1是一个预设的阈值，当l_j <1时，认为对应的点对是局内点，T是最小值；
[0057] 4)进行非线性最小优化，求解最佳对齐变换矩阵T;
[0058] 最佳对齐变换矩阵T的目标函数为：
[0059]
[0060] 其中是彩色相机的内参数集，I'd是深度相机的内参数集，T是深度数据和RGB数据之间的对齐变换矩阵，T"是彩色相机的外参矩阵，y是彩色相机的测量方差，d 是深度相机的测量方差，氣是彩色相机的测量角点，X。是投影点，J是深度相机的测量视差 值，J是计算得到的视差值，是一个权值，是物体点之间的欧氏距离，A'是物体点 之间的测量距离。
[0061] 而且，所述步骤4. 4的具体步骤包括：
[0062] (1)建立变换矩阵
[0063] 1)定义旋转矩阵为：
[0064]
[0065] 其中，a，，y分别是围绕x轴，y轴，z轴旋转的角度；令：
[0066] rn=cosycos0
[0067] r12=-sinycosa+cosysin0sina
[0068] r13=sinysina+cosysin0cosa
[0069] r21=sinycos&
[0070] r22=cosycosa+sinysin0sina
[0071] r22= -cosysina+sinysin0cosa
[0072] r31= -sin0
[0073] r32= cos0sina
[0074] r33= cos旦cosa，
[0075] 其中，rn，r12,r13,r2i，r22,r23,r31，r32,r33疋旋转矩阵R(a，0，y)的兀素；
[0076] 2)重新定义旋转矩阵为一个4X4的矩阵：
[0077]
[0078] 3)定义平移矩阵为一个4X4的矩阵：
[0079]
[0080