基于主被动融合的高分辨率深度图获取方法
【专利摘要】本发明公开了一种基于主被动融合的高分辨率深度图获取方法，首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵；进行立体匹配和TOF深度融合，计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视图差。与现有技术相比，本发明的算法具有一定鲁棒性；综合TOF深度相机和彩色立体相机的匹配算法的优势弥补各自算法的不足；能够对现实世界场景以及标准数据集展示出良好的效果，此算法具有较好的性能；该算法将在计算机视觉和机器人应用领域具有非常好的应用前景。
【专利说明】
基于主被动融合的高分辨率深度图获取方法
技术领域
[0001] 本发明属于计算机图形处理技术领域，涉及一种高分辨率深度图获取方法。
【背景技术】
[0002] 从2005年第一部真正意义上的立体电影《四眼天鸡》的出现，到2010年风靡全球的 立体电影《阿凡达》的上映，引爆了立体电影的热潮。随着立体技术的日渐成熟和商业化的 不断推进，立体成像和显示技术已广泛应用于工业、医疗、建筑、军事、娱乐等诸多领域，如 汽车船舶的设计、虚拟现实技术、医疗内窥镜图像显示、医疗手术模拟、城市规划、建筑设计 展示、立体电影和电视、立体游戏等。同时，众多电子、电视公司为占领市场，不断推出吸引 消费者的3D产品，尤其是电视机、数字摄像机、手机等。
[0003] 在3DTV领域，多视点视频对应的深度信息主要通过双目或者多目立体匹配方法获 得，但是这些方法难以处理无纹理的图像区域且整体精度不高。工业界一直致力于研发深 度获取设备，以期更方便快捷地获取场景的深度信息，典型例子为基于飞行时间（Time ofTlight，T0F)的深度相机和基于结构光的Kinect。虽然这两种设备都可以实时获得三维 场景的深度图，但是在分辨率和精度等方面还存在诸多问题，不能满足目前高分辨率3DTV 的需求。由以上分析可知，推动基于多路视频加深度的3DTV制式发展的关键在于获取高分 辨深度信息。
[0004] 深度图获取是计算机视觉中的热点问题之一。一个先进的计算机视觉系统能够提 供精确的高分辨率彩色图和高分辨率深度图，这样这个计算机视觉系统才能用于解决自动 化视觉问题，例如机器人视觉，以及构建室内环境的3D模型图等。
[0005] 通常有两类方法获取场景的深度彳目息:被动的深度获取方法和主动的深度获取方 法。被动的深度获取方法主要是立体匹配算法，即获取两个或多个视点图像，对图像对应点 进行匹配，从而得到深度信息。文献+ 2]中简要概述了现有的立体匹配和三维重建算法。基 于贪婪局部搜索的立体匹配算法速度较快，但在弱纹理区域和模糊表面的深度获取效果较 差。全局匹配算法将立体匹配转化为马尔科夫(MRF,Markov Random Filed)能量函数的优 化问题，该能量函数通过图像的相似性和表面平滑度的先验信息来构建。全局匹配算法解 决了上述局部算法遇到的一些问题，但因为通常优化MRF能量函数是NP问题，所以其复杂度 高且计算速度较慢。总体来说，虽然使用立体匹配算法能够获得高分辨率的深度图，但是在 无纹理区域、重复纹理区域和遮挡区域计算深度较为困难。主动的深度获取方法，如T0F深 度相机或结构光深度相机能够直接获得场景的深度信息。然而现有的深度相机的分辨率远 低于高清(HD)彩色相机的分辨率，且其亮度敏感度低，深度测量范围有限。且深度相机易受 噪声影响，而且在一些散射严重的场景下获得的深度信息误差很大，如非朗伯表面(non-Lambert ian surface) 。 因此 ，仅仅依靠深度相机获取场景深度重建并不能得到理想的效 果。不过，深度相机却能够给3D场景提供一个初始的深度参考，这是立体匹配算法所达不到 的。
[0006] 因此将深度相机(主动)和双目彩色相机(被动)相结合的深度获取系统应运而生， 该系统能够克服单独使用主动或被动的深度获取方法所带来的局限性，并且能够使重建高 分辨率的3D场景更加准确和迅速。
[0007] 参考文献：
[0008] [l]Yoon,K.J. ,Kweon, I.S . :Adaptive support-weight approach for correspondence search.IEEE Trans.PatternAnal.Mach.Intell.28(4),650C656(2006).
[0009] [2]Scharstein，D.，Szeliski，R.:A taxonomy and evaluation of dense two framestereo correspondence algorithms.Int.J.Comput.Vis.47(lC3),7C42(2002).
[0010] [3]Yoon,K.J.,Kweon, I.S.: Adaptive support-weight approach for correspondence search.IEEE Trans.PatternAnal.Mach.Intell.28(4),650C656(2006).
[0011] [4]Tanimoto M.,0verview of free viewpoint television，Signal Processing:Image Communication，2006,21(6):454-461
[0012] [5]Kim,J.,Kolmogorov,V.,Zabih,R.:Visual correspondence using energy minimization and mutual information. In:Proceedings of Ninth IEEE International Conference on Computer Vision,2003,pp.1033C1040.IEEE(2003).
[0013] [6]Gudmundsson S A,Aanaes H，Larsen R.Fusion of stereo vision and time-〇f-flight imaging for improved 3d estimation[J] .Int. J. Intell. Syst.Techno 1. Appl?，2008,5(3-4):425-433.
[0014] [7]Zhu J,ffang L,Yang R,Davis J.Fusion of time-〇f-f1ight depth and stereo for high accuracy depth maps[J]·IEEE Conference on CVPR，2008，1-8·
[0015] [8]Gandhiy Vineet,Cech Jan，Horaud Radu.High-resolution depth maps based on tof-stereo fusion[J]. IEEE International Conference on Robotics and Automation，2012，4742-4749.
[0016] [9]M.Antunes and J.Barreto.Efficient stereo matching using histogram aggregation with multiple slant hypothesis.IbPRIA 2013.
[0017] [10]M.Bleyer,C.Rhemann,and C.Rother.PatchMatch stereo-stereo matching with slanted support windows.BMVC 2011.
[0018] [11]Z .Lee ,J.Juang and T·Q·Nguyen"Local disparity estimation with three-moded cross census and advanced support weight'，，IEEE Trans . on Multimedia,vo1.15,no.4,pp.1855-1864,2013
[0019] [12]I·_L·Jung，T·-Y·Chung，J·-Y·Sim，and C·_S·Kim，"Consistent stereo matching under varying radiometric conditions，'，IEEE Trans.Multimedia,vol.15, pp.56-69, Jan.2013.
[0020] [13]M.Antunes and J.Barreto.Efficient stereo matching using histogram aggregation with multiple slant hypothesis.IbPRIA 2013.
[0021] [14]M.Antunes and J.Barreto.Efficient stereo matching using histogram aggregation with multiple slant hypothesis.IbPRIA 2013.
[0022] [15]Q.Yang.Recursive bilateral filtering.ECCV 2012.
[0023] [16]M.Antunes and J.Barreto.Efficient stereo matching using histogram aggregation with multiple slant hypothesis.IbPRIA 2013.
【发明内容】
[0024] 基于上述现有技术和存在的问题，本发明提出了基于主被动融合的高分辨率深度 图获取方法，利用基于主被动融合的结合动深度感知和被动立体匹配方法的高分辨率深度 图融合算法模型，对已知场景进行准确的三维重建的深度感知算法，最终获得高质量的高 分辨率深度图。
[0025] 本发明提出了一种基于主被动融合的高分辨率深度图获取方法，该方法以下步 骤：
[0026] 步骤1、首先对T0F低分辨率深度图进行稀疏式上采样和视差图计算，所述稀疏式 上采样具体的步骤包括将T0F相机产生的低分辨率深度图映射到3D场景的世界坐标系，再 将三维点投影到与左彩色相机或右彩色相机坐标系形成T0F视差点阵；从而，T0F相机获得 的深度数据能够和左相机的某个样本点建立联系，实现将T0F深度图的分辨率从144X176 提高到了 778X 1032;所述视差图计算的步骤具体包括计算在左相机-右相机系统中以T0F 相机作为参考的视差值Dt(l，r):
[0027] Dl(l,r)^H；rxl-H：/x/
[0028] 其中，
[0029] =(//；) ' Dl{i.r)H'li.xl
[0030] -(//^) '〇;(?,/)//^;
[0031] /?和分别为右相机-T0F系统中校准右相机的单应矩阵和左相-TOF系统中校准 左相机的单应矩阵，和錢I分别为左相机-T0F系统中校准T0F相机的单应矩阵、右相机-T0F系统中校准T0F相机的单应矩阵，D t(t，r)为右相机-T0F系统中以T0F相机作为参考的视 差图，Dt(t，l)为左相机-T0F系统中以T0F相机作为参考的视差图；最终，转换到左相机坐标 系得到左相机 _右相机系统中以左相机为参考的视差图Di(l，r);
[0032] 步骤2、进行立体匹配和T0F深度融合，包括计算得到弱纹理区域的视差图、纹理区 域的视差图和其他区域的视差图，其中：计算弱纹理区域的视差图包括:利用步骤（1)获得 了左、右视差图〇 1(1^)、〇*(1^)，分割得到弱纹理区域，根据弱纹理区域中像素的已知视 差，在3D(x，y，d)视差空间中拟合成光滑的视差曲面，然后利用视差曲面的表面插值求取未 知像素的视差：
[0033] d(x,y)=al+a2 · x+a3 · y+a4 · x2+a5 · xy
[0034] +a6 · y2+a7 · x3+a8 · x2y+a9 · xy2+al0 · y3
[0035] 其中，d(x，y)表示一个三维视差曲面，al，…，alO表示系数，x，y为坐标；
[0036]然后，基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算 纹理区域的像素视差，计算包括：
[0037]为给定的纹理区域中一对经过校正后的图像hjr处于中心像素窗内的每个像素 赋予权值，像素的初始匹配代价使用绝对误差AD进行计算，通过对(pc，q。)初始代价加权求 和得到支持窗口的总代价，再将其归一化处理，公式如下：
[0040] 口丨冲"办"口^加权系数"办"口^和"如…^分别表示为：
[0043] 其中，pc，^分别为左右视图的中心像素，Wi，Wr分别为以pc，q c为中心的支持窗口， Pl，qi分别为落在IW冲的像素;eQ(Pl， qi)为，I。表示c的颜色强度，T决定初始匹配代价的上 限值，dc(Ic( Pl)，Ic(pc))表示视图中像素 Pl，pc在CIELAB颜色空间中的颜色距离，dP(Pl，p c) 表示Pl，pc之间的空间距离，4(1。((11)，1。((1。））表示视图中像素(1 1，(1。在(^1^颜色空间中的 颜色距离，dP (qi，qc)表示qi，qc之间的空间距离；
[0044] 计算代价聚合之后，使用WTA(Winner-Take-All)方法选择获取纹理区域的视差：
[0046] 其中，d表示p。，q。对应的视差候选，Sd = dmin，…，dmax为所有可能的视差值的集合。
[0047] 有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加 权的方式进行融合，即：假设由T0F求得的视差值为d t，由立体匹配求得的视差值为ds，则该 像素的视差do应为：
[0048] d〇= ω t · dt+ ω s · ds
[0049] 其中，ω tST0F求得的视差值的权重；ω s为立体匹配求得的视差值的权重。
[0051] ot=l-os〇
[0052] 与现有技术相比，本发明的优点在于：
[0053] 1)该算法具有一定鲁棒性，并且能够同时在纹理和非纹理区域以及重复纹理区域 具有较好的效果；
[0054] 2)综合T0F深度相机和彩色立体相机的匹配算法的优势弥补各自算法的不足；
[0055] 3)能够对现实世界场景以及标准数据集展示出良好的效果，以此证明算法具有较 好的性能；
[0056] 4)具有非常强大的实时性应用潜力，该算法将在计算机视觉和机器人应用领域具 有非常好的应用前景。
【附图说明】
[0057]图1为T0F深度摄像机实物图；
[0058]图2为本算法结构框图；
[0059] 图3为T0F深度图稀疏化上采样结果；（3a)左相机得到的彩色图像、（3b) T0F相机拍 摄的T0F深度图、（3c)上采样得到的点阵；
[0060] 图4为实验结果；（4a)三个场景的左图像、（4b)三个场景的T0F深度图点阵直接插 值得到的结果、（4c)采用自适应加权算法得到的实验结果、（4d)采用本算法得到的实验结 果、（4e)真实视差图。
【具体实施方式】
[0061] 以下结合附图及【具体实施方式】，进一步详述本发明的技术方案。
[0062] 先对T0F低分辨率深度图进行稀疏式的上采样，不会引入人为误差;然后利用立体 匹配方法和T0F深度获取方法之间的互补特性，在弱纹理区域和重复纹理区域，采用T0F相 机的深度获取结果，而在在复杂纹理区域采用立体匹配算法的深度获取结果。
[0063] 具体步骤如下：
[0064]步骤1、系统校正和T0F深度图采样，包括T0F深度图的稀疏式上采样及视差图计 算：
[0065]由于T0F相机获取的深度图分辨率较低（144 X 176)，因此在T0F深度图和立体匹配 得到的深度图融合前，首先对T0F深度图进行稀疏式上采样。所谓"稀疏式"，指的是上采样 得到的结果是点阵，而非图像。多种上采样方法多会结合彩色图将得到的点阵图进行插值 形成图像，但这些方法只利用了彩色图的信息，得到的深度图被引入了认为误差。将会在下 一步介绍本方法的插值算法，再将点阵变为图像。
[0066]稀疏式上采样的第一步是将T0F相机产生的低分辨率深度图映射到3D场景的世界 坐标系。众所周知，世界坐标系中的一个三维点对应T0F相机坐标中一个二维的点。三维点 通过T0F的相机投影矩阵映射至IjTOF上的二维点。将T0F上的144X 176个点qi(i = 1，…，η)投 射到三维世界坐标系中得到三维点if,纟= V",》。
[0067]同样，三维点也会通过彩色相机的内参矩阵投影到彩色相机坐标系的一个二维 点。所以稀疏式上采样的第二步是将三维点投影到与左彩色相机(或右彩色相机)坐标系形 成点阵。该步骤中将所有通过T0F相机获取三维点/;/，/ =丨，…投射到左相机点阵Λ i上(不 包括左相机视角不可见的点）从而获得一组样本Pl，i = l，···，n，可以注意到获取的η个样本 只覆盖了高分辨率彩色相机点阵Λ i = Pj，j = 1，…，Ν中Ν个样本中的一个小子集。
[0068]从而，T0F相机获得的深度数据能够和左相机的某个样本点建立联系，实现将T0F 深度图的分辨率从144X176提高到了778X1032。实验结果如图4所示。
[0069]上面得到的是T0F视点处的深度图，而立体匹配得到的是左相机-右相机系统中以 左相机为参考的视差图。
[0070]为了实现数据融合，需要先将深度图数据转换为相应的视差数据。深度和视差在 双目视觉系统中的转化关系如公式(1)所示：
[0072]其中Z表示深度值，T表示基线长，f是相机焦距，D是视差。
[0073] 左相机-T0F系统中以T0F相机作为参考的视差图Dt(t，1)，表示如下：
[0075] 其中，Tlt是左相机与T0F相机之间的基线长，f为T0F相机焦距，是左相机-T0F系 统中校准T0F相机的单应矩阵，Z为深度值，这样就将T0F深度直接转换为左相机-T0F视差。
[0076] 替代较为复杂的采用T 0F深度图的直接方法，本发明采用匹配链接 (correspondence linking)方法求取左相机-右相机的视差图。左、右图像的对应点需要通 过中间T0F图像建立链接:对T0F相机获得的图像中的每个像素 xt可以通过公式（3)、（4)与 左右图像的对应像素 XI，Xr进彳丁链接：
[0079] 其中/(和丑〗分别为右相机-T0F系统中校准右相机的单应矩阵和左相-T0F系统中 校准左相机的单应矩阵，尽丨和好&分别为左相机-T0F系统中校准T0F相机的单应矩阵、右相 机-T0F系统中校准T0F相机的单应矩阵，D t(t，r)为右相机-T0F系统中以T0F相机作为参考 的视差图，Dt(t，l)为左相机-T0F系统中以T0F相机作为参考的视差图。
[0080] 得到了 T0F图像的每个点Xt计算对应的Xr，：X1，现利用Xr，XI计算在左相机-右相机系 统中以T0F相机作为参考的视差图D t(l，r):
[0081 ] D人二 Η;，丨-Hlxr (5)
[0082] 最终，将其转换到左相机坐标系得到左相机-右相机系统中以左相机为参考的视 差图 Di(l，r)。
[0083] 步骤2、立体匹配和T0F深度融合
[0084] 基于步骤1获得了两种不同深度获取方式得到的视差图，考虑如何融合这两张视 差图。先考虑在弱纹理区域(如图4的背景区域部分)如何提取视差图，由于在此处使用立体 匹配算法提取视差图的效果很不理想。因此，本发明考虑在弱纹理区域采用由T0F相机获得 视差图ig息。
[0085]假设:每个弱纹理区域的视差图在3D(x，y，d)视差空间中可以形成平滑的视差平 面。基于这个假设，提出了以下算法。
[0086 ]首先，使用Coman i c i u和Me er s的均值漂移图像分割算法将左视图中的弱纹理区域 分割出来。均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标 位置，实现目标跟踪。它显著的优点是算法计算量小，简单易实现，很适合于实时跟踪场合； 对于弱纹理区域，根据步骤1得到的T0F视差点阵可知区域中有些像素的视差是已知的，而 大部分像素的视差还是未知的。根据像素的已知视差，在3D (X，y，d)视差空间中拟合成光滑 的视差曲面，然后利用视差表面插值求取未知像素的视差。
[0087] 为了保证视差曲面是连续且光滑的，此处采用公式(6)对视差曲面进行拟合，到弱 纹理区域的视差图：
[0089]其中d(x，y)表示一个三维视差曲面，al，…，alO表示系数，x，y为坐标。
[0090] 基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算纹理 区域的像素视差(该自适应加权算法为目前效果最好的局部匹配算法）：
[0091] 首先，为给定的一对经过校正后的图像h，Ir中，处于中心像素窗内的每个像素赋 予权值，权值由该像素与中心像素的空间距离和CIELAB颜色空间中的颜色差异联合决定。 像素的初始匹配代价使用AD(绝对误差)进行计算。因此，通过对(p c，q。)初始代价加权求和 得到支持窗口的总代价，再将其归一化：
[0095]其中c(pc，qc)是(pc，qc)对应的总代价，p c，qc分别为左右视图的中心像素，Wi，Wr分 另ll为以P。，q。为中心的支持窗口，Pi，qi分别为落在Wi，Wr中的像素 ，ω : (pi，p。)和ω r (qi，q。)分 另1J为Pi，qi的加权系数，eo(pi，qi)为pi，qi的初始匹配代价，I。表示c的颜色强度，T决定初始匹 配代价的上限值，d c(Ic(Pl)，Ic(pc))表示视图中像素 Pl，qc在CIELAB颜色空间中的颜色距 离，dP( Pl，pc)表示Pl，qc之间的空间距离，常数γ Ρ，丫。为该算法的两个参数。
[0096] 计算代价聚合之后，使用訂4(胃;[111161^31?5-411)方法选择像素的视差：
[0098]其中，d表示pc，qc对应的视差候选，Sd = dmin，…，dmax为所有可能的视差值的集合。 [0099]有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加 权的方式进行融合。即：设由T0F求得的视差值为d t，由立体匹配求得的视差值为ds，则该像 素的视差do应为：
[0100] do= ω t · dt+ ω s · ds (11)
[0101] 其中，c〇tST0F求得的视差值的权重；c〇s为立体匹配求得的视差值的权重。
[0103] ω t= 1- ω s (13)
[0104] 其中，YS为立体匹配求得的视差值的可信度；为T0F求得的视差值的可信度。
[0106]其中，< 是在自适应加权算法中求得的最小匹配代价，cf为求得的第二小匹配代 价，T。为0，可避免除数为0。
[0107]根据S.A.Gumundsson[17]的实验结果，T0F求得的视差值的可信度为
[0109] 其中，A(p)为像素的幅值图的标准偏差。
[0110] 表2给出了根据三个场景的最终视差图计算得到的均方误差(MSE)。在表中，本文 的方法还与其他先进的算法[14][15][16]进行了比较。表的最后一列为三个不同场景的视差图 的均方误差。从三个场景的均方误差值可以看出，本文的方法确实可以提供比单独使用T0F 检测数据和立体匹配算法更精确的结果。实验结果还表明本方法在所有场景都显著优于其 他数据融合算法。在场景a)和b)的结果中能够明显看出算法的优越性，在场景c)中是由本 文提出的T0F插值算法为其提供了最小均方误差的获得方法。这是由于场景c)中的纹理结 构有限，使得它更适用于T0F深度测量方法，而用立体匹配算法进行计算则相对复杂。这种 情况也可以通过观察其在单独使用立体匹配时的高均方误差值看出。然而，对于场景中的 复杂几何结构(例如a)中的木偶)本文的融合算法的结果明显优于单独使用T0F视差检测的 插值算法。在存在更多纹理信息的场景(如b)立体算法的贡献更显著，融合算法的结果的均 方误差值比T0F插值算法的结果低一半。本文的算法不仅拥有比文献 [14][15][16]中的算法更 低的均方误差，同时在立体匹配和T0F相机都能获得较准确结果的场景a)和b)也具有相当 程度的提升。融合算法能够更有效的结合两种算法是显而易见的。
[0111] 为了评估本算法的性能，使用的数据样本由意大利教授Carlo Dal Mutto等实验 室提供。http ://lt tm.dei.unipd.it/downloads/tofstereo.实验室米集系统为Mesa Swiss Ranger SR4000 T0F深度相机，其分辨率为144X176像素，以及两个Basler scAlOOO 摄像机(分辨率为1032X778像素)与T0F相机硬件同步。这个系统可以以每秒15帧的速度同 步采集数据，不需要使用非同步的方法。使用T0F深度相机和立体相机同步拍摄一系列的校 准图像，然后使用校准工具箱计算校准/内参矩阵、径向畸变系数和每个相机的投影矩阵。 该系统使用文献中的校准方法，在对立体T0F联合系统进行校准的过程中，会出现约5mm的 投影误差。内参矩阵和外参矩阵对T0F深度图进行稀疏式上采样时具有重要作用。
[0112] 使用多个不同场景对提出的模型进行测试。图4为测试结果，注意每个场景尽可能 包含不同类型的区域:例如场景a)和场景c)都包含一个类似的背景，其中缺乏纹理信息不 利于立体匹配算法的应用，而场景b)在背景部分有一个纹理区域。先考虑在弱纹理区域该 如何提取视差。因此，对于每个场景，使用一个主动时空立体系统对600个图像进行处理得 到一个准确的视差图，作为真实视差图（ground truth)。实验结果由T0F深度图直接插值得 到的视差图，由自适应加权立体匹配算法得到的视差图，以及由本文提出的算法得到的最 终的视差图分别和真实视差图以及其他先进的算法进行比较。
[0113]表l、Mesa Imaging SwissRanger 4000(SR4000)深度摄像机主要参数
[0115]表2、实验结果
【主权项】
1. 一种基于主被动融合的高分辨率深度图获取方法，其特征在于，该方法以下步骤： 步骤（1)、首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，所述稀疏式上 采样具体的步骤包括将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将 三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵;从而，TOF相机获得的 深度数据能够和左相机的某个样本点建立联系，实现将TOF深度图的分辨率从144 X 176提 高到了 778X 1032;所述视差图计算的步骤具体包括计算在左相机-右相机系统中以TOF相 机作为参考的视差值Dt(l，r): 其中，和/^分别为右相机-TOF系统中校准右相机的单应矩阵和左相-TOF系统中校准左 相机的单应矩阵，〗拉和好^分别为左相机-TOF系统中校准TOF相机的单应矩阵、右相机-TOF 系统中校准TOF相机的单应矩阵，D t(t，r)为右相机-TOF系统中以TOF相机作为参考的视差 图，Dt(t，l)为左相机-TOF系统中以TOF相机作为参考的视差图；最终，转换到左相机坐标系 得到左相机 -右相机系统中以左相机为参考的视差图Di(l，r); 步骤(2)、进行立体匹配和TOF深度融合，包括计算得到弱纹理区域的视差图、纹理区域 的视差图和其他区域的视差图，其中：计算弱纹理区域的视差图包括:利用步骤（1)获得了 左、右视差图DKlrhDtd，r)，分割得到弱纹理区域，根据弱纹理区域中像素的已知视差， 在3D(x，y，d)视差空间中拟合成光滑的视差曲面，然后利用视差曲面的表面插值求取未知 像素的视差： d(x,y)=al+a2 · x+a3 · y+a4 · x2+a5 · xy +a6 · y2+a7 · x3+a8 · x2y+a9 · xy2+al0 · y3 其中，d(x,y)表示一个三维视差曲面，al,…，alO表示系数，x,y为坐标； 然后，基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算纹理 区域的像素视差，计算包括： 为给定的纹理区域中一对经过校正后的图像Ii，Ir处于中心像素窗内的每个像素赋予 权值，像素的初始匹配代价使用绝对误差AD进行计算，通过对(pc，q。)初始代价加权求和得 到支持窗口的总代价，再将其归一化处理，公式如下： pc，qc对应的总代价表示为：Pl，qj^初始匹配代价表示为：Pi，qi ω "ρ?,ρ。）加权系数 ω "ρ?,ρ。）和 cor(qi，qc)分别表不为：其中，P。，q。分别为左右视图的中心像素，Wi，Wr分别为以p。，q。为中心的支持窗口，Pi，qi 分别为落在W^Wr中的像素;eQ(Pl，qi)为，I。表示c的颜色强度，T决定初始匹配代价的上限 值，山(1。化），1。(？。））表示视图中像素?^。在(^1^颜色空间中的颜色距离，(1 [)(?^。)表 示PhPc之间的空间距离，dc(Ic(qi)，I c(qc))表示视图中像素qi，qc在CIELAB颜色空间中的颜 色距离，d P(qi，qc)表示qi，qc之间的空间距离； 常数y p，y。为两个参数； 计算代价聚合之后，使用WTA(Winner-Take-All)方法选择获取纹理区域的视差：其中，d表示pc，qc对应的视差候选，Sd = dmin，…，dmax为所有可能的视差值的集合。 有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加权的 方式进行融合，即：假设由TOF求得的视差值为dt，由立体匹配求得的视差值为ds，则该像素 的视差do应为： do = 〇t · dt+ws · ds 其中，cotST0F求得的视差值的权重；cos为立体匹配求得的视差值的权重。 〇 t - 1_ 〇 s 〇
【文档编号】G06T7/00GK105869167SQ201610191165
【公开日】2016年8月17日
【申请日】2016年3月30日
【发明人】李素梅, 刘娇丽, 范如, 侯春萍
【申请人】天津大学