一种基于相对高度深度线索的深度估计方法

一种基于相对高度深度线索的深度估计方法
【专利摘要】本发明公开了一种基于相对高度深度线索的深度估计方法，首先通过边缘检测获得边缘图，然后通过霍夫变换判断出图像场景，根据图像场景选择相应的模板进行深度估计，获得初始深度图，从而实现多种图像场景的深度估计。此外，通过获取图像的显著图，使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度。同时采用联合双边滤波对初始深度图以及显著图进行滤波，使其平滑强度更好，进一步改善深度图的质量。
【专利说明】一种基于相对高度深度线索的深度估计方法
【技术领域】
[0001]本发明属于视频图像处理【技术领域】，更为具体地讲，涉及一种基于相对高度深度线索的深度估计方法。
【背景技术】
[0002]深度估计是2D转3D中的关键技术，而2D转3D技术从二十世纪九十年代开始起步，到现在经过约二十年的发展，已取得了丰硕的成果。
[0003]根据2D转3D是否实时转换，所采用的方法也不近相同。现阶段，非实时转换可以应用于数字电视及电影的后期制作，其典型的技术提供商包括In-Three、PassmoreLab>DDD、CRC 和 Leonis Cinema 等。
[0004]实时转换适用于电视以及其他移动手持设备，作为真实3D内容的一个有益补充。其典型的技术提供商包括JVC、DDD、HDlogix和CRC等。由于实时处理对于速度要求很高，所以它的深度估计模块一般不采用复杂的图像分割技术。
[0005]而根据2D转3D的自动化程度，它可分为四种:全手工、半自动、自动非实时和自动实时转换。它们分为适用于不同场合或者不同的转换阶段。例如终端放映阶段转换的唯一方式为自动实时转换。其中全手工的转换方式能提供最佳的深度品质，但也是四种转换方式中最耗成本的方式，因为影响转换方式的关键因素为深度估计模块，因此许多学者开始探讨全自动深度估计算法。
[0006]Hoiem在假设图像场景内的所有景物对象都是垂直直立于地面的前提下，提出了一套完整的基于相对高度深度线索的深度估计方法。该方法以像素块为单位提取颜色、纹理等特征，然后使用adboost分类方法将整个图像分解为地面、天空、直立景物等，最后对图像中的地面区域建立3维模型，并依据图像中景物对象和地面的相交位置重构出整个三维场景。李乐等人通过分析理解街景图像内景物之间的构图关系，依据其中蕴含的深度认知线索估计街景图像的深度信息，对Hoiem的上述方法进行了改进。
[0007]当现有的基于相对高度深度线索的深度估计方法都是假设图像场景内的所有景物对象都是垂直直立于地面即图像都为下近上远，但实际的图像场景还有可能是左近右远或右近左远。另外，对图像中同一深度的目标得到的深度值会出现不一致的情况，估计得到的深度图准确度有待提高。

【发明内容】

[0008]本发明的目的在于克服现有技术的不足，提供一种基于相对高度深度线索的深度估计方法，以实现对多种图像场景的深度估计，同时提高深度图准确度。
[0009]为实现上述目的，本发明基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤:
[0010](I)、获取初始深度图
[0011]对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图；
[0012]对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景:左近右远，右近左远和下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计:
[0013]若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图；
[0014]对初始深度图进行联合双边滤波得到改善的初始深度图；
[0015](2)、获取显著图
[0016]对输入的彩色图像通过视觉注意计算获得显著图，然后采用联合双边滤波对其进行滤波；
[0017](3)、将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。
[0018]本发明的发明目的是这样实现的:
[0019]本发明基于相对高度深度线索的深度估计方法，首先通过边缘检测获得边缘图，然后通过霍夫变换判断出图像场景，根据图像场景选择相应的模板进行深度估计，获得初始深度图，从而实现多种图像场景的深度估计。此外，通过获取图像的显著图，使图像中同一深度的目标得到的深度值会不一致的情况得以改善，提高深度图准确度。同时采用联合双边滤波对初始深度图以及显著图进行滤波，使其平滑强度更好，进一步改善深度图的质量。
【专利附图】

【附图说明】
[0020]图1是本发明基于相对高度深度线索的深度估计方法一种【具体实施方式】流程图；
[0021]图2是于线轨迹追踪的深度估计的流程图；
[0022]图3是像素点(i，j)周围的灰度值；
[0023]图4是Sobel算子的水平模板及垂直模板；
[0024]图5是下近上远模板时的初始线轨迹图的参数图；
[0025]图6是n=52时初始的线轨迹图及初始的深度图；
[0026]图7是边缘图中线轨迹追踪器的一个状态示意图；
[0027]图8是从左到右追踪及从右到左追踪得到的深度图；
[0028]图9是左近右远模板时的初始线轨迹图的参数图；
[0029]图10是边缘图中线轨迹追踪器的一个状态示意图；
[0030]图11是深度图联合双边滤波的实例；
[0031]图12是联合双边滤波后的改善深度图；
[0032]图13是视觉注意计算模型的原理流程图；
[0033]图14是用于计算当前块对比度的4相邻块的示意图；[0034]图15是显著图联合双边滤波实例图；
[0035]图16是叠加显著图后的深度图；
[0036]图17是深度估计实例图；
[0037]图18是联合双边滤波效果图；
[0038]图19是综合从左到右追踪及从右到左追踪的实验结果；
[0039]图20是三个不用图像场景的线轨迹追踪实验结果；
[0040]图21是四帧彩色图像改进前及改进后的深度图和用其生成的合成视图比较实例。
【具体实施方式】
[0041]下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0042]图1是本发明基于相对高度深度线索的深度估计方法一种【具体实施方式】流程图。
[0043]在本实施例中，如图1所示，本发明基于相对高度深度线索的深度估计方法包括:基于线轨迹追踪的深度估计1、视觉注意计算2、联合双边滤波3、深度图的叠加4。整个方法是输入为视频序列的彩色图像，输出为最终的深度图。
[0044]在基于线轨迹追踪的深度估计I中，对输入的视频序列的彩色图像首先进行彩色图像转灰度图像的变换，然后，通过sobel边缘检测得到边缘图；对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景，再根据判断出的图像场景，选用选择相应的模板即3个模板:左近右远，右近左远和下近上远模板选择一个。对于霍夫变换未判断出的场景，使用下近上远模块进行深度估计，然后，进行基于线轨迹追踪的深度估计，获得初始深度图。对初始的深度图进行联合双边滤波3得到改善的深度图。
[0045]另一方面，对输入的视频序列的彩色图像，首先进行颜色空间转换，将其他颜色空间的图片如RGB转换为YCbCr颜色空间图片，然后通过视觉注意计算2获得显著图。为改善显著图的质量，采用联合双边滤波3对其进行滤波。
[0046]最后，通过深度图叠加4，将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。
[0047]由于通过相对高度深度线索得到的深度图的物体内部深度值不连续，并存在一些比较尖锐的毛刺，本发明中，使用联合双边滤波(joint bilateral filter)对深度图进行改善；同时将视觉注意机制的显著图(salient map)叠加到滤波后的深度图上,使物体的内
部深度值基本一致。
[0048]下面对各个步骤进行详细的描述
[0049]1、基于线轨迹追踪的深度估计
[0050]在本实施例中，基于相对高度深度线索的深度估计采用基于线轨迹追踪的方式进行，包括5个步骤,如图2所示。
[0051]视频序列的彩色图像转灰度图像101完成将RGB的彩色图像转换为8_bit的灰度图像；边缘检测102实现对灰度图像边缘特征的提取，得到8-bit的边缘图；霍夫变换103检测边缘图中直线的交叉点位置，判断出图像场景，并选择相应的模板，以决定了线轨迹追踪方式及赋值方式；若是下近上远模板，线轨迹追踪104是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值105根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪104是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值105根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模板，线轨迹追踪104是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值105根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图(initial depth map)。
[0052]对初始深度图进行联合双边滤波得到改善的初始深度图。
[0053]基于线轨迹追踪的深度估计方法如下:
[0054]输入:彩色图像Iref及其分辨率WiXHi ;线轨迹图的线轨迹数n，边缘追踪约束的控制参数a ;平滑约束的控制参数b ;弹性约束的控制参数c ； α为边缘追踪约束的权重因子(weighting factor), β为平滑约束的权重因子，Y为弹性约束的权重因子；
[0055]输出:初始深度图。
[0056]1.1)、彩色图像转灰度图像
[0057]使用公式(I)将彩色图像RGB像素值转换为亮度值Y，从而实现彩色图像到灰度图像的转换。
[0058]Y=(66R+129G+25B)/256+64.(I)
[0059]在本实施例中，输入为10-bit像素色深(color depth)的RGB彩色图像，通过(I)得到亮度值，从而输出10-bit的灰度图像。注意，公式(I)采用的是ITU-RBT.601标准。
[0060]1.2)、边缘检测
[0061]图像边缘可以定义为图像局部特征的不连续性，表现为图像灰度级的突变、纹理结构的突变和彩色的变化等。真实的图像边缘一般都具有有限的宽度且呈现出陡峭的斜坡状。
[0062]在本实施例中，采用Sobel算子进行边缘检测，它利用像素的左、右、上、下领域的灰度加权算法，根据在边缘点处达到极值这一原理进行边缘检测。设G(i，j)表示处理后的像素点(i，j)的灰度值，像素点(i，j)周围的灰度值如图3所示。
[0063]则:
[0064]G(i, j) = |Sx| + |Sy
[0065]其中Sx和Sy分别为水平模板(掩模)和垂直模板与灰度图像的卷积，即图像中的每一个点都用图4的两个模板即水平模板(a)及垂直模板(b)做卷积，两个模板卷积的绝对值之和作为该点的输出G(i, j)(即梯度的量，gradient magnitude),所以
[0066]G (i, j) = I a2~l~2a3+a4—a0—2a7—a81 +1 a0+2a1+a2~a6-2a5-a4
[0067]边缘检测子模块的输入为10-bit的灰度图像(模块内部取高8位)，输出为8-bit的边缘图。
[0068]1.3)、霍夫变换
[0069]本发明霍夫变换对边缘图进行处理，检测直线的交点位置，进而判断出使用的图像场景。
[0070]1.4)、线轨迹追踪
[0071]a、下近上远模板
[0072]线轨迹追踪将对边缘图中的明显边缘从左到右进行追踪，得到水平不交叉的线轨迹图。具体包含4步:①、相关参数的确定、每条线的线轨迹追踪器从左到右进行追踪；③、每条线的线轨迹追踪器从右到左进行追踪、对两幅线轨迹图深度赋值后，合并为一幅深度图。
[0073]①、相关参数的确定
[0074]>线轨迹图的线轨迹数η:为保证深度估计的效果，线轨迹数η—般大于10 ;同时考虑计算量的大小，线轨迹数η —般不大于80 ;通常我们设/J = L〃, /16」，以方便硬件实现时对DDR的读取操作；对于720P的视频，n=45 ；
[0075]>初始线轨迹图中相邻线轨迹的间距d:所有相邻的线轨迹的间距均相等，为d = [HiZnj ;对于 720P 的视频，d=16 ；
[0076] >初始线轨迹图中线轨迹的横坐标(图像素坐标系中的坐标):对第i条线轨迹，其横坐标为(H1-1) -1Xd(O-based);注意,这里坐标系的选取如图5所示；
[0077]>线轨迹对应的深度值:为了估计出8-bit的深度图，需要对第i条线轨迹赋深
度值为255-/X￡/’ = 255-Z’><L255/?」，其中d’为两条线轨迹之间的深度值间隔，η为线轨迹
数，O < i < η-1 ;注意，在这种赋值方式下，最上面的那条线轨迹对应的深度值总是大于O。
[0078]图6为η=52时初始的线轨迹图(a)及初始的深度图(b) (^=720)。
[0079]②、每条线的线轨迹追踪器从左到右进行追踪
[0080]每条线的线轨迹追踪器从第①步确定的线轨迹的最左边的点开始，沿明显边缘进行追踪。线轨迹追踪需满足五条准则:
[0081]a)线轨迹的条数保持不变；
[0082]b)线轨迹不能交叉；
[0083]c)线轨迹在任一点都不能有无穷大的斜率；
[0084]d)线轨迹必须是从左到右延伸；
[0085]e)线轨迹之间的区域的都被赋以相同的深度值。
[0086]总的来说，上述线轨迹追踪准则就是从左端的当前像素点向下一个像素点(在下一列中)追踪时，被选择的像素点需有高的边缘值，在垂直方向变化比较平缓，且与初始位置的垂直距离不能太远。我们分别用边缘追踪约束(edge tracing constraint),平滑约束(smoothness constraint)及弹性约束(elasticity constraint)来表达这三个方面的要求:
[0087]Elt (x, y) =exp (-edge (x, y) /a), (2)
[0088]Es(x, y) =ds(x, y)/b, (3)
[0089]Ee(x, y) =de(x, y)/c, (4)
[0090]其中Elt为边缘追踪约束，edge (x, y)是边缘图像素点(x, y)的值，a为边缘追踪约束的控制参数；ES为平滑约束，b为平滑约束的控制参数，ds(x，y)为当前位置的像素点与下一位置的像素点垂直方向的距离，如图7所示；Ee为弹性约束，c为弹性约束的控制参数，de (x, y)为左边起始点位置像素与候选像素点位置的垂直距离。
[0091]最后，采用(5)来决定线轨迹下一像素点的位置:[0092]y = arg Hiinj {?￡/((\,y) + βEi(x:ν) +;/E1,(\,y)j( 5 )
[0093]其中α、β、Y分别为边缘追踪约束Elt，平滑约束Es，弹性约束艮的权重因子，它们在计算过程中是常量。(x，y)是一组坐标组成的向量。X—般取x+1，y的值可以取到整列像素的横坐标。
[0094]③、每条线的线轨迹追踪器从右到左进行追踪
[0095]每条线的线轨迹追踪器从第①步确定的线轨迹的最右边的点开始，沿明显边缘进行追踪。线轨迹追踪满足的约束条件及追踪方式与从左到右相同。
[0096]增加从右向左追踪的目的是克服由于边缘图走势原因造成的部分追踪错误。如图8所示，从右到左追踪得到的深度图在椭圆区域有更理想的深度估计值。
[0097]④、对两幅线轨迹图深度赋值后，合并为一幅深度图[0098]对从左到右追踪及从右到左追踪得到两幅深度图进行合并，其具体方法为:从上到下，从左到右逐个像素进行比较，取两幅深度图的较小值为深度图的深度值。
[0099]b、左近右远模板
[0100]线轨迹追踪将对边缘图中的明显边缘从左到右进行追踪，得到垂直不交叉的线轨迹图。具体包含2步:①、相关参数的确定、每条线的线轨迹追踪器从下到上进行追踪。
[0101]①、相关参数的确定
[0102]>线轨迹图的线轨迹数η:为保证深度估计的效果，线轨迹数η—般大于10 ;同时考虑计算量的大小，线轨迹数η —般不大于80 ;通常我们设η = LR /16」，以方便硬件实现时对DDR的读取操作；对于720Ρ的视频，η=80 ；
[0103]>初始线轨迹图中相邻线轨迹的间距d:所有相邻的线轨迹的间距均相等，为= 对于720Ρ的视频，d=16 ；
[0104]>初始线轨迹图中线轨迹的横坐标(图像素坐标系中的坐标):对第i条线轨迹，其横坐标为(W1-1)-1 X d(o-based);注意,这里坐标系的选取如图5所示；
[0105]>线轨迹对应的深度值:为了估计出8-bit的深度图，需要对第i条线轨迹赋深
度值为25*>-/χ/ = 255-/χ[255/π」，其中d’为两条线轨迹之间的深度值间隔，η为线轨迹
数，O < i < η-1 ;注意，在这种赋值方式下，最左面的那条线轨迹对应的深度值总是大于O。
[0106]②、每条线的线轨迹追踪器从左到右进行追踪
[0107]线轨迹追踪的原则与采用下近上远模板的d线轨迹必须是从左到右延伸不同外(左近右远模板的此原则为线轨迹必须是从下到上延伸)，其他要求均相同，追踪方式也相似。
[0108]采用左近右远模板的线轨迹追踪准则是从底端的当前像素点向下一个像素点(在下一行中)追踪时，被选择的像素点需有高的边缘值，在垂直方向变化比较平缓，且与初始位置的垂直距离不能太远。公式(3)中的4指当前点与下一候选点的水平距离。如图10所示:
[0109]C、右近左远远模板
[0110]线轨迹追踪将对边缘图中的明显边缘从右到左进行追踪，得到垂直不交叉的线轨迹图。具体包含2步:①、相关参数的确定、每条线的线轨迹追踪器从下到上进行追踪。采用右近左远模板的线轨迹追踪模板与采用左近右远的线轨迹追踪模块的追踪原则完全相同，在此不在多述。
[0111]1.5)、深度赋值
[0112]线轨迹追踪完成后，将线轨迹图转换为坐标图。
[0113]对于下近上远模板，从下到上对每一列进行扫描，给最初的线轨迹O赋坐标值RX_Hi,对线轨迹O到线轨迹I的区间均赋值为RX_Hi，对线轨迹I到线轨迹2的区间(包含
线轨迹I)赋 值为RX_H1-d，此处d = LA_ Z?」，对轨迹线n到轨迹线η+1的区间赋值为RX_
H1- n*d0
[0114]对于左近右远模板，从左到右对每一行进行扫描，给最初的线轨迹O赋坐标值RX_Wi，对线轨迹O到线轨迹I的区间均赋值为RX_Wi，同理，对线轨迹I到线轨迹2的区间(包
含线轨迹I)赋值为RX_W1-d，此处^ =，对轨迹线η到轨迹线η+1的区间赋值为RX_
W1- n*d0
[0115]对于右近左远的模板，从右到左对每一行进行扫描，给最初的线轨迹O赋坐标值RX_Wi，对线轨迹O到线轨迹I的区间均赋值为RX_Wi，同理，对线轨迹I到线轨迹2的区间
(包含线轨迹I)赋值为RX_W1-d，此处d =，对轨迹线η到轨迹线η+1的区间赋值为
RX_ff1- n*d。
[0116]将线轨迹图转换为坐标图后，从上到下，从左到右逐点扫描，使用公式(6)完成整幅图像的深度赋值。当使用下近上远模板时:wri为0，Wud为I;当使用左近右远的模板时:Wrl为1，Wud为O;当使用右近左远的模板时:wri为-1, Wud为O。
[0117]
【权利要求】
1.一种基于相对高度深度线索的深度估计方法，其特征在于，包括以下步骤: (1)、获取初始深度图 对输入的彩色图像，首先将彩色图像转换为灰度图像，然后通过边缘检测得到边缘图； 对边缘图进行霍夫变换，检测直线的交叉点位置，判断出图像场景:左近右远，右近左远和下近上远；对于霍夫变换未判断出的场景，认为为下近上远场景；然后根据判断出的图像场景，选择相应的模块进行深度估计: 若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及下近上远的顺序进行赋值；若是左近右远模板，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及左近右远的顺序进行赋值；同理，若是右近左远模，线轨迹追踪是在给定约束的条件下得到垂直的不交叉的线轨迹图，深度赋值子模块根据线轨迹图及右近左远的顺序进行赋值；赋值后获得初始深度图； 对初始深度图进行联合双边滤波得到改善的初始深度图； (2)、获取显著图 对输入的彩色图像通过视觉注意计算获得显著图，然后采用联合双边滤波对其进行滤波； (3)、将视觉注意计算并滤波获得的显著图叠加到改善的初始深度图上，获得最终的深度图。
2.根据权利要求1所示的深度估计方法，其特征在于，步骤(1)所述的若是下近上远模板，线轨迹追踪是在给定约束的条件下得到水平的不交叉的线轨迹图，深度赋值子模块根据线轨图及下近上远的顺序进行赋值中，采用从左到右追踪及从右到左追踪得到两幅深度图进行合并:从上到下，从左到右逐个像素进行比较，取两幅深度图的较小值为深度图的深度值。
3.根据权利要求1所示的深度估计方法，其特征在于，步骤(2)所述的对输入的彩色图像通过视觉注意计算获得显著图中，计算某个分量的中央-周边差方法为:将此分量分为MxN块，每块大小为mxm ;计算当前块与其相邻块的均值，标准方差和偏度的差异，然后将当前块与相邻4块的差异和作为此块的对比度；块Bk、B1的差异MDiff (Bk，B1)为:
MDiff (Bk, B1) = | Ek-E11+ Ok-O1 Ek> E1分别为块Bk、B1的均值和σ k、σ I为块Bk、B1的标准方差； 对于第i块，i=k或I的均值，标准方差的计算公式如下:

【文档编号】G06T7/00GK103903256SQ201310429867
【公开日】2014年7月2日 申请日期:2013年9月22日 优先权日:2013年9月22日
【发明者】刘然, 谭迎春, 曹东华, 田逢春, 黄振伟, 李博乐, 谭伟敏 申请人:四川虹微技术有限公司, 重庆大学