一种深度图可靠性评价测度方法
【专利摘要】本发明属于图像处理、立体视觉技术领域，为通过对RGBD数据库中深度图的特性进行分析，研究一种面向立体视觉显著性检测深度图可靠性评价测度，为立体视觉显著性检测的深度信息引入提供参考信息。本发明采用的技术方案是，一种深度图可靠性评价测度方法，步骤如下1.深度图归一化；2.深度图的均值参量计算；3.深度图的变异系数参量计算；4.深度图的频率熵参量计算；5.可靠性评价测度计算。本发明主要应用于图像处理场合。
【专利说明】
一种深度图可靠性评价测度方法
技术领域
[0001] 本发明属于图像处理、立体视觉技术领域，涉及一种面向立体视觉显著性检测的 深度图可靠性评价测度方法。
【背景技术】
[0002] 众所周知，人类视觉系统具有在图像中迅速定位对象、精确识别对象的卓越能力。 使机器也拥有这种能力并代替人类对图像进行识别、分类的美好愿景催生了计算机视觉学 科。视觉显著性检测作为计算机视觉领域的一个重要分支，已获得学术界、工业界的广泛关 注。所谓显著性检测是指提取图像中引起人视觉关注或吸引观看者兴趣的区域或对象的过 程。人们生存的自然界为三维空间，自然界的景物是立体的。人们观看自然景物时，不仅能 看到景物的高度和宽度，而且能够辨别景物的远近，产生深度感，即视觉可建立自然景物的 立体感，或者说人具有立体视觉。人类立体视觉的产生主要靠双眼从略有差别的方向观看 物体获取双目立体信息，经大脑融合而获得立体视觉，感知三维世界。深度图就是对人类感 知的深度远近信息的直观表征，它表示的是物空间中一点与摄像机之间的距离。随着技术 的进步和硬件设备的发展，人们获得了越来越多的彩色-深度数据(RGBD数据），这也为立体 视觉显著性的研究提供了数据上的有力支持。而立体视觉显著性模型可以应用于立体电影 内容自适应制作、平面内容到立体内容的转换、立体视频编解码及立体显示等各个环节。现 今，获取深度图像的主要手段有两种:双视点深度估计和硬件采集。这样获得的深度数据， 往往由于技术的限制、自然条件的影响使得深度数据的可靠性不高。尤其是在利用深度信 息进行立体视觉显著性检测时，如果深度信息不够准确可能对检测结果产生严重的影响。 本发明拟从立体显著性检测的角度出发，提出一种对深度图可靠性的有效测度。
[0003] Sang-Hyun Cho等人于2014年提出过一种视差置信测度，文中利用成本曲线度量 的曲率对立体图像中的每个区域进行视差置信度计算，并将该测度引入到立体视觉显著性 检测中。
【发明内容】
[0004] 为克服现有技术的不足，本发明旨在通过对RGBD数据库中深度图的特性进行分 析，研究一种面向立体视觉显著性检测深度图可靠性评价测度，为立体视觉显著性检测的 深度信息引入提供参考信息。本发明采用的技术方案是，一种深度图可靠性评价测度方法， 步骤如下
[0005] 1.深度图归一化
[0006] 首先利用线性函数归一化方法将原始深度数据转换到[0，1]的范围内，其归一化 公式如下：
[0008] 其中，depth表示原始的深度图深度值，depthmin和depthmax分别表示原始深度图的 最小和最大深度值，D表示归一化后的深度图。
[0009] 2.深度图的均值参量计算
[0010] 选择归一化深度图的均值作为深度图可靠性分析的一个区分特征，其公式表达式 为：
[0012]其中，Ν?表示归一化深度图的总像素个数，m为归一化深度图的平均深度值。
[0013] 3.深度图的变异系数参量计算
[0014]变异系数的定义如下：
[0016]其中，σ为归一化深度图的标准方差，m为归一化深度图的均值；
[0017] 4.深度图的频率熵参量计算
[0018]首先，利用L-1个阈值Tk将深度图划分为L个层次等级，其中，k e {1，2，…，L-l}，Tk e[0，i]，然后，统计深度图每个层次内的像素个数，计算得到每个深度层次等级的深度频 率，设?:表示深度图的第i个层次的深度频率，其计算公式如下：
[0020]其中，4表示统计归一化深度图中深度值属于乜层次等级的像素个数， 深度频率熵的定义如下：
[0022]其中，Pi为归一化深度图的第i个层次等级的深度频率值，L为划分的层次等级个 数，参量将一般质量深度图与其他质量的深度图区分开来；
[0023] 5.可靠性评价测度计算
[0024]面向立体视觉显著性的深度图可靠性评价测度Ad定义如下：
[0025] Ad = exp( (l_m) X (CV) XH)_1 〇
[0026] 深度频率熵的求取过程进一步具体包括:将一张深度图划分为低、中、高三个层次 等级，即L = 3，实际操作步骤如下：
[0027] (1)确定三个层次区域。
[0028] 取1^ = 0.4，T2 = 0.6，即深度值介于0到0.4之间的像素划归为低深度区域，深度值 在0.4到0.6之间的像素划归为中深度区域，大于0.6的像素划归高深度区域；
[0029] (2)计算各层次的深度频率。
[0033] (3)计算深度频率熵。
[0035]本发明的特点及有益效果是：
[0036] 本发明在利用深度图进行立体视觉显著性检测之前，先对输入的深度图可靠性进 行评估，根据深度图的可靠性有选择的利用深度信息进行显著性检测，提高显著性检测的 准确性，减少不可靠深度图对立体显著性检测的影响。
【附图说明】：
[0037] 图1给出了不同质量的深度图及其对应的可靠性测度值。
[0038]图2给出了深度图可靠性测度对立体显著性检测方法的积极作用。
[0039] 图3给出本发明提出方法的流程图。
【具体实施方式】
[0040] 与Sang-Hyun Cho不同，本发明提出了一种基于深度图特性分析的面向立体视觉 显著性的深度图可靠性测度。
[0041] RGBD数据库中的深度图质量参差不齐，在进行立体视觉显著性检测时，较差深度 图的引入可能影响检测效果，降低算法的准确性。为此，本发明提供了一种面向立体视觉显 著性的深度图可靠性评价测度。
[0042] 1.深度图归一化
[0043]首先利用线性函数归一化方法将原始深度图转换到[0，1]的范围内，其归一化公 式如下：
[0045] 其中，depth表示原始的深度图深度值，depthmin、depthmax分别表示原始深度图的 最小和最大深度值，D表示归一化后的深度图。
[0046] 2.深度图的均值参量计算
[0047]从显著性检测的角度分析，理想的深度图应该具有一定的层次性，即显著性区域 和背景区域应该存在较为明显的层次分级，显著性区域通常具有较大的深度值，而背景区 域的深度值则相对较小。对不同质量深度图的数值分布特性分析发现，较好的深度图表现 出了一定的层次性，而较差的深度图，深度层次性较差，深度值主要集中在大数值区域。基 于上述分析，我们选择归一化深度图的均值作为深度图可靠性分析的一个区分特征，其公 式表达式为：
[0049] 其中，Ν?表示归一化深度图的总像素个数，m为归一化深度图的平均深度值。
[0050] 3.深度图的变异系数参量计算
[0051] 经观察发现，较差深度图的数值分布较为集中，而较好的深度图并未呈现出十分 明显的数据集中分布特性，因此可以考虑引入一个描述深度图数据离散程度的参量来区分 较差和较好深度图。在概率论和数理统计中，方差用来度量随机变量与其数学期望（即均 值)之间的偏离程度。当数据分布比较分散(即数据在平均数附近波动较大)时，各个数据与 平均数的差的平方和较大，方差就较大；当数据分布比较集中时，各个数据与平均数的差的 平方和较小，方差较小。因此，方差与数据的波动程度成正比关系，方差越大，数据的波动越 大;反之，方差越小，数据的波动就越小。此外，标准差与平均数的比值称为变异系数，记为 CV，反映了数据离散程度的绝对值。其数据大小不仅受变量值离散程度的影响，而且还受变 量值平均水平大小的影响。因此，我们引入变异系数参量来描述深度图的离散程度，经分 析，较差的深度图具有较小的变异系数值，这说明其数值分布较为集中，这也与我们之前的 分析相一致。变异系数的定义如下：
[0053 ]其中，〇为归一化深度图的标准方差，m为归一化深度图的均值。CV越大，说明深度 图的离散程度越大，其深度图的层次性越好。
[0054] 4.深度图的频率熵参量计算
[0055] 观察不同质量深度图的数值分布发现，一般深度图的深度值分布与其他质量的深 度图相比具有明显的差别，其数值在各个深度值上分布较广，不存在明显的集中分布，随机 性较大。因此，可以引入一种描述数据分布随机性的参量将此类型深度图与其他质量深度 图区分开来。本发明结合深度图的分布特性，给出了一种描述深度数据随机性的参量一深 度频率熵。
[0056]首先，利用L-1个阈值Tk(ke {1，2，…，L-l}，Tke [0，1 ])将归一化深度图划分为L个 层次等级。然后，统计深度图每个层次内的像素个数，计算得到每个深度层次等级的深度频 率，设?:表示深度图的第i个层次的深度频率，其计算公式如下：
[0058]其中，表示归一化深度图中深度值属于乜层次等级的像素个数，此为 归一化深度图的总像素个数。
[0059]深度频率熵的定义如下：
[0061]其中，Pi为归一化深度图的第i个层次等级的深度频率值，L为划分的层次等级个 数。Η描述了数据的随机性，一般质量的深度图数值分布范围广，随机性较大，故深度频率熵 值也较大。因此，参量Η可以有效的将一般质量深度图与其他质量的深度图区分开来。
[0062]通常，可以将一张深度图划分为低、中、高三个层次等级，即L = 3,以此为例，实际 操作步骤如下：
[0063] (1)确定三个层次区域。
[0064] 取1^ = 0.4，T2 = 0.6，即深度值介于0到0.4之间的像素划归为低深度区域，深度值 在0.4到0.6之间的像素划归为中深度区域，大于0.6的像素划归高深度区域。
[0065] (2)计算各层次的深度频率。
[0069] (3)计算深度频率熵。
[0071] 5.可靠性评价测度计算
[0072] 综合考虑均值、变异系数和深度频率熵等参量，本发明给出了一种面向立体视觉 显著性的深度图可靠性评价测度Ad，其定义如下：
[0073] Aa = exp( (l-m)X(CV)XH)-l
[0074] 其中，m为归一化深度图的平均深度值，CV是归一化深度图的变异系数参量，Η是描 述了数据的随机性的深度频率熵参量。Ad描述了深度图的可靠性程度，数值越大，深度图可 靠性程度越大。附图1给出了该测度的实际计算结果，从图中可以看出，深度图可靠性越高， 层次性越好，Ad数值就越大，该测度可以将示例中的三种不同质量的深度图有效的区分开 来。
[0075]本发明给出的面向立体视觉显著性检测的深度图可靠性测度可以应用于立体显 著性检测模型中。将该测度作为一个惩罚因子累加到输入的深度图中，对于可靠性高的深 度图，该测度数值较大，允许更多的深度信息进入显著性检测模型，辅助显著性检测;对于 不可靠的深度图，该测度数值较小，将会大大弱化深度图在显著性检测模型中的作用，降低 不可靠深度图对模型的影响，进而保证检测的准确性。附图2给出了NJU-400立体显著性检 测数据库下，使用深度图可靠性测度和不使用该测度的立体显著性检测的准确率-召回率 曲线结果。从图中可以看出，使用深度图可靠性测度后，立体视觉显著性检测结果有了明显 的提升(图中黑色线明显高于灰色线），这也证明了本发明的有效性。
【主权项】
1. 一种深度图可靠性评价测度方法，其特征是，步骤如下： 1) 深度图归一化 首先利用线性函数归一化方法将原始深度数据转换到[〇，1]的范围内，其归一化公式 如下：其中，depth表示原始的深度图深度值，depthmin和depthmax分别表示原始深度图的最小 和最大深度值，D表示归一化后的深度图。 2) 深度图的均值参量计算 选择归一化深度图的均值作为深度图可靠性分析的一个K分特征，其公式表达式为：其中，Ν?表示归一化深度图的总像素个数，m为归一化深度图的平均深度值。 3) 深度图的变异系数参量计算 变异系数的定义如下：其中，σ为归一化深度图的标准方差，m为归一化深度图的均值； 4) 深度图的频率熵参量计算 首先，利用L-1个阈值Tk将深度图划分为L个层次等级，其中，k e {1，2，…，L-1}，Tk e [〇， 1 ]，然后，统计深度图每个层次内的像素个数，计算得到每个深度层次等级的深度频率，设 ?:表示深度图的第i个层次的深度频率，其计算公式如下：其中，表示统计归一化深度图中深度值属于h层次等级的像素个数，深度频 率熵的定义如下： Μ其中，Ρ:为归一化深度图的第i个层次等级的深度频率值，L为划分的层次等级个数，参 量将一般质量深度图与其他质量的深度图区分开来； 5) 可靠性评价测度计算 面向立体视觉显著性的深度图可靠性评价测度Ad定义如下： Ad = exp((l_m) X (CV) ΧΗ)_1〇2. 如权利要求1所述的一种深度图可靠性评价测度方法，其特征是，深度频率熵的求取 过程进一步具体包括:将一张深度图划分为低、中、高三个层次等级，即L = 3，实际操作步骤 如下： (1) 确定三个层次区域。 取^二。.4，T2 = 0.6,即深度值介于0到0.4之间的像素划归为低深度区域，深度值在0.4 到0.6之间的像素划归为中深度区域，大于0.6的像素划归高深度区域； (2) 计算各层次的深度频率。?应低深度区域像素所占的比例；?戈表中深度区域像素所占的比例；为高深度区域像素所占的比例； (3)计算深度频率熵。 将Pi、内和内代入公式〃 =_t中，求得该深度图的深度频率熵。
【文档编号】G06T7/00GK105869172SQ201610242241
【公开日】2016年8月17日
【申请日】2016年4月19日
【发明人】雷建军, 丛润民, 侯春萍, 段金辉, 李东阳
【申请人】天津大学