一种基于各向异性中心环绕差异的深度显著性检测方法
【专利摘要】一种基于各向异性中心环绕差异的深度显著性检测方法，先以深度图作为输入，然后对每一张深度图进行高斯平滑处理，计算每一个像素的各向异性中心环绕差异的深度值，最后根据先验知识进行显著性计算和结果提优。由于本发明方法考虑到全局的深度特征，显著性检测结果准确，运算复杂度也较低，使得本发明更适用于深度图像的显著性检测，同时利用两个普遍的先验知识去提纯初始结果，提高显著性检测效果。此外，本发明不占用大量的计算资源，执行效率很高，在图像处理和视觉领域有着广泛的应用。
【专利说明】
-种基于各向异性中心环绕差异的深度显著性检测方法
技术领域
[0001] 本发明属于计算机技术领域，设及立体图像的深度图与显著性物体检测方法，具 体为一种基于各向异性中屯、环绕差异的深度显著性检测方法。
【背景技术】
[0002] 显著性检测可W认为是人类的视觉注视行为，运种行为是一个复杂的过程，包括 视觉信息的收集和过滤，目的是能够迅速的在视觉中找到最显著的物体。如果仅对视觉中 的显著性物体做进一步处理，那么视觉分析行为的复杂度会有效减少并且计算资源可W优 化配置。显著性检测在图像处理和视觉领域有着广泛的应用，例如:显著性分析、对象分割、 彩色图像分类、图像或视频适配和压缩等。
[0003] 计算显著性模型类似于人类视觉的特征收集行为，运种行为能够快速的从输入的 视觉信息中提取特征，并且把运些特征组合成一个显著的图像。显著性检测主要依赖于视 觉信息的收集和特征的提取。为了简便，大多数现在的工作都把彩色图像作为输入，结果证 明效果都不是很好，因为他们缺少了 3D空间信息。
[0004] 早在2000年就已经开始使用场景的深度图作为视觉注视的研究。一些最新的研究 表明：深度感知能够对视觉注视起到很大的作用，因为深度图不同于彩色图，特征的提取是 深度显著性检测的关键点。早些的深度特征如:深度、梯度、曲率很容易导致错误的检测原 因在于它们缺少全局的特征考虑。立体图像更容易检测出唯一并且较近的区域，它是基于 基本的假设:显著性区域有着不一致性、与周围背景有着很强的对比度。运种假设有着局限 性、容易缺少显著性物体中扁平化区域。Lang et al[具体参见文献：Congyan LangJam V Nguyen,Harish Katti,Karthik Yadati,Mohan Kankanhalli,and Shuicheng Yan，"Depth matters: Influence of depth cues on visual saliency，，'in Computer Vision-ECCV 2012，pp. 101-115. Springer ,2012.]模型在给定的深度和深度范围采用条件几率的方法来 进行显著性检测，运种方法的局限在于只考虑局部的深度特征而缺失了全局深度结构信 息。
[0005] 综上所述，传统基于彩色图的显著性检测方法效果不太好，并且基于深度图的显 著性检测方法由于缺少全局深度信息效果也不太好。因此显著性检测方法有待继续研究， 效果还可W进一步提高。
【发明内容】
[0006] 本发明要解决的问题是:对于图像的显著性物体检测技术中，如果W传统基于彩 色图作为输入，显著性检测会得到错误的结果，而W基于深度图作为输入，由于缺少全局深 度结构信息，检测效果也同样不能满足需求，需要提出新的显著性检测方法，提高检测效 果。
[0007] 本发明的技术方案为:一种基于各向异性中屯、环绕差异的深度显著性检测方法， 将图像的深度信息加入到显著性物体检测中，并计算中屯、环绕各向异性的值，得出显著性 检测的结果，包括W下步骤：
[0008] 1)获取深度图像，并进行归一化处理；
[0009] 2)对具有深度图像进行高斯平滑处理，然后对每一个像素计算各向异性中屯、环绕 差异值，具体为：W每个像素为出发点，在其周围的若干个方向上寻找深度最小值，计算深 度最小值与中屯、像素深度值的差异，并对每个方向上的差异进行累加得到各向异性中屯、环 绕差异值，作为像素的显著值，对深度图像中的所有像素完成各向异性中屯、环绕差异值计 算后，得到初始显著图；
[0010] 3)在初始显著图基础上，结合显著对象的深度和中屯、区域分布的先验知识进行结 果提优，得到最终的显著性检测的结果。
[0011] 作为进一步的优选方式，步骤2)为:高斯平滑处理后，利用线性迭代聚类化IC算法 对彩色图像进行超像素分割，超像素的数量在像素上被设置为图像对角线的长度值，对每 个超像素，计算其形屯、像素的各向异性中屯、环绕差异值，完成对每个超像素的显著值计算， 将显著值调整到[0,255]区间，并将超像素中屯、的显著值分配给超像素内的每个像素，形成 一个初始显著图。
[0012 ]计算各向异性中屯、环绕差异值具体为：
[0013] 2.1)对具有深度信息的图像进行高斯平滑处理，平滑窗口半径根据图像大小设 定，计算异性中屯、环绕差异时，沿着八个方向上执行各向异性扫描，对于每一条扫描线，根 据图像的深度信息，W最小深度值的像素点作为背景像素点，计算中屯、像素点与背景像素 点之间的深度差值，其中设置L作为扫描线的长度，参数L的典型值为图像对角线长度的1/ 3；
[0014] 2.2)各向异性中屯、环绕差异值为八个方向扫描值的和，W圆形坐标系，八个方向 分别为:〇°，45°，90° ,135° ,180° ,225° ,270° ,315°，各向异性中屯、环绕差异值数学描述为：
[0015]
[0016]
[0017] 表示像素点P沿着扫描线i的异性中屯、环绕差异的值，d(p)表示像素点P 的深度值，k是扫描线i上的像素编号，是扫描线i上的最小深度值，Daud(P)是像素 点P在八个方向上异性中屯、环绕差异值的和，即各向异性中屯、环绕差异值。
[0018] 步骤3)利用两个普遍的先验知识去提纯初始显著图：
[0019] 第一，显著对象趋向于居中，对图像作一个W图像中屯、为原点，半径分别为图像高 宽的二维高斯加权；
[0020] 第二，越近的区域表现出更多的显著性，因此保留深度分布中较近，即更靠近观察 者的50%像素的显著值不变，对剩余的像素根据深度值进行一个线性抑制:假设dso是划分 较近的50%像素的深度阔值，则将剩余像素的显著值乘Wd(P)Mso;
[0021] 完成显著性检测结果的提优，得到图像最终的显著性检测图。
[0022] 步骤1)所述具有深度信息的图像通过TOF相机、光场相机、激光测距扫描仪或结构 光扫描仪获取。
[0023] 本发明提供了一种基于各向异性中屯、环绕差异的深度显著性检测方法，该方法先 W深度图作为输入，然后对每一张深度图进行高斯平滑处理，接着计算像素的各向异性中 屯、环绕差异的深度值，最后根据先验知识进行显著性计算和结果提优。由于本发明方法考 虑到全局的深度特征，显著性检测结果准确，运算复杂度也较低，运样使得本发明更适用于 深度图像的显著性检测。
[0024] 本发明的优点是:首先，本发明是基于深度图作为输入，不会缺失3D空间信息。其 次，本发明考虑全局深度信息，不是单一的考虑局部深度，通过比较每一个像素在八个方向 上的各向异性中屯、环绕的深度差值，像素差值较高的为显著性物体中的像素，运样能够很 好的检测出显著性物体。然后，利用两个普遍的先验知识去提纯初始结果，提高显著性检测 效果。此外，本发明的计算时间复杂度为线性O(N), N为问题的规模，在运里是图像的像素数 量），不占用大量的计算资源，算法执行效率很高。
【附图说明】
[0025] 图1是本发明各向异性中屯、环绕差异的深度显著性检测方法的流程图。
[0026] 图2是高斯函数差分的局限性。
[0027] 图3是本发明的各向异性中屯、环绕差异的深度操作示例。
[0028] 图4是召回率与累计深度比曲线。
【具体实施方式】
[0029] 本发明提供了一种基于各向异性中屯、环绕差异的深度显著性检测方法，该方法先 W深度图作为输入，然后对每一张深度图进行高斯平滑处理，接着计算像素的各向异性中 屯、环绕差异的深度值，最后根据先验知识进行显著性计算和结果提优。由于本发明方法考 虑到全局的深度特征，显著性检测结果准确，运算复杂度也较低，运样使得本发明更适用于 深度图像的显著性检测。
[0030] 本发明包括W下步骤：
[0031] 1)获取具有深度信息的图像，所述具有深度信息的图像可W通过TOF相机，光场相 机，激光测距扫描仪，结构光扫描仪等获取。
[0032] 2)对运些具有深度信息的图像进行高斯平滑处理。在对处理后的图像计算各向异 性中屯、环绕差异值。
[0033] 2.1)为了克服高斯函数差分方法在小粒度上会丢失全局信息而在大尺度上会忽 略细节信息的问题。本发明提出一种沿着多个方向上执行各向异性扫描的方法，W每个像 素为中屯、点出发，在其周围的若干个方向上寻找深度最小值，对于每一条扫描线，假设W最 小深度值的像素点作为背景，并且计算中屯、像素点与背景像素点之间的深度差值。我们并 不考虑两者之间的深度改变量，因为它仅仅影响显著物体的边界区域。本发明提出的各向 异性中屯、环绕差异的计算方法(ANISOTROPIC CENT邸-SURROUND DIF阳RENCE)ACSD，运种方 法很容易被噪声所影响，所W采用高斯平滑作用在运些深度图像上，对具有深度信息的图 像进行高斯平滑处理，平滑窗口半径根据图像大小设定，其次考虑到远距离的像素点并不 重要，设置L作为扫描线的长度。实验表明：L的长度为图像对角线长度的1/3为最优值。
[0034] 2.2MCSD值为八个方向扫描值得和，W圆形坐标系，八个方向分别为：0°，45°， 90° ,135° ,180° ,225° ,270° ,315° eACSD数学描述为：
[0035]
[0036]
[0037] 的表示像素点P沿着扫描线i的异性中屯、环绕差异的值，d(P)表示像素点P 的深度值，k是扫描线i上的像素编号，抑虹是扫描线i上的最小深度值，Daud(P)是像素 点P在八个方向上异性中屯、环绕差异值的和，即各向异性中屯、环绕差异值(ACSD值）。对每个 像素完成ACSD值计算后，就得到初步的显著图结果。
[0038] 中屯、点明显的具有显著性原因在于，在每一条扫描线上它都表现的很明显。显然 远距离的背景像素点ACSD的值比较小，因为它本来就很不明显。近距离背景，也就是图片的 底部，有很高的深度值，却不是显著的，是因为它在上面S个方向得到了很高的ACSD的值， 但是在水平、底部方向被有效地抑制了。
[0039] 为了加速计算，高斯平滑处理后，先利用简单的线性迭代聚类化IC算法对彩色图 像进行超像素分割，超像素的数量在像素上被设置为图像对角线的长度值，对每个超像素， 计算其形屯、像素的各向异性中屯、环绕差异值，完成对每个超像素的显著值计算，将显著值 调整到[0,255]区间，并将超像素中屯、的显著值分配给超像素内的每个像素，形成一个初始 显著图。运样W超像素计算ACSD值来替代原来的每一个像素的计算方法，可W加快对图像 初始显著图的计算速度，同时也不影响检测结果。
[0040] 3)利用深度和中屯、区域的先验知识，对初始显著图进行提优。
[0041] 第一，显著对象趋向于居中，对图像作一个W图像中屯、为原点，半径分别为图像高 宽的二维高斯加权；
[0042] 第二，越近的区域表现出更多的显著性，因此保留深度分布中较近，即更靠近观察 者的50%像素的显著值不变，对剩余的像素根据深度值进行一个线性抑制:假设dso是划分 较近的50 %像素的深度阔值，则将剩余像素的显著值乘W d (P) /dso;
[0043] 由上述两条完成显著性检测结果的提优，得到图像最终的显著性检测图。
[0044] 本发明在图像处理和视觉领域有着广泛的应用，例如：显著性分析、对象分割、彩 色图像分类、图像或视频适配和压缩等。下面参照附图，对本发明进行详细的描述。
[0045] (1)在本发明的实施例中，从立体图像中获取深度图，然后对每张深度图进行平滑 窗口半径0 = 7的高斯平滑，W消除深度图像中的噪声。
[0046] (2)根据深度图计算初始显著图，具体做法如图3所示，对深度图中的每个像素计 算一个ACSD值，即中屯、像素与周边各个扫描方向上深度最小值的深度差。考虑到远距离像 素点不重要，我们为每一根扫描线设置最大扫描长度L，L的长度为图像对角线长度的1/3为 最优值，ACSD值为八个方向扫描值得和。由像素的ACSD值得到初始显著图。
[0047] (3)利用先验知识对上一步的初始显著性结果进行提优。第一，越近的区域表现出 更多的显著性。如图4所示，在深度图上，更靠近观察者的前50%的像素，拥有95.78%的显 著物体召回率，因此我们保留深度分布中前50%的像素显著性，其余部分像素作d(p)/d5〇线 性抑制，dso是前50%像素的深度阔值。第二，显著对象趋向于居中。因此我们对显著图像采 用二维高斯6山7爪，(^)过滤，其中参数^，听分别等于图像的半高和半宽。
[004引在英特尔酷眷i7-4770CPU，主频3.4G监，内存16GB机器上用C++代码实现该方法。 对于一张1280*720图像，执行时间为0.718s。对于超像素图像，执行时间为0.656s，显著性 检测执行时间为0.062s。
[0049]本发明提供了一种基于各向异性中屯、环绕差异的深度显著性检测方法，作用于深 度图进行显著性检测。我们的方法执行效率高并且算法复杂度低。实验表明该方法能够快 速有效的进行显著性检测。
【主权项】
1. 一种基于各向异性中心环绕差异的深度显著性检测方法，其特征是将图像的深度信 息加入到显著性物体检测中，并计算中心环绕各向异性的值，得出显著性检测的结果，包括 以下步骤： 1) 获取深度图像，并进行归一化处理； 2) 对具有深度图像进行高斯平滑处理，然后对每一个像素计算各向异性中心环绕差异 值，具体为：以每个像素为出发点，在其周围的若干个方向上寻找深度最小值，计算深度最 小值与中心像素深度值的差异，并对每个方向上的差异进行累加得到各向异性中心环绕差 异值，作为像素的显著值，对深度图像中的所有像素完成各向异性中心环绕差异值计算后， 得到初始显著图； 3) 在初始显著图基础上，结合显著对象的深度和中心区域分布的先验知识进行结果提 优，得到最终的显著性检测的结果。2. 根据权利要求1所述的一种基于各向异性中心环绕差异的深度显著性检测方法，其 特征是步骤2)为:高斯平滑处理后，利用线性迭代聚类SLIC算法对彩色图像进行超像素分 害J，超像素的数量在像素上被设置为图像对角线的长度值，对每个超像素，计算其形心像素 的各向异性中心环绕差异值，完成对每个超像素的显著值计算，将显著值调整到[〇,255]区 间，并将超像素中心的显著值分配给超像素内的每个像素，形成一个初始显著图。3. 根据权利要求1或2所述的一种基于各向异性中心环绕差异的深度显著性检测方法， 其特征是计算各向异性中心环绕差异值具体为： 2.1) 对具有深度信息的图像进行高斯平滑处理，平滑窗口半径根据图像大小设定，计 算异性中心环绕差异时，沿着八个方向上执行各向异性扫描，对于每一条扫描线，根据图像 的深度信息，以最小深度值的像素点作为背景像素点，计算中心像素点与背景像素点之间 的深度差值，其中设置L作为扫描线的长度，参数L的典型值为图像对角线长度的1/3; 2.2) 各向异性中心环绕差异值为八个方向扫描值的和，以圆形坐标系，八个方向分别 为:0°，45°，90°，135°，180°，225°，270°，315°，各向异性中心环绕差异值数学描述为：表示像素点P沿着扫描线i的异性中心环绕差异的值，d(P)表示像素点P的深度 值，k是扫描线i上的像素编号，min(义）是扫描线i上的最小深度值，Dacsd(P)是像素点p在八 个方向上异性中心环绕差异值的和，即各向异性中心环绕差异值。4. 根据权利要求1或2所述的一种基于各向异性中心环绕差异的深度显著性检测方法， 其特征是步骤3)利用两个普遍的先验知识去提纯初始显著图： 第一，显著对象趋向于居中，对图像作一个以图像中心为原点，半径分别为图像高宽的 二维高斯加权； 第二，越近的区域表现出更多的显著性，因此保留深度分布中较近，即更靠近观察者的 50%像素的显著值不变，对剩余的像素根据深度值进行一个线性抑制:假设d5Q是划分较近 的50%像素的深度阈值，则将剩余像素的显著值乘以d(p)/d 50; 完成显著性检测结果的提优，得到图像最终的显著性检测图。5.根据权利要求1或2所述的一种基于各向异性中心环绕差异的深度显著性检测方法， 其特征是步骤1)所述具有深度信息的图像通过TOF相机、光场相机、激光测距扫描仪或结构 光扫描仪获取。
【文档编号】G06K9/46GK106023184SQ201610323842
【公开日】2016年10月12日
【申请日】2016年5月16日
【发明人】武港山, 陈杰, 居然
【申请人】南京大学