结合彩色和深度信息的图像显著性检测方法
【技术领域】
[0001] 本发明属于图像处理技术领域，具体涉及一种结合彩色和深度信息的图像显著性 检测方法。
【背景技术】
[0002] 图像显著性检测是当前计算机视觉和模式识别领域的热点课题之一。研宄发现人 眼视觉机制总是能快速地提取图像中重要的，感兴趣的区域，进而对这些区域进行分析和 处理，而基本不会处理图像中剩余的并不显著的区域。这个原理为计算机视觉领域研宄者 提供很多启示，即可以对图像中的显著区域进行检测，提取出图像中显著的目标进行后续 处理，节省了对全图处理的时间，大大提高了图像处理的效率。因此，图像显著性检测可以 广泛的应用在图像分割，目标识别和图像检索等领域。
[0003] 图像显著性检测按照处理问题过程的不同，可以分为两类：自顶而下的检测和自 底而上的检测。自顶而下的检测方法依赖于特定的检测任务，而自底而上的检测方法则完 全基于图像本身的性质进行检测。大多数的显著性检测的计算模型均利用图像的颜色，纹 理，梯度等信息，通过计算图像不同区域的特征对比度实现的。
[0004] 然而，以往的图像显著性算法大部分仅在彩色图像上实现，没有利用场景的深度 信息，而深度信息对于人类进行场景理解是至关重要的。随着彩色与深度结合的传感器的 广泛应用，如何综合利用彩色和深度信息也日益成为图像显著性研宄的热点方向。Houwen Peng等人利用彩色和深度特征计算局部的对比度，然后利用区域生长算法进行显著区域的 聚类，最后利用物体位置的先验对结果进行改进，该方法仅将深度信息以及通过深度计算 得到的法向信息作为颜色之外的图像特征分量，但对颜色信息对比不明显的物体检测效果 不好。RanJu等人利用深度信息，计算视差图的各向异性中心一周边差异实现显著性的检 测，但是没有与颜色信息相结合。YuzhenNiu等人计算全局的视差对比度，并基于显著物体 通常位于立体图像的视觉舒适区域这一假设实现显著性的分析，但是对于视差或深度对物 体显著性影响的挖掘依然不够深入。
【发明内容】
[0005] 本发明的目的在于克服上述现有技术的不足，充分利用深度信息的全局先验特 征，改进结合彩色和深度信息的显著性检测效果。
[0006] 本发明的目的是通过以下技术方案来实现的：一种结合彩色和深度信息的图像显 著性检测方法，包括以下步骤：
[0007] (1)输入待检测彩色图像及其对应的深度信息D;待检测彩色图像由红、蓝、绿三 个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；
[0008] (2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab 颜色空间，对转换后得到的图像的每个像素提取5维向量（x，y，L，a，b)，其中x表示图像中 当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三 个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素 分割，将图像分割成多块区域的集合R=lri;l彡i彡n，iGZ}，其中r廣示分割得到的 第i个区域，n表示区域总数目，Z表示整数集合；
[0009] (3)对步骤1输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的 深度值变换为〇,得到归一化后的深度图Dmap;
[0010] (4)结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数 据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N;
[0011] (5)对步骤2得到的图像超像素分割结果的每个区域ri(i= 1?n)提取特征& =[LCr^aCrihbCri)，ydCri)]，其中LCrD为区域内所有像素L的均值，aCr)为区域 内所有像素a的均值，b(rj为区域ri内所有像素b的均值，d(rJ为变换后的深度图Dmap 中区域A的深度均值，y的值由用户设定；
[0012] (6)对步骤2得到的区域集合，计算其中任意一对区域1^和rj(i辛j)之间的对 比度C(:^，rp，其描述如下：
[0013]
【主权项】
1. 一种结合彩色和深度信息的图像显著性检测方法，其特征是，包括如下步骤： (1) 输入待检测彩色图像及其对应的深度信息D;待检测彩色图像由红、蓝、绿三个颜 色通道组成；深度信息D为彩色图像每个像素对应的实际深度； (2) 对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色 空间，对转换后得到的图像的每个像素提取5维向量（x，y，L，a，b)，其中x表示图像中当前 像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜 色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割， 将图像分割成多块区域的集合R=lri;l彡i彡n，iGZ}，其中ri表示分割得到的第i个 区域，n表示区域总数目，Z表示整数集合； (3) 对步骤1输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度 值变换为〇,得到归一化后的深度图Dmap; (4) 结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据，并 计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N; (5) 对步骤2得到的图像超像素分割结果的每个区域ri(i= 1?n)提取特征&= [L( ri)，a(r)，b(r)，yd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(r)为区域ri内所 有像素a的均值，b(^)为区域&内所有像素b的均值，dO^)为变换后的深度图Dmap中区 域A的深度均值，y的值由用户设定； (6) 对步骤2得到的区域集合，计算其中任意一对区域rdPrj(i辛j)之间的对比度 C(ri，rp，其描述如下：
其中exp(*)表示指数函数，Xi表示区域1^重心的位置，〇x的值由用户设定，|卜| | 2 表示L2范数； (7) 对步骤2得到的区域集合中的每一个区域ri(i= 1?n)，结合步骤6中得到的对 比度C(ri，rj)，计算该区域的区域对比度图S,。，S,。图像中区域r啲取值描述如下：
其中A(rj)表示区域?的面积； (8) 对步骤2得到的区域集合中的每一个区域(i= 1?n)，结合步骤5计算的区域 深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域r^勺取值描述如下：
(9) 对步骤2得到的区域集合中的每一个区域ri(i= 1?n)，结合步骤4得到的法向 图N，计算区域ri的法向量均值作为该区域的法向量n(r^，进而计算方向先验图S%，5。1)图 像中区域^的取值描述如下： S〇p(ri) = <z,n(ri)> (4) 其中z表示沿着光轴方向的单位矢量，〈?>表示向量的内积运算； (10) 结合步骤7, 8, 9得到的区域对比度图S"、深度先验图Sdp和方向先验图S，计算 得到融合先验信息的对比度图，其描述如下： SireSrcSdpS〇p(5) (11) 对步骤2得到的区域集合中的每一个区域ri(i= 1?n)，以步骤10中的得到 的融合先验信息的对比度图SiM作为区域显著度的初始值，进行法向内积加权的网页排名 (PageRank)算法，得到更新后的显著度值Sf其描述如下：
其中N(i)表示与区域^邻接的区域的标号集合； (12) 将步骤11得到的更新后的显著度值按照区域标号排序，组成列向量& = [&&)，Sp>2)，…，，Sp>n) ]T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用 最小二乘算法求解；优化问题描述如下：
其中M表示采样矩阵，对Sp，中数值大小为前t%和后t%的元素所在位置进行采样，Si表示向量S中第i个元素，S#为最后的优化结果；其中，t，a和〇f取值由用户设定； (13) 将步骤12得到的优化结果S#中第i个元素的数值作为区域ri的显著性值，将显 著性值归一化并平方之后得到显著性图像； (14) 对显著性图像进行中心偏移运算，得到最终的显著性图像。
2. 如权利要求1所述的图像显著性检测方法，其特征是，步骤3中进行归一化操作的方 法如下：对深度信息D中各个像素点的原始深度值分别作为x代入下述公式： y= (x-MinValue)/(MaxValue-MinValue) y表示归一化后各个像素的深度值，MinValue和MaxValue分别为深度信息D中各个像 素点原始深度值的最小值和最大值。
3. 如权利要求1所述的图像显著性检测方法，其特征是，步骤4中结合拍摄图像的相机 的参数，将步骤1输入的深度信息D转换为三维点云数据的过程如下： Z=D(x,y)； X= (x~cx)XZ/fx； Y= (y-cy)XZ/fy； cx表示光轴中心的水平像素坐标，cy表示光轴中心的垂直像素坐标，fx表示相机水平 方向的焦距，fy表示相机垂直方向的焦距；通过上述公式将深度信息D中（x，y)对应的像 素点转换为三维点云数据（X，Y，Z)。
4. 如权利要求1所述的图像显著性检测方法，其特征是，步骤13中进行归一化操作的 方法如下：对各个像素对应的显著性值分别作为x代入下述公式： y= (x-MinValue)/(MaxValue-MinValue) y表示归一化后各个像素的显著性值，MinValue和MaxValue分别为各个像素显著性值 的最小值和最大值。
5.如权利要求1所述的图像显著性检测方法，其特征是，步骤14中进行中心偏移的方 法如下：利用二维高斯函数产生一个高斯模板图像，高斯函数的方差大小由用户设定，将高 斯函数模板尺寸缩放为显著性图像的尺寸大小并进行归一化，之后与显著性图像相乘，得 到最终的显著性图像。
【专利摘要】本发明公开了一种结合彩色和深度信息的图像显著性检测方法，该方法包括：对待检测彩色图像进行超像素分割,在分割得到的每一个区域中结合深度和彩色特征计算区域对比度图,并利用深度信息得到深度先验图和方向先验图；融合区域对比度图,深度先验图和方向先验图,计算得到融合先验信息的对比度图；对融合先验的对比度图进行全局优化：执行法向内积加权的网页排名算法，并选取置信度高的区域作为采样区域，设计基于马尔科夫随机场模型的图像恢复问题，求解得到最终的显著性检测图。本发明挖掘了深度和方向信息对显著性的影响，与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。
【IPC分类】G06T7-00
【公开号】CN104574375
【申请号】CN201410814816
【发明人】任健强, 龚小谨
【申请人】浙江大学
【公开日】2015年4月29日
【申请日】2014年12月23日