基于超图模型的rgbd图像显著性检测方法
【专利摘要】本发明公开了一种基于超图模型的RGBD图像显著性检测方法，该方法包括：对待检测彩色图像和深度图像进行超像素分割，对深度图像的每一个超像素区域进行邻域深度对比图的计算，依据邻域深度对比值构建深度背景超边；提取位于图像边界的超像素区域构建边界背景超边；计算两个超边的权重，并根据超图学习算法进行超边展开，构建诱导图；基于诱导图的空间邻接关系和边权重，利用边界连通性先验计算边界背景显著图；采用基于元胞自动机的显著度更新算法和结合深度先验的融合算法得到最终的显著性检测图。本发明弥补了传统2D边界背景先验中的不足，利用深度信息和超图模型进行改进，与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。
【专利说明】
基于超图模型的RGBD图像显著性检测方法
技术领域
[0001]本发明属于图像处理技术领域，具体涉及一种基于超图模型的RGBD图像显著性检 测方法。
【背景技术】
[0002] 图像显著性检测是当前计算机视觉和模式识别领域的热点课题之一。研究发现人 眼视觉机制总是能快速地提取图像中重要的，感兴趣的区域，进而对这些区域进行分析和 处理，而基本不会处理图像中剩余的并不显著的区域。这个原理为计算机视觉领域研究者 提供很多启示，即可以对图像中的显著区域进行检测，提取出图像中显著的目标进行后续 处理，节省了对全图处理的时间，大大提高了图像处理的效率。因此，图像显著性检测可以 广泛的应用在图像分割，目标识别和图像检索等领域。
[0003] 近年来，随着3D感知传感器技术的发展，我们不仅可以捕获到物体的外形和颜色 信息，而且可以得到物体的距离信息，对场景的感知能力得到了进一步的提升。Houwen Peng等人利用彩色和深度特征计算局部的对比度，然后利用区域生长算法进行显著区域的 聚类，最后利用物体位置的先验对结果进行改进，该方法仅将深度信息以及通过深度计算 得到的法向信息作为颜色之外的图像特征分量，但对颜色信息对比不明显的物体检测效果 不好。Ran Ju等人利用深度信息，计算视差图的各向异性中心一周边差异实现显著性的检 测，但是没有与颜色信息相结合。
[0004] 在2D显著性检测中，边界背景先验为寻找图像中的背景区域提供了新的思路。Zhu 等人通过引入边界联通性的概念，衡量了不同图像区域与图像边界的联通程度，从而得到 其属于背景的可能性。然而，该方法在背景区域被前景物体分割的时候会出现误判，孤立的 背景区域无法检出。
[0005] 针对当前3D显著性检测的不足和2D背景显著性先验的问题，本发明提出了基于深 度信息的背景显著性先验，并利用超图模型解决了背景被分割的问题，取得了良好的效果。
【发明内容】
[0006] 本发明的目的在于克服上述现有技术的不足，弥补现有的背景先验中深度信息的 缺失，并针对传统2D边界背景先验中的不足之处，利用深度信息和超图模型进行了改进。
[0007] 本发明的目的是通过以下技术方案来实现的：一种基于超图模型的RGBD图像显著 性检测方法，包括如下步骤：
[0008] (1)输入待检测彩色图像RGB及其对应的深度信息D;待检测彩色图像由红、蓝、绿 三个颜色通道组成;深度信息D为彩色图像每个像素对应的实际深度；
[0009] (2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜 色空间，采用SLIC算法实现图像的超像素分割，将图像分割成多块区域的集合 R =试;1 < e汾，其中ri表示分割得到的第i个区域，n表示区域总数目，z表示整 数集合；
[0010] (3)对步骤2得到的图像超像素分割结果的每个区域ri(i = l~n)提取特征5 = [Li，ai，bi，ydi ]，其中U为区域ri内所有像素L通道的均值，ai为区域ri内所有像素a通道的均 值，bi为区域ri内所有像素b通道的均值，di为深度图中区域ri的深度均值，y用于调整颜色 信息和深度信息的权重，具体取值以将深度信息和颜色信息取值调整为相同数量级为宜；
[0011] (4)对步骤2得到的区域集合中的每一个超像素r，计算其邻域深度对比值NDC(r)， 得到邻域深度对比图：
⑴
[0013]其中exp( ?)表示指数函数，cU表示超像素区域^的平均深度值，NB⑴表示超像素 区域^的邻域，w设置为图像的平均深度；
[0014] (5)将步骤2得到的超像素区域视作超图模型中的顶点V，相邻超像素区域之间的 联系视作超图中的边e，构建超图模型H(V，E)，V代表顶点集合，E代表超边集合，当区域^的 邻域深度对比值低于设定的阈值印寸，将加入到深度背景超边e d中，其中阈值0取值范围为 [0,0.5]，由用户设定：
[0015] H(vi,ed) = ls.t.NDC(vi)<9 (2)
[0016] (6)计算步骤5得到的深度背景超边ed的权重《 (ed):
[0017] ⑴(~m、in 乂咖.'（'，）） ⑶ TT V-..-. E.l\- { Vf )
[0018] 其中，drgbd (i，j)表示Vi和Vj对应的超像素区域特征的欧氏距离：
[0019] drgbd(i,j)= | |fi-fj| h (4)
[0020] (7)对步骤5得到的深度背景超边进行展开得到诱导图，超边中任意两个超像素区 域^和^在诱导图中都彼此相连，诱导图的邻接矩阵A IC为：
[0021] 'm,') _.i (5) eeE or v?e7VS(r;)
[0022] 连接区域ri和区域rj的边的权重为：
[0023] d；gbd (i, j) = Y,ee￡A, v. e<? w(e) / deg(e) (6)
[0024] 其中deg(e)为超边e的度，即超边e内包含的顶点数量；
[0025] (8)计算任意两个超像素p和q的最短路径代价dgeci(p，q)为： k-1
[0026] d'H,o{p，q)_: min 々；(/,/ +1) = 1 (7) Pl=P-P2--P^l~~^
[0027] 其中k为最短路径经过的顶点的数量。
[0028] (9)对每一个超像素r，计算其边界连通性值BndCon(r)，得到边界背景显著图：
(8) (9J (10)
[0032] 当ri位于图像的边缘时，5(riGBnd) = 1，否则5(riGBnd) = 0,参数〇cir取值范围为 [5，15]，由用户设定；
[0033] (10)将步骤4得到的邻域深度对比图NDC和步骤9得到的边界背景显著图BndCon分 别采用基于元胞自动机的更新算法，分别得到更新后的结果Sd和SB;
[0034] (11)采用结合深度先验的融合算法，融合SD和SB，得到最终的显著性图像。
[0035] 进一步地，步骤10中的基于元胞自动机的更新算法，其更新规则为：
[0036] st+i = cst+Q_c)F*st
[0037] 其中的I为单位矩阵，t表示更新次数，St表示经过t次更新后所有超像素的显著度 向量。
[0038] 定义F=[f^]nXn为影响因子矩阵，其中的元素为：
[0040] 其中，〇f2取值由用户设定，可设置为超像素区域特征欧氏距离的方差；
[0041] 为了对影响因子进行归一化，定义对角矩阵D = diag{di，d2, . . .，dn}，其中di= E 式^。经过行归一化的影响因子矩阵产为：
[0042] p* = D_1F
[0043] 一致性矩阵C = diag{C1，c2, . . .，cn}为对角矩阵，其中元素的设置方法如下：
[0044] Ci=1.6X |St=°(i)-0.5|+0.1
[0045]其中，St=()(i)表示初始显著图中超像素ri的显著度；
[0046]进一步地，步骤11中的结合深度先验的融合算法具体方法如下：
[0047]分别对显著图Sd和SB进行0TSU阈值分割，将两者转换成二值图；分别统计两个二值 图中取值为1的超像素区域的数量，选取其中的较小值作为前景区域的提取数量m;在Sd和SB 选取显著度最高的m个区域作为对应的前景区域，组成集合Vd和Vb;
[0048]在这两个前景集合VD和VB的基础上，得到融合前景集合Rfg;若V D和VB对应区域的重 叠率大于阈值K(取值范围[0.6，0.8]，由用户设定），融合前景集合Rfg为两个集合的并集;若 V D和VB对应区域的重叠率小于阈值K，融合前景集合Rfg为两者中平均深度较小的那个区域 集合；
[0049] 即： VD[jVB, max(\VD nrfl|/|^|)>X
[0050] %= ￥n , d(Vn)<d(VH) 6,(【'，)）
[0051]设置元胞自动机的更新初始值为51:=() = 5[3.3卩。一致性矩阵0 = (1138{01，02，...， cn}的元素取值方式为下： 1.6x1^,(0-5,,(0-0.5 +0.1, y,. e R,
[0052] C-=< 0.1 ,v^Rfg
[0053]进行基于元胞自动机的显著性更新算法，得到最终的显著性图像。
[0054]本发明具有的有益效果是:本发明提出了基于深度信息的背景先验，通过计算过 分割深度图的邻域深度对比值，从深度信息中检出了背景区域。同时，将传统的二维边界背 景先验引入RGB-D显著性检测工作中，并利用深度信息构建超图模型，通过构建超边重建了 被前景分割的背景区域的连通性，从而解决了传统二维边界背景先验中背景区域被前景遮 挡分割造成的误判问题。
【附图说明】
[0055]图1为本发明基于超图模型的RGBD图像显著性检测方法的流程图。
[0056]图2为采用现有图像显著性检测方法与本发明方法进行图像显著性检测后的精确 率，召回率以及F-Measure柱状图的对比。
【具体实施方式】
[0057]下面结合附图与实施例对本发明进行进一步说明。
[0058]本发明基于超图模型的RGBD图像显著性检测方法，包括如下步骤：
[0059] (1)输入待检测彩色图像RGB及其对应的深度信息D;待检测彩色图像由红、蓝、绿 三个颜色通道组成;深度信息D为彩色图像每个像素对应的实际深度；
[0060] (2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜 色空间，采用SLIC算法实现图像的超像素分割，将图像分割成多块区域的集合 R =丨1-,;1 y 1： ?,/e Z},其中ri表示分割得到的第i个区域，n表示区域总数目，泛表示整 数集合；
[0061] (3)对步骤2得到的图像超像素分割结果的每个区域ri(i = l~n)提取特征5 = [Li，ai，bi，ydi ]，其中U为区域ri内所有像素L通道的均值，ai为区域ri内所有像素a通道的均 值，bi为区域ri内所有像素b通道的均值，di为深度图中区域ri的深度均值，y用于调整颜色 信息和深度信息的权重，具体取值以将深度信息和颜色信息取值调整为相同数量级为宜；
[0062] (4)对步骤2得到的区域集合中的每一个超像素r，计算其邻域深度对比值NDC(r)， 得到邻域深度对比图：
(1):
[0064]其中exp( ?)表示指数函数，cU表示超像素区域^的平均深度值，NB(i)表示超像素 区域^的邻域，w设置为图像的平均深度；
[0065] (5)将步骤2得到的超像素区域视作超图模型中的顶点V，相邻超像素区域之间的 联系视作超图中的边e，构建超图模型H(V，E)，V代表顶点集合，E代表超边集合，当区域^的 邻域深度对比值低于设定的阈值印寸，将加入到深度背景超边ed中，其中阈值0取值范围为 [0,0.5]，由用户设定：
[0066] H(vi,ed) = ls. t.NDC(vi)<9 (2)
[0067] (6)计算步骤5得到的深度背景超边ed的权重co (ed):
[0068] = 'LH /Cv (^.y) (3) V^v vfeMVi)
[0069]其中，drgbd(i，j)表示Vi和Vj对应的超像素区域特征的欧氏距离：
[0070] drgbd(i,j)= | |fi-fj| h (4)
[0071] (7)对步骤5得到的深度背景超边进行展开得到诱导图，超边中任意两个超像素区 域^和^在诱导图中都彼此相连，诱导图的邻接矩阵A IC为：
[0072] '(U) =1 (5) vt eeE or vteNB( \ t)
[0073] 连接区域r i和区域r j的边的权重(A /)为：
[0074] Kgbd (i, j)= I-, w{c)! deg(^) (6)
[0075] 其中deg(e)为超边e的度，即超边e内包含的顶点数量；
[0076] (8)计算任意两个超像素 p和q的最短路径代价dge5C1(p，q)为：
[0077] d"Jp,cf) - min Ydlhi{Pi,pjtX), A,a (/,i +1) = 1 (7) P\=P^P2 / -i
[0078] 其中k为最短路径经过的顶点的数量。
[0079] (9)对每一个超像素 r，计算其边界连通性值BndCon(r)，得到边界背景显著图：
城 (9) (10)
[0083] 当ri位于图像的边缘时，5(riGBnd) = 1，否则5(riGBnd) = 0,参数〇cir取值范围为
[5，15]，由用户设定；
[0084] (10)将步骤4得到的邻域深度对比图NDC和步骤9得到的边界背景显著图BndCon分 别采用基于元胞自动机的更新算法，分别得到更新后的结果Sd和SB;
[0085] (11)采用结合深度先验的融合算法，融合SD和SB，得到最终的显著性图像。
[0086] 进一步地，步骤10中的基于元胞自动机的更新算法，其更新规则为：
[0087] st+i = cst+Q_C)F*gt
[0088] 其中的I为单位矩阵，t表示更新次数，St表示经过t次更新后所有超像素的显著度 向量。
[0089] 定义F=[f^]nXn为影响因子矩阵，其中的元素为：
[0091]其中，Of2取值由用户设定，可设置为超像素区域特征欧氏距离的方差；
[0092]为了对影响因子进行归一化，定义对角矩阵D = diag{di，d2, . . .，dn}，其中di= E 式^。经过行归一化的影响因子矩阵产为：
[0093] p* = D_1F
[0094] 一致性矩阵C = diag{C1，c2, . . .，cn}为对角矩阵，其中元素的设置方法如下：
[0095] Ci=1.6X |St=°(i)-0.5|+0.1
[0096]其中，St=()(i)表示初始显著图中超像素ri的显著度；
[0097]以NDC更新得到SD为例，具体步骤如下：
[0098] St=0 = NDC
[0099] whilet<T:
[0100] st+i = cst+Q_C)F*gt
[0101] t = t+l
[0102] Sd = S*
[0103]其中，T表示总的迭代次数，由用户设定。
[0104] 进一步地，步骤11中的结合深度先验的融合算法为具体方法如下：
[0105] 分别对显著图SD和SB进行0TSU阈值分割，将两者转换成二值图；分别统计两个二值 图中取值为1的超像素区域的数量，选取其中的较小值作为前景区域的提取数量m;在S D和SB 选取显著度最高的m个区域作为对应的前景区域，组成集合Vd和Vb;
[0106] 在这两个前景集合VD和VB的基础上，得到融合前景集合Rfg;若V D和VB对应区域的重 叠率大于阈值K(取值范围[0.6，0.8]，由用户设定），融合前景集合R fg为两个集合的并集;若 VD和VB对应区域的重叠率小于阈值K，融合前景集合R fg为两者中平均深度较小的那个区域 集合；
[0107] 即： VD[jVB, max(| Fd fl V8/\VD \\VD^VB\I\VB\)> K
[0108] VD , d(VD)<d(VB) rB , c/(vBx<j(vn)
[0109]设置元胞自动机的更新初始值为51:=() = 5[3.3卩。一致性矩阵0 = (1138{(31，02，...， cn}的元素取值方式为下： 1.6x|5/),(/)-5\)(/)-0.5j + 0.1, v； e Rltr _ 『丨 0?!
[cm]进行基于元胞自动机的显著性更新算法，得到最终的显著性图像。
[0112]为了对本发明的效果进行客观数据指标评价，我们与现有的图像显著性检测方法 进行了对比实验，并选用精确率，召回率和F-Measure三个量化评判标准对不同方法的实验 结果进行比较分析，如图2所示。精确率定义为被正确检测到的显著性像素点数目与检测到 的显著性像素点数目之比；召回率定义为被正确检测到的显著性像素点数目与真正的显著 性像素点数目之比。一般而言，精确率和召回率通常是矛盾的，因此采用F-Measure指标综 合反映显著性检测的量化结果，F-Measure的定义如下式：
[0114] 本发明实施例中取值
[0115] 由图2可以得出，与现有的显著性方法CRC( Global contrast based salient region detection)、RBG(Saliency optimization from robust background detection)>ACSD:(Depth saliency based on anisotropic center-surround difference)、LMH(Rgbd salient object detection:a benchmark and Algorithms)、SFP (Salient object detection in RGB-D image based on saliency fusion and propagation)、D0P(Exploiting global priors for RGB-D saliency detection)进行比 较，采用本发明图像显著性检测方法(HG)的表现结果更好，能更加完整和准确的从背景中 提取显著物体。
【主权项】
1. 一种基于超图模型的RGK)图像显著性检测方法，其特征是，包括如下步骤： (1) 输入待检测彩色图像RGB及其对应的深度信息D;待检测彩色图像由红、蓝、绿三个 颜色通道组成;深度信息D为彩色图像每个像素对应的实际深度； (2) 对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空 间，采用S L I C算法实现图像的超像素分割，将图像分割成多块区域的集合 R =忱；1 < / S ?,/G ,其中ri表示分割得到的第i个区域，η表示区域总数目，思表示整 数集合； (3) 对步骤2得到的图像超像素分割结果的每个区域ri(i = l~η)提取特征匕=[U，ai， bi，ydi]，其中Li为区域ri内所有像素 L通道的均值，ai为区域ri内所有像素 a通道的均值，bi 为区域ri内所有像素 b通道的均值，di为深度图中区域ri的深度均值，μ用于调整颜色信息和 深度信息的权重； (4) 对步骤2得到的区域集合中的每一个超像素 r，计算其邻域深度对比值NDC(r)，得到 邻域深度对比图：CD 其中exp( ·)表示指数函数，Cl1表示超像素区域^的平均深度值，NB(i)表示超像素区域 ^的邻域，W设置为图像的平均深度； (5) 将步骤2得到的超像素区域视作超图模型中的顶点V，相邻超像素区域之间的联系 视作超图中的边e，构建超图模型H(V，E)，V代表顶点集合，E代表超边集合，当区域^的邻域 深度对比值低于设定的阈值Θ时，将V 1加入到深度背景超边ed中，其中阈值Θ取值范围为[0， 0.5]，由用户设定： H(vi,ed) = l s.t. NDC(vi)<9 (2) (6) 计算步骤5得到的深度背景超边ed的权重ω (ed):(3) 其中，drgbd ( i，j )表示Vi和Vj对应的超像素区域特征的欧氏距离： drgbd(i, j)= I |fi-fj| 12 (4) (7) 对步骤5得到的深度背景超边进行展开得到诱导图，超边中任意两个超像素区域^ 和^在诱导图中都彼此相连，诱导图的邻接矩阵A ic为：其中deg(e)为超边e的度，即超边e内包含的顶点数量； (8) 计算任意两个超像素 p和q的最短路径代价dge3C1(p，q)为：当ri位于图像的边缘时，5(rieBnd) = l，否则5(rieBnd)=0,参数〇clr取值范围为[5， 15]，由用户设定； (10) 将步骤4得到的邻域深度对比图NDC和步骤9得到的边界背景显著图BndCon分别采 用基于元胞自动机的更新算法，分别得到更新后的结果Sd和Sb; (11) 采用结合深度先验的融合算法，融合Sd和Sb，得到最终的显著性图像。2. 如权利要求1所述的基于超图模型的RGBD图像显著性检测方法，其特征是，步骤10中 的基于元胞自动机的更新算法，其更新规则为： Sttl = CS^(I-C)FV 其中的I为单位矩阵，t表示更新次数，St表示经过t次更新后所有超像素的显著度向量。 定义F= [f ij]nxn为影响因子矩阵，其中的元素 f ij为：其中，Of2取值由用户设定，可设置为超像素区域特征欧氏距离的方差； 定义对角矩阵D = diag{di，d2, . . .，dn}，其中di= Σ jfij。经过行归一化的影响因子矩阵 F*为： F* = D-1F 一致性矩阵C = diag{C1，c2, . . .，cn}为对角矩阵，其中元素的设置方法如下： Ci = I.6X |St=0(i)-〇.5|+0.1 其中，St=()(i)表示初始显著图中超像素 Γι的显著度。3. 如权利要求2所述的基于超图模型的RGBD图像显著性检测方法，其特征是，步骤11中 的结合深度先验的融合算法具体方法如下： 分别对显著图Sd和Sb进行OTSU阈值分割，将两者转换成二值图；分别统计两个二值图中 取值为1的超像素区域的数量，选取其中的较小值作为前景区域的提取数量m;在Sd和Sb选取 显著度最高的m个区域作为对应的前景区域，组成集合Vd和Vb; 在这两个前景集合Vd和Vb的基础上，得到融合前景集合Rfg;若Vd和Vb对应区域的重叠率 大于阈值K，融合前景集合Rf g为两个集合的并集;若Vd和Vb对应区域的重叠率小于阈值K，融 合前景集合Rf g为两者中平均深度较小的那个区域集合； 即：设置元胞自动机的更新初始值为St=() = SB · Sd。一致性矩阵C = diag{ci，c2, . . .，cn}的元 素取值方式为下：进行基于元胞自动机的显著性更新算法，得到最终的显著性图像。
【文档编号】G06T7/00GK105894502SQ201610191893
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】任健强, 龚小谨
【申请人】浙江大学