本发明涉及图像分析技术领域，尤其涉及显著图像的提取处理方法及系统。
背景技术：
显著性检测是计算机视觉中的一项重要研究内容，是指模拟人类视觉注意机制实现准确、快速地识别图像中最感兴趣区域的过程。基于视觉注意机制的RGB图像显著性检测模型采用低层特征对比计算得到显著性，其中包括全局特征对比计算模型，局部特征对比计算模型以及结合全局特征和局部特征对比计算模型。
RGB-D图像显著性检测因为相比RGB图像的显著性检测增加了Depth 图像，所以3D显著性计算模型中必须考虑Depth图像对显著性计算的影响。因此，在RGB-D图像显著性检测过程中存在两个重要的挑战，即如何计算由Depth图像产生的显著性以及如何融合RGB图像产生的显著性得到最终的3D显著性。
现有技术中，RGB-D图像显著性检测模型在融合显著特征时没有考虑 RGB图像显著特征和Depth图像显著特征分布关系，而直接将Depth显著特征与RGB显著特征进行线性融合。3D显著性检测模型不同于传统2D显著性检测模型的地方是增加评估深度特征对显著性检测的影响，所以如何融合Depth图像的深度特征与RGB图像的颜色等特征得到3D显著性是研究重点。
技术实现要素：
针对上述现有技术中的问题，本发明解决了显著特征线性融合的处理准确率的问题。
本发明提供了显著图像的提取处理方法，包括：
步骤S101，通过RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征；
步骤S102，通过Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征；
步骤S103，假设获取所述RGB显著特征与所述Depth显著特征服从高斯分布；
步骤S104，RGB显著特征与Depth显著特征满足条件独立分布，采用贝叶斯框架进行融合，估计图像显著性后验概率得到显著性区域；
步骤S105，根据所述显著性区域对图形进行处理。
在一种优选的实施方式中，所述步骤S101包括：
通过深层卷积神经网络方法对RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征。
在一种优选的实施方式中，所述步骤S102包括：
通过深层卷积神经网络方法对Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征。
在一种优选的实施方式中，所述步骤S103中包括：
通过贝叶斯框架融合所述RGB显著特征与所述Depth显著特征的概率分布。
在一种优选的实施方式中，所述步骤S101前包括：
步骤S100，基于3D图像Kinect传感器进行RGB-D图像采集。
同时，本发明还提供了显著图像的提取处理系统，包括：RGB显著性区域获取单元、Depth显著性区域获取单元、基于贝叶斯框架融合单元，显著性区域获取单元及图形处理单元；其中，
RGB显著性区域获取单元，配制为通过RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征；
Depth显著性区域获取单元，配制为通过Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征；
基于贝叶斯框架融合单元，配置为获取所述RGB显著特征与所述Depth 显著特征的满足条件独立分布，并且假设显著特征均服从高斯分布，基于朴素贝叶斯计算显著性后验概率；
显著性区域获取单元，配置为若所述区域的后验概率大于0.5，则提取该所在的区域为显著性区域；
图形处理单元，配置为根据所述显著图形区域对图形进行处理。
在一种优选的实施方式中，所述RGB显著性区域获取单元还配制为：
通过深层卷积神经网络方法对RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征。
在一种优选的实施方式中，所述Depth显著性区域获取单元还配制为：
通过深层卷积神经网络方法对Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征。
在一种优选的实施方式中，所述基于贝叶斯框架融合单元还配制为：
假设RGB显著特征和Depth显著特征服从高斯分布，通过贝叶斯框架融合获取所述RGB显著特征与所述Depth显著特征的概率分布。
在一种优选的实施方式中，图像采集单元，配制为图像采集。
从而本发明的有益效果在于：采用深层卷积神经网络提取RGB图像和 Depth图像高层显著性特征，分析显著性特征的相关性，RGB显著特征和 Depth显著特征满足条件独立分布，在贝叶斯框架下进行融合，采用DMNB 生成模型建模3D显著性检测，得到较好的准确率、召回率和F度量。
附图说明
图1是本发明显著图像的提取处理方法的流程示意图；
图2是本发明显著图像的提取处理系统的结构示意图；
图3是NLPR数据集和NJU-DS2000数据集RGB图像和Depth图像显著特征的类条件互信息熵分布图，(a)NLPR数据集颜色-深度显著情况,(b)NLPR数据集颜色显著情况,(c)NLPR数据集深度显著情况,(d) NJU-DS2000数据集颜色-深度显著情况,(e)NJU-DS2000数据集颜色显著情况,(f)NJU-DS2000数据集深度显著情况；
图4是基于DMNB模型显著性检测的图模型；
图5是对比基于生成聚类和狄利克雷过程聚类方法确定DMNB模型混合分量参数C，(a)针对NLPR数据集显著特征生成聚类图，(b)针对 NLPR数据集基于狄利克雷过程的显著特征聚类图,其中不同颜色和形状的数目代表DMNB模型混合分量参数C对于NLPR数据集,得到C＝24，(c) 针对NJU-DS2000数据集显著性特征生成聚类图，(d)针对NJU-DS2000数据集基于狄利克雷过程的显著特征聚类图,其中不同颜色和形状的数目代表DMNB模型混合分量参数C，对于NJU-DS2000数据集,得到C＝28；
图6是NLPR数据集颜色-深度显著情况显著图对比，(a)RGB图像,(b) Depth图像,(c)真值图,(d)ACSD方法,(e)GMR方法,(f)MC方法,(g) MDF方法,(h)LMH方法,(i)GP方法,(j)本文方法；
图7是NLPR数据集颜色显著情况显著图对比，(a)RG图像,(b)Depth 图像,(c)真值图,(d)ACSD方法,(e)GMR方法,(f)MC方法,(g)MDF方法, (h)LMH方法,(i)GP方法,(j)本文方法；
图8是NLPR数据集深度显著情况显著图对比，(a)RGB图像,(b) Depth图像,(c)真值图,(d)ACSD方法,(e)GMR方法,(f)MC方法,(g)MDF 方法,(h)LMH方法,(i)GP方法,(j)本文方法；
图9是NLPR数据集ROC曲线对比图，(a)颜色-深度显著,(b)颜色显著,(c)深度显著,(d)总体情况；
图10是NLPR数据集F测度结果对比图，(a)颜色-深度显著,(b)颜色显著,(c)深度显著,(d)总体情况；
图11是NJU-DS2000数据集颜色-深度显著情况显著图对比，(a) RGB图像,(b)Depth图像,(c)真值图,(d)ACSD方法,(e)GMR方法,(f) MC方法,(g)MDF方法,(h)本文方法；
图12是NJU-DS2000数据集颜色显著情况显著图对比，(a)RGB图像, (b)Depth图像,(c)真值图,(d)ACSD方法,(e)GMR方法,(f)MC方法,(g) MDF方法,(h)本文方法；
图13是NJU-DS2000数据集深度显著情况显著图对比，(a)RGB图像, (b)Depth图像,(c)真值图,(d)ACSD方法,(e)GMR方法,(f)MC方法,(g) MDF方法,(h)本文方法；
图14是NJU-DS2000数据集ROC对比图，(a)颜色-深度显著,(b)颜色显著,(c)深度显著,(d)总体情况；
图15是NJU-DS2000数据集F测度结果对比图，(a)颜色-深度显著, (b)颜色显著,(c)深度显著,(d)总体情况。
具体实施方式
下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了显著图像的提取处理方法，该处理方法实施步骤如图1 所示：
步骤S100，基于3D图像Kinect传感器进行RGB-D图像采集。
步骤S101，通过RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征。
步骤S102，通过Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征。
步骤S103，假设获取所述RGB显著特征与所述Depth显著特征服从高斯分布。
步骤S104，RGB显著特征和Depth显著特征满足条件独立分布，采用贝叶斯框架进行融合，估计图像显著性后验概率得到显著性区域。
步骤S105，根据所述显著性区域对图形进行处理。
步骤S101包括：
通过深层卷积神经网络方法对RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征。
所述步骤S102包括：
通过深层卷积神经网络方法对Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征。
步骤S103中包括：
通过贝叶斯框架融合所述RGB显著特征与所述Depth显著特征，基于显著特征服从高斯分布计算显著性后验概率。
同时，本发明还公开了显著图像的提取处理系统，如图2所示：上述处理系统包括：图像采集单元、RGB显著性区域获取单元、Depth显著性区域获取单元、基于贝叶斯框架融合单元，显著性区域获取单元及图形处理单元。
图像采集单元，配制为图像采集。
RGB显著性区域获取单元，配制为通过RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征。
Depth显著性区域获取单元，配制为通过Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征。
基于贝叶斯框架融合单元，配置为获取所述RGB显著特征与所述Depth 显著特征满足条件独立分布，并且假设显著特征均服从高斯分布，基于朴素贝叶斯计算显著性后验概率。
显著性区域获取单元，配置为若所述区域的后验概率大于0.5，则提取该区域为显著性区域。
图形处理单元，配置为根据所述显著图形区域对图形进行处理。
RGB显著性区域获取单元还配制为：
通过深层卷积神经网络方法对RGB通道对当前图像的特征进行分析，获取当前图像的RGB显著特征。
Depth显著性区域获取单元还配制为：
通过深层卷积神经网络方法对Depth通道对当前图像的特征进行分析，获取当前图像的Depth显著特征。
基于贝叶斯框架融合单元还配制为：
假设RGB显著特征和Depth显著特征服从高斯分布，通过贝叶斯框架融合获取所述RGB显著特征与所述Depth显著特征的概率分布。
针对3D显著性在RGB图像和Depth图像三种不同分布情况,采用两个不同的深层卷积神经网络分别单独提取RGB图像和Depth图像显著特征, 其中提取RGB图像的深层卷积神经网络采用Clarifai网络,定义为Υ；提取 Depth图像的深层卷积神经网络定义为Ψ,采用监督迁移学习方法得到。
1、基于深层卷积神经网络提取RGB图像和Depth图像显著特征
1.1 RGB-D图像超像素分割
为了提高图像处理效率,基于全局特征的显性检测方法从基于像素为处理单位向基于超像素为处理单位转变。采用SLIC超像素分割算法分别对 RGB图像和Depth图像进行超像素分割时,由于没有考虑颜色和深度的相互约束关系,得到的超像素边界并不准确。所以,对于RGB-D图像超像素分割需要同时考虑颜色信息和深度信息。在SLIC算法的基础上提出融合颜色信息和深度信息的超像素分割距离度量,如下式所示:
其中dd＝√(dj-di)2表示Depth图像像素i和j的距离度量,dlab和dxy分别为原有SLIC算法颜色和位置的距离度量。ωd和m/S分别是深度信息和位置的权重,Ds是RGB-D图像超像素分割的距离度量。
1.2基于监督迁移学习提取Depth图像特征
在显著性检测数据集中，Depth图像数量远远没有RGB图像那么多,所以直接采用深层卷积神经网络对Depth图像进行训练提取显著性特征需要克服过拟合问题。在RGB-D图像NLPR数据集中,RGB图像和Depth图像是成对的,并且RGB图像和Depth图像表示同一场景下两种不同的数据模式, 采用基于监督迁移学习方法利用在RGB图像训练得到的Clarifai网络在有限的Depth图像进行训练,克服深层卷积神经网络由训练图像数量过少而导致过拟合问题。
假设RGB图像显著性数据模式为Ms，Depth图像显著性数据模式为 Md。存在基于RGB图像训练得到的显著性检测K层深层卷积神经网络结构为基于Depth图像训练得到的显著性检测L层深层卷积神经网络结构为在子数据集Db中,基于RGB图像训练得到的深层卷积神经网络监督迁移得到基于Depth图像训练得到的深层卷积神经网络过程如下式:
其中是深层卷积神经网络Ψ的参数；i*是深层卷积神经网络Ψ的层数并且满足i*∈[1,···,K].f()是损失函数,本文采用欧式度量,并且设定K和L相同。.
1.3基于深层卷积神经网络提取RGB图像和Depth图像显著特征
RGB-D图像显著特征条件独立分析用类条件互信息熵来分析深层卷积神经网络提取RGB图像和Depth图像显著特征的相关性。定义二值随机变量zs表示显著性类别，RGB图像显著特征xc和Depth图像显著特征xd的类条件互信息熵计算公式定义如下:
其中H(xc|zs)表示RGB图像显著特征xc的类条件熵,定义为
H(xd|zs)表示Depth图像显著特征xd的类条件熵,定义为
H(xc,xd|zs)表示RGB图像和Depth图像显著特征的联合类条件熵,定义为
RGB图像显著特征和Depth图像显著特征的类条件互信息熵值分布如图3所示,对于NLPR数据集，3D显著性分布的颜色-深度显著情况、颜色显著情况和深度显著情况分别有80.1％、99.5％和84.0％的类条件互信息熵值分布在0.2以下；对于NJU-DS2000数据集,3D显著性分布的颜色-深度显著情况、颜色显著情况和深度显著情况分别有84.8％、96.5％和88.8％的类条件互信息熵值分布在0.2以下。对于3D显著性分布的颜色显著情况和深度显著情况,因为3D显著性区域只在RGB图像或者Depth图像是显著的,对应的类条件互信息熵值较小，即RGB图像显著特征和Depth图像显著特征的相关性较低。而对于3D显著性分布的颜色-深度显著情况,虽然3D 显著性区域同时存在RGB图像和Depth图像,但是大部分情况是RGB图像显著区域与Depth图像显著区域是互补关系,即RGB图像显著区域与Depth 图像显著区域部分重叠,对应的类条件互信息熵值较小；只有少部分情况是 RGB图像显著区域与Depth图像显著区域完全重叠,对应的CMI值较大。
2、基于贝叶斯框架的RGB-D图像显著特征融合
定义二值随机变量zs表示RGB-D图像超像素是否显著,给定对应的 RGB图像的显著特征xc和Depth图像的显著特征xd,显著性检测可认为估计像素显著性后验概率的贝叶斯推理问题,定义如下:
其中p(zs|xc,xd)表示RGB-D图像超像素是否显著性的概率,p(xc,xd)表示观察到的RGB图像和Depth图像显著特征概率分布,p(zs,xc,xd)为隐藏类别变量 zs和显著特征xc,xd的联合概率分布,定义为p(xc，xd|zs)＝p(xc|zs)p(xd|zs)。
计算RGB图像显著特征xc和Depth图像显著特征xd的类条件互信息熵值,当给定显著类别zs下xc和xd相互独立分布时类条件互信息熵等于0；而当xc和xd是确定函数关系时类条件互信息熵值达到最大值1。采用类条件互信息熵阈值τ来量化显著性特征的相关性,即当xc和xd的类条件互信息熵值小于阈值τ时,认为给定显著类别变量zs下的xc和xd是条件独立分布的。在显著特征条件独立分布的情况下,p(xc,xd|zs)＝p(xc|zs)p(xd |zs),RGB-D图像显著性计算如下式:
p(zs|xc，xd)∝p(zs)p(xc|zs)p(xd|zs). (8)
2.1基于DMNB模型建模显著性检测
假设RGB图像显著特征和Depth图像显著特征在给定显著类别下是条件独立分布的,采用贝叶斯框架融合颜色显著特征和深度显著特征,基于DMNB模型计算RGB-D图像显著性.DMNB模型是朴素贝叶斯(Navie Bayes)模型在以下两方面的扩展:
(1)在朴素贝叶斯模型中,所有特征共享一个分量(Component)；而在 DMNB模型中,每个特征有独立的分量,并且这些分量分布服从狄利克雷 (Dirichlet)-多项式先验分布。
(2)在朴素贝叶斯模型中,共享分量作为类别标签(Indicator)；而在 DMNB模型中,类别标签由混合隶属度(Mixed membership)逻辑回归产生。
基于DMNB模型的显著性检测图模型如图4所示,其中假设RGB图像显著特征和Depth图像显著特征X＝(xc,xd)服从高斯分布以及标签Y符合伯努利(Bernoulli)分布。在NLPR数据集中选取M个RGB-D图像超像素特征{(xij)|i＝1,···,M,j＝1,···,N}和标签{yi|i＝1,···,M}进行生成模型训练, 通过生成{X,Y}的概率最大来估计DMNB模型参数,其中N为显著特征维数。
基于DMNB模型显著性检测的生成过程如算法1所示,其中p(·|α)表示参数为α的狄利克雷分布,p(·|θ)表示参数为θ的多项式分布,p(xj|zj,Ωj)表示给定隐藏类别zj参数为Ωj的高斯分布,p(y|zj,η)为给定隐藏类别zj参数为η的伯努利分布。(x1:N,y)的边缘分布如下:
其中θ是C分量的先验分布,Ω＝{(μjk,σ2jk)|j＝1,···,N,k＝1,···,C}, 由于式(9)中存在隐藏变量 z而无法直接计算其概率,采用变分推理的方法进行求解。
算法1.基于DMNB模型的显著性检测生成过程
1.输入:C。
初始化:α,η。
2.抽取分量比例:θ～p(θ|α)
3.对于特征:
选择一个分量zj～p(zj|θ)；
选择一个特征值xj～p(xj|zj,Ωj)。
4.抽取标签:y～p(y|zj,η)；
5.输出:联合概率分布p(x1:N,y|α,Ω,η)。
2.2变分求解
为了求解log p(y,x1:N|α,Ω,η)的下界,引进变分分布q(z1:N,θ|γ,φ)来近似含有隐藏变量的真值后验分布p(z1:N,θ|α,Ω,η)。直接应用Jensen’s不等式,log p(y,x1:N|α,Ω,η)的下界:
注意到x1:N和y在给定z1:N是条件独立的,得到变分分布如下:
其中q(θ|γ)是C维θ的狄利克雷分布,q(zj|φ)是zj的多项式分布.采用L 表示下界函数,如式(12)所示:
其中ξ>0是新引入的变分参数,如式(13)所示:
根据变分参数γk,φk和ξ最大化下界函数得到参数更新如式(14),(15)和(16)所示:
在变分推理优化对数似然函数的下界过程中,使累积下界在所有训练数据(xi,yi)最大,由变分参数 (γ*，φ*，ξ*)来产生估计参数μ,σ和η,如式(17),(18)和(19)所示:
基于变分推理和参数估计更新公式,直接构造变分期望最大算法估计参α,Ω和η,如算法2所示。
算法2.基于DMNB模型显著性建模的变分期望最大求解算法
1.输入:收敛阈值εL。
初始化:α0,Ω0,η0。
2.计算期望:在训练数据集基于参数(αm-1，Ωm-1，ηm-1)下根据式 (20)计算最优变分参数,并计算log p(yi，x1：N|α，Ω，η)的下限
3.最大化过程:根据式(21)跟新DMNB模型参数(α,Ω,η),计算逼近下限
4.输出:α,Ω,η。
通过变分期望最大算法得到DMNB模型参数后,基于参数η给定特征 x1:N进行显著性预测,如式(22)所示:
其中z为所有观察到特征值的z1:N的均值。由于无法直接计算E[z]值,引入分布q(z1:N,θ)并且计算Eq[z]作为E[z]的近似。在实际求解中,Eq[z]＝φ,因此式(22)求解只需比较ηTφ和0。
2.3参数分析和设置
本文涉及到的参数如表1所示,本节主要讨论如何确定类条件互信息熵阈值参数τ和DMNB模型混合分量参数C。
表1参数表
在训练DMNB模型时,为了满足条件独立的假设,我们选取数据集中 RGB图像显著特征和Depth图像显著特征的类条件互信息熵值小于τ作为训练样本,而对于类条件互信息熵阈值参数选取决定训练样本的数量。通过 1.3节分析,对于NLPR数据集有84.3％的RGB图像和Depth图像的类条件互信息熵值小于0.2,对于NJU-DS2000数据集有87.3％的RGB图像和 Depth图像的类条件互信息熵值小于0.2。选择τ＝0.2,选取数据集中样本的80％且类条件互信息熵值小于τ用于训练,剩余20％的样本用于测试。
对于算法1中DMNB模型分量参数C的选择,可通过狄利克雷过程混合模型(Dirichlet process mixture model,DPMM)基于训练样本找到合适的数值。DPMM通过混合分量数值随着训练集增加而增长,提供一个非参数的混合模型参数的先验值。通过观察图5(b)和图5(d)，通过狄利克雷过程混合模型算法得到参数C分别为24和28,表示NJU-DS2000数据集比NLPR数据集更复杂。
使用交叉认证方法来验证参数C,给定一个由狄利克雷过程混合模型得到的参数C的取值范围,选取NLPR数据集训练样本的90％作为训练集,选取训练样本的10％作为验证集。复杂度(Perplexity)定义为Perplexity ＝exp(-∑ni＝1log p(xi)/n),其值越小表示DMNB生成模型描述数据能力越好, 其中n为训练集和测试集中选取特征xi的数量。对于生成模型DMNB,较大的参数C更易在训练集得到较低的Perplexity值,因为较大的参数C增加了模型的复杂度来拟合训练集然而,模型的复杂度会降低泛化的能力而在测试集得到较高Perplexity值。在下面对比实验中,选取C＝24,对于NLPR数据集和NJU-DS2000数据集DMNB模型分别进行学习和测试。
DMNB模型由M个RGB-D图像超像素进行训练,其超像素分割参数为S＝40,m＝20和ωd＝1.0。其超像素显著特征由RGB图像深层卷积神经网络和Depth图像深层卷积神经网络的倒数第二层输出,超像素显著特征维数N ＝8192。对于算法1中参数Ω由训练数据的均值和方差初始化,并且初始化参数α＝Mc/M,其中Mc为训练集中分量c的特征数量。最后,设置算法2中参数εL＝0.001进行DMNB模型参数求解。
3.实验结果和分析
本文提出的方法均以BFSD(Saliency detectionbased on Bayesian fusion) 简称,采用Matlab 7.12实现算法,并在Intel Core(TM)i5-6400CPU,8G内存 PC机上完成所有实验.将所提出的方法与六种sate-of-the-art显著性检测方法进行比较,其中包括基于图像边界先验知识的流形排序2D显著性检测方法GMR,基于深层卷积神经网络提取全局和局部特征的2D显著性检测方法 MC,基于深层卷积神经网络提取多尺度局部特征的2D显著性检测方法 MDF,基于Depth图像深度对比特征的显著性检测方法ACSD,基于2D显著图与深度显著图融合的3D显著性检测方法LMH以及融合深度先验的3D 显著性检测方法GP。这些方法的显著性结果均通过运行原作者公开的源代码得到。
3.1实验数据和评价标准
在本节中,我们选取NLPR数据集和NJUDS2000数据集进行对比实验, 如表2所示。NLPR数据集通过Kinect设备采集不同真实场景下的1000张 3D图片,分别存储成RGB图像、Depth图像和真值图像(Ground truth,GT), 其中真值图像由5位参与者选出引人注意的显著物体区域得到,即手工标记出显著的区域为255,非显著区域为0。该数据集由中国科学院自动化研究所提供,以便客观地评估3D显著性检测模型的性能。NJU-DS2000数据集采用双目视觉方法得到不同场景下的2000张3D图片,其中真值图像由4名自愿者手工标定。与NLPR数据集不同的是,其Depth图像由两个视角的RGB 图像通过立体匹配得到。该数据集由南京大学提供,在NJU-DS400数据集基础上进行扩充。
表2 NLPR数据集和NJU-DS2000数据集分布情况
目前为止,还没有特定的标准来评价3D显著性检测方法的性能指标.然而,对于2D情况下有不同指标应用于评价显著性检测方法的性能。引入两种评价标准来评估3D显著性检测方法的性能:第一种是F测度(F-measure), 第二种是ROC(Receiver operating characteristic)曲线.F测度是一种通过加权准确率(Precision)和召回率(Recall)的整体性能评价标准,定义如下:
准确率是检测到且属于真值图像的部分所占检测到所有部分的比例,召回率是检测到且属于真值图像的部分占真值图像的比例。为了强调在显著性检测中准确率相对召回率的重要性,将β2设置为0.3。计算F测度时,选取显著图平均值的2倍作为动态阈值,定义如下:
其中W和H分别表示图像的宽度和高度,S(i,j)是(i,j)位置处像素点的显著性值。
第二种评价标准是ROC(Receiver operatingcharacteristic)曲线和 AUC(The area under theROC curve)值。ROC曲线是一种分析决策性能的定量方法,用来评价显著性检测结果是否与真实值图像一致性。将算法得到显著性图归一化为[0,255]的范围,然后选取阈值从0到255依次变化分割显著图得到二值图像.同时将真值图像二值化,其中显著区域像素值为255,非显著区域像素值为0。最后参照真值图像计算真正率(True positive rate)和假正 (Falsepositive rate)绘制ROC曲线。AUC值为ROC曲线下的面积,其AUC 值越大表示算法性能越好。
3.2 NLPR数据集实验比较
3.2.1运行时间比较表3给出提出的方法BFSD与GMR、MC、MDF、ACSD、LMH和GP六种方法在NLPR数据集上处理一幅RGB-D图像的平均运行时间的对比,其中2D显著性检测方法GMR、MC和MDF 只处理RGB图像得到显著图,ACSD显著性检测方法只处理Depth图像得到显著图,BFSD和3D显著性检测方法LMH、GP同时处理RGB图像和Depth图像得到显著图。由于实验PC机没有GPU卡进行加速,基于深层卷积神经网络提取显著特征的方法MC、MDF和BFSD运行时间均较长,其中MDF运行时间最长是因为采用多尺度超像素分割进行显著性检测,以不同尺度下得到的超像素为中心生成3个不同尺寸的矩形框区域由深层卷积神经网络提取特征,最后将不同尺度下得到的显著图经过条件随机场(Conditional randomfield)框架进行显著图融合。而ACSD运行时间最短是因为该算法只处理Depth图像,通过SLIC超像素分割算法得到超像素区域,计算超像素的各向异性-周边差异进行显著性检测.运行时间最长的MDF方法与运行时间最短的ACSD方法处理时间的差异在于三个方面的原因:第一个原因是MDF方法是基于多尺度超像素分割,而ACSD 是单尺度超像素分割；第二个原因是MDF方法基于深层卷积神经网络提取显著特征,即以不同尺度下得到的超像素为中心生成3个尺寸的矩形区域采用深层卷积神经网络提取特征,而ACSD方法采用超像素的各向异性-周边差异进行显著特征提取；第三个原因是MDF方法采用条件随机场对不同尺度得到的显著图进行融合,而ACSD方法不需要融。其中最耗费时的是采用深层卷积神经网络提取特征的部分,因为实验机器没有 GPU卡而通过CPU模式运行深层卷积神经网络。未来采用GPU卡运行深层卷积神经网络提取特征,MDF方法运行时间会大幅降低,也包括本文提出的方法BFSD。
表3 NLPR数据集处理一幅RGB-D图像平均时间比较
3.2.2颜色-深度显著情况实验比较
对于3D显著性分布的颜色-深度显著情况,各显著性检测方法得到的显著图如图6所示。对于颜色-深度显著的情况,显著性区域在RGB图像和Depth图像均有分布,采用融合RGB图像显著特征和Depth图像显著特征的方法LMH、GP利用Depth图像深度特征克服RGB图像背景的干扰如图6第3行所示的黑色木雕。然而,RGB图像中存在显著区域与周围区域颜色等低层特征对比度不高的情况,基于深层卷积神经网络的显著性检测方法MC、MDF提取的高层类别特征克服RGB图像显著区域颜色等低层特征对比度不高的情况如图6第1行所示的白色”请勿泊车”的牌子与周围白色水泥路面。采用深层卷积神经网络提取Depth图像的高层类别特征,在贝叶斯框架下与深层卷积神经网络提取RGB图像的高层类别特征融合,能够克服3D显著性区域在RGB图像和Depth图像与周围区域低层特征对比度不高的情况,如图6第10行所示的花叶。
如图9(a)和图10(a)所示，本文提出的方法BFSD与GMR、MC、 MDF、ACSD、LMH和GP六种方法在NLPR数据集颜色-深度显著情况的ROC曲线、准确率、召回率和F测度对比。基于深层卷积神经网络的显著性检测方法MC、MDF优于基于低层特征的显著性检测方法GMR,因为深层卷积神经网络提取RGB图像的高层特征含有的类别信息能够克服显著区域与周围背景区域低层特征对比度不高的情况。由于Depth图像深度低层特征的局限,对于仅仅提取深度对比特征的显著性检测方法ACSD 较其他显著性检测方法明显处于劣势。融合深度先验的3D显著性检测方法 GP优于基于边界先验显著性检测方法GMR,而简单融合RGB图像显著图与 Depth图像显著图的3D显著性检测方法LMH没有比GMR方法具有明显优势。采用深层卷积神经网络提取Depth图像的高层类别特征,在贝叶斯框架下与深层卷积神经网络提取RGB图像的高层类别特征融合,在检测准确率、召回率和F测度均优于其他六种方法。如9(a)所示,由于颜色-深度显著情况下颜色显著特征与深度显著特征不是严格条件独立,所以提出的方法与同样基于深层卷积神经网络提取显著特征的MC、MDF方法ROC曲线相近,对应的AUC值比较如表4第一行所示。
表4 AUC值比较
3.2.3颜色显著情况实验对比
对于3D显著性分布的颜色显著情况,上述显著性检测方法得到的显著图如图7所示。由于3D显著性区域只在RGB图像是显著的,而在Depth图像是非显著的,基于Depth图像深度特征的显著性检测方法ACSD很难检测到正确的显著性区域,如图7第5行中的雕像；基于简单融合RGB图像显著图和Depth图像显著图的3D显著性检测方法LMH受到深度显著图的干扰,也很难检测到正确的显著性区域,如图7第2行中的球柱建筑。如图 9(b)所示,对于3D显著性分布的颜色显著情况,显著性区域只在RGB图像有分布,而在Depth图像上是不显著的,对于直接融合深度特征的3D显著性方法GP、LMH明显受到Depth图像显著性特征的干扰,而基于RGB图像的显著性检测方法GMR、MC、MDF则没有什么影响,其AUC值对比如表4第2行所示。如图9(b)所示,GP和LMH方法对于颜色显著情况检测的准确率、召回率和F测度指标都劣于颜色-深度显著的情况。分析深层卷积神经网络提取的RGB图像和Depth图像的显著特征的相关性,采用基于贝叶斯框架进行颜色特征和深度特征的融合,优于直接融合深度特征的策略。
3.2.4深度显著情况实验对比
对于3D显著性分布的深度显著情况,上述显著性检测方法得到的显著图如图8所示。由于3D显著性区域在RGB图像是不显著的,基于RGB图像2D显著性检测方法GMR、MC、MDF很难得到正确的显著性区域,如图8第2行所示黑色的鼎。基于边界先验的显著性检测方法GMR方法假设显著性区域绝大数分布在图像的中心位置,而背景分布在图像的边缘,所以很难处理显著性区域分布在图像边界的情况,如图6中第8行所示的白色石柱、如图7中第5行所示的塑像、如图8中第3行所示的石灯。由于 3D显著性区域只在Depth图像是显著的,直接融合RGB图像显著图和 Depth图像显著图的3D显著性检测方法LMH和利用深度先验的3D显著性检测方法GP通过利用Depth图像深度特征能够有效减少RGB图像对3D 显著性区域检测的干扰,如图8第4行的灯光和第5行的柜子。本文提出的方法BFSD考虑深层卷积神经网络提取的RGB图像和Depth图像显著性特征是条件独立分布的,基于贝叶斯框架进行融合显著特征,由生成模型建模 3D显著性检测得到显著性区域,如图8第3行中的石灯。
如图9(c)所示,对于3D显著性分布的深度显著情况,显著性区域只在 Depth图像是显著的,而在RGB图像上是不显著的,而融合深度特征的3D 显著性检测方法GP和LMH利用Depth图像深度特征克服RGB图像不显著,优于基于RGB图像的显著性检测方法GMR、MC和MDF,其AUC值对比如表4第3行所示。如图10(c)所示,GMR、MC和MDF方法在深度显著情况的准确率、召回率和F测度指标劣于颜色-深度显著的情况,而优于颜色显著的情况。与颜色显著情况相似,在深度显著情况下,深层卷积神经网络提取的RGB图像和Depth图像的显著特征是条件独立分布的,基于贝叶斯框架进行颜色特征和深度特征的融合,优于直接融合深度特征的策略。
表4给出本文提出的方法BFSD与GMR、MC、MDF、ACSD、LMH 和GP六种方法在NLPR数据集上的AUC值对比。基于深度特征的显著性检测方法ACSD在3D显著性分布深度显著情况得到比颜色-深度显著情况和颜色显著情况较高的AUC值,但是总体比其他方法的AUC值较低, 仅仅基于Depth图像的深度特征的3D显著性检测无法得到较高的性能；在3D显著性分布的深度显著情况,融合深度特征的3D显著性检测方法 LMH、GP和BFSD均比基于RGB图像显著特征的方法GMR、MC和MDF 要好,说明深度特征能够在RGB图像不显著时有助于3D显著性检测；在 3D显著性分布的颜色显著情况,融合深度特征的3显著性检测方法LMH、 GP却比基于RGB图像显著性特征的方法GMR、MC和MDF要差,说明在融合深度特征的时候也要考虑颜色特征和深度特征的分布关系。采用类条件互信息熵分析深层卷积神经网络提取的RGB图像和Depth图像显著特征的相关性,假设条件独立下基于贝叶斯框架下进行特征融合,在3D显著性分布的三种情况均得到较高的AUC值。
如图10(d)所示,本位提出的方法BFSD与GMR、MC、MDF、 ACSD、LMH和GP六种方法在整个NLPR数据集上的准确率、召回率和F测度的对比。对比不同的融合策略来融RGB图像的颜色特征和Depth图像的深度特征发现,采用相乘融合方法的3D显著性检测方法LMH与基于低层颜色特征2D显著性检测方GMR有相近的F测度；而采用融合深度先验的3D显著性检测方法GP得到比基于低层颜色特征2D显著性检测方法GMR更高的F测度。基于深层卷积神经网络的MC 和MDF方法采用高层类别特征较基于合低层颜色特征和深度特征的3D显著性检测方法LMH和GP有较高的准确率、召回率,说明高层特征比低层特征有助于显著性检测；采用深层卷积神经网络提取RGB图像和Depth图像高层显著特征,在贝叶斯框架下进行融合,在3D显著性分布的三种情况均得到较好的准确率、召回率和F测度。
3.3 NJU-DS2000数据集实验比较
NJU-DS2000数据集深度信息获取方式与NLPR数据集深度信息获取方式不同,其中NLPR数据集深度信息由三维点云表示的绝对深度值,而 NJU-DS2000数据集深度信息是由视差图表示的相对深度值。由于LMH和 GP方法针对NLPR数据集设计,融合的深度显著性需要绝对深度值计算得到,所以在NJU-DS2000数据集对比实验缺少LMH和GP方法的实验结果。
本文提出的方BFSD与GMR、MC、MDF和ACSD四种方法在 NJU-DS2000数据集的实验结果如图11,图12,图13,图14和图15所示。图 11NJUDS2000数据集颜色-深度显著情况下显著图对比,在该情况下显著区域的颜色信息和深度信息存在互补的关系,提出的方法BFSD通过融合颜色和深度信息相比只考虑颜色信息的GMR、MC和MDF方法和只考虑深度信息的ACSD方法得到更完整的显著图。如图14(a)和图15(a)所示,BFSD得到的ROC曲线以及准确率、召回率和F测度均优于上述四种方法。
如图12所示，NJU-DS2000数据集颜色显著情况下显著图检测结果对比。由于3D显著区域只在RGB图像是显著的,而在Depth图像是不显著的, 只考虑深度信息进行显著性检测的ACSD方法较难得到准确的显著区域, 如图14(b)所示,基于颜色信息进行显著性检测的方法比ACSD方法均获得较好的ROC曲线。如图15(b)所示,基于颜色信息进行显著性检测方法中,由于MC和MDF方法采用深层卷积神经网络提取高层类别特征得到比基于低层特征的GMR方法得到更高的召回率。
如图13所NJU-DS2000数据集深度显著情况下显著图检测结果对比。在NJU-DS2000数据集深度显著情况下,由3D显著区域只在Depth图像是显著的,而在RGB图像是不显著的,只考虑颜色信息进行显著性检测的 GMR、MC和MDF方法较难得到准确的显著区域。相比颜色显著情况,基于低层特征的GMR方法检测准确率迅速降低,如图15(b)和图15(c)所示。而基于深度信息进行显著性检测的ACSD方法比基于颜色信息进行显著性检测的方法得到较高的召回率,如图15(c)所示。
本文提出的方法BFSD利用显著区域的颜色和深度特征分布关系基于贝叶斯框架下进行融合,在颜色显著情况和深度显著情况下均得到较好的 ROC曲线,如图14(b)和图14(b)所示。最后,如图15(d)所示,对于 NJU-DS2000数据集总体情况本文提出的方法BFSD在检测准确率、召回率和F测度均优于GMR、MC、MDF和ACSD四种方法。
4结论
提出一种基于贝叶斯框架融合RGB图像颜色信息和Depth图像深度信息的RGB-D图像显著性检测方法。首先分析3D显著性在RGB图像和 Depth图像分布的情况,采用类条件互信息熵分析由卷积神经网络提取的颜色特征和深度特征的条件独立性,根据贝叶斯定理得到RGB-D图像显著性的后验概率。假设颜色特征和深度特征符合高斯分布,采用DMNB生成模型进行显著性检测建模,其模型参数由变分最大期望算法进行估计。在 RGB-D图像显著性目标公开数据集NLPR和NJU-DS2000上测试,对于3D 显著性分布的三种情况,提出的方法BFSD与六种stateof-the-art显著性检测方法比较,其中包括2D显著性方法ACSD、GMR、MC、MDF和3D显著性检测方法LMH、GP,实验结果表明提出的方法均获得较高的准确率和召回率。
对于基于贝叶斯框架的RGB-D显著性检测问题,未来仍有大量工作需要进行,主要包括先验参数的在线估计以及变分推理问题的算法优化。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。