然后计算区域对比度描述子。图像的颜色和纹理信息可W用一个特征向量来 描述每一个区域，用V来表示。对于区域ReSm，本发明把和它直接邻接的几个区域当作一个 整体，并且计算其颜色和纹理特征/。区域对比度描述子就定义成该区域特征和它的邻域 特征的差值。其中，特征中包含的直方图的差值会按分布差别度来计算。
[0027] 11)接着计算区域背景度量描述子。区域R的背景度量特征被定义为其背景度量特 征/和背景区域的特征γΒ的差值。运样形成了一个63维的特征向量。区域对比度和区域背景 度量描述子的详细介绍如表一所示。其中d(Xl，X2) = ( 1x1广Χ2?|，. . .，|χ?η-Χ2η| )，η是向量XI 和Χ2的维度，Μ表示的是绝对值
3是向量hi和h2的维度，Σ表 示的是求和号。
[0028] 表一区域对比度和区域背景度量描述子特征组成
[0029]
[0030]
[0031] 12)再者计算区域性质描述子。除区域对比度之外，还应该考察一个区域的通用性 质，比如表观和几何特征。本发明使用了类似于图像标注的方法分别独立提取两种特征。表 观特征主要用来描述区域的颜色及纹理分布情况，从而可W刻画显著物体和背景的一些通 用特性。例如，背景常常具有同构的颜色分布或相似的纹理模式。几何特征包括区域的大小 W及位置等，可W作为对显著物体或背景的空间分布的描述。例如，显著物体一般距图像中 屯、较近，不会接近图像边界。而背景却往往分散在整幅图像中。区域性质描述子的详细介绍 如表二所示。
[0032] 表二区域性质描述子特征组成
[0033]
[0034] 13)然后设计了一个从大量训练样本中学习到的一个有效的区域显著性估计器。 训练样本包括一个显著性区域的集合W及相对应的显著值。它们都是通过对事先标注了显 著区域的图像进行多尺度分割后，选择不同区域来获得的。如果获得的一个区域所包含的 像素超过90%属于显著物体，本发明认为运是完全置信样本，将它对应的显著值设为1。如 果获得的一个区域所包含的像素超过90%属于背景，将它对应的显著值设为0。两个条件都 不满足的区域，排除在外不参与训练。实验中发现仅有很小一部分的区域是需要排除在外 的。本发明对每一个区域用一个特征向量来表示。该特征向量包括区域对比度，区域性质W 及区域背景度量描述子。从训练数据W及给定的显著值中学习得到一个随机森林回归器。 学习一个显著值回归器可W自动的融合各种特征的优点，并且发现对分类效果最有影响的 特征。本发明选择在一个随机森林回归器中生成200棵决策树，最终的回归结果是决策树结 果的加权平均。
[003引14)对于一幅图像，利用随机森林回归器获得该图像的多个区域的显著图{Ai， A2, ...，Am}，需要一个合并器将它们融合到一起形成最终的显著图。本发明使用一个线性融 合器来实现运一功能：
其中的权重Wm是通过一个最小均方估计器来获得的， 即对所有训练图像最小化W下代价函数
本发明从数据集中选择1000 张图片，加上按照该专利中的方法采集并预处理后的1000张图片来训练回归器及融合器。 本发明训练得到的模型具有普适性，可W适用于对任意RGB-D图像的显著物体检测。最终， 对于输入图像，提取特征并送入训练得到的模型中，即可得到最终的显著图。
[0036] 下面对专利通过随机森林学习的RGB-D显著物体检测算法的效果进行验证。本实 验WPR曲线和本发明计算出的显著图的形式展示该算法的效果。
[0037] 首先，实验使用PR曲线对本发明算法所实现的显著图的效果进行展示。PR (Precision-Recall)曲线是一种对二进制分类器性能进行评价的标准。精确度 (precision)就是分类得出的正确判为正样本TP的样本个数与分类所得所有正样本AP的个 数的比值，其中
查全率(Recall)就是分类出来的结果中，正确分为正样本 的个数占实际正样本RP总个数的比例，其中
因此绘制曲线时，也要对阔值 进行遍历，运样也得到了不同的精确度和查全率的数据点，将它们连成曲线即可。对于显著 性检测，精确度就是在一定阔值下，获得的显著图与真值显著图中显著物体重合部分的像 素个数与获得显著图中显著物体像素的个数的比值。查全率则是获得的显著图与真值显著 图中显著物体重合部分的像素个数与真值显著图中显著物体像素的个数的比值。一般情况 下随着查全率的增大准确度也将增大。附图1是本发明算法和其他算法对比的曲线图，其 中'lea'算法是本发明所提出的算法，其它的是用来对比的算法。
【主权项】
1. 一种基于随机森林学习的RGB-D显著物体检测方法，包括下面的步骤： 1) 首先利用随机森林的方法将图像进行M个尺度的分割； 2) 提取区域特征，包括纹理滤波器响应、颜色直方图特征和LBP算子特征； 3) 计算区域对比度描述子：图像的颜色和纹理信息用一个特征向量来描述每一个区 域，用V来表示，对于区域ReSm，把和它直接邻接的几个区域当作一个整体，并且计算其颜 色和纹理特征/，区域对比度描述子就定义成该区域特征和它的邻域特征的差值，其中，特 征中包含的直方图的差值会按分布差别度来计算。 4) 计算区域对比度和区域背景度量描述子，如表一所示，其中d(xi，X2) = ( I X11-X21 ，...，I X I η - X 2 n I )，η是向量X 1和X 2的维度，I |表示的是绝对值；b是向量hi和h2的维度，Σ表不的是求和号。 表一区域对比度和区域背景度量描述子特征组成5) 计算区域性质描述子，如表二所示： 表二区域性质描述子特征组成6) 设计一个从大量训练样本中学习到的一个有效的区域显著性估计器，训练样本包括 一个显著性区域的集合以及相对应的显著值，它们都是通过对事先标注了显著区域的图像 进行多尺度分割后，选择不同区域来获得的。如果获得的一个区域所包含的像素超过90% 属于显著物体，本发明认为这是完全置信样本，将它对应的显著值设为1。如果获得的一个 区域所包含的像素超过90%属于背景，将它对应的显著值设为0。两个条件都不满足的区 域，排除在外不参与训练;对每一个区域用一个特征向量来表示，该特征向量包括区域对比 度，区域性质以及区域背景度量描述子。从训练数据以及给定的显著值中学习得到一个随 机森林回归器； 7) 对于一幅图像，利用随机森林回归器获得该图像的多个区域的显著图...， Am}，需要一个合并器将它们融合到一起形成最终的显著图。
【专利摘要】本发明涉及一种基于随机森林学习的RGB-D显著物体检测方法，包括：先利用随机森林的方法将图像进行多尺度的分割；提取区域特征，包括纹理滤波器响应、颜色直方图特征和LBP算子特征；计算区域对比度描述子；计算区域对比度和区域背景度量描述子；计算区域性质描述子；设计一个从大量训练样本中学习到的一个有效的区域显著性估计器，从训练数据以及给定的显著值中学习得到一个随机森林回归器。本发明在背景与显著区域区分度较小时依然可以很好地发挥作用。
【IPC分类】G06T7/00, G06T5/00
【公开号】CN105447873
【申请号】CN201510890015
【发明人】周圆, 李成浩, 崔波, 王爱华, 侯春萍
【申请人】天津大学
【公开日】2016年3月30日
【申请日】2015年12月7日