一种基于改进图模型的图像显著性检测方法与流程
本发明涉及一种基于改进图模型的图像显著性检测方法，属于计算机视觉、图像检测技术领域。
背景技术：
显著性检测旨在让计算机拥有人类那样的视觉注意机制，从复杂的场景中找出最引人关注的、极具价值的信息。早期出现的显著性检测算法是针对视觉注意力的检测，目的是预测人眼在图像中的注视点。后来涌现出很多以分割出整个显著物体为目的的显著区域检测。相比前者，显著区域检测具有更高的应用价值。显著性检测模型可以分为自底向上和自顶向下两类。自底向上的模型由数据驱动，利用图像颜色、对比度等计算显著性；自顶向下的模型由任务驱动，往往需要训练大量样本以提取任务目标的特征。本发明主要关注自底向上的检测方法。
国内外很多研究人员都对自底向上的检测方法进行了深入的探索。其中，cheng等利用图像颜色直方图的全局和局部对比计算显著性。tong等通过图像区域间的颜色对比计算提出了基于编码的显著性测量方法。这些仅利用图像局部或全局对比的方法不能正确检测出与背景相似的显著物体。于是研究者在对比计算中引入背景先验、中心先验等知识，通过和假定背景或前景部分的对比计算图像各区域的显著值。
近年来，有人提出图模型的检测方法，即以超像素为节点，将输入图像表示成图的形式，进而展开一系列计算。采用不同的构图方式，qin等利用元胞自动机的传播机制不断更新超像素的显著值。yang等提出流形排序的检测方法，分别将前景或背景视为标签，利用排序函数将图像各部分根据自身同标签项的相关性进行排序，从而求得超像素的显著值。sun等提出基于吸收马尔可夫链的显著性检测模型，将边界节点和其余节点分别视为吸收节点和瞬态节点，通过计算转移时间得到超像素的显著性。zhou等将图像表示成二层稀疏图，利用显著物体的颜色紧凑性提取前景背景种子节点分别计算基于前景、背景种子的显著图并融合。以上方法构图方式和边权值如何分配对检测结果影响很大。其构图方式往往不能充分反应超像素之间的邻接关系，而且多数模型只采用颜色特征计算图的权重矩阵，这都会导致显著性检测效果变差，特别是在复杂环境下显著物体检测不完整或不能均匀突出显著物体内部的问题。
技术实现要素：
针对上述问题，本发明提出一种基于改进图模型的图像显著性检测方法，以解决复杂环境中显著物体检测不完整或不能均匀突出显著物体内部的问题，能够完整检测并均匀分割整个显著物体，提高图像显著性检测算法的性能，对图像相关领域的进一步研究与发展具有极大的促进作用。
实现本发明的关键技术是：对输入图像进行超像素分割，以超像素为节点将图像表示成图的形式，在此基础上展开一系列计算。
先是依据颜色、纹理等底层特征计算图的权重矩阵，结合多种先验知识提取高层特征同时得到基于底层特征的显著图。接着依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取图像前景、背景种子节点，分别计算基于前景种子和背景种子的显著图并融合得到基于高层特征的显著图。最后将两个阶段得到的显著图融合得到最终的显著图。
为实现上述目标，具体实现步骤如下：
(1)将输入图像分割成n个超像素，其中，第i个超像素用vi表示，第j个超像素用vj表示，i、j∈1，2，...，n；
(2)利用输入图像的底层特征计算各超像素之间的相似性形成相似度矩阵a＝[aij]n×n，aij表示超像素vi和vj的相似程度；
(3)以超像素为节点构建无向图：将每个节点同与之相邻的节点相连，并同与相邻节点有公共边的节点中与之最相似的节点相连，最后将输入图像四周属于背景的可能性最大的节点相连；
(4)计算无向图的权重矩阵w1＝[ωij]n×n和度矩阵d1，采用流形排序对相似度矩阵a进行传播得到新的相似度矩阵h＝[hij]n×n，hij表示超像素vi和vj的相似程度，其中，
d1＝diag{d11，d22，...，dnn}，dii＝∑jωij，duij是超像素vi和vj之间的底层特征距离，σ2为控制权值大小的参数，eij表示图中超像素vi和vj之间相连形成的边；
(5)提取高层特征，同时得到基于底层特征的显著图；
(6)依据高层特征重新计算权重矩阵，利用显著物体的紧凑性提取输入图像的前景、背景种子节点，分别计算基于前景种子节点和背景种子节点的显著图并融合得到基于高层特征的显著图；
(7)将基于底层特征的两个阶段得到的显著图和基于高层特征的显著图融合得到最终的显著图。
可选的，所述(5)包括：
(5.1)计算超像素vi的空间方差sv(i)和超像素vi距图像中心的空间距离sd(i)：
其中qj＝[qjx，qjy]表示vj中心的坐标，nj是超像素vj包含的像素个数，p表示图像中心的坐标；
μi＝[μix，μiy]是超像素vi的空间均值，μix、μiy的计算方式如下：
(5.2)根据式scom(i)＝1-(sv(i)+sd(i))将sv(i)和sd(i)融合得到超像素vi粗略的显著值scom(i)，将各超像素的显著值分配给其包含的所有像素点得到粗略的显著图记为i0；
(5.3)计算超像素vi同相邻超像素之间的底层特征距离ld(i)，并计算vi同i0中心的分布测量dm(i)：
其中，ni表示与vi相邻的超像素的集合，duij是超像素vi和超像素vj之间的底层特征距离；μs是i0的中心，mij是超像素vi和vj依据空间距离计算得到的相似度，计算方式如下：
(5.4)根据式slc(i)＝ld(i)·(1-dm(i))将ld(i)和dm(i)融合得到slc(i)，用流形排序传播后表示为scon(i)；
(5.5)根据s1(i)＝scom(i)+scon(i)将scom(i)和scon(i)融合得到各超像素显著值记为s1(i)，并将其作为各超像素的高层特征用于后续计算。
可选的，所述(6)包括：
(6.1)根据高层特征用k-means++算法将n个超像素分为k类，令c＝[c1，c2，...，ck]表示k个聚类中心，计算各超像素和每一类之间的相似性形成的相似度矩阵b＝[bir]n×k，其中，
(6.2)重新计算无向图的权重矩阵w2和度矩阵d2，对b用流形排序相似性传播后的矩阵用x＝[xij]n×k表示，xij表示超像素vi和第j类之间的相似程度；
(6.3)计算各类的松散程度sc(j)，进而计算每类属于前景的可能性po(j)＝1-sc(j)，以po的平均值为阈值将各类分别划分为前景种子和背景种子，前景种子构成的集合用fg表示，背景种子构成的集合用bg表示；其中sc(j)计算方式如下：
μj表示第j类的空间均值；
(6.4)计算各超像素基于前景种子的显著值
可选的，所述(7)包括：
根据式s(i)＝λ3·s1(i)+(1-λ3)·s2(i)将s1(i)和s2(i)融合得各超像素的最终显著值s(i)，其中0.3＜λ3＜0.5，将各超像素的显著值分配给其包含的所有像素点得到输出显著图i。
可选的，所述(2)包括：
(2.1)用超像素所包含的像素的clelab颜色均值c＝(l，a，b)t来表示超像素的颜色特征，采用局部二值模式的等价模式形成的59维向量t表示超像素的纹理特征；超像素vi和vj的颜色特征距离dcij和纹理特征距离dtij分别采用欧式距离和卡方距离计算如下：
dcij＝||ci-cj||
其中，ci、cj代表超像素vi、vj的颜色特征，ti、tj代表超像素vi、vj的纹理特征，i、j∈1，2，...，n；
(2.2)根据公式duij＝λ1·dcij+(1-λ1)·dtij将dcij和dtij线性融合得到duij，其中0.6＜λ1＜0.8；并计算超像素之间的相似性形成的相似度矩阵a＝[aij]n×n，超像素vi和vj之间的相似性计算如下：
可选的，所述(3)中将输入图像四周属于背景的可能性最大的节点采用下述步骤得到：
(a)利用canny边缘检测算子检测出输入图像中物体的轮廓；
(b)对位于图像四条边界处的超像素vi，计算其属于显著物体的概率
(c)采用大津法对pb取自适应阈值，小于自适应阈值的超像素视为背景将它们彼此相连。
可选的，所述(1)中，采用简单线性迭代聚类将输入图像分割成n个超像素。
可选的，所述方法采用英特尔corei5-7300hq处理器，主频2.50ghz，内存8gb，环境matlab2017a。
本发明还提供上述方法在监控设备、卫星图像和医学影像领域内的应用。
本发明的有益效果：
(1)本发明提取图像底层特征时不只考虑了颜色特征还融入了纹理特征，这对于检测自然界中存在的复杂的纹理图像有很好的效果，解决了现有检测方法在复杂环境中显著物体检测不完整或不能均匀突出显著物体内部的问题；此外，利用图像的多种特性和先验知识提取高层特征用于后续显著性计算可提高图像显著性检测的准确性。
(2)本发明以超像素为节点构图时，将每个节点同与之相邻的节点相连，并在与相邻节点有公共边的节点中选出与该节点最相似的节点与之相连，最后将图像四周属于背景的可能性最大的节点相连。这种超像素连接方式能更好的体现图像区域间的联系，从而可以完整检测并均匀分割整个显著物体。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法的整体流程图。
图2是边界超像素背景提取原理图。
图3是本发明同对比算法的视觉效果对比图。
图4是本发明同对比算法在asd数据集上各项评价指标的对比图，图4(a)、(b)、(c)依次是指标pr曲线，f曲线，自适应阈值下的p、r、f柱状图。
图5是本发明同对比算法在ecssd数据集上各项评价指标的对比图，图5(a)、(b)、(c)依次是指标pr曲线，f曲线，自适应阈值下的p、r、f柱状图。
图6是本发明同对比算法在pascal-s数据集上各项评价指标的对比图，图6(a)、(b)、(c)依次是指标pr曲线，f曲线，自适应阈值下的p、r、f柱状图。
图7是本发明同对比算法在msra-b数据集上各项评价指标的对比图，图7(a)、(b)、(c)依次是指标pr曲线，f曲线，自适应阈值下的p、r、f柱状图。
图8是本发明同对比算法在msra-10k数据集上各项评价指标的对比图，图8(a)、(b)、(c)依次是指标pr曲线，f曲线，自适应阈值下的p、r、f柱状图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
一、基础理论介绍
1、slic(simplelineariterativeclustering)
slic算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，比较符合人们期望的分割效果。该算法将输入的彩色图像转化为cielab颜色空间和xy坐标下的5维特征向量(l，a，b，x，y)，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类。具体步骤如下：
(1)按照设定的超像素个数，在图像内均匀的分配种子点：假设图片总共有n个像素点，预分割为k个相同尺寸的超像素，那么每个超像素的大小为n/k，则相邻种子点的距离(步长)近似为s＝sqrt(n/k)。
(2)在种子点的3*3邻域内计算所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方，以防止种子点落在梯度较大的轮廓边界上，影响后续聚类效果。
(3)在每个种子点2s*2s邻域内为每个像素点分配类标签(即属于哪个聚类中心)。
(4)对于每个搜索到的像素点，分别按下式计算它和该种子点的距离：
其中，dc代表颜色距离，ds代表空间距离，m和s用来协调两种距离的比例配比，m取10。由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。
(5)上述步骤迭代10次。可能会得到部分孤立的超像素，将它们归到距离最近的超像素以增强连通性。
2.局部二值模式(localbinarypattern，lbp)纹理特征
原始的lbp算子定义在一个3×3的窗口内，以窗口中心像素为阈值，与相邻的8个像素的灰度值比较，若周围的像素值大于中心像素值，记为1，否则记为0。如此可以得到一个8位二进制数，转换为10进制后大小在0～255之间，共256种可能取值，将这个值作为窗口中心像素点的lbp值，以此来反应这个3×3区域的纹理信息。这样的lbp算子二进制模式过多，不便于计算，因此本发明采用ojala提出的“等价模式”(uniformpattern)来对lbp算子的模式种类进行降维。
ojala认为实际图像中，绝大多数lbp模式最多只包含两次从1到0或从0到1的跳变。于是将“等价模式”定义为：当某个lbp所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该lbp所对应的二进制就称为一个等价模式类。如00000000(0次跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是等价模式类。除等价模式类以外的模式都归为另一类，称为混合模式类，例如10010111(共四次跳变)。通过这样的改进，二进制模式的种类大大减少，而不会丢失任何信息。对于3×3邻域内8个采样点来说，二进制模式包含58个等价模式类和一个混合类。这样直方图从原来的256维降成59维。这使得特征向量的维数更少，并且可以减少高频噪声带来的影响。
3.流形排序算法
在图像显著性检测中，流形排序算法通过对图像进行标签传播确定各超像素的显著值，也可用它来传播超像素的显著性，该算法的具体内容如下：给定一个数据集x＝{x1，...，xl，xl+1，...，xn}∈rm×n，其中一些数据被标记为查询节点，其余节点根据它们与查询节点的相关性排序，令f：x→rn定义一个排序函数，对每一个节点xi都有一个排序值fi与之对应，这样f就可视为向量f＝[f1，f2，...，fn]t。令y＝[y1，y2，...，yn]t作为指示向量，当xi是查询节点时yi＝1，否则yi＝0。然后构建图g＝(v，e)，计算各边权值得到权重矩阵w＝[ωij]n×n，度矩阵d＝diag{d11，d22，...，dnn}，其中dii＝∑jωij。最优排序结果通过最小化下式的能量函数得到：
μ用来平衡平滑项(右边第一项)和拟合项(右边第二项)。平滑项意味着邻近的节点不应相差太大，拟合项意味着排序后的结果不应与初始值相差太多。
求解上式得：
f*＝(i-αs)-1y
其中i是单位矩阵，α＝1/(1+μ)，s＝d-1/2wd-1/2是归一化的拉普拉斯矩阵。利用非归一化的拉普拉斯矩阵得到另一种形式的效果更好的解：
f*＝(d-αw)-1y
实施例一：
本实施例提供一种基于改进图模型的图像显著性检测方法，参见图1，所述方法包括以下步骤：
步骤1.采用简单线性迭代聚类(slic)将输入图像分割成n个超像素，第i个超像素用vi表示，第j个超像素用vj表示，i、j∈1，2，...，n。
步骤2.利用图像底层特征计算各超像素之间的相似性形成相似度矩阵a＝[aij]n×n，aij表示超像素vi和vj的相似程度，i、j∈1，2，...，n；
(2.1)用超像素所包含的像素的clelab颜色均值c＝(l，a，b)t来表示超像素的颜色特征，采用局部二值模式(lbp)的等价模式形成的59维向量t表示超像素的纹理特征；超像素vi和vj的颜色特征距离dcij和纹理特征距离dtij分别采用欧式距离和卡方距离计算如下：
dcij＝||ci-cj||
其中，ci、cj代表超像素vi、vj的颜色特征，ti、tj代表超像素vi、vj的纹理特征，i、j∈1，2，...，n；
(2.2)根据公式duij＝λ1·dcij+(1-λ1)·dtij将dcij和dtij线性融合得到duij，其中0.6＜λ1＜0.8；并计算超像素之间的相似性形成的相似度矩阵a＝[aij]n×n，超像素vi和vj之间的相似性计算如下：
步骤3.以超像素为节点构建无向图g＝(v，e)：
(3.1)将每个节点同与之相邻的节点相连，并同与相邻节点有公共边的节点中与之最相似的节点相连。
(3.2)参照图2，提取边界超像素中属于背景的可能性最大的节点，将它们彼此相连：
(a)利用canny边缘检测算子检测出图像中物体的轮廓；
(b)对位于图像四条边界处的超像素vi，计算其属于显著物体的概率
(c)采用大津法(otsu)对pb取自适应阈值，小于自适应阈值的超像素视为背景将它们彼此相连；
步骤4.计算图的权重矩阵w1＝[ωij]n×n和度矩阵d1，采用流形排序对a进行传播得到新的相似度矩阵h＝[hij]n×n，hij表示超像素vi和vj的相似程度，其中，
d1＝diag{d11，d22，...，dnn}，dii＝∑jωij，duij是超像素vi和vj之间的底层特征距离，σ2为控制权值大小的参数，eij表示图中超像素vi和vj之间相连形成的边；。
步骤5.利用先验知识和显著区域特性提取高层特征，同时得到基于底层特征的显著图。
(5.1)计算超像素vi的空间方差sv(i)和超像素vi距图像中心的空间距离sd(i)：
其中qj＝[qjx，qjy]表示vj中心的坐标，nj是超像素vj包含的像素个数，p表示图像中心的坐标。
μi＝[μix，μiy]是超像素vi的空间均值，μix、μiy的计算方式如下：
(5.2)根据式scom(i)＝1-(sv(i)+sd(i))将sv(i)和sd(i)融合得到超像素vi粗略的显著值scom(i)，将各超像素的显著值分配给其包含的所有像素点得到粗略的显著图记为i0；
(5.3)计算超像素vi同相邻超像素之间的底层特征距离ld(i)，并计算vi同i0中心的分布测量dm(i)：
其中ni表示与vi相邻的超像素的集合，duij是超像素vi和超像素vj之间的底层特征距离；μs是i0的中心，mij是超像素vi和vj依据空间距离计算得到的相似度，计算方式如下：
(5.4)根据式slc(i)＝ld(i)·(1-dm(i))将ld(i)和dm(i)融合得到slc(i)，用流形排序传播后表示为scon(i)；
(5.5)根据s1(i)＝scom(i)+scon(i)将scom(i)和scon(i)融合得到各超像素显著值记为s1(i)，并将其作为各超像素的高层特征用于后续计算；
步骤6.利用高层特征计算图像显著性：
(6.1)根据高层特征用k-means++算法将n个超像素分为k类，令c＝[c1，c2，...，ck]表示k个聚类中心，计算各超像素和每一类之间的相似性形成的相似度矩阵b＝[bir]n×k，其中，
(6.2)重新计算图的权重矩阵w2和度矩阵d2，对b用流形排序相似性传播后的矩阵用x＝[xij]n×k表示，xij表示超像素vi和第j类之间的相似程度；
(6.3)计算各类的松散程度sc(j)，进而计算每类属于前景的可能性po(j)＝1-sc(j)，以po的平均值为阈值将各类分别划分为前景种子和背景种子，前景种子构成的集合用fg表示，背景种子构成的集合用bg表示。其中sc(j)计算方式如下：
μj表示第j类的空间均值；
(6.4)计算各超像素基于前景种子的显著倍
步骤7.根据式s(i)＝λ3·s1(i)+(1-λ3)·s2(i)将s1(i)和s2(i)融合得各超像素的最终显著值s(i)，其中0.3＜λ3＜0.5，将各超像素的显著值分配给其包含的所有像素点得到输出显著图i。
本发明的效果可通过以下仿真实验进一步说明。
1.仿真条件及参数
实验采用英特尔corei5-7300hq处理器，主频2.50ghz，内存8gb，环境matlab2017a。
实验过程中将输入图像分割成超像素的个数n设置为300，计算权重矩阵时涉及到的参数σ2均取0.1，流形排序公式中α取0.99，底层特征距离融合公式中系数λ1取0.7，基于前景种子和背景种子的显著值融合公式中系数λ2取0.4，求最后的显著值时的融合公式中系数λ3取0.4，对n个超像素使用kmeans++聚类分成的种类k取36，计算评价指标时的自适应阈值取图像像素显著值平均值的2倍。
2.仿真内容及结果分析
为了验证本发明(gmf)的有效性，在asd、ecssd、pascal-s、msra-b、msra10k5个公开数据集(可参见文献borjia,chengmm,jiangh,etal.salientobjectdetection:abenchmark[j].ieeetransactionsonimageprocessing,2015,24(12):5706-5722.)上进行对比实验，对比算法有gbmr、grcc、ms、mc、bsca、lps、idcl、map、bfs、srd等目前常用的显著性检测算法。
对比过程采用定性分析和定量分析，定性分析直接通过显著图的视觉对比观察结果的优劣；定量分析则通过计算评价指标判断算法的性能。
实验中采用的指标有准确率-召回率曲线(precision-recall,pr)、f-measure、平均绝对误差(meanabsolutevalue,mae)。
图3是选取的本发明同对比算法的视觉效果图。可以看出，gmf对位于图像边缘的显著物体检测效果比对比算法都好，且能均匀突出显著物体内部。
图4展示了各算法在asd数据集上的评价指标对比，各算法的pr曲线在最高点处几乎完全重合，且准确率达95％以上，而gmf的f-measure曲线略高于对比算法。这主要是因为asd数据集的构成过于简单，利用pr曲线评价算法在该数据集上的性能区分性不大。
图5展示了各算法在ecssd数据集上的评价指标对比,可以看出gmf的pr曲线高于多数对比算法，在最高点处仅与少数算法重合，f-measure曲线更是明显高于对比算法，说明在该数据集上本发明的综合性能明显提升。
图6展示了各算法在pascal-s数据集上的评价指标对比,易知本发明的pr曲线和f-measure曲线均高于对比算法，但总体上低于各算法在其它数据集上的指标，各算法的准确率最高也只在80％左右，这说明本发明在该数据集上效果得到提升，同时反映出该数据集检测难度较大，与其它数据集相比更有挑战性。
图7和图8是各算法在msra-b和msra-10k数据集上的评价指标对比，由于grcc算法对msra10k数据集中的部分图像不适用，在该数据集上不对它们进行分析。由f-measure曲线可以看出本发明在这两个数据集上的综合性能都有所提升，算法在这两个数据集上的pr曲线和f值略次于asd数据集，这两个数据集构成比较简单，只是数量较大。
表1是所有算法在5个数据集上的平均绝对误差mae，同一数据集中，gmf在所有算法中的平均绝对误差最小。根据不同数据集上的对比可以看出，所有算法在asd数据集上性能最佳，且本发明在该数据集上的mae只有0.05，显著图已十分接近标准真值图。msra-b和msra10k这两个数据集图像构成与asd类似，但数量巨大，mae略高于asd数据集。ecssd和pascal-s数据集上pr曲线和f值都明显低于另外3个数据集，其中ecssd数据集上各算法的准确率最高不超过90％，而pascal-s数据集上，对比算法在这两个数据集上的mae明显高于其它数据集。
表1不同算法在5个数据集上的平均绝对误差mae
通过以上分析可以看出，本发明能完整检测出图像边缘附近的显著物体并均匀突出显著物体内部。显著性检测的准确性优于所有对比算法，检测误差明显减小，综合性能明显提高。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！