基于扩散距离高置信度信息的图像显著性物体检测方法与流程

文档序号:12888064阅读:370来源:国知局

本发明涉及一种基于扩散距离高置信度信息的图像显著性物体检测方法,属于计算机图像处理中显著性检测技术领域。



背景技术:

图像显著性物体检测方法是提取图像中最引人注意物体的一种有效手段。图像显著性物体自动检测方法通过计算图像中物体的外观对比度或与背景外观的差异性来衡量物体的显著性,在此基础上还可进一步对检测结果后处理,利用优化方法增强检测结果的结构连续性,进而提高检测效果。按是否使用了后处理优化分类,现有的图像显著性物体自动检测方法的几种类型及相应存在的问题如下:

1、不使用后处理优化的方法通常需要计算图像中物体的外观与其他区域的对比度或者到背景的距离来衡量物体显著性。这些方法计算速度较快,但由于缺少全局信息,通常会受到噪声的影响。

2、使用后处理优化的方法在科研领域十分流行。它凭借在优化过程中维持图像的结构信息增强了噪声鲁棒性。但这类方法初始化信息对前景和背景的表达能力较弱且通常包含噪声,这些缺陷有可能严重削弱优化的效果。

不使用后处理优化的方法存在对噪声敏感的问题,而后处理优化方法的初始化信息置信度不高,对前景和背景的表达能力较弱且通常包含噪声。如何提高后处理优化方法的初始化信息置信度仍然是一个亟待解决的问题。



技术实现要素:

本发明的目的是提出一种基于扩散距离高置信度信息的图像显著性物体检测方法,利用扩散距离的多尺度性质提取高置信度前景信息,以增强检测结果的准确性和对噪声的鲁棒性,并减少计算迭代次数,从图像中提取出兼顾准确性和完整性的显著性物体。

本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法,包括以下步骤:

(1)利用超像素方法将待检测图像分割成n个超像素,分别构建特征空间图结构和图像空间图结构,具体过程如下:

(1-1)利用超像素方法将待检测图像分割成n个超像素;

(1-2)设上述n个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色,记为c,设上述n个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置,记为s;建立一个由上述平均lab颜色和上述平均位置组成的特征空间,利用下式,计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j):

其中,σc和σs分别为颜色约束系数和空间约束的系数,ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色,si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置,e为自然对数;

以上述n个超像素为节点,根据上述亲和度a(i,j),构建一个特征空间图结构,该图结构中的每个超像素与亲和度最大的8个超像素相连,特征空间图结构的边权重为a(i,j);

(1-3)在上述待检测图像的n个超像素中,使相邻两个超像素或享有相同邻居的超像素相连,并使待检测图像边界的所有超像素相连,所有相连的边和所有超像素构建一个图像空间图结构,利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j):

其中,σf为颜色约束系数,fi表示第i个超像素的平均lab颜色,e为自然对数,图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重;

(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离,具体过程如下:

(2-1)根据上述特征空间图结构的边权重,构建一个特征空间图结构的邻接矩阵a1,对邻接矩阵a1中的每行元素进行归一化处理,使得每行元素的和为1,得到一个特征空间图结构的转移矩阵m1,计算得到转移矩阵m1的特征值λ和特征向量ψ;根据特征值λ和特征向量ψ,利用下式,计算第g个超像素的映射向量yt(g):

其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值,λk表示特征值λ中第k个特征值,g=1,2,3,…,i,j,…,n,t表示扩散时间,

根据上,述计算的映射向量,利用下式,计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离d1(i,j);

d1(i,j)=|yt(i)-yt(j)|2

其中|·|2表示欧式距离计算方法;

(2-2)根据上述图像空间图结构的边权重,构建一个图像空间图结构的亲和矩阵a2,对矩阵a2中的每行元素进行归一化处理,使得每行元素的和为1,得到一个图像空间图结构转移矩阵m2,计算矩阵m2的特征值λ和特征向量θ,利用下式,计算第i个超像素的映射向量wu(i):

其中θl(i)表示第l个特征向量中的第i个值,γl表示第l个特征值,u表示扩散时间,

根据上述计算的映射向量,利用下式,计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离d2(i,j);

d2(i,j)=|wu(i)-wu(j)|2

其中|·|2表示欧式距离计算方法;

(3)以扩散时间为尺度,分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离,得到不同尺度下的显著性图,具体过程如下:

(3-1)设定一组扩散时间,第一个选取的扩散时间为40~60,每间隔150~250为第二个选取的扩散时间、第三个选取的扩散时间,以此类推;

(3-2)在上述选取的扩散时间下,利用上述步骤(2-1)的计算公式,分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离,将该扩散距离中的最小值作为该超像素的显著性值,遍历特征空间图结构中的所有超像素,重复本步骤,得到所有超像素的显著性值,将所有超像素的显著性值组合起来,得到当前扩散时间下的显著性图;

(3-3)分别在上述选取的每个扩散时间下计算显著性图,直至选取的扩散时间大于400~600,或上述步骤(3-2)计算得到的最小扩散距离小于0.0003,结束计算,每个扩散时间代表一个尺度,得到特征空间图结构中不同尺度下的显著性图,即为特征空间图结构的多尺度显著性图;

(4)以扩散时间为尺度,分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离,得到不同尺度下的显著性图,具体过程如下:

(4-1)设定一组扩散时间,第一个选取的扩散时间为40~60,每间隔150~250为第二个选取的扩散时间、第三个选取的扩散时间,以此类推;

(4-2)在上述选取的扩散时间下,利用上述步骤(2-2)的计算公式,分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离,将该扩散距离中的最小值作为该超像素的显著性值,遍历图像空间图结构中的所有超像素,重复本步骤,得到所有超像素的显著性值,将所有超像素的显著性值组合起来,得到当前扩散时间下的显著性图;

(4-3)分别在上述选取的每个扩散时间下计算显著性图,直至选取的扩散时间大于400~600,或上述步骤(3-2)计算得到的最小扩散距离小于0.0003,结束计算,每个扩散时间代表一个尺度,得到图像空间图结构中不同尺度下的显著性图,即为图像空间图结构的多尺度显著性图;

(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图,计算得到高置信显著性图shc,包括以下步骤:

(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合,得到多尺度显著性图集合s;

(5-2)利用下式,计算待检测图像中第i个超像素和第k个超像素的颜色距离dc(i,k):

其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数,hi,m表示第i个超像素中第m种颜色的像素个数比例,hk,n表示第k个超像素中第n种颜色的像素个数比例,pi,m表示第i个超像素中的第m种颜色,pk,n表示第k个超像素中的第n种颜色,|·|2表示欧式距离计算方法;

根据上述计算的超像素颜色距离,利用下式,计算第i个超像素的对比度值g(i):

其中,ω(i)表示第i个超像素的像素个数,ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离,σd表示空间约束系数;

重复上述过程,得到所有待检测图像的超像素对比度值;

将待检测图像中每个超像素的所有对比度值进行组合,得到待检测图像的超像素对比度图gm;

(5-3)设上述步骤(5-1)的多尺度显著性图集合s中的第v个显著性图为sv,根据上述步骤(5-2)得到的待检测图像的超像素对比度图gm,利用下式,计算显著性图sv的可信度c(v):

其中·表示点积,sum为显著性图si中所有元素的和;

根据上述计算得到的显著性图si的可信度c(v),利用下式,计算显著性图sv的加权融合权重w(v):

w(v)=e10c(v)-1

其中,e为自然对数;

遍历多尺度显著性图集合s中所有的显著性图,重复上述过程,分别得到多尺度显著性图集合s中每个显著性图的融合权重w(v);

(5-4)根据上述计算得到的加权融合权重,利用下式,对多尺度显著性图集合s中的所有显著性图进行加权融合,得到高置信显著性图shc;

其中,z表示多尺度显著性图集合s中所有显著性图的加权融合权重的和;

(6)根据上述高置信前景图shc,计算得到待检测图像显著性物体检测结果,包括以下步骤:

(6-1)将上述高置信前景图shc中的元素归一化到区间[0,255],将元素值大于200的超像素作为前景种子点fseeds;

(6-2)利用基于最小生成树的实时显著性物体检测方法,将待检测图像构建成一个最小生成树,在最小生成树上,分别计算待检测图像中所有像素到待检测图像边界的最小障碍距离,根据所有最小障碍距离,得到距离图md,将md中的元素归一化到区间[0,255],将元素值小于40的超像素作为背景种子点bseeds;

(6-3)将待检测图像中除前景种子点和背景种子点以外的其他像素初始化为初步前景点;

(6-4)将上述步骤(6-1)前景种子点包含的所有像素和上述步骤(6-3)的初步前景点包含的所有像素组合成前景像素集合f,将前景像素集合f构建成一个前景颜色高斯混合模型gmmf;设待检测图像中除上述前景像素集合f以外的其他像素为背景像素集合b,将背景像素集合b构建成一个背景颜色高斯混合模型gmmb;

(6-5)利用抓割方法,分别计算上述步骤(6-4)中的前景像素集合f中所有像素在上述前景颜色高斯混合模型gmmf中所属的前景高斯分量索引值,根据上述前景像素集合f中所有像素的高斯分量索引值和前景像素集合f中每个像素的颜色,计算每个前景高斯分量模型,得到新的前景颜色高斯混合模型,记为gmmfnew;分别计算上述步骤(6-4)中的背景像素集合b中所有像素在上述背景颜色高斯混合模型gmmb中所属的背景高斯分量索引值,根据上述背景像素集合b中所有像素的高斯分量索引值和背景像素集合b中每个像素的颜色,计算每个背景高斯分量模型,得到新的背景颜色高斯混合模型,记为gmmbnew;

设待检测图像中上述步骤(6-4)的前景像素集合f中像素的标签为1,设待检测图像中上述步骤(6-4)的背景像素集合b中像素的标签为0;

设fs为虚拟前景点,虚拟前景点fs的标签为1,设bt为虚拟背景点,虚拟背景点bt的标签为0,将虚拟前景点fs、虚拟背景点bt和待检测图像中的所有像素构建成一个割图cg,割图cg中,待检测图像的每个像素与像素周围相邻的8个像素相连,设待检测图像中第q个像素pq与待检测图像中第r个像素pr相邻,利用下式,计算像素pxs与像素pxr之间的边权重δ(pq,pr):

其中cpq表示像素pq的lab颜色,cpr表示像素pr的lab颜色,e表示自然对数,|·|2表示欧式距离计算方法,当像素pq与像素pr在水平方向或者垂直方向相邻时,κ取值为50,当像素pq与像素pr斜向相邻时,κ取值为

割图cg中,待检测图像的每个像素都上述虚拟前景点fs相连,对待检测图像中的第q个像素pq进行判断,若前景种子点中包含pq,则设定pq与上述虚拟前景点fs之间的边权重为一个常数β,本发明的一个实施例中β取值为450;若背景种子点中包含pq,则pq与上述虚拟前景点fs之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0;若pq既不属于前景种子点又不属于背景种子点,则利用下式,计算pq在上述前景颜色高斯混合模型gmmfnew中的概率值pvf(q),

其中gcf表示上述前景颜色高斯混合模型gmmfnew的高斯分量个数,ξfg(u)表示上述前景颜色高斯混合模型gmmfnew中第u个前景高斯分量的混合系数,profg(u,q)表示像素pq的颜色在上述前景颜色高斯混合模型gmmfnew中第u个前景高斯分量中的高斯分布概率;

利用下式,计算pq与上述虚拟前景点fs之间的边权重δ(pq,fs);

δ(pq,fs)=-ln(pvf(q))

其中ln表示以自然对数e为底的对数函数;

上述割图cg中的待检测图像中的每个像素都与上述虚拟背景点bt相连,对于待检测图像中的第q个像素pq,若pq属于前景种子点,则pq与上述虚拟背景点bt之间的边权重为一个常数τ;若pq属于背景种子点,则pq与上述虚拟背景点bt之间的边权重为一个常数β;若pq既不属于前景种子点又不属于背景种子点,则利用下式,计算pq在上述背景景颜色高斯混合模型gmmfnew中的概率值pvb(q),

其中gcb表示上述背景颜色高斯混合模型gmmbnew的高斯分量个数,ζbg(u)表示上述背景颜色高斯混合模型gmmfnew中第u个背景高斯分量的混合系数,probg(u,q)表示像素pq的颜色在上述背景颜色高斯混合模型gmmbnew中第u个背景高斯分量中的高斯分布概率;

利用下式,计算pq与上述虚拟背景点bt之间的边权重δ(pq,bt);

δ(pq,bt)=-ln(pvb(q))

其中ln表示以自然对数e为底的对数函数;

在上述割图cg中,以上述虚拟前景点fs为源点,以上述虚拟背景点bt为汇点,利用最大流最小割方法,将上述割图cg分割成包含上述虚拟前景点fs的子图fg和包含上述虚拟背景点bt的子图bg;

将上述子图fg内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为1,将上述子图bg内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为0,将待检测图像中的前景种子点包含的所有像素的标签设为1,将待检测图像中的背景种子点包含的所有像素的标签设为0,得到当前显著性物体图r,将本次显著性物体图r与上次显著性物体图r进行比较,若本次显著性物体图r与上次显著性物体图r中相同位置且标签不同的像素个数小于50,则迭代终止,将本次显著性物体图r中标签为1的像素作为最终的显著性物体检测结果进行输出;若本次显著性物体图r与上次显著性物体图r中相同位置且标签不同的像素个数大于或等于50,则进入步骤(6-6);

(6-6)对上述步骤中的待检测图像中前景种子点包含的所有像素组成的区域进行形态学腐蚀操作,被腐蚀的前景种子点被标记为初步前景点,对待检测图像中距离图像边界m个像素宽度以上的背景种子点包含的所有像素组成的区域进行形态学腐蚀操作,被腐蚀的背景种子点被标记为初步背景点,初步背景点包含的所有像素的标签设为0;

(6-7)利用步骤(6-5)中的计算方法,分别计算步骤(6-6)中前景种子点中的每个像素在前景颜色高斯混合模型gmmfnew中的概率值pvf和在背景高斯混合模型中的概率值pvb,对两个概率值进行比较,若pvf-pvb<∧,则将此种子点改为初步前景点;若pvf-pvb≥∧,则维持原状;本发明的一个实施例中∧取值为-0.06,分别计算上述得到的背景种子点中的每个像素在前景颜色高斯混合模型gmmfnew中的概率值pvf和在背景高斯混合模型中的概率值pvb,若pvb-pvf<∧,则将此种子点改为初步背景点;若pvb-pvf≥∧,则维持原状:

(6-8)返回步骤(6-5),完成待检测图像的显著性物体检测。

本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法,具有以下特点和优点:

本方法提出了多尺度融合的前景检测方法,在融合多个尺度的检测结果时,使用对比度信息计算每个尺度的融合权重。为了进一步提升检测准确度,本方法利用已得到的高置信度信息作为约束设计显著性优化方法,在优化过程的每次迭代中都对高置信度信息进行改善,并利用高置信度信息对优化结果进行矫正,使得优化过程只需要很少的迭代次数就可以检测得到兼顾准确性和完整性的显著性物体检测结果。

本发明的优点如下:

1、本发明方法基于扩散距离,在多个尺度上检测显著性物体,并基于对比度信息计算每个尺度检测结果的融合权重,随后将多尺度检测结果加权融合得到前景检测结果,得到了多尺度下更加完备且极具代表性的前景信息,增强了检测结果的准确性和对噪声的鲁棒性。

2、本发明方法在后处理优化时,基于种子点采用迭代的方式提取显著性物体,在后处理过程中对种子点进行不断改善,并使用种子点作为约束对当前迭代结果进行矫正,减少了迭代次数,并可从图像中提取出兼顾准确性和完整性的显著性物体。

附图说明

图1是本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法的流程框图。

具体实施方式

本发明提出的基于扩散距离高置信度信息的图像显著性物体检测方法,其流程框图如图1所示,包括以下步骤:

(1)利用超像素方法(slic)将待检测图像分割成n个超像素,分别构建特征空间图结构和图像空间图结构,具体过程如下:

(1-1)利用超像素方法(slic)将待检测图像分割成n个超像素;

(1-2)设上述n个超像素中的任意一个超像素的颜色特征为超像素中所有像素的平均lab颜色,记为c,设上述n个超像素中的任意一个超像素的位置特征为超像素中所有像素在图像空间中的平均位置,记为s;建立一个由上述平均lab颜色和上述平均位置组成的特征空间,利用下式,计算该特征空间中第i个超像素和第j个超像素之间的亲和度a(i,j):

其中,σc和σs分别为控制亲和度值的颜色约束系数和空间约束的系数,本发明的一个实施例中,σc和σs的取值分别为0.04和0.2,ci和cj分别表示第i个超像素的平均lab颜色和第j个超像素的平均lab颜色,si和sj分别表示第i个超像素的平均位置和第j个超像素的平均位置,e为自然对数;

以上述n个超像素为节点,根据上述亲和度a(i,j),构建一个特征空间图结构,该图结构中的每个超像素与亲和度最大的8个超像素相连,特征空间图结构的边权重为a(i,j);

(1-3)在上述待检测图像的n个超像素中,使相邻两个超像素或享有相同邻居的超像素相连,并使待检测图像边界的所有超像素相连,所有相连的边和所有超像素构建一个图像空间图结构,利用下式计算图像空间图结构中第i个超像素和第j个超像素之间的亲和度b(i,j):

其中,σf为控制亲和度值的颜色约束系数,本发明的一个实施例中,σf取值为0.04,fi表示第i个超像素的平均lab颜色,e为自然对数,图像空间图结构的亲和度b(i,j)即为图像空间图结构的边权重;

(2)在上述特征空间图结构和图像空间图结构中分别计算扩散距离,具体过程如下:

(2-1)根据上述特征空间图结构的边权重,构建一个特征空间图结构的邻接矩阵a1,对邻接矩阵a1中的每行元素进行归一化处理,使得每行元素的和为1,得到一个特征空间图结构的转移矩阵m1,计算得到转移矩阵m1的特征值λ和特征向量ψ;根据特征值λ和特征向量ψ,利用下式,计算第g个超像素的映射向量yt(g):

其中ψk(g)表示特征向量ψ中第k个特征向量的第g个值,λk表示特征值λ中第k个特征值,g=1,2,3,…,i,j,…,n,t表示扩散时间,

根据上,述计算的映射向量,利用下式,计算特征空间图结构中第i个超像素和第j个超像素之间的扩散距离d1(i,j);

d1(i,j)=|yt(i)-yt(j)|2

其中|·|2表示欧式距离计算方法;

(2-2)根据上述图像空间图结构的边权重,构建一个图像空间图结构的亲和矩阵a2,对矩阵a2中的每行元素进行归一化处理,使得每行元素的和为1,得到一个图像空间图结构转移矩阵m2,计算矩阵m2的特征值γ和特征向量θ,利用下式,计算第i个超像素的映射向量wu(i):

其中θl(i)表示第l个特征向量中的第i个值,γl表示第l个特征值,u表示扩散时间,

根据上述计算的映射向量,利用下式,计算图像空间图结构中第i个超像素和第j个超像素之间的扩散距离d2(i,j);

d2(i,j)=|wu(i)-wu(j)|2

其中|·|2表示欧式距离计算方法;

(3)以扩散时间为尺度,分别计算不同扩散时间上述特征空间图结构中的每个超像素到图像边界超像素的最小扩散距离,得到不同尺度下的显著性图,具体过程如下:

(3-1)设定一组扩散时间,第一个选取的扩散时间为40~60,本发明的一个实施例中,第一个选取的扩散时间为50,每间隔150~250为第二个选取的扩散时间、第三个选取的扩散时间,以此类推;

(3-2)在上述选取的扩散时间下,利用上述步骤(2-1)的计算公式,分别计算上述步骤(1-2)特征空间图结构任意一个超像素到所有图像边界超像素的扩散距离,将该扩散距离中的最小值作为该超像素的显著性值,遍历特征空间图结构中的所有超像素,重复本步骤,得到所有超像素的显著性值,将所有超像素的显著性值组合起来,得到当前扩散时间下的显著性图;

(3-3)分别在上述选取的每个扩散时间下计算显著性图,直至选取的扩散时间大于400~600,或上述步骤(3-2)计算得到的最小扩散距离小于0.0003,结束计算,每个扩散时间代表一个尺度,得到特征空间图结构中不同尺度下的显著性图,即为特征空间图结构的多尺度显著性图;

(4)以扩散时间为尺度,分别计算不同扩散时间上述图像空间图结构中的每个超像素到图像边界超像素的最小扩散距离,得到不同尺度下的显著性图,具体过程如下:

(4-1)设定一组扩散时间,第一个选取的扩散时间为40~60,本发明的一个实施例中,第一个选取的扩散时间为50,每间隔150~250为第二个选取的扩散时间、第三个选取的扩散时间,以此类推;

(4-2)在上述选取的扩散时间下,利用上述步骤(2-2)的计算公式,分别计算上述步骤(1-3)图像空间图结构任意一个超像素到所有图像边界超像素的扩散距离,将该扩散距离中的最小值作为该超像素的显著性值,遍历图像空间图结构中的所有超像素,重复本步骤,得到所有超像素的显著性值,将所有超像素的显著性值组合起来,得到当前扩散时间下的显著性图;

(4-3)分别在上述选取的每个扩散时间下计算显著性图,直至选取的扩散时间大于400~600,或上述步骤(3-2)计算得到的最小扩散距离小于0.0003,结束计算,每个扩散时间代表一个尺度,得到图像空间图结构中不同尺度下的显著性图,即为图像空间图结构的多尺度显著性图;

(5)根据上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图,计算得到高置信显著性图shc,包括以下步骤:

(5-1)将上述步骤(3-3)的特征空间图结构多尺度显著性图和步骤(4-3)的图像空间图结构多尺度显著性图进行组合,得到多尺度显著性图集合s;

(5-2)利用下式,计算待检测图像中第i个超像素和第k个超像素的颜色距离dc(i,k):

其中ni和nk分别表示超像素i内像素的颜色个数和超像素k内像素的颜色个数,hi,m表示第i个超像素中第m种颜色的像素个数比例,hk,n表示第k个超像素中第n种颜色的像素个数比例,pi,m表示第i个超像素中的第m种颜色,pk,n表示第k个超像素中的第n种颜色,|·|2表示欧式距离计算方法;

根据上述计算的超像素颜色距离,利用下式,计算第i个超像素的对比度值g(i):

其中,ω(i)表示第i个超像素的像素个数,ds(i,k)表示第i个超像素的平均位置与第k个超像素的平均位置之间的欧式距离,σd表示空间约束系数,本发明的一个实施例中取值为0.4,

重复上述过程,得到所有待检测图像的超像素对比度值;

将待检测图像中每个超像素的所有对比度值进行组合,得到待检测图像的超像素对比度图gm;

(5-3)设上述步骤(5-1)的多尺度显著性图集合s中的第v个显著性图为sv,根据上述步骤(5-2)得到的待检测图像的超像素对比度图gm,利用下式,计算显著性图sv的可信度c(v):

其中·表示点积,sum为显著性图si中所有元素的和;

根据上述计算得到的显著性图si的可信度c(v),利用下式,计算显著性图sv的加权融合权重w(v):

w(v)=e10c(v)-1

其中,e为自然对数;

遍历多尺度显著性图集合s中所有的显著性图,重复上述过程,分别得到多尺度显著性图集合s中每个显著性图的融合权重w(v);

(5-4)根据上述计算得到的加权融合权重,利用下式,对多尺度显著性图集合s中的所有显著性图进行加权融合,得到高置信显著性图shc;

其中,z表示多尺度显著性图集合s中所有显著性图的加权融合权重的和;

(6)根据上述高置信前景图shc,计算得到待检测图像显著性物体检测结果,包括以下步骤:

(6-1)将上述高置信前景图shc中的元素归一化到区间[0,255],将元素值大于200的超像素作为前景种子点fseeds;

(6-2)利用基于最小生成树的实时显著性物体检测方法(简称mst,可参见论文《real-timesalientobjectdetectionwithaminimumspanningtree》),将待检测图像构建成一个最小生成树,在最小生成树上,分别计算待检测图像中所有像素到待检测图像边界的最小障碍距离,根据所有最小障碍距离,得到距离图md,将md中的元素归一化到区间[0,255],将元素值小于40的超像素作为背景种子点bseeds;

(6-3)将待检测图像中除前景种子点和背景种子点以外的其他像素初始化为初步前景点;

(6-4)将上述步骤(6-1)前景种子点包含的所有像素和上述步骤(6-3)的初步前景点包含的所有像素组合成前景像素集合f,将前景像素集合f构建成一个前景颜色高斯混合模型gmmf,本发明的一个实施例中前景颜色高斯混合模型的高斯分量取值为5;设待检测图像中除上述前景像素集合f以外的其他像素为背景像素集合b,将背景像素集合b构建成一个背景颜色高斯混合模型gmmb,本发明的一个实施例中背景颜色高斯混合模型的高斯分量取值为5;

(6-5)利用抓割方法(简称grabcut,可参见论文《"grabcut":interactiveforegroundextractionusingiteratedgraphcuts》),分别计算上述步骤(6-4)中的前景像素集合f中所有像素在上述前景颜色高斯混合模型gmmf中所属的前景高斯分量索引值,根据上述前景像素集合f中所有像素的高斯分量索引值和前景像素集合f中每个像素的颜色,计算每个前景高斯分量模型,得到新的前景颜色高斯混合模型,记为gmmfnew;分别计算上述步骤(6-4)中的背景像素集合b中所有像素在上述背景颜色高斯混合模型gmmb中所属的背景高斯分量索引值,根据上述背景像素集合b中所有像素的高斯分量索引值和背景像素集合b中每个像素的颜色,计算每个背景高斯分量模型,得到新的背景颜色高斯混合模型,记为gmmbnew;

设待检测图像中上述步骤(6-4)的前景像素集合f中像素的标签为1,设待检测图像中上述步骤(6-4)的背景像素集合b中像素的标签为0;

设fs为虚拟前景点,虚拟前景点fs的标签为1,设bt为虚拟背景点,虚拟背景点bt的标签为0,将虚拟前景点fs、虚拟背景点bt和待检测图像中的所有像素构建成一个割图cg,割图cg中,待检测图像的每个像素与像素周围相邻的8个像素相连,设待检测图像中第q个像素pq与待检测图像中第r个像素pr相邻,利用下式,计算像素pxs与像素pxr之间的边权重δ(pq,pr):

其中cpq表示像素pq的lab颜色,cpr表示像素pr的lab颜色,e表示自然对数,|·|2表示欧式距离计算方法,当像素pq与像素pr在水平方向或者垂直方向相邻时,κ取值为50,当像素pq与像素pr斜向相邻时,κ取值为

割图cg中,待检测图像的每个像素都上述虚拟前景点fs相连,对待检测图像中的第q个像素pq进行判断,若前景种子点中包含pq,则设定pq与上述虚拟前景点fs之间的边权重为一个常数β,本发明的一个实施例中β取值为450;若背景种子点中包含pq,则pq与上述虚拟前景点fs之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0;若pq既不属于前景种子点又不属于背景种子点,则利用下式,计算pq在上述前景颜色高斯混合模型gmmfnew中的概率值pvf(q),

其中gcf表示上述前景颜色高斯混合模型gmmfnew的高斯分量个数,ξfg(u)表示上述前景颜色高斯混合模型gmmfnew中第u个前景高斯分量的混合系数,profg(u,q)表示像素pq的颜色在上述前景颜色高斯混合模型gmmfnew中第u个前景高斯分量中的高斯分布概率;

利用下式,计算pq与上述虚拟前景点fs之间的边权重δ(pq,fs);

δ(pq,fs)=-ln(pvf(q))

其中ln表示以自然对数e为底的对数函数;

上述割图cg中的待检测图像中的每个像素都与上述虚拟背景点bt相连,对于待检测图像中的第q个像素pq,若pq属于前景种子点,则pq与上述虚拟背景点bt之间的边权重为一个常数τ,本发明的一个实施例中τ取值为0;若pq属于背景种子点,则pq与上述虚拟背景点bt之间的边权重为一个常数β,本发明的一个实施例中β取值为450;若pq既不属于前景种子点又不属于背景种子点,则利用下式,计算pq在上述背景景颜色高斯混合模型gmmfnew中的概率值pvb(q),

其中gcb表示上述背景颜色高斯混合模型gmmbnew的高斯分量个数,ξbg(u)表示上述背景颜色高斯混合模型gmmfnew中第u个背景高斯分量的混合系数,probg(u,q)表示像素pq的颜色在上述背景颜色高斯混合模型gmmbnew中第u个背景高斯分量中的高斯分布概率;

利用下式,计算pq与上述虚拟背景点bt之间的边权重δ(pq,bt);

δ(pq,bt)=-ln(pvb(q))

其中ln表示以自然对数e为底的对数函数;

在上述割图cg中,以上述虚拟前景点fs为源点,以上述虚拟背景点bt为汇点,利用最大流最小割方法,将上述割图cg分割成包含上述虚拟前景点fs的子图fg和包含上述虚拟背景点bt的子图bg;

将上述子图fg内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为1,将上述子图bg内待检测图像中除前景种子点和背景种子点以外的其他像素的标签设为0,将待检测图像中的前景种子点包含的所有像素的标签设为1,将待检测图像中的背景种子点包含的所有像素的标签设为0,得到当前显著性物体图r,将本次显著性物体图r与上次显著性物体图r进行比较,若本次显著性物体图r与上次显著性物体图r中相同位置且标签不同的像素个数小于50,则迭代终止,将本次显著性物体图r中标签为1的像素作为最终的显著性物体检测结果进行输出;若本次显著性物体图r与上次显著性物体图r中相同位置且标签不同的像素个数大于或等于50,则进入步骤(6-6);

(6-6)对上述步骤中的待检测图像中前景种子点包含的所有像素组成的区域进行形态学腐蚀操作,本发明的一个实施例中腐蚀半径设为25个像素宽度,被腐蚀的前景种子点被标记为初步前景点,对待检测图像中距离图像边界m个像素宽度以上的背景种子点包含的所有像素组成的区域进行形态学腐蚀操作,本发明的一个实施例中m设为10,腐蚀半径设为25个像素宽度,被腐蚀的背景种子点被标记为初步背景点,初步背景点包含的所有像素的标签设为0;

(6-7)利用步骤(6-5)中的计算方法,分别计算步骤(6-6)中前景种子点中的每个像素在前景颜色高斯混合模型gmmfnew中的概率值pvf和在背景高斯混合模型中的概率值pvb,对两个概率值进行比较,若pvf-pvb<∧,则将此种子点改为初步前景点;若pvf-pvb≥∧,则维持原状;本发明的一个实施例中∧取值为-0.06,分别计算上述得到的背景种子点中的每个像素在前景颜色高斯混合模型gmmfnew中的概率值pvf和在背景高斯混合模型中的概率值pvb,若pvb-pvf<∧,则将此种子点改为初步背景点;若pvb-pvf≥∧,则维持原状;本发明的一个实施例中∧取值为-0.06。

(6-8)返回步骤(6-5),完成待检测图像的显著性物体检测。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1