基于启发式边界优化的显著性目标检测方法

1.本发明属于计算机视觉技术领域，具体涉及一种基于启发式边界优化的显著性目标检测方法。


背景技术：

2.显著性目标检测是利用计算机来模拟人眼的视觉注意力机制的一项技术，其可以从图像中快速分割出最引人注目的物体或区域。视觉是人感知和认识世界的重要途径之一，随着科技的发展，计算机视觉技术越来越受到大家的关注。目前，显著性目标检测已成为计算机视觉领域的一项重要研究课题，并作为一项图像预处理技术，被广泛运用到其他计算机视觉任务中，如目标识别、目标跟踪、语义分割、视频压缩等。显著性目标检测可以有效引导图像的冗余抑制，在大数据时代下具有重要的实际应用价值。
3.早期的显著性目标检测方法，主要通过设计手工特征来检测显著目标，例如纹理、梯度、灰度等。但是，由于手工特征的特征表达能力具有局限性，且通过基础的数字图像处理难以对特征进行有效运用，使得基于传统方法的显著性目标检测难以获得目标区域完整的显著性图。深度神经网络凭借强大的特征提取和学习能力，逐渐得到研究人员的关注，并已经成功应用于显著性目标检测领域。但是，基于有监督神经网络的方法存在计算成本高、标签制作难、数据集依赖性高等问题。而基于无监督神经网络的显著性目标检测方法，虽然可以降低了标签制作成本，但由于监督信息不足，使得网络无法检测出具有精细边界的显著性图，难以满足实际应用的精度需要。


技术实现要素：

4.为克服现有技术的不足，本发明旨在主要解决无监督显著性目标检测方法所得显著性图分块现象明显、边缘细节差的问题，提出一种基于启发式边界优化的显著性目标检测方法。
5.为此，本发明采取的技术方案是，基于启发式边界优化的显著性目标检测方法，步骤如下：
6.步骤1：基于简单线性迭代聚类和基本数字图像特征得到粗显著性图；
7.步骤2：应用基于类间、类内方差的区域划分算法获得图像优化蒙版，对于步骤1得到的粗显著性图进行区域划分，得到具有主体区域、待优化区域、背景区域三个部分的图像优化蒙版；
8.步骤3：利用彩色图像和图像优化蒙版构建边界优化金字塔，通过同时对彩色图像和图像优化蒙版进行参数相同的采样操作，构建图像的多尺度表示，即边界优化金字塔；
9.步骤4：应用基于动态种群灰狼算法的边界优化算法对边界区域进行优化，基于动态种群的灰狼优化算法在原有灰狼算法的基础上，设置种群动态率和离群率参数，并利用新的搜索方程提升算法的全局寻优能力和多峰函数寻优能力，通过对图像优化蒙版进行边界细化，得到目标区域均匀、边界清晰完整的显著性图。
10.具体步骤如下：
11.步骤1：基于简单线性迭代聚类和基本数字图像特征得到粗显著性图，采用简单线性迭代聚类slic方法将图像分割为多个区域，即超像素区域，在超像素区域内，根据人的视觉感知对像素进行分组或聚类，在一幅图像中可以提取多个同质性区域，之后，通过度量超像素区域间的颜色对比度和空间对比度来提取特征对比度图；此外，对输入图像通过harris算子进行角点检测，得到输入图中的显著点；在此基础上，利用超像素区域的空间分布来突出显著性目标和抑制背景，之后，确定每个超像素区域作为背景的概率，通过数值来表示背景连通性，将特征对比图、空间紧致项和背景相关项分别进行平滑处理，并融合在一起生成初始显著特征图，接着，采用代价函数融合初始显著性特征图和背景概率图得到粗显著性图；
12.步骤2：应用基于类间、类内方差的区域划分算法获得图像优化蒙版：应用基于类间、类内方差的区域划分，对于步骤1得到的粗显著性图进行区域划分，得到主体区域、待优化区域、背景区域三个部分，利用最大类间方差和最小类内方差的准则构建代价函数，求取图像优化蒙版分割阈值t1和t2，基于t1和t2对粗显著性预测图进行分割，并经过开运算去除噪声，得到图像优化蒙版；
13.步骤3：利用彩色图像和图像优化蒙版构建边界优化金字塔，同时对彩色图像和图像优化蒙版进行参数相同的采样操作，构建图像的多尺度表示，即边界优化金字塔，为避免边界优化金字塔包含过小的图像，设置边界优化金字塔建立停止准则，当满足边界优化金字塔建立停止准则，算法停止计算，得到边界优化金字塔数据模型；
14.步骤4：应用基于动态种群灰狼算法的边界优化算法对边界区域进行优化，迭代搜索之前，由基于动态种群的灰狼优化算法进行优化，该算法为启发式信息传播提供初始像素对，对于边界优化金字塔数据模型，从最小尺度的图像开始，逐级进行启发式信息传播的多尺度像素对搜索，将在金字塔的前一层搜索得到的启发式信息传播到当前层，并交替执行启发式信息传播和单尺度搜索；其中，动态种群的灰狼优化算法在原有灰狼算法的基础上，设置种群动态率和离群率参数，并利用新的搜索方程提升算法的全局寻优能力和多峰函数寻优能力，通过对图像优化蒙版进行边界细化，得到目标区域均匀、边界清晰完整的显著性图。
15.详细步骤如下：
16.步骤1：基于简单线性迭代聚类和基本数字图像特征得到粗显著性图：采用简单线性迭代聚类slic(simple linear iterative cluster)方法将图像分割为多个区域，即超像素区域，在超像素区域内，根据人的视觉感知对像素进行分组或聚类；对输入图像的每个颜色通道进行量化，将其统一量化到q个二进制数中，从量化后的图像中，选择主色以覆盖图像中95％以上的像素，根据最小欧几里德距离准则，将覆盖小5％像素的颜色合并到选定的主色中，基于超像素的图像分割和颜色量化后，每个超像素区域si均有其直方图hi，i＝1,2，
…
n，并以进行归一化，其中k为颜色量化数；之后，通过度量超像素区域间的颜色对比度和空间对比度来提取特征对比度图，两个超像素区域si和sj,它们的颜色距离cd(si,sj)被定义为两个超像素区域中平均颜色的欧几里得距离，取值范围是[0,1]，这里的颜色距离cd评估两个超像素区域的颜色相似性，除了基于颜色的相似性,对两个超像素si和sj接近性的格式塔定律表示为空间邻近距离pd(si,sj),它被定义为两超像素质心之间的
欧氏距离，pd(si,sj)越大,si和sj越接近，空间接近距离可在[0,1]内进一步归一化为其公式为：
[0017][0018]
式中，p
d-min
和p
d-max
分别指pd所有可能值的最小值和最大值，由给定图像的超像素确定；
[0019]
基于颜色距离cd和标准化空间接近距离得到si的全局超像素颜色对比度，其定义为：
[0020][0021]
其中n为超像素区域个数，aj为超像素sj的归一化区域，其中大的对si的全局颜色对比度值贡献更大，aj的总和为1；
[0022]
定义超像素区域si的全局空间对比度值如下：
[0023][0024]
式中lj为空间布局的权重，其定义为超像素区域sj的质心到图像四个边框中的任意一个的最小距离；ci是式(4)定义的超像素区域间颜色相似度，其中hi和hj分别指两个超像素区域si和sj的颜色直方图，m是颜色量化数k的索引；
[0025][0026]
式中，通过(1-|hi(m)-hj(m)|)根据频率来衡量两个直方图的相似度；将ics定义为超像素区域si和sj之间的颜色相似度和空间接近度的组合度量：
[0027]
ics(si,sj)＝p
d-norm
(si,sj)
·ci
(si,sj)
ꢀꢀꢀ
(5)
[0028]
因此，全局空间对比度值的公式可简化为：
[0029][0030]
在全局颜色对比度cg和全局空间对比度sg的基础上，得到超像素区域si的特征对比度值fc(si)，其公式为：
[0031]
fc(si)＝cg(si)
·
sg(si)
ꢀꢀ
(7)
[0032]
此外，对输入图像通过harris算子进行角点检测，得到输入图中的显著点，在此基础上，利用超像素区域的空间分布来突出显著性目标和抑制背景；
[0033]
对于给定的超像素区域图像，所有超像素区域的颜色也可以在lab颜色空间中划分为8个粗簇，其中3个单独的颜色分量通过阈值t
(.)
分为两部分，对于8个颜色簇中的每一个，提取的主色记为其中为lab三个颜色分量之一的平均值，ci作为对应颜色簇的中心，采用harris算子确定前景和背景的粗区域，计算凸包将所有显著点包围起来，凸包内的所有超像素区域定义为前景，其余超像素定义为背景，让和分别表示前景gf和背景gb的平均颜色，为了最大化颜色对比度，在每个颜色分量中，自适应阈值t
(.)
被定义为：
[0034][0035]
根据上面自适应确定的8种主要颜色，将相似的颜色合并起来，以简化后续计算，比较每对提取的主要颜色，如果它们的欧氏距离小于阈值td，则合并它们，对于每一幅图像，自适应确定阈值为和之间欧氏距离的一半，设ci和cj为两个颜色簇，用加权平均凝聚法将其合并：
[0036][0037]
其中pi和pj分别表示ci和cj中的像素数，对于gf或gb中的每个颜色簇ck，m(ck)表示其地理中心，ck的空间紧致性项定义为m(ck)与每个对象oi之间的平均距离，它包含:
[0038][0039][0040]
其中k≤8，nk表示颜色簇ck内对象数量，m(oi)表示对象的地理中心oi。通过式(12)，sd缩放到[0,1]；
[0041][0042]
其中sd(ck)是sdf(ck)或sdb(ck)；sd
min
和sd
max
分别为所有空间紧密度sd的最小值和最大值。
[0043]
计算背景相关项用以衡量对象o与图像边界之间的连接程度，值越大表示o与图像边界之间的重叠程度越高，背景相关项定义为：
[0044][0045]
其中nc为对象o中的超像素总数，nb为对象o中直接连接到图像边界的超像素个数，取bc的所有可能值的最大值和最小值，分别记为b
c_max
和b
c_min
，得到[0,1]范围内的规范化bc，其公式为：
[0046][0047]
之后，确定每个超像素区域作为背景的概率，通过数值来表示背景连通性，对于给定的超像素区域si，其是背景的概率可以由式(15)来表示：
[0048][0049][0050][0051]
其中σ设置为10，当超像素区域在图像边界上时δ(
·
)为1，否则δ(
·
)取0，n为超像素区域个数，d
geo
(si,sj)是任意两个超像素区域之间的测地距离,其由累积权重d
app
得来,由沿着图中相邻超像素区域si和sj序列之间的最短路径的欧氏距离衡量,l是超像素区域在确
定路径的总数；
[0052][0053]
为了使bp在[0,1]内，σ
bp
设置为1，其规范化过程定义为:
[0054][0055]
将特征对比图、空间紧致项和背景相关项分别进行平滑处理，并融合在一起生成初始显著特征图，对于每个超像素，用其周围超像素区域的显著性值的加权平均值替换其显著性值，对于给定的超像素区域si，选取最近邻进行加权平均，在局部细化si的特征对比度值，具体如下:
[0056][0057]
其中是在si和它的k个最近相邻区域之间的颜色相似度与空间相似度之和；
[0058]
对于ck中的所有超像素区域，它们将被分配相同的空间紧凑性项n
sd
(ck)，这个值越低，它与突出对象的相似性就越高，之后，对每个超像素区域si的空间紧致项进行平滑处理，其公式如下所示：
[0059][0060]
其中n是超像素区域的个数，是si与其他超像素区域的颜色相似度和空间接近度之和；
[0061]
此外，背景相关项通过式(22)进行计算：
[0062][0063]
之后，将空间紧性项r
sd
(si)与背景相关项结合，确定背景抑制映射：
[0064][0065]
初始显著性特征图表示为：
[0066]
isa(si)＝rfc(si)
·
op(si)
ꢀꢀ
(24)
[0067]
接着，采用代价函数融合初始显著性特征图和背景概率图得到粗显著性图，设fsai为超像素区域si的最终显著性值，代价函数为
[0068][0069][0070]
步骤2：假设图像阈值为t1和t2，全局平均值为mg,小于t1的像素为背景，平均灰度值为u0；大于t1且小于t2的像素为待优化区域，平均灰度值为u1；大于t2的像素为目标区域，平均灰度值为u2，利用最大类间方差和最小类内方差的准则求取两个阈值，类间方差计算公式为：
[0071]ginter
＝ω0×
(u
0-mg)2+ω1×
(u
1-mg)2+ω2×
(u
2-mg)2ꢀꢀ
(26)
[0072]
其中，ω0＝3，ω1＝1，ω2＝3，分别为3个区域的权重系数，因主体区域和背景区域更容易获得较为准确的推理，故两个区域所对应的权重系数更大，mg为全局平均灰度值；类内方差计算公式为：
[0073][0074]
其中，m0、m1、m2分别为主体区域、待优化区域、背景区域的像素个数。xi，xj，xk则分别3个区域的像素值；
[0075]
基于类间方差和类内方差构建阈值分割代价函数，其公式为：
[0076]
g＝αg×ginter
×
β
g-(1-αg)
×gintra
ꢀꢀꢀ
(28)
[0077]
其中，αg表示类间方差比例系数，αg＝0.5,βg代表类间方差权重系数，调整t1和t2的取值，当g取到最大值时，t1和t2为最优阈值。基于t1和t2对粗显著性预测图进行分割，并经过开运算去除噪声，得到图像优化蒙版；
[0078]
步骤3：利用彩色图像和图像优化蒙版构建边界优化金字塔，同时对彩色图像和图像优化蒙版进行参数相同的采样操作，构建图像的多尺度表示，即边界优化金字塔，为避免边界优化金字塔包含过小的图像，设置边界优化金字塔建立停止准则：当图像的长或宽中的一个维度下降到100像素以下时，下采样循环终止，当满足边界优化金字塔建立停止准则，算法停止计算，得到边界优化金字塔数据模型；
[0079]
步骤4：应用基于动态种群灰狼算法的边界优化算法对边界区域进行优化，迭代搜索之前，由基于动态种群的灰狼优化算法进行优化，该算法为启发式信息传播提供初始像素对。对于边界优化金字塔数据模型，从最小尺度的图像开始，逐级进行启发式信息传播的多尺度像素对搜索，将在金字塔的前一层搜索得到的启发式信息传播到当前层，并交替执行启发式信息传播和单尺度搜索；
[0080]
在启发式信息传播中，使用边界优化金字塔定义相邻层级上像素对的邻域，用于计算前一层像素平均颜色的金字塔当前层像素，被定义为前一层像素的邻域，不同尺度像素的邻域关系可以扩展到像素对，在像素对选择过程中，不对高质量像素对应用优化算法，只从待优化的初始决策向量中选取一半低质量的像素对，避免冗余搜索；
[0081]
动态种群的灰狼优化算法在原有灰狼算法的基础上，设置种群动态率和离群率参数，并利用新的搜索方程提升算法的全局寻优能力和多峰函数寻优能力，由于ω狼是狼群中地位最低在狼群中地位最低，往往是受到驱逐或是刚被种群接纳的狼，因此，ω狼会存在三种状态，即稳定状态、离开状态、加入状态，据此，提出动态种群策略，设置种群动态率和离群率两个参数，由种群动态率控制ω狼个体处于稳定状态还是其他状态，由离群率控制ω狼处于脱离状态还是加入状态。在动态种群的灰狼优化算法中，
[0082][0083][0084][0085]
其中为系数矩阵，其取值如式(32)-(34)所示，为α、β、δ狼的位置向量，为灰狼的位置向量，分别为α、β、δ狼对ω狼的迭代结果影响的
中间值；
[0086][0087][0088][0089]
其中，为元素取值范围[0,1]的随机数矩阵，a、β、δ狼的位置向量对ω狼的等级机制作用量如下：
[0090][0091][0092][0093][0094][0095][0096]
其中为α、β、δ狼的位置向量对ω狼的等级机制作用量，为元素取值范围[0,1]的随机数矩阵，设置p1为种群动态率，p2为离群率，则动态种群的灰狼优化算法中ω狼的更新公式为：
[0097][0098]
其中表示优化的到的值，q和ω为元素取值范围[0,1]的随机数，和为优化空间的上下限矩阵，r1为种群动态阈值，r2为离群阈值；
[0099]
在基于动态种群灰狼算法的边界优化算法中通过代价函数建立起动态种群灰狼算法与子显著性目标检测之间的联系，代价函数的公式为：
[0100][0101][0102][0103][0104]cc
＝‖u
color-((f
alpha
·fcolor
)+(1-f
alpha
)
·bcolor
)‖2ꢀꢀ
(46)
[0105][0106][0107]
[0108]
其中，f
color
、u
color
、b
color
分别是彩色图像所对应的主体区域、待优化区域、背景区域，fs、us、bs为图像优化蒙版采样后的主体区域、待优化区域、背景区域，f
md
、b
md
分别为待优化区域像素与主体区域、背景区域中像素的距离矩阵；
[0109]
利用动态种群灰狼算法对图像优化蒙版进行边界细化，得到目标区域均匀、边界清晰完整的显著性图。
[0110]
本发明的特点及有益效果是：
[0111]
1)本发明提供了一种基于启发式边界优化的显著性目标检测方法，与现有的图像无监督显著性目标检测算法相比，本发明得到的图像具有更清晰的边缘以及更丰富的细节。相较以往单纯基于提取手动特征或先验知识的方法，本发明基于启发式边界优化的方法具有更好的边界提取能力。
[0112]
2)本发明提供了一种基于启发式边界优化的显著性目标检测方法，该方法与现有方法相比较，本发明方法是一种无监督的方法,且计算复杂度更低,能有效减少计算成本和数据标注成本。
[0113]
3)本发明提供了一种基于启发式边界优化的显著性目标检测方法，该方法与现有方法相比较，可以有效的提高检测出的显著性目标区域的完整性,该方法具有更好的鲁棒性和准确性。
附图说明：
[0114]
图1为一种基于启发式边界优化的显著性目标检测方法的整体流程图。
[0115]
图2为利用彩色图像和图像优化蒙版构建边界优化金字塔示意图。
具体实施方式
[0116]
本发明提供一种基于启发式边界优化的显著性目标检测方法，其主要流程如图1所示，包含的主要步骤如下：
[0117]
步骤1：基于简单线性迭代聚类和基本数字图像特征得到粗显著性图。
[0118]
步骤2：应用基于类间、类内方差的区域划分算法获得图像优化蒙版。对于步骤1得到的粗显著性图进行区域划分，得到具有主体区域、待优化区域、背景区域三个部分的图像优化蒙版。
[0119]
步骤3：利用彩色图像和图像优化蒙版构建边界优化金字塔。通过同时对彩色图像和图像优化蒙版进行参数相同的采样操作，构建图像的多尺度表示，即边界优化金字塔。
[0120]
步骤4：应用基于动态种群灰狼算法的边界优化算法对边界区域进行优化。基于动态种群的灰狼优化算法在原有灰狼算法的基础上，设置种群动态率和离群率参数，并利用新的搜索方程提升算法的全局寻优能力和多峰函数寻优能力，通过对图像优化蒙版进行边界细化，得到目标区域均匀、边界清晰完整的显著性图。
[0121]
本发明的详细步骤描述如下：
[0122]
本发明主要解决无监督显著性目标检测方法所得显著性图分块现象明显、边缘细节差的问题。为解决上述技术问题，本发明提供一种基于启发式边界优化的显著性目标检测方法，其主要步骤如下：
[0123]
步骤1：基于简单线性迭代聚类和基本数字图像特征得到粗显著性图。采用简单线
性迭代聚类(simple linear iterative cluster,slic)方法将图像分割为多个区域，即超像素区域。在超像素区域内，根据人的视觉感知对像素进行分组或聚类，在一幅图像中可以提取多个同质性区域，具体来说是基于色彩同质性结合色彩量化来减少颜色数量。之后，通过度量超像素区域间的颜色对比度和空间对比度来提取特征对比度图。此外，对输入图像通过harris算子进行角点检测，得到输入图中的显著点。在此基础上，利用超像素区域的空间分布来突出显著性目标和抑制背景。之后，确定每个超像素区域作为背景的概率，通过数值来表示背景连通性。将特征对比图、空间紧致项和背景相关项分别进行平滑处理，并融合在一起生成初始显著特征图。接着，采用代价函数融合初始显著性特征图和背景概率图得到粗显著性图。
[0124]
步骤2：应用基于类间、类内方差的区域划分算法获得图像优化蒙版。应用一种基于类间、类内方差的区域划分，对于步骤1得到的粗显著性图进行区域划分，得到主体区域、待优化区域、背景区域三个部分。利用最大类间方差和最小类内方差的准则构建代价函数，求取图像优化蒙版分割阈值t1和t2。基于t1和t2对粗显著性预测图进行分割，并经过开运算去除噪声，得到图像优化蒙版。
[0125]
步骤3：利用彩色图像和图像优化蒙版构建边界优化金字塔。同时对彩色图像和图像优化蒙版进行参数相同的采样操作，构建图像的多尺度表示，即边界优化金字塔。为避免边界优化金字塔包含过小的图像，设置边界优化金字塔建立停止准则。当满足边界优化金字塔建立停止准则，算法停止计算，得到边界优化金字塔数据模型。
[0126]
步骤4：应用基于动态种群灰狼算法的边界优化算法对边界区域进行优化。迭代搜索之前，由基于动态种群的灰狼优化算法进行优化，该算法为启发式信息传播提供初始像素对。对于边界优化金字塔数据模型，从最小尺度的图像开始，逐级进行启发式信息传播的多尺度像素对搜索，将在金字塔的前一层搜索得到的启发式信息传播到当前层，并交替执行启发式信息传播和单尺度搜索。其中，动态种群的灰狼优化算法在原有灰狼算法的基础上，设置种群动态率和离群率参数，并利用新的搜索方程提升算法的全局寻优能力和多峰函数寻优能力。通过对图像优化蒙版进行边界细化，得到目标区域均匀、边界清晰完整的显著性图。
[0127]
下面将结合附图对本发明的实施方式作进一步的详细描述。
[0128]
如图1所示，为本发明的一种基于启发式边界优化的显著性目标检测方法的整体流程图。该流程具体包括以下步骤：
[0129]
步骤1：基于简单线性迭代聚类和基本数字图像特征得到粗显著性图。采用简单线性迭代聚类(simple linear iterative cluster,slic)方法将图像分割为多个区域，即超像素区域。在超像素区域内，根据人的视觉感知对像素进行分组或聚类，在一幅图像中可以提取多个同质性区域，具体来说是基于色彩同质性结合色彩量化来减少颜色数量。对输入图像的每个颜色通道进行量化，将其统一量化到q个二进制数中，在这里q设置为12。从量化后的图像中，选择主色以覆盖图像中95％以上的像素。根据最小欧几里德距离准则，将覆盖小5％像素的颜色合并到选定的主色中。基于超像素的图像分割和颜色量化后，每个超像素区域si(i＝1,2，
…
n)均有其直方图hi，并以进行归一化，其中k为颜色量化数。之后，通过度量超像素区域间的颜色对比度和空间对比度来提取特征对比度图。两个超像素区域si和sj,它们的颜色距离cd(si,sj)被定义为两个超像素区域中平均颜色的欧几里
得距离，取值范围是[0,1]。这里的颜色距离cd评估两个超像素区域的颜色相似性。除了基于颜色的相似性,对两个超像素si和sj接近性的格式塔定律表示为空间邻近距离pd(si,sj),它被定义为两超像素质心之间的欧氏距离。pd(si,sj)越大,si和sj越接近。空间接近距离可在[0,1]内进一步归一化为其公式为：
[0130][0131]
式中，p
d-min
和p
d-max
分别指pd所有可能值的最小值和最大值,由给定图像的超像素确定。
[0132]
基于颜色距离cd和标准化空间接近距离得到si的全局超像素颜色对比度，其定义为：
[0133][0134]
其中n为超像素区域个数，aj为超像素sj的归一化区域，其中大的对si的全局颜色对比度值贡献更大，aj的总和为1。
[0135]
类似地，定义超像素区域si的全局空间对比度值如下：
[0136][0137]
式中lj为空间布局的权重，其定义为超像素区域sj的质心到图像四个边框中的任意一个的最小距离；ci是式(4)定义的超像素区域间颜色相似度，其中hi和hj分别指两个超像素区域si和sj的颜色直方图，m是颜色量化数k的索引。
[0138][0139]
式中，通过(1-|hi(m)-hj(m)|)根据频率来衡量两个直方图的相似度，这改进了相似性度量，比传统的直方图相交方法更符合人类的感知。
[0140]
为了简单起见，将ics定义为超像素区域si和sj之间的颜色相似度和空间接近度的组合度量：
[0141]
ics(si,sj)＝p
d-norm
(si,sj)
·ci
(si,sj)
ꢀꢀ
(5)
[0142]
因此，全局空间对比度值的公式可简化为：
[0143][0144]
在全局颜色对比度cg和全局空间对比度sg的基础上，得到超像素区域si的特征对比度值fc(si)，其公式为：
[0145]
fc(si)＝cg(si)
·
sg(si)
ꢀꢀ
(7)
[0146]
此外，对输入图像通过harris算子进行角点检测，得到输入图中的显著点。在此基础上，利用超像素区域的空间分布来突出显著性目标和抑制背景。
[0147]
对于给定的超像素区域图像，所有超像素区域的颜色也可以在lab颜色空间中划分为8个粗簇，其中3个单独的颜色分量通过阈值t
(.)
分为两部分。对于8个颜色簇中的每一个，提取的主色记为其中为lab三个颜色分量之一的平均值，ci作为对应颜色簇的中心。采用harris算子确定前景和背景的粗区域，计算凸包将所有显著
点包围起来。凸包内的所有超像素区域定义为前景，其余超像素定义为背景。让和分别表示前景gf和背景gb的平均颜色。为了最大化颜色对比度，在每个颜色分量中，自适应阈值t
(.)
被定义为：
[0148][0149]
根据上面自适应确定的8种主要颜色，将相似的颜色合并起来，以简化后续计算。比较每对提取的主要颜色，如果它们的欧氏距离小于阈值td，则合并它们。对于每一幅图像，自适应确定阈值为和之间欧氏距离的一半，td的上限设为15。
[0150]
设ci和cj为两个颜色簇，用加权平均凝聚法将其合并：
[0151][0152]
其中pi和pj分别表示ci和cj中的像素数。对于每个超像素区域图像，通常可以提取3-8种主色，它们分别位于背景或前景，即获得多达16个颜色簇，其中一半来自前景，其他来自背景。随着在颜色量化中不包含空间信息，每个颜色簇内的超像素不一定在空间上分组在一起。这意味着每个颜色簇可能包含多个由一个或多个超像素组成的独立对象。因此，超像素区域图像变成对象区域图像。对于gf或gb中的每个颜色簇ck，m(ck)表示其地理中心。ck的空间紧致性项定义为m(ck)与每个对象oi之间的平均距离，它包含:
[0153][0154][0155]
其中k≤8，nk表示颜色簇ck内对象数量，m(oi)表示对象的地理中心oi。通过式(12)，sd可以缩放到[0,1]。
[0156][0157]
其中sd(ck)是sdf(ck)或sdb(ck)；sd
min
和sd
max
分别为所有空间紧密度sd的最小值和最大值。
[0158]
计算背景相关项用以衡量对象o与图像边界之间的连接程度，值越大表示o与图像边界之间的重叠程度越高。因此，由于假设突出的物体应该远离图像边界，所以物体o更有可能被归类为背景。背景相关项定义为：
[0159][0160]
其中nc为对象o中的超像素总数，nb为对象o中直接连接到图像边界的超像素个数。取bc的所有可能值的最大值和最小值，分别记为b
c_max
和b
c_min
，可以得到[0,1]范围内的规范化bc，其公式为：
[0161][0162]
之后，确定每个超像素区域作为背景的概率，通过数值来表示背景连通性。对于给
定的超像素区域si，其是背景的概率可以由式(15)来表示：
[0163][0164][0165][0166]
其中σ设置为10，当超像素区域在图像边界上时δ(
·
)为1，否则δ(
·
)取0。n为超像素区域个数。d
geo
(si,sj)是任意两个超像素区域之间的测地距离,其由累积权重d
app
得来,由沿着图中相邻超像素区域si和sj序列之间的最短路径的欧氏距离衡量,l是超像素区域在确定路径的总数。
[0167][0168]
为了使bp在[0,1]内，σ
bp
设置为1，其规范化过程定义为:
[0169][0170]
将特征对比图、空间紧致项和背景相关项分别进行平滑处理，并融合在一起生成初始显著特征图。对于每个超像素，用其周围超像素区域的显著性值的加权平均值替换其显著性值。对于给定的超像素区域si，选取最近邻进行加权平均，在局部细化si的特征对比度值，具体如下:
[0171][0172]
其中是在si和它的k个最近相邻区域之间的颜色相似度与空间相似度之和。
[0173]
对于ck中的所有超像素区域，它们将被分配相同的空间紧凑性项n
sd
(ck)。这个值越低，它与突出对象的相似性就越高。之后，对每个超像素区域si的空间紧致项进行平滑处理，其公式如下所示：
[0174][0175]
其中n是超像素区域的个数，是si与其他超像素区域的颜色相似度和空间接近度之和。
[0176]
此外，背景相关项也可以通过式(22)进行计算：
[0177][0178]
之后，将空间紧性项r
sd
(si)与背景相关项结合，确定背景抑制映射：
[0179][0180]
初始显著性特征图可表示为：
[0181]
isa(si)＝rfc(si)
·
op(si)
ꢀꢀ
(24)
[0182]
接着，采用代价函数融合初始显著性特征图和背景概率图得到粗显著性图。设
fsai为超像素区域si的最终显著性值。代价函数为
[0183][0184][0185]
其中σ被设为10。
[0186]
步骤2：应用基于类间、类内方差的区域划分算法获得图像优化蒙版。基于方差的区域划分，对于步骤1得到的粗显著性图，进行区域划分，得到主体区域、待优化区域、背景区域三个部分。假设图像阈值为t1和t2，全局平均值为mg,小于t1的像素为背景，平均灰度值为u0；大于t1且小于t2的像素为待优化区域，平均灰度值为u1；大于t2的像素为目标区域，平均灰度值为u2。利用最大类间方差和最小类内方差的准则求取两个阈值。类间方差计算公式为：
[0187]ginter
＝ω0×
(u
0-mg)2+ω1×
(u
1-mg)2+ω2×
(u
2-mg)2ꢀꢀ
(26)
[0188]
其中，ω0＝3，ω1＝1，ω2＝3，分别为3个区域的权重系数。因主体区域和背景区域更容易获得较为准确的推理，故两个区域所对应的权重系数更大。mg为全局平均灰度值。
[0189]
类内方差计算公式为：
[0190][0191]
其中，m0、m1、m2分别为主体区域、待优化区域、背景区域的像素个数。xi，xj，xk则分别3个区域的像素值。
[0192]
基于类间方差和类内方差构建阈值分割代价函数，其公式为：
[0193]
g＝αg×ginter
×
β
g-(1-αg)
×gintra
ꢀꢀ
(28)
[0194]
其中，αg表示类间方差比例系数，αg＝0.5,βg代表类间方差权重系数，βg＝0.14。调整t1和t2的取值，当g取到最大值时，t1和t2为最优阈值。基于t1和t2对粗显著性预测图进行分割，并经过开运算去除噪声，得到图像优化蒙版。图像优化蒙版中，主体区域像素值为255，待优化区域像素值为128，背景区域像素值为0。
[0195]
步骤3：利用彩色图像和图像优化蒙版构建边界优化金字塔。同时对彩色图像和图像优化蒙版进行参数相同的采样操作，构建图像的多尺度表示，即边界优化金字塔，如图2所示，边界优化金字塔的两个相邻层级上的图像非常相似。考虑到相似性，搜索小尺度图像中的像素对可以为搜索大尺度图像提供启发信息。为避免边界优化金字塔包含过小的图像，设置边界优化金字塔建立停止准则，如，当图像的长或宽中的一个维度下降到100像素以下时，下采样循环终止。停止准则中设置的图像大小不是一个敏感参数，可根据实际图像进行调整。当满足边界优化金字塔建立停止准则，算法停止计算，得到边界优化金字塔数据模型。
[0196]
步骤4：应用基于动态种群灰狼算法的边界优化算法对边界区域进行优化。迭代搜索之前，由基于动态种群的灰狼优化算法进行优化，该算法为启发式信息传播提供初始像素对。对于边界优化金字塔数据模型，从最小尺度的图像开始，逐级进行启发式信息传播的多尺度像素对搜索，将在金字塔的前一层搜索得到的启发式信息传播到当前层，并交替执行启发式信息传播和单尺度搜索。
[0197]
在启发式信息传播中，使用边界优化金字塔定义相邻层级上像素对的邻域。用于
计算前一层像素平均颜色的金字塔当前层像素，被定义为前一层像素的邻域。不同尺度像素的邻域关系可以扩展到像素对。启发式信息传播得到的初始决策向量中的一些像素对由于具有局部平滑先验，因此具有较高的质量。在像素对选择过程中，不对高质量像素对应用优化算法，只从待优化的初始决策向量中选取一半低质量的像素对，避免冗余搜索。
[0198]
动态种群的灰狼优化算法在原有灰狼算法的基础上，设置种群动态率和离群率参数，并利用新的搜索方程提升算法的全局寻优能力和多峰函数寻优能力。由于ω狼是狼群中地位最低在狼群中地位最低，往往是受到驱逐或是刚被种群接纳的狼。因此，ω狼会存在三种状态，即稳定状态、离开状态、加入状态。据此，提出动态种群策略，设置种群动态率和离群率两个参数。由种群动态率控制ω狼个体处于稳定状态还是其他状态，由离群率控制ω狼处于脱离状态还是加入状态。在动态种群的灰狼优化算法中，
[0199][0200][0201][0202]
其中为系数矩阵，其取值如式(32)-(34)所示，为α、β、δ狼的位置向量，为灰狼的位置向量，分别为α、β、δ狼对ω狼的迭代结果影响的中间值。
[0203][0204][0205][0206]
其中，为元素取值范围[0,1]的随机数矩阵。a、β、δ狼的位置向量对ω狼的等级机制作用量如下：
[0207][0208][0209][0210][0211][0212][0213]
其中为α、β、δ狼的位置向量对ω狼的等级机制作用量，为元素取值范围[0,1]的随机数矩阵。设置p1为种群动态率，p2为离群率，则动态种群的灰狼优化算法中ω狼的更新公式为：
[0214][0215]
其中表示优化的到的值，q和ω为元素取值范围[0,1]的随机数，和为优化空间的上下限矩阵，r1为种群动态阈值，r2为离群阈值。
[0216]
在基于动态种群灰狼算法的边界优化算法中通过代价函数建立起动态种群灰狼算法与子显著性目标检测之间的联系，代价函数的公式为：
[0217][0218][0219][0220][0221]cc
＝‖u
color-((f
alpha
·fcolor
)+(1-f
alpha
)
·bcolor
)‖2ꢀꢀ
(46)
[0222][0223][0224][0225]
其中，f
color
、u
color
、b
color
分别是彩色图像所对应的主体区域、待优化区域、背景区域，fs、us、bs为图像优化蒙版采样后的主体区域、待优化区域、背景区域，f
md
、b
md
分别为待优化区域像素与主体区域、背景区域中像素的距离矩阵。
[0226]
利用动态种群灰狼算法对图像优化蒙版进行边界细化，得到目标区域均匀、边界清晰完整的显著性图。
[0227]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。