专利名称：基于区域显著性的显著对象提取方法
技术领域：
本发明涉及一种计算机图像处理的方法，具体地说是涉及一种图象分割方法。
背景技术：
图像分割是图像分析、模式识别和计算机视觉领域的一个重要问题，同时也是一个难点问题，图像分割的最终目的是能分割出具有特定现实意义的物体，即语义对象。有的方法使用可识别的高级信息(例如人脸和文本)和图像显著性定位图像中的显著对象。但是由于一些图像不存在可识别的高级信息，或者即使存在可识别的高级信息也很难自动的提取出来，所以它的使用是有限的。图像显著性总是可用的，可是它不能为定位图像中的显著对象提供足够的信息。低级的空域特征不一定很好的匹配显著对象。例如，图像区域之间的某些高对比度的边缘通常是引人注目的，将被识别为显著对象，而实际上并不是正确的显著对象。此外，现存的图像显著性检测方法不能识别在不同的图像尺度上出现的显著图像特征。不解决图像尺度不变的显著性问题，会失去在一些图像尺度上的显著特征，导致图像分割效果不尽如人意。
发明内容
本发明的目的在于克服现有技术中存在的不足提供一种基于区域显著性的显著对象提取方法，该方法能准确的提取出多个显著对象，提高图像分割的准确性，使分割结果满足人眼视觉要求。
为解决上述技术问题，本发明所采用的技术方案是上述基于区域显著性的显著对象提取方法，首先，通过计算输入图像的多分辨率对比度特征，建立一个尺度不变的显著性图像，用非参数核密度估计方法把输入图像分割成不同的区域；然后，计算每个区域组合与其补集的区域显著性的比值；最后，通过取这个比值的最大值而提取出显著对象，具体步骤如下 1、输入图像，建立尺度不变的显著性图像 ①、把输入图像转换成L*a*b彩色空间； ②、使用公式(1)，建立高斯图像金字塔 式中，0<l<N，0≤i<Cl，0≤j<Rl，高斯图像金字塔的级数N＝log2(min(W，H)/10)，W和H分别是原始图像的宽和高，Cl和Rl分别是第l级的图像尺寸，w(m，n)是权重； ③、使用公式(2)、(3)，通过在每个图像尺度上计算对比度图像从而建立对比度图像金字塔，在图像尺度l上的对比度值Ci，j，l被定义为在尺度l上的像素(i，j)和它的邻域像素之间的差的加权和，即 wi，j，l＝1-ri，j，l/rl，max(3) 式中，Θ是在尺度l上的像素(i，j)的邻域像素集合，pi，j，l是在尺度l上的像素(i，j)的颜色，pq是pi，j，l的邻域像素集合的像素的颜色，D是使用欧几里得距离的颜色差。权重因数wi，j，l用于说明一个图像的中心通常在视觉上是更显著的。ri，j，l是从(i，j)到图像中心的距离，rl，max是到图像中心的最大距离； ④、使用公式(4)把所有尺度上的对比度图像调整到和原始图像一样的大小，然后把它们相加以建立显著性图像， 式中0<l<N，0≤k，0≤i<Cl-k，0≤j<Rl-k，Il，k(i，j)是把Il扩大k倍的结果。
2、输入图像，实现图像分割 首先，将输入的图像，使用公式(5)、(6)，利用图像本身信息，获得具有代表性的种子点，并使用种子点量化图像，接着，根据区域的面积对量化图中较多的噪声进行去除和使用公式(7)、(8)对显著性低的区域进行区域合并，实现图像的区域分割，下面是非参数密度估计的公式 密度f(x)值是特征点集与核函数的卷积值。U是图像中的所有像素点个数。K(x)为核函数，其中x是所要计算的特征点。σ是频宽。
区域的显著性指标用来表示图像中各个区域引起人眼关注的概率大小。利用每个区域的面积在具有相同的种子点颜色区域中所占的比例和此区域在整幅图像所占的比例得到区域的显著性指标。如果某个区域在所有相同颜色区域中所占的比例较小，那么该区域的显著性指标就较低。区域的显著性指标公式定义为 式中
表示第i个种子点颜色中第j个区域，
为
的显著性指标，
为
的像素个数，
为第i个种子点颜色中所有区域的像素个数总和，
为图像中所有像素的个数总和。
获得了区域的显著性指标后，需要去除一些非显著的区域。如图5所示，如果非显著区域只与一个区域相邻，则可以被相邻区域合并。如果被去除的区域位于几个区域的交汇处，则需计算区域之间的作用力进行处理，见式(8)所示 Fij＝kijA(Ri)A(Rj) (8) 式中kij为作用力因数，A(Ri)，A(Rj)分别为各个区域的面积，Fij为i和j两个区域之间的引力，可以进一步将其分为两个部分，即Fi←j和Fj←i，其中Fi←j为i区域的相邻区域j对其作用力的贡献度，反之Fj←i为j区域的相邻区域i对其作用力的贡献度。两个方向的作用力因kij的不同而不同。
一个显著对象可能是区域分割图中的一个单独的区域也可能是几个区域的集合，假设E为图像中所有区域的集合，如果图像中有V个区域，则E中的候选的潜在对象的个数为2V。但是不是每个子集都能成为显著对象，通常一个显著对象是一个整体，整幅图像不作为一个显著对象，显著对象也不能为空。假设C∈E是一个显著对象，它必须满足以下三个条件 ①C≠{}； ②C≠{1，2，3...，V}； ③C如果包含不止一个区域，那么这些区域必须相互连接，提取的对象必须是一个整体。得到C，也即可得到其补集C。补集中的区域必须与C中对应区域相邻。
3、显著对象提取 获得上述区域组合及其补集后，使用公式(9)、(10)和(11)计算它们的显著性值和比值。当对象区域和其周围区域的差异大时，可以认为该对象是显著的，于是，提取一个显著对象的问题归结为找到一个有效的区域组合Ci，它使Tdiv(C)达到最大值。
计算区域组合及其补集的显著性值的公式 T(C)＝S(C)/A(C) (9) T(C)＝S(C)/A(C) (10) 式中S(C)和S(C)分别是C和C的所有像素的显著性值的和，A(C)和A(C)分别是C和C的面积；当对象区域和其周围区域的差异大时，则认为该对象是显著的， 计算T(C)和T(C)的比值 Tdiv(C)＝T(C)/T(C) (11) 于是，提取一个显著对象的问题归结为找到一个有效的区域组合Ci，它使Tdiv(C)达到最大值，即 Ci＝arg max[Tdiv(C)](12) 显著对象提取步骤如下 (1)计算每个区域组合及其补集的显著性值T(C)和T(C)，以及它们的比值Tdiv(C)。找到一个使Tdiv(C)达到最大值的区域组合； (2)如果不满足终止条件，提取Ci作为显著对象，然后删除Ci，执行步骤(1)；否则执行步骤(3)； (3)如果满足任何一个终止条件，终止程序， 终止条件有 ①A(C)<λA，式中A是原始图像的面积， ②cpt(C)<μ， cpt(C)＝A(C)/(H(C)*W(C)) (13) 式中cpt(C)是区域组合C的紧密度，H(C)和W(C)分别是C的高和宽。
③只剩余一个区域， 否则，执行步骤(2)。
本发明的基于区域显著性的显著对象提取方法与现有的技术相比较具有如下优点该方法结合区域显著性，不仅能准确的提取出单个显著对象，而且能准确的提取出多个显著对象，使提取的显著对象满足人眼视觉要求，而且能提高分割的准确性。
图1是本发明的基于区域显著性的显著对象提取的流程图； 图2是图像分割的流程图； 图3是量化后区域图； 图4是淘汰小区域后图； 图5是合并后的区域图； 图6是区域合并流程图； 图7是对图像的提取图示，并给出步骤的结果示意图； 图8是其它类型图像的提取结果图示。
具体实施例方式 下面将结合附图对本发明基于区域显著性的显著对象提取方法的实施例作进一步详细说明。
图1是本发明的流程图，首先，通过建立输入图像的高斯图像金字塔和对比度图像金字塔获得一个尺度不变的显著性图像，用非参数核密度估计方法把输入图像分割成不同的区域；然后计算每个区域组合与其补集的区域显著性的比值；最后通过取这个比值的最大值而提取出显著对象。具体实现过程如下 1、输入图像，建立尺度不变的显著性图像 ①、把输入图像转换成L*a*b彩色空间； ②、使用公式(1)建立高斯图像金字塔； ③、使用公式(2)、(3)在每个图像尺度上计算对比度图像从而建立对比度图像金字塔； ④、使用公式(4)把所有尺度上的对比度图像调整到和原始图像一样的大小，然后把它们相加以建立显著性图像。
2、输入图像，实现图像分割 如图2所示，首先，通过计算输入的原始图像，使用公式(5)、(6)，获得具有代表性的种子点，并使用种子点量化图像，接着，根据区域的面积对量化图中较多的噪声进行去除和使用公式(7)、(8)对显著性低的区域进行区域合并，实现图像的区域分割。
(1)图像量化 如图2所示，首先，通过计算将输入的原始图像转换成L*a*b色彩空间，并统计三个颜色通道的像素数量；接着，使用公式(5)、(6)，对统计量进行核估计的概率密度计算，得到三个通道的灰度级概率密度值，便于随后使用梯度上升法获得三个通道的局部极值，再利用排列组合得到种子点，将图像中的每个像素值与种子点做颜色距离计算，选择最接近的种子点替换原始像素值，完成图像的量化。
量化图中出现了很多零散的噪声，如图3所示，根据区域显著性，这些零散的小区域不满足显著对象应具有的显著性和完整性的要求，所以必须将其淘汰。这里主要利用了区域的面积来判定，若区域的面积小于某个临界值则是将要被淘汰的区域。根据经验设定临界值为总面积的0.5％。区域面积小于这个值则被淘汰，即将此区域合并到邻近的区域，如图4所示，经过上述的步骤就可以淘汰上述图像上小面积的噪声区域。但是分割后的区域仍然不能完全与显著区域的条件吻合，因此接下来需要进行区域合并以使显著区域更为完整。
(2)区域合并 区域合并流程见图6。将上述量化图像中的较小噪声区域去除后，图像中往往会出现多处有相同的种子点颜色值的区域。在视觉上人眼很难对一幅图像中出现的多处颜色相似的区域都表示出相同的关注度，所以需要处理这个问题。如图4所示，图像中有区域1、2、3、4、5，其中出现了区域3、区域5两个具有相同颜色的区域，而在整幅图像中，因为区域3对人眼的吸引力明显较低所以将其淘汰，下面利用区域的显著性指标对各个区域是否被淘汰作出判断。
区域的显著性指标用来表示图像中各个区域引起人眼关注的概率大小。利用每个区域的面积在具有相同的种子点颜色区域中所占的比例和此区域在整幅图像所占的比例得到区域的显著性指标。如果某个区域在所有相同颜色区域中所占的比例较小，那么该区域的显著性指标就较低。区域的显著性指标公式如(7)所示。
使用一个可以调整的临界值来去除具有较小显著性指标的区域，临界值设定为显著性指标的最大值乘上一定的比例，这里选取的比例为0.6％。
获得了区域的显著性指标后，需要去除一些非显著的区域。如图5所示，如果非显著区域只与一个区域相邻，则可以被相邻区域合并。如果被去除的区域位于几个区域的交汇处，则需计算区域之间的作用力进行处理，见式(8)所示。
在计算区域之间的引力时，相邻的区域面积愈大引力也就愈大，反之则愈小。若区域面积较大但是颜色相异程度高则无法产生足够的引力。对于应该被哪个区域合并取决于引力最大的区域。反复计算直到所有区域的显著性指标大于临界值，从而得到最终的图像的区域分割图。
一个显著对象可能是区域分割图中的一个单独的区域也可能是几个区域的集合，假设E为图像中所有区域的集合，如果图像中有V个区域，则E中的候选的潜在对象的个数为2V。如V＝3，则E中有8个子集 {}，{1}，{1，2}，{1，2，3}，{1，3}，{2}，{2，3}，{3} 但是不是每个子集都能成为显著对象，通常一个显著对象是一个整体，整幅图像不作为一个显著对象，显著对象也不能为空。假设C∈E是一个显著对象，它必须满足以下三个条件 ①C≠{}； ②C≠{1，2，3...，V}； ③C如果包含不止一个区域，那么这些区域必须相互连接，提取的对象必须是一个整体。
得到C，也即可得到其补集C。补集中的区域必须与C中对应区域相邻。
3、显著对象提取 获得了区域组合及其补集后，使用公式(9)、(10)和(11)计算它们的区域显著性值和比值。当对象区域和其周围区域的差异大时，可以认为该对象是显著的，于是，提取一个显著对象的问题归结为找到一个有效的区域组合Ci，它使Tdiv(C)达到最大值。
显著对象提取步骤如下 (1)计算每个区域组合及其补集的显著性值T(C)和T(C)，以及它们的比值Tdiv(C)。找到一个使Tdiv(C)达到最大值的区域组合Ci； (2)如果不满足终止条件，提取Ci作为显著对象，然后删除Ci，执行步骤(1)；否则执行步骤(3)； (3)如果满足任何一个终止条件，终止程序， 终止条件有 ①A(C)<λA，②cpt(C)<μ，③只剩余一个区域， 否则，执行步骤(2)。
设定λ和μ分别为0.01和0.2。
本发明进行仿真实验，如图7和图8所示，它们是在CPU为2.0GHz、内存512M的PC测试平台上编程实现，其中，图7给出的实验结果图包含了算法中的几个重要步骤，(a)是原始图像，其中的一朵红花是显著对象；(b)—(f)是步骤1的实验结果，(b)—(e)分别是在从细尺度到粗尺度的四个不同图像尺度上的显著性图像，在较细的图像尺度上，(b)中有红花和部分绿叶的轮廓，而在较粗的图像尺度上，(e)中基本只有红花，(f)是尺度不变的显著性图像；(g)是合并后的区域分割图，是步骤2的实验结果，红花和绿叶等被分割成不同的区域；(h)是最终的显著对象提取图，是步骤3的实验结果，红花作为显著对象被准确的提取出来。
而图8则是给出其余类型的实验结果，用以说明本发明的实用性和算法的准确性。其中如图8所示，该图有动物3幅，车1幅，景观1幅和花1幅，分成6行四列排列，第一列是原始图像，第二列、第三列和第四列分别是从第一列的原始图像提取的第一个、第二个和第三个显著对象的图像。
从上述实施例的结果可以看出，本发明不仅能准确的提取出单个显著对象，而且能准确的提取出多个显著对象，同时满足人眼的视觉要求。
权利要求
1、一种基于区域显著性的显著对象提取方法，其特征在于首先，通过计算输入图像的多分辨率对比度特征，建立一个尺度不变的显著性图像，用非参数核密度估计方法把输入图像分割成不同的区域；然后，计算每个区域组合与其补集的区域显著性的比值；最后，通过取这个比值的最大值而提取出显著对象，其具体步骤如下
(1)、输入图像，建立尺度不变的显著性图像；
(2)、输入图像，实现图像分割；
(3)、显著对象提取。
2、根据权利要求1所述的基于区域显著性的显著对象提取方法，其特征在于上述步骤(1)输入图像，建立尺度不变的显著性图像的步骤包括
①、把输入图像转换成L*a*b彩色空间；
②、使用公式(1)，建立高斯图像金字塔
式中，0<l<N，0≤i<Cl，0≤j<Rl，高斯图像金字塔的级数N＝log2(min(W，H)/10)，W和H分别是原始图像的宽和高，Cl和Rl分别是第l级的图像尺寸，w(m，n)是权重；
③、使用公式(2)、(3)，通过在每个图像尺度上计算对比度图像从而建立对比度图像金字塔，在图像尺度l上的对比度值Ci，j，l被定义为在尺度l上的像素(i，j)和它的邻域像素之间的差的加权和，即
wi，j，l＝1-ri，j，l/rl，max (3)
式中，Θ是在尺度l上的像素(i，j)的邻域像素集合，pi，j，l是在尺度l上的像素(i，j)的颜色，pq是pi，j，l的邻域像素集合的像素的颜色，D是使用欧几里得距离的颜色差，权重因数wi，j，l用于说明一个图像的中心通常在视觉上是更显著的，ri，j，l是从(i，j)到图像中心的距离，rl，max是到图像中心的最大距离；
④、使用公式(4)把所有尺度上的对比度图像调整到和原始图像一样的大小，然后把它们相加以建立显著性图像，
式中0<l<N，0≤k，0≤i<Cl-k，0≤j<Rl-k，Il，k(i，j)是把Il扩大k倍的结果。
3、根据权利要求1所述的基于区域显著性的显著对象提取方法，其特征在于上述(2)输入图像，实现图像分割的步骤包括首先，将输入的图像，使用公式(5)、(6)，利用图像本身信息，获得具有代表性的种子点，并使用种子点量化图像，接着，根据区域的面积对量化图中较多的噪声进行去除和使用公式(7)、(8)对显著性低的区域进行区域合并，实现图像的区域分割，下面是非参数密度估计的公式
密度f(x)值是特征点集与核函数的卷积值，U是图像中的所有像素点个数，K(x)为核函数，其中x是所要计算的特征点，σ是频宽，区域的显著性指标公式为
式中
表示第i个种子点颜色中第j个区域，
为
的显著性指标，
为
的像素个数，
为第i个种子点颜色中所有区域的像素个数总和，
为图像中所有像素的个数总和，见式(8)所示
Fij＝kijA(Ri)A(Rj) (8)
式中kij为作用力因数，A(Ri)，A(Rj)分别为各个区域的面积，Fij为i和j两个区域之间的引力，可以进一步将其分为两个部分，即Fi←j和Fj←i，其中Fi←j为i区域的相邻区域j对其作用力的贡献度，反之Fj←i为j区域的相邻区域i对其作用力的贡献度，两个方向的作用力因kij的不同而不同，反复计算直到所有区域的显著性指标大于临界值，从而得到最终的图像的区域分割图。
4、根据权利要求1所述的基于区域显著性的显著对象提取方法，其特征在于所述(3)显著对象提取步骤获得上述区域组合及其补集后，使用公式(9)、(10)和(11)计算它们的显著性值和比值，提取一个显著对象的问题归结为找到一个有效的区域组合Ci，它使Tdiv(C)达到最大值，计算区域组合及其补集的显著性值的公式
T(C)＝S(C)/A(C)(9)
T(C)＝S(C)/A(C) (10)
式中S(C)和S(C)分别是C和C的所有像素的显著性值的和，A(C)和A(C)分别是C和C的面积；计算T(C)和T(C)的比值
Tdiv(C)＝T(C)/T(C) (11)
提取一个显著对象的问题归结为找到一个有效的区域组合Ci，它使Tdiv(C)达到最大值，即
Ci＝argmax[Tdiv(C)] (12)
显著对象提取步骤如下
(1)、计算每个区域组合及其补集的显著性值T(C)和T(C)，以及它们的比值Tdiv(C)，找到一个使Tdiv(C)达到最大值的区域组合Ci；
(2)、如果不满足终止条件，提取Ci作为显著对象，然后删除Ci，执行步骤(1)；否则执行步骤(3)；
(3)、如果满足任何一个终止条件，终止程序，终止条件有
①A(C)<λA，式中A是原始图像的面积；
②cpt(C)<μ，
cpt(C)＝A(C)/(H(C)*W(C)) (13)
式中cpt(C)是区域组合C的紧密度，H(C)和W(C)分别是C的高和宽；
③只剩余一个区域，否则，执行步骤(2)。
全文摘要
本发明公开了一种基于区域显著性的显著对象提取方法，该方法是首先，通过计算输入图像的多分辨率对比度特征，建立一个尺度不变的显著性图像，用非参数核密度估计方法把输入图像分割成不同的区域；然后，计算每个区域组合与其补集的区域显著性的比值；最后，通过取这个比值的最大值而提取出显著对象，其具体步骤如下(1)输入图像，建立尺度不变的显著性图像；(2)输入图像，实现图像分割；(3)显著对象提取。该方法结合区域显著性，不仅能准确的提取出单个显著对象，而且能准确的提取出多个显著对象，使提取的显著对象满足人眼视觉要求，而且能提高分割的准确性。
文档编号G06K9/46GK101520894SQ20091004627
公开日2009年9月2日 申请日期2009年2月18日 优先权日2009年2月18日
发明者韩忠民, 志 刘, 颜红波, 李伟伟, 张兆杨 申请人:上海大学