专利名称：一种图像自动分割结果的性能分析方法
技术领域：
本发明属于计算机视觉领域，具体涉及一种对图像自动分割结果的性能分析方法。
背景技术：
图像分割是计算机视觉领域中一个重要的基础性研究方向，其目的是将一幅图像划分成一些独立的区域，使得在每一个独立的区域内，像素具有相似的统计特性，例如，灰 度，颜色，纹理等。有效的图像分割结果将有助于应用系统中的后续各项处理，一方面，可以 通过研究每个区域的颜色和纹理，对图像中场景的类别进行识别；另一方面，也可以通过研 究区域轮廓的几何形状，对图像场景的物体进行识别或提取。从信息学的角度出发，处理分 割后的图像区域，较之直接处理图像中的像素，将大大减小待处理的信息量。目前，虽然关于图像分割算法的研究已取得了突破性进展，然而在实际应用 中，我们仍然面临究竟选用哪种分割算法的问题。采用有效的分割算法，其结果能够符 合人类视觉感知，从而有助于高层图像信息的处理。这就涉及到了对图像分割结果的 评价。传统方法主要采用主观定性的评价，为了更为客观的评价现有分割算法的结果， 美国加州伯克利分校的研究者们建立了一个公开的手工标注图像分割数据库(参考 Martin，D.，Fowlkes, C.，Tal, D.，Malik，J. :A database of human segmented natural images and itsapplication to evaluating segmentation algorithms and measuring ecologicalstatistics. In :Int.Conf. on Computer Vision (ICCV). (2001)416-425)，该 库收集了几百幅涵盖各类场景的自然图像，并且为每一幅图像提供了 5至7个手工标注的 分割结果，每一个分割结果代表着人们对图像在不同感知尺度上的理解。目前，该库已成 为评价分割算法的一个默认的标准数据库。利用该数据库提供的手工标注分割结果，研究 者们定义出不同评价方法(performance measure)，用于衡量某一分割算法的结果与对应 的手工标注分割结果之间的距离或相似度，从而判断该分割算法的有效性。目前有四种 主流的评价指数，分别是，概率Rand指数(Probabilistic Rand Index，PRI)，信息变化指 数(Variation of Information, Vol),全局一至文性误差指数(GlobalConsistency Error, GCE)，和边界偏移误差指数(Boundary DisplacementError，BDE)。虽然上述四种评价指数从不同角度对分割结果进行了评价，然而它们均采用了简 单的求和取平均的方法，即，先求出待评价的分割结果与每一个手工标注分割结果之间的 距离或相似度，然后将所有的距离或相似度相加之后，再取平均值作为最终的评价指数。这 种做法忽略了数据库中手工标注的分割结果(5至7个)之间的感知一致性。事实上，对于 一幅图像，它的几个手工标注分割结果虽然有所不同，但在图像中的显著区域上(比如，一 个具体的前景物体)，所有的手工标注分割结果都是保持一致的。而手工标注的分割结果之 间所存在的不同往往体现在图像中的非显著区域上(比如，背景区域)，因此，在计算最终 分析指数时，我们应当区别对待这些感知一致程度不同的区域。
发明内容
本发明的目的在于提供一种图像自动分割结果的性能分析方法，该方法得到的性 能指标能够定量的反应出由某种计算机算法所处理的图像自动分割结果与人工标注的分 割结果的符合程度。本发明提供的一种图像自动分割结果的性能分析方法，包括下述步骤(1)假设一幅图像为X= Ix1, -,Xi, ···，％}，由N个像素组成，Xi是第i个像素， i e {1，…，N}；将该图像的手工标注的分割结果记为G= {G1，-Gk,…，GM}，其中，M为分 割结果的个数，每个分割结果包含η个分割区域民，每个分割结果记为Gk= (R1,…，民…， Rn}，je {1，-,n},ke {1，…，Μ}；然后计算每个像素Xi的局部一致程度LCD (Xi)，其计 算公式为
<formula>formula see original document page 5</formula>式中R^eGa，R='e Gb，a，b e {1，…，Μ}，分别表示第a个手工标注的分割结果 Ga和第b个手工标注的分割结果Gb中包含像素Xi的分割区域；函数 IsSimilarfR^I^)
用来计算两个区域的相似程度，其计算公式为
R^iRRhiI IR'η Rhi
, χλ 1，如果 a b| >0.9并且丨 a b >0.9 IsSimilar (R、R:)=
否则
toon] 其中，操作I. I表示对分割区域面积的计算；对图像X= Ix1,…，Xi,…，xN}的每个像素计算局部一致程度IXD (Xi)的值，得 到一个LCD图；(2)对于图像X的一个待分析的自动分割结果，记为S= (S1, "'Sr^SJjP*!!! 个区域构成，St表示其中的一个分割区域，t e {1，...,m}；(2.1)对于图像X= {Xl，…，Xi,…，χΝ}的每个像素Xi，定义从第k个手工标注 分割结果Gk到S的局部评价指标LIesk为
Y LCD(x)<formula>formula see original document page 5</formula>像素 像素X9 URs]，其中区域&为第k个手工标注结果中包
含像素Xi的分割区域，Rs表示待分析的分割结果S中与疋‘相交的区域，其定义为Rs = U St，其中 St e S, t e {1，...，m}且满足《(#,5；)>0.5其中=.(2.2)对于X= Ix1,…，Xi,…，xN}的每个像素Xi，定义从S到第k个手工标注 分割结果Gk的局部评价指标LIsek为
<formula>formula see original document page 6</formula>像素夂efr'门&]，像素< Ui Gt}，其中区域炉e5·，表示S中包含像素Xi 的分割区域W桌k个手工标注分割结果Gk中与相交的区域，其定义如下Rcf 二Ua,其中 Rj e Gk, j e {1，…，η}且满足α(Α,ν) > 0.5其中<formula>formula see original document page 6</formula>(2. 3)对步骤(2. 1)与步骤(2. 2)中得到的 LIcsk(Gk，S，Xi)与 LISck (S，Gk，Xi)进行 数据融合，计算出待分析的自动分割结果S= {S1;…，SJ针对第k个手工标注结果Gk在 像素Xi的最终局部评价指标Z/f，计算公式为Lliix)ALIos(Gk'S^ + LIso(S'Gk^(3)对图像X = Ix1,…，Xi，···，％}，根据步骤(1)中得到的LCD(Xi)与步骤(2. 3) 中得到的z/f (X.)，定义如下两个向量值LCD(X) = [w1 ...,Wi..., wN]其中Wi = LCD(Xi)Llf (X) = [Llf (X1),…,Llf (χ,),..., Llf (Xw)]最后定义图像自动分割结果S的评价指标I (S)为<formula>formula see original document page 6</formula>对于一幅图像，它的几个手工标注分割结果虽然有所不同，但在图像中的显著区 域上(比如，一个具体的前景物体)，所有的手工标注分割结果都是保持一致的。而手工标 注的分割结果之间所存在的不同往往体现在图像中的非显著区域上(比如，背景区域)，因 此，在计算最终评价指数时，我们应当区别对待这些感知一致程度不同的区域。通过计算多个手工标注的分割结果之间在像素上的感知一致程度，我们赋予每个 像素不同的权重。感知一致程度越高，像素的对应权重就越高，最后计算出加权后的评价指 数，作为待评价的分割结果的最终评价指数。采用本发明方法得到的性能分析指标，由于定义了能够定量的反应出由某种计算 机算法所处理的图像自动分割结果与人工标注的分割结果的符合程度，从而，客观的反应 出某种计算机图像自动分割算法与人类视觉感知在图像自动分割上的接近程度。
图1为本发明方法的流程图；图2(a)为来自伯克利手工标注图像分割数据库的一张图片，图2(1)_(6)是其6 个手工标注分割结果。图2(b)是本发明中对图2(a)计算出的LCD图，图2(c)是图2(b)对应的显示数值条；图3 (a)为图2(a)的一个分割结果，图3 (1) -(6)依次为图3(a)针对图2(1)-(6)所计算出的Z/f图，图3(b)是图3(1)-(6)对应的显示数值条；图4(a)为来自伯克利手工标注图像分割数据库的另一张图片，图4(b)_(f)由同 一自动分割算法通过遍历系统参数，根据不同的分析方法选择出的对图4(a)的最佳分割 结果。图4(b)对应本发明中WJI的结果，图4(c)对应PRI的结果，图4(d)对应BDE的结 果，图4(e)对应VOI的结果，图4(f)对应GCE的结果。每幅图下面还给出了本发明中WJI 的指标数值。
具体实施例方式下面通过借助实施例和附图更加详细地说明本发明，但以下实施例仅是说明性 的，本发明的保护范围并不受这些实施例的限制。如图1所示，具体过程为⑴假设一幅图像为X= Ix1, -,Xi, ···%}，由N个像素组成，Xi是第i个像素。 对于该图像的M个手工标注的分割结果，记为G= {G1，…Gk，…，GM}，通常M取5至7，其中 每一个手工分割结果记为Gk = (R1, -,Rj-,RJ,k e {1，…，M}，它包含η个分割区域，其 中每个区域记为R」，j e {1，…，n}。然后计算像素Xi的局部一致程度(Local Consitency Degree)，其计算公式为
<formula>formula see original document page 7</formula>S*RaxieGa，RpeGb，a，be {1，…，Μ}，分别表示第a个手工标注的分割结果 Ga和第b个手工标注的分割结果Gb中包含像素Xi的分割区域。函数IsSimilar(Rax',R〖i )用
来计算两个区域的相似程度，其计算公式为
<formula>formula see original document page 7</formula>其中，操作I. I表示对区域面积的计算。LCD(Xi)取值范围是W，1]，对图像X= Ix1,…，Xi,…xN}的每个像素计算LCD 值，该值即作为步骤(3)中每个像素的权重。图2(a)为来自伯克利手工标注图像分割数据 库的一张图片，图2(1)-(6)是其6个手工标注分割结果，即本发明中的M等于6，每一个手 工标注结果所包含的分割区域均由不同的颜色表示。图2(b)就是根据图2(a)的6个手工 标注分割结果(1)_(6)计算出的LCD图，图(c)是图(b)对应的显示数值条。(2)对于图像X的一个待分析的自动分割结果，记为S= (S1,…&…；]，即由m 个区域构成，St，te {1，…，m}表示其中的一个分割区域。自动分割结果是指由计算机利用某种算法(包括各种已知或未知的分割算法)所 生成的分割结果，本发明也就是用于对其分割质量进行评价。
(2.1)对于图像X= {Xl，…，Xi,…，χΝ}的每个像素Xi，定义从第k个手工标注 分割结果Gk到S的局部评价指标(Local Index)为
<formula>formula see original document page 8</formula>式中函数IXD(.)为步骤⑴中的局部一致程度，像素& 门，像素 x9 e {R；· U/ ,}，其中区域及纟为第k个手工标注结果中包含像素Xi分割区域，Rs表示待分析 的分割结果S中与相交的区域，其定义为Rs = U St，其中 St e S，t e {1，…，m}且满足為)> 0.5其中,<formula>formula see original document page 8</formula>(2.2)同理，对于X= Ix1, -,Xi, .··，％}的每个像素Xi,定义从S到第k个手工 标注分割结果Gk的局部评价指标(Local Index)为
<formula>formula see original document page 8</formula>式中函数IXD(.)为步骤⑴中的局部一致程度，此时像素必ejy'fli^j，像素
x'q ^ Ui Gt}，其中区域ρ e S ,表示S中包含像素Xi的区域。 为第k个手工标注分割 结果Gk中与浐相交的区域，其定义如下Rck =UA，其中民 e Gk, j e {1，…，n}且满足>0.5<formula>formula see original document page 8</formula>(2. 3)对(2. 1)与(2. 2)中定义的 LIcsk(Gk，S，Xi)与 LIsck(S，Gk, Xi)进行数据融 合，计算出待分析的自动分割结果S= {S1;…，SJ针对第k个手工标注结果Gk在像素Xi 的最终局部评价指标，计算公式为LIf (X,) =Z/f (X,.)取值范围是
，对图像X= Ix1,…，Xi,…，xN}的每个像素计算Z/f 值，可以得到一个Z/f图。图3中的图片(a)是图2中图片(a)的一个计算机分割结果，即 为本发明中一个待分析的分割结果S。图2中的图片(1)-(6)依次即为图3(a)与图2中6 个手工标注分割结果(1)_(6)计算出的Z/f图，图3(b)是对应的显示数值条。(3)对图像X= Ix1, -,Xi, ···%}，根据步骤(1)中得到的LCD(Xi)与步骤(2.3) 中得到的l/f (Xi)，定义如下两个向量值<formula>formula see original document page 8</formula>其中Wi = LCD(Xi)
<formula>formula see original document page 9</formula>最后定义本发明中对图像自动分割结果S的分析指标为
<formula>formula see original document page 9</formula>I(S)的取值范围是W，1]，该指标的数值越大，说明由某种计算机算法(在特定系 统参数下)对图像进行的自动分割的结果越接近手工标注的分割结果。为了验证本发明中图像自动分割分析指标的有效性，我们通过遍历一个计算 机自动分割算法(参考Cour，Τ.，Benezit，F.，Shi，J. . Spectralsegmentation with multiscale graph decom position. Proc. Comput. Vis. andPattern. Recognition，2005) 的系统参数得到一组自动分割的结果，然后由本发明中的分析指标与现有分析方法rai， V0I，GCE，BDE各自选择出一个最佳的分割结果。通过比较这些最佳分割结果，我们可以从某 种程度上判断这些分析指标的有效性。图4(a)为来自伯克利手工标注图像分割数据库的 另一张图片，图4(b)对应本发明分析指标i(s)所选择出的最佳分割结果，图4(c)对应rai 选择出的最佳分割结果，图4(d)对应BDE选择出的最佳分割结果，图4(e)对应VOI选择出 的最佳分割结果，图4(f)对应GCE选择出的最佳分割结果。每幅图下面还给出了本发明中 I(S)的指标数值。我们可以看出，从人类视觉感知的角度出发，由本发明分析指标I(S)选 择出的结果最好。根据本发明的典型实施例，用于实现本发明的计算机系统可以包括，特别是，中央 处理器(CPU)、存储器和输入/输出(1/0)接口。计算机系统通常通过1/0接口与显示器和 诸如鼠标和键盘此类的各种输入设备相连，配套电路可以包括像高速缓存、电源、时钟电路 和通信总线这样的电路。存储器可以包括随机存储器(RAM)、只读存储器(ROM)、磁盘驱动 器、磁带机等，或它们的组合。计算机平台还包括操作系统和微指令代码。此处所述各种过 程和功能可以是通过操作系统执行的微指令代码或应用程序(或它们的组合)的一部分。 此外，各种其他外围设备可以连接到该计算机平台，如附加数据存储设备和打印设备。
权利要求
一种图像自动分割结果的性能分析方法，其特征在于，该方法包括下述步骤(1)假设一幅图像为X＝{x1，...，xi，...，xN}，由N个像素组成，xi是第i个像素，i∈{1，...，N}；将该图像的手工标注的分割结果记为G＝{G1，...Gk，...，GM}，其中，M为分割结果的个数，每个分割结果包含n个分割区域Rj，每个分割结果记为Gk＝{R1，...，Rj...，Rn}，j∈{1，...，n}，k∈{1，...，M)；然后计算每个像素xi的局部一致程度LCD(xi)，其计算公式为式中 a，b∈{1，...，M)，分别表示第a个手工标注的分割结果Ga和第b个手工标注的分割结果Gb中包含像素xi的分割区域；函数 用来计算两个区域的相似程度，其计算公式为其中，操作|.|表示对分割区域面积的计算；对图像X＝{x1，...，xi，...，xN}的每个像素计算局部一致程度LCD(xi)的值；(2)对于图像X的一个待分析的自动分割结果，记为S＝{S1，...St...，Sm}，即由m个区域构成，St表示其中的一个分割区域，t∈{1，...，m}；(2.1)对于图像X＝{x1，...，xi，...，xN}的每个像素xi，定义从第k个手工标注分割结果Gk到S的局部评价指标LIGSk为 k∈{1，...，M}像素 像素 其中区域 为第k个手工标注结果中包含像素xi的分割区域，Rs表示待分析的分割结果S中与 相交的区域，其定义为Rs＝∪St，其中St∈S，t∈{1，...，m}且满足其中(2.2)对于X＝{x1，...，xi，...，xN}的每个像素xi，定义从S到第k个手工标注分割结果Gk的局部评价指标LISGk为k∈{1，...，M}像素 像素 其中区域 表示S中包含像素xi的分割区域； 为第k个手工标注分割结果Gk中与 相交的区域，其定义如下其中Rj∈Gk，j∈{1，...，n}且满足其中(2.3)对步骤(2.1)与步骤(2.2)中得到的LIGSk(Gk，S，xi)与LISGk(S，Gk，xi)进行数据融合，计算出待分析的自动分割结果S＝{S1，...，Sm}针对第k个手工标注结果Gk在像素xi的最终局部评价指标 计算公式为(3)对图像X＝{x1，...，xi，...，xN}，根据步骤(1)中得到的LCD(xi)与步骤(2.3) 中得到的 定义如下两个向量值LCD(X)＝[w1，...，wi...，wN]其中wi＝LCD(xi)最后定义图像自动分割结果S的评价指标I(S)为k∈{1，...，M} 。FSA00000048740500011.tif,FSA00000048740500012.tif,FSA00000048740500013.tif,FSA00000048740500014.tif,FSA00000048740500015.tif,FSA00000048740500021.tif,FSA00000048740500022.tif,FSA00000048740500023.tif,FSA00000048740500024.tif,FSA00000048740500025.tif,FSA00000048740500026.tif,FSA00000048740500027.tif,FSA00000048740500028.tif,FSA00000048740500029.tif,FSA000000487405000210.tif,FSA000000487405000211.tif,FSA000000487405000212.tif,FSA000000487405000213.tif,FSA000000487405000214.tif,FSA000000487405000215.tif,FSA000000487405000216.tif,FSA000000487405000217.tif,FSA000000487405000218.tif,FSA00000048740500031.tif,FSA00000048740500032.tif,FSA00000048740500033.tif
全文摘要
本发明公开了一种图像自动分割结果的性能分析方法，本发明通过计算多个手工标注的分割结果之间在像素上的感知一致程度，赋予每个像素不同的权重，感知一致程度越高，像素的对应权重就越高，最后计算出加权后的评价指数，作为待评价的分割结果的最终评价指数。采用本发明方法得到的性能分析指标，由于定义了能够定量的反应出由某种计算机算法所处理的图像自动分割结果与人工标注的分割结果的符合程度，从而，客观的反应出某种计算机图像自动分割算法与人类视觉感知在图像自动分割上的接近程度。
文档编号G06T7/00GK101799925SQ201010120808
公开日2010年8月11日 申请日期2010年3月5日 优先权日2010年3月5日
发明者唐奇伶, 桑农, 王岳环, 高峻, 高常鑫, 黄锐 申请人:华中科技大学