专利名称：基于测地线活动区域模型的交互式图像分割修正方法
技术领域：
本发明属于图像处理技术领域，涉及一种分割图像的修正方法，可用于目标提取。
背景技术：
基于曲线演化的活动轮廓模型一直被广泛地应用于图像分割领域中。基于曲线演 化的活动轮廓模型是一条由相应能量函数控制的可形变参数曲线，以能量函数最小化为目 标控制曲线的形变，最终得到的能量最小化的曲线就是目标的轮廓。目前，曲线演化的活动 轮廓模型与水平集方法结合极大的拓宽了曲线活动轮廓模型的应用范围，成为一种广为关 注的曲线演化方法。该方法利用轮廓曲线的几何特性，建立轮廓曲线运动的能量泛函，最小 化这个能量泛函，使轮廓曲线逐渐逼近图像中目标的边界，并利用水平集函数将轮廓曲线 运动方程转换为求解偏微分方程问题。 N. Paragios等人在测地线活动轮廓模型中加入区域信息，提出了基于测地线活动 区域模型的监督式纹理分割方法。该方法综合了区域信息和边界信息，利用梯度下降法最 小化目标函数，并根据水平集方法求解偏微分方程。在边界信息和区域信息的作用下，曲线 受力平衡演化到方程的最优解处。B.Allier等人利用测地线活动区域模型对文本图像的印 刷字体进行分割。与经典的基于物理分割和逻辑标签的文档图像处理技术相比，该方法克 服了噪声、字体及文字方向改变等问题的影响，得到比较理想的分割结果。O.Diamanti等人 于2008年提出了基于测地线活动区域模型的手语视频人体动作的分割与跟踪。该模型由 边界作用力、色彩信息作用力和加速边界演化的"气球力"三部分组成，能够很好地应用于 探测和跟踪领域。何源等人提出了一种基于曲线演化的非监督式纹理分割算法。该方法通 过一组Gabor滤波器提取出纹理特征后，可以得到一个多维的特征图像；采用高斯混合模 型描述特征图像的空间分布，获得边界和区域信息。把特征图像转化到一维空间中，避免了 直接在多维空间中进行曲线演化。 但是，基于测地线活动轮廓模型的交互式图像分割存在如下缺点对于图像中的 弱势样本点如边缘、小区域，其计算的区域概率和边界概率不够准确，导致初始曲线最终会 演化到图像的目标内部，即图像的非边界处，造成图像分割不准的后果。
发明内容
本发明的目的在于在克服上述不足的基础上，提出了基于测地线活动区域模型的 交互式图像分割修正方法，通过修正由测地线活动轮廓模型计算的区域概率和边界概率， 得到更准确的概率数据，以提高图像中感兴趣区域分割结果的区域一致性和边缘准确性。
为实现上述目的，本发明的技术方案首先引入自适应特征加权模型，计算图像中 像素的区域和边界概率模型；然后对得到的区域和边界概率进行修正；最后应用测地线活 动区域模型对图像的初始曲线不断演化，完成图像分割。具体步骤包括如下
(1)对待分割图像作Gabor滤波，并提取滤波图像各子带的滑窗能量特征；
(2)在待分割图像的目标区域和背景区域用不同颜色标记有代表性的像素点，根
4据标记点滑窗能量特征估算高斯参数，建立高斯模型，根据目标标记点特征概率密度曲线
与背景标记点特征概率密度曲线的交叠面积大小估算各个特征通道的自适应权值； (3)根据高斯模型计算未标记的待测试像素点的高斯概率，并自适应加权各个特
征通道概率，得到像素点的区域概率和边界概率； (4)对像素点的区域概率和边界概率进行如下修正 4a)将像素点各子带边界方向出现次数最多的方向定义为该像素点的最终边界方 向，并沿垂直于该点边界方向的方向，在该像素点左右两侧区域分别选择4个相邻的像素 点； 4b)分别计算左右两侧4个像素点特征向量的平均向量与目标和背景标记点特征 向量的最小欧式距离； 4c)分别比较左侧区域像素点特征向量与目标标记点特征和背景标记点特征的距
离大小，如果该特征向量与目标标记点的距离小于其与背景标记点的距离，则将左侧区域
判为目标区域；否则，将其判为背景区域；然后，分别比较右侧区域像素点特征向量与目标
标记点特征和背景标记点特征的距离大小，如果该特征向量与目标标记点的距离小于其与
背景标记点的距离，则将右侧区域判为目标区域；否则，将其判为背景区域； 4d)根据左右两侧区域的类别属性对像素点的区域概率和边界概率进行修正，如
果左侧属于目标区域，右侧属于背景区域，或者右侧属于目标区域，左侧属于背景区域，则
将该像素点判为边界点，其边界概率为1 ;如果左右两侧均属于目标区域，则将该像素点判
为目标中的像素点，其目标区域概率为l，背景区域概率为O，边界概率为0 ;如果左右两侧
均属于背景区域，则将该像素点判为背景中的像素点，其背景区域概率为1，目标区域概率
为0，边界概率为0; (5)将图像中每个像素点的目标区域概率信息、背景区域概率信息和边界概率信 息代入基于测地线活动区域模型的曲线演化能量函数表达式中，根据Euler-Lagrange方 程最小化该闭合曲线的能量函数，得到曲线演化的偏微分方程表达式，通过对该偏微分方 程的迭代，获得图像的最终分割结果。 本发明由于采用基于标记点的修正算法对图像中的弱势样本点如边缘、小区域的 区域概率和边界概率进行修正，克服了区域概率和边界概率建模不准的缺点，提高了闭合 曲线能量函数中概率的准确性，使测地线活动区域模型的初始曲线能够演化到正确的目标 边界上。 实验证明，本发明适用于各种类型的图像分割，通过对像素点的区域概率和边界 概率进行修正，得到了更精确的表征像素点属性的概率信息。
图1是本发明的流程框图； 图2是自然图像分割概率修正前的区域概率和边界概率图； 图3是本发明对于自然图像分割概率修正后的区域概率和边界概率图； 图4是自然图像分割概率修正前的演化过程及分割结果图； 图5是用本发明对于自然图像分割概率修正后的演化过程及分割结果。 具体实施方法
5
参照附图l，本发明的实现步骤如下
步骤1 :特征提取 将待分割图像与尺度a = 1/2， 1/4， 1/8， 1/16，方向e =0， Ji/4， ji/2，3ji/4的 16个自相似滤波器巻积，得到16个尺度不同和方向不同的滤波图像子带，并在滤波图像各 子带上滑动1*1大小的窗口，提取能量特征；对于灰度和纹理图像，加上像素点的灰度信息 构成17维特征；对于自然图像，加上图像的RGB颜色分量构成19维特征。
步骤2 :交互式概率建模 对图像任意一维特征数据，采用均值函数和方差函数估算图像目标与背景标记点 对应特征的均值和方差；并将该均值与方差代入高斯函数表达式，得到该维特征的高斯模<formula>formula see original document page 6</formula> 其中，& (x)是像素点的第i维特征，P i和o i分别是第i维特征的均值和方差。
步骤3 :计算各像素点的区域概率和边界概率
3a)自适应权值计算 图像各个子带是待分割图像经过不同方向、不同尺度的滤波器滤波得到的，因此 各个特征通道对图像分割所起的作用不同，第i个通道的自适应权值Wi为
<formula>formula see original document page 6</formula> 其中，Nc代表特征的维数；Pi是目标和背景标记点特征的概率密度曲线的交叠面 积，该面积表征像素点X的类别属性被判错的概率，其表达式为
<formula>formula see original document page 6</formula> 其中，p/(x)和p/(x)分别是目标和背景标记点的第i维特征的高斯概率密度函 数，表达式为
一 V-<formula>formula see original document page 6</formula> 其中，Fi(x)是像素点x的第i维特征数值，iiu和。u分别是目标所有标记点 的第i维特征的均值和方差，P 2,i和o &分别是背景所有标记点的第i维特征的均值和方 3b)计算各像素点的区域概率 在第i维特征通道上，根据目标和背景标记点的高斯概率函数，按下面表达式计 算图像中任意一个像素点x属于目标的概率Pu/(x)和属于背景的概率 /00 : <formula>formula see original document page 6</formula>
根据各个特征通道的自适应权值，综合像素点在各维中属于目标的概率Pu/(x) 及属于背景的概率P2ui(x)，得到像素点x的目标区域概率P^(x)和背景区域概率P^(x) 如下尸1|2 ("=艺(x)p2|1 (x) = Z w,p2|; (x) 3c)计算各像素点的边界概率
像素点x的边界概率计算方法如下 3cl)在特征通道&上，如果像素点x从某一方向9将所在区域划分成左邻域&
和右邻域^，并有/1=《、)|!' = 1,2,.."^￡}^={(^)|/ = 1,2,...,^}，其中，x丄,和&,分别表
示左右邻域像素点，K和NK分别是左邻域和右邻域的像素点个数，则在特征通道Fi，分别定 义左右邻域的目标区域概率和背景区域概率如下 目标
1
冃:
尸，
乂 丄
s尸;
211 \ 、
,巧W =《W 2 W +純) 他)； 其中，PjrJ禾P&(ig分别是左邻域和右邻域的目标区域概率，P2(rJ禾口 P2 (rK)分 别是左邻域和右邻域的背景区域概率； 3c2)根据像素点x边界方向左右邻域的目标区域概率和背景区域概率，得到像素 点x在特征通道Fi，方向e上的边界概率 尸￡ 3c3)选取e =0， Ji/4， Ji/2， 3 Ji/4，并分别计算这四个方向上像素点x在特征 通道&，方向e上的边界概率P^"^，f,(x)，将四个方向中概率的最大值作为像素点x在该特
征通道的边界概率A。^,S^)，并把概率最大的方向作为像素点在该特征通道的边界方向， 即 (x)=…尸aw，M (x); 3c4)根据特征通道的自适应权值Wi和像素点在各特征通道的边界概率iV^,F,^) 得到像素点的边界概率Pe。und(X)，并把所有特征通道中像素点x边界方向出现次数最多的 方向作为该像素点的边界方向，得到像素点的边界概率表达式为
步骤4 :基于标记点的概率修正
4a)规定像素点边界方向的一侧为左侧，另一侧为右侧；
4b)对于像素点x，沿垂直于该点边界方向的方向，在该像素点左右两侧区域分别 选取4个相邻的像素点，表示左侧区域，！^表示右侧区域；对于左侧区域像素点，计算其 对应特征向量组成的矩阵中每列的平均值，并组成一个新的特征向量，记作该像素点边界 方向左侧区域1^的特征向量；对于右侧区域像素点，计算其对应特征向量组成的矩阵中每
列的平均值，并组成一个新的特征向量，记作该像素点边界方向右侧区域1^的特征向量；
7
4c)设像素点x边界方向左侧区域1^的特征向量为「=[ ^2广', ]，该特征向量
与目标标记点对应特征向量的欧氏距离记为dn, s，与背景标记点对应特征向量的欧氏距离
记为dm ;设像素点X边界方向右侧区域L2的特征向量为^^K，"2，…， ]，该特征向量与
目标标记点对应特征向量的欧氏距离记为d21, s，与背景标记点对应特征向量的欧氏距离记为d22,t ;其中s = 1 : labels t = 1 : label2， label!和label2是图像中目标和背景的标记点个数； 设目标中第s个标记点的特征向量为A OpA2，…，Awc〗，背景中第t个标记点的特征向量为6v, :[—,K,…,Znv]，则dns， dl2t， d21s， d22t的计算公式分别为《,=M 1 )2 + (>2 - V2 )2 + ... + _ /
"12; =^ - J +(~ -V2)2 +-' .+( -vwc )2 = -"J +(>2 -"J +." + (>wc -"J
^/ - J +(6V2 - A)2 + ■ '+(KC -"wc )2 4d)根据像素点左右两侧区域与目标和背景各标记点对应特征向量的欧氏距离du,s， d12,t， d21,s， c^,t，分别计算左侧区域到目标和背景的最小欧氏距离cUin和d12min，以及右侧区域到目标和背景的最小欧氏距离d21min和d22min :
4lmm = ^,^2咖=,J^^《2,,^min = sj^^ ^1,^22min = ,J^j^ d22,t ; 4e)分别对图像所有像素点的dllmin， d12min， d21min， d^in采用与其最大值相比的方法做归一化处理，得到d' llmin，d' 12min，d' 21min，d' w;如果d' llmin<d' 12^，则该像素点左侧区域到目标的距离小，并将左侧区域判为目标区域，否则，将左侧区域判为背景区域；如果d' 21min< d' w，则该像素点右侧区域到目标的距离小，并将右侧区域判为目标区域，否则，将右侧区域判为背景区域； 4f)设是目标区域集合，W2是背景区域集合，根据左右两侧区域的类别属性对像素点的区域概率和边界概率进行修正 若像素点的1^ G ^， L2 G ^2，或像素点的k G W2， L2 G ^，则该点为边界点，其边界概率PB。皿d(x) =1; 若像素点的1^ G ^，L2 G ^，则该点为目标区域像素点，其边界概率PB。漁d(X)=0，目标区域的概率P^(x) = 1，背景区域的概率P2U(X) =0; 若像素点的1^ G W2，L2 G ^，则该点为背景区域像素点，其边界概率PB。漁d(x)=0，目标区域的概率P^(x) =0，背景区域的概率？2|100 = 1。
步骤5 :基于测地线活动区域模型的曲线演化 人为在图像感兴趣目标边缘初始一条闭合曲线3《(/7)，p G [O，l]，它把整幅图像
划分为曲线内部区域Ri和&，即^的两部分，将边界曲线^^(户)上的像素点修正后的区域
概率P^(X)、P^(X)和边界概率Pe。^(X)代入到测地线活动区域模型的能量函数表达式中，
得到该边界曲线的能量泛函，即
<formula>formula see original document page 9</formula> 其中，a和|3均为非负实数，用来控制两项的权重刀《(/7)是目标&与背景R2边界像素点的集合；g(^。^(3《(p)))是一个单调递减的边缘函数，其表达式为
<formula>formula see original document page 9</formula>
其中，K是选定的常数，取K = 5或K = 10，用来控制边缘函数的下降速率；
设t时刻闭合曲线为u，根据Euler-Lagrange方程最小化闭合曲线u的能量泛函E (u)，得到曲线演化的偏微分方程表达式如下 式中，V是梯度运算符；| I是取模运算符；K是闭合曲线在点U的曲率，^是闭合
曲线在点U的法矢量；因此，曲线的演化A:
<formula>formula see original document page 9</formula>
其中，Un代表当前时刻的曲线，Un+1是代表迭代一次后的曲线；A t是时间步长，必须足够小，取At《0.05 ; 采用迎风方案对所述的曲线的演化公式进行数值计算，完成初始曲线的演化，得到目标的边界曲线。 本发明的效果通过以下仿真进一步说明。
1.仿真内容 对自然图像区域概率和边界概率的仿真的结果如图2，其中图2(a)为图像的目标区域概率图，图2(b)为图像的背景区域概率图，图2(c)为图像的边界概率图。
对自然图像采用基于标记点的概率修正方法修正后的区域概率和边界概率的仿真结果如图3，其中图3(a)为图像修正后的目标区域概率图，图3(b)为图像的修正后的背景区域概率图，图3(c)为图像修正后的边界概率图。 对自然图像分割的演化过程及分割结果图如图4，其中图4(a)为目标与背景标记点图，图4(b)为初始曲线演化的一个中间过程图，图4(c)为曲线演化的最终结果图，图4(d)为提取的图像中感兴趣目标结果图。 对自然图像分割概率修正后的演化过程及分割结果图如图5，其中图5(a)为目标与背景标记点图，图5(b)为概率修正后初始曲线演化的一个中间过程图，图5(c)为概率修正后曲线演化的最终结果图，图5(d)为概率修正后提取的图像中感兴趣目标结果图。
2.仿真结果分析 从图3 (a)与图2 (a)的比较可以看出，图3 (a)在目标区域的概率全为1 ，而图2 (a)在目标区域的概率只是接近1，目标区域的边界不够准确，因此，图3 (a)比图2 (a)更能准确地表征图像的目标区域的范围；
从图3 (b)与图2 (b)的比较可以看出，图3 (b)在背景区域的概率全为1 ，而图2 (b)在背景区域的概率只是接近1，背景区域的边界不够准确，因此，图3 (b)比图2 (b)更能准确地表征图像的背景区域的范围； 从图3(c)与图2(c)的比较可以看出，图3(c)的边界很清晰，在边界像素点的边界概率全为1，非边界处像素点的边界概率均为0，而图2(c)的边界很不清晰，像素点的边界概率在边界与非边界处几乎没有区别，因此，图3(c)比图2(c)更能准确地表征图像的边界位置； 从图5(d)与图4(d)的比较可以看出，图4(d)的小鸟内部出现了错分的白色小区，小鸟的尾部弱势边缘没有被提取出来，而图5(d)的小鸟内部小区域和弱势边缘均被修正为目标区域，因此，与图4(d)相比，图5(d)得到了更好的分割结果；
综上，本发明实现了对图像中的弱势样本点如边缘、小区域的概率修正，克服了计算区域和边界概率时建模不准确的缺点，得到了正确的目标边界上。
权利要求
一种基于测地线活动区域模型的交互式图像分割修正方法，包括如下步骤(1)对待分割图像作Gabor滤波，并提取滤波图像各子带的滑窗能量特征；(2)在待分割图像的目标区域和背景区域用不同颜色标记有代表性的像素点，根据标记点滑窗能量特征估算高斯参数，建立高斯模型，根据目标标记点特征概率密度曲线与背景标记点特征概率密度曲线的交叠面积大小估算各个特征通道的自适应权值；(3)根据高斯模型计算未标记的待测试像素点的高斯概率，并自适应加权各个特征通道概率，得到像素点的区域概率和边界概率；(4)对像素点的区域概率和边界概率进行如下修正4a)将像素点各子带边界方向出现次数最多的方向定义为该像素点的最终的边界方向，并沿垂直于该点边界方向的方向，在该像素点左右两侧区域分别选择4个相邻的像素点；4b)分别计算左右两侧4个像素点特征向量的平均向量与目标和背景标记点特征向量的最小欧式距离；4c)分别比较左侧区域像素点特征向量与目标标记点特征和背景标记点特征的距离大小，如果该特征向量与目标标记点的距离小于其与背景标记点的距离，则将左侧区域判为目标区域；否则，将其判为背景区域；然后，分别比较右侧区域像素点特征向量与目标标记点特征和背景标记点特征的距离大小，如果该特征向量与目标标记点的距离小于其与背景标记点的距离，则将右侧区域判为目标区域；否则，将其判为背景区域；4d)根据左右两侧区域的类别属性对像素点的区域概率和边界概率进行修正，如果左侧属于目标区域，右侧属于背景区域，或者右侧属于目标区域，左侧属于背景区域，则将该像素点判为边界点，其边界概率为1；如果左右两侧均属于目标区域，则将该像素点判为目标中的像素点，其目标区域概率为1，背景区域概率为0，边界概率为0；如果左右两侧均属于背景区域，则将该像素点判为背景中的像素点，其背景区域概率为1，目标区域概率为0，边界概率为0；(5)将图像中每个像素点的目标区域概率信息、背景区域概率信息和边界概率信息代入基于测地线活动区域模型的曲线演化能量函数表达式中，根据Euler-Lagrange方程最小化该闭合曲线的能量函数，得到曲线演化的偏微分方程表达式，通过对该偏微分方程的迭代，获得图像的最终分割结果。
2. 根据权利要求1所述的基于测地线活动区域模型的交互式图像分割修正方法，其中 步骤(2)所述的根据标记点滑窗能量特征估算高斯参数，建立高斯模型，是对图像任意一 维特征数据，采用均值函数和方差函数估算目标与背景标记点对应特征的均值和方差；并 将该均值与方差代入高斯函数表达式，得到该维特征的高斯模型<formula>formula see original document page 2</formula>其中，& (x)是像素点的第i维特征，y i和o i分别是第i维特征的均值和方差。
3.根据权利要求1所述的基于测地线活动区域模型的交互式图像分割修正方法，其中步骤(4b)所述的分别计算左右两侧4个像素点特征向量的平均向量与目标和背景标记点特征向量的最小欧式距离d，按如下公式计算<formula>formula see original document page 3</formula>其中，Nc是像素点的特征维数，fia是像素点边界方向左侧或右侧4个像素点特征向量 的平均向量，f2,i是目标与背景标记点特征向量。
全文摘要
本发明公开了一种基于测地线活动区域模型的图像分割修正方法，主要解决现有方法概率建模不准确的问题。其实现步骤(1)对待分割图像作Gabor滤波，并提取滤波图像各子带的滑窗能量特征；(2)根据标记点的滑窗能量特征建立高斯模型，并估算各个特征通道的自适应权值；(3)自适应加权各个特征通道概率，得到像素点的区域概率和边界概率；(4)根据基于标记点的修正算法对像素点的区域概率和边界概率进行修正；(5)应用测地线活动区域模型不断地演化初始曲线，得到感兴趣目标的边界，完成图像分割。本发明提高了像素点区域概率和边界概率建模的准确性，分割结果的区域一致性和边缘准确性均有明显改善，可用于各种类型的图像分割。
文档编号G06T7/00GK101714253SQ20091021934
公开日2010年5月26日 申请日期2009年12月4日 优先权日2009年12月4日
发明者侯彪, 张小华, 杨淑媛, 焦李成, 王桂婷, 王爽, 翟书娟, 钟桦 申请人:西安电子科技大学