基于区域可信融合的多类无监督彩色纹理图像分割方法
【专利摘要】本发明公开了一种无监督彩色纹理图像分割方法，构建彩色纹理特征描述子；采用多变量混合学生t智能最大期望算法对上述的彩色纹理特征描述子进行概率密度分布描述与自适应类别数计算，得到多类彩色纹理图像能量函数；对构建的多类彩色纹理图像能量函数进行多层图割模型优化，得到多类标签图；通过计算多类标签图中的多类标签区域的任意两个区域区域间的可信融合度，并将可信度较小的区域进行融合。本发明能够无监督的计算彩色纹理图像的有效类别数；提高分割结果的整体性与视觉一致性，减少过分割与错误分割；能够对多类能量函数进行局部最优化求解；广泛的应用于实际应用环境，其涉及类型多样，应用领域宽泛。
【专利说明】基于区域可信融合的多类无监督彩色纹理图像分割方法
【技术领域】
[0001] 本发明属于图像处理【技术领域】，具体涉及一种基于区域可信融合的多类无监督彩 色纹理图像分割方法。
【背景技术】
[0002] 目前，图像分割是计算机视觉领域的一项基本任务，它的目标是以最少的人为干 涉或以无监督的方式将图像分割为有意义的目标或子区域，并将这些有意义的分割结果应 用于高层的语言分析，如目标识别，场景分析，特效电影，目标检测，医学图像处理，工业检 测，基于内容的图像检索等领域。由于彩色纹理图像中包含丰富的颜色信息与纹理信息，以 及复杂多变的图像模式，传统的单单依靠颜色信息或纹理信息的方法进行自然图像分割， 难以取得满意的分割效果。并且由于人类对人眼的视觉识别机理尚不了解，导致研究符合 人眼视觉模式的高效可靠的自然图像分割方法，依然是一个开放的，具有挑战性的问题。而 从心理物理学的角度出发，将多种图像特征进行有机结合的方式可以大大提高彩色纹理图 像的分割效果。根据颜色特征与纹理特征的提取方式及结合方式，可将彩色纹理图像的分 割方法分为三大类：第一类是隐含的颜色与纹理结合方法，它假设颜色信息与纹理信息是 相互依赖的图像属性，从单个颜色通道或相关的多个颜色通道来提取特征向量，然后采用 由粗到细的方式进行分割。第二类是连续的颜色与纹理结合方式，它的主要动机来源于直 觉观察，它没有明显的规则，但是在分割的过程中能够完全自动的描述颜色与纹理之间的 依赖关系，并且颜色特征与纹理特征的提取是一个序列的关系。第三类是对颜色特征与纹 理特征分开提取，然后采用融合的方式进行彩色纹理图像分割，它在无关的通道上分别提 取颜色与纹理特征，然后进行融合，它的优点在于假设颜色与纹理具有不同的模式，且在分 割过程中颜色特征与纹理特征的权重可以自适应的计算。虽然这三类彩色纹理图像分割方 法在某些应用方面比较有效，但是，在分割的过程中都存在如下几个问题：（1)初始的图像 类别数难以确定，如果采用手动设置初始类别数，则可能大大超过实际图像的有效类别数， 导致后续分割结果出现过分割以及错误分割现象，并且加大了分割过程的计算代价。（2)对 于过分割以及错误分割的处理，采用简单的空间判别准则，它难以进行有效的区域融合与 错误区域删除，影响最终分割结果的视觉整体性。
【发明内容】
[0003] 为了解决上述问题，本发明的目的是提供基于区域可信融合的多类无监督彩色纹 理图像分割方法。
[0004] 本发明所采用的技术方案是，一种基于区域可信融合的多类无监督彩色纹理图像 分割方法，具体按照以下步骤实施：
[0005] 步骤1、利用压缩的多尺度结构张量纹理信息、尺度倒数信息、以及颜色信息构建 彩色纹理特征描述子；
[0006] 步骤2、采用智能最大期望多变量混合学生t算法，对步骤1得到的彩色纹理特征 描述子进行概率密度分布描述与自适应类别数计算，得到多类彩色纹理图像能量函数；
[0007] 步骤3、对构建的多类彩色纹理图像能量函数进行多层图割模型优化，得到多类标 签图；
[0008] 步骤4、对于步骤3分割后得到的多类标签图，计算多类标签区域的任意两个区域 之间的可信融合度，并将可信度较小的区域进行融合。
[0009] 本发明的特点还在于，
[0010] 构建彩色纹理特征描述子具体按照以下步骤实施：
[0011] 步骤1. 1、利用多尺度张量理论与主成分分析，提取压缩的多尺度结构张量纹理信 息；
[0012] 步骤1. 2、利用全变分流提取局部尺度倒数纹理信息；
[0013] 步骤1. 3、提取彩色纹理图像的颜色信息，并将步骤1. 1和步骤1. 2中提取的压缩 多尺度纹理信息与尺度倒数纹理信息，以及颜色信息构建彩色纹理描述子。
[0014] 利用多尺度张量理论与主成分分析，提取压缩的多尺度结构张量纹理信息具体按 照以下步骤实施：
[0015] 步骤1. 1. 1、对于给定的多通道图像I，在多通道图像I中位于（x，y)位置，尺度为 s时的结构张量为Ts，则根据MSST描述方式，T s利用s尺度时的梯度信息来计算得到：
[0016]
【权利要求】
1. 一种基于区域可信融合的多类无监督彩色纹理图像分割方法，其特征在于，具体按 照以下步骤实施： 步骤1、利用压缩的多尺度结构张量纹理信息、尺度倒数信息、以及颜色信息构建彩色 纹理特征描述子； 步骤2、采用智能最大期望多变量混合学生t算法，对步骤1得到的彩色纹理特征描述 子进行概率密度分布描述与自适应类别数计算，得到多类彩色纹理图像能量函数； 步骤3、对构建的多类彩色纹理图像能量函数进行多层图割模型优化，得到多类标签 图； 步骤4、对于步骤3分割后得到的多类标签图，计算多类标签区域的任意两个区域之间 的可信融合度，并将可信度较小的区域进行融合。
2. 根据权利要求1所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述构建彩色纹理特征描述子具体按照以下步骤实施： 步骤1. 1、利用多尺度张量理论与主成分分析，提取压缩的多尺度结构张量纹理信息； 步骤1. 2、利用全变分流提取局部尺度倒数纹理信息； 步骤1. 3、提取彩色纹理图像的颜色信息，并将步骤1. 1和步骤1. 2中提取的压缩多尺 度纹理信息与尺度倒数纹理信息，以及颜色信息构建彩色纹理描述子。
3. 根据权利要求2所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述利用多尺度张量理论与主成分分析，提取压缩的多尺度结构张量纹理信息 具体按照以下步骤实施： 步骤1. 1. 1、对于给定的多通道图像I，在多通道图像I中位于（x，y)位置，尺度为s时 的结构张量为Ts，则根据MSST描述方式，Ts利用s尺度时的梯度信息来计算得到：
其中，σ是冗余二进小波的基底，设〇 =2, Ts为尺度s时的对称半正定矩阵；S表示 多尺度分解的尺度总数，N表示图像I的通道总数，η表示的是在图像I的第η个通道计算 梯度；用
表示一个像素位置对应的S个尺度的纹理特征信息，Γ是 个矩阵集合； 步骤1. 1. 2、对构建的多尺度结构张量
，在各个尺度下分别进行 SVD奇异值分解，得到各个尺度对应的特征向量与特征值，将最大的特征值与特征向量相乘 .
，即得到主方向的纹理特征向量；具体按照以下步骤实施： 对各个尺度下的结构张量Ts进行纹理特征分解，对于尺度为s时的2x2的结构张量Ts， 采用SVD的方式对结构张量Ts进行特征分解， (2) 其中;? <是结构张量ts的特征值，满足 与是分别对应于特征值
5 -
的特征列向量，对于S个尺度的多尺度结构张量Γ，为了保留各个尺度下的主要纹 理特征，取较大的特征值<与特征向量来表示尺度为S时的纹理特征向量vs:
(3) 步骤1.1. 3、将S个纹理特征向量1联合，构建Γ的多尺度纹理特征向量X = (v^， V/，···，％:)' X是2*S维的多尺度纹理特征列向量，它保留了 S个尺度下的主要纹理信 息；对X进行PCA降维，利用所有的彩色纹理特征X，在保留95%的纹理信息的要求下，得 到降维投影矩阵
，其中Η是X降维后的维数，mi(i = 1，-·，Η)对应于 利用所有的彩色纹理特征向量X，计算协方差矩阵得到的前Η个最大特征值所对应的特征 向量构成的投影矩阵，设降维压缩后的纹理特征信息为Yi，即
4.根据权利要求3所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述利用全变分流提取局部尺度倒数纹理信息，具体按照以下步骤实施： 设自适应迭代的终止次数为TMax，利用相邻两次迭代图像的TV流值的变化来控制尺度 倒数特征提取的终止过程，如下
(4) TM a x是Tv流自适应迭代终止次数，其中
表示彩色纹理图像I的第η个通道在t 次迭代时的流值变化，S是图像流值变化比例调和控制因子，对于局部尺度倒数特征值的 大小，利用TV流的方式计算得到尺度倒数特征，
(5) 其中
是稳定状态时的尺度倒数特征，τ是TV流扩散步长，τ的取值满足
其中<
为流值变化判别函数，它满足，如果
.否则为〇 ;利用公式（4) 与公式（5)自适应迭代计算尺度倒数特征
归一化到[0, 255]。
5. 根据权利要求4所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述提取彩色纹理图像的颜色信息，并将步骤1. 1和步骤1. 2中提取的压缩多尺 度纹理信息与尺度倒数纹理信息，以及颜色信息构成彩色纹理描述子，具体按照以下步骤 实施： 将颜色信息，压缩的纹理信息，以及纹理的局部尺度倒数信息相结合，构建一个有效的 彩色纹理描述子cr，
m 其中Y是压缩的多尺度纹理特征信息，它是Η维的列向量，颜色信息使用图像的RGB信 息，i为尺度倒数特征，通过将三者结合来构建彩色纹理描述子C Γ，对于彩色纹理描述子 S cr，采用下面非线性扩散滤波的方式对cr进行平滑，
设滤波后的彩色纹理描述子为Cr%其为H+4维的列向量，需对Cf的每一 维特征进行上面的非线性滤波；其中K( ·)是扩散滤波系数函数，具体函数形式为
其中ε是个正数，采用AOS加性分裂算子进行加速。 ?
6. 根据权利要求5所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述采用智能最大期望多变量混合学生t算法，对步骤1得到的彩色纹理特征描 述子进行概率密度分布描述与自适应类别数计算，具体按照以下步骤实施： 步骤2. 1、对于任意一幅彩色纹理图像I，假设其彩色纹理特征描述子为C Γ %对于任意 一个像素位置对应的彩色纹理特征
假设维数为D，其维数D = H+4,利用STMM对彩色 纹理图像的特征进行PDF概率分布建模，其概率密度分布函数设为
_即
(7) 这里，K是当前彩色纹理图像I的有效类数，
是对应的K 个混合多变量学生t概率分布统计参数集，单个多变量学生t分布，简称为STM，对于任意一 个有效类，用一个STM来描述其PDF概率密度分布；则对于第k个有效类，用一个多变量学 生t概率分布
（STM)来对其进行描述，其中ω k是第k个类的混合权重，?k 是第k个STM的概率密度分布的统计参数，S卩
，其中
是分别对应于第k个有效类的均值，协方差矩阵，以及自由度参数，而其PDF概率密度函数
*的具体形式如下，
(8) Γ (·)是Ga_a函数，它是一个积分函数，在输入变量为正整数时，是一个阶乘函数；
是彩色纹理图像I中，对彩色纹理特征按行排列对应于第X个位置的彩色纹理特征，其 中
，对于K个有效类的STM构成的混合概率分布STMM为
. 步骤2. 2、对于STMM的统计参数集合
；利用彩色纹理图 像I中的所有彩色纹理特征样本
结合多变量混合学生_t概率分布STMM，利用最大似 然（ML)与最小二乘法进行统计计算，在E步-M步中利用迭代的方式进行更新，在α次迭 代时，
公式（9)是对应于Ε步计算得到的统计结果，其中
为彩色纹理特征向量
到 STMM第k个混合部分STM的归一化概率，wg是中间变量，是第k个混合部分的权重，Ζ 是每个混合部分的变量个数，即
是迭代过程中有效的混合部分 数，它们用于Μ步计算均值协方差矩阵Σ?α)自由度参数Μα).在其分别对应的统计参数 ? ? ? 的表达式如下，
对于自由参数vk的统计表达式，其满足下面等式：
步骤2. 3、在智能自适应的CEM3ST算法过程中，STMM初始的混合部分数为K， 对于STMM的初始混合部分数
.初始化均值
与协方 差矩阵
利用提高的K-Means++ [40]来初始化；自由度参数
权重.按下面迭代过程自适应的计算： ，
*? 要求：K，K，初始
输出：STMM 的 ω,，μ k，Σ k，以及 KValid
初始的最大似然能量值：
E步：对于当前第k个有效STM部分，计算所有彩色纹理
到其部分的归一化概率
利用公式（9)计算所有彩色纹理特征对第k个STM的权值贡献并归一化：
这里β是概率分布可控因子；
End if else进入Μ步： 利用最大似然ML更新当前第k个STM的统计参数：
重新计算彩色纹理特征样本到当前第k个STM部分概率，
End else End DO
重新计算最大似然值：
在智能自适应CEM3ST算法中，K是自适应能量变化的比例因子，设置K = l.Oe-5;根 据彩色纹理图像的内容自适应的选择合适的初始有效类数KValid，对KValid类彩色纹理图像， 构建对应的多类能量函数
，它包含两项，一项是数据项Ei，它描述了彩色纹理特 征隶属于各个类的相似程度，另一项是区域项E2，它刻画了一定空间邻域内特征之间分配 不同标签时的空间约束关系，具体的多类彩色纹理图像能量函数为
7.根据权利要求6所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述对构建的多类彩色纹理图像能量函数进行多层图割模型优化，得到多类标 签图；具体按照以下步骤实施： 对于彩色纹理图像I，设它包含有K类不同的彩色纹理，每类纹理分别用一个STM来描 述其彩色纹理特征的概率分布，则对于K类的彩色纹理图像I，构造 K-1层的GraphCut图割 模型，对于每个层图，设？">包含图像大小的L个格点，me {1，2,…，K-1}，则整个K-1层图 包含（K-l)L个格点，在K = 2时，对应的K-1层图就是普通的一层GraphCut图割模型；在 构建K-1层的图割模型G= (V，U)的过程中，顶点集V与边集U，按下列方式定义：
边集U包含能量函数E的两种类型边，即数据项边集仏与区域项边集U2;其 中仏描述了彩色纹理特征隶属于K类中任意一类的相似度，其对应于K-1层图中 的t-link，在第m个层图Pm上，任意一点p e Pm，它位于Pm中的Xp位置，其对应的彩 色纹理特征为
它隶属于m+1类的相似度为
且在仏中的对应的边 为
则在m层与m+1层之间，位于在\位置处的彩色纹理特征对应的 t-link边权重戈
K-1个层图的t-link边集表示为：
对于区域项边集U2，它描述了位于同一图层上Q邻域空间中（Q = 4,8,16)彩色纹理特 征之间的约束关系，当相邻的彩色纹理特征之间分配不同的类别标签时，利用它们特征之 间的距离来计算惩罚项，即对于特征相似的纹理特征分配不同的类别标签时，则设置较大 的惩罚权重；在第m个图层上，在Q邻域中位于 Xp，Xq处的两个彩色纹理特征，当它们之间 分配不同的类别标签时，其n-link权重设为
表示为：
则K-1个图层上的区域项边集为u2:
其中Qp表示位于第m个图层Pk上位于Xp处的Q邻域格点集，则用 Xp处的点与Q邻域 中X,处的点，共同计算它们之间的彩色纹理特征差异，对于特征相似且分配不同标签的彩 色纹理特征对进行较大的惩罚，尽量避免分割后的区域内部出现空洞，或出现较小离散的 区域与噪声区域；通过上面K-1层的GraphCut图割模型的构建，利用Graph Cut最大流最 小割的方法对其进行最优化分割。
8.根据权利要求7所述的基于区域可信融合的多类无监督彩色纹理图像分割方法，其 特征在于，所述对于步骤3分割后得到的多类标签图，计算多类标签区域的任意两个区域 之间的可信融合度，并将可信度较小的区域进行融合；具体按照以下步骤实施： 步骤4. 1、假设GraphCut分割后的任意两个区域氏与&，它们之间的可信融合度设为 RCMDq，则利用标签区域的空间邻接关系，区域的大小，区域的公共边，以及区域的特征相 似性来构建区域的可信融合度： J
( 14) 其中|Ril与|R」分别代表区域Ri与区域&的大小，用于刻画当前的两个区域是否是 较小的离散区域以及噪声区域，为了拉大两个区域之间的区域大小差异，采用
来计算两个区域之间的区域重要程度； 步骤4.2、引入Ψ(·)函数来检测两个区域的空间邻接关系，对于非邻接的两个区域， 设置较大的值，表示它们是不邻接的，即不存在公共的边集；
步骤4. 3、计算两个区域之间的概率密度相似性，J( ·)表示对区域Ri与区域&之间的 特征相似度进行度量，对于区域氏与区域R」，用STM的方式对分割区域的PDF概率密度进 行刻画，利用这两个区域各自的均值
与协方差矩阵
来计算两个区域之间 的概率密度距离，用它来代替区域特征之间的相似度，采用对称的J散度距离来度量区域氏 与Rj的特征；在计算区域氏与Rj之间的特征相似程度时，设置一定大小的区域阈值MinR， 对较小区域之间的特征相似度进行适当的处理，
步骤4. 4、计算区域间的公共边与原图像边界的匹配度，表示区域氏与区域Rj之间 的公共边集，|Ei,」表示公共边集中的边缘特征点个数,(；<;，>彳U表示公共边集E id中的第n 个边缘特征点对应于源图像I中的位置坐标，Φ (·)表示Eg中第η个公共边点与原图像 经过非线性扩散滤波后，利用Canny边缘检测得到的
位置的边缘点进行匹配计数， 按下式计算得到：
其中L。表示利用上面处理过后Canny边缘检测的边界标记集合，Ly为区域氏与区域 Rj之间的公共边边集Ei,」的标记集合； 步骤4. 5、对K类的所有邻接区域可信融合度值进行归一化：
其中Sf表示GraphCut分割后第f类标签对应的空间离散区域集合，Sf, g表示与Sf中 第g个离散区域所有具有邻接关系的区域集合，通过这些标签区域与它的邻接区域之间的 关系，利用公式（14)来计算任意两个区域之间的可信融合度，对于所有可信融合度归一化 后，进行合理的判别，对于较小的可信融合度值所对应的区域进行删除或融合；同时，对于 可信融合度后的标签区域，进行有效的类别数K Valid更新。
【文档编号】G06T7/00GK104091333SQ201410308586
【公开日】2014年10月8日 申请日期:2014年7月1日 优先权日:2014年7月1日
【发明者】杨勇, 郭玲, 周小佳, 付辉, 郑良人, 杨志武 申请人:黄河科技学院