低分辨率医学图像的多图谱分割方法
【专利摘要】本发明公开一种低分辨率医学图像的多图谱分割方法，属于图像处理技术领域。先给定低分辨率目标图像，N个高分辨率图谱图像，并且假定目标图像以及图谱图像均已被线性配准到了同一个模板空间；然后依次进行分割对象区域切割步骤；目标图像超分辨率恢复步骤；图像配准和标签传播步骤；以及标签融合步骤。本发明所述的低分辨率医学图像的多图谱分割方法，将图像超分辨恢复方法融入到多图谱分割框架之中，通过提高高分辨率图谱图像和低分辨待分割图像之间的配准精度，从而提高多图谱分割方法的分割精度。
【专利说明】
低分辨率医学图像的多图谱分割方法
技术领域
[0001] 本发明涉及一种低分辨率医学图像的多图谱分割方法，属于图像处理技术领域。
【背景技术】
[0002] 随着医学成像设备的发展和普及，医学图像分析在疾病研究、手术规划、临床诊断 等方面发挥着极为重要的作用。医学图像分割是医学图像分析的一个重要环节，其实质是 对待分割图像的每个像素或者体素进行标签，不同属性的像素或者体素设定不同的标签 值，从而将待分割图像划分成无重叠的兴趣区域和背景区域，以便后续对兴趣区域进行进 一步的分析和处理。通常对医学图像的分割由人工标注兴趣区域来完成，该方法的优点是 分割结果准确性高。但是，人工分割方法非常耗时耗力，并且分割结果大都不可重复。为了 达到自动且精确分割医学图像的目的，许多经典的图像分割方法已经被广泛地应用于各类 医学图像的分割中。
[0003] 基于图谱的分割方法，由于所使用的图谱不仅包含了图像的灰度信息，而且提供 了图像中不同区域的形状等先验信息，因此相比于其它分割方法能够得到更加精确的分割 结果。根据使用图谱的数量，基于图谱的分割方法可以分为单图谱分割方法和多图谱分割 方法。单图谱分割方法由于只采用单个图谱，通过配准将图谱标签图像传播到目标图像之 后便得到了目标图像的分割结果。而多图谱分割方法采用多个图谱，通过配准将各个图谱 标签图像传播到目标图像后得到了目标图像的多个分割，这些分割结果通过标签融合组合 起来得到最终的分割结果。因此，多图谱分割方法主要可以分为图像配准以及标签融合两 个步骤。与单图谱分割方法相比，多图谱分割方法由于使用了更多的图谱，因此包含了待分 割区域的个体差异信息，并且通过标签融合也可以有效地消除单图谱方法中灰度图像配准 引入的误差。
[0004] 多图谱分割方法目前在医学图像的分割领域获得了广泛地应用。然而根据目前文 献的报导，我们发现：（1)多图谱分割方法使用的图谱图像和目标图像往往来自于同一个图 像集，即具有相同的图像质量(分辨率）。（2)多图谱分割方法在不同的数据集上，对相同的 脑结构进行分割，得到的分割结果在精确性上相差巨大。比如对于海马体的分割来说，目前 的主流多图谱方法在高分辨率磁共振图像数据集(如ADNI数据集)可以得到分割精度(采用 Dice值度量，Dice值越大表示精度越高)为0.9;而在低分辨率图像数据集(如mTLE数据集）， 得到的分割精度仅为0.72。
[0005] 在多图谱分割方法的实际应用中，由于图谱是预先构造的，通常采用高分辨图像 构造得到高质量的图谱;但是受图像采集时间、采集设备等因素影响，目标图像的质量无法 保证，很多情况下会得到低分辨率的目标图像。因此，如何用高分辨图谱分割低分辨目标图 像，在多图谱分割方法的实际应用中具有重要的研究价值。
[0006] 有鉴于此，本发明人对此进行研究，专门开发出一种低分辨率医学图像的多图谱 分割方法，本案由此产生。
【发明内容】
[0007] 本发明的目的是提供一种低分辨率医学图像的多图谱分割方法，结合超分辨率恢 复方法来改进基于多图谱的分割方法，提出精确、鲁棒的低分辨率医学脑图像分割方法。
[0008] 为了实现上述目的，本发明的解决方案是：
[0009] 低分辨率医学图像的多图谱分割方法，包括如下步骤：
[0010] 步骤一、给定低分辨率目标图像Id，N个高分辨率图谱图像 2, ...，N，其中h表示第i个灰度图像，U表示第i个灰度图像对应的标签图像，并且假定目标 图像Id以及图谱图像心=(1 1丄1)4 = 1，2，...，叱均已被线性配准到了同一个模板空间；
[0011] 步骤二、分割对象区域切害扫描所有图谱图像六1 = (11，1^)4 = 1，2，...，叱中的 标签图像，找出各图谱中分割对象的最大和最小的三维坐标(x，y，z)位置，沿着三个坐标方 向上延伸若干个体素从而使得目标图像中的分割对象都能够被包括进来；
[0012] 步骤三、目标图像超分辨率恢复:采用基于稀疏表示的图像超分辨率恢复方法对 目标图像Id进行超分辨率恢复，将低分辨率目标图像Id恢复成相同内容的更高分辨率图像 Ih;
[0013] 步骤四、图像配准和标签传播:对每一个图谱图，i = l，2, . . .，N.，独 立地把它们和超分辨率恢复之后的目标图像Ih进行配准，通过配准，得到每一个图谱图像仏 =(11，1^)4 = 1，2，...，1到目标图像1<1的形变场，利用上述形变场将图谱图像41=(1 1， 1^)4 = 1，2，...，1的标签图像传播到目标图像空间，于是得到每个图谱图像对目标图像 的分割结果；
[0014] 步骤五、标签融合:采用大多数投票方法来进行标签融合，对于目标图像的每一个 体素，其标签值由各图谱图像对应位置出现次数最多的那个标签值决定。
[0015] 作为优选:步骤三所述的图像超分辨率恢复方法具体为：
[0016] 利用一组高分辨率图像{^^二^^^"丨作为训练集将低分辨率目标图像^灰 复成相同内容的更高分辨率图像Ih;
[0017] 高分辨率图像Ih到低分辨率图像1啲降质过程一般用如下数学模型表示
[0018] Id = LMBIh, (1)
[0019 ]这里B和Lm分别表示对图像Ih进行模糊和下采样；
[0020]图像超分辨率方法首先利用降质模型（1)构造高分辨率图像集{IuiilJ，...， N}对应的低分辨率图像集，记为2，...，iV}然后，根据这两个图像集构造出高分辨率 图像块字典Dh以及对应的低分辨率图像块字典Dd，对于低分辨率图像Id的每一个图像块pd， 利用稀疏表示模型
[0021] mj?，-4+44, ⑵
[0022]可以得到低分辨率图像块Pd在低分辨率字典Dd中的表示:pd = Dda，假定对应的高 分辨率图像块Ph在高分辨率图像块字典Dh中具有相同的表示形式(即有相同的表示系数a)， 于是可以计算出高分辨率图像块Ph = Dha，将低分辨率图像Id的所有图像块恢复出对应的高 分辨率图像块之后，经过拼装可以得到初始的高分辨图像1〇,通过一个全局正则化模型
[0023] -^gmm||/-/0||, s.t.LuBI=id 1 .9 ：C3)
[0024]得到最终的高分辨图像Ih。
[0025] 作为优选，步骤四所述的配准是由基于交叉相关驱动的非线性算法得到的，可用 公共代码工具包ANTs实现。
[0026] 本发明所述的低分辨率医学图像的多图谱分割方法，将图像超分辨恢复方法融入 到多图谱分割框架之中，通过提高高分辨率图谱图像和低分辨待分割图像之间的配准精 度，从而提高多图谱分割方法的分割精度。改进了多图谱分割方法对低分辨率目标图像分 割精确性不高的状况。
[0027] 以下结合附图及具体实施例对本发明做进一步详细描述。
【附图说明】
[0028] 图1为本实施例的低分辨率医学脑图像的多图谱分割方法流程图；
[0029] 图2是本实施例的其中一个被试的磁共振图像、海马分割图像以及构造的低分辨 率图像(第一和第二个图像是来自ADNI数据库的一个被试的磁共振灰度图像和对应的海马 分割图，第三个图像是通过模糊化和下采样构造的低分辨率图像）；
[0030] 图3是本实施例的分割结果示例，第一列是原3.0T图像和对应的人工分割(作为金 标准）；第二列是模糊化和下采样得到的低分辨率目标图像和原始的多图谱分割方法对它 分割得到的分割结果;第三列是超分辨率恢复之后的目标图像和本实施例提出方法得到的 分割结果。
【具体实施方式】
[0031] 低分辨率医学图像的多图谱分割方法，包括如下步骤：
[0032] 步骤一、给定低分辨率目标图像Id，N个高分辨率图谱图像 2, ...，N，其中h表示第i个灰度图像，U表示第i个灰度图像对应的标签图像，并且假定目标 图像Id以及图谱图像心=(1 1丄1)4 = 1，2，...，叱均已被线性配准到了同一个模板空间； [0033]步骤二、分割对象区域切割：
[0034]如图1所示，为减少计算工作量，首先把包含分割对象的一个区域切割下来。由于 目标图像Id以及图谱图像. . .，N，均已经被线性配准到了一个模板空 间，因此分割对象在各图像中的位置大致相仿，扫描所有图谱图像 2, ...，N，中的标签图像（即扫描所有分割结果），找出各图谱中分割对象的最大和最小的三 维坐标(x，y，z)位置，沿着三个坐标方向上延伸若干个体素从而使得目标图像中的分割对 象都能够被包括进来。为描述方便，切割之后的目标图像和图谱图像仍然记为Id以及A 1 = (Ii，Li)，i = l，2，. ? ?，N.
[0035]步骤三、目标图像超分辨率恢复：
[0036] 采用基于稀疏表示的图像超分辨率恢复方法对目标图像Id进行超分辨率恢复:利 用一组高分辨率图像{Iuiil，〗，...，N}作为训练集将低分辨率目标图像Id恢复成相同内 容的更高分辨率图像Ih。
[0037] 高分辨率图像Ih到低分辨率图像Id的降质过程一般用如下数学模型表示
[0038] Id = LMBIh, (1)
[0039 ]这里B和Lm分别表示对图像Ih进行模糊和下采样。
[0040]图像超分辨率恢复方法首先利用降质模型（1)构造高分辨率图像集{Ii，i = l， 2, ...，N}对应的低分辨率图像集，记为！匕/ = 1，2,...,A/丨然后，根据这两个图像集构造出高 〇 分辨率图像块字典Dh以及对应的低分辨率图像块字典Dd。对于低分辨率图像Id的每一个图 像块Pd，利用稀疏表示模型
[004l]nfn_a，|g+A||4， ⑵
[0042]可以得到低分辨率图像块Pd在低分辨率字典Dd中的表示:Pd = Dda。假定对应的高 分辨率图像块Ph在高分辨率图像块字典Dh中具有相同的表示形式(即有相同的表示系数a)， 于是可以计算出高分辨率图像块Ph = Dha。将低分辨率图像Id的所有图像块恢复出对应的高 分辨率图像块之后，经过拼装可以得到初始的高分辨图像1〇,通过一个全局正则化模型
[0043] h = argmin||j -/〇[|, s.t. L,tB! = Id 1 , C3)
[0044] 得到最终的高分辨图像Ih。
[0045] 步骤四、图像配准和标签传播：
[0046]对每一个图谱图像々〖二丨^丄^^二^^…少^独立地把它们和超分辨率恢复之 后的目标图像Ih进行配准，配准是由基于交叉相关驱动的非线性算法得到的，可用公共代 码工具包ANTs实现。通过配准，得到了每一个图谱图像 图像Id的形变场。利用上述形变场将图谱图像仏=(11丄1)4 = 1，2，...，1的标签图像传播 到目标图像空间，于是得到了每个图谱图像对目标图像的分割结果。
[0047] 步骤五、标签融合：
[0048]采用大多数投票方法来进行标签融合，对于目标图像的每一个体素，其标签值由 各图谱图像对应位置出现次数最多的那个标签值决定。
[0049]本实施例所述的低分辨率医学图像的多图谱分割方法，将图像超分辨恢复方法融 入到多图谱分割框架之中，通过提高高分辨率图谱图像和低分辨待分割图像之间的配准精 度，从而提高多图谱分割方法的分割精度。改进了多图谱分割方法对低分辨率目标图像分 割精确性不高的状况。
[0050]在本实施例中，使用来自阿尔茨海默病影像中心数据库（A D N I， adni. loni .11〇]^.6(111)的30个被试的3.01'磁共振图像来验证上述低分辨率医学图像的多图 谱分割方法，分割对象为大脑海马体。对于每个被试，先采用手工分割的方法得到对应的海 马体分割;将图像模糊化并且下采样，构造对应的低分辨率图像。图2显示了其中一个被试 的磁共振图像、海马体分割图像以及构造的低分辨率图像，为方便展示，选取了其中一个二 维断层进行表示。在这个数据中，将构造的低分辨图像作为待分割的目标图像，原始的3.0T 磁共振图像作为训练数据，采用留一验证的方式来验证提出的方法。
[0051 ] 参数设定：
[0052]图像超分辨率恢复方法中的字典大小，在每个训练数据中随机的选取100个图像 块，字典大小为100*29即2900。低分辨率图像的字典构造，在用主成分分析(PCA)提取特征 时，我们设定保留特征维数的比例为10%，低分辨率中提取的图像块的大小设定为3X3X 3。高分辨率图像和低分辨率图像的比例因子对于ADNI数据设定为2 X 2 X 2。
[0053]分割结果：
[OOM]用Dice值来计算分割精度，具体定义如下，给定人工分割结果E(作为金标准）以及 自动分割结果F，
[0056] 这里V(X)表示分割结果X的体积。
[0057] 将本实施例所述的基于超分辨率恢复的多图谱分割方法和原始的多图谱分割方 法进行比较。
[0058]表1.原始的多图谱分割方法的分割结果和本实施例所述的多图谱分割方法得到 的分割结果的Dice平均值和标准差。
[0060]表1列出了分割结果的Dice平均值和标准差，并且用双样本t检验比较了原始的多 图谱分割方法的分割结果和本实施例所述的多图谱分割方法得到的分割结果的差异性。实 验结果显示，在显著性水平a取值1(T 5的情况下，本实施例所述的多图谱分割方法要显著优 于原始的多图谱分割方法。
[0061]图3随机展示了一个被试的分割情况，第一列是原3.0T图像和对应的人工分割(作 为金标准）；第二列是模糊化和下采样得到的低分辨率目标图像和原始的多图谱分割方法 对它分割得到的分割结果;第三列是超分辨率恢复之后的目标图像和本实施例提出方法得 到的分割结果。从中可以看出：（1)采用超分辨率恢复方法提高了图像的质量(对比第一行 的2,3两个图）；（2)结合超分辨率恢复方法和多图谱分割方法得到的分割结果更加精确（由 第二行2,3两图对比1图人工分割可以看出）。
[0062] 结论:通过结合超分辨率恢复方法对低分辨率目标图像进行超分辨率恢复，确实 能够提高多图谱分割方法的精确性和鲁棒性。
[0063] 上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通 技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。
【主权项】
1. 低分辨率医学图像的多图谱分割方法，其特征在于包括如下步骤： 步骤一、给定低分辨率目标图像Id，N个高分辨率图谱图像Ai = (Ii，以），i = 1，2，. . .，N， 其中Ii表示第i个灰度图像，Li表示第i个灰度图像对应的标签图像，并且假定目标图像IdW 及图谱图像Ai=(Ii，k)，i = l，2，...，N，均已被线性配准到了同一个模板空间； 步骤二、分割对象区域切割：扫描所有图谱图像Ai=(Ii，^)，i = l，2，...，N，中的标签 图像，找出各图谱中分割对象的最大和最小的=维坐标(x，y，z)位置，沿着=个坐标方向上 延伸若干个体素从而使得目标图像中的分割对象都能够被包括进来； 步骤=、目标图像超分辨率恢复:采用基于稀疏表示的图像超分辨率恢复方法对目标 图像Id进行超分辨率恢复，将低分辨率目标图像Id恢复成相同内容的更高分辨率图像Ih; 步骤四、图像配准和标签传播:对每一个图谱图像Al=(Il，レ），i = l，2，...，N.，独立地 把它们和超分辨率恢复之后的目标图像Ih进行配准，通过配准，得到每一个图谱图像Ai = (Ii，Li)，i = 1，2，. . .，N.到目标图像Id的形变场，利用上述形变场将图谱图像Ai = (Ii山），i =1，2, ...，N.的标签图像传播到目标图像空间，于是得到每个图谱图像对目标图像的分割 结果； 步骤五、标签融合:采用大多数投票方法来进行标签融合，对于目标图像的每一个体 素，其标签值由各图谱图像对应位置出现次数最多的那个标签值决定。2. 如权利要求1所述的低分辨率医学图像的多图谱分割方法，其特征在于:步骤=所述 的图像超分辨率恢复方法具体为： 利用一组高分辨率图像Ui, i = l，2, ...，N}作为训练集将低分辨率目标图像Id恢复成 相同内容的更高分辨率图像Ih; 高分辨率图像Ih到低分辨率图像Id的降质过程一般用如下数学模型表示 Id = LwBIh, (1) 运里B和Lm分别表示对图像Ih进行模糊和下采样； 图像超分辨率恢复方法首先利用降质模型（1)构造高分辨率图像集Ui, i = l，2,...，N} 对应的低分辨率图像集，记为!/';，/' = 1，2，...，/\'}，然后，根据运两个图像集构造出高分辨率图 像块字典DhW及对应的低分辨率图像块字典Dd,对于低分辨率图像Id的每一个图像块Pd,利 用稀疏表示模型(2) 可W得到低分辨率图像块Pd在低分辨率字典Dd中的表示:Pd = DdQ,假定对应的高分辨率 图像块Ph在高分辨率图像块字典Dh中具有相同的表示形式，于是可W计算出高分辨率图像 块Ph = DhQ,将低分辨率图像Id的所有图像块恢复出对应的高分辨率图像块之后，经过拼装 可W得到初始的高分辨图像1〇,通过一个全局正则化模型(J) 得判最终的局分辨圏像ih。3. 如权利要求1所述的低分辨率医学图像的多图谱分割方法，其特征在于:步骤四所述 的配准是由基于交叉相关驱动的非线性算法得到的。
【文档编号】G06T7/00GK105913431SQ201610224426
【公开日】2016年8月31日
【申请日】2016年4月12日
【发明人】祝汉灿, 范勇
【申请人】绍兴文理学院