图像配准分割方法及系统

本发明涉及医学图像处理领域，特别涉及一种图像配准分割方法及系统。

背景技术：

1、多模态医学图像存在图像灰度分布差异巨大的特性，导致传统的多模态医学图像配准精度较低，计算速度缓慢。

2、深度学习配准方法从大样本医学图像中自动学习多模态图像之间的特征，具有提升多模态医学图像配准精度的巨大潜力。但是，现有的多模态图像深度学习配准方法存在以下问题：

3、1、需要大样本的逐像素组织标注结果，其高质量的标注数据难以获取，制约了配准精度提升；

4、2、现有的多模态医学图像深度学习配准方法难以感知多模态医学图像之间大形变区域，制约了大形变区域的配准精度。

5、所以，现在有必要对现有技术进行改进，以提供更可靠的方案。

技术实现思路

1、本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种图像配准分割方法及系统。

2、为解决上述技术问题，本发明采用的技术方案是：一种图像配准分割方法，包括以下步骤：

3、s1、提供分割配准联合网络模型，其包括配准网络和分割网络；

4、s2、用全部m对ct-mr图像对以无监督的方式训练配准网络作为预训练，用n对含标签的ct-mr图像对以循环自训练的方式分别训练ct和mr 分割网络作为预训练；其中，ct-mr图像对包括ct图像和mr图像；

5、s3、将全部的imr和ict依次输入到配准网络生成形变场通过形变场对imr进行形变生成预测图像利用与ict，与lct结构相似的特点来指导配准网络的参数优化；

6、其中，imr和ict分别表示mr图像和ct图像；l表示图像的分割标签，其中是ct的人工标签，是ct的算法计算得到的标签；

7、其中，是人工标注的标签，作为金标准；是分割网络对未标记数据的分割结果；是mr的人工标签，是算法得到的 ct标签；lseg mr是算法得到的mr标签；

8、其中，表示mr图像的人工标签，表示ct图像的人工标签，表示mr图像的分割结果；表示ct图像的分割结果；

9、其中，lmr表示lmr表示和的合集，φ表示图像变形场，表示lmrφ表示lmr的图像变形的合集，lct表示lct表示lgt ct和lseg ct的合集；

10、s4、将全部的imr和ict依次输入到分割网络生成分割结果和当存在人工标签时，利用与lgt ct/mr结构相似的特点来优化分割网络参数；当不存在人工标签时，利用配准形变场作用于浮动图像分割结果形变得到的与相同的特点约束分割网络的参数优化；

11、s5、重复步骤s2和s3使两者交替进行，直至最后得到一个训练好的分割配准联合网络模型，将该模型用于进行图像分割配准。

12、优选的是，所述分割网络为分割网络seg-net，分割网络seg-net以浮动图像imr、固定图像ict和对应的人工标签和作为输入，用于对分割配准联合网络模型进行优化。

13、优选的是，所述配准网络为配准网络reg-net，配准网络reg-net以浮动图像imr、固定图像ict作为输入，，输出对应的形变场经过形变场的空间变换作用获得最优拟合的输出分割后的标签图像或

14、优选的是，分割网络seg-net接收输入图像imr或ict，预测其所需分割的器官轮廓，利用预测轮廓应与真实轮廓相同的特点对分割网络参数θseg进行优化，θseg计算公式如下：

15、θseg＝arg min(eseg(lseg,lgt))   (2)

16、其中，eseg表示分割部分损失函数，lseg表示图像的分割结果，lgt表示图像真实标签。

17、优选的是，配准网络reg-net中，采用msmind描述符对图像局部结构进行约束引导图像配准。

18、优选的是，训练过程中，当存在人工标签时，采用如下的ct-mr labeled 损失函数组进行参数优化；当不存在人工标签时，采用如下的ct-mr ulabeled 损失函数组进行参数优化；具体公式为：

19、

20、

21、其中，esmooth是保持形变场平滑的正则项，emsmind表示描述ct和mr图像相似性的局部测度，edice表示描述图像中组织标签相似性的全局测度。

22、优选的是，其中，edice替换为esoftdice，esoftdice为edice的改进，esoftdice的计算公式如下：

23、

24、其中k表示一个分割标签，x是一个体素位置，sk和是要比较的两个分割结果。

25、优选的是，配准网络reg-net中，从多尺度特征图s(i,x)中选取任意以y 为中心，大小为m*m*m的局部patch，将其中的所有体素转化到三维极坐标上，并按照8个角度、2个径向间隔、2个高度的方式将该局部patch划分为 32个bins，令bin数量为n；

26、特征响应最终被最大限度的聚集在每个局部patch的周围bins内，对每个bin内的所有体素点代表的特征值做平均池化，得到与中心y相关联的32 个值，代表该点y处的特征描述符msmind；在多尺度特征图s(i,x)中依次滑动局部patch窗口，即可得到特征图上任意一点的局部特征响应 msmind(i,x,y)，计算公式如下：

27、

28、多尺度自相关特征图s(i,x)的公式如下：

29、

30、其中，dp(i,xi,xj)表示以点x为中心，距离为p的两个patch：ip(xi)和ip(xj)之间均方差之和，α和β都是0～1之间的小数，且α+β＝1：

31、dp(i,xi,xj)＝∑(ip(xi)-ip(xj))2   (10)

32、v(i,x)是对噪声的估计，定义为所有patch距离的平均值：

33、

34、本发明还提供一种图像配准分割系统，其采用如上所述的方法进行图像的配准分割。

35、本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

36、本发明的有益效果是：

37、本发明提供的图像配准分割方法及系统，从全局的解剖结构轮廓和局部的结构信息两点入手，一方面利用器官标签对配准的约束来引导图像配准，并将配准与分割网络联合，只需少量人工标注即可完成全部图像的标签引导；另一方面提出msmind(一种改进的模态无关图像结构描述子)对图像局部结构进行约束引导图像配准，能够实现高精度的多模态医学图像配准。

技术特征：

1.一种图像配准分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的图像配准分割方法，其特征在于，所述分割网络为分割网络seg-net，分割网络seg-net以浮动图像imr、固定图像ict和对应的人工标签和作为输入，用于对分割配准联合网络模型进行优化。

3.根据权利要求2所述的图像配准分割方法，其特征在于，所述配准网络为配准网络reg-net，配准网络reg-net以浮动图像imr、固定图像ict作为输入，，输出对应的形变场经过形变场的空间变换作用获得最优拟合的输出分割后的标签图像或

4.根据权利要求3所述的图像配准分割方法，其特征在于，分割网络seg-net接收输入图像imr或ict，预测其所需分割的器官轮廓，利用预测轮廓应与真实轮廓相同的特点对分割网络参数θseg进行优化，θseg计算公式如下：

5.根据权利要求4所述的图像配准分割方法，其特征在于，配准网络reg-net中，采用msmind描述符对图像局部结构进行约束引导图像配准。

6.根据权利要求5所述的图像配准分割方法，其特征在于，训练过程中，当存在人工标签时，采用如下的ct-mr labeled损失函数组进行参数优化；当不存在人工标签时，采用如下的ct-mr ulabeled损失函数组进行参数优化；具体公式为：

7.根据权利要求6所述的图像配准分割方法，其特征在于，其中，edice替换为esoftdice，esoftdice为edice的改进，esoftdice的计算公式如下：

8.根据权利要求7所述的图像配准分割方法，其特征在于，配准网络reg-net中，从多尺度特征图s(i,x)中选取任意以y为中心，大小为m*m*m 的局部patch，将其中的所有体素转化到三维极坐标上，并按照8个角度、2个径向间隔、2个高度的方式将该局部patch划分为32个bins，令bin数量为n；

9.一种图像配准分割系统，其特征在于，其采用如权利要求1-8中任意一项所述的方法进行图像的配准分割。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任意一项所述的方法。

技术总结
本发明公开了一种图像配准分割方法及系统，包括以下步骤：S1、提供分割配准联合网络模型；S2、预训练配准网络和分割网络；S3、对配准网络进行参数优化；S4、对分割网络进行参数优化；S5、重复步骤S2和S3使两者交替进行，直至最后得到一个训练好的分割配准联合网络模型，将该模型用于进行图像分割配准。本发明提供的图像配准分割方法及系统，从全局的解剖结构轮廓和局部的结构信息两点入手，一方面利用器官标签对配准的约束来引导图像配准，并将配准与分割网络联合，只需少量人工标注即可完成全部图像的标签引导；另一方面提出msMIND对图像局部结构进行约束引导图像配准，能够实现高精度的多模态医学图像配准。

技术研发人员：周志勇,戴亚康,陈乾,胡冀苏,张璐瑶,钱旭升,耿辰,时建明
受保护的技术使用者：中国科学院苏州生物医学工程技术研究所
技术研发日：
技术公布日：2024/1/13