一种目标矫正的非对比剂增强医学图像分割方法与流程

本发明属于医学影像以及人工智能，尤其涉及一种目标矫正的非对比剂增强医学图像分割方法。

背景技术：

1、目标分割，特别是低对比度非增强图像的目标分割是医学影像中重要技术手段。然而，已有的目标分割方法主要针对可视目标进行操作。在医学影像中，一些目标图像需要通过注射对比剂进行凸显区分，而对比剂常常辐射有害且价格高昂，个别受试者还存在过敏或严重过敏。因此，急需通过相关技术手段，以最低成本，最安全的方式解决上述面临的各类问题。现有的各类分割模型在可视化目标分割方面已获得优异的性能。针对非对比剂增强的低对比度目标的医学图像，所采用的策略主要还是先进行目标增强后再进行分割。然而，由于非增强图像和增强图像无法做到精确配准，因此，增强模型无法做到精确增强。这样的模型构建策略不可避免的引入累计误差，即当第一级目标增强模型的输出存在误差时，在第二级分割网络中会被进一步放大，严重可能会出现分割失效。本发明考虑到图像增强和目标分割之间的相似性和特异性，拟通过构建一个目标矫正的非对比剂增强医学图像分割模型，通过目标增强任务和目标分割任务部分网络结构共享和分支网络层间信息融合，同时引入目标配准器以减少损失计算时候的系统误差，进而更好地训练获得非增强图像的目标分割模型。为受试者消除因对比剂带来的辐射伤害，同时为医生提供更智能化的辅助诊断方法。

2、近来开发出了以3d ux-net[lee h h,et al.,arxiv preprint arxiv:2209.15076,2022.]和samm[huang y,et al.,.arxiv preprint arxiv:2304.14660,2023]为代表医学图像分割模型，较好实现了目标组织分割。但当前相关模型针对的是可视边界目标分割的单目标学习，使得现有方法或模型无法直接应用于低对比度非增强图像的增强图像目标分割任务中，限制了非增强图像的应用范围。

技术实现思路

1、本发明的目的在于针对现有技术存在的上述问题，提供一种目标矫正的非对比剂增强医学图像分割方法。

2、本发明的上述目的通过以下技术手段实现：

3、一种目标矫正的非对比剂增强医学图像分割方法，包括以下步骤：

4、步骤1、采集非增强图像和对应的真实增强图像；

5、步骤2、对所述的非增强图像和对应的真实增强图像依次进行重采样、配准以及分割掩码制作，获得配准非增强图像、配准真实增强图像以及真实目标分割掩码图；

6、步骤3、对配准非增强图像、配准真实增强图像以及真实目标分割掩码图依次进行窗宽窗位选择、数据归一化、数据扰动扩充以及分块裁剪分别得到预处理非增强图像、预处理真实增强图像和预处理真实目标分割掩码图，预处理非增强图像、预处理真实增强图像以及预处理真实目标分割掩码图作为样本对；

7、步骤4、构建目标矫正的非对比剂增强医学图像分割模型，其中目标矫正的非对比剂增强医学图像分割模型包括一个多任务互补学习模型和一个目标分割引导的配准器；

8、步骤5、构建联合损失函数，联合损失函数包括目标增强成像损失函数、非增强目标分割损失函数以及配准损失函数；

9、步骤6、依据构建的目标矫正的非对比剂增强医学图像分割模型和对应联合损失函数，建立训练策略，然后将样本对输入目标矫正的非对比剂增强医学图像分割模型，完成目标矫正的非对比剂增强医学图像分割模型的训练；

10、步骤7、完成目标矫正的非对比剂增强医学图像分割模型中的多任务互补学习模型进行部署，将待处理的非增强图像进行重采样、图片筛查、窗宽窗位选择、归一处化以及分块裁剪成待处理的非增强图像块，然后将待处理的非增强图像块作为已训多任务互补学习模型的输入，获得对应的增强图像以及非增强目标分割掩码图；最后对多任务互补学习模型输出的增强图像和非增强目标分割掩码图反向处理为完整增强图像和完整非增强目标分割掩码图。

11、如上所述多任务互补学习模型包括共性特征提取模块、目标增强分支以及目标分割分支；

12、所述预处理非增强图像首先经过共性特征提取模块得到潜在共性特征；

13、然后，预处理非增强图像经维度变换后的结果和潜在共性特征同时输入到目标增强分支，得到模型增强图像；

14、预处理非增强图像经维度变换后的结果和潜在共性特征还同时输入到目标分割分支，得到模型分割掩码图；

15、此外，预处理非增强图像和预处理真实增强图像输入至目标分割引导的配准器得到矫正矩阵；

16、模型增强图像经矫正矩阵矫正后得到矫正后模型增强图像；

17、模型分割掩码图经矫正矩阵矫正后得到矫正后模型分割掩码图。

18、如上所述共性特征提取模块依次包括输入层、编码器、中心模块和解码器，其中，编码器包括m(m≥1)层下采样卷积层，中心模块包括r(r≥1)个类残差模块，解码器包括m层上采样卷积层；下采样卷积层和对应的上采样卷积层跳转连接；

19、所述目标增强分支包括1个增强独立特征提取残差模块、h(h≥1)个目标增强成像残差模块和目标增强分支输出层；

20、目标分割分支包括1个分割独立特征提取残差模块、h个目标分割残差模块和目标分割分支输出层；

21、目标增强分支和目标分割分支之间共享dhdc层，dhdc层包含d(d≥1)个dhdc单元，当d＞1时，d个dhdc单元依次串联。

22、如上所述共性特征提取模块提取的潜在共性特征首先分别经过增强独立特征提取残差模块和分割独立特征提取残差模块，对应分别获得增强图像特征和非增强图像目标分割特征；然后，增强图像特征和非增强图像目标分割特征分别送入dhdc单元，增强图像特征经过dhdc层处理后输入至序号为0的目标增强成像残差模块，非增强图像目标分割特征经过dhdc层处理后输入至序号为0的目标分割残差模块，具体过程如以下公式所示：

23、a0＝deca(dec)

24、b0＝decb(dec)

25、e0＝dhdc(a0)

26、s0＝dhdc(b0)

27、e1＝brancha0(e0)

28、s1＝branchb0(s0)

29、其中，dec为共性特征提取模块输出的潜在共性特征；deca为增强独立特征提取残差模块，decb为分割独立特征提取残差模块，dhdc表示dhdc层，brancha_0是序号为0的目标增强成像残差模块，branchb_0是序号为0的目标分割残差模块，a0、b0、e0、s0、e1以及s1分别为增强独立特征提取残差模块deca的输出、分割独立特征提取残差模块decb的输出、dhdc层的输出、序号为0的目标增强成像残差模块brancha_0的输出、以及序号为0的目标分割残差模块branchb_0的输出。

30、如上所述目标增强分支与目标分割分支进行层间信息互补学习，具体过程如以下，

31、其中，对于目标增强分支：

32、hn＝sn+u′

33、en+1＝branchan([en,hn])

34、n为目标增强成像残差模块和目标分割残差模块的序号，sn表示序号为n-1的目标分割残差模块输出的分割结果，n≥1，u′为预处理非增强图像经维度变换后的结果，中间变量hn为sn同u′的和，en和en+1分别表示序号为n-1和序号为n的目标增强成像残差模块输出的成像结果，[]为数据拼接运算符，branchan表示序号为n的目标增强成像残差模块，最后一个目标增强成像残差模块的输出通过激活函数tanh获得模型增强图像；

35、对于目标分割分支：

36、tn＝en-u′

37、sn+1＝branchbn([sn,tn])

38、其中，branchbn表示序号为n的目标分割残差模块，en表示序号为n-1的目标增强成像残差模块输出的增强结果，tn为en同u′的差值，sn+1表示序号为n的目标分割残差模块输出的分割结果，最后一个目标分割残差模块的输出通过激活函数sigmod获得模型分割掩码图。

39、如上所述联合损失函数为ltotal，基于以下公式：

40、ltotal＝a*lsyn+b*lseg+c*lcorr

41、其中，a为目标增强成像损失函数lsyn的加权值，b为非增强目标分割损失函数lseg加权值，c为配准损失函数lcorr加权值。

42、如上所述目标增强成像损失函数lsyn如以下公式所示：

43、

44、其中，vi为矫正后模型增强图像的第i个体素点，v表示矫正后模型增强图像，ri为矫正后模型增强图像对应的预处理真实增强图像的第i个体素点，r表示矫正后模型增强图像对应的预处理真实增强图像，n为体素点总数。

45、如上所述目标分割损失函数lseg如以下公式所示：

46、lseg＝dice_loss+ce_loss

47、

48、

49、f为矫正后模型分割掩码图，m为预处理真实目标分割掩码图，fi为矫正后模型分割掩码图的第i个体素点，fi取值为0或者1，mi为预处理真实目标分割掩码图的第i个体素点，mi取值为0或者1，i为体素点序号，n为体素点总数，|f|和|m|分别表示f和m的体素点个数，|f∩m|表示f和m交集体素点个数，dice_loss为分割损失，ce_loss为交叉熵损失。

50、如上所述配准损失函数lcorr如以下公式所示：

51、

52、其中，γ1为图像配准损失加权系数，γ2为分割目标引导的配准损失加权系数，γ3为矫正矩阵的平滑损失加权系数；ev,r[]为期望运算符，ο对应于重采样操作，c(u,r)为利用预处理非增强图像u和预处理真实增强图像r训练获得的矫正矩阵，为梯度运算符，表示对矫正矩阵求梯度，‖.‖1为l1距离运算符。

53、本发明相对于现有技术，具有以下有益效果：

54、1、本发明利用目标增强和目标分割的相似性和特异性设计了目标增强与目标分割任务部分网络结构共享和分支任务层间信息互补的多任务互补学习模型，该模型能够同时完成目标图像增强和目标分割；

55、2、目标矫正的非对比剂增强医学图像分割模型，引入的以分割目标为导向的配准器，更加关注于增强目标和分割目标，使得模型最终的对于非增强图像上的低对比度目标分割性能更好；

56、3、针对所述目标矫正的非对比剂增强医学图像分割模型还设计了联合损失函数，以模型增强图像损失、目标分割损失以及目标分割引导的配准损失的加权损失和作为所述目标矫正的非对比剂增强医学图像分割模型的联合损失，以同步优化目标增强、目标分割和配准网络，具有简单易训特点；

57、此外，本发明利用计算机视觉技术构建深度学习模型，具有较好的鲁棒性和扩展性，如可扩展3d图像重建。