用于CT图像修复的双流网络模型的构建方法、装置及应用与流程

本申请涉及图像修复领域，特别是涉及一种用于ct图像修复的双流网络模型的构建方法、装置及应用。

背景技术：

1、ct是一种常见的临床影响检查方式，它可以生成高分辨率的三维数字图像，可以提供医生丰富的诊断信息，但是由于有些图像可能会受到某些原因的干扰从而导致ct图像存在各种噪声，从而影响ct图像的密度导致ct图像中的软组织分辨能力很差，医生不能根据这些存在噪声的ct图像来准确判断病灶。

2、ct成像被广泛应用在临床疾病诊断，但是经常会遇到待检测对象中包含金属等衰减系数非常高的物质，比如病人体内可能会有心脏起搏器，血管支架，金属假牙等。由于金属物质对x射线具有高衰减特性，并且对不同能量的x射线衰减性质还是不一样的，这会导致重建后的图像中会出现明暗相间的金属伪影，这些金属伪影会对图像中的原始信息造成遮挡和干扰，影响图像的后续处理和分析，严重的话还会影响医生的判断甚至会造成误诊。

3、因此，对ct图像进行增强修复就显得尤为重要，对ct图像进行增强修复可以有效去除ct图像中的干扰因素，提高图像质量，使医生更加准确地判断和诊断疾病，随着深度学习的不断发展，可以通过深度学习模型来对ct图像进行修复，但是由于ct图像训练样本的图像质量不能保证，所以会导致传统的深度学习模型在训练过程中学习到错误的特征影响模型的准确率。

4、所以，亟需一种可以对ct图像进行准确修复，从而使医生可以根据修复后的ct图像来准确判断病灶的深度学习模型。

技术实现思路

1、本申请实施例提供了一种用于ct图像修复的双流网络模型的构建方法、装置及应用，可以通过在双流网络结构中设置伪影修复模块以及噪声修复模块来对输入的待修复ct图像进行不断的纠正和调整，使得模型可以很好的对ct图像进行修复，提高医生诊断的效果。

2、第一方面，本申请实施例提供了一种用于ct图像修复的双流网络模型的构建方法，所述方法包括：

3、获取至少一修复过的ct图像组成比对样本集，对所述比对样本集中的每一ct图像进行图像攻击得到训练样本集；

4、构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；

5、其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；

6、将训练样本集中每一ct图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复ct图像，训练双流网络模型直至修复ct图像同比对样本集中对应修复过的ct图像的损失满足迭代条件。

7、第二方面，本申请实施例提供了一种ct图像修复方法，所述方法包括：

8、获取一待修复ct图像，将所述待修复ct图像输入到权利要求1训练好的双流网络模型中；

9、双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码得到修复ct图像。

10、第三方面，本申请实施例提供了一种用于ct图像修复的双流网络模型的构建装置，包括：

11、获取模块：获取至少一修复过的ct图像组成比对样本集，对所述比对样本集中的每一ct图像进行图像攻击得到训练样本集；

12、构建模块：构建双流网络模型，其中所述双流网络模型包括并联的两个特征通路、特征调整模块以及解码模块，每一特征通路内包括数量相同的依次串联的编码器，特征通路的相邻编码器之间通过特征调整模块与另一特征通路对应的相邻编码器之间的位置连接，两个特征通路的输出特征融合后输入到解码模块中进行解码；

13、编码模块：其中每一特征调整模块的结构均包括并行的伪影修复模块和噪声修复模块，特征通路的编码器输出的特征经过特征调整模块的伪影修复模块得到伪影修复特征，经过特征调整模块的噪声修复模块得到噪声修复特征，特征调整模块完成特征通路之间的单向调整，且相邻特征调整模块针对两路特征通路的调整方向相反；其中调整内容为：将其一特征通路产生的伪影修复特征同另一特征通路对应编码器产生的特征相乘后再与噪声修复特征相加得到另一特征通路的下一编码器的输入；

14、解码模块：将训练样本集中每一ct图像输入到双流网络模型中的两个特征通路内分别得到上编码特征和下编码特征，上编码特征和下编码特征特征相加后输入到解码模块中得到修复ct图像，训练双流网络模型直至修复ct图像同比对样本集中对应修复过的ct图像的损失满足迭代条件。

15、第四方面，本申请实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种用于ct图像修复的双流网络模型的构建方法或一种ct图像修复方法。

16、第五方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种用于ct图像修复的双流网络模型的构建方法或一种ct图像修复方法。

17、本发明的主要贡献和创新点如下：

18、本申请实施例通过双流网络结构来对ct图像进行修复，在双流网络结构中添加伪影修复模块以及噪声修复模块来对双流网络结构中的图像特征进行不断的纠正和调整，使得双流网络结构的鲁棒性更好，且ct图像的修复效果更好；本方案在编码器的两个卷积层之间添加了通道注意力模块，通过通道注意力模块可以提高编码器提取特征的能力，使得模型能保留更多的细节特征；本方案在进行伪影修复之前先对图像特征进行dct变换，伪影修复后再进行dct逆变换变换回来，使得本方案在进行伪影修复时可以更好的利用图像中的频域信息，从而使得模型准确率更高。

19、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种用于ct图像修复的双流网络模型的构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种用于ct图像修复的双流网络模型的构建方法，其特征在于，在“每一特征通路内包括数量相同的依次串联的编码器”步骤中，所述编码器由第一特征卷积层、通道注意力层、第二特征卷积层、特征池化层顺序串联组成。

3.根据权利要求1所述的一种用于ct图像修复的双流网络模型的构建方法，其特征在于，在将编码器输出的特征输入到所述伪影修复模块之前，对编码器输出的特征进行离散余弦变换，在将编码器输出的特征与所述伪影修复特征进行特征相乘之前，对所述伪影修复特征进行离散余弦变换的逆变换。

4.根据权利要求1所述的一种用于ct图像修复的双流网络模型的构建方法，其特征在于，所述伪影修复模块由第一伪影修复卷积层、第一伪影修复批归一化层、第一伪影修复激活函数层、第二伪影修复卷积层、第二伪影修复批归一化层、第二伪影修复激活函数层顺序串联。

5.根据权利要求1所述的一种用于ct图像修复的双流网络模型的构建方法，其特征在于，所述噪声修复模块由第一噪声修复卷积层、第一噪声修复批归一化层、第一噪声修复激活函数层、第二噪声修复卷积层、第二噪声修复批归一化层、第二噪声修复激活函数层顺序串联。

6.根据权利要求1所述的一种用于ct图像修复的双流网络模型的构建方法，其特征在于，在“上编码特征和下编码特征特征相加后输入到解码模块中得到修复ct图像”步骤中，在所述解码模块中对上编码特征和下编码特征特征相加后的结果进行上次采样得到上采样结果，再对所述上采样结果进行至少一次卷积-上采样操作得到所述修复ct图像，所述卷积上采样操作为先进行卷积再进行上采样。

7.一种ct图像修复方法，其特征在于，包括：

8.一种用于ct图像修复的双流网络模型的构建装置，其特征在于，包括：

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-6任一所述的一种用于ct图像修复的双流网络模型的构建方法或权利要求7所述的一种ct图像修复方法。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-6任一所述的一种用于ct图像修复的双流网络模型的构建方法或权利要求7所述的一种ct图像修复方法。

技术总结
本申请提出了一种用于CT图像修复的双流网络模型的构建方法、装置及应用，包括以下步骤：构建双流网络模型，使用修复过的CT图像组成比对样本集进行训练；模型包括并联的两个特征通路、特征调整模块以及解码模块；通过特征通路以及特征调整模块将输入的CT图像进行修复、去噪和特征提取；最终将上编码特征以及下编码特征相加并输入解码模块，得到修复的CT图像；训练双流网络模型直至修复CT图像同比对样本集中对应修复过的CT图像的损失满足迭代条件。本方案通过在双流网络结构中设置伪影修复模块以及噪声修复模块来对输入的待修复CT图像进行不断的纠正和调整，使得模型可以很好的对CT图像进行修复。

技术研发人员：蔡林凯
受保护的技术使用者：杭州雅智医疗技术有限公司
技术研发日：
技术公布日：2024/1/15