一种基于双编码器的肺部医学影像增强方法与流程

本发明涉及图像处理，具体涉及一种基于双编码器的肺部医学影像增强方法。

背景技术：

1、随着人工智能的快速发展，近几年医学影像图像增强技术迅速兴起，特别是在肺部疾病的治疗中，这一技术展现出了巨大的潜力。传统的肺部医学影像图像增强模型对数据集具有较大的依赖性。当在不同的数据集上测试性能时，它们的诊断效果往往会受到影响，这主要是因为当前的迁移学习方法通常无法充分关注与特定疾病或病变相关的特征。

技术实现思路

1、本发明为了克服以上技术的不足，提供了一种提高肺部医学影像清晰度的基于双编码器的肺部医学影像增强方法。

2、本发明克服其技术问题所采用的技术方案是：

3、一种基于双编码器的肺部医学影像增强方法，包括如下步骤：

4、(a)从数据集中获取肺部医学影像；

5、(b)对肺部医学影像进行预处理，得到预处理后的肺部医学图像；

6、(c)构建图像增强模型，图像增强模型由初始编码器、强化编码器构成；

7、(d)将预处理后的肺部医学图像输入到图像增强模型的初始编码器中，输出得到初始编码特征；

8、(e)将初始编码特征输入到图像增强模型的强化编码器中，输出得到强化编码结果；

9、(f)对图像增强模型进行迭代，得到预训练后的图像增强模型；

10、(g)从数据集中获取新的肺部医学影像；

11、(h)对新的肺部医学影像进行预处理，得到预处理后的肺部医学图像；

12、(i)将预处理后的肺部医学图像输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征，将预处理后的肺部医学图像输入到训练后的图像增强模型中输出得到强化编码结果；

13、(j)建立置信分类模型，将初始编码特征及强化编码结果输入到置信分类模型中，输出得到重建解码结果、图像增强结果、置信度增强结果；

14、(k)对置信分类模型进行迭代，得到预训练后的置信分类模型；

15、(l)将待增强的肺部医学图像进行预处理，得到预处理后的肺部医学图像，将预处理后的肺部医学图像输入到训练后的图像增强模型的初始编码器中，输出得到初始编码特征，将预处理后的肺部医学图像输入到训练后的图像增强模型中输出得到强化编码结果，将初始编码特征及强化编码结果输入到预训练后的置信分类模型中，输出得到重建解码结果、图像增强结果、置信度增强结果。

16、进一步的，步骤(a)中从lidc-idri数据集中获取肺部医学影像。

17、进一步的，步骤(b)包括如下步骤：

18、(b-1)利用nlm去噪算法对肺部医学影像去噪，得到去噪后的肺部医学影像；

19、(b-2)使用python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像。

20、进一步的，步骤(d)包括如下步骤：

21、(d-1)图像增强模型的初始编码器由第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块构成，第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块均依次由第一卷积层、batch normalization层、relu激活函数层构成；

22、(d-2)将预处理后的肺部医学图像输入到初始编码器的第一卷积模块中，输出得到第一编码特征；

23、(d-3)将第一编码特征输入到初始编码器的第二卷积模块中，输出得到第二编码特征；

24、(d-4)将第二编码特征输入到初始编码器的第三卷积模块中，输出得到第三编码特征；

25、(d-5)将第三编码特征输入到初始编码器的第四卷积模块中，输出得到第四编码特征；

26、(d-6)将第一编码特征、第二编码特征、第三编码特征、第四编码特征依次相加得到初始编码特征。

27、进一步的，步骤(e)包括如下步骤：

28、(e-1)图像增强模型的强化编码器由自注意力机制、第一batchnorm层、前馈神经网络、第二batchnorm层、输出模块构成；

29、(e-2)强化编码器的自注意力机制由矩阵生成层、缩放点积注意力单元、softmax函数、加权和计算单元构成，矩阵生成层由维度为8×8的查询矩阵、维度为8×8的键矩阵、维度为8×8的值矩阵，将初始编码特征乘以查询矩阵得到可学习的权重矩阵，将初始编码特征乘以键矩阵得到可学习的权重矩阵，将初始编码特征乘以值矩阵得到可学习的权重矩阵，将可学习的权重矩阵及可学习的权重矩阵输入到缩放点积注意力单元中进行矩阵转置操作，将转置后的可学习的权重矩阵输入softmax函数中，输出得到权重矩阵，将转置后的可学习的权重矩阵输入softmax函数中，输出得到权重矩阵，将可学习的权重矩阵取平方根后输入到自注意力机制的softmax函数中，输出得到权重矩阵，将权重矩阵、权重矩阵、权重矩阵输入到加权和计算单元中，通过公式计算得到加权和矩阵；

30、(e-3)将加权和矩阵输入到强化编码器的第一batchnorm层中，输出得到归一化后的加权和矩阵；

31、(e-4)强化编码器的前馈神经网络由隐藏单元、relu激活函数、线性层构成，前馈神经网络的隐藏单元依次由第一线性层、第一sigmoid激活函数、第二线性层、第二sigmoid激活函数构成，将归一化后的加权和矩阵输入到隐藏单元中，输出得到特征，将特征依次输入到前馈神经网络的relu激活函数、线性层中，输出得到特征；

32、(e-5)将特征输入到强化编码器的第二batchnorm层中，输出得到前馈特征；

33、(e-6)强化编码器的输出模块由softmax函数构成，将前馈特征输入到输出模块中，输出得到强化编码结果。

34、进一步的，步骤(f)中通过kl散度利用adam优化器迭代图像增强模型，得到预训练后的图像增强模型。

35、进一步的，步骤(g)中从jsrt数据集中获取新的肺部医学影像。

36、进一步的，步骤(h)包括如下步骤：

37、(h-1)利用nlm去噪算法对新的肺部医学影像去噪，得到去噪后的肺部医学影像；

38、(h-2)使用python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像。

39、进一步的，步骤(j)包括如下步骤：

40、(j-1)置信分类模型由置信度解码器、重建解码器构成；

41、(j-2)置信分类模型的置信度解码器由输入嵌入单元、卷积模块构成，输入嵌入单元由维度为8×8的嵌入矩阵、索引查找模块、位置编码模块构成，将初始编码特征与嵌入矩阵相乘操作，得到嵌入矩阵，将嵌入矩阵与8×8的嵌入矩阵按行相加操作得到嵌入向量，将嵌入向量输入到位置编码模块中利用余弦函数计算得到向量，将向量与嵌入向量相加操作，得到包含位置信息的嵌入向量，置信度解码器的卷积模块依次由第一卷积层、第一batch normalization层、第一relu激活函数层、第二卷积层、第二batch normalization层、第二relu激活函数层、平均池化层构成，将包含位置信息的嵌入向量输入到置信度解码器的卷积模块中，输出得到置信度增强结果；

42、(j-3)置信分类模型的重建解码器由第一分支、第二分支、第三分支构成，重建解码器的第一分支依次由卷积层、batch normalization层、relu激活函数层、python中pil库中的save函数构成，重建解码器的第二分支依次由python中的flatten函数、线性层、python中的max函数构成，重建解码器的第三分支依次由python中的flatten函数、线性层构成，将强化编码结果与置信度增强结果相加操作得到特征，将特征输入到重建解码器的第一分支中，输出得到特征，将特征与强化编码结果进行相加操作，得到图像增强结果，将特征输入到重建解码器的第二分支中，输出得到重建解码结果，将特征输入到重建解码器的第三分支中，输出得到特征，将特征与置信度增强结果进行相加操作，得到置信度增强结果。

43、进一步的，步骤(k)中通过交叉熵损失函数利用adam优化器迭代置信分类模型，得到预训练后的置信分类模型。

44、进一步的，步骤(l)中利用nlm去噪算法对待增强的肺部医学图像去噪，得到去噪后的肺部医学影像，用python中的dataset类将去噪后的肺部医学影像按照类别封装，得到预处理后的肺部医学图像。

45、本发明的有益效果是：对lidc-idri数据集中的视频进行处理，提取出图像并通过初始编码器和强化编码器得到强化编码结果。然后，将jsrt数据集中的图像经过同样的预处理，输入到模型中得到强化编码结果，再通过置信度解码器得到置信度增强结果。最后，将强化编码结果和置信度增强结果输入到重建解码器中，得到图像增强结果、重建解码结果、置信度增强结果。通过交叉熵损失函数进行微调，得到最终的图像增强模型。有效的提高了图像增强的质量，充分利用预训练和微调的训练方式挖掘肺部医学影像的潜在语义信息，提高了肺部医学影像增强的质量和鲁棒性，适用于各种类型的肺部医学影像增强，解决了肺部医学影像增强的需求。