一种基于卷积神经网络的CMUT超声图像质量提升方法

本发明涉及医学超声成像领域，具体为一种基于卷积神经网络的cmut超声图像质量提升方法。

背景技术：

1、电容式微机械超声换能器(cmut)因具有功耗低、尺寸小、高集成度、带宽大等特点，在超声成像领域备受关注，近年来cmut有望替代传统压电超声换能器应用于超声计算机断层扫描(ct)成像系统。

2、在cmut阵列超声成像领域中，使用低频可以获得更大范围的检测区域，但同时图像存在分辨率低、边缘轮廓模糊和噪声明显等问题，使用更高频率探测可以明显提升图像质量，但这不可避免的会导致探测范围减小。

3、近些年深度学习发展迅猛，与各个领域的结合表现突出，这为医学超声成像提供了新思路。卷积神经网络能够从自然图像中学习特征，可以将预训练得到的模型迁移到超声成像领域中，无需大量的超声成像领域数据进行训练，适用于医学成像这样的小数据领域。卷积神经网络在提升低频超声图像质量方面，也表现出了可行性，能够较好地抑制噪声以及保留结构。当前，国内在cmut超声成像领域中将深度学习与医学超声成像结合的研究较少，可开发空间大，研究成果对cmut阵列超声成像具有重要意义和应用价值。

技术实现思路

1、本发明为了解决低频cmut超声图像质量差的问题，提供了一种基于卷积神经网络的cmut超声图像质量提升方法。

2、本发明是通过如下技术方案来实现的：一种基于卷积神经网络的cmut超声图像质量提升方法，包括如下步骤：

3、a)利用cmut超声采集系统进行原始数据采集；所述高频和低频cmut超声图像为cmut超声成像采集系统在发射频率较高和发射频率较低的条件下采集所得，cmut超声成像采集系统由主控制器、cmut线阵探头以及数据采集系统组成；cmut超声探头会对被测模型进行实时超声成像并且将回波数据传递至主机，具体方法为：使用cmut超声探头在模型上不同位置获取原始数据集；高频cmut超声图像发射频率为低频cmut超声图像发射频率的二到三倍，采样频率为发射频率的四倍；

4、b)对原始数据进行预处理；所述预处理包括将图片格式由png格式转换为npy格式，将图像划分为若干小块图像；数据集包含成对的高频和低频cmut超声图像，以及通过翻转、旋转和提高成像亮度得到图像，以增强数据集；翻转包括垂直和水平翻转，旋转角度为90度；设置图像大小与小块图像大小，一般图像大小为512*512，小块图像大小为64*64；

5、c)构建基于残差连接的卷积神经网络，对模型参数进行设置；卷积神经网络主要由两个部分组成：编码部分由五个卷积层组成，卷积层后加上一层激励函数线性单元，经过卷积层堆叠，图像块转换为特征空间；解码部分由五个对应的反卷积层构成，反卷积层后也相应地加入一层激励函数线性单元；特别地，在层与层之间加入残差连接键使得网络输出中保留更多的结构和细节；卷积层与反卷积层网络对称且拥有相同的内核大小，这样可以保证网络的输入和输出精确匹配；卷积层、反卷积层中的数据流遵循“filo”原则；

6、d)在建立好的基于残差连接的卷积神经网络中使用训练集进行特征学习并保存网络模型，过程中利用可视化工具观察损失值变化，以实时关注网络学习效果；将处理好的训练集作为网络输入，提取图像特征值，之后使用激励函数进行处理，每次卷积运算输出结果是输入图像大小与卷积核大小之差除以步长后加一，该方法使用网络卷积核大小为5*5，步长为1；经过五层卷积层后得到特征图像，再输入到五层反卷积层恢复图像大小，层与层之间加入激励函数，同时在输入与deconv5、conv3与deconv3、conv5与deconv1之间加入残差连接键，保留原图像更多细节；训练学习过程中利用可视化工具观察损失值，以实时关注网络学习效果；

7、d1)输入64*64的低频cmut超声图像到卷积层conv1进行卷积，卷积后使用激励函数处理，得到60*60的图像，输出卷积结果一；

8、d2)将卷积结果一输入到卷积层conv2进行卷积，卷积后使用激励函数处理，得到56*56的图像，输出卷积结果二；

9、d3)将卷积结果二输入到卷积层conv3进行卷积，卷积后使用激励函数处理，得到52*52的图像，输出卷积结果三；

10、d4)将卷积结果三输入到卷积层conv4进行卷积，卷积后使用激励函数处理，得到48*48的图像，输出卷积结果四；

11、d5)将卷积结果四输入到卷积层conv5进行卷积，卷积后使用激励函数处理，得到44*44的图像，输出卷积结果五；

12、d6)将卷积结果五输入到反卷积层deconv1进行去卷积，去卷积后使用激励函数处理，得到48*48的图像，输出去卷积结果一；

13、d7)将去卷积结果一输入到反卷积层deconv2进行去卷积，去卷积后使用激励函数处理，得到52*52的图像，输出去卷积结果二；

14、d8)将去卷积结果二输入到卷积层deconv3进行去卷积，去卷积后使用激励函数处理，得到56*56的图像，输出去卷积结果三；

15、d9)将去卷积结果三输入到卷积层deconv4进行去卷积，去卷积后使用激励函数处理，得到60*60的图像，输出去卷积结果四；

16、d10)将去卷积结果四输入到卷积层deconv5进行去卷积，去卷积后使用激励函数处理，得到64*64的图像。

17、e)使用基于残差连接的卷积神经网络模型输入cmut超声成像采集系统所得低频cmut超声图像，训练后得到网络输出图像；

18、f)输入的低频cmut超声图像和网络输出图像分别与高频cmut超声图做量化分析，评估网络提升图像质量的能力；分别计算输入的低频cmut超声图像和网络输出图像与对应的高频cmut超声图像的峰值信噪比psnr、结构相似度ssim和均方根误差rmse，对比分析该网络对cmut超声图像质量提升效果。

19、与现有技术相比本发明具有以下有益效果：本发明所提供的一种基于卷积神经网络的cmut超声图像质量提升方法，1)卷积层和反卷积层成对出现，使得输入与输出可以相匹配；2)加入残差连接键，将低层特征的细节信息与多层卷积后的高层特征结合起来，通过融合不同层的特征达到较好效果；3)反卷积层与残差连接键的存在，改善了卷积层对细节的过滤效果，保留了图像细节；4)与低频cmut超声图像相比，在边缘轮廓方面有较大提升，图像轮廓伪影减少，能有效地保留cmut超声图像的结构和纹理信息，并能显著抑制噪声和伪影；实验表明，将深度学习方法结合cmut超声成像对于提高图像分辨力有明显效果。

技术特征：

1.一种基于卷积神经网络的cmut超声图像质量提升方法，其特征在于：包括如下步骤：

2.根据权利要求1所述的一种基于卷积神经网络的cmut超声图像质量提升方法，其特征在于：步骤a)中，所述原始数据为cmut超声成像采集系统在发射频率高和发射频率低的条件下采集所得，cmut超声成像采集系统由主控制器、cmut线阵探头以及数据采集系统组成；cmut线阵探头会对被测模型进行实时超声成像并且将回波数据传递至主机；高频cmut超声图像发射频率为低频cmut超声图像发射频率的二到三倍，采样频率为中心频率的四倍。

3.根据权利要求2所述的一种基于卷积神经网络的cmut超声图像质量提升方法，其特征在于：步骤b)中，所述预处理包括将图片格式由png格式转换为npy格式，将图像划分为若干小块图像；数据集包含成对的高频和低频cmut超声图像，以及通过翻转、旋转和提高成像亮度得到图像，以增强数据集，翻转包括垂直和水平翻转，旋转角度为90度。

4.根据权利要求3所述的一种基于卷积神经网络的cmut超声图像质量提升方法，其特征在于：步骤c)中，卷积神经网络主要由两个部分组成：编码部分由五个卷积层组成，卷积层后是一层激励函数线性单元；解码部分由五个对应的反卷积层构成，反卷积层后是一层激励函数线性单元；在卷积层与反卷积层之间加入了残差连接键；卷积层与反卷积层网络对称且拥有相同的内核大小。

5.根据权利要求4所述的一种基于卷积神经网络的cmut超声图像质量提升方法，其特征在于：步骤d)中，将处理好的训练集作为网络输入，提取图像特征值，之后使用激励函数进行处理，每次卷积运算输出结果是输入图像大小与卷积核大小之差除以步长后加一，该方法使用网络卷积核大小为5*5，步长为1；经过五层卷积层后得到特征图像，再输入到五层反卷积层恢复图像大小，层与层之间加入激励函数，同时在输入与deconv5、conv3与deconv3、conv5与deconv1之间加入残差连接键，保留原图像更多细节；训练学习过程中利用可视化工具观察损失值，以实时关注网络学习效果；

6.根据权利要求1所述的一种基于卷积神经网络的cmut超声图像质量提升方法，其特征在于：步骤f）中，分别计算输入的低频cmut超声图像和网络输出图像与对应的高频cmut超声图像的峰值信噪比psnr、结构相似度ssim和均方根误差rmse，对比分析该网络对cmut超声图像质量提升效果。

技术总结
本发明公开了一种基于卷积神经网络的CMUT超声图像质量提升方法，涉及医学超声成像领域。通过CMUT超声采集系统收集高频和低频CMUT超声图像组；对原始数据集进行数据增强，形成训练卷积神经网络模型需要的训练集和测试集；构建基于残差连接的卷积神经网络，载入预处理好的训练集，确认卷积神经网络参数，开始特征学习并保存训练完成的网络模型；使用基于残差连接的卷积神经网络将CMUT超声采集系统采集所得的低频CMUT超声图像作为输入得到网络输出图像；将输入和网络输出图像与对应的高频CMUT超声图像进行量化分析，评估网络提升CMUT超声图像质量的能力。使用本发明的方法得到的图像，利用了卷积神经网络的特性，获得更高的图像分辨力，超声图像质量明显提升。

技术研发人员：邵星灵,张文栋,雷淼,杨玉华,陶晓岩,李康宁
受保护的技术使用者：中北大学
技术研发日：
技术公布日：2024/1/14