一种基于人工智能的超声图像改进方法与流程

1.本发明涉及医学影像处理领域，尤其涉及一种基于人工智能的超声图像改进方法。


背景技术：

2.b型超声作为超声的主要检查方法，是医疗检查的一种重要手段，由于其使用价廉和方便，且几乎无辐射伤害的特点，越来越多的医生选择使用b超作为患者做初筛手段，使得超声的应用范围和地域变得广泛。
3.但是超声束的空间分辨力有限，组织的反射面不光滑，不同的反射源产生的回波信号相位也不一样，在波束形成的时候可能相叠加也可能相消，及电子电路的噪声等因素导致超声图像中存在许多斑点噪声。由于斑点噪声的存在，降低了超声图像的对比度和组织内可获得的细节信息，对图像细节的识别和分析比较困难，从而干扰医生的诊断。
4.为了提高超声图像的质量，现有技术中对超声图像进行分割得到的不同区域，不同区域采用不同的图像处理方式，例如：根据超声图像内包含的组织结构，将超声图像分割为结构区域和非结构区域，并对结构区域进行各向异性处理、非结构区域进行各向同性处理，以达到增强超声图像边缘的目的，从而提升超声图像质量，但这种处理方式会导致不同区域的差异性较为明显，真实细节有丢失的可能，超声图像表现不太自然，因此针对以上问题，迫切需要设计出一种基于人工智能的超声图像改进方法，以满足实际使用的需要。


技术实现要素：

5.为了解决以上技术问题，本发明提供了一种基于人工智能的超声图像改进方法。
6.本发明所解决的技术问题可以采用以下技术方案实现：
7.本发明提供一种基于人工智能的超声图像改进方法，包括：
8.步骤s1，提取超声图像的结构信息，根据提取的所述结构信息对所述超声图像进行分割，得到一第一结构特征图和一第一组织特征图；
9.步骤s2，对所述第一结构特征图进行二值化处理，并对处理后的所述第一结构特征图进行形态学膨胀处理，得到一第二结构特征图；以及
10.将所述第一组织特征图分解成多层，并去除所述第一组织特征图的中间层的组织特征，得到一第二组织特征图；
11.步骤s3，提供一对应所述超声图像的断层扫描图像，通过训练好的结构优化网络对所述断层扫描图像上对应的结构特征进行标注，并将标注好的所述结构特征迁移至所述第二结构特征图中，得到一第三结构特征图；以及
12.提供一对应所述超声图像的磁共振图像，通过训练好的组织优化网络对所述磁共振图像上对应的组织特征进行标注，并将标注好的所述组织特征迁移至所述第二组织特征图中，得到一第三组织特征图；
13.步骤s4，将所述第三结构特征图、所述第三组织特征图以及所述超声图像进行融
合处理，得到优化后的所述超声图像。
14.优选地，所述步骤s1中，提取超声图像的结构信息，具体包括：
15.基于索贝尔算子或canny算子对所述超声图像进行提取，得到所述结构信息。
16.优选地，所述步骤s1中，采用一分割网络对所述超声图像中的组织进行分割提取，得到所述第一结构特征图和所述第一组织特征图。
17.优选地，所述分割网络包括深度学习分割网络、全卷积网络、语义分割网络中一种或多种的组合。
18.优选地，所述步骤s2中，对所述第一结构特征图进行二值化处理，具体包括：
19.步骤s21，基于索贝尔算子或prewwit算子对所述第一结构特征图进行处理，得到所述第一结构特征图中各结构特征对应的结构因子；
20.步骤s22，分别对所述结构因子进行归一化处理；
21.步骤s23，将归一化处理后的所述结构因子与一预设阈值进行比较，并于所述结构因子的绝对值小于所述预设阈值时，将对应的所述结构特征的结构因子配置为0。
22.优选地，所述步骤s2中，将所述第一组织特征图分解成多层，并去除所述第一组织特征图的中间层的组织特征，得到一第二组织特征图，具体包括：
23.通过小波变换法或金字塔分割法对所述组织特征图进行分解，得到多层组织特征，随后通过软阈值滤波法去除中间层的组织特征。
24.优选地，所述步骤s3中，训练好的所述结构优化网络以及所述组织优化网络分别包括：
25.多层编码模块，每一层所述编码模块分别包括一编码单元和一最大化池化层，后一层的所述编码单元的输入端连接前一层的所述最大化池化层的输出端；
26.自注意力级联模块，所述自注意力级联模块包括多层自注意力子模块，所述自注意力子模块分别连接每一层对应的所述编码模块的输出端；
27.多层解码模块，每一层所述解码模块分别包括一第一二维卷积层和一上采样层，所述第一多维卷积层连接每一层对应的所述自注意力子模块的输出端以及对应的所述上采样层的输出端，前一层的所述上采样层的输入端连接后一层的所述第一二维卷积层的输出端；
28.第二二维卷积层，所述第二二维卷积层的输入端连接最后一层所述编码模块的输出端，所述第二二维卷积层的输出端连接最后一层所述解码模块的输入端；
29.第三二维卷积层，连接第一层所述解码模块。
30.优选地，所述编码模块包括深度卷积神经网络、残差网络、密集卷积网络中一种或多种的组合。
31.优选地，所述解码模块包括二维矩阵卷积层和传输二维卷积层。
32.优选地，所述步骤s4中，将所述第三结构特征图、所述第三组织特征图以及所述超声图像进行融合处理，得到优化后的所述超声图像，具体融合公式如下：
33.i'＝alpha*(s”+t”)+(1
‑
alpha)*i
34.其中，
35.i表示原始的所述超声图像；
36.alpha表示融合因子；
37.s”表示所述第三结构特征图；
38.t”表示所述第三组织特征图；
39.i'表示优化后的所述超声图像。
40.本发明的有益效果在于：
41.本发明通过将超声图像分割成结构特征和组织特征，提取断层扫描图像的图像特征迁移到超声图像的结构特征上，提取磁共振图像的图像特征并迁移到超声图像的组织特征上，并进行融合处理，抑制超声图像的斑点噪声，提高图像的结构表现力；通过深度学习的方法进行迁移，强化了垂直边界结构，使原本平行于声束的结构更加清晰，有效降低了声影所带来的伪像。
附图说明
42.图1为本发明中一种基于人工智能的超声图像改进方法的流程示意图；
43.图2为本发明中步骤s2中对所述第一结构特征图进行二值化处理具体实施例的流程示意图；
44.图3为本发明中所述步骤s3中，训练好的所述结构优化网络或所述组织优化网络具体实施例的结构框图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
47.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
48.本发明提供一种基于人工智能的超声图像改进方法，属于医学影像处理领域，如图1所示，包括如下步骤：
49.步骤s1，提取超声图像的结构信息，根据提取的结构信息对超声图像进行分割，得到一第一结构特征图和一第一组织特征图；
50.作为优选的实施方式，步骤s1中，提取超声图像的结构信息，超声图像包括b超图像，具体包括：
51.基于索贝尔算子或canny算子对超声图像进行提取，得到结构信息。
52.作为优选的实施方式，步骤s1中，采用一分割网络对超声图像中的组织进行分割提取，得到第一结构特征图和第一组织特征图。
53.作为优选的实施方式，分割网络包括深度学习分割网络、全卷积网络、语义分割网络中一种或多种的组合。
54.具体的，在步骤s1中，先基于索贝尔sobel算子或canny算子提取超声图像的结构信息，再通过一分割网络按照超声图像的结构信息对超声图像进行分割，得到结构特征和组织特征，即第一结构特征图和第一组织特征图，优选的，分割网络可以是深度学习分割网
络(unity networking，unet)，和/或全卷积网络(fully convolutional networks，fcn)，和/或语义分割网络deeplab等。
55.步骤s2，对第一结构特征图进行二值化处理，并对处理后的第一结构特征图进行形态学膨胀处理，得到一第二结构特征图；
56.具体的，在步骤s2中，将第一结构特征图中的特征进行二值化处理，如图2所示，具体处理步骤如下：
57.步骤s21，基于索贝尔sobel算子或prewwit算子对第一结构特征图进行处理，得到第一结构特征图中每个结构特征对应的结构因子s(x，y)，其中x、y用于表示第一结构特征图中的每个结构特征的坐标；
58.步骤s22，分别对结构因子进行归一化处理，将结构因子的范围归一化到[
‑
1，1]之间；
[0059]
步骤s23，将归一化处理后的结构因子与一预设阈值进行比较，并于结构因子的绝对值小于预设阈值时，将对应的结构特征的结构因子配置为0，其中预设阈值一般为0.08，若结构因子的绝对值|s(x，y)|小于0.08，则将该结构因子设为0，即对应的结构特征的结构因子为0。
[0060]
经过二值化处理后，再进行形态学膨胀操作，得到第二结构特征图。
[0061]
步骤s2中还包括：将第一组织特征图分解成多层，并去除第一组织特征图的中间层的组织特征，得到一第二组织特征图；
[0062]
作为优选的实施方式，在步骤s2中，通过小波变换法或金字塔分割法对组织特征图进行分解，得到多层组织特征，随后通过软阈值滤波法去除中间层的组织特征。
[0063]
在步骤s3中，提供一张断层扫描图像(例如ct图像)，该断层扫描图像与上述超声图像是一一对应的，通过事先训练好的结构优化网络对断层扫描图像上对应的图像特征进行一一标注，这些标注与超声图像中空间点点对应，通过空间点点对应进行迁移，将断层扫描图像上的图像特征迁移到超声图像的结构特征中，得到迁移后的第三结构特征图。
[0064]
进一步的，事先需要对结构优化网络进行训练，训练过程如下：
[0065]
提供断层扫描图像与超声图像，对断层扫描图像与超声图像进行预处理，包括对超声图像进行高斯gauss滤波，对断层扫描图像和超声图像分别进行人工标注，断层扫描图像和超声图像分别包含一个坐标系，超声图像中的每一个结构特征的坐标与断层扫描图像是一一对应的；
[0066]
经过一预设的分割网络进行训练，例如深度学习分割网络(unity networking，unet)，和/或全卷积网络(fully convolutional networks，fcn)，和/或语义分割网络deeplab等网络；
[0067]
提取断层扫描图像的实体dog，在训练过程中，采用断层扫描图像的实体dog作为训练网络的真值ground truth。
[0068]
作为优选的实施方式，在步骤s3中，如图3所示，训练好的结构优化网络具体包括如下部分：
[0069]
多层编码模块，每一层编码模块分别包括一编码单元basic block和一最大化池化层max pool，后一层的编码单元的输入端连接前一层的最大化池化层的输出端；
[0070]
自注意力级联模块，自注意力级联模块包括多层自注意力子模块se lager，自注
意力子模块分别连接每一层对应的编码模块的输出端；
[0071]
多层解码模块，每一层解码模块分别包括一第一二维卷积层conv2d和一上采样层upsample，第一多维卷积层连接每一层对应的自注意力子模块的输出端以及对应的上采样层的输出端，前一层的上采样层的输入端连接后一层的第一二维卷积层的输出端；
[0072]
第二二维卷积层conv2d 3*3，第二二维卷积层的输入端连接最后一层编码模块的输出端，第二二维卷积层的输出端连接最后一层解码模块的输入端；
[0073]
第三二维卷积层conv2d 3*3，连接第一层解码模块。
[0074]
具体的，在本实施例中，结构优化网络包括多层编码模块、自注意力级联模块和多层解码模块；
[0075]
其中，多层编码模块具体包括第一编码模块、第二编码模块、第三编码模块、第四编码模块，每一层编码模块分别包括一编码单元和一最大化池化层，并且后一层的编码单元的输入端连接前一层的最大化池化层的输出端，即第二编码模块中的编码单元的输入端连接第一编码模块的最大化池化层的输出端，按此类推，其余层编码模块的连接关系不再赘述；
[0076]
自注意力级联模块包括多层自注意力子模块，具体包括：第一自注意力子模块、第二自注意力子模块、第三自注意力子模块、第四自注意力子模块，每个自注意力子模块分别连接同一层对应的编码模块的输出端，即第一自注意力子模块连接第一编码模块的输出端，第二自注意力子模块连接第二编码模块的输出端；
[0077]
多层解码模块具体包括第一解码模块、第二解码模块、第三解码模块、第四解码模块，每一解码模块分别包括一第一二维卷积层和一上采样层，并且第一多维卷积层连接同一层对应的自注意力子模块的输出端以及对应的上采样层的输出端，前一层的上采样层的输入端连接后一层的第一二维卷积层的输出端，例如第一解码模块中的上采样层的输入端连接第二解码模块中的第一二维卷积层的输出端，第一解码模块中的第一二维卷积层包括第一输入端和第二输入端，第一输入端连接同一层对应的第一自注意力子模块的输出端，第二输入端连接对应的第一解码模块中的上采样层；
[0078]
作为优选的实施方式，编码模块包括深度卷积神经网络vgg、残差网络(residual neural network，resnet)、密集卷积网络densenet中一种或多种的组合。
[0079]
作为优选的实施方式，解码模块还可以使用二维矩阵卷积层和和传输二维卷积层代替上述第一二维卷积层和上采样层。
[0080]
在步骤s3中，还包括：提供一对应超声图像的磁共振图像(例如mri图像)，通过训练好的组织优化网络对磁共振图像上对应的组织特征进行标注，并将标注好的组织特征迁移至第二组织特征图中，得到一第三组织特征图；
[0081]
其中，组织优化网络的训练方式，具体结构均大致相同，除了步骤s3中的结构优化网络是将断层扫描图像进行特征迁移，组织优化网络是将磁共振图像进行特征迁移，在此不再对组织优化网络进行详细叙述。
[0082]
通过上述技术方案，设置自注意力级联模块作为层间跳跃连接层，将各个最大化池化层的输出连接至相应的二维卷积层的输入端；通过跳跃连接可以让网络融合多尺度下的特征图谱，加速网络收敛速度同时能够恢复更好的图像细节。
[0083]
步骤s4，将第三结构特征图、第三组织特征图以及超声图像进行融合处理，得到优
化后的超声图像。
[0084]
作为优选的实施方式，步骤s4中，将第三结构特征图、第三组织特征图以及超声图像进行融合处理，得到优化后的超声图像，具体融合公式如下：
[0085]
i'＝alpha*(s”+t”)+(1
‑
alpha)*i
[0086]
其中，
[0087]
i表示原始的超声图像；
[0088]
alpha表示融合因子；
[0089]
s”表示第三结构特征图；
[0090]
t”表示第三组织特征图；
[0091]
i'表示优化后的超声图像。
[0092]
本发明的有益效果在于：
[0093]
本发明通过将超声图像分割成结构特征和组织特征，提取断层扫描图像的图像特征迁移到超声图像的结构特征上，提取磁共振图像的图像特征并迁移到超声图像的组织特征上，并进行融合处理，抑制超声图像的斑点噪声，提高图像的结构表现力；通过深度学习的方法进行迁移，强化了垂直边界结构，使原本平行于声束的结构更加清晰，有效降低了声影所带来的伪像。
[0094]
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。