图像处理方法、装置、终端设备以及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种图像处理方法、装置、终端设备以及存储介质。


背景技术：

2.随着医学影像设备的快速发展，医生可以利用cta和mra对病人全身各个部位的血管进行成像。然而在海量的影像数据中去人工分析血管病变，对影像医生来说显然是一个非常耗时耗力的工作。近些年，随着深度学习的发展，基于卷积神经网络(cnn)的血管自动分割方法在分析血管影像上取得显著的成效。然而由于卷积运算的局部性，基于cnn的方法很难学习到全局上下文信息以及长距离空间依赖关系。此外，由于3d医学数据的直接处理非常消耗计算资源，因此常针对每一个图像块分别处理并整合成最后的分割结果。然而，这种方式没有考虑到相邻图像块之间的相互依赖关系，从而不能准确地分割出完整的血管。
3.因此，有必要提出一种提高图像分割的准确性的解决方案。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种图像处理方法、装置、终端设备以及存储介质，旨在提高图像分割的准确性。
6.为实现上述目的，本发明提供一种图像处理方法，所述图像处理方法包括：
7.获取待处理图像；
8.基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；
9.基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；
10.通过后处理算法对所述初分割图像进行处理，得到目标分割图像。
11.可选地，所述获取待处理图像的步骤包括：
12.获取原始图像；
13.对所述原始图像进行归一化处理，得到标准化图像；
14.对所述标准化图像进行灰度裁剪，得到所述待处理图像。
15.可选地，所述多头注意力机制模型包括编码器及解码器，所述编码器及所述解码器之间采用跳跃连接和注意力机制进行特征融合，所述基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果的步骤之前还包括：
16.获取样本图像及对应的真实标签；
17.将所述样本图像输入所述编码器进行抽象特征提取，得到融合的抽象特征；
18.将所述融合的抽象特征逐层通过所述解码器，得到对应的概率图；
19.计算所述解码器中各层输出的概率图关于对应的真实标签的损失，得到总损失；
20.以此循环，进行参数迭代，直到所述总损失收敛，得到所述多头注意力机制模型。
21.可选地，所述深度双向学习模型包括各序列学习层、卷积层及逻辑回归层，所述基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像的步骤之前还包括：
22.获取所述样本图像及对应的真实标签；
23.将所述样本图像中的特征序列依次输入序列学习层进行拼接融合，得到第一学习信息；
24.通过所述卷积层及逻辑回归层根据所述第一学习信息得到分割概率图；
25.计算所述分割概率图关于对应的真实标签的损失，得到预测损失；
26.以此循环，进行参数迭代，直到所述预测损失收敛，得到所述深度双向学习模型。
27.可选地，所述后处理算法包括连通域体积后处理算法和/或连通域距离后处理算法，所述通过后处理算法对所述初分割图像进行处理，得到目标分割图像的步骤包括：
28.通过所述连通域体积后处理算法对所述初分割图像进行体积后处理，得到体积后处理图像；
29.通过所述连通域距离后处理算法对所述体积后处理图像进行距离后处理，得到所述目标分割图像。
30.可选地，所述通过所述连通域体积后处理算法对所述初分割图像进行体积后处理，得到体积后处理图像的步骤包括：
31.获取所述初分割图像中的各连通域，并计算初分割图像中各连通域的体积；
32.根据所述初分割图像中各连通域的体积计算连通域第一体积和；
33.根据所述初分割图像中各连通域的体积及所述连通域第一体积和计算初分割图像中各连通域的拒绝率；
34.对所述初分割图像中各连通域中拒绝率小于预设拒绝率阈值的连通域进行清除，得到所述体积后处理图像。
35.可选地，所述通过所述连通域距离后处理算法对所述体积后处理图像进行距离后处理，得到所述目标分割图像的步骤包括：
36.获取所述体积后处理图像的各连通域，并计算体积后处理图像中各连通域的体积；
37.基于预设规则从所述体积后处理图像中各连通域内选取起始连通域；
38.计算所述起始连通域的代表坐标，并根据所述起始连通域的代表坐标依次计算所述体积后处理图像中各连通域到所述起始连通域的距离值；
39.对所述体积后处理图像中各连通域中距离值大于预设距离阈值的连通域进行清除，得到所述目标分割图像。
40.此外，为实现上述目的，本发明还提供一种图像处理装置，所述图像处理装置包括：
41.获取模块，用于获取待处理图像；
42.图像块分割模块，用于基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；
43.序列学习模块，用于基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；
44.后处理模块，用于通过后处理算法对所述初分割图像进行处理，得到目标分割图像。
45.此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如上所述的图像处理方法的步骤。
46.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上所述的图像处理方法的步骤。
47.本发明实施例提出的一种图像处理方法、装置、终端设备以及存储介质，通过获取待处理图像；基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；通过后处理算法对所述初分割图像进行处理，得到目标分割图像。通过多头注意力机制模型对待处理图像进行处理，得到图像块分割结果，然后采用深度双向学习模型对图像块分割结果进行学习，得到初分割图像，由此可使相邻图像块之间建立联系，提高了整个分割结果的合理性和完整性，进而采用后处理算法对初分割图像进行处理，得到目标分割图像，从而提高了图像分割的准确性。
附图说明
48.图1为本发明图像处理装置所属终端设备的功能模块示意图；
49.图2为本发明图像处理方法一示例性实施例的流程示意图；
50.图3为本发明实施例中的预处理图像示意图；
51.图4为本发明图像处理方法另一示例性实施例的流程示意图；
52.图5为本发明实施例中的多头注意力机制模型的结构示意图；
53.图6为本发明图像处理方法又一示例性实施例的流程示意图；
54.图7为本发明实施例中的深度双向学习模型的第一结构示意图；
55.图8为本发明实施例中的深度双向学习模型的第二结构示意图；
56.图9为图2实施例中步骤s40的具体流程示意图；
57.图10为本发明实施例中的整体原理示意图；
58.图11为本发明实施例中的真实标签示意图；
59.图12为本发明实施例中的初分割结果mask0示意图；
60.图13为本发明实施例中的连通域体积后处理结果mask1结果示意图；
61.图14为本发明实施例中的连通域距离后处理结果mask2结果示意图。
62.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
63.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
64.本发明实施例的主要解决方案是：通过获取待处理图像；基于预先训练的多头注
意力机制模型对所述待处理图像进行处理，得到图像块分割结果；基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；通过后处理算法对所述初分割图像进行处理，得到目标分割图像。通过多头注意力机制模型对待处理图像进行处理，得到图像块分割结果，然后采用深度双向学习模型对图像块分割结果进行学习，得到初分割图像，由此可使相邻图像块之间建立联系，提高了整个分割结果的合理性和完整性，进而采用后处理算法对初分割图像进行处理，得到目标分割图像，从而提高了图像分割的准确性。
65.本发明实施例涉及的技术术语：
66.cta：电子计算机断层扫描血管造影；
67.mra:磁共振血管造影；
68.encoder/decoder：编码器/解码器；
69.u-net：一种深度学习网络结构，主要包括encoder和decoder部分；
70.cnn：卷积神经网络，一种深度学习网络结构；
71.c-rnn/c-lstm/c-gru：卷积循环神经网络/卷积长短期记忆网络/卷积门控循环神经网络；
72.transformer：一种深度学习网络结构；
73.dicom：即医学数字成像和通信，是医学图像和相关信息的国际标准。
74.目前，血管疾病已成为重要致死病因，严重威胁人类的生命健康。随着医学影像设备的快速发展，医生可以利用cta和mra对病人全身各个部位的血管进行成像。然而在海量的影像数据中去人工分析血管病变，对影像医生来说显然是一个非常耗时耗力的工作。近些年，随着深度学习的发展，1.基于卷积神经网络(cnn)的血管自动分割方法在分析血管影像上取得显著的成效。然而由于卷积运算的局部性，基于cnn的方法很难学习到全局上下文信息以及长距离空间依赖关系。此外，由于3d医学数据的直接处理非常消耗计算资源，因此常针对每一个图像块分别处理并整合成最后的分割结果。然而，这种方式没有考虑到相邻图像块之间的相互依赖关系，从而不能准确地分割出完整的血管，具体而言，目前的血管分割技术存在以下缺陷：
75.1.传统的血管分割技术效率低，人工成本高，且分割效果差；
76.2.现有的自动血管分割技术大都基于cnn的模型来提取图像特征，无法很好地捕捉到输入数据的全局信息，以及长距离空间依赖关系；
77.3.现有的一些自动血管分割技术采用相同的权重对背景和所有血管进行学习，对形态和尺寸差异大的血管分割效果差，例如头颈部cta的主动脉至颅内的血管形态和尺寸差异非常大；
78.4.现有的一些自动血管分割技术将每个图像块单独处理，忽略了相邻图像块之间的联系。例如头颈部cta的血管是从主动脉到颈动脉再至颅内血管的空间结构；
79.5.现有的一些自动血管分割技术缺少全面和通用的后处理操作。
80.本发明提供一种解决方案，通过获取原始的医学影像数据，并进行数据预处理(包括灰度裁剪、数据归一化等)，将每个数据沿着深度方向裁剪成若干个图像块；其次，采用基于transformer和cnn的模型训练每一个图像块，该基于transformer和cnn的模型包含具有注意力的模块。从上述训练好的模型中获得decoder部分的倒数第二个卷积层的输出特征，
并采用深度双向c-lstm(c-rnn或c-gru)的方法对这些特征进行序列学习，从而得到整个血管的初分割结果；最后对整个血管的初分割结果采用连通域后处理(包括连通域体积后处理和连通域距离后处理)，得到最终的分割结果。相比于传统血管分割方法，本方案无需手动干预，就能够实现自动的血管分割，并且本方案结合深度学习的技术能够达到更高的分割准确率；相比于现有的自动血分割方法，本方案提供了更加有效的血管分割和全面的图像后处理技术。
81.具体地，参照图1，图1为本发明图像处理装置所属终端设备的功能模块示意图。该图像处理装置可以为独立于终端设备的、能够进行图像处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
82.在本实施例中，该图像处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
83.存储器130中存储有操作系统以及图像处理程序，图像处理装置可以将获取的待处理图像、基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到的图像块分割结果、基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到的初分割图像，以及通过后处理算法对所述初分割图像进行处理，得到的目标分割图像等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
84.其中，存储器130中的图像处理程序被处理器执行时实现以下步骤：
85.获取待处理图像；
86.基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；
87.基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；
88.通过后处理算法对所述初分割图像进行处理，得到目标分割图像。
89.进一步地，存储器130中的图像处理程序被处理器执行时还实现以下步骤：
90.获取原始图像；
91.对所述原始图像进行归一化处理，得到标准化图像；
92.对所述标准化图像进行灰度裁剪，得到所述待处理图像。
93.进一步地，存储器130中的图像处理程序被处理器执行时还实现以下步骤：
94.获取样本图像及对应的真实标签；
95.将所述样本图像输入所述编码器进行抽象特征提取，得到融合的抽象特征；
96.将所述融合的抽象特征逐层通过所述解码器，得到对应的概率图；
97.计算所述解码器中各层输出的概率图关于对应的真实标签的损失，得到总损失；
98.以此循环，进行参数迭代，直到所述总损失收敛，得到所述多头注意力机制模型。
99.进一步地，存储器130中的图像处理程序被处理器执行时还实现以下步骤：
100.获取所述样本图像及对应的真实标签；
101.将所述样本图像中的特征序列依次输入序列学习层进行拼接融合，得到第一学习信息；
102.通过所述卷积层及逻辑回归层根据所述第一学习信息得到分割概率图；
103.计算所述分割概率图关于对应的真实标签的损失，得到预测损失；
104.以此循环，进行参数迭代，直到所述预测损失收敛，得到所述深度双向学习模型。
105.进一步地，存储器130中的图像处理程序被处理器执行时还实现以下步骤：
106.通过所述连通域体积后处理算法对所述初分割图像进行体积后处理，得到体积后处理图像；
107.通过所述连通域距离后处理算法对所述体积后处理图像进行距离后处理，得到所述目标分割图像。
108.进一步地，存储器130中的图像处理程序被处理器执行时还实现以下步骤：
109.获取所述初分割图像中的各连通域，并计算初分割图像中各连通域的体积；
110.根据所述初分割图像中各连通域的体积计算连通域第一体积和；
111.根据所述初分割图像中各连通域的体积及所述连通域第一体积和计算初分割图像中各连通域的拒绝率；
112.对所述初分割图像中各连通域中拒绝率小于预设拒绝率阈值的连通域进行清除，得到所述体积后处理图像。
113.进一步地，存储器130中的图像处理程序被处理器执行时还实现以下步骤：
114.获取所述体积后处理图像的各连通域，并计算体积后处理图像中各连通域的体积；
115.基于预设规则从所述体积后处理图像中各连通域内选取起始连通域；
116.计算所述起始连通域的代表坐标，并根据所述起始连通域的代表坐标依次计算所述体积后处理图像中各连通域到所述起始连通域的距离值；
117.对所述体积后处理图像中各连通域中距离值大于预设距离阈值的连通域进行清除，得到所述目标分割图像。
118.本实施例通过上述方案，具体通过获取待处理图像；基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；通过后处理算法对所述初分割图像进行处理，得到目标分割图像。通过多头注意力机制模型对待处理图像进行处理，得到图像块分割结果，然后采用深度双向学习模型对图像块分割结果进行学习，得到初分割图像，由此可使相邻图像块之间建立联系，提高了整个分割结果的合理性和完整性，进而采用后处理算法对初分割图像进行处理，得到目标分割图像，从而提高了图像分割的准确性。
119.基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
120.本实施例方法的执行主体可以为一种图像处理装置或终端设备等，本实施例以图像处理装置进行举例。
121.参照图2，图2为本发明图像处理方法一示例性实施例的流程示意图。所述图像处理方法包括：
122.步骤s10，获取待处理图像；
123.具体地，本技术实施例中采用原始医学影像数据并进行图像预处理后得到待处理图像，具体过程包括：
124.获取原始图像；
125.对所述原始图像进行归一化处理，得到标准化图像；
126.对所述标准化图像进行灰度裁剪，得到所述待处理图像。
127.本技术实施例中采用的原始医学影像数据包括cta(电子计算机断层扫描血管造影)及mra(磁共振血管造影)等血管图像数据，此类血管图像数据通常是dicom格式，并注入了使得血管更清晰的造影剂。
128.可选地，获取到原始图像后，设置窗宽窗位以裁剪医学图像的灰度值范围并对影像做最大值最小值归一化到[0,1]之间，得到标准化图像，将预处理后的三维数据沿着深度方向随机裁剪成具有相同尺寸的图像块。参照图3，图3为本发明实施例中的预处理图像示意图，如图3所示，以头颈cta数据为例，对头颈cta图像进行预处理后，图像可以更加清晰。
[0129]
步骤s20，基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；
[0130]
进一步地，本技术实施例中，采用预先训练得到多头注意力机制模型，其中，多头注意力机制模型的框架由transformer作为encoder(编码器)和一个基于cnn的decoder(解码器)组成，encoder和decoder之间采用跳跃连接和注意力机制进行特征融合，将待处理图像输入transformer模块提取抽象特征，通过跳跃连接与decoder对应层的特征进行基于注意力机制的特征融合，将融合的抽象特征逐层地通过基于cnn的decoder，预测出对应的概率图，即可得到图像块分割结果。
[0131]
步骤s30，基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；
[0132]
更进一步地，本技术实施例中，采用预先训练得到深度双向学习模型，不限于lstm的序列模型，深度双向c-lstm模型内部包括若干个子模块bdc-lstm，bdc-lstm由两层的c-lstm堆叠而成，分别学习z
+
和z-方向的上下文信息(z是沿着三维数据的深度方向，z
+
和z-是指两个相反方向)。接着将当前序列z的信息和学习到的上下文信息进行拼接融合，并输入到下一个bdc-lstm进行其他序列的学习，最后通过卷积层和softmax层得到3d的分割概率图，即可得到初分割图像。
[0133]
步骤s40，通过后处理算法对所述初分割图像进行处理，得到目标分割图像。
[0134]
更进一步地，本技术实施例中，采用后处理算法对初分割图像进行后处理，其中，后处理算法包括连通域体积后处理算法和/或连通域距离后处理算法，两个算法可作为一个级联的处理操作，即连通域体积后处理的输出可作为连通域距离后处理的输入。
[0135]
需要说明的是，本技术实施例中先进行连通域体积后处理再进行连通域距离后处理的方式不构成对后处理方法的限定，在其他实施方式中，也可以是先进行连通域距离后处理再进行连通域体积后处理，也可以单独对图像进行连通域体积后处理或是连通域距离后处理。
[0136]
在本实施例中，通过获取待处理图像；基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；通过后处理算法对所述初分割图像进行处理，得到目标分割图像。通过多头注意力机制模型对待处理图像进行处理，得到图像块分割结果，然后采用深度双向学习模型对图像块分割结果进行学习，得到初分割图像，由此可使相邻图像块之间建立联系，提高了整个分割结果的合理性和完整性，进而采用后处理算法对
初分割图像进行处理，得到目标分割图像，从而提高了图像分割的准确性。
[0137]
参照图4，图4为本发明图像处理方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在步骤s20之前，所述图像处理方法还包括：
[0138]
步骤s01，训练得到所述多头注意力机制模型。本实施例可以步骤s01在步骤s10之前实施，在其他实施例中，步骤s01也可以在步骤s10与步骤s20之间实施。
[0139]
相比上述图2所示的实施例，本实施例还包括训练得到所述多头注意力机制模型的方案。
[0140]
具体地，训练得到所述多头注意力机制模型的步骤可以包括：
[0141]
步骤s011，获取样本图像及对应的真实标签；
[0142]
参照图5，图5为本发明实施例中的多头注意力机制模型的结构示意图，如图5所示，作为其中一种实施方式，由transformer作为encoder(编码器)和一个基于cnn的decoder(解码器)组成模型框架，将采集到的大量原始图像数据进行预处理，可得到样本图像，获取到样本图像以及对应的真实标签，即可用于模型训练。
[0143]
步骤s012，将所述样本图像输入所述编码器进行抽象特征提取，得到融合的抽象特征；
[0144]
将样本图像输入transformer模块提取抽象特征，通过跳跃连接与decoder对应层的特征进行基于注意力机制的特征融合；注意力机制的数学公式如下，其中fe,fd分别是对应位置encoder和decoder输出的特征，+,*是逐像素加法和乘法：
[0145]
atten(fe,fd)＝fd*(sigmoid(relu(fe+fd)))
[0146]
步骤s013，将所述融合的抽象特征逐层通过所述解码器，得到对应的概率图；
[0147]
将融合的抽象特征逐层地通过基于cnn的decoder，预测出对应的概率图。
[0148]
步骤s014，计算所述解码器中各层输出的概率图关于对应的真实标签的损失，得到总损失；
[0149]
在计算损失时采用深监督的方式，对于decoder的每一层都计算预测输出的概率图关于真实标签的损失。将每一层的损失进行加权得到总损失，并通过反向传播来更新深度模型的学习参数。
[0150]
步骤s015，以此循环，进行参数迭代，直到所述总损失收敛，得到所述多头注意力机制模型。
[0151]
通过大量有标签数据的学习和迭代，使得预测损失逐渐趋向于零，从而得到最终的多头注意力机制模型。
[0152]
本实施例通过上述方案，具体通过获取样本图像及对应的真实标签；将所述样本图像输入所述编码器进行抽象特征提取，得到融合的抽象特征；将所述融合的抽象特征逐层通过所述解码器，得到对应的概率图；计算所述解码器中各层输出的概率图关于对应的真实标签的损失，得到总损失；以此循环，进行参数迭代，直到所述总损失收敛，得到所述多头注意力机制模型。通过对包括编码器及解码器的模型框架，采用大量有标签的数据的学习和迭代，使得模型的预测结果更加准确，从而用于对待处理图像进行处理，得到更为准确的图像块分割结果。
[0153]
参照图6，图6为本发明图像处理方法又一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在步骤s30之前，所述图像处理方法还包括：
[0154]
步骤s02，训练得到所述深度双向学习模型。本实施例可以步骤s01在步骤s10之前实施，在其他实施例中，步骤s00也可以在步骤s10与步骤s20之间实施，或在步骤s20与步骤s30之间实施。
[0155]
相比上述图2所示的实施例，本实施例还包括训练得到所述深度双向学习模型的方案。
[0156]
具体地，训练得到所述深度双向学习模型的步骤可以包括：
[0157]
步骤s021，获取所述样本图像及对应的真实标签；
[0158]
参照图7及图8，图7为本发明实施例中的深度双向学习模型的第一结构示意图，图8为本发明实施例中的深度双向学习模型的第二结构示意图，如图7所示，本技术实施例中采用深度双向c-lstm模型(不限于lstm的序列模型)，如图8所示，深度双向c-lstm模型内部的子模块bdc-lstm由两层的c-lstm堆叠而成。将采集到的大量原始图像数据进行预处理，可得到样本图像，获取到样本图像以及对应的真实标签，即可用于模型训练。
[0159]
步骤s022，将所述样本图像中的特征序列依次输入序列学习层进行拼接融合，得到第一学习信息；
[0160]
具体地，bdc-lstm由两层的c-lstm堆叠而成，分别学习z
+
和z-方向的上下文信息(z是沿着3维数据的深度方向，z
+
和z-是指两个相反方向)。接着将当前序列z的信息和学习到的上下文信息进行拼接融合，得到第一学习信息。
[0161]
步骤s023，通过所述卷积层及逻辑回归层根据所述第一学习信息得到分割概率图；
[0162]
进一步地，将拼接融合得到的第一学习信息输入到下一个bdc-lstm进行其他序列的学习。最后通过卷积层和softmax层得到3d的分割概率图。
[0163]
步骤s024，计算所述分割概率图关于对应的真实标签的损失，得到预测损失；
[0164]
计算得到的概率图和真实标签的损失，即得到预测损失，用于进行参数迭代。
[0165]
步骤s025，以此循环，进行参数迭代，直到所述预测损失收敛，得到所述深度双向学习模型。
[0166]
通过反向传播，更新网络参数，直至预测损失逐渐趋向于零，从而得到最终的深度双向学习模型。
[0167]
本实施例通过上述方案，具体通过获取所述样本图像及对应的真实标签；将所述样本图像中的特征序列依次输入序列学习层进行拼接融合，得到第一学习信息；通过所述卷积层及逻辑回归层根据所述第一学习信息得到分割概率图；计算所述分割概率图关于对应的真实标签的损失，得到预测损失；以此循环，进行参数迭代，直到所述预测损失收敛，得到所述深度双向学习模型。通过对深度双向c-lstm模型进行训练，最终得到能够准确对图像块分割结果进行学习得到初分割图像的深度双向学习模型，由此可使相邻图像块之间建立联系，提高了整个分割结果的合理性和完整性，从而提高了图像分割的准确性。
[0168]
参照图9，图9为图2实施例中步骤s40的具体流程示意图。本实施例基于上述图2所示的实施例，在本实施例中，上述步骤s40包括：
[0169]
步骤s401，通过所述连通域体积后处理算法对所述初分割图像进行体积后处理，得到体积后处理图像；
[0170]
具体地，所述通过连通域体积后处理算法对所述初分割图像进行体积后处理，得
到体积后处理图像的步骤包括：
[0171]
获取所述初分割图像中的各连通域，并计算初分割图像中各连通域的体积；
[0172]
根据所述初分割图像中各连通域的体积计算连通域第一体积和；
[0173]
根据所述初分割图像中各连通域的体积及所述连通域第一体积和计算初分割图像中各连通域的拒绝率；
[0174]
对所述初分割图像中各连通域中拒绝率小于预设拒绝率阈值的连通域进行清除，得到所述体积后处理图像。
[0175]
在本技术实施例中，获取初分割结果mask0的所有连通域，并计算所有连通域的体积和v
t
；
[0176]
获取第i个连通域的体积vi，并计算拒绝率r
reject
，公式如下：
[0177]rreject
＝vi/v
t
[0178]
设定一个阈值，例如0.1，也可以设置其他合理的阈值。若r
reject
《0.1，则清除初分割结果mask0中的该连通域；
[0179]
重复上述操作，直到遍历每个连通域，得到连通域体积后处理的分割结果mask1。
[0180]
步骤s402，通过所述连通域距离后处理算法对所述体积后处理图像进行距离后处理，得到所述目标分割图像。
[0181]
具体地，所述通过所述连通域距离后处理算法对所述体积后处理图像进行距离后处理，得到所述目标分割图像的步骤包括：
[0182]
获取所述体积后处理图像的各连通域，并计算体积后处理图像中各连通域的体积；
[0183]
基于预设规则从所述体积后处理图像中各连通域内选取起始连通域；
[0184]
计算所述起始连通域的代表坐标，并根据所述起始连通域的代表坐标依次计算所述体积后处理图像中各连通域到所述起始连通域的距离值；
[0185]
对所述体积后处理图像中各连通域中距离值大于预设距离阈值的连通域进行清除，得到所述目标分割图像。
[0186]
在本技术实施例中，获取分割结果mask1的所有连通域ci，并计算所有连通域的体积vi，选取体积最大的连通域cj作为起始连通域；计算cj三个方向的端点[[x
js
，x
je
],[y
js
，y
je
],[z
js
，z
je
]](下标s表示起点，e表示终点)，连通域cj的代表坐标coordj由以下公式给出：
[0187][0188]
获取第i个连通域ci的代表坐标coordi，通过以下公式计算与体积最大的连通域cj的距离值di:
[0189][0190]
设定一个距离阈值，例如1e4，也可以设置其他合理的阈值。若di》1e4，则清除初分割结果mask1中的该连通域；
[0191]
重复上述操作步骤，直到对遍历全部连通域，得到连通域距离后处理的分割结果mask2，即为本技术实施例中的目标分割图像。
[0192]
本实施例通过上述方案，具体通过连通域体积后处理算法对所述初分割图像进行体积后处理，得到体积后处理图像；通过所述连通域距离后处理算法对所述体积后处理图像进行距离后处理，得到所述目标分割图像。通过采用后处理算法对初分割图像进行处理，得到目标分割图像，从而提高了图像分割的准确性。
[0193]
此外，本发明实施例还提出一种图像处理装置，所述图像处理装置包括：
[0194]
获取模块，用于获取待处理图像；
[0195]
图像块分割模块，用于基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；
[0196]
序列学习模块，用于基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；
[0197]
后处理模块，用于通过后处理算法对所述初分割图像进行处理，得到目标分割图像。
[0198]
参照图10，图10为本发明实施例中的整体原理示意图，如图10所示，主要实施步骤包括：
[0199]
a、获取原始医学影像数据
[0200]
cta和mra的血管图像数据通常是dicom格式，并注入了使得血管更加清晰的造影剂。
[0201]
b、数据预处理
[0202]
设置窗宽窗位以裁剪医学图像的灰度值范围并对影像做最大值最小值归一化到[0,1]之间，得到标准化图像，将预处理后的三维数据沿着深度方向随机裁剪成具有相同尺寸的图像块。
[0203]
c、采用transformer-cnn的多头注意力机制模型获得图像块的分割结果模型框架由transformer作为encoder(编码器)和一个基于cnn的decoder(解码器)组成，encoder和decoder之间采用跳跃连接和注意力机制进行特征融合。具体步骤如下：
[0204]
(1)将图像块输入transformer模块提取抽象特征，通过跳跃连接与decoder对应层的特征进行基于注意力机制的特征融合；注意力机制的数学公式如下，其中fe,fd分别是对应位置encoder和decoder输出的特征，+,*是逐像素加法和乘法：
[0205]
atten(fe,fd)＝fd*(sigmoid(relu(fe+fd)))
[0206]
(2)将融合的抽象特征逐层地通过基于cnn的decoder，预测出对应的概率图；
[0207]
(3)在计算损失时采用深监督的方式，对于decoder的每一层都计算预测输出的概率图关于真实标签的损失。将每一层的损失进行加权得到总损失，并通过反向传播来更新深度模型的学习参数；
[0208]
(4)通过大量有标签数据的学习和迭代，使得预测损失逐渐趋向于零，从而得到最终的深度模型。
[0209]
d、采用深度双向c-lstm学习图像块的特征序列，并获得整个图像的初分割结果
[0210]
采用的深度双向c-lstm模型(不限于lstm的序列模型)，其内部的子模块为bdc-lstm。bdc-lstm由两层的c-lstm堆叠而成，分别学习z
+
和z-方向的上下文信息(z是沿着三维数据的深度方向，z
+
和z-是指两个相反方向)。接着将当前序列z的信息和学习到的上下文信息进行拼接融合，并输入到下一个bdc-lstm进行其他序列的学习。最后通过卷积层和
softmax层得到3d的分割概率图，并计算和真实标签的损失。通过反向传播，更新网络参数，直至预测损失逐渐趋向于零，从而得到最终的模型。
[0211]
e、采用图像后处理算法对初分割结果操作，获得最终的分割结果
[0212]
本发明提出的后处理算法包括连通域体积后处理和连通域距离后处理算法。两个算法是一个级联的处理操作，即连通域体积后处理的输出是连通域距离后处理的输入。
[0213]
连通域体积后处理的具体实现步骤为：
[0214]
1)获取初分割结果mask0的所有连通域，并计算所有连通域的体积和v
t
；
[0215]
2)获取第i个连通域的体积vi，并计算拒绝率r
reject
，公式如下：
[0216]rreject
＝vi/v
t
[0217]
3)设定一个阈值，例如0.1，也可以设置其他合理的阈值。若r
reject
《0.1，则清除初分割结果mask0中的该连通域；
[0218]
4)重复2)-3)的操作，直到对每个连通域操作完，得到连通域体积后处理的分割结果mask1。
[0219]
连通域距离后处理的具体实现步骤为：
[0220]
1)获取分割结果mask1的所有连通域ci，并计算所有连通域的体积vi，选取体积最大的连通域cj作为起始连通域；计算cj三个方向的端点[[x
js
，x
je
],[y
js
，y
je
],[z
js
，z
je
]](下标s表示起点，e表示终点)，连通域cj的代表坐标coordj由以下公式给出：
[0221][0222]
2)获取第i个连通域ci的代表坐标coordi，通过以下公式计算与体积最大的连通域cj的距离值di:
[0223][0224]
3)设定一个距离阈值，例如1e4，也可以设置其他合理的阈值。若di》1e4，则清除初分割结果mask1中的该连通域；
[0225]
4)重复2)-3)的操作，直到对每个连通域操作完，得到连通域距离后处理的分割结果mask2。
[0226]
参照图11、12、13及14，图11为本发明实施例中的真实标签示意图，图12为本发明实施例中的初分割结果mask0示意图，图13为本发明实施例中的连通域体积后处理结果mask1结果示意图，图14为本发明实施例中的连通域距离后处理结果mask2结果示意图，对应下方的数字为分割准确率。通过对比可知，连通域距离后处理结果mask2的分割准确率最高。
[0227]
相比传统的血管分割技术需要人工提取特征，成本高、效率低并且分割结果不准确，而本方案采用了基于深度学习网络的自动分割方法对血管图像进行分割，无需人工干预，并且分割的准确度高。现有的自动血管分割技术大都采用基于cnn的深度模型，在保留特征全局信息和空间信息上表现较差；而本方案采用基于transformer的encoder，能够更好地捕捉到输入特征的全局上下文信息和长距离空间依赖关系。现有的一些自动血管分割技术缺少对图像局部细节的学习，对形态和尺寸差异大的血管分割效果差；而本方案采用
注意力机制和深监督的学习方式来保留特征的细节信息，从而能更准确地分割出形态和尺寸差异大的血管。现有的一些自动血管分割技术将每个图像块单独处理，忽略了相邻图像块之间的联系；而本方案提出采用基于深度双向c-lstm的方式学习图像块序列，使得整个分割结果更加合理和完整。现有的一些自动血管分割技术缺少全面和通用的后处理操作；而本方案提出了两个级联的后处理操作，使得最终的分割结果更加准确。
[0228]
此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序被所述处理器执行时实现如上所述的图像处理方法的步骤。
[0229]
由于本图像处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
[0230]
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上所述的图像处理方法的步骤。
[0231]
由于本图像处理程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
[0232]
相比现有技术，本发明实施例提出的图像处理方法、装置、终端设备以及存储介质，通过获取待处理图像；基于预先训练的多头注意力机制模型对所述待处理图像进行处理，得到图像块分割结果；基于预先训练的深度双向学习模型对所述图像块分割结果进行学习，得到初分割图像；通过后处理算法对所述初分割图像进行处理，得到目标分割图像。通过多头注意力机制模型对待处理图像进行处理，得到图像块分割结果，然后采用深度双向学习模型对图像块分割结果进行学习，得到初分割图像，由此可使相邻图像块之间建立联系，提高了整个分割结果的合理性和完整性，进而采用后处理算法对初分割图像进行处理，得到目标分割图像，从而提高了图像分割的准确性。
[0233]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0234]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0235]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
[0236]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技
术领域，均同理包括在本发明的专利保护范围内。