基于腹部CT医学图像融合及器官分割方法及系统与流程

本发明涉及图像处理技术，尤其涉及一种基于腹部ct医学图像融合及器官分割方法及系统。

背景技术：

1、使用ct图像作为诊断工具已成为惯例，并且ct结果通常是临床医生可获得的关于病变、肿瘤或其他类似感兴趣靶标的大小和位置的信息来源。通常通过在轴向、冠状和矢状方向中的每一个方向上以切片对患者进行数字成像来获得ct图像。临床医生在尝试识别或定位靶标时从每个方向逐个切片查看ct图像数据；

2、cn202111382294.5，公开了一种医学影像器官分割方法，包括：数据标注，对第一医学影像中的器官进行标注，得到标注后的第二医学影像；数据预处理，对第一医学影像和第二医学影像进行数据预处理；构建神经网络模型，神经网络模型包括3d-unet网络模块、集中模块、聚合模块及后处理模块；训练神经网络模型，将第一医学影像裁切为若干子块后作为输入，将第二医学影像裁切为若干子块后作为学习目标，训练神经网络模型；医学影像器官分割，将包含器官的第三医学影像进行预处理，将预处理后的第三医学影像通过滑窗裁切为若干子块，将若干子块送入神经网络模型。本发明通过构建识别全局语义特征的深度学习神经网络，提升了医学影像器官分割效果；

3、综上所述，基于深度学习的医学影像器官分割方法被广泛应用在传统深度学习方法下，医学影像中器官同质、异质之间，或边缘、背景之间对比度低，造成器官的分割精度较低，由于医学图像成像方式的限制以及解剖结构的复杂性，感兴趣的解剖或病理结构与背景环境对比度较低且边界微弱难以识别，本发明的应用至少能够解决现有技术的部分问题。

技术实现思路

1、本发明实施例提供一种基于腹部ct医学图像融合及器官分割方法及系统，至少能够解决现有技术中部分问题。

2、本发明实施例的第一方面，

3、提供一种基于腹部ct医学图像融合及器官分割方法，包括：

4、选择图像分解工具，对腹部ct医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；

5、对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；

6、将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。

7、在一种可选的实施例中，

8、选择图像分解工具，对腹部ct医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带包括：

9、选择多分辨率分解工具，结合小波函数，进行腹部ct医学图像分解；

10、将所述医学图像延水平方向进行水平分解，得到低频信息和水平高频信息，将所述低频信息延垂直方向进行垂直分解，得到更新低频信息和垂直高频信息，重复所述水平分解和所述垂直分解，直到达到预设的分解级别，所述水平高频信息和所述垂直高频信息构成高频子带，所述更新低频信息构成低频子带；

11、对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值；

12、比较所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值；

13、通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像带。

14、在一种可选的实施例中，

15、对所述低频子带进行分割，得到局部区域，计算所述局部区域的区域特征值，基于所述区域特征值分配区域特征权重，根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值包括：

16、将低频子带图像分割成局部区域，对局部区域计算区域特征值，所述区域特征值包括：平均亮度、对比度和纹理强度，所述区域特征值表示如下：

17、；

18、其中， l r表示区域 r内像素的平均亮度， r表示区域，∣ r∣表示区域 r内的像素数， i( p)表示像素 p的亮度值， c r表示区域 r内像素的对比度， t r表示区域 r内的纹理强度，∣ i( p)− i( q)∣表示像素 p和像素 q的亮度差的绝对值；

19、根据区域特征值，结合各特征值的权重，计算区域特征权重，其公式如下：

20、；

21、其中， w r表示区域 r特征权重， α表示平均亮度的权重因子， β表示对比度的权重因子， γ表示纹理强度的权重因子；

22、根据所述区域特征权重，结合局部区域像素值，进行区域特征融合，计算低频融合值，其公式如下：

23、；

24、其中， vl r表示区域 r的低频融合值， n表示所有医学图像的总数， p rj表示第 j个医学图像在区域 r的像素值， w rj表示第 j个医学图像在区域 r的特征权重。

25、在一种可选的实施例中，

26、比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值，以所述像素特征融合值的位置为中心，创建窗口区域，确定所述窗口区域的纹理信息和结构信息，融合所述纹理信息和所述结构信息作为上下文感知融合值，将所述像素特征融合值和所述上下文感知融合值进行结合，得到高频融合值包括：

27、比较所述高频子带的所述水平高频信息和所述垂直高频信息在同一位置的像素值，选择两者像素最大值作为像素特征融合值 vp xy；

28、创建窗口区域 w xy，融合所述纹理信息和所述结构信息作为上下文感知融合值，其公式如下：

29、；

30、其中， vt xy表示在位置( x, y)处的上下文感知融合值，∣ w xy∣表示窗口区域 w xy中的像素数量，即窗口区域大小，( u, v)表示窗口区域中的像素索引， p i,uv表示第 i个医学图像在窗口区域中( u, v)位置的像素值；

31、计算高频融合值，其公式如下：

32、；

33、其中， vh xy表示在位置( x, y)处结合后的融合值， λ表示0到1的权重因子。

34、在一种可选的实施例中，

35、对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠包括：

36、对所述融合图像中不规则形状区域进行像素值填充，根据转换条件公式将像素值转换成相对密度值，生成预处理图像；

37、将所述预处理图像作为图像初级分割网络的输入图像，所述图像初级分割网络采用全连接分割方法，在所述全连接分割方法中，每个卷积层前设置单元卷积层，通过建立短路径，连接每两个卷积层，形成全连接卷积结构，基于所述全连接卷积结构构建下采样层；

38、计算每个池化区域的激活值以及整个池化区域的平均激活值，比较所述激活值和所述平均激活值，按照预设的激活值选择规则，选择填充值，构建上采样层；

39、将所述下采样层和所述上采样层相堆叠，确定初级分割结果图像。

40、在一种可选的实施例中，

41、还包括：

42、图像初级分割网络通过反向传播，结合损失函数，调整模型参数，所述损失函数的公式如下：

43、；

44、其中， l( m i, n i)表示图像初级分割网络的损失函数， m i表示像素 i的实际标签， n i表示像素 i的预测概率， θ表示加权系数， μ表示l2正则项的权重， σ表示模型的权重参数。

45、在一种可选的实施例中，

46、将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像包括：

47、所述初级分割结果图像输入特征精细分割网络，所述特征精细分割网络包括全域特征融合器和动态特征调控器；

48、所述全域特征融合器接收所述初级分割结果图像，通过对尺度和维度的特征提取，执行全局平均池化和全局最大池化的并行操作，结合卷积融合处理，获得全域特征表示；

49、将所述全域特征表示输入所述动态特征调控器，对所述全域特征表示进行分流，提取全局空间信息和通道特征信息，结合注意力机制，生成具有动态参数的卷积核，通过聚合所述卷积核，提取最终输出特征，确定最终分割结果图像。

50、在一种可选的实施例中，

51、还包括：

52、特征精细分割网络对器官进行分割，通过全局空间信息和通道特征信息进行卷积操作，结合损失函数，进行模型参数调整，所述损失函数公式如下：

53、；

54、其中， ld表示特征精细分割网络的损失函数， k表示器官类别总数， k表示第 k类的器官索引， z表示图像的像素点总数， z表示像素点索引， s k( z)表示像素 z的器官类别是 k的预测概率， t k( z)表示像素 z的器官类别是 k的真实值。

55、本发明实施例的第二方面，

56、提供一种基于腹部ct医学图像融合及器官分割系统，包括：

57、第一单元，用于选择图像分解工具，对腹部ct医学图像进行水平方向分解和垂直方向分解，产生低频子带和高频子带；对所述低频子带进行区域划分，根据区域特征，计算低频融合值；分析所述高频子带的像素信息，计算高频融合值，通过所述低频融合值和所述高频融合值，构建融合子带，将所有所述融合子带重建成融合图像；

58、第二单元，用于对所述融合图像进行像素值预处理，生成预处理图像，将所述预处理图像输入图像初级分割网络，确定初级分割结果图像，其中，所述图像初级分割网络采用全连接分割方法，形成全连接卷积结构，基于所述全连接卷积结构，构建下采样层，通过计算池化区域的激活值，按照预设的激活值选择规则，确定填充值，构建上采样层，所述下采样层和所述上采样层相堆叠；

59、第三单元，用于将所述初级分割结果图像输入特征精细分割网络，经过所述特征精细分割网络中的全域特征融合器处理，提取全域特征表示，将所述全域特征表示输入所述特征精细分割网络中的动态特征调控器，进行分流和卷积操作，提取最终输出特征，确定最终分割结果图像。

60、本发明实施例的第三方面，

61、提供一种电子设备，包括：

62、处理器；

63、用于存储处理器可执行指令的存储器；

64、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

65、在本发明中，对低频子带进行局部区域划分，并计算每个区域的特征值，通过权重分配和融合，实现低频信息的局部特征融合，有助于保留图像中局部结构的信息；对高频子带进行像素级的分析，计算边缘信息、纹理强度等高频特征，选择每个位置上像素值的最大值，突出图像中的强烈边缘和纹理信息，有助于捕捉图像的细节；根据区域特征值，结合各特征值的权重，计算区域特征权重，根据不同特征的重要性为每个区域分配适当的权重，更好地反映医学图像的局部特性；全连接结构允许每个神经元与前一层的所有神经元相连接，使得网络能够获取全局信息；用下采样层和上采样层，有助于在不同尺度上保留图像的特征，提高网络对不同层次细节的感知能力；通过选择填充值的方式，有助于避免分割结果中出现过大方差的问题，提高分割结果的质量；过改进损失函数的计算从而改善网络中反向传播的信号倾向，进一步增强训练过程中网络对目标前景的捕捉；通过分流操作，能够分别提取全局空间信息和通道特征信息，有助于更好地控制特征的提取方向，使网络能够关注于不同尺度和通道的信息，更有效地捕捉图像细节；分流和卷积操作中采用注意力机制，动态地生成卷积核的参数，使特征精细分割网络在特征提取时能够更加灵活地调整参数，根据输入的全域特征表示动态生成适应性卷积核，提高了网络的自适应性。