一种多模态图像分割方法、装置、设备及存储介质与流程

本技术涉及图像检测领域，具体涉及一种多模态图像分割方法、装置、设备及存储介质。

背景技术：

1、磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术。深度学习是机器学习的一种，目的是学习样本数据的内在规律和表示层次，从而对目标数据进行识别。

2、传统方法中通过专家对磁共振图像进行观察，以判断磁共振图像中是否包含病灶信息。近年来，深度学习逐渐运用在磁共振图像分割任务中，此方法需要通过人工将磁共振图像中的病灶信息进行标注，以对目标检测模型进行训练，获取磁共振图像分割结果。

3、然而，上述方法在进行磁共振图像分割任务时需要大量的样本且识别准确度不高。

技术实现思路

1、本技术提供了一种多模态图像分割方法、装置、设备及存储介质，在进行图像分割时，识别准确度高，该技术方案如下。

2、一方面，提供了一种多模态图像分割方法，所述方法包括：

3、获取至少两种模态的目标图像数据；

4、针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；

5、将各层图像特征按照层级进行融合，获得各层融合特征；

6、基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。

7、又一方面，提供了一种多模态图像分割方法，所述方法包括：

8、获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；

9、针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；

10、将各层样本图像特征按照层级进行融合，获得各层样本融合特征；

11、基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；

12、根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

13、又一方面，提供了一种多模态图像分割装置，所述装置包括：

14、第一数据获取模块，用于获取至少两种模态的目标图像数据；

15、第一下采样模块，用于针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；

16、第一特征融合模块，用于将各层图像特征按照层级进行融合，获得各层融合特征；

17、第一上采样模块，用于基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果。

18、在一种可能的实现方式中，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；

19、所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：

20、所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；

21、针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；

22、将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。

23、在一种可能的实现方式中，每层所述下采样模块中都具有至少两种下采样分支；

24、所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：

25、针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。

26、在一种可能的实现方式中，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；

27、所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；

28、所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；

29、所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。

30、在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。

31、又一方面，提供了一种多模态图像分割装置，所述装置包括：

32、第二数据获取模块，用于获取至少两种模态的样本图像数据；所述样本图像数据上包含有数据标注；

33、第二下采样模块，用于针对每一种模态的样本图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层样本图像特征；所述目标检测模型中还包括与所述各层下采样模块分别对应的各层上采样模块；

34、第二特征融合模块，用于将各层样本图像特征按照层级进行融合，获得各层样本融合特征；

35、第二上采样模块，用于基于所述各层上采样模块对应层级的样本融合特征，将所述各层样本融合特征中的底层样本融合特征，依次通过所述各层上采样模块进行处理，获得样本输出结果；

36、训练模块，用于根据所述样本输出结果以及数据标注，对所述目标检测模型进行训练，得到训练后的目标检测模型；所述训练后的目标检测模型用于对目标图像数据进行处理，以得到目标分割结果。

37、在一种可能的实现方式中，所述各层上采样模块包括底层上采样模块、顶层上采样模块以及中间层上采样模块；

38、所述基于所述各层上采样模块对应层级的融合特征，将所述各层融合特征中的底层融合特征，依次通过所述各层上采样模块进行处理，获得目标分割结果，包括：

39、所述底层上采样模块对所述底层融合特征进行上采样处理，获得所述底层上采样模块输出的上采样结果；

40、针对每个中间层上采样模块，将所述中间层上采样模块的下层上采样模块输出的上采样结果，与所述中间层上采样模块对应层级的融合特征进行融合，获得中间融合特征，并通过所述中间层上采样模块，对所述中间融合特征进行上采样处理，获得所述中间层上采样模块输出的上采样结果；

41、将所述顶层上采样模块的下层上采样模块输出的上采样结果，与所述顶层上采样模块对应层级的融合特征进行融合，并通过所述顶层上采样模块对融合后的特征进行处理，获得所述目标分割结果。

42、在一种可能的实现方式中，每层所述下采样模块中都具有至少两种下采样分支；

43、所述针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征，包括：

44、针对每一种模态的目标图像数据，依次通过目标检测模型中，各层下采样模块中对应模态的下采样分支进行处理，获得对应模态的各层图像特征。

45、在一种可能的实现方式中，所述下采样模块中包括第一卷积模块、第二卷积模块、第三卷积模块、第一归一化模块、第二归一化模块、第三归一化模块以及激活模块；

46、所述第一卷积模块、第一归一化模块、第三卷积模块、第二归一化模块依次连接，以对输入的图像数据进行处理得到第一结果；

47、所述第一卷积模块还依次与第三卷积模块以及第三归一化模块连接，以对输入的图像进行处理获得第二结果；

48、所述激活模块用于对所述第一结果与第二结果的融合结果进行处理，以得到所述下采样模块对应层级的图像特征。

49、在一种可能的实现方式中，每层下采样模块中，不同模态的下采样分支中的第一卷积模块相同且第二卷积模块相同。

50、再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的多模态图像分割方法。

51、又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的多模态图像分割方法。

52、再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述多模态图像分割方法。

53、本技术提供的技术方案可以包括以下有益效果：

54、本技术先获取至少两种模态的目标图像数据；再针对每一种模态的目标图像数据，依次通过目标检测模型中的各层下采样模块进行处理，获得各层图像特征；目标检测模型中还包括与各层下采样模块分别对应的各层上采样模块；再将各层图像特征按照层级进行融合，获得各层融合特征；最后基于各层上采样模块对应层级的融合特征，将各层融合特征中的底层融合特征，依次通过各层上采样模块进行处理，获得目标分割结果。上述方案，通过各层图像特征按照层级进行融合，获得各层融合特征，再基于融合特征以及各层上采样模块进行上采样得到的特征获取目标分割结果，一定程度上弥补了下采样过程中损失的信息，从而提高了目标检测模型的图像分割准确度。