基于物理分辨率的医学图像分割方法、系统、介质及设备

1.本发明属于图像分割领域，具体涉及一种用于医学图像的分割技术。


背景技术：

2.物理分辨率在自然图像分割任务中是一个被忽略的问题，但其在医学图像中至关重要。在医学图像分割任务中，图像的物理分辨率和矩阵大小可能存在不一致。然而，大多数工作在受到自然图像分割算法的启发时忽略了上述差异，通常直接将具有大矩阵的图像作为输入。为了在模型训练中使用3d图像，基于patch 的方法被广泛使用，一般从原始图像中随机或者特定地选取patch作为模型输入。为了平衡医学图像3d的空间信息和内存限制，使用2d方法和2.5d方法也是方向之一，2d方法将3d图像分割成2维的切片输入，2.5d方法则分别从轴向、冠状和矢状面三个方向提取图像的二维特征以保留部分空间信息。然而在医学图像中，矩阵尺寸大但细节模糊的图像提供的信息有限。例如，在磁共振图像 (mri)中，可以获取视野为240mm
×
240mm，物理分辨率为4mm
×
4mm的脑血流图像，但导出为256
×
256的图像矩阵。因此，图像中大约4
×
4个像素代表物理上获取的单个体素点。大矩阵尺寸使医学图像模糊，但方便放射科医生可视化。然而，图像中呈现的信息仍然受到其物理分辨率的限制。由于图像重建中使用的滤波器、非各向同性像素的插值、层选激发rf的轮廓以及k空间中的信号衰减，mri中可能会出现矩阵大小和物理分辨率不匹配的情况。胎儿大脑mri是一个典型案例。为了避免胎儿和母体的运动伪影对成像质量的影响，通常使用单次快速自旋回波的序列逐片获取胎儿脑图像。依次获取一堆切片以覆盖整个大脑。由点扩散函数确定的物理分辨率在平面内通常为2mm
×
2mm，切片厚度约为 2-5mm。为了提高物理分辨率，可以在三个正交方向上获取2d多层图像，并使用图像插值重建高分辨率3d图像。一些新工作使用基于逆问题的最优化求解方法来替代图像插值，其通过求解约束条件下的目标函数得到结果。近年来，深度学习方法也被用于胎儿大脑重建。在上面胎儿脑mri的重建中，其物理分辨率约为2mm，各向同性，但是图像通常被插值到更高的分辨率，例如0.5mm。
3.虽然对物理分辨率的原始图像进行超分辨率重建可以获得更高分辨率的图形，便于放射科医生可视化，但是此类超分辨率重建图像也往往导致实现此类图像分割的网络结构复杂，所消耗的计算资源庞大。因此，如何兼顾超分辨率医学图像最终分割结果的分辨率，以及分割网络复杂度和消耗的计算资源，是医学图像分割领域目前亟待解决的技术问题。


技术实现要素：

4.本发明的目的在于解决现有技术中医学图像分割时计算成本过高、框架设计复杂等问题，并提供一种基于物理分辨率的医学图像分割方法、系统、介质及设备。在以mri图像为代表的医学图像中，当图像矩阵远大于物理分辨率时，其无法提供额外的物理信息以提升分割任务的精度，而这些超过物理分辨率的信息使用简单的框架就可以进行估计。因此本发明中设计了基于物理分辨率的分割方法，减少计算成本，且框架结构简单。
5.本发明所采用的具体技术方案如下：
6.第一方面，本发明提供了一种基于物理分辨率的医学图像分割方法，所述医学图像的原始分辨率高于成像设备采集该医学图像时所能达到的物理分辨率，该方法具体包括：
7.s1、将医学图像下采样至物理分辨率，得到下采样图像；
8.s2、将下采样图像输入经过训练的图像分割网络中，经过图像分割网络的图像分割处理，得到中间分割结果；
9.s3、将中间分割结果重新上采样至医学图像的原始分辨率，得到医学图像的最终分割结果。
10.作为优选，所述医学图像为磁共振成像(mri)图像、断层扫描成像(ct) 图像或正电子成像(pet)图像，且属于一维、二维、三维或更多维的图像。
11.作为优选，所述图像分割网络为v-net模型、u-net模型或基于transformer 的分割模型。
12.作为优选，所述上采样的方法为双线性插值或像素重组。
13.作为优选，所述图像分割网络采用prnet模型，且所述prnet模型基于v-net 网络结构进行调整，调整之处包括：使用prelu激活函数替代v-net中原始的 relu激活函数，使用池化层替代v-net的下采样卷积层，同时在预测阶段使用集成学习和多数投票方法输出最终预测结果；所述上采样的方法为双线性插值。
14.作为优选，所述图像分割网络采用prnet模型，且所述prnet模型基于v-net 网络结构进行调整，调整之处包括：使用prelu激活函数替代v-net中原始的 relu激活函数，使用池化层替代v-net的下采样卷积层，同时在预测阶段使用集成学习和多数投票方法输出最终预测结果；所述上采样的方法为通过pixelshuffle模块进行上采样，且训练策略为：prnet模型和pixel shuffle模块一并进行训练。
15.作为优选，所述图像分割网络采用prnet模型，且所述prnet模型基于v-net 网络结构进行调整，调整之处包括：使用prelu激活函数替代v-net中原始的 relu激活函数，使用池化层替代v-net的下采样卷积层，同时在预测阶段使用集成学习和多数投票方法输出最终预测结果；所述上采样的方法为通过pixelshuffle模块进行上采样，且训练策略为：prnet模型预先利用由原始分辨率标签下采样至物理分辨率后得到的欠采样标签进行预训练，然后冻结prnet模型中的编码器和解码器的前两层，然后再将prnet模型与pixel shuffle模块一起进行训练，优化prnet模型中解码器的未冻结层和pixel shuffle模块中的可学习参数。
16.第二方面，本发明提供了一种基于物理分辨率的医学图像分割系统，所述医学图像的原始分辨率高于成像设备采集该医学图像时所能达到的物理分辨率，该分割系统包括：
17.下采样模块，用于将医学图像下采样至物理分辨率，得到下采样图像；
18.分割模块，用于将下采样图像输入经过训练的图像分割网络中，经过图像分割网络的图像分割处理，得到中间分割结果；
19.上采样模块，用于将中间分割结果重新上采样至医学图像的原始分辨率，得到医学图像的最终分割结果。
20.第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面中任一方案所述的基于物理分辨率的医学图像分割方法。
21.第四方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；
22.所述存储器，用于存储计算机程序；
23.所述处理器，用于当执行所述计算机程序时，实现如第一方面中任一方案所述的基于物理分辨率的医学图像分割方法。
24.本发明相对于现有技术而言，具有以下有益效果：
25.图像分割模型通常基于超分辨率图像，但是这种“超分辨率”并非都是物理意义的高分辨率，这种情况在医学图像领域尤其明显。由于超分辨率重建的图像不能提供有效的高分辨率物理信息，并导致分割任务的额外成本，因此本发明摒弃了传统方案中直接以超过物理分辨率的超分辨率重建图像进行图像分割的做法，转而基于医学图像的物理分辨率来设计图像分割方法。本发明通过将医学图像降采样至物理分辨率图像作为图像分割网络的输入，可以显著降低图像分割网络的计算成本，同时在医学图像分割任务上取得与直接使用超分辨率重建图像基本相似的结果，不会明显影响分割精度。因此，本发明中基于物理分辨率的图像分割方法能够使网络模型更加轻量化，提高分割效率。
附图说明
26.图1为本发明的一种基于物理分辨率的医学图像分割方法步骤示意图；
27.图2为本发明的一种基于物理分辨率的医学图像分割系统的模块组成图；
28.图3为本发明实施例中的医学图像分割方法流程图；
29.图4为prnet网络的框架图；
30.图5为实施例中的实验方案示意图；
31.图6为实施例中在2d mri图像上的分割结果示例；其中超物理分辨率 (256x256，a和d)和降采样到物理分辨率(64x64，b和e)，以及金标准c。
具体实施方式
32.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
33.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
34.为了便于理解本发明的是指，在论述本发明的具体实现方案之前，先对本发明的部分概念进行定义。
35.本发明中的“医学图像”，是指用于医疗辅助诊断的医学影像，例如常见的磁共振成像(mri)图像、断层扫描成像(ct)图像或正电子成像(pet)图像等等，而且这些医学影像
可以是一维的，也可以是二维、三维或更多维的，对此不做限制。
36.本发明中医学图像的“物理分辨率”是指成像设备拍摄该医学图像时最高所能达到的实际分辨率。而成像设备拍摄的物理分辨率医学图像往往需要经过超分辨率重建，进一步提高其分辨率，最终形成的医学图像的分辨率称为“原始分辨率”。
37.在本发明的一个较佳实施例中，提供了一种基于物理分辨率的医学图像分割方法，其中待分割的医学图像是超分辨率图像，其原始分辨率高于成像设备采集该医学图像时所能达到的物理分辨率。如图1所示，对于此类超分辨率的医学图像，该基于物理分辨率的医学图像分割方法具体包括以下步骤：
38.s1、将医学图像下采样至物理分辨率，得到下采样图像；
39.s2、将下采样图像输入经过训练的图像分割网络中，经过图像分割网络的图像分割处理，得到中间分割结果；
40.s3、将中间分割结果重新上采样至医学图像的原始分辨率，得到医学图像的最终分割结果。
41.在本发明的后续实例中，证明了过高的超分辨率重建而成的超分辨率医学图像，相对于物理分辨率下的医学图像，并没有提供更加有效的物理信息，因此无法提升分割任务的精度。上述s1～s3所示的方法框架中，在输入图像分割网络之前，将原始分辨率的医学图像进行下采样，使其恢复至原始的物理分辨率，然后利用原始物理分辨率的医学图像输入图像分割网络中进行分割，得到的分割结果即记载分类概率的像素概率图；该分割结果再通过上采样来重建超出物理分辨率的附加信息。这种做法可以在减少计算成本的同时达到与直接采用超分辨率图像进行分割相似的精度。
42.需要说明的是，本发明的核心是提供了一种在医学图像分割过程中保证分割网络的轻量化，减少计算资源的消耗量，同时保证最终分割结果的分辨率和准确性不会明显降低。但是在上述s1～s3所示的方法框架中，具体的图像分割网络的具体网络结构和类型并非本发明的重点，可不做限定，需要根据具体的医学图像类型决定采用何种图像分割网络，以能够满足对应医学图像的分割为准。作为本发明实施例的部分进一步示例，图像分割网络可以采用医学图像领域中图像分割任务常用的v-net模型、u-net模型、基于transformer的分割模型、或者基于这些模型衍生的改进模型等等。
43.需要说明的是，本发明中上采样的目的是为了重建原始分辨率分割结果相对于超分辨率分割结果而言损失的附加信息。理论上任意能够实现此类信息重建的上采样方法都可以适用于本发明，但为了避免该上采样过程增加框架的复杂度，减少对计算资源的消耗，优选可以采用简单的上采样模型进行近似。作为本发明实施例的部分优选方式，上采样的方法可选用双线性插值(bilinear interpolation) 或像素重组(pixel shuffle)。
44.基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于物理分辨率的医学图像分割方法对应的基于物理分辨率的医学图像分割系统，其用于分割前述原始分辨率高于成像设备采集该医学图像时所能达到的物理分辨率的医学图像。如图2所示，该基于物理分辨率的医学图像分割系统中包括三个基本的模块，分别为：
45.下采样模块，用于将医学图像下采样至物理分辨率，得到下采样图像；
46.分割模块，用于将下采样图像输入经过训练的图像分割网络中，经过图像分割网络的图像分割处理，得到中间分割结果；
47.上采样模块，用于将中间分割结果重新上采样至医学图像的原始分辨率，得到医学图像的最终分割结果。
48.由于本发明实施例中的基于物理分辨率的医学图像分割系统解决问题的原理与本发明上述实施例的基于物理分辨率的医学图像分割方法相似，因此该实施例中系统的各模块具体实现形式未尽之处亦可可以参见上述方法的具体实现形式，重复之处不再赘述。
49.同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于物理分辨率的医学图像分割方法对应的一种电子设备，其包括存储器和处理器；
50.所述存储器，用于存储计算机程序；
51.所述处理器，用于当执行所述计算机程序时，实现如前所述的基于物理分辨率的医学图像分割方法。
52.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
53.由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于物理分辨率的医学图像分割方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现如前所述的基于物理分辨率的医学图像分割方法。
54.具体而言，在上述两个实施例的计算机可读存储介质中，存储的计算机程序被处理器执行，可执行前述s1～s3的步骤。
55.可以理解的是，上述存储介质可以包括随机存取存储器(random accessmemory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。同时存储介质还可以是u盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
56.可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(centralprocessing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signalprocessing，dsp)、专用集成电路(application specificintegrated circuit，asic)、现场可编程门阵列(field-programmable gate array， fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
57.另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本技术所提供的各实施例中，所述的系统和方法中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。
58.为了进一步展示本发明上述s1～s3所示的方法框架在具体数据集上所能实现的分割效果，本发明以mri图像数据为例，对超分辨率医学图像的信息有效性问题进行了检验，并设计了简单的图像分割框架来验证假设。
59.实施例
60.尽管医学图像中通常呈现大图像矩阵，但它可能不包含超出物理分辨率的附加信息，并且可以使用简单的网络来表示，例如插值和像素重组。而且基于低物理分辨率但增加矩阵大小的手动标签可能也无助于模型训练。本实施例通过实际实验对该假设进行了验证。
61.本实施例中，使用来自miccai 2021 feta挑战的胎儿脑mri和来自 adni研究的成人脑mri作为实验对象。胎儿脑mri的高分辨率来自数学方法的超分辨率重建，而adni的成人脑mri具有原始的物理分辨率。
62.由于具有不同分辨率的mri数据集，因此本实施例中具体采用的图形分割流程如图3所示。mri图像数据是以图像矩阵形式存在的，因此其原始分辨率也就是图像矩阵的大小。对于数据集中的任一mri图像样本，当其图像矩阵与对应成像设备的物理分辨率一致时，可直接使用传统网络v-net进行分割，当图像矩阵的大小高于对应成像设备的物理分辨率时，则需要采用本发明上述s1～s3 所示的框架进行图像分割。即：先将mri图像下采样到与物理分辨率一致的图像矩阵用作分割网络的输入，然后将下采样后的图像矩阵输入经过训练的图像分割网络中，经过图像分割网络的图像分割处理，得到中间分割结果；再将中间分割结果重新上采样至医学图像的原始分辨率，得到医学图像的最终分割结果。
63.本实施例中，以由v-net经过改进后得到的prnet模型(physical-resolutionnet)作为图像分割的基础模型，同时以双线性插值和pixel shuffle作为两种上采样方法，通过组合训练框架一共计了三种不同的分割策略。
64.其中，本实施例中的prnet模型由v-net网络结构经过改进后得到，且改进之处包括三处，分别为：使用prelu激活函数替代v-net中原始的relu激活函数，使用池化层替代v-net的下采样卷积层，同时在预测阶段使用集成学习(ensemble learning)和多数投票(majority vote)方法输出最终预测结果。上述 prnet模型的具体模型结构如图4所示。
65.第一种分割策略为：图像分割网络采用prnet模型，而上采样的方法为双线性插值上采样。
66.第二种分割策略为：图像分割网络采用prnet模型，而上采样的方法为通过pixel shuffle模块进行上采样，且训练策略为：prnet模型和pixel shuffle模块一并进行训练。
67.第三种分割策略为：图像分割网络采用prnet模型，而上采样的方法为通过pixel shuffle模块进行上采样，且训练策略为：prnet模型预先利用由原始分辨率标签下采样至物理分辨率后得到的欠采样标签进行预训练，然后冻结prnet 模型中的编码器和解码器的前两层，然后再将prnet模型与pixel shuffle模块一起进行训练，优化prnet模型中解码器的未冻结层和pixel shuffle模块中的可学习参数。
68.上述第二种和第三种分割策略中，pixel shuffle模块均连接在解码器的最后一层，用于将分割上采样到原始医学图像的矩阵大小。在pixel shuffle模块中，第一个卷积层用于扩大通道数，其内核大小是3
×3×
3；第二层将不同通道的像素重新组合，得到原始图像矩阵大小的特征图，在这层中放大的特征图的像素值是从前一层的特征图导出的并非计算所得。
69.为了便于描述，将上述第二种分割策略命名为pr-psnet，将上述上述第三种分割策略命名为pr-pre-psnet。
70.在本实施例的实验中，使用feta数据集为例，首先，将原始图像(表观 0.5mm)下采样4倍到其物理分辨率2mm，用作图像分割网络的输入。prnet 会输出物理分辨率尺寸的像素概率图，为了得到最终的表观超分辨率分割结果，还需要上采样或者插值。在第一种策略中，对概率图使用双线性插值4倍并二值化得到分割结果。另外2个策略，均使用pixel shuffle模块(简称ps)作为解码器的最后一层，将分割上采样4
×4×
4倍得到更大的矩阵大小。第三种策略在模型训练中，先用欠采样标签对prnet网络进行预训练，然后通过冻结编码器和解码器的前两层，再增加ps模块后训练，相当于仅训练部分解码器与ps，称为pr-pre-psnet。第二种策略直接构造prnet+ps的完整结构称为pr-psnet，其中prnet没有使用下采样标签进行预训练，即模型(prnet+ps)是从头开始训练的。第二种和第三种策略中pixel shuffle模块中第一个卷积层用来放大通道数(r3×
c，r＝4是一个放大因子)，它的内核大小是3
×3×
3；然后，在第二层将不同通道的像素重新组合，得到扩大4倍矩阵大小的特征图。
71.主干prnet结构的深度为4，初始卷积核数目为32。每一层的残差连接采用特征图合并操作，类似于densenet(huang g,liu z,van der maaten l,et al. densely connected convolutional networks[c])。相比骨干v-net，本方法的模型包括以下几点不同：1)使用prelu被用作激活函数，代替原始relu；2)使用池化层代替原始下采样卷积层；3)预测阶段使用assemble estimation和majorityvote。每个卷积块包含两个卷积，内核为3
×3×
3，其中第二个卷积是步长为2的空洞卷积。采用层归一化和转置卷积。
[0072]
在本实施例的三种策略框架中，训练和推理是基于patch的。训练使用随机的patch，丢弃不包含任何大脑区域的patch。当输入和输出的patch大小不一致时，使用patch的索引进行对齐，其由原始patch大小和滑动步长决定。在推理阶段使用滑动窗口和多数投票方法获得最终的结果。模型训练的损失函数是二元交叉熵，目标函数是dice系数。
[0073][0074][0075]
式中参数定义如下：fn(false negative)表示被预测为负样本，但实际上是正样本。fp(false positive)表示被预测为正样本，但事实上是负样本。tn (true negative)表示被预测为负样本，实际也是负样本。tp(true positive) 表示被预测为正样本，事实上也是正样本。yk代表第k样本的标签，对于分割任务，样本为每个像素，且是二分类问题，即0或者1，pk为对该样本的预测概率，对于二分类，则只用预测为正(即1)的概率。
[0076]
训练过程中使用adam optimizer作为优化器，在训练期间将初始学习率设置为10-4
。为了加快训练过程，如果训练损失值在10个epoch上处于稳定状态，则学习率将降低到一半。学习率的下限是10-7
。两个数据集上的实验均以五折交叉验证的形式进行。
[0077]
在3d磁共振数据上，使用2个数据集来验证本发明提出的方法与假设，见图5所示实验方式示意图，具体如下：
[0078]
feta challenge数据集由80个胎儿大脑t2加权mr图像组成。虽然胎儿脑mr图像的物理分辨率约为2mm，但挑战数据集被插值到256
×
256
×
256的矩阵大小(基于数学方法的
超分辨率图像重建)，各向同性的表观分辨率为0.5mm，本实施例中将其称为feta-2mm-256。数据集相应地也提供了7个大脑结构分割标签。在这项工作中，图像被下采样4
×4×
4以恢复其原始物理分辨率 (feta-2mm-64)。未公开测试数据集的结果由挑战赛官方测试并排名，本框架与3rd-winner进行比较，3rd-winner也是本技术发明人所设计的方法，其基于原始图像(feta-2mm-256)矩阵实现分割。feta数据集没有超分辨率图像和标签来评估本发明所提出的方法。因此，本实施例中又使用了adni数据集。它包含 150个超分辨率成人脑部mr图像，物理分辨率约为1mm3，各向同性，矩阵大小为256
×
256
×
256(image-1mm-256)。使用spm12将每张图像分割成四类组织(label-1mm-256)，并作为ground truth使用，但需要注意的是在训练中是不采用此原始物理分辨率的ground truth。adni大脑图像和标签被下采样4
×4×
4以模拟获取低物理分辨率的图像及其手动标签(image-4mm-64和label-4mm-64)。然后将欠采样数据插值到原始矩阵大小(image-4mm-256和label-4mm-256)，相当于模拟胎儿mri中的超分辨率重建过程和图像矩阵大小。模型使用 image-4mm-64和label-4mm-256进行了训练。通过将分割结果与ground truthlabel-1mm-256进行比较来评估分割结果。基于本发明的假设，预测分割结果与label-4mm-256二者到ground truth label-1mm-256的距离应该是一致的(距离使用dice系数评估)。
[0079]
本实施例中的实验验证结果展示如下：
[0080]
3rd-winner表示此方法在未公开测试数据集中排名第三，因此其可以作为代表性方法与本发明方法进行对比。另：3rd-winner方法也为本技术发明人所设计，其使用原始图像矩阵进行分割，同样使用patch，骨干网络基于v-net。
[0081]
表1显示了本发明方法在miccai 2021 feta挑战数据集上的dice系数。在图像矩阵尺寸缩小了64倍的情况下，基于物理分辨率图像的分割效果略有下降，平均dice差距为2％，但是训练时间减少到1/5，模型大小从2.83亿减少到 4000万。表2提供了miccai 2021 feta挑战赛官方在未公开测试数据上的结果比较。pr-pre-psnet和3rd-winner之间的平均dice差距为2.3％，体积相似度上为1.6％。而豪斯多夫距离距离(hd)上差距达到5％，但是3rd-winner方法仅在3个标签上有优势，其余4个标签pr方法表现更好，总体差距较小。该结果与miccai 2021feta 挑战公开数据集的结果一致。此外，胎儿大脑的在妊娠晚期迅速发展。在胎儿发育的后期，其大脑结构已经形成，因此具有更加复杂的结构，大脑皮层的边缘更加崎岖。本发明方法(以pr-pre-psnet策略为准)在早期和晚期的胎儿脑部mri上提供了一致的结果。尽管pr-pre-psnet的输入图像矩阵大小减少了64倍，但其仍然为具有更复杂结构和边缘特征的晚期胎龄的胎儿大脑图像提供了准确的分割。这一结果表明本发明方法的可行性，对于图像矩阵与物理分辨率不一致的胎儿脑mr图像，本发明方法使用基于物理分辨率的图像矩阵完成分割，计算成本与运算时间大幅度降低，且实现了与传统代表性方法相似的精度。
[0082]
此外，本实施例中利用adni数据集进一步验证假设。adni数据集结果如表3所示。adni数据集中，image-1mm-256具有较高的物理分辨率和丰富的边缘特征。而image-4mm-64图像模糊，物理分辨率降低。使用image-4mm-64 训练，目标标签为label-4mm-256，即使用image-4mm-64得到矩阵大小为 256
×
256
×
256的分割。比较分割结果，label-4mm-256二者与超分辨率标签 image-1mm-256之间的距离，结果是dice之间的差异小于2％，这与feta结果一致。这一结果进一步验证了本发明的假设：由过高超分辨率重建得到的图像矩阵无法
提供额外的物理信息，即当图像矩阵远大于物理分辨率时，大图像无法提供“超分辨率”特征，不利于分割任务。因此本发明方法所提出的基于物理分辨率的分割框架可以更好完成此类任务。
[0083]
本实施例中基于feta挑战数据集比较了三个上采样模块的效果。 pixelshuffle(ps)、convtranse、双线性插值(bi)用于模型的解码器输出。此外，比较了两种不同参数的网络结构，见表4。在(a)的设置中，pixelshuffle明显优于convtranse。然而，对于更大的模型结构(b)，ps、convtranse，bi在所有七个标签上的结果没有显着差异。这一结果表明，pixelshuffle和转置卷积等简单结构可以很好估计图像和标签的插值。本实施例中比较了从头训练的pr-psnet和基于迁移学习的pr-pre-psnet两种策略。结果总结在表5中。所有标签中的三种策略之间没有显著差异。而pr-pre-psnet的训练时间仅为pr-psnet的1/3，在无需从头训练模型的情况下，显着降低了训练成本并达到了相同的精度。因此本方法所设计的三种策略都可以在分割任务上达到不错的效果，且三种策略具有结构简单易扩展的优点，基于prnet的预训练和模块组合大幅度减少训练时间。总结而言，本方法所提出的基于物理分辨率的分割框架在工程上极大节约计算时间和成本，提供了模块化可扩展的结构，分割效果接近直接使用大图像矩阵的方法，并在理论上为mri等图像的超分辨率信息的有效性问题提供了依据。
[0084]
表1在feta-2021数据集上的dice系数对比
[0085][0086]
表2在fetal-2021未公开数据集测试结果
[0087][0088]
表3在adni数据上的实验结果
[0089][0090]
表4基于pr-pre-psnet的胎儿数据集的消融研究结果(dice系数)
[0091][0092]
表中：(a)主干网络的深度为3，初始卷积核16个，每epoch 192步，(b)深度为4，初始卷积核32，每epoch 256步。
[0093]
表5三种策略的胎儿数据集的消融研究结果(dice系数)
[0094][0095]
需要注意的是，上述实施例中的mri图像均为3d图像，但本发明同样适用于一维、二维、或者三维以上的磁共振图像的分割。与上述3d实验类似，本实施例中采用feta数据集，但以2d数据作为输入，在x和y方向上各下采样 4倍，达到图像的物理分辨率(矩阵大小64
×
64)，并以此对比超过物理分辨率图像(矩阵大小256性56)的分割。在减少4
×
4倍数据的情况下，分割的准确度dice仅下降1.85％，这充分证明了本方法在不严重影响结果的前提下，大幅减少数据和运算量的能力。具体结果如表6和图6所示：
[0096]
表6超物理分辨率(256)和物理分辨率(64)胎儿脑分割对比结果(dice 系数)
[0097][0098]
由此可见，本发明的基于物理分辨率的医学图像分割方法，同样适用于2d 医学图
像等其他维度的图像数据的分割任务。
[0099]
本发明基于物理分辨率完成图像处理算法的优化和模型的轻量化设计，有利于提高分割效率，而且医学图像重建中超过物理分辨率的信息可以通过解析模型或机器学习网络模型描述，医学图像分割中人工标注误差也可以通过机器学习网络模型描述，因此基本不会影响图像分割的精度。
[0100]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。