医疗影像处理方法及装置、电子设备及存储介质与流程

本发明涉及通信领域的同步技术，尤其涉及一种医疗影像处理方法及装置、电子设备及存储介质。

背景技术：

随着深度学习技术的发展，出现了利用深度学习模型进行图像分割获得分割结果，输出该分割结果用于辅助医生进行诊断，从而减轻医生的工作负荷，实现运行深度学习模型的智能化。但是在现有技术中，即便出现了可以由深度学习模型来分割医疗影像的技术，但是医生的工作负荷依然很重，很多情况下，医生因为工作负荷过重还可能出现医疗影像的诊断或判别效率低、并进一步用于大量工作产生的疲劳导致准确性下降的问题。此外，由于不同区域的医疗水平相差很大，在偏远地区的医疗人员可能无法直接基于医疗影像的分割给出精确的判断。

技术实现要素：

有鉴于此，本发明实施例期望提供一种医疗影像处理方法及装置、电子设备及存储介质。

本发明的技术方案是这样实现的：一种医疗影像处理方法，包括：

接收医疗影像；

基于所述医疗影像获得所述医疗影像的分割结果及诊断信息，所述分割结果为：分割所述医疗影像中第一对象和第二对象获得的信息；所述诊断信息为：患者的病情分期信息和/或生存期预测信息。

基于上述方案，所述基于所述医疗影像获得所述医疗影像的分割结果及诊断信息，包括：

对所述医疗影像进行特征提取，获得所述第一对象的第一特征；

基于所述第一特征获得所述分割结果；

基于所述第一特征获得所述诊断信息。

基于上述方案，所述基于所述第一特征获得所述分割结果，包括：

基于所述第一特征从所述医疗影像中获得包含所述第一对象的图像区域。

基于上述方案，所述基于所述第一特征进行第二类处理获得所述诊断信息，包括：

基于所述第一特征得到所述病情分期信息；

基于所述第一特征得到生存期预测信息。

基于上述方案，所述基于所述第一特征进行第二类处理获得所述诊断信息，包括：

对所述第一特征进行卷积处理得到第二特征；

所述基于所述第一特征得到所述病情分期信息，包括：

基于所述第二特征得到所述病情分期信息；

和/或，

所述基于所述第一特征得到生存期预测信息，包括：

所述预测分支的专用部分基于所述第二特征得到所述生存期预测信息。

基于上述方案，所述方法还包括：

根据所述分割结果及医疗影像获得组学特征；

基于所述组学特征和所述第一特征，通过全连接层拼接之后得到第三特征；

所述基于所述第一特征获得所述诊断信息，包括：

基于所述第三特征获得所述诊断信息。

基于上述方案，所述组学特征包括以下至少之一：

所述第一对象的形态特征；

第一对象的灰度特征。

基于上述方案，所述基于所述医疗影像获得所述医疗影像的分割结果，包括：

所述基于所述医疗影像，获得区分肿瘤组织成像与非肿瘤组织成像的所述分割结果。

基于上述方案，所述基于所述医疗影像获得所述医疗影像的诊断信息，包括：

基于所述医疗影像获得肿瘤分期信息，其中，所述肿瘤分期信息包括以下至少之一：基于原发肿瘤的范围确定的t分期信息、基于淋巴组织受累状况确定的n分期信息、基于肿瘤转移状况确定的m分期信息；

和/或，

基于所述医疗影像获得肿瘤患者的生存期预测信息。

基于上述方案，所述基于所述医疗影像获得所述医疗影像的诊断信息，包括：

对所述医疗影像进行分割获得分割结果；

基于所述分割结果获得所述诊断信息。

基于上述方案，所述方法还包括：

结合所述分割结果及所述医疗影像，获得组学特征；

将所述组学特征与所述分割结果通过拼接，获得拼接特征；

所述基于所述分割结果获得所述诊断信息，包括：

基于所述医疗影像和所述分割结果获得第四特征；

将所述第四特征和所述组学特征通过全连接层的拼接之后得到第五特征；

基于所述第五特征获得所述诊断信息。

一种医疗影像处理装置，包括：

接收模块，用于多任务学习模型接收医疗影像；

获取模块，用于多任务学习模型基于所述医疗影像获得所述医疗影像的分割结果及诊断信息，所述分割结果为：分割所述医疗影像中第一对象和第二对象获得的信息；所述诊断信息为：患者的病情分期信息和/或生存期预测信息。

基于上述方案，所述获取模块，具体用于所述多任务学习模型的共享部分对所述医疗影像进行特征提取，获得所述第一对象的第一特征；所述多任务学习模型的第一类分支，基于所述第一特征获得所述分割结果；所述多任务学习模型的第二类分支，基于所述第一特征获得所述诊断信息。

基于上述方案，所述获取模块，具体用于所述多任务学习模型的分割分支，基于所述第一特征从所述医疗影像中获得包含所述第一对象的图像区域。

基于上述方案，所述获取模块，具体用于所述第二类分支的分期分支，基于所述第一特征得到所述病情分期信息；所述第二类分支的预测分支，基于所述第一特征得到生存期预测信息。

基于上述方案，所述获取模块，具体用于对所述第一特征进行卷积处理得到第二特征；基于所述第二特征得到所述病情分期信息；和/或，基于所述第二特征得到所述生存期预测信息。

基于上述方案，所述装置还包括：

组学特征模块，用于根据所述分割结果及医疗影像获得组学特征；

全连接模块，用于基于所述组学特征和所述第一特征，通过全连接层拼接之后得到第三特征；

所述获得模块，具体用于基于所述第三特征获得所述诊断信息。

基于上述方案，所述组学特征包括以下至少之一：

所述第一对象的形态特征；

第一对象的灰度特征。

基于上述方案，所述获取模块，具体用于基于所述医疗影像，获得区分肿瘤组织成像与非肿瘤组织成像的所述分割结果。

基于上述方案，所述获取模块，具体用于所述医疗影像获得肿瘤分期信息，其中，所述肿瘤分期信息包括以下至少之一：基于原发肿瘤的范围确定的t分期信息、基于淋巴组织受累状况确定的n分期信息、基于肿瘤转移状况确定的m分期信息；和/或，所述多任务学习模型基于所述医疗影像获得肿瘤患者的生存期预测信息。

基于上述方案，所述获取模块，具体用于所对所述医疗影像进行分割获得分割结果；基于所述分割结果获得所述诊断信息。

基于上述方案，所述装置还包括：

组学特征模块，用于结合所述分割结果及所述医疗影像，获得组学特征；

所述获得模块，具体用于基于所述医疗影像和所述分割结果获得第四特征；

将所述第四特征和所述组学特征通过全连接层的拼接之后得到第五特征；

基于所述第五特征获得所述诊断信息。

一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述任意一个技术方案提供的医疗影像处理方法。

一种电子设备，包括：

存储器，用于存储信息；

处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述任意一个技术方案提供的医疗影像处理方法。

本发明实施例提供的技术方案，利用多任务学习模型等深度学习模型进行医疗影像的处理，同时获得医疗影像的分割结果和诊断信息。如此，一方面，能够将原始的医疗影像输入之后，就可以实现多任务处理，不仅获得分割结果同时还可以获得诊断信息；如此，该诊断信息可以直接作为诊断结果或者辅助医生诊断，提升了模型的智能性；减少了医生需要完全自行诊断的工作负荷，提升了医生的诊断效率；与此同时由于减少了医生的工作量将减少医生工作量大疲劳产生的误诊断现象，提升了诊断的精确性。由于多任务学习模型不同任务的损失值兼顾，可以减少单一任务的过度拟合的现象，反而可以提升分割结果和诊断信息的精确度。

附图说明

图1为本发明实施例提供的第一种医疗影像处理方法的流程示意图；

图2为本发明实施例提供的一种获得所述医疗影像的分割结果及诊断信息的流程示意图；

图3a为本发明实施例提供的一种多任务学习模型的结构示意图；

图3b为本发明实施例提供的另一种多任务学习模型的结构示意图；

图4为本发明实施例提供的一种医疗影像处理装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。

如图1所示，本实施例提供一种医疗影像处理方法，包括：

步骤s110：接收医疗影像；

步骤s120：基于所述医疗影像获得所述医疗影像的分割结果及诊断信息，所述分割结果为：分割所述医疗影像中第一对象和第二对象获得的信息；所述诊断信息为：患者的病情分期信息和/或生存期预测信息。

在本实施例中，医疗影像处理方法可应用于各种电子设备中，例如，医疗影像的处理设备中。

所述医疗影像可为各种类型的医疗设备拍摄的图像，或者，用于医疗诊断的图像，例如，电子计算机断层扫描(ct)图像或者核磁共振(mri)图像等。

所述医疗影像可为二维的平面图像，也可以是三维的立体图像。所述三维的立体图像可包括：一个由多个平面图像组成的图像组。所述平面图像包括的平面内的二维像素；所述立体图像包括的是立体空间内的三维的体素。例如，在xyz形成的直角坐标系中，一张二维图像对应一个xy平面，不同的二维图像位于y轴上的不同位置，如此，一个图像组就构成了一个三维图像。所述像素的坐标为(x，y)，而所述体素的坐标为(x，y，z)。

在本实施例中，原始的医疗影像包括目标成像以及所述目标成像以外的背景。在本实施例中，所述第一对象可为所述目标成像；所述第二对象可为所述背景。所述目标成像可为采集目标的成像。所述采集目标可为患者的需要诊断的身体部位。例如，所述目标成像可包括：病变细胞的成像、受病变细胞影响的其他细胞的成像；而所述第二对象可能是病变细胞及病变细胞以外的其他细胞的成像。在一定程度上第二对象是医疗影像采集过程中会采集到但是会干扰医疗诊断的成像。在本实施例中为了减少这种干扰，会利用多任务学习模型进行分割，从而将第一对象从所述医疗影像中分割出来。

在本实施例提供的医疗影像处理方法可应用于多任务学习模型中。在本实施例中，所述多任务学习模型可为：纯深度学习模型；和/或深度学习和机器学习混合使用的多任务学习模型。

在本实施例中，所述电子设备运行所述多任务学习模型同时可以完成医疗影像的分割和诊断信息的生成，从而至少实现了分割任务和诊断信息所对应的诊断任务；相对于单一的分割任务的深度学习模型的处理，由于本实施例提供的多任务学习模型还至少具有诊断信息的生成，至少可以辅助医生进行诊断或者提供诊断参考，进一步降低了医生的工作量，减少了因为医生资源有效及工作量大导致的延时大的问题，提升了诊断信息的获取速率。

在一些实施例中，所述多任务学习模型输出的诊断信息可为初步诊断信息，若医生确认之后就可以作为最终诊断信息输出。

在还有一些实施例中，所述多任务学习模型在诊断信息的生成精确度达到特定值时，所述诊断信息还可以作为最终的诊断信息输出。

在本实施例中，所述诊断信息可包括以下至少之一：

病情分期信息，用于至少当前病情的严重程度或处于哪一个病患期；

生存期预测信息，用于预测患者的剩余寿命的信息。

总之，在本实施例中多任务学习模型可以同时实现多个任务，且相对于多个单一任务的深度模型的组合，减少了模型的训练消耗，且相对于多个深度模型单独运行，可以减少电子设备的计算量和不必要的重复工作，从而节省能耗。此外，多任务学习模型由于需要完成多个任务，相对于单一任务深度学习模型，由于多个任务的损失相互影响，从而可以减少单一深度学习模型过度拟合的现象，进一步提升了所述多任务学习模型用于医疗影像处理的泛化能力。

在一些实施例中，所述步骤s120可包括：

对所述医疗影像进行特征提取，获得所述第一对象的第一特征；

基于所述第一特征获得所述分割结果；

基于所述第一特征获得所述诊断信息。

在本实施例中，首先获得第一对象的第一特征，该第一特征可以共同用于分割结果和诊断信息的获得，相对于完全独立的获得分割结果和诊断信息，整合了获得相同的第一特征的部分，从而简化了操作，提升了效率。

例如，如图2所示，所述步骤s120可包括：

步骤s121：所述多任务学习模型的共享部分对所述医疗影像进行特征提取，获得所述第一对象的第一特征；

步骤s122：所述多任务学习模型的第一类分支，基于所述第一特征获得所述分割结果；

步骤s123：所述多任务学习模型的第二类分支，基于所述第一特征获得所述诊断信息。

在本实施例中所述多任务学习模型多个任务的实现网络之间设置有共享部分，也设置有专门完成特定任务的专有分支。通过共享部分的引入，可以实现深度学习模型的模型结构的共享，简化深度学习模型的模型结构；与此同时，通过共享部分的引入，如此在进行模型训练时可以彼此影像，从而减少过度拟合的问题；故本实施例中通过共享部分的引入，具有模型整合度高及共享部分的特征不必重复计算的特点，与此同时执行该深度学习模型的电子设备对医疗影像的识别具有更大的泛化能力。

在本实施例中所述共享部分可以通过一次或多次卷积处理和/或一次或多次池化处理，提取出所述第一对象的第一特征，所述第一特征可以用于指示所述第一对象所在位置。

所述第一特征可为共享部分进行深度学习得到的特征。

所述共享部分对原始的医疗影像进行卷积处理和池化处理，生成特征图像。所述第一特征可包括：所述第一对象的位置；其中，在所述第一对象的位置处生成边界框；该边界框的中心点可为特征图像中对应于第一对象的中心点；所述边界框可以用于完整的包含所述特征图像中第一对象的特征及所述第一对象周边的特征。如此，基于该边界框从共享部分输出的特征图像中提取出至少部分特征，至少可以用于输入到第二类分支中用于诊断信息的获取。例如，以所述第一对象为肿瘤组织为例，则所述边界框的中心为所述肿瘤组织的中心，所述边界框所在的位置需要包括所述肿瘤组织及所述肿瘤组织周边组织的成像；该周边组织包括但不限于淋巴组织。

在本实施例中，所述第一类分支和所述第二类分支为不同的分支，所述第一类分支和第二类分支执行的处理是不同的。例如，第一类分支执行第一类处理；所述第二类分支执行第二类处理。所述第一类处理和第二类处理的至少部分不同。

例如，所述第一类处理可包括：反卷积处理；所述第二类处理可包括：卷积处理等。在一些实施例中，所述第一类分支的第一类处理还可包括：特征拼接处理和/或语义信息提取的处理。所述第二类处理还可包括：语义信息提取处理等。在一些实施例中，所述步骤s121可包括：基于所述第一特征从所述医疗影像中获得包含所述第一对象的图像区域；例如，所述步骤s121可包括：利用所述多任务学习模型的分割分支基于所述第一特征从所述医疗影像中获得包含所述第一对象的图像区域。

得到的第一特征图，通过反卷积、上采样及与同尺寸的不同池化层及池化后卷积之后输出图像的拼接等处理，可以得到包含所述第一对象的掩码图像，该掩码图像可为二值化图像，该二值化图像中为第一取值的像素表示为第一对象的像素，第二取值的像素表示为不是第一对象的像素，即所述第二对象的像素。如此，基于所述掩码图像就可以将原始图像中的第一对象和第二对象分割开来。

在一些实施例中，所述步骤s123可包括：基于所述第一特征得到所述病情分期信息；基于所述第一特征得到生存期预测信息。

在本实施例中，病情分期信息和生存期预测信息均是基于第一特征获得的，合并了第一特征的获取步骤，提升了操作提升了诊断信息的获取效率。

具体地如，所述步骤s120可包括：所述第二类分支的分期分支，基于所述第一特征得到所述病情分期信息；

所述第二类分支的预测分支，基于所述第一特征得到生存期预测信息。

在一些实施例中，所述第二类分支可仅包括一个分支，在本实施例中所述第二类分支包括两个，分别是分期分支和预测分支，分期分支可以用于获取病情分期信息，而预测分支可以用于获得生存期预测信息。所述生存期可为患者的剩余生存时间。

在一些实施例中，若所述第二类分支同时包括分期分支和预测分支，分期分支和预测分支可以是完全独立的分支，如此，可以直接在所述多任务学习模型的共享部分之后，接收到所述第一特征之后，直接对第一特征进行各自的处理并得到所述病情分期信息和生存期分期信息。

在一些实施例中，所述第二类分支可以为具有深度学习能力的深度学习分支，也可以是具有机器学习的机器分支。

在一些实施例中，所述步骤s123进一步可包括：对所述第一特征进行卷积处理得到第二特征；基于所述第二特征得到所述病情分期信息；和/或，基于所述第二特征得到所述生存期预测信息。

在本实施例中，基于第一特征进行进一步处理得到第二特征，再基于第二特征获得病情分期信息及生存期预测信息，如此，第二特征是获得病情分期信息及生存期预测信息共用的特征，相对于病情分期信息及生存期预测信息的完全独立获取简化了操作且提升了效率。

具体地如，所述步骤s123可包括：利用所述分期分支和所述预测分支的共享部分，对所述第一特征进行卷积处理得到第二特征；

所述第二类分支的分期分支，基于所述第一特征得到所述病情分期信息，包括：所述分期分支的专用部分基于所述第二特征得到所述病情分期信息；和/或，

所述第二类分支的预测分支，基于所述第一特征得到生存期预测信息，包括：

所述预测分支的专用部分基于所述第二特征得到所述生存期预测信息。

在本实施例中分期分支和预测分支也有一部分共享，该共享可以分期分支和预测分支的起始部分，用于与整个多任务学习模型的共享部分连接，用于对所述第一特征进行处理得到第二特征。

例如，所述第一特征可为从原始图像中提取的形状、体积和/或位置等特征，经过分期分支和预测分支的共享部分的进一步处理将得到第二特征。例如，所述分期分支和所述共享分支对所述第一特征进行进一步的卷积处理、池化处理和/或特征融合处理后等处理后将得到第二特征。在本实施例中，在分期分支和预测分支的分叉点之后连接有分期分支的专用部分和预测分支的专用部分，这两个专有部分执行进一步卷积等处理，会得到病情分期信息和生存期预测信息。

在本实施例中通过分期分支和预测分支的共享部分的设置，进一步简化了深度学习模型，进一步通过共享部分需要完成多任务的设计减少深度学习模型对单一任务的过度拟合。

所述组学特征包括但不限于以下特征之一：

所述第一对象的形态特征；其中，所述形态特征，用于直接或间接指示所述第一对象的形状和/或尺寸；

第一对象的灰度特征；所述灰度特征，用于描述第一对象所在图像区域的灰度相关的任意特征。

例如，所述形态特征可包括：

通过统计计量得到的各种统计特征，例如，第一对象的像素个数和/或体素个数；

基于所述第一对象的像素个数得到的面积值；

基于所述第一对象的体素个数得到的体积值；

基于所述第一对象的表面像素得到的表面积值；

基于所述第一对象的轮廓得到的周长值；

所述第一对象最大截面的最大直径值；

所述第一对象最小截面的最小直径值。

所述灰度特征可包括但不限于以下至少之一：

所述第一对象所在图像区域的最小灰度值和/或最大灰度值；

所述第一对象所在图像区域的中位灰度值；

所述第一对象所在图像区域的灰度值范围；

所述第一对象所在图像区域的灰度直方图；

所述第一对象所在图像区域的灰度直方图的均值；

所述第一对象所在图像区域的灰度直方图的偏度；

所述第一图像所在图像区的灰度直方图的峰度。

该图像区域可为前述边界框所包围的区域。

在一些实施例中，所述方法还包括：

根据所述分割结果及医疗影像获得组学特征；

基于所述组学特征和所述第一特征，通过全连接层拼接之后得到第三特征；

所述步骤s120可包括：基于所述第三特征获得所述诊断信息。

所述步骤s120可包括：

所述第二类分支基于所述第三特征获得所述诊断信息。在本实施例中在分割分支的末端获得了分割结果，基于分割结果和原始的医疗影像会得到上述组学特征。

将这些组学特征引入到第二类分支中，如此，第一特征和组学特征可以全连接层进行连接得到第三特征，此处的全连接层可以将这些组学特征转换为特征图像中每一个像素的一个像素分量，从而与第一特征拼接之后，增加了特征图像中每一个像素的分量个数。如此，第二类分支拿到该第三特征之后，可以更加精确的进行分期和/或预测，从而得到更加精确的诊断信息。

例如，图3a所示为本发明实施例提供的一种多任务学习模型深度学习模型，包括：

多任务学习模型的共享部分；

分割分支，包括编码部分和解码部分；其中，分割分支的编码部分可为所述多任务学习模型的共享部分；所述分割分支的编码部分中的第n次池化之后特征图像会直接输出作为解码部分的第n-n次上采样的输入，其中，n为总池化次数或总上采样次数；第n-n次上采样的输入包括所述第n次池化的特征图像和第n-n-1次上采样的输出图像。在进行第n-n次上采样之前，将第n次池化的特征图像和第n-n-1次上采样的输出图像进行拼接之后，直接对拼接后的图像进行第n-n次上采样；

分期分支，直接连接在分割分支的编码部分的后端；

预测分支，直接连接在分割分支的编码部分的后端。

参照图3a可知，分割分支中的部分为所述共享部分。

在图3a中分期分支可以用于进行tnm分期，预测分支可用于生存期预测。在多任务学习模型的训练过程中，可以分别计算出tmn分期损失、生存期预测损失及分割损失等，判断每一个损失是否达到预期阈值，若存在一个损失未达到预期阈值，则继续训练；训练之后交叉迭代每一个损失值，直到所有损失值都达到预期阈值。或者，三种损失值共同用于多任务学习模型的优化，在三个损失值的加权平均值最小的模型参数作为所述多任务学习模型的最终模型参数。

图3a中分割分支的编码器和解码器之间的跳转连接，可以用于在解码器部分进行特征图像的拼接。

如图3b所示，相比较于图3a，图3b所示的多任务学习模型分割分支的模型还设置有获取组学特征的模块，该模块基于分割结果获得组学特征之后，直接输入给分期分支和预测分支，以供分期分支更加精准的进行分期，及预测分支进行生存期的精准预测。

在一些实施例中，所述步骤s122可包括：基于所述医疗影像，获得区分肿瘤组织成像与非肿瘤组织成像的所述分割结果。例如，所述步骤s122可包括：所述多任务学习模型基于所述医疗影像，获得区分肿瘤组织成像与非肿瘤组织成像的所述分割结果。

在本实施例中所述医疗影像是肿瘤细胞及与肿瘤细胞相关的细胞的成像，故在本实施例中，分割结果是可以用于分割原始的医疗影像中的肿瘤组织和非肿瘤组织的成像的。

在一些实施例中，所述步骤s120可包括：基于所述医疗影像获得肿瘤分期信息，其中，所述肿瘤分期信息包括以下至少之一：基于原发肿瘤的范围确定的t分期信息、基于淋巴组织受累状况确定的n分期信息、基于肿瘤转移状况确定的m分期信息；和/或，基于所述医疗影像获得肿瘤患者的生存期预测信息。

例如，所述多任务学习模型基于所述医疗影像获得肿瘤分期信息，其中，所述肿瘤分期信息包括以下至少之一：基于原发肿瘤的范围确定的t分期信息、基于淋巴组织受累状况确定的n分期信息、基于肿瘤转移状况确定的m分期信息；和/或，所述多任务学习模型基于所述医疗影像获得肿瘤患者的生存期预测信息。

在本实施例中，所述t分期信息用于指示当前的t分期，t分期可大致包括：t1至t4共4个取值，其中，随着肿瘤体积的增加和邻近组织的受影响程度的加深，t分期逐步从t1上升至t4。进一步地，所述t1至t4可以进一步细分，例如，t1又可以分为为t1a及t1b等多个子等级。

在本实施例中，所述n分期信息用于指示当前的n分期，n分期可大致包括：n0至n2，其中，n0指示淋巴组织未收到负面影响；n1至n2分别指示淋巴组织收到负面影响的程度越来越严重。例如，肿瘤组织局部转移会使得淋巴组织受累。

在本实施例中，所述m分期信息用于指示当前的m分期，m分期可包括：m0至m1；其中，m0用于指示未转移，m1指示已转移。此处的m分期，可以用于指示所述肿瘤的远端转移状况信息。

进一步地，所述步骤s120可包括：对所述医疗影像进行分割获得分割结果；基于所述第一部分的分割结果获得所述诊断信息。

例如，所述步骤s120可包括：所述多任务学习模型的第一部分对所述医疗影像进行分割获得分割结果；

所述多任务学习模型的第二部分，基于所述第一部分的分割结果获得所述诊断信息。

本实施例还提供另一种多任务学习模型，该多任务学习模型分为两个大部分，一部分是进行分割处理的分割网络，用于获取分割结果；另一个部分是用于获取诊断信息。

所述第二部分为：具有深度学习能力的深度学习部分或者具有机器学习能力的机器学习部分。例如，所述第二部分可为同时可以获取病情分期信息和生存期预测信息的神经网络。

在一些实施例中，所述方法还包括：结合所述分割结果及所述医疗影像，获得组学特征；所述步骤s120可包括：基于所述医疗影像和所述分割结果获得第四特征；将所述第四特征和所述组学特征通过全连接层的拼接之后得到第五特征；基于所述第五特征获得所述诊断信息。

例如，所述步骤s120可包括：所述第二部分基于所述医疗影像和所述分割结果获得第四特征；将所述第四特征和所述组学特征通过全连接层的拼接之后得到第五特征；基于所述第五特征获得所述诊断信息。

例如，所述第二部分分别对医疗影像和所述分割结果进行卷积等处理得到第四特征，然后将第四特征进行与组学特征进行拼接，例如，利用全连接层进行拼接得到第五特征，然后基于第五特征直接进行预测和/或分期，得到所述诊断信息。

此处的所述组学特征的详细内容可以参见前述实施例的对应部分，此处就不再重复了。

此处的组学特征可以参照前述任意一个实施例。

如图4所示，本实施例提供一种医疗影像处理装置，包括：

接收模块110，用于接收医疗影像；

获取模块120，用于基于所述医疗影像获得所述医疗影像的分割结果及诊断信息，所述分割结果为：分割所述医疗影像中第一对象和第二对象获得的信息；所述诊断信息为：患者的病情分期信息和/或生存期预测信息。

在一些实施例中，所述接收模块110及所述获取模块120可为程序模块，所述程序模块被处理器执行后，能够实现医疗影像的接收、分割结果及诊断信息的获取。

在另外一些实施例中，所述接收模块110及所述获取模块120可为软硬结合模块，所述软硬结合模块可为各种可编程阵列，例如，复杂可编程阵列或现场可百年城阵列。

在还有一些实施例中，所述接收模块110及所述获取模块120可为纯硬件模块，所述纯硬件模块可为专用集成电路。

在一些实施例中，所述获取模块120，具体用于所述多任务学习模型的共享部分对所述医疗影像进行特征提取，获得所述第一对象的第一特征；所述多任务学习模型的第一类分支，基于所述第一特征获得所述分割结果；所述多任务学习模型的第二类分支，基于所述第一特征获得所述诊断信息。

在一些实施例中，所述获取模块120，具体用于于所述第一特征从所述医疗影像中获得包含所述第一对象的图像区域。

在一些实施例中，所述获取模块120，具体用于基于所述第一特征得到所述病情分期信息；基于所述第一特征得到生存期预测信息。

在一些实施例中，所述获取模块120，具体用于对所述第一特征进行卷积处理得到第二特征；基于所述第二特征得到所述病情分期信息；和/或，基于所述第二特征得到所述生存期预测信息。

在一些实施例中，分期分支独立于用于预测分支；所述分期分支用于获取所述病情分期信息，所述预测分支用于获取所述生存期预测信息。

在一些实施例中，所述第一类分支为：具有深度学习能力的深度学习分支或者具有机器学习能力的机器学习分支。

组学特征模块，用于根据所述分割结果及医疗影像获得组学特征；

全连接模块，用于基于所述组学特征和所述第一特征，通过拼接之后得到第三特征；例如，通过全连接层拼接获得所述第三特征；

所述获得模块，具体用于基于所述第三特征获得所述诊断信息。

例如，所述全连接模块可包括：一些预处理的子模块，这些预处理子模块会对所述第一特征进行全局平均池化等降维等处理之后，与所述组特征进行全连接子模块的拼接从而得到所述第三特征。

再例如，所述第一特征可通过专门的预处理模块进行全局平均池化等处理轴，再输入到所述全连接模块中进行全连接层的全连接拼接处理从而得到所述第三特征。

在一些实施例中，所述组学特征包括以下至少之一：

所述第一对象的形态特征；

第一对象的灰度特征。

在一些实施例中，所述获取模块120，具体用于基于所述医疗影像，获得区分肿瘤组织成像与非肿瘤组织成像的所述分割结果。

在一些实施例中，所述获取模块120，具体用于基于所述医疗影像获得肿瘤分期信息，其中，所述肿瘤分期信息包括以下至少之一：基于原发肿瘤的范围确定的t分期信息、基于淋巴组织受累状况确定的n分期信息、基于肿瘤转移状况确定的m分期信息；和/或，所述多任务学习模型基于所述医疗影像获得肿瘤患者的生存期预测信息。

在一些实施例中，所述获取模块120，具体用于对所述医疗影像进行分割获得分割结果；基于所述第一部分的分割结果获得所述诊断信息。

例如，所述获取模块120，具体用于所述多任务学习模型的第一部分对所述医疗影像进行分割获得分割结果；所述多任务学习模型的第二部分，基于所述第一部分的分割结果获得所述诊断信息。

在另一些实施例中，所述第二部分为：具有深度学习能力的深度学习部分或者具有机器学习能力的机器学习部分。

在还有一些实施例中，所述装置还包括：

组学特征模块，用于结合所述分割结果及所述医疗影像，获得组学特征；

所述获得模块，具体用于所述医疗影像和所述分割结果获得第四特征；

将所述第四特征和所述组学特征通过全连接层的拼接之后得到第五特征；

基于所述第五特征获得所述诊断信息。

以下结合上述任意实施例提供一个具体实施例：

示例1：

在本示例基于上述任意一个实施例，以对肠癌的医疗影像进行分割及诊断信息的获取为例进行说明。

本示例提供的医疗影像处理方法包括：

首先，对腹部数据进行预处理，将各图像数据重采样到一个大致相同的尺度，如3mm*1mm*1mm，并进行直方图均衡处理。

使用类似于类似u型网络(u-net)，v型网络(v-net)或全卷积网络(fcn)的网络结构作为深度学习模型的主干网(backbone)，由精到粗，再到精的分辨率。损失函数采用分割损失函数、加上tnm分期的损失函数，和/或，加上生存期预测的损失函数。

和医生标注的金标准进行对比，通过反向传播(backpropagation)，改变网络变梯度值反复迭代，优化深度学习模型的模型参数。此处的模型参数包括：深度学习模型所对应的神经网络中的权值和/或阈值。

如果整个深度学习模型的损失函数包含：分割损失函数、tnm分期的损失函数及生存期预测的损失函数，共三项。三类任务将同时进行优化改善，最终模型体现了分割、分期及预测三类任务的特征，从而更好的对肠癌进行判别。

如果损失函数只采用分割损失函数，只学习得到肠癌肿瘤的精确位置，将精确位置信息，以及可以得到的相关诊断信息叠加到后续tnm分期和生存期预测任务中去，一起用于肠癌的tnm分期和生存期的预测，并对后续的两个任务具有一定的指导意义。

示例2：

对结直肠数据进行预处理，首先将数据重采样到相同尺度，如3*1*1mm；然后对数据进行直方图均衡并归一化到0-1之间。其中操作均可采用传统方法进行。

肠癌肿瘤分割+tnm分期+生存期预测模块。

分割网络结构采用基于fcn[1]，u-net[3]或v-net[2]的结构，将原始大小的结节通过不同层的卷积，对层内和层间分别进行了3次和1次池化(pooling)操作。

将整个数据输入到网络中去，将经过下采样部分得到的热力图(heatmap)和经过相同下采样次数后的金标准进行对比，通过反向传播(backpropagation)对下采样网络部分参数进行训练。得到肿瘤位置后以肿瘤为中心框定人为规定大小的边界框(boundingbox，bbox)，将每个尺寸(size)的数据对应截取出来用于后续训练，以减少后续上采样过程中显存的消耗。之后通过对应3次解卷积操作，将层内和层间分别上采样2倍和8倍。升采样过程中，将降采样中相同分辨率的数据，和升采用中同样大小的特征图像进行融合，这样特征结合了图像中局部和全局的信息。所述热力图为特征图像的一种，例如，所述热力图中像素的像素值为指示某一个像素为第一对象的概率值。

在一些示例中，所述bbox的提取，可以用于节约显存，通过提取组学特征等可以提高分期的准确性及预测准确性。例如，在下采样过程中会定位肿瘤的位置，可会根据这个位置并且以这个位置为中心人为框定一个框(roi，regionofinterest)即所述bbox，并将前边下采样过程中计算的特征按比例将roi中的特征截取出来用于后续的操作，例如，通过后续操作得到组学特征。

tnm分期网络和生存期回归网络可以和分割网络共用编码器(encoder)部分，在后边分别接4个卷积操作的子分支：t分期，n分期，m分期和生存期回归。

网络输出的分割结果和原始标注的分割结果对比，使用dice，iou或其他损失函数，计算损失。tnm分期结果和病理分析tnm分期结果比较，使用交叉熵(crossentropy)作为损失函数。生存期的回归结果和真实生存期进行比对，使用l2损失或均方差(mse)作为回归损失函数。此处的回归损失函数可为前述生存期的预测损失函数。

三类的损失，使用不同权重加在一起(默认都是1/3)，构成最终的损失函数。使用反向传播(backpropagation)更新模型参数，迭代优化模型，直到模型收敛或者达到最大的迭代次数。

测试时，使用训练出的模型，同时得到分割结果，tnm分期的结果及生存期的预测结果。该生存期的预测结果又可以称之为回归结果。

在进行深度学习模型的迭代优化操作中，也可以只使用分割损失函数。得到分割结果后，同时得到肿瘤的体积，位置，形状等信息，和输入图像一起卷积，再输入后续的分类网络和回归网络，经过相应的损失函数计算，最后迭代优化，分类网络和回归网络共用主干网(backbone)；也可以将分割损失和分类回归损失分开迭代优化。图3a所示为本实施例提供的一种多任务学习模型的主干网。图3a中原始的3d图像的图像尺寸为：20*256*256；经过图像卷积和池化处理，图像尺寸依次变为：20*128*128、20*64*64、20*32*32。在图3a中的图像特征个数依次为：24、48、96及192个。

如图5所示，本实施例提供了一种电子设备，包括：

存储器；

处理器，与所述存储器连接，用于通过执行位于所述存储器上的计算机可执行指令，能够实现前述任意技术方案提供的医疗影像处理方法，例如，图1、和/或图2所示医疗影像处理方法中的一个或多个。

该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。

所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。

所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。

在一些实施例中，所述电子设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。

在一些实施例中，所述电子设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。

该电子设备可为前述的视频集锦自动生成装置的应用设备，例如，视频集锦的自动生成服务器。

本实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被执行后，能够实现前述任意技术方案提供的医疗影像处理方法，例如，图1、和/或图2所示医疗影像处理方法中的一个或多个。

所述计算机存储介质可为包括具有记录功能的各种记录介质，例如，cd、软盘、硬盘、磁带、光盘、u盘或移动硬盘等各种存储介质。可选的所述计算机存储介质可为非瞬间存储介质，该计算机存储介质可被处理器读取，从而使得存储在计算机存储机制上的计算机可执行指令被处理器获取并执行后，能够实现前述任意一个技术方案提供的信息处理方法，例如，执行应用于终端设备中的信息处理方法或应用服务器中的信息处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。