基于医学影像模型的影像处理方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种基于医学影像模型的影像处理方法及装置。

背景技术：

医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。一般地，医学影像包含以下两个相对独立的研究方向：医学成像系统和医学影像处理。其中，在医院成像系统完成了图像成像后，需要对图像进行进一步处理，以便于后续如医学诊断或数据加工等相关处理。

目前，传统的医学影像处理主要是针对图像特性本身的处理，例如对医学影像进行图像增强以便于医护人员观察或对医学影像进行数据压缩以便于跨域传输等。医学影像处理在图像层面上大大便利了医护工作的开展复杂度。但是，医学影像在成像过程中，由于人体个体差异天然导致大量客观干扰因素。以医学影像为对肺部进行成像胸透x光为例，由于成像对象的个体差异，获取到的肺部图像大小不一，难以清晰展示肺部组织，影响诊断等医护工作的效率。

技术实现要素：

基于此，有必要针对传统医学影像还以清晰展示病灶等相关信息，影响医护工作的效率这一缺陷，提供一种基于医学影像模型的影像处理方法及装置。

一种基于医学影像模型的影像处理方法，应用于包括第一编码器、第二编码器、第一解码器和第二解码器的医学影像模型，包括步骤：

获取待处理医学影像；

通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理；

通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理；

通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作；

通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。

上述的基于医学影像模型的影像处理方法，获取到待处理医学影像后，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

在其中一个实施例中，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理的过程，包括步骤：

通过第一编码器对待处理医学影像依次进行三轮卷积池化处理；其中，每轮卷积池化处理包括两次3x3的卷积操作和一次2x2的最大池化。

在其中一个实施例中，通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理的过程，包括步骤：

通过第一解码器对第一编码器的卷积处理结果作三轮上采样卷积处理；其中，每轮上采样卷积处理包括一次2x2的上采样和两次3x3的卷积操作。

在其中一个实施例中，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作的过程，包括步骤；

通过第二编码器对第一轮卷积池化处理结果作第一次特征图拼接处理，并对第一次特征图拼接处理结果并进行一次2x2的最大池化；

通过第二编码器对第二轮卷积池化处理结果、第一次特征图拼接处理结果的2x2的最大池化结果作第二次特征图拼接处理，并对第二次特征图拼接处理结果作两次3x3的卷积操作和一次2x2的最大池化；

拼接第一轮卷积池化处理结果与第二次特征图拼接处理结果的2x2的最大池化结果。

在其中一个实施例中，通过第二解码器对第二编码器的处理结果作卷积池化处理的过程，包括步骤：

通过第二解码器对第二编码器的处理结果作三轮卷积池化处理；其中，每轮卷积池化处理包括两次3x3的卷积操作和一次2x2的最大池化；

对三轮卷积池化处理结果再作两次3x3的卷积操作。

在其中一个实施例中，根据第二解码器的卷积池化处理结果得到合并特征图的过程，包括步骤：

对第二解码器的卷积池化处理结果进行一次1x1的卷积操作，得到合并特征图。

在其中一个实施例中，医学影像模型包括m-resnet神经网络。

一种基于医学影像模型的影像处理装置，应用于包括第一编码器、第二编码器、第一解码器和第二解码器的医学影像模型，包括：

影像获取模块，用于获取待处理医学影像；

第一处理模块，用于通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理；

第二处理模块，用于通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理；

第三处理模块，用于通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作；

第四处理模块，用于通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。

上述的基于医学影像模型的影像处理装置，获取到待处理医学影像后，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

一种计算机存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一实施例的基于医学影像模型的影像处理方法。

上述的计算机存储介质，获取到待处理医学影像后，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例的基于医学影像模型的影像处理方法。

上述的计算机设备，获取到待处理医学影像后，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

附图说明

图1为医学影像模型结构示意图；

图2为一实施方式的基于医学影像模型的影像处理方法流程图；

图3为另一实施方式的基于医学影像模型的影像处理方法流程图；

图4为另一实施方式的医学影像模型结构示意图；

图5为一实施方式的基于医学影像模型的影像处理装置模块结构图。

具体实施方式

为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于医学影像模型的影像处理方法。

本发明实施例的基于医学影像模型的影像处理方法基于一医学影像模型。医学影像模型基于神经网络构建。作为一个较优的实施方式，医学影像模型包括m-resnet(residualneuralnetwork)神经网络。

图1为医学影像模型结构示意图，如图1所示，医学影像模型包括第一编码器encode_1、第一解码器decode_1、第二编码器encode_2和第二解码器decode_2。

图2为一实施方式的基于医学影像模型的影像处理方法流程图，如图2所示，一实施方式的基于医学影像模型的影像处理方法包括步骤s100至步骤s104：

s100，获取待处理医学影像；

待处理医学影像包括医学影像设备采集的原始数据或未经相关医学、技术处理的原始数据。

待处理医学影像作为特征向量输入医学影像模型，由医学影像模型的第一编码器encode_1、第一解码器decode_1、第二编码器encode_2和第二解码器decode_2依次完成向量层面的处理。

s101，通过第一编码器encode_1对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理；

通过第一编码器encode_1对待处理医学影像作卷积池化处理，卷积池化处理后再对卷积池化处理结果作卷积处理，完成第一编码器encode_1的第一次编码操作。

在其中一个实施例中，图3为另一实施方式的基于医学影像模型的影像处理方法流程图，如图3所示，步骤s101中通过第一编码器encode_1对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理的过程，包括步骤s200：

s200，通过第一编码器encode_1对待处理医学影像依次进行三轮卷积池化处理；其中，每轮卷积池化处理包括两次3x3的卷积操作和一次2x2的最大池化。

图4为另一实施方式的医学影像模型结构示意图，如图4所示，第一编码器encode_1进行三轮卷积池化，每进行两次3x3的卷积操作后，进行一次2x2的最大池化。进行三轮卷积池化后，再进行两次3x3的卷积操作。

其中，如图4所示，右指向的箭头表示3x3的卷积层及relu激活，用于特征提取；上指向的箭头表示2x2的最大池化层，用于缩小特征图；下指向的箭头表示2x2上采样，用于放大特征图。

s102，通过第一解码器decode_1对第一编码器encode_1的卷积处理结果作上采样卷积处理；

通过第一解码器decode_1对第一编码器encode_1的卷积处理结果作上采样卷积处理，完成第一解码器decode_1的第一次解码操作。

在其中一个实施例中，如图3所示，步骤s102中通过第一解码器decode_1对第一编码器encode_1的卷积处理结果作上采样卷积处理的过程，包括步骤s300：

s300，通过第一解码器decode_1对第一编码器encode_1的卷积处理结果作三轮上采样卷积处理；其中，每轮上采样卷积处理包括一次2x2的上采样和两次3x3的卷积操作。

如图4所示，第一解码器decode_1每进行一次2x2的上采样后，又进行两次3x3的卷积操作，且总共进行了三轮上采样卷积。

s103，通过第二编码器encode_2对第一编码器encode_1的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作；

通过第二编码器encode_2对第一编码器encode_1的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，完成第二编码器encode_2的第二次编码操作。

在其中一个实施例中，步骤s103中通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作的过程，包括步骤s400至步骤s402：

s400，通过第二编码器对第一轮卷积池化处理结果作第一次特征图拼接处理，并对第一次特征图拼接处理结果并进行一次2x2的最大池化；

s401，通过第二编码器对第二轮卷积池化处理结果、第一次特征图拼接处理结果的2x2的最大池化结果作第二次特征图拼接处理，并对第二次特征图拼接处理结果作两次3x3的卷积操作和一次2x2的最大池化；

s402，拼接第一轮卷积池化处理结果与第二次特征图拼接处理结果的2x2的最大池化结果。

如图4所示，第一编码器encode_1将每一轮最后卷积的特征图通过复制连接至第二编码器encode_2中。第二编码器encode_2先与第一编码器encode_1第一轮复制的特征图进行拼接，然后进行一次2x2的最大池化，再与第一个编码器第二轮复制的特征图进行拼接。再进行两次3x3的卷积操作后，进行一次2x2的最大池化，再与第一编码器encode_1复制的特征图进行拼接，总共进行两轮卷积池化及特征图拼接处理。

s104，通过第二解码器decode_2对第二编码器encode_2的处理结果作卷积池化处理，并根据第二解码器decode_2的卷积池化处理结果得到合并特征图。

通过第二解码器decode_2对第二编码器encode_2的处理结果作卷积池化处理，并根据第二解码器decode_2的卷积池化处理结果得到合并特征图，完成第二解码器decode_2的第二次解码处理。通过两次编解码处理，得到的合并特征图即待处理医学影像的分割后的目标区域图像。

在其中一个实施例中，如图3所示，步骤s104中通过第二解码器decode_2对第二编码器encode_2的处理结果作卷积池化处理的过程，包括步骤s500和s501：

s500，通过第二解码器decode_2对第二编码器encode_2的处理结果作三轮卷积池化处理；其中，每轮卷积池化处理包括两次3x3的卷积操作和一次2x2的最大池化；

s501，对三轮卷积池化处理结果再作两次3x3的卷积操作。

如图4所示，第二解码器decode_2每进行两次3x3的卷积操作后，进行一次2x2的最大池化，总共进行三轮卷积池化，进行三轮卷积池化后，再进行两次3x3的卷积操作。

在其中一个实施例中，如图3所示，步骤s104中根据第二解码器decode_2的卷积池化处理结果得到合并特征图的过程，包括步骤s600：

s600，对第二解码器decode_2的卷积池化处理结果进行一次1x1的卷积操作，得到合并特征图。

如图4所示，在步骤s401中最后进行3x3的卷积操作后，再将3x3的卷积操作得到的特征图进行1x1的卷积操作，得到合并特征图。

上述任一实施例的基于医学影像模型的影像处理方法，获取到待处理医学影像后，通过第一编码器encode_1对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器decode_1对第一编码器encode_1的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器encode_2对第一编码器encode_1的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器decode_2对第二编码器encode_2的处理结果作卷积池化处理，并根据第二解码器decode_2的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

本发明实施例还提供了一种基于医学影像模型的影像处理装置。

图5为一实施方式的基于医学影像模型的影像处理装置模块结构图，如图5所示，一实施方式的基于医学影像模型的影像处理装置包括模块100、模块101、模块102、模块103和模块104：

影像获取模块，用于获取待处理医学影像；

第一处理模块，用于通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理；

第二处理模块，用于通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理；

第三处理模块，用于通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作；

第四处理模块，用于通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。

上述的基于医学影像模型的影像处理装置，获取到待处理医学影像后，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的基于医学影像模型的影像处理方法。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(ram，randomaccessmemory)、只读存储器(rom，read-onlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、ram、rom、磁碟或者光盘等各种可以存储程序代码的介质。

与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的任意一种基于医学影像模型的影像处理方法。

上述计算机设备，获取到待处理医学影像后，通过第一编码器对待处理医学影像作卷积池化处理，并对卷积池化处理结果作卷积处理，并通过第一解码器对第一编码器的卷积处理结果作上采样卷积处理。进一步地，通过第二编码器对第一编码器的卷积池化处理结果作特征图拼接处理，并对拼接处理结果作卷积和/或最大池化操作，最后通过第二解码器对第二编码器的处理结果作卷积池化处理，并根据第二解码器的卷积池化处理结果得到合并特征图。基于此，通过两次编解码的过程，提高医学影像模型的泛化能力。同时，基于医学影像模型的处理基础，得到的合并特征图即待处理医学影像的目标区域，有利于医护人员快速识别目标区域的组织或病灶等，以提高工作效率。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。