医学影像的处理方法、装置及计算机可读存储介质与流程

本发明涉及图像处理技术领域，尤其涉及医学影像的处理方法、装置及计算机可读存储介质。

背景技术：

在医疗行业中，医疗人员经常需要将医学影像中的病灶分割出来，比如分割肝癌影像中的病灶区域，从而实现疾病的辅助诊断和医学数据的可视化，为临床诊疗和病理学研究提供可靠的依据。

目前，在对医学影像中的病灶进行分割时，经常会结合人工智能，以实现病灶分割的自动化过程。然而人工智能一般需要几万份、甚至十几万份的样本数据进行学习，在现实中通常无法收集到如此多的样本数据，导致人工智能在分割病灶时的分割误差较大，精度较低，无法满足医学方面的需求。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种医学影像的处理方法、装置及计算机可读存储介质，旨在通过生成式对抗网络对医学影像扩充数据集，并根据扩充数据集后的医学影像进行病灶的分割，实现了病灶区域的精准分割，从而满足了疾病诊断和医学研究的需求。

为实现上述目的，本发明提供一种医学影像的处理方法，所述医学影像的处理方法包括以下步骤：

在获取到医学影像时，通过生成式对抗网络对所述医学影像进行数据扩充；

获取数据扩充后的所述医学影像中的病灶影像。

可选地，所述获取扩充数据后的所述医学影像中的病灶影像的步骤之后，还包括：

对所述病灶影像进行边缘优化处理。

可选地，所述生成式对抗网络包括生成器网络和判别器网络，所述通过生成式对抗网络对所述医学影像进行数据扩充的步骤包括：

将所述医学影像输入所述生成器网络，得到输出影像；

根据所述判别器网络对所述医学影像和输出影像进行判别处理，得到判别概率；

在所述判别概率处于预设范围时，将所述输出影像作为所述医学影像的扩充影像。

可选地，所述根据所述判别器网络对所述医学影像和输出影像进行判别处理，得到判别概率的步骤之后，所述医学影像的处理方法还包括：

在所述判别概率不处于预设范围时，根据梯度下降算法更新所述生成器网络，以及根据梯度上升算法更新所述判别器网络。

可选地，所述获取数据扩充后的所述医学影像中的病灶影像的步骤包括：

根据数据扩充后的所述医学影像获取预设深度学习模型；

根据所述预设深度学习模型获取数据扩充后的所述医学影像中的病灶影像。

可选地，所述根据数据扩充后的所述医学影像获取预设深度学习模型的步骤之后，所述医学影像的处理方法还包括：

将数据扩充后的所述医学影像输入所述预设深度学习模型，得到输出影像；

将所述输出影像与标准影像进行比对，并根据比对结果更新所述预设深度学习模型。

可选地，所述将所述输出影像与标准影像进行比对，并根据比对结果更新所述预设深度学习模型的步骤包括：

获取所述预设深度学习模型输出的影像与所述标准影像的影像误差；

根据所述影像误差更新所述预设深度学习模型。

可选地，所述根据所述预设深度学习模型获取数据扩充后的所述医学影像中的病灶影像的步骤包括：

将数据扩充后的所述医学影像输入所述预设深度学习模型，得到器官影像；

获取所述器官影像中的病灶影像。

此外，为实现上述目的，本发明还提供医学影像的处理装置，所述医学影像的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的医学影像的处理程序，所述医学影像的处理程序被所述处理器执行时实现如上所述中任一项所述的医学影像的处理方法的步骤。

此外，为实现上述目的，本发明还提供计算机可读存储介质，所述计算机可读存储介质上存储有医学影像的处理程序，所述医学影像的处理程序被处理器执行时实现如上所述中任一项所述的医学影像的处理方法的步骤。

本发明实施例提出的医学影像的处理方法、装置及计算机可读存储介质，在获取到医学影像时，通过生成式对抗网络对所述医学影像进行数据扩充；获取数据扩充后的所述医学影像中的病灶影像。本发明实施例通过生成式对抗网络对医学影像扩充数据集，并根据扩充数据集后的医学影像进行病灶的分割，实现了病灶区域的精准分割，从而满足了疾病诊断和医学研究的需求。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明医学影像的处理方法的一实施例的流程示意图；

图3为图2步骤s10的细化流程示意图；

图4为图2步骤s20的细化流程示意图；

图5为本发明医学影像的处理方法又一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：

在获取到医学影像时，通过生成式对抗网络对所述医学影像进行数据扩充；

获取数据扩充后的所述医学影像中的病灶影像。

由于现有技术中，在对医学影像中的病灶进行分割时，经常会结合人工智能，以实现病灶分割的自动化过程。然而人工智能一般需要几万份、甚至十几万份的样本数据进行学习，在现实中通常无法收集到如此多的样本数据，导致人工智能在分割病灶时的分割误差较大，精度较低，无法满足医学方面的需求。

本发明提供一种解决方案，通过生成式对抗网络对医学影像扩充数据集，并根据扩充数据集后的医学影像进行病灶的分割，实现了病灶区域的精准分割，从而满足了疾病诊断和医学研究的需求。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是pc，也可以是智能手机、平板电脑、便携计算机等设备。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及医学影像的处理程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的医学影像的处理程序，并执行以下操作：

在获取到医学影像时，通过生成式对抗网络对所述医学影像进行数据扩充；

获取数据扩充后的所述医学影像中的病灶影像

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

对所述病灶影像进行边缘优化处理。

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

将所述医学影像输入所述生成器网络，得到输出影像；

根据所述判别器网络对所述医学影像和输出影像进行判别处理，得到判别概率；

在所述判别概率处于预设范围时，将所述输出影像作为所述医学影像的扩充影像。

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

在所述判别概率不处于预设范围时，根据梯度下降算法更新所述生成器网络，以及根据梯度上升算法更新所述判别器网络。

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

根据数据扩充后的所述医学影像获取预设深度学习模型；

根据所述预设深度学习模型获取数据扩充后的所述医学影像中的病灶影像。

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

将数据扩充后的所述医学影像输入所述预设深度学习模型，得到输出影像；

将所述输出影像与标准影像进行比对，并根据比对结果更新所述预设深度学习模型。

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

获取所述预设深度学习模型输出的影像与所述标准影像的影像误差；

根据所述影像误差更新所述预设深度学习模型。

进一步地，处理器1001可以调用存储器1005中存储的医学影像的处理程序，还执行以下操作：

将数据扩充后的所述医学影像输入所述预设深度学习模型，得到器官影像；

获取所述器官影像中的病灶影像。

参照图2，在一实施例中，所述医学影像的处理方法包括以下步骤：

步骤s10，在获取到医学影像时，通过生成式对抗网络对所述医学影像进行数据扩充；

在本实施例中，由于同一类型的医学影像数量较少，且不便于收集，因此在获取到医学影像时，需要根据多个医学影像进行数据集的扩充，以便于在样本数据的数量足够时，根据深度学习模型进行病灶的分割，并且分割更加准确。在进行数据的扩充时，可采用生成式对抗网络来生成虚拟的同类型医学影像。生成式对抗网络包括生成器网络和判别器网络，在构建生成器网络和判别器网络时，生成器网络和判别器网络可以是任意两个能输出图片的深度学习模型，例如，全连接神经网络模型、反卷积神经网络模型等。将多个医学影像模型输入生成器网络，在控制生成器网络进行输出时，加入随机噪声。将医学影像与随机噪声叠加后，可得到随机产生的输出影像，再根据判别器网络判断输出影像是否属于所述医学影像的类别，并通过判别器输出判别概率。在判别概率处于预设范围内时，表示该输出影像符合要求，可以作为医学影像的扩充影像，从而实现医学影像的数据扩充，其中，预设范围一般是等于0.5。在通过生成式对抗网络对所述医学影像进行数据扩充，也可结合旋转、变形和镜像等方式进行数据的进一步扩充。此外，在对所述医学影像进行数据扩充前，可对所述医学影像进行多种预处理，包括图像大小剪切、图像窗宽窗位的调整等，以降低不同医学影像的图像差异。

步骤s20，获取数据扩充后的所述医学影像中的病灶影像。

在本实施例中，在对所述医学影像进行数据扩充后，可通过深度学习模型来获取数据扩充后的所述医学影像中的病灶影像。获取初始的预设深度学习模型，然后根据数据扩充后的所述医学影像来训练初始的预设深度学习模型，即预设深度学习模型的更新。在更新完成后，将数据扩充后的所述医学影像输入更新完成的预设深度学习模型中，得到分割出来的病灶影像。为了使分割更加准确，分割过程可分步进行，即经过多次分割得到病灶影像。由于医学影像的特殊性，分割步骤一般可分为两次，即获取数据扩充后的所述医学影像中的器官影像，再获取器官影像中的病灶影像，以提升分割的准确性。在预设深度学习模型的更新过程中，将数据扩充后的所述医学影像输入所述预设深度学习模型，得到输出影像，再将输出影像与标准影像进行比对，计算影像误差，根据误差调整预设深度学习模型的模型参数，从而实现预设深度学习模型的更新。在更新达到预设次数或影像误差小于预设值时，表示更新完成。

此外，初始的预设深度学习模型可通过学习迁移(transferlearning)的方式，根据现有的或其他技术人员训练好的图像分割模型来生成。迁移学习是一种权重共享技术，通过学习迁移的方式，可减小预设深度学习模型的更新过程中的计算量和计算时间，实现步骤的简化，同时还可提高泛化能力。

在获取到数据扩充后的所述医学影像中的病灶影像后，还可对病灶影像进行边缘优化处理。具体的，可采用全连接条件随机场(crf，fully-connectedconditionalrandomfields)。对病灶影像中的像素点i赋予分类标签xi，xi为随机变量，并建立crf模型。在crf模型中，分类标签xi的吉布斯能量函数的表达式如下：

其中，表示一元能量项，代表像素点i分类为标签xi的势能，包括像素点i的灰度，表示像素点i与像素点j同时分类为标签xi的势能，代表着像素点i与其他所有像素的关系。通过最小化吉布斯能量e(x)，就可计算出每一像素点最有可能的分类标签，进而根据不同的分类标签对病灶影像的边缘部分进行分割，以实现边缘的优化。

在本实施例公开的技术方案中，通过生成式对抗网络对医学影像扩充数据集，并根据扩充数据集后的医学影像进行病灶的分割，实现了病灶区域的精准分割，从而满足了疾病诊断和医学研究的需求。

在另一实施例中，如图3所示，在上述图2所示的实施例基础上，步骤s10包括：

步骤s11，将所述医学影像输入所述生成器网络，得到输出影像；

步骤s12，根据所述判别器网络对所述医学影像和输出影像进行判别处理，得到判别概率；

在本实施例中，生成式对抗网络(gan，generativeadversarialnetworks)是一种深度学习模型，通过至少两个网络：生成器网络和判别器网络的互相博弈学习，产生非常好的输出。在进行图片数据的扩充时，随机产生一个噪声图片，再将多个医学影像输入生成器网络中，将噪声图片与多个医学影像的隐含特征部分进行叠加，得到输出影像。通过判别器网络判断输出影像是否属于多个医学影像的类别，并可输出一维向量，该一维向量的取值在0至1之间。在输出影像不属于多个医学影像类别时，判别器网络判定输出影像为“假”样本，输出的一维向量为0，即判别概率为0；在输出影像属于多个医学影像类别时，判别器网络判定输出影像为“真”样本，输出的一维向量为1，即判别概率为1。

步骤s13，在所述判别概率处于预设范围时，将所述输出影像作为所述医学影像的扩充影像。

在本实施例中，预设范围一般是指等于0.5。在判别概率为0.5时，表明生成器网络输出的影像符合要求，可将生成器网络输出的影像作为医学影像的扩充影像。在判别概率不为0.5时，则可对生成器网络和判别器网络进行更新，更新过程可重复多次，直至判别概率处于预设范围内。针对生成器网络的更新，其目的主要是最大化判别器网络的判别概率，使判别概率等于1，即使生成器网络生成的影像尽可能“真”，而针对判别器网络的更新，其主要目的是最小化判别器网络的判别概率，使判别概率等于0，从而更好地区分生成器网络生成的影像与医学影像。这样，生成器网络和判别器网络构成了一个动态的博弈过程，直至判别概率为0.5，达到一个平衡点，之后就可以根据生成器网络输出的影像来扩充数据。上述过程的表达式如下：

其中，x代表医学影像，z代表生成器网络的噪声，g(z)表示生成器网络的输出影像，d(x)表示医学影像为真实影像的概率，由于医学影像本身就是真实的，因此d(x)越接近于1越好，d(g(z))表示生成器网络的输出影像为真实影像的判别概率。由于生成器网络的输出影像越接近于真实越好，因此d(g(z))应尽可能大，这时v(d,g)则会变小，因此表达式(1)中为另一方面，判别器网络需要区分生成器网络生成的影像与医学影像，因此d(x)应尽可能大，d(g(z))应尽可能小，这时v(d,g)则会变大，因此表达式(1)中为

在更新生成器网络和判别器网络时，可采用随机梯度算法进行。在更新判别器网络时，由于判别器网络希望v(d,g)越大越好，因此可采用梯度下降算法，在更新生成器网络时，由于生成器网络希望v(d,g)越小越好，因此可采用梯度上升算法。梯度算法的具体过程在此不再赘述。

在本实施例公开的技术方案中，将所述医学影像输入所述生成器网络，根据所述判别器网络对所述医学影像和输出影像进行判别处理，得到判别概率，在所述判别概率处于预设范围时，将所述输出影像作为所述医学影像的扩充影像，实现了根据生成式对抗网络模型进行医学影像的数据扩充的目的，提高了病灶分割的准确性。

在再一实施例中，如图4所示，在图2至图3任一实施例所示的基础上，步骤s20包括：

步骤s21，根据数据扩充后的所述医学影像获取预设深度学习模型；

在本实施例中，深度学习模型可采用u-net模型，u-net模型是一种生物医学图像分割的卷积神经网络，适合用来做医学图像的分割。由于医学影像为灰色图像，目标特征和周围组织很接近，且数据集较小，因此通过u-net模型可以高效地提取图片的语义信息。u-net模型采用全卷积神经网络，包括卷积层、剪切层、最大池化层、反卷积层，因此在使用u-net模型时可以输入任意尺寸的图片，而且输出也是图片，这是一个端到端的模型。在向u-net模型中输入图片时，首先经过卷积层和池化层逐层下采样，以获取图片的抽象特征，再经过反卷积层以及卷积层逐层上采样，以补足一些图片的信息，但是信息的补充并不完全，因此需要与剪切层传输过来的高分辨率图片的信息进行综合，这样，根据图片提取的特征更加有效，并且更加抽象，最后再经过卷积核为1*1的卷积层进行降维，以获取输出的图片。在根据数据扩充后的所述医学影像输入所述预设深度学习模型，得到输出影像。将输出影像与标准影像进行比对，根据比对结果更新预设深度学习模型。在对比时，计算输出影像与标准影像的影像误差，根据影像误差调整预设深度学习模型的模型参数，从而实现更新过程。

由于深度学习的计算非常巨大，需要消耗大量计算资源，因此在u-net模型中，还可加入迁移学习来减小计算量。在迁移学习时，可根据现有的或其他技术人员训练好的同类型的图像分割模型来生成。同类型的图像分割模型可采用残差网络模型resnet-50。resnet-50由50个单元组成，每个单元包括一个恒等映射，以将当前层的输出直接传递给下一层，避免增加额外的参数。在向后传播过程中，也可使用恒等映射，将当前层的梯度直接传递给上一层，解决了深度学习模型中梯度消失的问题，从而可以更好地提取图片中的特征。在具体操作过程中，获取预先训练好的resnet-50的图像分割模型，将初始的预设深度学习模型中的部分模型参数和部分结构直接替换为resnet-50的图像分割模型中的模型参数和结构，再根据数据扩充后的所述医学影像对替换后的预设深度学习模型进行更新，并且在更新时可不对替换后的模型参数进行更新，或是对替换的模型参数只进行微调，从而减少了计算量，提高了泛化能力。

步骤s22，根据所述预设深度学习模型获取数据扩充后的所述医学影像中的病灶影像。

在本实施例中，在获取到预设深度学习模型，可将数据扩充后的所述医学影像输入预设深度学习模型，得到输出的影像，即为分割出来的病灶影像。为了分割得更加准确，分割可分步进行，即经过多次分割得到病灶影像。由于医学影像的特殊性，分割步骤一般有两次，即获取数据扩充后的所述医学影像中的器官影像，再获取器官影像中的病灶影像，以提升分割的准确性。在获取到病灶影像后，还可通过dice系数、体积重叠误差等评估病灶影像分割的准确性。

此外，由于医学影像无法直接输入预设深度学习模型中，并且医学影像一般为灰色图片，因此可将医学影像中每一像素的灰度作为该像素的值，从而得到与医学影像对应的数据矩阵，从而可将数据矩阵输入预设深度学习模型中，在输出时也可将输出的数据矩阵转化为具体的输出影像。由于灰度的范围为0-255，因此数据矩阵中数据的范围也是0-255。

在本实施例公开的技术方案中，根据数据扩充后的所述医学影像获取预设深度学习模型，根据所述预设深度学习模型获取数据扩充后的所述医学影像中的病灶影像，实现了根据深度学习模型获取医学影像中病灶影像的目的。

在又一实施例中，如图5所示，在图2至图4任一实施例所示的基础上，步骤s21之后，还包括：

步骤s01，将数据扩充后的所述医学影像输入所述预设深度学习模型，得到输出影像；

步骤s02，将所述输出影像与标准影像进行比对，并根据比对结果更新所述预设深度学习模型。

在本实施例中，将数据扩充后的所述医学影像输入所述预设深度学习模型，可得到预设深度学习模型的输出影像，并将所述输出影像与标准影像进行比对，并根据比对结果更新所述预设深度学习模型。标准影像为本领域技术人员从医学影像中分割出来的标准的病灶影像，即图像分割的金标准。比对结果即输出影像与标准影像的影像误差，可通过加权损失函数来计算。加权损失函数的表达式如下：

其中，loss为加权损失函数的输出值，ytrue表示标准影像，ypred表示预设深度学习模型的输出影像，表示将两个影像逐像素进行比较。

在计算出影像误差后，可根据影像误差通过向后传播更新预设深度学习模型的模型参数，以实现预设深度学习模型的更新。在更新达到预设次数或影像误差小于预设值时，表示更新完成。

若通过一次分割获取数据扩充后的所述医学影像中的器官影像，再通过二次分割获取器官影像中的病灶影像，则对应的预设深度学习模型可以是不同的两个模型，在更新预设深度学习模型时，标准影像也可以是不同的两种影像，以分别对应器官影像和病灶影像。

在本实施例公开的技术方案中，将数据扩充后的所述医学影像输入所述预设深度学习模型，得到输出影像，将所述输出影像与标准影像进行比对，并根据比对结果更新所述预设深度学习模型，实现了一种预设深度学习模型的更新方法。

此外，本发明实施例还提出一种医学影像的处理装置，所述医学影像的处理装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的医学影像的处理程序，所述医学影像的处理程序被所述处理器执行时实现如上实施例所述的医学影像的处理方法的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有医学影像的处理程序，所述医学影像的处理程序被处理器执行时实现如上实施例所述的医学影像的处理方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。