一种医学图像处理方法、系统、设备、存储介质与流程

本发明涉及图像处理领域，尤其是一种医学图像处理方法、系统、设备、存储介质。
背景技术：
：过去的几十年期间糖尿病的高速增长引起了各界的关注，糖尿病引起的疾病的指数增长已成为当前医疗保健行业面临的巨大挑战。而且不幸的是，患有糖尿病引起的疾病的患者数量仍然以惊人的速度持续增长。还有更让人担忧的是，仅有大约70％的患者意识到他们患有这种疾病。从医学角度来看，糖尿病被认为是许多健康问题和后期障碍的基础，即糖尿病会引起一系列的病变和并发症，包括：导致严重心脏病，糖尿病性视网膜病变(dr)和肾脏问题等。dr是最常见的糖尿病并发症之一，它被认为是失明的最主要原因之一。研究表明，无论人口数量或社会经济背景如何，世界各个地区的糖尿病问题都在以惊人的速度增长。此外，一项研究显示，由于发展中国家的生活条件和治疗设施存在缺陷，所以近75％的dr患者属于发展中国家，而且dr患者的失明可能性比没有患有dr的人几乎高25倍。但是当前缺少糖尿病视网膜病变的医学专家，世界上大部分的dr患者不能及时得到有效的病变检测和治疗，大部分患者只有当视网膜病变已经发展到治疗变得高度复杂且有时几乎不可行的程度时才能意识到寻求治疗。然而，dr在初始阶段治愈率可以达到90％，因此及早发现dr并且得到有效治疗能都大大降低dr导致失明的风险。所以，dr检测技术显得尤为重要，医学图像分析是目前引起科学家和医师极大兴趣的研究领域之一。dr可以分为两大类即非增殖性糖尿病视网膜病变(npdr)以及增殖性视网膜病变(pdr)。npdr有三个亚类：轻度npdr，中度npdr和重度npdr。非增殖型为病变早期，病变局限于视网膜内，表现为微血管瘤、出血、硬性和软性渗出物、视网膜动脉和静脉病变。增殖型病变至少有部分伸延超过内界膜，出现新生血管是增殖型的标志。dr的病灶详细描述如下：(1)微动脉瘤微动脉瘤代表了视网膜损伤最原始的可感知迹象，视网膜血管的异常通透性导致微动脉瘤的形成。在医学图像上，它是小的，圆形的，并且具有通常在黄斑周期的暗红色斑点。微动脉瘤可以看作是一个红点，边缘锐利，尺寸大小在20μm到200μm之间，近似于光盘大小的8.25％。(2)硬性渗出物与微动脉瘤不同，硬渗出物是脂蛋白和其他一些蛋白质从视网膜血管中漏出所形成的。在视觉上，它看起来像小的白色或黄白色沉积物，具有明显的边缘。硬性渗出物通常以环状形式的形式组织，通常在视网膜外层中出现。硬性渗出物通常是不规则的并且有光泽的，并且发现的位置接近微动脉瘤或视网膜水肿的边缘。(3)软性渗出物一般而言，软性渗出物是由于小动脉闭塞而形成的。流向视网膜的血流量减少导致视网膜神经纤维层(rnfl)缺血，最终影响轴浆流，从而在视网膜神经节细胞轴突上积累轴浆碎片。这种积聚可以像rnfl中的蓬松白色病变一样可视化，这通常被称为软性渗出物。(4)出血出血由于弱血管的渗漏而发生，出血的病灶在于具有不同密度和不均匀边缘的红点形式，且它是在125μm的范围内被发现的。从广义上讲，出血分为两类：火焰和斑点印迹出血，其中第一种类型起源于毛细血管前小动脉并出现在神经纤维上。第二种类型斑点印迹出血是圆形的并且小于微动脉瘤。斑点印迹出血可以出现在不同水平的视网膜上，但是，它大多数情况下会出现在毛细血管的经脉末端。(5)新血管形成新血管形成通常表示出现在视网膜内表面上的新血管的非典型出现。新血管很细小并且反复渗入玻璃体腔，这会降低视觉能力并使其显着模糊，最终导致失明。(6)黄斑水肿黄斑水肿被鉴定为视网膜的肿胀部分，其通常由于异常视网膜毛细血管的渗透性而发生。黄斑水肿导致黄斑周围的液体或其他溶质泄漏且严重影响视力。因此，现有技术中，针对包括糖尿病性视网膜病变(dr)在内的病变患者，仅依靠医生人眼通过观察病理图像判断是否发生病变以及病变程度，依靠肉眼观察、分析图像非常占用时间和精力，而且效率低下，不同医生的判断还存在差异性，这一问题亟待解决。技术实现要素：本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的是提供一种医学图像处理方法、系统、设备、存储介质，用于提高对医学图像的处理、分析效率。本发明所采用的技术方案是：第一方面，本发明提供一种医学图像处理方法，包括以下步骤：病灶图像获取步骤，根据医学图像提取病灶图像；得分生成步骤，根据所述病灶图像获取多个病灶得分，所述病灶得分为所述病灶图像属于不同图像异常程度的第一异常概率；第二异常概率获取步骤，根据所述医学图像和所述病灶图像获取所述医学图像的多个第二异常概率，所述第二异常概率为所述医学图像属于不同图像异常程度的概率；分类步骤，根据多个所述第一异常概率、多个所述第二异常概率和不同的权重系数按照不同图像异常程度获取所述医学图像属于不同图像异常程度的最终概率，并将最大的所述最终概率的图像异常程度作为所述医学图像的图像异常程度。进一步地，所述医学图像包括眼底照片。进一步地，所述病灶图像获取步骤包括：根据所述医学图像和分割神经网络获取多种病灶掩模图像；根据所述病灶掩模图像和所述医学图像获取多种所述病灶图像。进一步地，所述得分生成步骤包括：分别提取多种所述病灶图像的病灶特征，所述病灶特征包括颜色或形状；拼接多个所述病灶特征并将其输入第一机器学习分类算法获取多个所述病灶得分。进一步地，所述第二异常概率获取步骤包括：根据所述医学图像、多种所述病灶图像和第二机器学习分类算法获取所述医学图像的多个第二异常概率。进一步地，所述图像异常程度包括正常、轻度第一异常、中度第一异常、重度第一异常和第二异常。进一步地，所述第一异常概率的权重系数为0.2，所述第二异常概率的权重系数为0.8。第二方面，本发明提供一种医学图像处理系统，包括：病灶图像获取单元，用于根据医学图像提取病灶图像；得分生成单元，用于根据所述病灶图像获取多个病灶得分，所述病灶得分为所述病灶图像属于不同图像异常程度的第一异常概率；第二异常概率获取单元，用于根据所述医学图像和所述病灶图像获取所述医学图像的多个第二异常概率，所述第二异常概率为所述医学图像属于不同图像异常程度的概率；分类单元，用于根据多个所述第一异常概率、多个所述第二异常概率和不同的权重系数按照不同图像异常程度获取所述医学图像属于不同图像异常程度的最终概率，并将最大的所述最终概率的图像异常程度作为所述医学图像的图像异常程度。第三方面，本发明提供一种医学图像处理设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的医学图像处理方法。第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的医学图像处理方法。本发明的有益效果是：本发明一方面通过病灶图像获取多个第一异常概率，另一方面通过医学图像和病灶图像获取多个第二异常概率，再根据多个第一异常概率、多个第二异常概率和不同的权重系数按照不同图像异常程度获取医学图像属于不同图像异常程度的最终概率，并将最大的最终概率的图像异常程度作为医学图像的图像异常程度，实现对医学图像的异常程度进行分析，克服现有技术中存在对病理图像处理、分析依靠肉眼，效率低下的技术问题。另外，本发明还通过分割神经网络获取医学图像的多种病灶掩模图像，以进一步获取多种病灶图像，确保准确提取病灶图像。附图说明图1是本发明中一种医学图像处理方法的一具体实施例流程图；图2是本发明中一种医学图像处理方法的分割神经网络的一具体实施例示意图。具体实施方式需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。实施例1一种医学图像处理方法，包括以下步骤：病灶图像获取步骤，根据医学图像提取病灶图像；得分生成步骤，根据病灶图像获取多个病灶得分，病灶得分为病灶图像属于不同图像异常程度的第一异常概率，例如，图像异常程度包括正常和异常两种，则得分生成步骤是获取病灶图像属于正常或异常的概率，获得两个第一异常概率，依此类推；第二异常概率获取步骤，根据医学图像和病灶图像获取医学图像的多个第二异常概率，第二异常概率为医学图像属于不同图像异常程度的概率；分类步骤，根据多个第一异常概率、多个第二异常概率和不同的权重系数按照不同图像异常程度获取医学图像属于不同图像异常程度的最终概率，并将最大的最终概率的图像异常程度作为医学图像的图像异常程度。即将同一图像异常程度的第一异常概率和第二异常概率按照不同权重系数相加获得该图像异常程度的最终概率，由于有多个不同的图像异常程度，则可以获得医学图像的多个最终概率。一种医学图像处理方法，一方面通过病灶图像获取多个第一异常概率，另一方面通过医学图像和病灶图像获取多个第二异常概率，再根据多个第一异常概率、多个第二异常概率和不同的权重系数按照不同图像异常程度获取医学图像属于不同图像异常程度的最终概率，并将最大的最终概率的图像异常程度作为医学图像的图像异常程度，实现对医学图像的异常程度进行分析，提高医学图像的处理和分析效率，克服现有技术中存在对病理图像处理、分析依靠肉眼，效率低下的技术问题。进一步地，医学图像包括但不限于眼底照片，本实施例中，以眼底照片为例对医学图像处理方法进行说明，其余种类的医学图像的处理方法，可以参照以下对眼底照片的处理方法的具体描述，对图像的处理方法类似，不再赘述。而图像异常程度包括但不限于正常、轻度第一异常、中度第一异常、重度第一异常和第二异常，其中，以眼底照片为例，则第一异常为非增殖性病变，第二异常为增殖性病变，则眼底照片的图像异常程度包括但不限于正常、轻度非增殖性病变、中度非增殖性病变、重度非增殖性病变和增殖性病变。参考图1，图1是本发明中一种医学图像处理方法的一具体实施例流程图；下面对医学图像处理方法做具体说明：第一步：对数据进行预处理。本发明使用的数据为二维彩色眼底照片，原图片大小为3000×3000，需对图片进行预处理，先将图片的背景等多余部分剪裁掉，以将图片的大小调整为128×128。第二步：病灶图像获取步骤，包括：根据医学图像和分割神经网络获取多种病灶掩模图像；根据病灶掩模图像和医学图像获取多种病灶图像。其中，分割神经网络的主要任务是实现多种病灶分割和提取，本实施例中，病灶种类包括微动脉瘤、硬性渗出物以及新生视网膜血管，微动脉瘤、硬性渗出物属于非增殖性病变，新生视网膜血管属于增殖性病变。将待测图片输入到训练好的分割神经网络中，通过分割神经网络预测图片上的每个像素是属于背景、微动脉瘤、硬性渗出物还是视网膜血管，并且将预测到的结果输出成三个掩模，分别是微动脉瘤掩模、硬性渗出物掩模和视网膜血管掩模。掩模具体是由0和1组成，背景为0，目标为1，例如生成微动脉瘤掩模时，通过分割神经网络预测每一个像素是否属于微动脉瘤区域，若是该像素位置标记为1，否则该像素位置标记为0，最终得到与原图大小一样的大小为128×128的微动脉瘤掩模图。掩模可以准确描述目标的所在位置，将掩模对应到原图，即可提取到各病灶分割后的图像，也即病灶图像。参考表1和图2，图2是本发明中一种医学图像处理方法的分割神经网络的一具体实施例示意图；分割神经网络的实现主要基于多任务学习框架，分割神经网络的分割任务有三个，分别是分割微动脉瘤、分割硬性渗出物以及分割视网膜血管。网络的第一部分称为“共享层”，这些层的权重对于这三个任务都是通用的。接着，是每个任务的特定层，称之为“任务特定层”，这些层之间的参数都是独立计算的，不参与跨层共享。在这些特定任务层中，网络学习特定于任务的信息。每个这些独立的任务层都会生成一个单独的输出结果，具体是输出微动脉瘤、硬性渗出物、视网膜血管的分割掩模。表1分割神经网络层次结构上述分割神经网络能同时分割出多种病灶图像，不限于本实施例中的三种病灶图像。而在使用分割神经网络之前，需要对网络进行训练，具体地，首先初始化模型，然后输入已标注好掩模标记数据的样本进行训练，训练时采用整张图片进行训练，不进行补丁抽样，而实验证明采用全图更加有效。输入图片后，分别进行三次卷积和下采样得到特征小图(5×5×128)，然后再进行一次卷积得到特征(1×1×1024)，接着进行三组全连接达到三个任务的特征，三个任务分别进行反卷积和上采样，得到与原图一样大小的大图，这些图就是分割出来的掩模。分割神经网络模型在训练过程中不断优化，调整参数直至收敛，优化的目标是不断缩小网络预测出来的分割图(病灶图像)与样本标注数据之间的差异，即最小化损失函数l1：上式中，n为训练样本数，lma表示微动脉瘤分割的像素级损失，lhes表示硬性渗出物的分割损失，lnv表示视网膜血管的分割损失；f(x,θ)为分割神经网络预测的分割结果，其中x为样本的一个像素，θ为学习率；s1，s2，s3分别是微动脉瘤、硬性渗出物、视网膜血管的样本标注位置；φ(θ)是正则项。则利用训练好的分割神经网络可以获得眼底照片的多种病灶掩模图像，包括微动脉瘤掩模图像、硬性渗出物掩模图像、以及视网膜血管掩模图像；根据病灶掩模图像和医学图像即可以分割得到多种病灶图像，分别是微动脉瘤病灶图像、硬性渗出物病灶图像、以及视网膜血管病灶图像。第三步：得分生成步骤，包括：分别提取多种病灶图像的病灶特征，病灶特征包括颜色或形状；拼接多个病灶特征并将其输入第一机器学习分类算法以获取多个病灶得分。具体地，在获得各个病灶图像之后，根据病灶图像提取各病灶的颜色、形状等如表2所示的特征，每个病灶图像可以提取出来86维特征，并将3个病灶图像的病灶特征按微动脉瘤病灶图像、硬性渗出物病灶图像、视网膜血管病灶图像的顺序拼接起来成为258维特征向量，并将特征向量输入到得分生成器(即第一机器学习分类算法)中即可获得多个病灶得分为i为图像异常程度的类别，x为医学图像的编号，即获得病灶图像属于不同图像异常程度(包括正常、轻度非增殖性病变、中度非增殖性病变、重度非增殖性病变和增殖性病变)的概率，即可以获得5个病灶得分。表2病灶特征提取列表特征特征描述f1rgb图像上的均值f2rgb图像上的方差f3-f12rgb图像上的颜色矩f13目标区域的周长和f14目标区域的面积和f15-f74目标区域的lbp特征f75-f86hsv特征本实施例中，得分生成器采用随机森林算法。得分生成器在使用之前需要进行训练，具体地，将训练样本的病灶特征258维特征向量以及该样本标注的病变程度输入到得分生成器中进行训练。训练好的得分生成器通过计算可以得出输入的病灶属于5种图像异常程度(即正常、轻度非增殖性病变、中度非增殖性病变、重度非增殖性病变以及增殖性病变)的概率，取此概率值作为该样本的病灶得分。第四步：第二异常概率获取步骤，包括：根据医学图像、多种病灶图像和第二机器学习分类算法获取医学图像的多个第二异常概率。本实施例中，图像异常程度包括正常、轻度非增殖性病变、中度非增殖性病变、重度非增殖性病变和增殖性病变；第二机器学习分类算法是基于3d卷积神经网络进行设计的，3d卷积神经网络可同时输入原来的医学图像(即眼底照片)以及微动脉瘤病灶图像、硬性渗出物病灶图像和视网膜血管病灶图像，能从多维度提取特征，然后进行3d卷积，以捕捉从多个图像中得到的特征信息。具体地，参考表3，3d卷积神经网络包含一个实连线层(即硬连接层)、4个卷积层、3个下采样层和一个全连接层。每个卷积核卷积的立方体是包括原图、微血管瘤病灶图像、视网膜血管病灶图像、硬性渗出物病灶图像的4张图片，每张图片的大小是128×128。在第一层，应用了一个固定的实连线的核去对输入的图进行处理，产生多个通道的信息，然后对多个通道分别处理，最后再将所有通道的信息组合起来得到最终的特征描述。这个实线层实际上是编码了对病灶的先验知识，这比随机初始化性能要好。每张图提取五个通道的信息，分别是：r、g、b颜色通道，以及x和y方向的梯度。所以有4×5＝20个病灶图。然后再用一个9×9×2的3d卷积核在五个通道的每一个通道分别进行卷积。为了增加特征图的个数即提取不同的特征，在每一个位置都采用两个不同的卷积核，这样l1层中包含了两个特征图组，每组都包含(4-2+1)×5＝15个特征图。紧接着的是下采样层l3层，在l2层的特征图中用3×3窗口进行下采样，这样就会得到相同数目但是空间分辨率降低的病灶图。l4是在5个通道中分别采用9×9×2的3d卷积核计算得到。为了增加特征图个数，在每个位置都采用三个不同的卷积核，这样就可以得到6组不同的特征图，每组有(4-2+1-2+1)×5＝10个特征图。l5层用的是2×2的下采样窗口，接着再进行两次2d卷积和下采样得到128×1×1的特征向量，而128维是根据以往的经验确定的。输入医学图像后经过多层的卷积和下采样，输入的多个图像都被转化为一个128维的特征向量，这个特征向量捕捉了视网膜眼底照片的特征信息。再将得到的128维的特征向量输入到softmax层，softmax层的节点数与图像异常程度的类别数目一致，而且每个节点与l9中的128个节点是全连接的。最终softmax层会得到一系列预测值，即医学图像属于5种图像异常程度的概率值，即第二异常概率，假设此值为其中，i(i＝0,1,2,3,4)为图像异常程度类别(即正常、轻度非增殖性病变、中度非增殖性病变、重度非增殖性病变和增殖性病变)，x为输入的医学图像编号。表33d卷积神经网络层次结构在使用3d卷积神经网络之前，需要对其进行训练，首先初始化模型，然后输入已标注异常程度的样本进行训练，训练时输入样本的原图、微血管瘤病灶图像、硬性渗出物病灶图像、视网膜血管病灶图像的4张图片进行训练。3d卷积神经网络模型在训练过程中不断优化，调整参数直至收敛，优化的目标是不断缩小网络预测出来的分类结果与样本标注异常程度之间的差异，即最小化损失函数l2：上式中，n为训练样本数，lsoftmax表示网络分类损失，标注数据；f(x,θ)为网络预测的分类结果，其中x为一个样本，θ为学习率；c为标注类别；φ(θ)是正则项。第五步：得分融合分类，具体地，在获得第二异常概率(本实施例中有5个第二异常概率)和第一异常概率(本实施例中有5个第一异常概率，即病灶得分)，根据设置不同的权重系数以获取最终的异常概率，本实施例中，第一异常概率的权重系数为0.2，第二异常概率的权重系数为0.8，则最终的异常概率，即得分融合值为(本实施例中有5个得分融合值)，在算出的结果中，哪个图像异常程度类别的得分融合值最高，则该类别即为医学图像的所属图像异常程度类别，即求c＝argmaxifi(x)。一种医学图像处理方法，提出得分融合机制，将由各病灶图像获得的病灶得分融入分类网络，提高了对各病灶的敏感度和分类准确性。且本发明的得分融合分类框架不仅局限于本发明中检测出的三种病灶，待检测出更多病灶时可进行扩充，系统适应性强。实施例2一种医学图像处理系统，包括：病灶图像获取单元，用于根据医学图像提取病灶图像；得分生成单元，用于根据病灶图像获取多个病灶得分，病灶得分为病灶图像属于不同图像异常程度的第一异常概率；第二异常概率获取单元，用于根据医学图像和病灶图像获取医学图像的多个第二异常概率，第二异常概率为医学图像属于不同图像异常程度的概率；分类单元，用于根据多个第一异常概率、多个第二异常概率和不同的权重系数按照不同图像异常程度获取医学图像属于不同图像异常程度的最终概率，并将最大的最终概率的图像异常程度作为医学图像的图像异常程度。医学图像处理系统的具体工作过程和有益效果请参照实施例1中医学图像处理方法的具体描述，不再赘述。实施例3一种医学图像处理设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的医学图像处理方法。医学图像处理方法的具体描述参照实施例1中的描述，不再赘述。实施例4一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行所述的医学图像处理方法。医学图像处理方法的具体描述参照实施例1中的描述，不再赘述。以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。当前第1页12