图像分割方法、装置、存储介质和计算机设备与流程

文档序号:20833621发布日期:2020-05-22 16:35阅读:119来源:国知局
图像分割方法、装置、存储介质和计算机设备与流程

本申请是于2018年07月25日提交中国专利局,申请号为201810825633.4,发明名称为“眼底图像分割方法、装置、存储介质和计算机设备”的分案申请,其全部内容通过引用结合在本申请中。

本申请涉及图像分割技术领域,特别是涉及一种图像分割方法、装置、存储介质和计算机设备。



背景技术:

随着图像处理技术的发展,图像分割技术开始被应用到眼底图像分割领域,通过对眼底图像进行分割处理,可自动检测出人体眼部是否出现疑是病灶特征。

目前国内外的研究人员提出了各种眼底图像分割算法,常用的眼底图像分割算法为基于血管跟踪的分割算法,该分割算法的实现步骤为:将一个局部算子作用在已知为血管的某个初始点上,然后由算法自动跟踪出血管的中心线、方向和半径等参数,根据这些参数对眼底图像进行图像分割。然而,基于血管跟踪的分割算法中,当遇到血管分支点火交叉点时容易出现跟踪错误,从而影响图像分割的准确率。



技术实现要素:

基于此,有必要针对因采用血管跟踪的分割算法而造成图像分割的准确性低的技术问题,提供一种图像分割方法、装置、存储介质和计算机设备。

一种图像分割方法,包括:

获取待分割图像;

从所述待分割图像中划分多个像素块;

根据每个所述像素块确定分别对应不同目标类别的多个概率图块;所述概率图块中各颜色值表示在所述像素块中对应的像素点属于各目标类别的概率;

根据所述概率图块确定所述待分割图像中各像素点所属的目标类别;

按所述待分割图像各像素点所属的目标类别,从所述待分割图像分割出分割区域。

一种图像分割装置,包括:

图像获取模块,用于获取待分割的待分割图像;

像素块划分模块,用于从所述待分割图像中划分多个像素块;

概率图块确定模块,用于根据每个所述像素块确定分别对应不同目标类别的多个概率图块;所述概率图块中各颜色值表示在所述像素块中对应的像素点属于各目标类别的概率;

类别确定模块,用于根据所述概率图块确定所述待分割图像中各像素点所属的目标类别;

分割模块,用于按所述待分割图像各像素点所属的目标类别,从所述待分割图像分割出分割区域。

一种存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器所述的图像分割方法的步骤。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的图像分割方法的步骤。

上述的图像分割方法、装置、存储介质和计算机设备,从获取待分割图像中划分多个像素块,对划分的像素块进行处理,避免了对整个待分割图像进行处理,从而降低了计算量。对划分的像素块进行处理,获得分别对应不同目标类别的多个概率图块,根据概率图块确定待分割图像中各像素点所属的目标类别,从而实现对待分割图像中各像素的目标特征识别。按待分割图像各像素点所属的目标类别,从待分割图像分割出最终的分割区域,从而实现了待分割图像的图像分割,提高了图像分割的准确率。

附图说明

图1为一个实施例中图像分割方法的应用环境图;

图2为一个实施例中图像分割方法的流程示意图;

图3为一个实施例中眼底图像和对应的病灶区域图像的界面示意图;

图4为一个实施例中对待分割图像进行划分的步骤的流程示意图;

图5为一个实施例中对机器学习模型进行训练的步骤的流程示意图;

图6为一个实施例中对训练像素块进行处理的步骤的流程示意图;

图7为一个实施例中对参考像素块进行图像增强处理,以及调整机器学习模型的参数的步骤的流程示意图;

图8为一个实施例中构建机器学习模型的步骤的流程示意图;

图9为一个实施例中训练机器学习模型的步骤的流程示意图;

图10为一个实施例中分割图像进行分割的步骤的流程示意图;

图11为一个实施例中图像分割装置的结构框图;

图12为另一个实施例中图像分割装置的结构框图;

图13为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

图1为一个实施例中图像分割方法的应用环境图。参照图1,该图像分割方法应用于图像分割系统。该图像分割系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

如图2所示,在一个实施例中,提供了一种图像分割方法。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2,该图像分割方法具体包括如下步骤:

s202,获取待分割图像。

其中,待分割图像可以是关于人体或人体某个部位的图像,例如眼底图像。眼底指的是眼球内后部的组织,即眼球的内膜。许多病灶一般都可以从眼底上反映出来,眼底状态的变化在一定程度上反映了一些器官的改变程度。因此,通过对眼底图像的分析可以确定是否出现相应的病灶。如通过高血压病人眼底可见到视网膜动脉硬化,通过糖尿病病人眼底可见毛细血管瘤、出血点和渗出物等。

在一个实施例中,终端建立与摄影设备的连接,通过摄影设备获取待分割的眼底图像。或者,终端接收选取指令,根据该选取指令选择对应的、保存于终端存储器中的眼底图像。

s204,从待分割图像中划分多个像素块。

其中,像素块是将由待分割图像(如眼底图像)中特定数量的像素所组成的图像,如256×256分辨率的像素块。

在一个实施例中,终端可以按照预设的尺寸,在眼底图像裁剪像素块。每当裁剪一个像素块,裁剪的起始点向前移动一段距离,确保眼底图像各区域都被采集到,从而获得多个像素块。其中,移动的距离可以小于或等于像素块的尺寸。例如,若裁剪的像素块大小为m×n,为了保证眼底图像各区域都被采集到,因此在划分眼底图像时,水平移动时,移动的距离可以小于或等于m。竖直移动时,移动的距离可以小于或等于n。

s206,根据每个像素块确定分别对应不同目标类别的多个概率图块,概率图块中各颜色值表示在像素块中对应的像素点属于各目标类别的概率。

其中,目标类别可以是目标应用场景下待分割图像中物体所表征出来的类别,例如眼底图像中眼底所表征出来的疑是病理类别,如病灶类别。病灶类别指的是可以通过眼底图像判断出来的病灶类型,如硬性渗出、微动脉瘤、出血和软性渗出等类型的病灶。概率图块可以指位图图像,由像素(即图片元素)的单个点所组成,这些点可以进行不同的排列和染色。

在一个实施例中,终端将划分所得的像素块输入训练好的机器学习模型,通过机器学习模型对输入的像素块进行处理,计算出各像素块中每个像素属于各病灶类别的概率。终端根据计算出来的概率确定概率图块的颜色值,根据该颜色值绘制相应的概率图块,获得分别对应不同病灶类别的多个概率图块。

其中,属于不同病灶类别的概率所对应的概率图块,其颜色不同,即颜色值不同,如属于软性渗出的概率图块的颜色可以为红色,属于硬性渗出的概率图块的颜色可以为黄色等。

例如,假设眼底图像划分为m个小的像素块,有k种病灶类别。终端分别将m个像素块输入训练好的机器学习模型中进行处理,计算得到每个像素块中各像素点属于k种病灶类别的概率,可以获得k×m个概率图块。

机器学习模型可以是经过以下处理的神经网络分类模型:删除了神经网络分类模型中的分类层,对输入尺寸进行了相应调整,并在最后一层接入卷积层。其中,神经网络分类模型可以包括:深度卷积神经网络模型,或深度全卷机网络模型,或其它深度神经网络模型。深度卷积神经网络模型可以是resnet101网络模型。深度全卷机网络模型可以是u-net网络模型。其它深度神经网络模型可以是如inception-resnet-v2、resnext、nasnet、mobilenet等。

在一个实施例中,s204具体可以包括:确定每个像素块中各像素点对应的特征;将所确定的特征与不同病灶类别的特征进行对比,获得每个像素块中各像素点属于各病灶类别的概率;根据概率确定用于合成概率图块的像素点的颜色值;按照不同病灶类别,将具有颜色值的像素点合成多个概率图块。

其中,各像素点对应的特征可以是像素特征,如颜色值。

在一个实施例中,当获得每个像素块中各像素点属于各病灶类别的概率后,终端判断获得的概率是否大于或等于第一概率阈值,若大于或等于第一概率阈值时,表示对应的像素点属于对应的病灶类型。根据大于或等于第一概率阈值的概率,确定用于合成概率图块的像素点的颜色值。若小于第一概率阈值时,对应的颜色值为无色或黑色的颜色值。

例如,假设有k种病灶类别,分别为m1、m2…mi…mk。终端分别将其中一个像素块输入训练好的机器学习模型中进行处理,计算该输入的像素块中各像素点属于k种病灶类别的概率分别为pm1n、pm2n…pmin…pmkn,其中,n为像素块中的像素个数,pmin表示第i个像素属于第mi种病灶类别的概率。若pmin的概率大于或等于第一概率阈值时,表示第i个像素属于第mi种病灶类别,根据pmin确定用于合成概率图块的像素点的颜色值。

s208,根据概率图块确定待分割图像中各像素点所属的目标类别。

其中,病灶类别包括但不限于以下几种:无病灶、硬性渗出、微动脉瘤、出血和软性渗出。需要说明的是,无病灶作为病灶类别中的一种特殊类型。

在一个实施例中,s208具体可以包括:终端将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图;确定眼底位图中对应位置的像素点属于各病灶类别的概率;将各对应位置的像素点归属于相应最大概率的病灶类别。

在一个实施例中,终端确定眼底位图中对应位置的像素点属于各病灶类别的概率后,判断该概率是否大于或等于第二概率阈值,将各对应位置的像素点归属于大于或等于第二概率阈值的概率所对应的病灶类别。当眼底同时呈现两种病灶时,通过本发明实施例可以将这两种病灶都判断出来。

在一个实施例中,终端将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图的步骤,具体可以包括:将每个病灶类别所对应的多个概率图块,分别按照相应像素块从眼底图像中划分的位置进行拼接;在拼接时确定拼接的概率图块间的重叠区域;将重叠区域中相同位置的多个像素点的颜色值的平均值,确定为重叠区域中相应像素点的颜色值,获得相应病灶类别所对应的眼底位图。

由于概率图块的尺寸大于划分像素块时所逐步移动的步长,终端在对相同病灶类别的多个概率图块进行拼接过程中,会出现重叠区域。终端在拼接过程中确定相邻的概率图块之间的重叠区域,将重叠区域中相同位置的多个像素点求取平均值,从而使拼接后概率图块的重叠区域的颜色不会产生突变。

在一个实施例中,终端接收步长指令,该步长指令携带有划分时像素块时所逐步移动的步长,根据接收的步长指令确定从眼底图像中逐步划分像素块时所逐步移动的步长。其中,该步长小于或等于概率图块的尺寸。

s210,按眼底图像各像素点所属的目标类别,从眼底图像分割出最终的分割区域。

其中,分割区域可以是应用场景中对图像进行分割所要得到的目标区域,该目标区域可以是疑是病理区域,如病灶区域。病灶区域可以指眼底图像中具有病灶的区域。该病灶区域的尺寸可以是本发明实施例中所述的像素块的尺寸大小一致,也可以是与眼底图像的尺寸大小一致。该病灶区域中各像素点的颜色值可根据病灶类别的不同而使用不同的值,从而可根据不同的颜色区分不同病灶类别。该病灶区域中各像素点的颜色值即为机器学习模型对眼底图像的预测结果。

在一个实施例中,终端确定眼底位图中对应位置的像素点属于各病灶类别的概率之后,将归属于相同位置中概率最大的像素点提取出来,将提取出来的像素点确定为病灶像素点。

例如,假设有k种病灶类别,分别为m1、m2…mk,拼接后所得的眼底位图数量为k,对应的像素点数量为p×q。对于m1、m2…mk这k种病灶类别的眼底位图中各个位置的像素点,终端将相同位置中概率最大的像素点提取出来。如在眼底位图中位置(xi,yi)的像素点,m1、m2…mk这k种病灶类别所对应的概率分别为pm1i、pm2i…pmki,若pm1i的值最大,则位置(xi,yi)的像素点对应的病灶类型即为m1,并且从m1对应的眼底位图中将位置(xi,yi)的像素点提取出来作为病灶像素点。

在一个实施例中,s210具体可以包括:终端分别将提取像素点,按照提取的位置组合起来,将组合所得的图像作为眼底图像分割后的病灶区域。

上述实施例中,从获取待分割的眼底图像中划分多个像素块,对划分的像素块进行处理,避免了对整个眼底图像进行处理,从而降低了计算量。对划分的像素块进行处理,获得分别对应不同病灶类别的多个概率图块,根据概率图块确定眼底图像中各像素点所属的病灶类别,从而实现对眼底图像中各像素的病灶特征识别。按眼底图像各像素点所属的病灶类别,从眼底图像分割病灶区域,从而实现了眼底图像的病灶分割,提高了眼底图像分割的准确率。

作为一个示例,如图3所示,图3(a)为待分割的眼底图像,3(b)为分割眼底图像后所得的病灶区域图像,即为最终的病灶眼底位图。对眼底图像进行划分获得多个像素块,分别将多个像素块分别输入机器学习模型,根据每个像素块确定分别对应不同病灶类别的多个概率图块,该概率图块中各颜色值表示在像素块中对应的像素点属于各病灶类别的概率;根据概率图块确定眼底图像中各像素点所属的病灶类别;按眼底图像各像素点所属的病灶类别,从眼底图像分割病灶区域,从而可以得到图3(b)的病灶区域图像。

在一个实施例中,如图4所示,s204具体可以包括:

s402,确定待划分出的像素块的尺寸。

在一个实施例中,终端根据输入的尺寸操作指令确定待划分出的像素块的尺寸,该尺寸操作指令中携带有像素块的尺寸。或者,终端从预设尺寸中获取待划分出的像素块的尺寸。或者,终端根据待分割的眼底图像尺寸大小,按照预设比例确定待划分出的像素块的尺寸,如眼底图像尺寸大小为100×100,预设比例为0.1,那么待划分出的像素块的尺寸为10×10。

s404,确定从眼底图像中逐步划分像素块时所逐步移动的步长;步长小于像素块的尺寸。

在一个实施例中,为了保证眼底图像各区域都被采集到,因此在划分眼底图像时,终端在眼底图像中逐步划分像素块时,确定所逐步移动、且移动距离小于像素块的尺寸的步长。

s406,在眼底图像中,按照步长逐步确定划分起点,并依照划分起点逐步划分出具有该尺寸大小的多个像素块。

在一个实施例中,终端按照确定的步长将眼底图像的长和宽平均分成多段,以每个段的起点为像素块的划分起点,并依照划分起点逐步划分出具有该尺寸大小的多个像素块。

例如,假设眼底图像尺寸大小为20×20,待划分出的像素块的尺寸为5×5,步长为4,则可以将眼底图像的长和宽平均划分为五段,以每段的起点为划分起点,划分出尺寸大小为5×5的像素块,像素块的数量为25。

上述实施例中,确定出待划分像素块的尺寸和划分时所逐步移动的步长,按照步长逐步确定划分起点,并依照划分起点逐步划分出具有该尺寸大小的多个像素块,由于步长小于像素块的尺寸,可以有效地保证眼底图像中的各区域都被提取到,从而可以避免漏检病灶区域,进而可以提高提取病灶的准确率。

在一个实施例中,概率图块可通过机器学习模型确定;如图5所示,该方法还包括:

s502,获取眼底图像样本和对应的参考眼底位图;参考眼底位图中的像素点为参考标签,用于表示眼底图像样本对应位置的像素点所属的病灶类别。

如图3所示,若图3(a)为眼底图像样本,图3(b)为对应的参考眼底位图。其中,图3(b)中的白色的像素点为属于病灶类别的点,即眼底图像样本所对应的用户其眼底相应区域为病灶区域。

在一个实施例中,获得参考眼底位图的方法包括:终端确定眼底图像样本的尺寸;获取眼底图像对应的病灶特征;根据病灶特征绘制符合眼底图像样本的尺寸的参考眼底位图。

在一个实施例中,终端根据输入指令确定眼底图像中的病灶特征,确定病灶特征在眼底图像中的位置。终端按照眼底图像的尺寸绘制参考眼底位图,并按照确定的位置,在参考眼底位图对应的位置设置与病灶类别对应的颜色值。其中,不同病灶类型的参考眼底位图所设置的颜色值不同。

如图3(a)所示,虚线框a中颜色较深的像素点表示具有软性渗出的病灶特征,记录软性渗出在眼底图像中的位置。如图3(b)所示,与图3(a)对应的虚线框a相对应的虚线框b中绘制有白色像素点,用于表示具有软性渗出的病灶特征。需要说明的是,黑色区域为背景区域,其像素点的颜色值不用于表示病灶类别。

s504,将眼底图像样本划分为多个训练像素块。

其中,训练像素块是将由图像中特定数量的像素所组成的图像,如256×256分辨率的像素块。

在一个实施例中,终端可以按照预设的尺寸,在眼底图像样本裁剪训练像素块。每当裁剪一个训练像素块,裁剪的起始点向前移动一段距离,确保眼底图像样本各区域都被采集到,从而获得多个训练像素块。其中,移动的距离可以小于或等于训练像素块的尺寸。

例如,若裁剪的训练像素块大小为m×n,为了保证眼底图像样本各区域都被采集到,因此在划分眼底图像样本时,水平移动时,移动的距离可以小于或等于m。竖直移动时,移动的距离可以小于或等于n。

s506,对参考眼底位图进行划分,获得多个参考像素块。

其中,参考像素块是将由图像中特定数量的像素所组成的图像,如256×256分辨率的像素块。

在一个实施例中,终端可以按照与s504中相同的尺寸,在参考眼底位图裁剪参考像素块。每当裁剪一个参考像素块,裁剪的起始点向前移动一段距离,确保参考眼底位图各区域都被采集到,从而获得多个参考像素块。其中,移动的距离与s504中移动的距离相同。

例如,若裁剪的参考像素块大小为m×n,为了保证参考眼底位图各区域都被采集到,因此在划分参考眼底位图时,水平移动时,移动的距离可以小于或等于m。竖直移动时,移动的距离可以小于或等于n。

s508,将训练像素块输入机器学习模型训练,获得训练病灶区域。

在一个实施例中,待训练的机器学习模型的生成步骤包括:删除神经网络分类模型中的分类层;按照待划分出的像素块的尺寸,对删除分类层后的神经网络分类模型的输入尺寸进行调整;在调整输入尺寸的神经网络分类模型最后一层接入卷积层,获得待训练的机器学习模型。

在一个实施例中,s508具体可以包括:终端将训练像素块输入机器学习模型,根据每个训练像素块确定分别对应不同病灶类别的多个训练概率图块,根据训练概率图块确定眼底图像样本中各像素点所属的病灶类别,按眼底图像样本各像素点所属的病灶类别,从眼底图像样本分割训练病灶区域。

在一个实施例中,终端将划分所得的训练像素块输入待训练的机器学习模型,通过机器学习模型对输入的训练像素块进行处理,计算出各训练像素块中每个像素属于各病灶类别的概率。终端根据计算出来的概率确定训练概率图块的颜色值,根据该颜色值绘制相应的训练概率图块,获得分别对应不同病灶类别的多个训练概率图块。

其中,属于不同病灶类别的概率所对应的训练概率图块,其颜色不同,即颜色值不同,如属于软性渗出的训练概率图块的颜色为红色,属于硬性渗出的训练概率图块的颜色为黄色等。

例如,假设眼底图像划分为m个小的训练像素块,有k种病灶类别。终端分别将m个训练像素块输入训练好的机器学习模型中进行处理,计算得到每个训练像素块中各像素点属于k种病灶类别的概率,可以获得k×m个训练概率图块。

在一个实施例中,获得训练概率图块的步骤,还可以包括:确定每个训练像素块中各像素点对应的特征;将所确定的特征与不同病灶类别的特征进行对比,获得每个训练像素块中各像素点属于各病灶类别的概率;根据概率确定用于合成训练概率图块的像素点的颜色值;按照不同病灶类别,将具有颜色值的像素点合成多个训练概率图块。

其中,各像素点对应的特征可以是像素特征,如颜色值。

在一个实施例中,当获得每个训练像素块中各像素点属于各病灶类别的概率后,终端判断获得的概率是否大于或等于第一概率阈值,若大于或等于第一概率阈值时,表示对应的像素点属于对应的病灶类型。根据大于或等于第一概率阈值的概率,确定用于合成训练概率图块的像素点的颜色值。若小于第一概率阈值时,对应的颜色值为无色或黑色的颜色值。

例如,假设有k种病灶类别,分别为m1、m2…mi…mk。终端分别将其中一个训练像素块输入训练好的机器学习模型中进行处理,计算该输入的训练像素块中各像素点属于k种病灶类别的概率分别为pm1n、pm2n…pmin…pmkn,其中,n为训练像素块中的像素个数,pmin表示第i个像素属于第mi种病灶类别的概率。若pmin的概率大于或等于第一概率阈值时,表示第i个像素属于第mi种病灶类别,根据pmin确定用于合成训练概率图块的像素点的颜色值。

在一个实施例中,终端根据训练概率图块确定眼底图像中各像素点所属的病灶类别。

在一个实施例中,终端根据训练概率图块确定眼底图像中各像素点所属的病灶类别的步骤,具体可以包括:终端将对应相同病灶类别的多个训练概率图块进行拼接,获得分别对应不同病灶类别的训练眼底位图;确定训练眼底位图中对应位置的像素点属于各病灶类别的概率;将各对应位置的像素点归属于相应最大概率的病灶类别。

在一个实施例中,终端确定训练眼底位图中对应位置的像素点属于各病灶类别的概率后,判断该概率是否大于或等于第二概率阈值,将各对应位置的像素点归属于大于或等于第二概率阈值的概率所对应的病灶类别。

在一个实施例中,终端将对应相同病灶类别的多个训练概率图块进行拼接,获得分别对应不同病灶类别的训练眼底位图的步骤,具体可以包括:将每个病灶类别所对应的多个训练概率图块,分别按照相应训练像素块从眼底图像中划分的位置进行拼接;在拼接时确定拼接的训练概率图块间的重叠区域;将重叠区域中相同位置的多个像素点的颜色值的平均值,确定为重叠区域中相应像素点的颜色值,获得相应病灶类别所对应的训练眼底位图。

当训练概率图块的尺寸大于划分时训练像素块时所逐步移动的步长时,终端在对相同病灶类别的多个训练概率图块进行拼接过程中,会出现重叠区域。终端在拼接过程中确定相邻的训练概率图块之间的重叠区域,将重叠区域中相同位置的多个像素点求取平均值,从而使拼接后训练概率图块的重叠区域的颜色不会产生突变。

在一个实施例中,终端接收步长指令,该步长指令携带有划分时训练像素块时所逐步移动的步长,根据接收的步长指令确定从眼底图像中逐步划分训练像素块时所逐步移动的步长。其中,该步长小于或等于训练概率图块的尺寸。

s510,根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

在一个实施例中,终端将多个参考像素块输入机器学习模型。s510具体可以包括:终端确定训练病灶区域中各像素点的颜色值与参考像素块中对应位置像素点的颜色值之间的误差;将误差反向传播到机器学习模型的各层,获得对于各层参数的梯度;根据梯度调整机器学习模型中各层的参数。

在一个实施例中,终端根据损失函数,计算训练病灶区域中各像素点的颜色值与多个参考像素块中对应位置像素点的颜色值之间的误差。其中,损失函数可以是以下任一种:均方误差(meansquarederror)、交叉熵损失函数、l2loss函数和focalloss函数。

上述实施例中,通过眼底图像样本划分出来的多个训练像素块,对机器学习模型进行训练,获得训练病灶区域,根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数,获得用于眼底图像分割的机器学习模型,采用该机器学习模型对眼底图像进行图像分割,可以获得用于确定病灶类型的病灶区域,提高了眼底图像分割的准确性。

在一个实施例中,如图6所示,s508具体可以包括:

s602,对训练像素块分别进行不同的变化;该变化包括旋转处理和缩放处理中的至少一种。

为了提高增加机器学习模型的泛化能力,提升机器学习模型的预测能力,可以对训练像素块进行旋转处理和/或缩放处理。这里,将s602分为以下三种场景进行阐述:

场景1,对训练像素块进行旋转处理。

在一个实施例中,终端将所获得的多个训练像素块中的各训练像素块,分别进行随机旋转处理。或者,终端对多个训练像素块统一按照第一预设旋转角度进行旋转处理,获得一组训练像素块;终端对多个训练像素块统一按照与第一预设旋转角度不同的其它预设旋转角度进行旋转处理,获得多组训练像素块。

其中,具有多个预设旋转角度,且多个预设旋转角度之间各不相同,角度范围为0~360°。

场景2,对训练像素块进行缩放处理。

在一个实施例中,终端将所获得的多个训练像素块中的各训练像素块,分别进行随机缩放处理。或者,终端对多个训练像素块统一按照第一预设缩放比例进行缩放处理,获得一组训练像素块;终端对多个训练像素块统一按照与第一预设缩放比例不同的其它预设缩放比例进行缩放处理,获得多组训练像素块。

场景3,对训练像素块进行旋转处理和缩放处理。

按照场景1的旋转方式对训练像素块进行旋转处理,然后按照场景2的缩放方式对旋转后的训练像素块进行缩放处理。具体处理步骤可参考场景1和场景2的处理步骤,这里不再进行赘述。

s604,将变化后的训练像素块进行图像增强处理。

在一个实施例中,s604的实现方式具体可以包括:调整变化后的训练像素块的亮度,和/或调整变化后的训练像素块的色度,和/或调整变化后的训练像素块的清晰度。

s606,对经过图像增强处理后的训练像素块进行归一化处理。

在一个实施例中,终端计算经过图像增强处理后的训练像素块的均值和方差,根据计算出来的均值和方差对经过图像增强处理后的训练像素块进行归一化处理。其中,对经过图像增强处理后的训练像素块进行归一化处理,可以指对训练像素块中的图像特征进行归一化处理。图像特征的表现形式可以是向量或矩阵。

例如,假设图像特征为l,终端计算出图像特征的均为和方差分别为u和δ,归一化处理后的结果为l′=(l-u)/δ。

s608,将归一化处理处理后的训练像素块输入机器学习模型进行训练。

上述实施例中,将训练像素块输入机器学习模型进行训练之前,对训练像素块进行旋转处理、缩放处理和图像增强处理,可以提高机器学习模型的泛化能力,提高机器学习模型的预测能力。对训练像素块进行图像增强处理之后,还进行归一化处理,可以有效地加快收敛速度,快速实现对机器学习模型的训练。

在一个实施例中,如图7所示,该方法还可以包括:

s702,对参考像素块进行与训练像素块相同的变化。

为了提高增加机器学习模型的泛化能力,提升机器学习模型的预测能力,可以对参考像素块进行与参考像素块相同的旋转处理和/或缩放处理。这里,将s602分为以下三种场景进行阐述:

场景1,对参考像素块进行旋转处理。

在一个实施例中,终端将所获得的多个参考像素块中的各参考像素块,分别进行随机旋转处理。或者,终端对多个参考像素块统一按照第一预设旋转角度进行旋转处理,获得一组参考像素块;终端对多个参考像素块统一按照与第一预设旋转角度不同的其它预设旋转角度进行旋转处理,获得多组参考像素块。

其中,具有多个预设旋转角度,且多个预设旋转角度之间各不相同,角度范围为0~360°。

场景2,对参考像素块进行缩放处理。

在一个实施例中,终端将所获得的多个参考像素块中的各参考像素块,分别进行随机缩放处理。或者,终端对多个参考像素块统一按照第一预设缩放比例进行缩放处理,获得一组参考像素块;终端对多个参考像素块统一按照与第一预设缩放比例不同的其它预设缩放比例进行缩放处理,获得多组参考像素块。

场景3,对参考像素块进行旋转处理和缩放处理。

按照场景1的旋转方式对参考像素块进行旋转处理,然后按照场景2的缩放方式对旋转后的参考像素块进行缩放处理。具体处理步骤可参考场景1和场景2的处理步骤,这里不再进行赘述。

在一个实施例中,终端将经过变化后的参考像素块进行图像增强处理。

在一个实施例中,终端将变化后的参考像素块进行图像增强处理的步骤,具体可以包括:调整变化后的参考像素块的亮度,和/或调整变化后的参考像素块的色度,和/或调整变化后的参考像素块的清晰度。

s510具体可以包括:

s704,将经过变化后的参考像素块输入机器学习模型,根据训练病灶区域中各像素点与经过变化的参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

在一个实施例中,终端将多个经过图像增强处理的参考像素块输入机器学习模型。s704具体可以包括:终端将经过变化后的参考像素块输入机器学习模型,确定训练病灶区域中各像素点的颜色值与经过图像增强处理的参考像素块中对应位置像素点的颜色值之间的误差;将误差反向传播到机器学习模型的各层,获得对于各层参数的梯度;根据梯度调整机器学习模型中各层的参数。

上述实施例中,对参考像素块进行旋转处理、缩放处理和图像增强处理,训练病灶区域中各像素点与经过图像增强处理的参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数,可以提高机器学习模型的泛化能力,提高机器学习模型的预测能力。

在传统方案中,眼底图像的病灶分割模型主要以下几种:基于人工定义的特征进行的分割和基于深度学习的病灶分割。然而,基于人工定义的特征进行分割的方法存在鲁棒性较差;基于深度学习的方法需要大规模的训练数据。现有的基于深度学习的方法通过将眼底图像切分为小块进行病灶分类,不能输出精确的区域轮廓。

为了解决上述问题,本发明实施例提供了一种眼底图像分割方法,该方法包括:

(1)数据准备。

准备高分辨率的眼底图像样本以及与眼底图像样本对应的病灶区域。该病灶区域的标注用一张位图表示,该位图称为参考眼底位图,如图3(b)所示,图中每一个像素的值表示了眼底图像样本对应位置的像素属于哪一种病灶类别。其中,病灶区域中对应的病灶类别可以包括正常区域、硬性渗出、微动脉瘤、出血,和软性渗出。

(2)模型搭建,如图8所示,模型搭建的方法包括:

s802,设计机器学习模型主干,模型主干为去掉分类模块并调整输入尺寸的神经网络分类模型。

其中,神经网络分类模型可以包括:深度卷积神经网络模型,或深度全卷机网络模型,或其它深度神经网络模型。深度卷积神经网络模型可以是resnet101网络模型。深度全卷机网络模型可以是u-net网络模型。其它深度神经网络模型可以是如inception-resnet-v2、resnext、nasnet、mobilenet等。

s804,在模型主干最后一层接入一个的卷积层,该卷积层的输入为模型主干最后一层的输出,该卷积层的输出的维数为病灶类别数。

(3)模型训练,如图9所示,模型训练方法包括:

随机初始化机器学习模型的参数或将在其它数据集上pre-train的网络参数导入机器学习模型。递归地采样训练集的一个子集来更新模型参数,每轮迭代都对子集内的数据进行数据增强:

s902,随机从每一张眼底图像样本中裁剪256×256分辨率的训练像素块,对相应的参考眼底位图做相同操作。

s904,对训练像素块进行0到360度间的随机旋转处理和/或随机缩放处理,对相应的参考眼底位图做相同操作。

s906,随机调整训练像素块的亮度、色度和清晰度。

s908,对训练像素块做归一化处理。

s910,将归一化处理的训练像素块输入机器学习模型,进行前向计算。

s912,将根据参考眼底位图裁剪的参考像素块输入机器学习模型,根据损失函数计算训练像素块中各像素的分类结果的误差。

其中,该损失函数可以是逐像素的交叉熵损失函数、或l2loss函数、或focalloss函数等。

s914,将计算所得的误差反向传播到机器学习模型,计算模型参数的梯度。

s916,基于梯度更新模型参数。

(4)预测阶段,如图10所示,预测阶段中的眼底图像分割方法包括:

s1002,获取病者的眼底图像,将眼底图像输入训练好的机器学习模型。

s1004,在眼底图像中,每隔224像素的宽和高对图像裁剪一个256×256的像素块。

s1006,将裁剪得到的像素块输入机器学习模型,计算得到像素块中各像素属于特定病灶类别的概率,得到概率图块。

例如,假设有m个像素块,分别将m个像素块输入机器学习模型,可得到k×m个256×256的概率图块。其中,k为病灶类别数。

s1008,将像素块的概率图块进行拼接,获得分割病灶的k个眼底位图。其中,存在重合的部分可通过求平均得到。

s1010,在k个眼底位图相同位置,提取概率最大的那个像素,将提取的像素所组成的位图作为最终病灶的预测结果。

通过实施本实施例,可以具有以下有益效果:

1)通过使用深度学习相关技术,搭建机器学习模型,获得准确的分割结果。

2)使用方法简单,判断速度快,用户只需要输入眼底图像即可自动识别出图像上的病灶区域。

图2为一个实施例中图像分割方法的流程示意图。应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图11所示,在一个实施例中,提供了一种眼底图像分割装置,该眼底图像分割装置具体包括:图像获取模块1102、第一像素块划分模块1104、概率图块确定模块1106、类别确定模块1108和分割模块1110;其中:

图像获取模块1102,用于获取待分割图像;

第一像素块划分模块1104,用于从所述待分割图像中划分多个像素块;

概率图块确定模块1106,用于根据每个所述像素块确定分别对应不同目标类别的多个概率图块;所述概率图块中各颜色值表示在所述像素块中对应的像素点属于各目标类别的概率;

类别确定模块1108,用于根据所述概率图块确定所述待分割图像中各像素点所属的目标类别;

分割模块1110,用于按所述待分割图像各像素点所属的目标类别,从所述待分割图像分割出分割区域。

其中,待分割图像可以是关于人体或人体某个部位的图像,例如眼底图像。目标类别可以是目标应用场景下待分割图像中物体所表征出来的类别,例如眼底图像中眼底所表征出来的疑是病理类别,如病灶类别。分割区域可以是应用场景中对图像进行分割所要得到的目标区域,该目标区域可以是疑是病理区域,如病灶区域。

上述实施例中,从获取待分割的眼底图像中划分多个像素块,对划分的像素块进行处理,避免了对整个眼底图像进行处理,从而降低了计算量。对划分的像素块进行处理,获得分别对应不同病灶类别的多个概率图块,根据概率图块确定眼底图像中各像素点所属的病灶类别,从而实现对眼底图像中各像素的病灶特征识别。按眼底图像各像素点所属的病灶类别,从眼底图像分割病灶区域,从而实现了眼底图像的病灶分割,提高了眼底图像分割的准确率。

在一个实施例中,第一像素块划分模块1104还用于确定待划分出的像素块的尺寸;确定从所述眼底图像中逐步划分像素块时所逐步移动的步长;所述步长小于所述像素块的尺寸;在所述眼底图像中,按照所述步长逐步确定划分起点,并依照所述划分起点逐步划分出所述尺寸的多个像素块。

上述实施例中,确定出待划分像素块的尺寸和划分时所逐步移动的步长,按照步长逐步确定划分起点,并依照划分起点逐步划分出具有该尺寸大小的多个像素块,由于步长小于像素块的尺寸,可以有效地保证眼底图像中的各区域都被提取到,从而可以避免漏检病灶区域,进而可以提高提取病灶的准确率。

在一个实施例中,概率图块确定模块1106还用于确定每个像素块中各像素点对应的特征;将所确定的特征与不同病灶类别的特征进行对比,获得每个像素块中各像素点属于各病灶类别的概率;根据概率确定用于合成概率图块的像素点的颜色值;按照不同病灶类别,将具有颜色值的像素点合成多个概率图块。

上述实施例中,通过将所确定的特征与不同病灶类别的特征进行对比,获得每个像素块中各像素点属于各病灶类别的概率,实现了对病灶类别的确定。根据概率确定用于合成概率图块的像素点的颜色值,按照不同病灶类别将具有颜色值的像素点合成多个概率图块,实现病灶的可视化,医护人员可通过由概率图块组成的眼底位图判断病灶类别。

在一个实施例中,类别确定模块1108还用于将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图;确定眼底位图中对应位置的像素点属于各病灶类别的概率;将各对应位置的像素点归属于相应最大概率的病灶类别。

上述实施例中,确定眼底位图中对应位置的像素点属于各病灶类别的概率,将各对应位置的像素点归属于相应最大概率的病灶类别,实现了对最终病灶类别的判断,实现了自动化的方式判断病灶类别。

在一个实施例中,类别确定模块1108还用于将每个病灶类别所对应的多个概率图块,分别按照相应像素块从眼底图像中划分的位置进行拼接;在拼接时确定拼接的概率图块间的重叠区域;将重叠区域中相同位置的多个像素点的颜色值的平均值,确定为重叠区域中相应像素点的颜色值,获得相应病灶类别所对应的眼底位图。

上述实施例中,将将重叠区域中相同位置的多个像素点的颜色值的平均值,确定为重叠区域中相应像素点的颜色值,避免了重叠区域中多个像素块叠加时对该区域的病灶类别的判断产生影响,进而可以提高判断病灶类别的准确率。

在一个实施例中,如图12所示,该装置还包括:位图获取模块1112、训练像素块划分模块1114、第二像素块划分模块1116、训练模块1118和参数调整模块1120;其中:

位图获取模块1112,用于获取眼底图像样本和对应的参考眼底位图;参考眼底位图中的像素点为参考标签,用于表示眼底图像样本对应位置的像素点所属的病灶类别;

训练像素块划分模块1114,用于将眼底图像样本划分为多个训练像素块;

第二像素块划分模块1116,用于对参考眼底位图进行划分,获得多个参考像素块;

训练模块1118,用于将训练像素块输入机器学习模型训练,获得训练病灶区域;

参数调整模块1120,用于根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

上述实施例中,通过眼底图像样本划分出来的多个训练像素块,对机器学习模型进行训练,获得训练病灶区域,根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数,获得用于眼底图像分割的机器学习模型,采用该机器学习模型对眼底图像进行图像分割,可以获得用于确定病灶类别的病灶区域,提高了眼底图像分割的准确性。

在一个实施例中,训练模块1118还用于对训练像素块分别进行不同的变化;变化包括旋转处理和缩放处理中的至少一种;将变化后的训练像素块进行图像增强处理;对经过图像增强处理后的训练像素块进行归一化处理;将归一化处理处理后的训练像素块输入机器学习模型进行训练。

上述实施例中,将训练像素块输入机器学习模型进行训练之前,对训练像素块进行旋转处理、缩放处理和图像增强处理,可以提高机器学习模型的泛化能力,提高机器学习模型的预测能力。对训练像素块进行图像增强处理之后,还进行归一化处理,可以有效地加快收敛速度,快速实现对机器学习模型的训练。

在一个实施例中,如图12所示,该装置还包括:处理模块1122;其中:

处理模块1122,用于对参考像素块进行与训练像素块相同的变化;

参数调整模块1120还用于将经过变化后的参考像素块输入机器学习模型,根据训练病灶区域中各像素点与经过变化的参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

上述实施例中,对参考像素块进行旋转处理、缩放处理和图像增强处理,训练病灶区域中各像素点与经过图像增强处理的参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数,可以提高机器学习模型的泛化能力,提高机器学习模型的预测能力。

在一个实施例中,如图12所示,该装置还包括:删除模块1124、尺寸调整模块1126和接入模块1128;其中:

删除模块1124,用于删除神经网络分类模型中的分类层;

尺寸调整模块1126,用于按照待划分出的像素块的尺寸,对删除分类层后的神经网络分类模型的输入尺寸进行调整;

接入模块1128,用于在调整输入尺寸的神经网络分类模型最后一层接入卷积层,获得待训练的机器学习模型。

上述实施例中,对机器学习模型进行处理,可获得用于眼底图像分割的模型,有利于提高眼底图像分割的准确性和效率。

在一个实施例中,如图12所示,该装置还包括:尺寸确定模块1130、特征获取1132和位图绘制模块1134;其中:

尺寸确定模块1130,用于确定眼底图像样本的尺寸;

特征获取1132,用于获取眼底图像对应的病灶特征;

位图绘制模块1134,用于根据病灶特征绘制符合眼底图像样本的尺寸的参考眼底位图。

上述实施例中,绘制符合眼底图像样本的尺寸的参考眼底位图,以参考眼底位图作为训练输出,有利于在训练机器学习模型时,使模型的参数调整更加准确。

在一个实施例中,参数调整模块1120还用于确定训练病灶区域中各像素点的颜色值与多个参考像素块中对应位置像素点的颜色值之间的误差;将误差反向传播到机器学习模型的各层,获得对于各层参数的梯度;根据梯度调整机器学习模型中各层的参数。

上述实施例中,通过误差反向传播,计算出梯度,根据梯度调整机器学习模型中各层的参数,可提高学习效率,加快训练速度。

图13示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图13所示,该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现眼底图像分割方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行眼底图像分割方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,本申请提供的眼底图像分割装置可以实现为一种计算机程序的形式,计算机程序可在如图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该眼底图像分割装置的各个程序模块,比如,图11所示的图像获取模块1102、第一像素块划分模块1104、概率图块确定模块1106、类别确定模块1108和分割模块1110。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的眼底图像分割方法中的步骤。

例如,图13所示的计算机设备可以通过如图11所示的眼底图像分割装置中的图像获取模块1102执行s202。计算机设备可通过第一像素块划分模块1104执行s204。计算机设备可通过概率图块确定模块1106执行s206。计算机设备可通过类别确定模块1108执行s208。计算机设备可通过分割模块1110执行s210。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取待分割的眼底图像;从眼底图像中划分多个像素块;根据每个像素块确定分别对应不同病灶类别的多个概率图块;概率图块中各颜色值表示在像素块中对应的像素点属于各病灶类别的概率;根据概率图块确定眼底图像中各像素点所属的病灶类别;按眼底图像各像素点所属的病灶类别,从眼底图像分割病灶区域。

在一个实施例中,计算机程序被处理器执行从眼底图像中划分多个像素块的步骤时,使得处理器具体执行以下步骤:确定待划分出的像素块的尺寸;确定从眼底图像中逐步划分像素块时所逐步移动的步长;步长小于像素块的尺寸;在眼底图像中,按照步长逐步确定划分起点,并依照划分起点逐步划分出尺寸的多个像素块。

在一个实施例中,计算机程序被处理器执行根据每个像素块确定分别对应不同病灶类别的多个概率图块的步骤时,使得处理器具体执行以下步骤:确定每个像素块中各像素点对应的特征;将所确定的特征与不同病灶类别的特征进行对比,获得每个像素块中各像素点属于各病灶类别的概率;根据概率确定用于合成概率图块的像素点的颜色值;按照不同病灶类别,将具有颜色值的像素点合成多个概率图块。

在一个实施例中,计算机程序被处理器执行根据概率图块确定眼底图像中各像素点所属的病灶类别的步骤时,使得处理器具体执行以下步骤:将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图;确定眼底位图中对应位置的像素点属于各病灶类别的概率;将各对应位置的像素点归属于相应最大概率的病灶类别。

在一个实施例中,计算机程序被处理器执行将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图的步骤时,使得处理器具体执行以下步骤:将每个病灶类别所对应的多个概率图块,分别按照相应像素块从眼底图像中划分的位置进行拼接;在拼接时确定拼接的概率图块间的重叠区域;将重叠区域中相同位置的多个像素点的颜色值的平均值,确定为重叠区域中相应像素点的颜色值,获得相应病灶类别所对应的眼底位图。

在一个实施例中,概率图块通过机器学习模型确定;计算机程序被处理器执行时,使得处理器还执行以下步骤:获取眼底图像样本和对应的参考眼底位图;参考眼底位图中的像素点为参考标签,用于表示眼底图像样本对应位置的像素点所属的病灶类别;将眼底图像样本划分为多个训练像素块;对参考眼底位图进行划分,获得多个参考像素块;将训练像素块输入机器学习模型训练,获得训练病灶区域;根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

在一个实施例中,计算机程序被处理器执行将训练像素块输入机器学习模型训练的步骤时,使得处理器具体执行以下步骤:对训练像素块分别进行不同的变化;变化包括旋转处理和缩放处理中的至少一种;将变化后的训练像素块进行图像增强处理;对经过图像增强处理后的训练像素块进行归一化处理;将归一化处理处理后的训练像素块输入机器学习模型进行训练。

在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:对参考像素块进行与训练像素块相同的变化;该根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数的步骤具体包括:将经过变化后的参考像素块输入机器学习模型,根据训练病灶区域中各像素点与经过变化的参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:生成待训练的机器学习模型,其中,待训练的机器学习模型的生成步骤包括:删除神经网络分类模型中的分类层;按照待划分出的像素块的尺寸,对删除分类层后的神经网络分类模型的输入尺寸进行调整;在调整输入尺寸的神经网络分类模型最后一层接入卷积层,获得待训练的机器学习模型。

在一个实施例中,计算机程序被处理器执行从眼底图像中划分多个像素块的步骤时,使得处理器具体执行以下步骤:

在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:确定眼底图像样本的尺寸;获取眼底图像对应的病灶特征;根据病灶特征绘制符合眼底图像样本的尺寸的参考眼底位图。

在一个实施例中,计算机程序被处理器执行根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数的步骤时,使得处理器具体执行以下步骤:确定训练病灶区域中各像素点的颜色值与多个参考像素块中对应位置像素点的颜色值之间的误差;将误差反向传播到机器学习模型的各层,获得对于各层参数的梯度;根据梯度调整机器学习模型中各层的参数。

在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行以下步骤:获取待分割的眼底图像;从眼底图像中划分多个像素块;根据每个像素块确定分别对应不同病灶类别的多个概率图块;概率图块中各颜色值表示在像素块中对应的像素点属于各病灶类别的概率;根据概率图块确定眼底图像中各像素点所属的病灶类别;按眼底图像各像素点所属的病灶类别,从眼底图像分割病灶区域。

在一个实施例中,计算机程序被处理器执行从眼底图像中划分多个像素块的步骤时,使得处理器具体执行以下步骤:确定待划分出的像素块的尺寸;确定从眼底图像中逐步划分像素块时所逐步移动的步长;步长小于像素块的尺寸;在眼底图像中,按照步长逐步确定划分起点,并依照划分起点逐步划分出尺寸的多个像素块。

在一个实施例中,计算机程序被处理器执行根据每个像素块确定分别对应不同病灶类别的多个概率图块的步骤时,使得处理器具体执行以下步骤:确定每个像素块中各像素点对应的特征;将所确定的特征与不同病灶类别的特征进行对比,获得每个像素块中各像素点属于各病灶类别的概率;根据概率确定用于合成概率图块的像素点的颜色值;按照不同病灶类别,将具有颜色值的像素点合成多个概率图块。

在一个实施例中,计算机程序被处理器执行根据概率图块确定眼底图像中各像素点所属的病灶类别的步骤时,使得处理器具体执行以下步骤:将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图;确定眼底位图中对应位置的像素点属于各病灶类别的概率;将各对应位置的像素点归属于相应最大概率的病灶类别。

在一个实施例中,计算机程序被处理器执行将对应相同病灶类别的多个概率图块进行拼接,获得分别对应不同病灶类别的眼底位图的步骤时,使得处理器具体执行以下步骤:将每个病灶类别所对应的多个概率图块,分别按照相应像素块从眼底图像中划分的位置进行拼接;在拼接时确定拼接的概率图块间的重叠区域;将重叠区域中相同位置的多个像素点的颜色值的平均值,确定为重叠区域中相应像素点的颜色值,获得相应病灶类别所对应的眼底位图。

在一个实施例中,概率图块通过机器学习模型确定;计算机程序被处理器执行时,使得处理器还执行以下步骤:获取眼底图像样本和对应的参考眼底位图;参考眼底位图中的像素点为参考标签,用于表示眼底图像样本对应位置的像素点所属的病灶类别;将眼底图像样本划分为多个训练像素块;对参考眼底位图进行划分,获得多个参考像素块;将训练像素块输入机器学习模型训练,获得训练病灶区域;根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

在一个实施例中,计算机程序被处理器执行将训练像素块输入机器学习模型训练的步骤时,使得处理器具体执行以下步骤:对训练像素块分别进行不同的变化;变化包括旋转处理和缩放处理中的至少一种;将变化后的训练像素块进行图像增强处理;对经过图像增强处理后的训练像素块进行归一化处理;将归一化处理处理后的训练像素块输入机器学习模型进行训练。

在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:对参考像素块进行与训练像素块相同的变化;该根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数的步骤具体包括:将经过变化后的参考像素块输入机器学习模型,根据训练病灶区域中各像素点与经过变化的参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数。

在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:生成待训练的机器学习模型,其中,待训练的机器学习模型的生成步骤包括:删除神经网络分类模型中的分类层;按照待划分出的像素块的尺寸,对删除分类层后的神经网络分类模型的输入尺寸进行调整;在调整输入尺寸的神经网络分类模型最后一层接入卷积层,获得待训练的机器学习模型。

在一个实施例中,计算机程序被处理器执行从眼底图像中划分多个像素块的步骤时,使得处理器具体执行以下步骤:

在一个实施例中,计算机程序被处理器执行时,使得处理器还执行以下步骤:确定眼底图像样本的尺寸;获取眼底图像对应的病灶特征;根据病灶特征绘制符合眼底图像样本的尺寸的参考眼底位图。

在一个实施例中,计算机程序被处理器执行根据训练病灶区域中各像素点与参考像素块中对应位置的像素点之间的差异,调整机器学习模型的参数的步骤时,使得处理器具体执行以下步骤:确定训练病灶区域中各像素点的颜色值与多个参考像素块中对应位置像素点的颜色值之间的误差;将误差反向传播到机器学习模型的各层,获得对于各层参数的梯度;根据梯度调整机器学习模型中各层的参数。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1