一种眼底图像微血管瘤检测装置、方法及存储介质

1.本发明涉及眼底图像微血管瘤检测的一种眼底图像微血管瘤检测装置、方法 及存储介质。


背景技术：

2.糖尿病患者晚期会引发视网膜发生病变，眼底图像微血管瘤 (microaneurysm，ma)是糖尿病视网膜病变(糖网)的初期症状，因此，实现 眼底图像的微血管瘤检测并及时治疗有助于防止视网膜病变进一步加深。人工 对眼底图像的微血管瘤检测主要依赖于眼科医生直接对视网膜图像进行观测， 但由于视网膜结构复杂、微血管瘤面积微小且局部对比度较低，人眼观测微血 管瘤费时费力，任务量巨大，且偏远地区缺乏有经验的眼科医生，通过计算机 视觉技术实现视网膜微血管瘤的自动检测，有助于缓解眼科医生压力，同时有 助于医疗资源下沉，具有深远的医学意义。
3.目前眼底图像的微血管瘤检测方法主要包括基于深度学习的方法和基于分类 器的方法。基于深度学习的方法主要是采用深度学习模型构建端到端的卷积神 经网络，如像素级目标分割的语义分割网络、标记目标所在区域的目标检测网 络。李英采用了ssd目标检测网络实现了微血管瘤的检测，但准确率不高，同 时深度学习网络框架由于参数量大且效果不稳定，难以集成上软件进行实际使 用。基于分类器的方法首先会提取ma候选区，再对候选区进行特征建模与分 类。orlando等首先采用背景估计法提取ma候选区，然后对候选区提取纹理特 征、灰度特征、体特征和深度特征，然后送入分类器进行分类；dasht采用lcf 滤波器提取微血管瘤候选区，并将滤波响应值与传统特征融合，共同作为训练 分类器所需要的特征。这些方法并未针对ma本身特性进行分析，因此依然存在 准确率不高、鲁棒性不强的特点。因此，目前基于计算机图像处理技术的微血 管瘤检测方法还存在着鲁棒性不高、检测准确率不高、难以集成使用等问题。


技术实现要素：

4.本发明所要解决的技术问题就是提供一种眼底图像微血管瘤的检测方法，能 够较为精确的检测出眼底图像上的微血管瘤，排除血管、背景噪声等干扰结 构，有利于医生发现微血管瘤所在位置，进而给出诊断和治疗，防止患者病变 加深。
5.为了解决上述技术问题，达到上述目的，本发明所采用的技术方案如下所 述。
6.一种眼底图像微血管瘤检测方法，包括如下步骤：
7.步骤1：输入眼底图像，提取包含微血管瘤信息的待检测图像，对待检测图 像进行小目标去除，得到模糊糖网图像，再对待处理图像与模糊糖网图像反复 进行测地膨胀，得到糖网背景图像，转入步骤2；
8.步骤2：将糖网背景图像与待处理图像相减，并通过归一化与特定灰度分 割，得到微血管瘤候选区模板图，转入步骤3；
9.步骤3：对微血管瘤候选区模板图进行连通域分析，计算各连通域的面积以 及中
心坐标，以各中心坐标为图像中心从输入眼底图像的绿色通道提取一定大 小的图像片，并使用对应的连通域面积进行筛选，去除连通域面积较少和较大 对应的图像片，得到微血管瘤候选区图像，转入步骤4；
10.步骤4：利用步骤3中的微血管瘤候选区图像，设计手工特征提取器，提取 手工特征，得到最终的特征向量，转入步骤5；
11.步骤5：将步骤4中的各候选区的特征向量和对应的类别标签送入分类器进 行训练，并利用训练好的模型对测试时的微血管瘤候选区域特征向量进行分 类，判断每一个候选区域的类别，最终输出微血管瘤在眼底图像上的中心坐 标。
12.上述技术方案中，步骤1中具体有以下几个步骤：
13.步骤1.1：从输入彩色眼底图像提取绿色通道图像，并对其进行反射得到待 检测图像i；
14.步骤1.2：对待检测图像i采用滤波器进行小目标去除，得到模糊糖网图像 i
vague
；
15.步骤1.3：将模糊糖网图像i
vague
作为图像l，将待检测图像i作为图像t，通 过式(1)经过反复测地膨胀后得到视网膜背景图像i
background
，式(1)如下：
[0016][0017]
上述，b其中表示大小为3
×
3值为1的结构元，表示采用结构元b对l 的膨胀操作，∩表示两图像空间相应元素中最小灰度形成的阵列，表示 标记图像l关于模板图像t的一次测地膨胀操作，整个式子迭代运算，将一次测 地膨胀操作的结果作为下次测地膨胀标记图像，并循环往复直到结果不再发生 变换。
[0018]
上述技术方案中，所述步骤2具体有以下几个步骤：
[0019]
步骤2.1：将步骤1中的待检测图像i减去步骤1中的视网膜背景图像 i
background
得到i
dif
，并对i
dif
进行归一化处理得到i
normal
；
[0020]
步骤2.2：设定阈值t1，对i
nomal
进行分割，像素大于t1则置1，否则置0， 最终得到微血管瘤候选区模板图i
candidate
。
[0021]
上述技术方案中，所述步骤3具体有以下几个步骤：
[0022]
步骤3.1：对步骤2得到的微血管瘤候选区模板图i
candidate
进行连通域分 析，计算各连通域的面积以及对应的中心坐标，筛选出连通的域面积大于s
min
小 于s
max
的中心坐标集合centers＝c1，c2，...，c
n
，其中c
i
表示第i个连通域的中心坐 标，i∈{1，2，3，...，n}，n表示微血管瘤候选区个数；
[0023]
步骤3.2：通过步骤3.1得到的中心坐标集合centers，以每个坐标作为图 像片中心，从步骤1中的待检测图像i提取大小k
×
k的图像片，构成微血管瘤候 选区图像i
patches
＝p1，p2，...，p
n
，其中p
i
表示第i个候选区图像，i∈{1，2，3，...，n}。
[0024]
上述技术方案中，所述步骤4具体有以下几个步骤：
[0025]
步骤4.1：对步骤3.2得到的微血管瘤候选区图像提取用于描述灰度信息的 能量特征，主要包括灰度平均值、方差、偏度、对比度、熵等；将能量特征定 义为attrib1：
[0026]
步骤4.2：针对微血管瘤图像一定程度上具有旋转不变性，将候选区图像p
i
顺时针旋转90
°
得到旋转后的候选区图像将p
i
和通过相同顺序平铺为k2维向量分别得到v
i
和通过式(2)的结果衡量其旋转不变性，并将该特征定 义为attrib2；式(2)如下：
[0027][0028]
其中，v
i
＝{v
i1
，v
i2
，v
i3
，...，v
ik2
}，v
ij
表示v
i
中的第j个元素，表示中的第j个 元素，k2表示向量维度，数值与单张候选区图像的元素个数相等；例如，类似 微血管瘤形态的候选区可以简单描述为经过旋转后依然为 两者通过相同顺序平铺得到[0，1，0，1，0，1，0，1，0]。类似血管形态的候选 区可以描述为经过旋转后得到两者通过相同顺序得到 [2，0，0，0，2，0，0，0，2]和[0，0，2，0，2，0，2，0，0]。采用式(2)对其计算，若候选区为微血 管瘤则计算结果接近1，若为血管则会远离1；
[0029]
步骤4.3：针对候选区图像上，微血管瘤区域像素会集中在候选区图像的中 央，且灰度值低于背景区域，而背景噪声较低灰度值形成的区域会随机分布在 候选区图像中的各个区域，设定阈值t2，对候选区图像p
i
进行分割，像素大于t1则置0，否则置1，得到低灰度像素区域l
i
。
[0030]
步骤4.4：对步骤4.3得到的低灰度像素区域l
i
进行连通域分析，得到连通 域个数m，并计算得到各连通域像素面积a
i
＝a
i1
，a
i2
，a
i3
，...，a
im
，并通过式(3) 计算各连通域像素面积占总面积之比p
i
＝p
i1
，p
i2
，p
i3
，...，p
im
，式(3)如下式所 示：
[0031][0032]
其中，a
ij
表示a
i
中的第j个连通域的面积，p
ij
其中表示p
i
中的第j个连通域面 积占总体连通域面积之比；
[0033]
步骤4.5：通过式(4)计算候选区p
i
对应的低灰度像素区域的混乱程度h
i
， 并将其作为attrib3，式(4)如下所示：
[0034][0035]
其中，主要对混乱程度进行归一；用于描述混乱程 度，若m为1，表示低灰度区域只有一个连通区域，此时为1，表示低灰度区域只有一个连通区域，此时则表示当前候选区低灰度区域图像单一；当m大于1，a
i
中若存在一个连通域远大于其他连通域面积，混乱程度依然趋近于0；若存在多 个面积相差不大的连通域，则的值趋近于log
2 m，经过归一后 该值趋近于1；
[0036]
步骤4.6：将步骤4.5得到的attrib3和步骤4.2得到的attrib2依次接在步 骤4.1得到的attrib1的后面，形成最终的特征向量。
[0037]
上述技术方案中，所述步骤5具体有以下几个步骤：
[0038]
步骤5.1：输入多张眼底图像通过步骤1，2，3，4得到大量微血管瘤候选区 的最终的特征向量，并相应打上标签，若该候选区为微血管瘤则标记为1，若 不为微血管瘤则标记为0，将特征向量和标签一同送入分类器进行训练，得到 训练好的分类器，转入步骤5.2；
[0039]
步骤5.2：输入需要检测的彩色眼底图像，通过步骤1，2，3，4得到该图像 的微血管瘤候选区图像以及对应的最终特征向量，利用步骤5.1训练好的分类 器对其预测，得到各候选区图像的类别，转入步骤5.3。
[0040]
步骤5.3：对于分类为微血管瘤的候选区图像，同时记录中心坐标集合 centers中对应的坐标，可在输入彩色眼底图像对应的位置依次标出，最终实现 微血管瘤的检测。
[0041]
本发明还提供了一种眼底图像微血管瘤检测装置，其特征在于，包括如下 步骤：
[0042]
糖网背景图像模块：输入眼底图像，提取包含微血管瘤信息的待检测图像， 对待检测图像进行小目标去除，得到模糊糖网图像，再对待处理图像与模糊糖 网图像反复进行测地膨胀，得到糖网背景图像；
[0043]
微血管瘤候选区模板图模块：将糖网背景图像与待处理图像相减，并通过归 一化与特定灰度分割，得到微血管瘤候选区模板图；
[0044]
微血管瘤候选区图像模块：对微血管瘤候选区模板图进行连通域分析，计算 各连通域的面积以及中心坐标，以各中心坐标为图像中心从输入眼底图像的绿 色通道提取一定大小的图像片，并使用对应的连通域面积进行筛选，去除连通 域面积较少和较大对应的图像片，得到微血管瘤候选区图像；
[0045]
最终的特征向量模块：利用微血管瘤候选区图像，设计手工特征提取器，提 取手工特征，得到最终的特征向量；
[0046]
结果输出模块：将各候选区的特征向量和对应的类别标签送入分类器进行训 练，并利用训练好的模型对测试时的微血管瘤候选区域特征向量进行分类，判 断每一个候选区域的类别，最终输出微血管瘤在眼底图像上的中心坐标。
[0047]
本发明还提供了一种存储介质，所述存储介质上存储有一种眼底图像微血管 瘤检测程序，所述一种眼底图像微血管瘤检测程序被处理器执行时实现一种眼 底图像微血管瘤检测方法的步骤。
[0048]
因为本发明采用上述技术手段，因此具备以下有益效果：
[0049]
在本文算法中，针对微血管瘤的微小特性和视网膜背景结构设计了步骤 1，2，3，能够实现微血管瘤的候选区提取，在候选区中即包含微血管瘤，同时也 包含其他结构，相比较其他的候选区提取技术，该技术能够将一些体型较大结 构如软性渗出、神经视盘中部分高频结构、大面积的血管等排除在外，对于形 态类似的硬性渗出，也能排除，最终得到的候选区类别少、结构不复杂，有利 于后续的特征建模与分类；并通过步骤4进行进一步特征建模，本人对大量眼 底图像通过步骤1，2，3得到大量的微血管瘤候选区，通过详细的观察与统计， 我们发现在微血管瘤候选区中，除了正样本微血管瘤以外，主要存在两类负样 本，分别为血管和背景噪声，传统算法一般直接采用常规特征对其进行分类。 本文首先采用步骤4.1能量特征来描述微血管瘤的灰度特性，虽然这是常规 的，但也是必要的；然后针
对微血管瘤与血管的形态手动设计高区分度的特 征，针对微血管瘤为圆形或椭圆形，旋转之后结构变换不大，而血管旋转之后 除了中心部位以外其他区域的像素几乎发生了翻转，进而根据步骤4.2设计了 旋转不变性特征来区分微血管瘤与血管；然后通过大量实验观察到微血管瘤与 背景噪声在低灰度像素区域的分布显然不同，微血管瘤低灰度像素区域分布单 一，主要集中在中央，而背景噪声在低灰度像素区域的分布杂乱，本文首次提 出了描述图像某灰度区域的结构混乱性特征，如步骤4.3、4.4、4.5所示，该 特征不仅在低灰度区域区分微血管瘤与背景噪声具有巨大的作用，同时能应用 到其他分类场景以及其他灰度区域；最终将所有特征进行简单级联用于模型训 练与分类。常规的分类手段一般会采用灰度特征提取器、纹理特征提取器、体 特征提取器等进行特征提取与融合，该方式存在大量不必要的特征且由于特征 过多造成检测时间常，而本文通过分析正负样本并手动设计了高相关特征，使 得对目标的特征描述更为具体，因此最终模型的检测准确率更高。
附图说明
[0050]
图1为一种眼底图像微血管瘤检测方法设计流程；
[0051]
图2为输入眼底图像和待检测图像，其中(a)为眼底图像，(b)为待检测图 像；
[0052]
图3为候选区域提取示意图,其中(a)为待检测图像,(b)为经过小目标去除后 的图像，(c)为视网膜背景图像，(d)为视网膜背景图像与待检测图之差， (e)为候选区模板图像。
[0053]
图4为区别微血管瘤与血管所设定的旋转不变性特征示意图；上图为微血管 瘤，下图为血管，可以看到经过旋转后微血管瘤依然能保持一定的不变性，可 采用步骤4.2中的特征进行区分。
[0054]
图5为17
×
17的候选区图像；其中(a)为正样本，即微血管瘤，(b)为负样 本；
[0055]
图6为区别微血管瘤与背景噪声所设定的混乱性特征示意图；(a)为微血 管瘤低灰度区域，(b)为背景噪声低灰度区域，可以采用步骤4.3中的特征进 行区分。
[0056]
图7为微血管瘤检测标记图。
具体实施方式
[0057]
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此 理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现 的技术均属于本发明的范围。
[0058]
本发明提出了一种眼底图像微血管瘤检测方法，能够检测出眼底图像的微血 管瘤区域，具有较高的特异性和灵敏度，整个算法设计方案流程如图1所示， 包括步骤：
[0059]
上述技术方案中，所述步骤1中具体有以下几个步骤：
[0060]
步骤1.1：从输入彩色眼底图像提取绿色通道图像，并对其进行反射得到待 检测图像i。本示例中，输入彩色眼底图像的大小为2544
×
1696
×
3。
[0061]
步骤1.2：对待检测图像i采用滤波器进行小目标去除，得到模糊糖网图像 i
vague
；本示例中，采用了15
×
15的中值滤波器去除了眼底图像小目标。
[0062]
步骤1.3：将i
vague
作为图像l，将i作为图像t，通过式(1)经过迭代测地 膨胀后得到视网膜背景图像i
background
。式(1)如下：
[0063][0064]
上述，b其中表示大小为3
×
3值为1的结构元，表示采用结构元b对l 的膨胀操作，∩表示两图像空间相应元素中最小灰度形成的阵列。表示 标记图像l关于模板图像t的一次测地膨胀操作。整个式子迭代运算，将一次测 地膨胀操作的结果作为下次测地膨胀标记图像，并循环往复直到结果不再发生 变换。
[0065]
上述技术方案中，所述步骤2具体有以下几个步骤：
[0066]
步骤2.1：将步骤1中的待检测图像i减去步骤1中的视网膜背景图像 i
background
得到i
dif
，并对i
dif
进行归一化处理得到i
normal
；
[0067]
步骤2.2：设定阈值t1，对i
normal
进行分割，像素大于t1则置1，否则置0。 最终得到微血管瘤候选区模板图i
candidate
。本示例中，阈值t1的值为0.6。
[0068]
上述技术方案中，所述步骤3具体有以下几个步骤：
[0069]
步骤3.1：对步骤2得到的微血管瘤候选区模板图i
candidate
进行连通域分 析。计算各连通域的面积以及对应的中心坐标，筛选出连通域的面积大于s
min
小 于s
max
的中心坐标集合centers＝c1，c2，...，c
n
，其中c
i
表示第i个连通域的中心坐 标，i∈{1，2，3，...，n}，n表示微血管瘤候选区个数。本示例中，s
min
＝1，s
max
＝100。
[0070]
步骤3.2：通过步骤3.1得到的中心坐标集合centers，以每个坐标作为图 像片中心，从步骤1中的待检测图像i提取大小k
×
k的图像片，构成微血管瘤候 选区图像i
patches
＝p1，p2，...，p
n
，其中p
i
表示第i个候选区图像。本示例中，k＝17 ，即每个候选区图像的大小为17
×
17。
[0071]
上述技术方案中，所述步骤4具体有以下几个步骤：
[0072]
步骤4.1：对步骤3.2得到的微血管瘤候选区图像提取用于描述灰度信息的 能量特征，主要包括灰度平均值、方差、偏度、对比度、熵等；将能量特征定 义为attrib1；
[0073]
步骤4.2：针对微血管瘤图像一定程度上具有旋转不变性，将候选区图像p
i
顺时针旋转90
°
得到将和通过相同顺序平铺为k2维向量分别得到v
i
和通过式(2)的结果衡量其旋转不变性，并将该特征定义为attrib2；式(2)如
[0074][0075]
其中，v
i
＝{v
i1
，v
i2
，v
i3
，...，v
ik2
}，v
ij
表示v
i
中的第j个元素，类似。k2表示向 量维度，数值与单张候选区图像的元素个数相等。本示例中，向量v
i
，的维数 为289。
[0076]
步骤4.3：针对候选区图像上，微血管瘤区域像素会集中在候选区图像的中 央，且灰度值低于背景区域，而背景噪声较低灰度值形成的区域会随机分布在 候选区图像中的各个区域。设定阈值t2，对候选区图像p
i
进行分割，像素大于t1则置0，否则置1，得到低灰度像素区域l
i
。本示例中，t2＝87。
[0077]
步骤4.4：对步骤4.3得到的低灰度像素区域l
i
进行连通域分析，得到连通 域个数m，并计算得到各连通域像素面积a
i
＝a
i1
，a
i2
，a
i3
，...，a
im
，并通过式(3) 计算各连通域像素
面积占总面积之比p
i
＝p
i1
，p
i2
，p
i3
，...，p
im
，式(3)如下式所 示：
[0078][0079]
步骤4.5：通过式(4)计算候选区p
i
对应的低灰度像素区域的混乱程度h
i
， 并将其作为attrib3，式(4)如下所示：
[0080][0081]
其中，主要对混乱程度进行归一；用于描述混乱程 度，若m为1，表示低灰度区域只有一个连通区域，此时为1，表示低灰度区域只有一个连通区域，此时则表示当前候选区低灰度区域图像单一；当m大于1，a
i
中若存在一个连通域远大于其他连通域面积，混乱程度依然趋近于0；若存在多 个面积相差不大的连通域，则的值趋近于log
2 m，经过归一后 该值趋近于1。
[0082]
步骤4.6：将步骤4.5得到的attrib3和步骤4.2得到的attrib2依次接在步 骤4.1得到的attrib1的后面，形成最终的特征向量。
[0083]
上述技术方案中，所述步骤5具体有以下几个步骤：
[0084]
步骤5.1：输入多张眼底图像通过步骤1，2，3，4得到大量微血管瘤候选区 的最终的特征向量，并相应打上标签，若该候选区为微血管瘤则标记为1，若 不为微血管瘤则标记为0，将特征向量和标签一同送入分类器进行训练，得到 训练好的分类器，转入步骤5.2；本示例中，采用lightgbm框架作为模型训练 的分类器，采用gbdt作为拟合方法，针对从4112个微血管瘤候选区提取出来 的特征进行五折交叉验证训练，经过500次迭代后得到模型。
[0085]
步骤5.2：输入需要检测的彩色眼底图像，通过步骤1，2，3，4得到该图像 的微血管瘤候选区图像以及对应的最终特征向量，利用步骤5.1训练好的分类 器对其预测，得到各候选区图像的类别，转入步骤5.3。
[0086]
步骤5.3：对于分类为微血管瘤的候选区图像，同时记录中心坐标集合 centers中对应的坐标，可在输入彩色眼底图像对应的位置依次标出，最终实现 微血管瘤的检测。