基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法与流程

本发明涉及一种视网膜图像微动脉瘤自动检测与识别方法。

背景技术：

视网膜图像中的微小目标，如微动脉瘤(Microaneurysms，MAs)，可以为眼底病患者的身份识别提供有效的辅助信息。其在视网膜图像中通常表现为暗红色小圆点状的目标，且部分微动脉瘤很难与背景区分开。此外，有些微动脉瘤具有不规则的形状，或者相互聚集，或者靠近视网膜血管。因此，从眼底图像中自动检测并识别出该微小目标仍是一项十分具有挑战性的工作。为此，本发明提出一种基于梯度向量分析的视网膜微动脉瘤自动检测与识别方法。该视网膜图像中微小目标的检测，对输液图像中微小异物目标检测、遥感图像中微小红外目标检测以及工件表面图像中的微小缺陷目标检测具有重要的借鉴价值。

技术实现要素：

本发明的目的是为了完成对视网膜图像中微动脉瘤自动检测与识别，提出一种基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法。

实现上述目的，本发明的技术方案是：

步骤一：候选微动脉瘤检测；先对微动脉瘤提取，所述的微动脉瘤提取主要包含血管去除、候选微动脉瘤定位与分割三个步骤；

步骤二：候选微动脉瘤特征的提取；

步骤三：微动脉瘤识别。

本发明相对于现有技术的有益效果是：本发明通过分析眼底视网膜图像中不同暗目标(主要包括血管、微动脉瘤等)的梯度向量分布情况，并结合样本不均衡分类器，提出了新的基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法。

本发明采用候选微动脉瘤检测与分类。在候选微动脉瘤检测阶段，血管作为检测微动脉瘤的主要干扰物被首先抑制，然后候选微动脉瘤被定位和分割出来；在候选微动脉瘤分类阶段，首先提取出具有较强能力的特征集合，然后利用训练样本不均衡分类器来进行微动脉的识别。

本发明的方法容易操作，对提高视网膜微小目标的检测与识别提供了有效的解决方案。该发明还能够应用于输液图像中微小异物目标检测、遥感图像中微小红外目标检测以及工件表面图像中的微小缺陷目标检测。

附图说明

图1是预处理结果图像；

图2是单一尺度条件数结果图像；

图3是单一尺度条件数结果图像；图3与图2的支撑半径不同；

图4是多尺度条件数结果图像；

图5是包含5个真实微动脉瘤的预处理图像，也是图1局部放大图；

图6是包含5个真实微动脉瘤的多尺度条件数图像，也是图4局部放大图；

图7是血管重构结果图像；

图8是血管去除结果图像；

图9是包含5个真实微动脉瘤的血管去除图像，也是图8局部放大图；

图10是包含低对比度的微动脉瘤示例图像；

图11是包含了靠近血管的微动脉瘤示例图；

图12是血管去除结果，保留了低对比度微动脉瘤示例图；

图13是血管去除结果，保留了靠近血管的微动脉瘤示例图；

图14是多方向二阶导数乘积结果图像；

图15是微动脉瘤定位结果图像。

具体实施方式

具体实施方式一：本实施方式披露了基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法，所述的方法包括如下步骤：

步骤一：候选微动脉瘤检测；先对微动脉瘤提取，所述的微动脉瘤提取主要包含血管去除、候选微动脉瘤定位与分割三个步骤；

步骤二：候选微动脉瘤特征的提取；

步骤三：微动脉瘤识别。

考虑到在视网膜图像绿色通道中，微动脉瘤与背景间具有最大的对比度，将使用绿色通道作为后续操作的输入图像。在提取候选微动脉瘤之前，为了去除眼底图像的噪声同时保留微动脉的边缘，采用基于加权最小二乘框架下的边缘保持滤波对图像进行平滑处理。继而使用阴影修正方法去除图像中的不均衡光照。图1给出了预处理结果图像示例。

具体实施方式二：具体实施方式一所述的基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法，步骤一中，所述的血管去除方法是：通过分析微动脉瘤与血管的不同梯度分布特性，来实现血管的去除，并在去除血管的同时保留真实的微动脉瘤；将梯度向量x，y分量看作两个随机变量，通过计算并分析目标区域内所有梯度向量分量组成的协方差矩阵；对于视网膜血管，其梯度分量协方差矩阵特征值有一个占优的特征值；而对于微动脉，其对应特征值近似相等。

微动脉瘤所在的毛细血管在眼底视网膜图像中并不可见，因此，微动脉瘤通常是与视网膜血管网络相分离的。由于血管网络会干扰微动脉瘤的检测，本发明将首先研究血管去除的方法，以消除血管带来的不利影响。现有文献中的血管去除方法在去除血管的同时，往往也会去除一些真实的微动脉瘤。本发明通过分析微动脉瘤与血管的不同梯度分布特性，来实现血管的去除，并在去除血管的同时保留真实的微动脉瘤。通过观察眼底图像，我们可以发现，对于具有分段线形结构的视网膜血管，其区域内梯度分量的2D分布仍呈现一种线形分布，并存在一个主方向；对于圆点状的微动脉瘤，其区域内梯度分量的2D分布仍呈现一种圆形分布，即不存在显著占优的主方向。将梯度向量x，y分量看作两个随机变量，通过计算并分析目标区域内所有梯度向量分量组成的协方差矩阵，即可描述这两种不同的结构。对于视网膜血管，其梯度分量协方差矩阵特征值有一个占优的特征值；而对于微动脉，其对应特征值近似相等。

特别地，对于预处理图像I_p上的任意一点，本发明定义一个半径为r的支撑区域，记作S_r，该支撑区域内梯度向量组成的协方差记作C(x，y，r)，其对应的特征值分别记作λ₁和λ₂，且λ₁≥λ₂；上述不同结构的特性即可利用特征值之间比例λ₁/λ₂，即利用协方差矩阵C(x，y，r)的条件数κ(C(x，y，r))来进行区分。条件数κ越接近于1，目标越接近于圆形；而条件数越大，目标越接近于线形；考虑到眼底视网膜图像中微动脉瘤和血管都具有一定的尺度变化，为了克服目标多尺度问题，本发明通过改变不同支撑区域的半径，按如下公式一计算多尺度条件数，即

式中对数函数用来防止输出值溢出，r_min和r_max分别为最小和最大支撑半径。

图2和图3是不同支撑半径下计算出的条件数结果图像。图4为多尺度条件数结果图像。从图中可以看出，眼底图像中绝大多数血管，包括粗血管和细血管都有着较大的值。即在图像中，血管结构被增强了，而微动脉瘤被抑制了。

接下来，本发明将利用的计算结果来将图像中的血管与微动脉瘤分离开来。值得注意的是，如图5和6所示，亮框所标示的微动脉瘤由于具有不规则的形状，其值稍高于其他微动脉瘤。而如箭头所示的血管片段具有较低的值。因此，不能直接使用阈值的方式来分离出血管网络。

本发明利用基于图像的形态学灰度重建方法进行血管去除，具体而言，首先利用经验阈值对图像进行二值化处理，得到的二值化结果记作I_bw。该二值化结果中包含了绝大多数血管结果，并将作为标记图像，从预处理图像I_p的补图像中重建出视网膜血管网络，重建结果记作I_v(如图7所示)。由于标记图像I_bw中仅含有血管结果，在重建过程中血管结构将被重建出来。而对于微动脉瘤，其与血管网络不相连，并且其不会出现在标记图像I_bw中，因此，在重建过程中微动脉瘤并不会被重建出来。接下来，通过从预处理图像I_p中减去重建结果Iv，绝大多数血管将被去除，而具有不同形状和大小的微动脉瘤将被有效地保留下来，血管去除结果如图8所示；图9是图8的局部放大结果，其对应利用图像对图5进行血管去除的结果；由图可见，具有较低直的血管结果和其他血管一起被有效地去除，而具有较高值的微动脉瘤被有效地保留下来。

图10中包含了低对比度的小微动脉瘤，图11包含了靠近血管的微动脉瘤。利用本发明的方法进行血管去除后，这些微动脉瘤都能够被有效地保留下来(如图12和13所示)。

具体实施方式三：具体实施方式一所述的基于梯度向量分析的视网膜微小目标(微动脉瘤)的自动检测与识别方法，步骤一中，所述的候选微动脉瘤定位的方法是：通过计算候选微动脉瘤多个方向上的二阶导数，来对微动脉瘤进行精确定位。

在去除血管后，仍然会存在一些微小的血管片断，背景噪声以及其他的眼底暗圆形结构。接下来，本发明将在血管去除图像中对候选微动脉瘤进行定位，同时将抑制非微动脉瘤的出现。考虑到上述非微动脉瘤和微动脉瘤具有相似的灰度值，直接利用灰度信息进行候选微动脉瘤的定位并不可行。

由于微动脉瘤在沿各个方向上的灰度截面轮廓都呈现高斯形状分布。根据微动脉瘤的这种特性，本发明通过计算多个方向上的二阶导数，来对微动脉瘤进行精确定位，同时，实现对非微动脉瘤的抑制。由于在任意方向上，微动脉瘤中心点都是该方向上灰度截面轮廓的最小点，所以微动脉瘤中心点应当在沿各个方向的灰度截面上有着最大的二阶导数值。而对于微动脉瘤的其他位置或非微动脉瘤而言，在某些方向上，该二阶导数值将会降低，甚至趋近于或小于零。只有微动脉瘤中心处才会在各个方向上具有较高的二阶导数值，而其他位置在某些方向上二阶导数趋近于零或等于零。基于这个观察，本发明提出了基于多方向二阶导数(即二阶方向导数)的候选微动脉瘤定位方法。

具体而言，给定一幅离散图像I，对于图像中任意一点(x，y)，可以在其局部邻域内利用Facet模型拟合出一个连续曲面，点(x，y)处离散灰度曲面的偏导数即利用该点处拟合的连续曲面上的偏导数进行估计；对于任意方向θ，其对应的单位方向向量记作u＝[cosθ，sinθ]^T，则图像I上的梯度向量为点(x，y)处沿θ方向上的方向导数I′_θ(x，y)定义如下：

则该点处在θ方向上的二阶方向导数I″_θ(x，y)通过下式进行计算：

考虑到一个负的方向导数表示该方向上灰度是单调下降的，其不符合从微动脉瘤中心到边缘的灰度分布，本发明在计算方向导数时将负值全进行置零处理，并定义如下的二阶方向导数即

式中符号表示负值置零操作，在此基础上，本发明计算多个方向上二阶方向导数的乘积

显然，位于微动脉瘤中心处的要高于其他位置，在本发明中，计算从0°到360°之间36个方向上的值。

接下来，本发明将多方向上二阶方向导数乘积图像中超过经验阈值的所有局部极大值点作为最终的候选微动脉瘤中心点。图14给出了多方向二阶导数乘积结果图像。图15微动脉瘤定位结果图像。由图可知，本发明所提方法可以定位出几乎所有的真实微动脉瘤。值得注意的是，聚集在一起的微动脉瘤也能够被成功地单独定位出来，这些微动脉瘤通常被现有文献工作错误地检测为同一个微动脉瘤。

具体实施方式四：具体实施方式一所述的基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法，步骤一中，所述的候选微动脉瘤分割的方法是；采用基于局部区域能量的水平集分割方法完成对候选微动脉瘤区域的分割。

在定位出微动脉瘤中心后，本发明将进一步分割出完整的微动脉瘤病变区域。为了提高分割结果对眼底图像灰度不一致性的鲁棒性，本发明采用基于局部区域能量的水平集分割方法完成对候选微动脉瘤区域的分割。在该方法中，通过局部Chan-Vese能量来驱动活动轮廓线的演化。局部Chan-Vese能量通过将传统Chan-Vese能量中的全局区域(活动轮廓线分割出的曲线内外区域)灰度均值替换为活动轮廓线局部内外区域的灰度均值，来提高对亮度不一致的目标边缘的分割性能。此外，为了进一步提高算法的分割效率，本发明利用稀疏场技术来对曲线演化过程中的水平集进行表达。稀疏场技术采用链表的数据格式对零水平集上的点及其周边邻域点进行存储，实现水平集的快速更新和演化，使得具有不同大小和局部对比度的微动脉瘤都被精确地分割出来。

具体实施方式五：具体实施方式一所述的基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法，步骤二中，所述的候选微动脉瘤特征的提取包括几何、对比度、灰度、边缘、纹理、区域描述符以及其他特征七类。

具体实施方式六：具体实施方式五所述的基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法，所述的几何特征的提取方法是：

候选区域Ω的长短轴之比r₁，区域Ω等面积圆的直径与Ω长轴之比r₂，区域Ω的面积a、圆度c、离心率e及紧致性；

所述的对比度特征的提取方法是：预处理图像I_p以及原始眼底图像I_o在RGB、LUV以及HSI颜色空间上各通道图像中候选区域Ω内最大灰度与候选区域Ω外最小灰度的差值ξ，Ω外区域通过形态学膨胀方法进行获取；

所述的灰度特征的提取方法是：预处理图像I_p以及原始眼底图像I_o绿色通道上的Ω区域灰度值之和∑、中心点处归一化灰度值ni以及Ω区域内归一化灰度值均值nm，原始眼底图像I_o在RGB、LUV以及HSI颜色空间上各通道图像中区域Ω内外的平均灰度值μin、μout及其对应的标准差σin、σout；

所述的边缘特征的提取方法是：预处理图像I_p上区域Ω边界处梯度幅值的平均值μ_e；

所述的纹理特征的提取方法是：预处理图像I_p的高斯(LoG)滤波器响应图像上区域Ω内的均值μ_g(μ_l)以及标准差σ_g(σ_l)，其中滤波器尺度参数σ＝1，2，4，8；

所述的区域描述符的提取方法是：预处理图像I_p上候选微动脉瘤中心点处局部邻域窗口内的区域描述符HOG、SURF和GIST，考虑到手工标记的微动脉瘤通常半径在5～10个像素，为了利用微动脉瘤及其周边区域的信息，本发明在31×31像素大小的邻域窗口内进行局部描述符的计算；

所述的其他特征的提取方法是：预处理图像I_p上区域Ω内梯度向量与径向方向间夹角差异的均值μ_ξ及其标准差σ_ξ，预处理图像I_p上区域Ω内外条件数、收敛指数和散度值的均值μ_k、μ_ci、μ_div以及标准差σ_κ、σ_ci、σ_div。预处理图像I_p上区域Ω内独立指数值的均值μ_ii和标准差σ_ii，该孤立指数是在圆形支撑区域(半径为7像素)外的环形区域(宽度为3像素)内平均灰度值与其标准差的比值，区域Ω内条件数、收敛指数、孤立指数与散度值乘积的平均值μ_wi。

为了区分微动脉瘤与非微动脉瘤，本文提取了七大类特征集合，包括了几何、对比度、灰度、边缘、纹理、区域描述符以及其他特征。除了区域描述符，剩下的特征主要是依据微动脉瘤形状、颜色等特性进行定义，并通常会采用在现有工作的微动脉瘤分类过程中。为了综合利用候选微动脉瘤区域及其周边区域的信息，本发明特意引入区域描述对候选微动脉瘤进行分类。本发明所提取的特征具体如下：

1.几何特征：候选区域Ω的长短轴之比r₁。区域Ω等面积圆的直径与Ω长轴之比r₂。区域Ω的面积a、圆度c、离心率e及紧致性。

2.对比度特征：预处理图像I_p以及原始眼底图像I_o在RGB、LUV以及HSI颜色空间上各通道图像中候选区域Ω内最大灰度与候选区域Ω外最小灰度的差值ξ。Ω外区域通过形态学膨胀方法进行获取。

3.灰度特征：预处理图像I_p以及原始眼底图像I_o绿色通道上的Ω区域灰度值之和∑、中心点处归一化灰度值ni以及Ω区域内归一化灰度值均值nm。原始眼底图像I_o在RGB、LUV以及HSI颜色空间上各通道图像中区域Ω内外的平均灰度值μ_in、μ_out及其对应的标准差σ_in、σ_out。

4.边缘特征：预处理图像I_p上区域Ω边界处梯度幅值的平均值μ_e。

5.纹理特征：预处理图像I_p的高斯(LoG)滤波器响应图像上区域Ω内的均值μ_g(μ_l)以及标准差σ_g(σ_l)，其中滤波器尺度参数σ＝1，2，4，8。

6.区域描述符：预处理图像I_p上候选微动脉瘤中心点处局部邻域窗口内的区域描述符HOG、SURF和GIST。考虑到手工标记的微动脉瘤通常半径在5～10个像素，为了利用微动脉瘤及其周边区域的信息，本发明在31×31像素大小的邻域窗口内进行局部描述符的计算。

7.其他特征：预处理图像I_p上区域Ω内梯度向量与径向方向间夹角差异的均值μ_ξ及其标准差σ_ξ。预处理图像I_p上区域Ω内外条件数、收敛指数和散度值的均值μ_κ、μ_ci、μ_div以及标准差σ_κ、σ_ci、σ_div。预处理图像I_p上区域Ω内独立指数值的均值μ_ii和标准差σ_ii，该孤立指数是在圆形支撑区域(半径为7像素)外的环形区域(宽度为3像素)内平均灰度值与其标准差的比值。区域Ω内条件数、收敛指数、孤立指数与散度值乘积的平均值μ_wi。

综上所述，本发明所提特征总共含有1247维，其中区域描述符HOG、SURF和GIST特征分别为775、128和216维。由于区域描述符较少被用来进行微动脉分类，本发明将重点分析其在微动脉识别中的作用。

具体实施方式七：具体实施方式一所述的基于梯度向量分析的视网膜图像微动脉瘤自动检测与识别方法，步骤三中，所述的微动脉瘤识别的方法是：首先利用经验阈值去除一些明显的非微动脉瘤，如候选微动脉瘤面积a不在2～150范围内，或者长短轴比r₁小于0.3，则将训练专门的样本不均衡分类器RUSBoost来对微动脉瘤进行识别。

考虑到在提取到的候选微动脉瘤集合中，非微动脉瘤的个数远远大于微动脉瘤个数，特别地，本发明在候选微动脉瘤提取过程中，为了保留尽可能多的微动脉瘤，本发明提取到的候选微动脉瘤集合中非微动脉瘤和微动脉瘤之间的比例达到500∶1。

为了解决样本不均衡问题，本发明首先将利用经验阈值去除一些明显的非微动脉瘤，如候选微动脉瘤面积a不在2～150范围内，或者长短轴比r₁小于0.3。接下来，本发明将训练专门的样本不均衡分类器(RUSBoost)来对微动脉瘤进行识别。

不均衡分类器(RUSBoost)将随机下采样方法与AdaBoost.M2算法相结合，可以有效解决样本不均衡带来的分类问题。给定少数类样本集R和多数类样本集S，|R|＜＜|S|。不均衡分类器(RUSBoost)在AdaBoost.M2算法的每一次循环中随机从多数类样本集S中下采样样本子集合S′，进而构建一个临时的类别均衡样本集R∪S′来训练弱分类器，其中|S′|＜|S|，|S′|＝|R|。最终的强分类器通过加权组合T个弱分类器h_t(t＝1，2，...，T)得到，h_t为第t次循环过程中利用类别均衡样本集R∪S′_t代替类别不均衡样本集R∪S训练得到弱分类器。

虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明的，本领域技术人员还可以在本发明精神内做其他变化，以及应用到本发明未提及的领域中，当然，这些依据本发明精神所做的变化都应包含在本发明所要求保护的范围内。