一种基于成像模型的彩色眼底图的图像增强方法与流程

本发明属于图像增强技术领域，具体涉及一种基于成像模型的彩色眼底图的图像增强方法。

背景技术：

眼底图的筛查是收集病人视网膜信息的有效手段，无论是人工诊断还是计算机辅助的自动诊断，高质量的眼底图对病变检测以及获得可靠的诊断结果都至关重要。由于眼部病变、成像设备以及病人配合等原因，获取的眼底图常常会存在亮度不均、对比度低等问题。眼底图中的低对比度会造成眼底结构及病变结构的特征模糊不清，这将严重影响眼底疾病的正确诊断。由于眼底图像的低对比度有时由眼部病变引起，如白内障，因此不能通过重新获取图像来提高图像质量以辅助诊断。因此，针对彩色眼底图的增强方法成为眼底疾病临床分析与诊断的重要需求之一。

图像增强即为满足特殊分析的需要，强调感兴趣的特征，扩大图像中不同特征之间的差异并抑制不感兴趣的特征。在眼底图中，所有眼底结构(视盘、血管以及黄斑)以及病变均为感兴趣的区域。目前，针对彩色眼底图的增强技术大部分仅用于检测眼底结构和病变的预处理，因此常常仅能增强眼底图中的部分结构，而不能增强整体的眼底图像。依据临床诊断的需要，希望对眼底图进行整体增强，目前已有的眼底图增强方法仅是对彩色眼底图的不同通道进行分别处理，由于缺少原始图像的先验信息而很难实现图像视觉效果保真，并且对于模糊图像的增强效果不理想。

技术实现要素：

有鉴于此，本发明提供一种基于成像模型的彩色眼底图的图像增强方法，能够同时改善亮度和低对比度问题，并且实现图像数据保真，能够有效地增强临床诊断感兴趣的区域。

实施本发明的具体步骤如下：

步骤一：亮度的预处理：将红、绿和蓝通道分别记为R、G、B，根据R、G、B三个通道的灰度直方图最大极值点所对应的灰度值，对彩色眼底图像进行亮度矫正；

步骤二：提取彩色眼底图像中前景像素与背景像素：基于空间熵的对比度拉伸变换，将调整后的彩色眼底图像分为高亮度区域与低亮度区域，依据局部亮度均值与方差的马氏距离判别法，分别对所述高亮度区域与低亮度区域进行背景像素与前景像素的提取，并将高亮度区域和低亮度区域的前景像素结合，获得彩色眼底图像的前景像素；

步骤三：估计成像模型参数—背景像素亮度：基于成像模型，根据步骤二提取的背景像素，估计彩色眼底图像中每个像素点对应的背景像素亮度；

步骤四：估计成像模型参数—传输系数：基于成像模型，根据步骤二提取的背景像素与前景像素，估计彩色眼底图像中每个像素点对应的传输系数；

步骤五：根据成像模型进行图像增强：将步骤三获得的背景像素亮度以及步骤四获得的传输系数代入成像模型，获得增强图像。

进一步地，步骤一具体步骤包括：

第1步：将彩色眼底图像的R、G和B通道中的直方图最大极值点所对应的灰度值称为背景像素亮度，记为hr,hg,hb；

第2步：选取DRIVE数据库中40幅眼底图以及20幅由医生判定的具有正常亮度的彩色眼底图像作为样本，针对60个样本的hr,hg,hb，三个通道各自取平均，获得均值hr^o,hg^o,hb^o，，将hr^o,hg^o,hb^o记为标准值；

第3步：基于背景像素亮度和第2步获得的标准值，对某一通道的每个像素的灰度值Ic(x,y)进行如下矫正：

其中，(x,y)为像素位置，c∈{r,g,b}，为矫正后图像的灰度值；hc为通道c的背景像素亮度，hc^o为通道c对应的标准值；Ic(x,y)为通道c中像素(x,y)的灰度值。

进一步地，步骤二均以矫正后的彩色眼底图像作为处理基础，步骤二具体步骤包括：

第1步：将彩色眼底图像的绿色通道中的K个不同的灰度级按升序排列成{x1,x2,...,xK}，其中x1,x2,...,xK分别代表K个不同的灰度级，K取自然数，并将输入的彩色眼底图像分成若干个M×N子区域，M和N分别取自然数，M和N由下列公式决定：

其中，为取整符号；H为彩色眼底图像的高；W为彩色眼底图像的宽；

第2步：基于第1步划分的M×N个子区域，获得绿色通道每个子区域的灰度直方图hk，基于所述灰度直方图hk，计算绿色通道第k个灰度级xk的熵Sk：

其中，m∈[1,…,M]，n∈[1,…,N]；k∈[1,…,K]；

基于绿色通道灰度级xk的熵Sk，计算灰度级xk的离散概率密度函数fk：

将概率密度函数fk归一化，获得归一化后的概率密度函数fk'：

其中，St为绿色通道灰度级xt的熵，fl为绿色通道中第l个灰度级的概率密度，t∈[1,…,K),t≠k，l∈[1,…,K)；

第3步：基于彩色眼底图像中绿色通道的直方图，计算所述直方图最大的极大值所对应的灰度级Kh，并将[Kh-5,xu]作为高亮度区域的灰度级区间，其中xu为彩色眼底图像绿色通道中最高的灰度级；

第4步：基于高亮度区域的灰度级区间和归一化后的灰度级概率密度函数fk'，获得高亮度区域的灰度级分布函数Fhk^*：

其中，Fhk为归一化后的概率密度f′在灰度级区间[xk,xK]上的分布函数，fl′为归一化后的灰度级概率密度函数，l∈[1,…,K)；Fk为彩色眼底图像绿色通道中灰度级的分布函数；

基于高亮度区域的灰度级分布函数Fhk^*，对区域内每个灰度级xk的像素进行灰度级变换，获得新的输出灰度级yhk：

yhk＝255-Fhk^*×255

第5步：基于灰度变换后的高亮度区域，利用数学形态学方法提取高亮度区域的感兴趣区域，针对高亮度感兴趣区域范围内的每个像素，作如下方式处理：在以该像素点为中心的正方形窗a×b范围内计算该区域的均值μ(x,y)以及方差σ(x,y)，基于均值μ(x,y)和方差σ(x,y)，计算马氏距离dM(x,y)，当dM(x,y)大于或等于1时，则图像位置(x,y)所对应的像素是前景像素，当dM(x,y)小于1时，则图像位置(x,y)所对应的像素是背景像素；

第6步：基于彩色眼底图像绿色通道，提取10％最亮像素中的最低灰度值作为低亮度区域的灰度级区间的上限Kl，基于灰度直方图，获取每张彩色眼底图像绿色通道中的最小灰度值则为灰度级区间的下限x1；

第7步：基于第6步获得的灰度级区间的上限Kl，计算绿色通道中低亮度区域的分布函数Flk：

基于低亮度区域的分布函数Flk，对每个灰度级为xk的像素进行灰度级变换，获得新的输出灰度级ylk：

ylk＝Flk×255

第8步：基于灰度变换后低亮度区域，利用第5步的所述方式，获得低亮度区域的前景像素，并将高亮度区域和低亮度区域的前景像素结合，获得彩色眼底图像的前景像素。

进一步地，步骤四均以矫正后的彩色眼底图像作为处理基础，步骤四的具体步骤包括：

第1步：基于彩色眼底图像每个像素点对应矫正后图像的灰度值和背景像素亮度，计算彩色眼底图像的每个前景像素点分别在红、绿和蓝三个通道的传输系数值t^o(x,y)，t^o(x,y)通过下列公式计算获得：

其中，s(x,y)和s^*(x,y)是在传输系数值的乘数因子，s(x,y)属于[0,1]；为矫正后图像的灰度值；Bc(x,y)为彩色眼底图像中像素点(x,y)对应的背景像素亮度；max_c为彩色眼底图像低亮度区域中前景像素与背景像素灰度值的最大差值；

第2步：基于传输系数值的乘数因子和矫正后图像的灰度值，依据彩色眼底图像中每个像素点(x,y)对应的背景像素亮度，计算每个通道中背景像素点的传输系数：

第3步：根据引导滤波方法，对第2步获得的传输系数t^oc(x,y)进行优化。

进一步地，s(x,y)在第1步前景像素对应传输系数的计算中的值均设为0.3。

进一步地，s(x,y)在第2步背景像素对应传输系数的计算中均设为前景像素的最大传输系数值。

有益效果：

1、本发明提供了一种基于成像模型的彩色眼底图的图像增强方法，该方法是能同时实现彩色眼底图像的图像增强、亮度矫正以及色彩保真。

2、本发明采用基于成像模型的成像模型可在增强特征的同时进行原始数据的保真。

3、本发明采用基于空间熵的对比度拉伸法与基于局部亮度均值和方差的马氏距离判别法进行前景像素与背景像素的提取，提高了在低对比度的模糊图像中的效果。

4、本发明根据区分开的前景像素和背景像素的亮度关系，估计了模型的两个重要参数，实现了三个通道的增强，且保真了原始的亮度分布，从而实现了彩色眼底图而非单个通道灰度图的增强。

5、本发明具有一定的应用价值和商业价值，它可以嵌入于眼底照相机中，为所采集的图像做增强后处理，已取得更佳效果的眼底图采集。也可应用于临床科研与临床诊断中，将医生关注区域的图像进行增强，有助于提高医生诊断的正确率。

附图说明

图1为本发明实施例的彩色眼底图像增强方法流程示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

图1是本发明具体实施方式中彩色眼底图图像增强方法的流程图，具体包括如下步骤：

步骤一：亮度的预处理：将红、绿和蓝通道分别记为R、G、B，根据R、G、B三个通道的灰度直方图最大极值点所对应的灰度值，对彩色眼底图像进行亮度矫正；其主要目的是校正眼底图中出现的整体亮度过亮与过暗的情况。

步骤一具体步骤包括：

彩色眼底图像的亮度预处理包括：提取输入图像的灰度直方图、设定标准亮度以及根据标准亮度进行亮度矫正；具体步骤如下：

第1步：假设彩色眼底图像的R、G和B通道中的直方图最大极值点所对应的灰度值为背景亮度，并分别定义为hr,hg,hb；

第2步：选取DRIVE数据库中40幅眼底图以及20幅由医生判定的具有正常亮度的彩色眼底图像作为样本，针对60个样本的hr,hg,hb，三个通道各自取平均，获得均值hr^o,hg^o,hb^o，将hr^o,hg^o,hb^o记为标准值，例如hr^o,hg^o,hb^o可以为130，110和40；

第3步：基于背景像素亮度和第2步获得的标准值，对某一通道的每个像素的灰度值Ic(x,y)进行如下矫正：

其中，为矫正后图像的灰度值；hc为三个通道中任一通道的灰度值，hc^o为三个通道中任一通道对应灰度值的标准值，c∈{r,g,b}；Ic(x,y)为任一通道在位置行x和列y中对应像素的灰度值。

步骤二：为更好地处理低对比度的模糊图像，眼底图前景与背景像素的提取首先根据灰度级区间将眼底图分为高亮度区域和低亮度区域，高亮度区域包括视盘极其周围亮度较高且易造成过饱和的区域。随后，使用空间熵的对比度拉伸变换方法分别对两个区域进行灰度值拉伸变换。接着，用基于局部亮度均值与方差的马氏距离判别法分别提取高亮度区域和低亮度区域的前景像素。最后，将两个区域的提取结果合并。即提取彩色眼底图像中前景像素与背景像素：基于空间熵的对比度拉伸变换，将调整后的彩色眼底图像分为高亮度区域与低亮度区域，依据局部亮度均值与方差的马氏距离判别法，并分别对所述高亮度区域与低亮度区域进行背景像素与前景像素的提取，并将高亮度区域和低亮度区域的前景像素结合，获得彩色眼底图像的前景像素；步骤二均以矫正后的彩色眼底图像作为处理基础；具体步骤如下：

第1步：将彩色眼底图像的绿色通道中的K个不同的灰度级按升序排列成{x1,x2,...,xK}，其中x1,x2,...,xK分别代表K个不同的灰度级，K取自然数，并将输入的彩色眼底图像分成若干个M×N子区域，M和N分别取自然数，M和N由下列公式决定：

其中，为取整符号；H为彩色眼底图像的高；W为彩色眼底图像的宽；；

第2步：基于第1步划分的M×N个子区域，获得绿色通道每个子区域的灰度直方图hk，基于所述灰度直方图hk，计算绿色通道第k个灰度级xk的熵Sk：

其中，m∈[1,…,M]，n∈[1,…,N]；

基于绿色通道灰度级xk的熵Sk，计算灰度级xk的离散概率密度函数fk：

将概率密度函数fk归一化，获得归一化后的概率密度函数fk'：

其中，St为绿色通道灰度级xt的熵，fl为绿色通道中第l个灰度级的概率密度，t∈[1,…,K),t≠k，l∈[1,…,K)；

第3步：计算高亮度区域的灰度值区间。在眼底图中，背景的面积占据了50％以上(除去大面积病变的特殊情况)，因此，认为直方图极值点所对应的灰度级为背景像素的灰度值，并且最大的极大值为盘周背景的灰度级。首先基于彩色眼底图像中绿色通道的直方图，计算所述直方图最大的极大值所对应的灰度级Kh，并将[Kh-5,xu]作为高亮度区域的灰度级区间，其中xu为绿色通道彩色眼底图像中最高的灰度级；

第4步：基于高亮度区域的灰度级区间和归一化后的灰度级概率密度函数fk'，获得高亮度区域的灰度级分布函数Fhk^*；其中，灰度级小于kh-5的像素将不会考虑在高亮度区域的增强中。为了最大化地增强高亮度区域，将高亮度区域的灰度值分布函数公式Fhk^*改进为：

其中，Fhk为归一化后的概率密度f′在灰度级区间[xk,xk]上的分布函数，fl′为归一化后的灰度级概率密度函数，l∈[1,…,K)；Fk为彩色眼底图像绿色通道中灰度级的分布函数

基于高亮度区域的灰度级分布函数Fhk^*，对每个灰度级为k的像素进行灰度级变换，获得新的输出灰度级yhk：

yhk＝255-Fhk^*×255

从而得到高亮度区域的增强灰度图。

第5步基于灰度变换后的高亮度区域，利用数学形态学方法提取高亮度区域的感兴趣区域，针对高亮度感兴趣区域范围内的每个像素，作如下方式处理：在以该像素点为中心的正方形窗a×b范围内计算该区域的均值μ(x,y)以及方差σ(x,y)，基于均值μ(x,y)和方差σ(x,y)，计算马氏距离dM(x,y)，当dM(x,y)大于或等于1时，则图像位置(x,y)所对应的像素是前景像素，当dM(x,y)小于1时，则图像位置(x,y)所对应的像素是背景像素；

即提取高亮度区域的感兴趣区域，首先对高亮度区域的增强灰度图像实行二值化处理；然后用闭操作对二值化图像进行处理以填充图中血管位置在二值化图像中形成的空缺，闭操作的结构元素为圆形，其半径应该与主血管的宽度相等；最后，将形态学处理后的区域膨胀10个像素即为最终所获得的高亮区域的感兴趣区域。针对高亮度感兴趣区域范围内的每个像素，在以该像素点为中心的正方形窗a×b范围内计算其均值μ(x,y)以及方差σ(x,y)；

实施例中，所使用的图像大小为1500×1152，视盘的直径约为100像素点宽，因此，对于高亮度区域感兴趣区域范围内的每个像素，在以这个像素点为中心的正方形窗100×100范围内计算其均值μ(i,j)以及方差σ(i,j)，窗的面积至少要大于视盘面积。

基于均值μ(x,y)和方差σ(x,y)，计算马氏距离：

其中，I(x,y)为绿色通道的灰度值；

当dM(x,y)大于等于1时，则图像位置(x,y)所对应的像素是前景像素，当dM(x,y)小于1时，则图像位置(x,y)所对应的像素是背景像素；

第6步：基于彩色眼底图像绿色通道，提取10％最亮像素中的最低灰度值作为低亮度区域的灰度级区间的上限Kl，基于灰度直方图，获取每张彩色眼底图像绿色通道中的最小灰度值则为灰度级区间的下限x1；

即计算低亮度区域的灰度值区间。在40°或是50°视场角度的眼底图中，由于视盘的面积在视网膜中大约占了10％，而视盘通常为眼底图最亮的眼底结构，因此提取10％最亮像素中的最低灰度值为低亮度区域的灰度级区间的上限Kl，基于灰度直方图，输入的绿色通道中的最小灰度值则为灰度级区间的下限x1；

第7步：基于第6步获得的灰度级区间的上限Kl，计算绿色通道中计算低亮度区域的分布函数Fk：

由于不考虑灰度级大于Kl的像素点，基于第6步获得的灰度级区间的上限Kl，计算绿色通道中低亮度区域的分布函数Flk：

基于低亮度区域的分布函数Flk，对每个灰度级为k的像素进行灰度级变换，获得新的输出灰度级ylk：

ylk＝Flk×255

第8步：基于灰度变换后低亮度区域，利用第5步的所述方式，获得低亮度区域的前景像素，并将高亮度区域和低亮度区域的前景像素结合，获得彩色眼底图像的前景像素，其中，同样将低亮度区域的前景像素用1表示，背景像素用0表示。

步骤三：估计成像模型参数—背景亮度：基于成像模型，根据步骤二提取的背景像素，估计彩色眼底图像中每个像素点对应的背景像素亮度；

第1步：将彩色眼底图像分割成棋盘状像素宽度均为150的正方形Aq，其中，q取自然数，且子区域的面积要大于视盘面积。

第2步：基于步骤二获得的彩色眼底图像的前景像素，排除彩色眼底图像的前景像素点，针对每个正方形Aq，分别计算每个正方形Aq红、绿和蓝三个通道的背景像素亮度对应的均值Br(Aq)，Bg(Aq)，Bb(Aq)，获得彩色眼底图像的采样背景像素亮度；

第3步：根据双三次插值法，将采样背景像素亮度扩至原彩色眼底图像大小，获得彩色眼底图像中每个像素点对应的背景像素亮度。

步骤四：估计成像模型参数—传输系数：基于成像模型，根据步骤二提取的背景像素与前景像素，估计彩色眼底图像中每个像素点对应的传输系数；

第1步：计算每个前景像素点分别在三个通道的传输系数值t^o(x,y)，t^o(x,y)通过下列公式计算获得：

其中，s(x,y)和s^*(x,y)是在传输系数值的乘数因子乘数因子，s(x,y)属于[0,1]；它们决定对比度增强的程度。经过实验，结果表明s(x,y)的最佳取值范围在0.3￣0.8之间。当s(x,y)小于0.3时，会出现大量的噪声，当s(x,y)大于0.8时，增强效果则不明显。当s(x,y)设置为0.5时，则表明对比度至少增强2倍以上，因此，s(x,y)在所有前景像素点的值均设为0.5。s^*(x,y)主要用来增强低亮度区域中的对比度，对于高亮度区域的前景像素，s^*(x,y)设为1。对于每个低亮度区域中的前景像素，s^*(x,y)通过以下公式计算：

在上式中，Ic(x,y)为每个通道中像素在位置(x,y)上的灰度值，Bc(x,y)则为步骤三获得的背景亮度在位置(x,y)上的值。max_c则为低亮度区域中前景像素与背景像素灰度值的最大差值。

描述了前景像素与背景像素之间的亮度对比关系，通过下列公式计算得出：

在上式中，Bc(x,y)则为步骤三获得的背景亮度在位置(x,y)上的值。

第2步：基于传输系数值的乘数因子和矫正后图像的灰度值，依据彩色眼底图像中每个像素点(x,y)对应的背景像素亮度，计算每个通道中背景像素点的传输系数：

在上式中，由于背景像素的传输系数值不能大于前景像素的传输系数值，否则会造成背景像素点的增强，因此，所有背景像素的s(x,y)值均设为前景像素的最大传输系数值。

第3步：根据引导滤波方法，对第2步获得的传输系数toc(x,y)进行优化。

步骤五：根据成像模型进行图像增强：将步骤三获得的背景亮度以及步骤四获得的传输系数代入成像模型进行计算，获得增强图像。

成像模型可用等式表示为：

I(x,y)＝J(x,y)t(x,y)+B(1-t(x,y))

上式可改写为：

其中，J(x,y)为增强图像，I(x,y)为原始相机获取的图像，B为背景亮度，t(x,y)为传输系数。

第1步：当t趋近于0值时，最后增强的图像的灰度值会超过8－bit图像的灰度值范围从而造成信息丢失。因此，传输系数t(x,y)将用t(x,y)的下限值td限制，计算传输系数的下限值td：

在上式中，Ic(x,y)为每个通道中像素在位置(x,y)上的灰度值，Bc(x,y)则为步骤三获得的背景亮度在位置(x,y)上的值。

第2步：对输入图像I(x,y)中每个通道的像素点做如下计算，将步骤三和步骤四计算得到的重要参数背景亮度B和传输系数t(x,y)代入以下公式中，即可得到增强图像J(x,y)：

自此，就实现了彩色眼底图的图像增强的全部过程。实验验证，该方法可以有效实现彩色眼底图中主要眼底结构以及复杂病变的增强，并且对于对比度极低的模糊图像也能获得很好的增强效果。由于，该方法在进行图像特征增强的同时，还能保真原始图像的颜色信息，因此能很好地辅助临床诊断。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。