内镜图像的高光区域消除方法
【专利摘要】本发明提供了一种内镜图像的高光区域消除方法，包括如下步骤：S10，对内镜图像进行预处理；S20，提供图像融合操作所需的最终权重模板；S30，提供内镜图像的细节弱化的无高光图像；S40，以最终权重模板作为融合修复的权重因子，将细节弱化的无高光图像和内镜图像的原图像进行融合修复，获得高光消除并保留图像主要细节的无高光图像。本发明的目的在于提供一种内镜图像的高光区域消除方法，能够在高光区域较大的时候实现内镜图像的自然修复。
【专利说明】
内镜图像的高光区域消除方法
技术领域
[0001] 本发明设及一种医学内镜图像高光消除方法，可用于医学内镜成像诊疗过程中辅 助医生更好的进行观察和病情诊断。
【背景技术】
[0002] 内窥镜成像过程中，人体器官表面发生的高光反射，通常表现为亮度饱和的高亮 区域，运些高亮区域将会降低图像质量并对手术过程的观察W及病灶判断造成较大的影 响，甚至成为许多基于视觉分析算法误差的源头，并对许多基于梯度的计算机视觉算法造 成消极影响。
[0003] 在过去的几十年中，大量的算法被提出W检测和修复内镜图像中的高光反射。 ArnolcUet al.等基于全局非线性滤波和颜色阔值的方法进行高光区域的检测，使用距离 高光像素特定距离处像素的颜色信息作为该高光像素的颜色信息。该算法可有效的选择出 图像中的高光区域，并对高光区域进行一定的修复。但基于全局阔值的方法对整幅图像进 行单一阔值的分割，在高光像素拥有一定动态范围的时候，很难精确做出精确的判断。利用 高光像素临近像素的颜色信息对高光区域进行补色的方法，在高光区域较小时可W得到较 好的效果，但随着高光区域的增大，由于高光中屯、区域难W找到适合的临近像素信息，补色 结果将产生较大的人为痕迹。
[0004] 为解决众多基于全局阔值的分割方法W及基于邻近像素颜色传递的修复方法存 在的缺陷，从该算法中衍生出多种改进算法。一些学者在全图应用一个固定大小的滑动窗 口，在窗口中应用局部阔值的方法进行高光区域的分割，并且利用基于自适应窗口动态捜 索的方法，使得高光像素可W使用尽量多的非高光像素信息进行颜色的修复。虽然目前提 出的算法可在一定程度上解决现存内镜图像高光像素检测和修复算法的缺陷，但反射高光 像素提取的效果有待提高，应用邻域信息进行补色的算法，在高光区域较大的时候难W实 现自然修复的效果。
[0005] 因此本领域需要一种有效的内镜图像的高光区域消除方法，解决在高光区域较大 的时候难W实现内镜图像自然修复的问题难W实现自然修复内镜图像的问题。
【发明内容】
[0006] 针对相关技术中存在的问题，本发明的目的在于提供一种内镜图像的高光区域消 除方法，能够在高光区域较大的时候可W实现内镜图像的自然修复自然修复内镜图像。
[0007] 本发明提供了一种内镜图像的高光区域消除方法，包括如下步骤：
[000引 Sio，对内镜图像进行预处理；
[0009] S20,提供图像融合操作所需的最终权重模板；
[0010] S30,提供内镜图像的细节弱化的无高光图像；
[0011] S40, W最终权重模板作为融合修复的权重因子，将细节弱化的无高光图像和内镜 图像的原图像进行融合修复，获得高光消除并保留图像主要细节的无高光图像。
[001^ 根据本发明，步骤Sio包括如下子步骤：
[0013] SlOl，利用非线性滤波的方法增加图像中高光和正常区域的对比，W获得增强图 像；
[0014] S102,将增强图像进行基于小波分析的降噪算法，滤除内镜图像采集及处理过程 中的随机噪声，W获得去噪图像；
[001引 S103，将去噪图像由RGB颜色空间转换到服V颜色空间。
[0016]根据本发明，步骤S20包括如下子步骤：
[0017] S201，对内镜图像进行全局高光检测，W得到粗分割的高光区域；
[0018] S202，对内镜图像进行局部高光检测，W得到精细分割的高光区域；
[0019] S203,对粗分割的高光区域和精细分割的高光区域进行融合，得到高光区域的二 值权重模板；
[0020] S204,对二值权重模板利用形态学操作和电势场势能图理论，通过迭代求解拉普 拉斯方程实现二值权重模板边缘的均匀渐变，W获得最终权重模板。
[0021] 根据本发明，子步骤S201执行为，联合亮度和饱和度空间，利用基于直方图的二值 化阔值算法进行全局高光检测。
[0022] 根据本发明，子步骤S202执行为，基于超像素分割的方法，将高光像素粗略聚类到 同一超像素内部，结合全局阔值W及OTSU二值化处理自适应阔值的方法，在每一个超像素 内部进行高光像素的检测和分割，得到精细分割的高光区域。
[0023] 根据本发明，二值权重模板为最终的高光区域的二值化图像。
[0024] 根据本发明，子步骤S204执行为，
[0025] S2041，对二值权重模板进行形态学膨胀，得到膨胀模板；
[0026] S2042,用膨胀模板和原始的二值权重模板相减，得到膨胀环带区域；
[0027] S2043，对膨胀环带区域赋值为两侧均值；
[00%] S2044,迭代应用如下方法，得到权重值均匀渐变的环带区域，W此渐变模板作为 最终权重模板：
[0029] Ti+i(X，y) = [Ti(X+A x,y)巧i(x-A x,y)巧i(x,y+Ay)巧i(x,;y-A y)]/4。
[0030] 根据本发明，步骤S30包括如下子步骤：
[0031] S301，基于用户反馈W及非线性拟合的RPCA获得最优参数估计经验公式，可用于 估计内镜图像应用RPCA时的最优权重参数；
[0032] S302,应用RPCA理论，建立高光图像中低秩特征成分与高光噪声的能量函数，利用 最优化理论迭代求解低秩成分的最优解，W得到细节弱化的无高光图像。
[0033] 根据本发明，步骤S301执行为：
[0034] S3011，人工合成包含不同尺寸高光区域的测试图像；
[0035] S3012，对RPCA权重参数在一定范围内采样，获得权重参数序列；
[0036] S3013,对原始图像和合成图像应用参数序列中的权重参数，分别进行图像的低秩 特征分解，得到对应的低秩本征图像；
[0037] S3014,计算不同参数下，合成图像低秩成分和原图像本征成分的相似性值；
[0038] S3015,根据用户选择和视觉效果，确定不同高光尺寸情况下，得到细节保留和噪 声去除效果平衡的权重参数值；
[0039] S3016,对最优的权重参数和其对应的高光尺寸进行非线性拟合，W获得内镜图像 中的最大高光区域连通域面积在全图所占比例和RPCA的最优权重参数之间的量化公式；
[0040] S3017,对于给定一幅含高光图像，计算其包含最大高光区域连通域占全图面积比 例，带入量化公式，便可W得到内镜图像应用RPCA时的最优权重参数。
[0041] 根据本发明，步骤S40执行为：
[0042] 通过势能图理论得到所述最终权重模板T并作为融合修复的权重因子Wi,进而通 过RPCA获得细节弱化的无高光图像Id之后，结合原高光图像I。，便可根据如下融合策略得到 高光消除并保留图像主要细节的无高光图像：
[0043] Isf=WiId+W2l〇,W2= I-Wio
[0044] 本发明的有益技术效果在于：
[0045] 本发明的内镜图像的高光区域消除方法，首先对内镜图像进行预处理;然后提供 图像融合操作的最终权重模板和内镜图像的细节弱化的无高光图像;最后W最终权重模板 作为融合修复的权重因子，将细节弱化的无高光图像和内镜图像的原图像进行融合修复， 获得高光消除并保留图像主要细节的无高光图像。本方法能够实现：（1)高光反射区域的精 确检测与分割；（2)反射高光区域的去除和自然修复。
【附图说明】
[0046] 图1是示出的本发明的内镜图像的高光区域消除方法的流程图。
[0047] 图2是示出的本发明的内镜图像的高光区域消除方法的详细流程图。
【具体实施方式】
[0048] 参考附图公开示出的实施例。然而，应当理解，所公开的实施例仅为可W W各种和 替代形式显示的实施例。附图未必按比例绘制，并且可能放大或缩小一些特征来显示特定 部件的细节。所公开的具体结构和功能性细节不应解释为限制，而是作为用于教导本领域 技术人员如何实践本公开的代表性基础。
[0049] 为克服现有内镜图像高光检测修复算法中存在的不足，本发明提供一种基于超像 素和大津(OTSU)阔值的内镜图像的高光区域消除方法，本方法是基于低秩特征融合的内镜 图像高光区域消除方法，能够实现局部高光自适应阔值的精确检测分割;在本方法中运用 一种基于用户反馈和非线性拟合的方法，自动确定鲁棒主成分分析(Robust Principal Component AnalysiS，RPCA)算法的最优权重参数，然后利用RPCA和图像融合的方法，得到 高光区域的自然修复。
[0050] 参照图1，本发明提供了一种内镜图像的高光区域消除方法，包括如下步骤：
[0化1] Sio，对内镜图像进行预处理；
[0052] S20,提供图像融合操作所需的最终权重模板；
[0053] S30,提供内镜图像的细节弱化的无高光图像；
[0054] S40, W最终权重模板作为融合修复的权重因子，将细节弱化的无高光图像和内镜 图像的原图像进行融合修复，获得高光消除并保留图像主要细节的无高光图像。
[0055] 具体而言，本方法在经过预处理后的内镜图像的基础上，提供内镜图像的最终权 重模板和内镜图像的细节弱化的无高光图像，最后进行融合修复W获得高光消除并保留图 像主要细节的无高光图像。本方法能够实现：（1)高光反射区域的精确检测与分割；（2)反射 高光区域的去除和自然修复。
[0化6] 参照图2,步骤SlO包括子步骤S101、S102、S103。
[0057]子步骤SlOl，利用非线性滤波的方法增加图像中高光和正常区域的对比，增强高 光区域和浅色组织器官之间的差异性，W获得增强图像；
[0化引其中，在子步骤SlOl中，对于含有高光的内镜图像 ，定义其饱和度
，则应用W下非线性滤波增加图像中高光和正常区域的对比，增强高 光区域和浅色组织器官之间的差异性：
[0059] 拟
[0060] S，B为图像S通道强度值。
[0061] 子步骤S102,将增强图像进行基于小波分析的降噪算法，滤除内镜图像采集及处 理过程中的随机噪声，W获得去噪图像，减弱随机噪声对高光区域分割的影响。
[0062] 子步骤S103,考虑到图像中的高光区域具有高亮度低饱和度的特性，将去噪图像 由RGB颜色空间转换到HSV颜色空间，分别在亮度通道和饱和度通道对高光区域进行检测提 取，W实现高光区域的精确检测。
[0063] 根据本发明的方法，步骤S20包括子步骤S201、S202、S203、S204:
[0064] 子步骤S201，对内镜图像进行全局高光检测，W得到粗分割的高光区域。具体而 言，子步骤S201执行为，联合亮度和饱和度空间，利用基于直方图的二值化阔值算法进行全 局高光检测。也就是说，分别选取较高的亮度阔值和较低的饱和度阔值，对高光区域进行初 步检测提取，得到高光区域的粗分割结果。
[0065] 子步骤S202,对内镜图像进行局部高光检测，W得到精细分割的高光区域。具体而 言，子步骤S202执行为，基于超像素分割的方法，将高光像素粗略聚类到同一超像素内部， 结合全局阔值W及OTSU二值化处理自适应阔值的方法，在每一个超像素内部进行高光像素 的检测和分割，得到精细分割的高光区域。在超像素内部可W实现高光像素更为精确的检 测J。也就是说，使用简单线性迭代聚类（Simple Linear Iterative Clustering,SLIC)算法 对图像进行超像素分割，该算法基于K均值化-means)聚类的思想将图像局部具有相似颜色 和亮度特征的像素聚类到同一超像素内部。在超像素内部，结合全局阔值和OTSU自适应阔 值的方法对像素进行可能的二值分类，精细分割出高光区域，OTSU算法使用聚类的思想，把 图像的灰度数按灰度级分成两个部分，使得两个部分之间的灰度值差异最大，其中每个部 分内部的各个像素之间的灰度值差异最小。采用该算法可W实现自动选取阔值进行二值 化，类间方差最大的分割意味着错分概率最小。
[0066] 子步骤S203,对粗分割的高光区域和精细分割的高光区域进行融合，得到高光区 域的二值权重模板;该二值权重模板为最终的高光区域的二值化图像，并作为基于图像融 合高光消除的权重模板。
[0067] 子步骤S204,对二值权重模板利用形态学操作和电势场势能图理论，通过迭代求 解拉普拉斯化aplace)方程实现二值权重模板边缘的均匀渐变，W获得最终权重模板。该最 终权重模板作为图像融合高光消除最终的权重模板，实现高光区域边缘自然融合的效果。 本发明通过结合形态学操作和电势场势能图理论，实现了高光区域边缘的渐变衰减，可用 于图像融合的权重模板，实现融合边缘的自然过渡，得到更自然的视觉效果。
[0068] 具体而言，为消除二值权重边缘的突变造成的不自然痕迹，本发明结合形态学操 作和电势场理论中势能图的方法，在区域边缘构建Laplace方程，并迭代的求解其雅克比 (Jacobi)解，实现边缘权重的平滑渐变衰减。
[0069] Ti+i(x,y) = [Ti(x+A x,y)巧i(x-A x,y)
[0070] +Ti(x,y+A y)巧i(x,;y-A y)]/4;
[0071] 其中，1'1^，7)，1'1+1^，7)分别为第1次和第1 + 1次迭代后，获得二值权重模板的平 滑结果。
[0072] 更为具体地，在一个可能的实例中，子步骤S204执行为：
[0073] S2041，对二值权重模板进行形态学膨胀，得到膨胀模板；
[0074] S2042，用膨胀模板和原始的二值权重模板相减，得到膨胀环带区域；
[00巧]S2043,对膨胀环带区域赋值为两侧均值。例如，即：高光区域1，正常区域0,环带区 域0.5;
[0076] S2044,迭代应用如下方法，得到权重值均匀渐变的环带区域，W此渐变模板作为 最终权重模板，此最终权重模板作为图像融合权重，实现融合边缘的自然过渡，得到更好的 视觉效果：
[0077] Ti+i(X，y) = [Ti(X+A x,y)巧i(x-A x,y)巧i(x,y+Ay)巧i(x,;y-A y)]/4。
[0078] 继续参照图2，步骤S30包括子步骤S301、S302:
[0079] 子步骤S301，基于用户反馈W及非线性拟合的RPCA最优参数估计经验公式，估计 出内镜图像应用RPCA时的最优权重参数;具体而言，本发明通过基于用户反馈和非线性拟 合的方法获得图像中最大高光连通域面积S对应RPCA最优参数A之间的关系，得到可用于自 动平衡RPCA过程中细节保留和噪声去除效果的A-S量化关系曲线：
[0080] 入=a ? logio(b ? S)+c
[0081] 其中，a，b，c均为实数，对于输入的内镜高光图像，在分割出其高光区域后，只需计 算其高光部分最大连通区域的面积S，既可W根据W上关系确定RPCA过程的最优权重参数 入。
[0082] 更为具体地，在一个可能的实例中，子步骤S301执行为：
[0083] S3011，人工合成包含不同尺寸高光区域的测试图像，该不同尺寸是指占全图像面 积的不同尺寸；
[0084] S3012，对RPCA权重参数在一定范围内采样，获得权重参数序列；
[0085] S3013,对原始图像和合成图像应用参数序列中的权重参数，分别进行图像的低秩 特征分解，得到对应的低秩本征图像；
[0086] S3014,计算不同参数下，合成图像低秩成分和原图像本征成分的相似性值；
[0087] S3015,根据用户选择和视觉效果，确定不同高光尺寸情况下，得到细节保留和噪 声去除效果平衡的权重参数值；
[0088] S3016,对最优的权重参数和其对应的高光尺寸进行非线性拟合，W获得内镜图像 中的高光区域面积在全图所占比例和RPCA的最优权重参数之间的量化公式；
[0089] S3017,对于给定一幅含高光图像，计算其包含最大高光区域连通域占全图面积， 带入量化公式，便可W得到内镜图像应用RPCA时的最优权重参数。本发明提出一种自动选 取RPCA过程权重参数的方法，可W实现噪声去除效果和图像细节保留之间的平衡。
[0090] 根据本发明的一个可能的实施例，子步骤S302,应用RPCA理论，建立高光图像中低 秩特征成分与高光噪声的能量函数，利用最优化理论迭代求解低秩成分的最优解，W得到 细节弱化的无高光图像，用于图像的融合修复。本发明采用融合原图像和无高光细节弱化 图像的方法得到最终的高光修复图像。为此，采用RPCA理论，对高光图像进行分解，得到相 应的细节弱化的无高光主成分和噪声分量。该过程可通过求解W下最优化问题获得：
[0091]
[0092] 其中，M All*为图像主成分矩阵核范数(矩阵特征值的和），IlEl Ii为噪声矩阵h范 数(矩阵元素绝对值的和），A是一个正值的权重因子。
[0093] 根据本发明的方法，步骤S40执行为：
[0094] 通过势能图理论得到融合修复的权重因子WiW及通过RPCA获得细节弱化的无高 光图像Id之后，结合原高光图像I。，便可根据如下融合策略得到高光消除并保留图像主要细 节的无高光图像：
[00巧]Isf=WiId+W2l〇，恥=1-胖1，其中胖1等于步骤82044中的1'。
[0096] W上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人 员来说，本发明可W有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、 等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种内镜图像的高光区域消除方法，其特征在于，包括如下步骤： S10,对所述内镜图像进行预处理； S20，提供图像融合操作所需的最终权重模板； S30,提供所述内镜图像的细节弱化的无高光图像； S40,以所述最终权重模板作为融合修复的权重因子，将所述细节弱化的无高光图像和 所述内镜图像的原图像进行融合修复，获得高光消除并保留图像主要细节的无高光图像。2. 根据权利要求1所述的内镜图像的高光区域消除方法，其特征在于，所述步骤SlO包 括如下子步骤： SlOl，利用非线性滤波的方法增加图像中高光和正常区域的对比，以获得增强图像； S102,将所述增强图像进行基于小波分析的降噪算法，滤除所述内镜图像采集及处理 过程中的随机噪声，以获得去噪图像； S103，将所述去噪图像由RGB颜色空间转换到HSV颜色空间。3. 根据权利要求1所述的内镜图像的高光区域消除方法，其特征在于，所述步骤S20包 括如下子步骤： S201，对所述内镜图像进行全局高光检测，以得到粗分割的高光区域； 5202, 对所述内镜图像进行局部高光检测，以得到精细分割的高光区域； 5203, 对所述粗分割的高光区域和所述精细分割的高光区域进行融合，得到所述高光 区域的二值权重模板； S204，对所述二值权重模板利用形态学操作和电势场势能图理论，通过迭代求解拉普 拉斯方程实现所述二值权重模板边缘的均匀渐变，以获得所述最终权重模板。4. 根据权利要求3所述的内镜图像的高光区域消除方法，其特征在于，所述子步骤S201 执行为，联合亮度和饱和度空间，利用基于直方图的二值化阈值算法进行全局高光检测。5. 根据权利要求3所述的内镜图像的高光区域消除方法，其特征在于，所述子步骤S202 执行为，基于超像素分割的方法，将高光像素粗略聚类到同一超像素内部，结合全局阈值以 及OTSU二值化处理自适应阈值的方法，在每一个所述超像素内部进行高光像素的检测和分 害J，得到所述精细分割的高光区域。6. 根据权利要求3所述的内镜图像的高光区域消除方法，其特征在于，所述二值权重模 板为最终的高光区域的二值化图像。7. 根据权利要求3所述的内镜图像的高光区域消除方法，其特征在于，所述子步骤S204 执行为， S2041，对所述二值权重模板进行形态学膨胀，得到膨胀模板； S2042，用所述膨胀模板和原始的所述二值权重模板相减，得到膨胀环带区域； 52043, 对所述膨胀环带区域赋值为两侧均值； 52044, 迭代应用如下方法，得到权重值均匀渐变的环带区域，以此渐变模板作为所述 最终权重模板： Ti+i(x,y) = [Ti(x+A x,y)+Ti(x-A x,y)+Ti(x,y+A y)+Ti(x,y-A y)]/4〇8. 根据权利要求1所述的内镜图像的高光区域消除方法，其特征在于，所述步骤S30包 括如下子步骤： S301，基于用户反馈以及非线性拟合获得RPCA最优参数估计经验公式，用于估计所述 内镜图像应用RPCA时的最优权重参数； S302,应用RPCA理论，建立高光图像中低秩特征成分与高光噪声的能量函数，利用最优 化理论迭代求解低秩成分的最优解，以得到所述细节弱化的无高光图像。9. 根据权利要求8所述的内镜图像的高光区域消除方法，其特征在于，所述步骤S301执 行为： S3011，人工合成包含不同尺寸高光区域的测试图像； 53012, 对RPCA权重参数在一定范围内采样，获得权重参数序列； 53013, 对原始图像和合成图像应用所述参数序列中的权重参数，分别进行图像的低秩 特征分解，得到对应的低秩本征图像； 53014, 计算不同所述参数下，合成图像低秩成分和原图像本征成分的相似性值； 53015, 根据用户选择和视觉效果，确定不同高光尺寸情况下，得到细节保留和噪声去 除效果平衡的权重参数值； 53016, 对最优的所述权重参数和其对应的高光尺寸进行非线性拟合，以获得所述内镜 图像中的最大高光区域连通域面积在全图所占比例和所述RPCA的最优权重参数之间的量 化公式； 53017, 对于给定一幅含高光图像，计算其包含最大高光区域连通域占全图面积比例， 带入所述量化公式，便可以得到所述内镜图像应用RPCA时的最优权重参数。10. 根据权利要求1所述的内镜图像的高光区域消除方法，其特征在于，所述步骤S40执 行为： 通过势能图理论得到所述最终权重模板T并作为融合修复的权重因子W1，进而通过RPCA 获得细节弱化的无高光图像Id之后，结合原高光图像I。，便可根据如下融合策略得到所述高 光消除并保留图像主要细节的无高光图像： Isf = ffiId+ff2l〇,W2 = I-Wio
【文档编号】G06T5/00GK105957042SQ201610397007
【公开日】2016年9月21日
【申请日】2016年6月7日
【发明人】杨健, 郜业飞, 王涌天, 艾丹妮, 丛伟建, 范敬凡
【申请人】北京理工大学