一种适用冷光源腹腔影像参数自适应的实时去烟雾方法与流程

本发明涉及医学图像的数字图像处理技术领域，具体涉及一种适用冷光源腹腔影像参数自适应的实时去烟雾方法。

背景技术：

随着医疗水平的不断进步，腹腔镜已广泛应用于各种外科手术。在某些疾病中，腹腔镜手术已成为治疗的首选方式。然而，手术中腹腔镜镜片起雾(Laparoscopic lens fogging，LLF)的情况常常令手术需要暂停，相当于外科医生突然失去视力，大大影响了手术的流畅度，甚至有时引起不必要的医疗安全问题。LLF是腹腔镜手术过程中保持清晰视野的一个主要障碍。它是由颗粒、血和烟雾在镜头上缓慢积累所致，往往导致手术时间增加。腹腔镜镜头起雾的原因是由于腹腔内外存在温差，如果腹腔镜镜头的温度低于腹腔内温度，在镜头进入腹腔后，腹腔内的热气遇到冷的镜头，部分水蒸气非常容易凝聚，从而形成一层雾，影响视野在监视器上的清晰度。

目前的研究表明提高腹腔镜视野清晰度的方法大致可分为四类：a)物理方法加温腹腔镜；b)防雾溶液的物理擦拭；c)腹腔镜设备的材料技术革新；d)组织擦拭。上述方法基本都属于物理去雾方法，大量的时间耗费在保持手术视野的清晰上，使手术变得冗长，并且效果有限，而且往往费时，成本高，并且没有足够的数据来支持其改善的效果。为了更为有效的解决镜片起雾这一问题，我们设想利用计算机处理技术来进行数字图像处理。噪点(noise)主要是指CCD/CMOS将光线作为接收信号接收并输出的过程中所产生的图像中的粗糙部分，也指图像中不该出现的外来像素，看起来就像图像布满一些细小的糙点。雾气和烟尘位于图像之中也就是噪点，单帧图像的降噪技术已经非常成熟。视频图像即是多个单帧图像的累加，如能将降噪技术用于视频图像处理，可以将腹腔镜手术中令人生厌的起雾起烟去除。

数字化图像去雾有很多的方法，适用范围不尽相同。目前较为可靠的去雾方法是何恺明等人提出的“基于暗通道先验的图像去雾方法”，对于单帧图像，暗通道先验去雾是数字图像去雾的常用算法。它通过求取原图像的暗通道矩阵、大气光成分，估计原图的透射率矩阵，最后由雾图成像模型计算求得去雾图。这种方法适用范围广泛，能够很好的针对腹腔镜视野封闭狭窄及光源特点等特征进行去雾处理。为了获取更加精细的透射率矩阵，通常采用导向滤波的方法。然而这个过程中包含很多浮点运算，所以处理图像的速度比较慢，难以满足近些年腹腔镜手术高分辨率视频实时去雾的要求。需要进行技术改进才能满足实时性的要求，并且还有继续优化的空间。

由于硬件设备的升级，近些年腹腔镜手术视频的分辨率普遍为1920*1080的高清信号，所以优化暗通道先验去雾算法，实现高分辨率视频的实时去雾，构建一套数字化去雾系统，将处理后的清晰图像实时显示，能够给医生的腹腔镜手术带来极大的便利，降低手术风险。

技术实现要素：

针对冷光源腹腔影像的去烟雾方法运算复杂、处理速度慢、实时性差的问题，本申请提供一种适用冷光源腹腔影像自适应的实时去烟雾方法，包括步骤：

获取腹腔影像视频信号的帧率，根据帧率选择视频图像的采样帧；

根据采样帧对所述视频图像进行采样，以获取采样帧的原含雾图像；

将原含雾图像通过暗通道先验去雾原理计算后获得暗通道图，计算暗通道图的透射率图，采用自回归滑动平均的方法计算暗通道图的大气光照系数；

利用原含雾图像、暗通道图、大气光照系数和透射率图，求解雾图成像方程，获得去雾图像；

将去雾图像实时输出形成去雾视频。

一种实施例中，采用自回归滑动平均的方法计算暗通道图的大气光照系数，包括步骤：

设定每一帧的暗通道图的大气光照系数所对应的影响因素；

利用滑动平均模型估计大气光照系数的误差项；

根据影响因素和误差项建立自回归滑动平均的模型；

利用自回归滑动平均的模型逐渐逼近并获取大气光照系数。

一种实施例中，根据帧率选择视频图像的采样帧，包括步骤：

判断帧率是否大于25FPS，若大于，采样帧为隔帧采样，否则，采样帧为逐帧采样。

一种实施例中，通过指针操作符访问储存在内存空间中的原含雾图像、暗通道图像和透射率图。

一种实施例中，计算暗通道图的透射率图，包括步骤：

判断暗通道图是否是高清图像，若不是，根据暗通道图计算透射率，若是，对暗通道图进行降采样，并根据降采样后的暗通道图计算透射率。

一种实施例中，将原含雾图像通过暗通道先验去雾计算后获得暗通道图的过程中包括采用中值滤波对暗通道图进行处理的步骤。

一种实施例中，采用多个中值滤波器对暗通道灰度图像并行处理。

一种实施例中，中值滤波器的滤波窗口的大小与所述中值滤波器的滤波半径呈正相关。

一种实施例中，求解雾图成像方程，获得去雾图像，包括步骤：

判断原含雾图像是否是高清图像，若是，对原含雾图像进行降采样，若不是，则直接提取原含雾图像；

将降采样后的原含雾图像或直接提取的原含雾图像、暗通道图、大气光照系数和透射率图通过雾图成像模型求解，获得去雾图像。

一种实施例中，将去雾图像输出形成去雾视频之前还包括将去雾图像转换到HSV色彩空间进行图像增强的步骤。

依据上述实施例的实时去烟雾方法，由于自回归滑动平均的方法计算大气光照系数，减少了估计值与真实系数之间的误差，并将去雾图像转换到HSV色彩空间中进行图像增强，有效克服暗通道去雾过程中出现的颜色失真，使去雾图像更加逼真。

另外，在暗通道先验的过程中，通过指针操作符访问数据，大大减少了暗通道先验的运行时间，而且，采取降采样的办法求其透射率图和去雾图，大幅度减少了需要处理的数据量。

另外，在暗通道先验的过程中，通过中值滤波处理暗通道图像，能够更好的保存图像边缘，还能平滑平坦区域，还能通过调整滤波窗口的大小，以适应不同大小的烟颗粒的去除，能达到很好的去烟效果。

附图说明

图1为适用冷光源腹腔影像自适应的实时去烟雾方法流程图；

图2为适用冷光源腹腔影像自适应的实时去烟雾方法细节流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

本例提供一种适用冷光源腹腔影像自适应的实时去烟雾方法，其流程图如图1所示，其具体流程图如图2所示，包括如下具体步骤。

S1：获取腹腔影像视频信号的帧率，根据帧率选择视频图像的采样帧。

将原始有雾的腹腔影像视频信号作为输入，获取腹腔影像视频信号的帧率，根据帧率选择视频图像的采样帧，即根据不同帧率分别采取不同的帧间采样方式，目前腹腔镜摄影设备采用的帧率主要有25FPS和50FPS两种，具体的，判断帧率是否大于25FPS，若大于，采样帧为隔帧采样，否则，采样帧为逐帧采样。

本方步骤统一按照25FPS进行采样，输出影像视频流的帧率也设定为25FPS，使得高帧率信号在去雾处理的耗时减少，同时也能保证视频实时处理无卡顿、延迟。

S2：根据采样帧对视频图像进行采样，以获取所述采样帧的原含雾图像。

S3：暗通道先验去雾原理计算，获得暗通道图、大气光照系数和透射率图。

统计学规律发现，在无烟雾图像的大多数局部区域内，其中的一些像素会在某个颜色通道内含有非常低的像素值，即在某个区域内所有像素的各个通道的最小值很小。一般认为，这种现象是由图像场景中的阴影、彩色物体或黑色物体造成的。本例按块(局部图像)定义图像的暗通道图像为：

式中J^c表示彩色图像的每个通道，Ω(x)表示以像素x为中心的一个窗口，c表示r、g、b三通道。

暗通道先验的理论指出：

J^dark→0 (2)

这个结论是基于大量自然图像暗通道图的统计而得出的先验结论。实际生活中造成三原色中低通道值主要有三个因素：a)汽车、建筑物和城市中玻璃窗户的阴影，或者是树叶、树与岩石等自然景观的投影；b)色彩鲜艳的物体或表面，在RGB的三个通道中有些通道的值很低(比如绿色的草地、树、植物，红色或黄色的花朵、叶子，或者蓝色的水面)；c)颜色较暗的物体或者表面，例如灰暗色的树干和石头。总之，自然景物中到处都是阴影或者彩色，这些景物的图像的三原色低通道值总是很低的。将暗通道理论应用于腹腔镜手术中一样是适用的，而在腹腔镜镜头中三原色低通道值很低的则是人体器官、组织、血管等。

本步骤利用上述的暗通道公式对原去雾图像进行暗原色先验处理，在本步骤之前，还需要对原去雾图像进行中值滤波处理，对原去雾图像进行去噪，有效减弱图像噪声，有利于后续建立准确的成雾模型，步骤S3具体包括如下步骤：

S31：通过指针操作符访问对应的原含雾图像。

本步骤及以下步骤中，涉及到图像的访问时，均采用指针操作符遍历读取，

即通过指针操作符访问储存在内存空间中的原含雾图像、暗通道图像和透

射率图，指针操作符能够对数据进行高速读写，大大降低程序运行时间，

S32：将原含雾图像通过暗通道先验去雾计算后获得暗通道图。

本步骤中还包括采用中值滤波对暗通道图进行处理，中值滤波算法能够更好的保存暗通道图边缘，还能平滑平坦区域，同时，中值滤波算法比最小值滤波更加高效；进一步，本步骤采用多个中值滤波器对暗通道灰度图像并行处理，支持调用多核条件下多个中值滤波器进行并行运算，加速了本步骤的运算。

本例的中值滤波器的滤波窗口的大小与中值滤波器的滤波半径呈正相关，一般有WindowSize＝Radius*2+1，即窗口的大小由滤波半径的大小决定，而滤波半径的大小取值需要考虑到固体颗料状的烟的尺寸，所以，中值滤波对类似于高亮噪点的固体颗粒的有很好的去除效果，并且，通过调整滤波窗口的大小，可以适应不同大小的颗粒的去除。

S33：采用自回归滑动平均的方法计算暗通道图的大气光照系数。

自回归滑动平均的方法是：将预测指标随时间推移而形成的数据序列看作是一个随机序列，这组随机变量所具有的依存关系体现着原始数据在时间上的延续性。一方面，影响因素的影响，另一方面，又有自身变动规律，先设定影响因素为x1，x2，…，xk，其回归分析为公式(3)；

Y＝β₀+β₁x₁+β₂x₂+...+β_kx_k+e (3)；

其中Y是预测对象的观测值，e为误差，作为预测对象Yt受到自身变化的影响，其规律可由公式(4)体现，其中β是自回归模型中的权重参数项，公式(4)中代表的是p阶自回归模型；

Y_t＝β₀+β₁x_t-1+β₂x_t-2+...+β_px_t-p+e_t (4)；

误差项(包含各类型的信号噪声)的变化规律随机程度较大，可以用滑动平均模型进行估计，即利用滑动平均模型估计大气光照系数的误差项，其由公式(5)表示，其中α是滑动平均模型中的权重参数项，μ_t是误差项的期望值，公式(5)中代表的是q阶滑动平均模型；

e_t＝α₀+α_αe_t-1+α₂e_t-2+...+α_qe_t-q+μ_t (5)；

由公式(4)和公式(5)建立的自回归滑动平均模型表达式为公式(6)；

Y_t＝β₀+β₁x_t1+β₂x_t-2+...+β_px_t-q+α₀+α₁e_t-1α₂e_t-2+...+α_qe_t-q+μ_t (6)；

其中x1，x2，…，xk对应每一帧的大气光照系数A1，A2，…，Ak，Y对应预测的大气光照系数A的真实值，利用自回归滑动平均模型可以逐渐的逼近真实的大气光照系数。

S34：计算暗通道图的透射率。

判断暗通道图是否是高清图像，若不是，根据暗通道图计算透射率，若是，对暗通道图进行降采样，并根据降采样后的暗通道灰度图像计算透射率，使得，计算负担小，效率高。

S4：利用原含雾图像、暗通道图、大气光照系数和透射率图，求解雾图成像方程，获得去雾图像。

在计算机视觉和数字图像处理中，下述方程所描述的雾图形成模型被广泛使用：I(x)＝J(x)t(x)+A(1-t(x)) (7)；

其中，I(x)是现在已经有的图像，本例中指原去雾图像，J(x)是要恢复的无雾的图像，本例中指去雾图像，A是全球大气光照图像，t(x)为透射率图像。

将式(7)变形为下式：

其中上标c表示r、g、b三通道。

首先，假设在每一个窗口内透射率t(x)为常数，定义为并且A值已经给定，然后对式(8)两边求两次最小值运算，得到下式：

其中J是待求的无雾的图像，根据前述的暗原色先验理论有：

因此有：

将式(11)代入式(9)中得到：

上式中即为透射率的估计值。

在现实生活中，即使是晴天白云，空气中也存在着一些颗粒，因此，看远处的物体还是能感觉到雾的影响，另外，雾的存在让人类感到景深的存在，因此，有必要在去雾的时候保留一定程度的雾，这可以通过在式(12)中引入一个权重因子ω，式(12)修正为：

本例中，取ω＝0.75。soft matting修正算法被用于消除分块计算产生的图像锯齿很边缘模糊，但是由于此算法效率很低，大幅增加算法耗时，对实时处理有严重的不利影响，而且去雾效果上的提升并不明显，所以本例舍弃了这一步骤。

上述推论中基于A值已知的假设。在实际操作中，确定A值的具体步骤如下：(1)从暗通道图中按照亮度的大小取前0.1％的像素；(2)在这些位置中，在原始有雾图像I中寻找对应的具有最高亮度的点的值，作为A值。

当投射率t的值很小时，会导致J的值偏大，从而使得图像整体向白场过度，因此一般设置一阈值T₀＝0.1，t＜T₀时取t＝0.1。

最终的恢复公式如下：

在利用公式(14)计算之前，需要先判断原含雾图像是否是高清图像，若是，对原含雾图像进行降采样，若不是，则直接提取原含雾图像，对高清的原含雾图像降采样后，可以减少需要处理的数据量。

然后，再将降采样后的原含雾图像或直接提取的原含雾图像、暗通道图、大气光照系数和透射率图通过雾图成像模型(14)求解，最终，获得去雾图像。

S5：将去雾图像实时输出形成去雾视频。

由于步骤S3和步骤S4中均采用了降采样处理，所以，在形成视频之前，还需要对去雾图像转换到HSV色彩空间，进行图像增强。

HSV(Hue，Saturation，Value)是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间，也称六角锥体模型(Hexcone Model)。这个模型中颜色的参数分别是：色调(H)，饱和度(S)，明度(V)。

色调H：用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它们的补色是：黄色为60°，青色为180°，品红为300°；

饱和度S：饱和度S表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和。

明度V：明度表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0％(黑)到100％(白)。

RGB和CMY颜色模型都是面向硬件的，而HSV(Hue Saturation Value)颜色模型是面向人类视觉的，在本例中始终只针对色彩饱和度(Saturation)进行补偿来进行图像增强。

具体的，将去雾后的图像先转换到HSV空间，然后降低图像的色彩饱和度至原来的80％，增强后的图像比去雾后图像的色彩更加逼真。

通过步骤S1～S5，本例通过对医院提供的两套帧率分别为25FPS和50FPS、分辨率均为1920*1080的腹腔镜手术视频(其中25FPS取6个视频，50FPS取1个视频)进行测试，在CPU为i7 4700、编译环境为Visual Studio 2010的条件下，输出去雾视频相对于原视频的平均滞后时间为30.6ms，最大滞后时间为35ms，实现了实时去雾，且对于帧率具有自适应处理能力。具体实验滞后时间统计结果见表1。

表1.去雾处理滞后时间统计表

由于在步骤S1中通过自适应选择采样帧，根据选择的采样帧对视频帧率进行采样，及在步骤S3中，通过指针操作符访问数据，大大减少了暗通道先验的运算时间，而且，采用自回归滑动平均的方法计算大气光照系数，使其估计值更逼近实际值，针对高清的暗通道灰度图像通过降采样求其透射率图，大幅度减少了需要处理的数据量，大幅度提高了数据处理效率，进一步，提升了去烟雾的实时性，并通过中值滤波处理暗通道灰度图像，能够更好的保存图像边缘，还能平滑平坦区域，还能通过调整滤波窗口的大小，以适应不同大小的烟颗粒的去除，能达到很好的去烟效果。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。