本发明涉及到图像融合技术，特别涉及便携式电子内镜中的图像融合方法。
背景技术：
电子内镜系统是一种对人体内部的各种器官和组织的健康状态进行检查的医疗仪器，其插入人体内的一端装有由一小块硅片集成的ccd镜头，它能将待查部位的图像转化为数字化的电信号，输出至体外由图像监视器接收并显示。这一技术的应用使人体内部图像的贮存、再现、会诊以及管理成为可能。常用的电子内镜包含镜体、光源、图像处理单元、水气供给单元、显示器、图像处理工作站等设备，整套系统体积庞大，需要多人共同完成操作，因此并不适用于野战、救灾等特殊情况。
本发明涉及的便携式电子内镜系统体积小，其内部集成供电模块、水气模块、led光源模块及嵌入式图像处理系统及界面，可单人携带、独立完成诊疗操作，机动性好。不受电子、电磁、辐射、高温、干燥等影响，对水、电、气要求低，环境适应性强，适合在一些恶劣环境下对病人的紧急检查和治疗。
便携式电子内镜主要对胃部环境进行检测，观察组织的病变情况。由于胃部环境狭窄不平整，可能出现某些部位很亮或者很暗的情况，图像中将不可避免地出现过度曝光或曝光不足的失真区域。内镜图像的最大亮度与最小亮度之比被称为动态范围，由于数字成像设备的动态范围远小于内镜检查环境，因此便携式电子内镜中需要一种高效的高动态范围(highdynamicrange，hdr)的成像技术来应对病人胃部组织的检查。
多次曝光是获取hdr图像的一种常用方法。经典的hdr算法包含两个步骤，首先对相机的响应函数(cameraresponsefunction，crf)进行估计，根据不同曝光时间的图像序列重建现实场景的辐射图，再对重建结果应用色调映射(tonemapping)算法，得到适用于常规显示设备的低动态范围图像(lowdynamicrange，ldr)。与经典的hdr算法不同，曝光融合算法跳过合成hdr图像的过程，直接通过图像融合方法来重建与hdr成像效果类似的高质量图像。相比之下，曝光融合算法无需进行相机响应函数估计与色调映射，因而更加高效。由于体内环境中往往存在器官收缩舒张等生理现象，如何在实现高动态范围图像融合过程中排除运动物体的干扰，成为近年来研究的热点问题。2007年，t.mertens等人提出了曝光融合的概念，根据图像局部对比度、饱和度和曝光质量计算权重，对不同曝光时间下的图像序列进行融合，但该方法仅对静态场景有效，当场景中存在动态目标时，融合结果中将出现运动模糊、鬼影等现象。2009年，gallo等人利用相机响应曲线重建场景辐射图，通过图像序列与参考图像之间的关系来判别运动鬼影所在的区域，进而在融合过程中去除鬼影。但该方法需要重建相机响应曲线，并且在去除鬼影的同时往往会造成连同运动目标一起去除，导致融合结果与真实场景不符。2012年，sen等人针对动态场景提出一种图像对齐与鬼影去除算法，该算法在图像序列中选择一帧参考图像，通过最小化能量方程获得局部最优相似性。该算法对鬼影具有较好的抑制效果，但同样需要重建相机响应曲线，并且重建结果仍会有少量区域存在过度曝光现象。
技术实现要素：
本发明的目的是提供一种用于便携式电子内镜的动态场景曝光融合算法实现高动态范围的动态场景图像融合。本发明根据整体图像质量，如像素曝光质量、细节丰富程度，从图像序列中选择参考图像。从像素曝光质量、细节丰富程度及与参考图像之间的局部相似性三个角度对图像内容进行评价，并根据评价结果确定融合权重。采用拉普拉斯金字塔图像融合算法进行图像融合，从而得到高动态范围图像。
本发明的用于便携式电子内镜的图像融合方法，包括：
步骤1.利用便携式电子内镜，得到人体内部组织的图像序列；
步骤2.计算图像序列中每一副图像的曝光质量评价因子；
步骤3.计算图像序列中每一副图像的局部细节丰富程度评价因子；
步骤4.计算图像中所有像素点的局部曝光质量评价因子与局部细节丰富程度评价因子乘积的平均值，通过选取其中平均值最大的图像，作为参考图像；
步骤5.计算序列中所有图像与参考图像的相似性评价因子；
步骤6.通过计算局部曝光质量评价因子、局部细节丰富程度评价因子与相似性评价因子的乘积，得到参与图像融合的每一副图像的权重；
步骤7.通过权重与序列图像乘积的加和，得到动态场景图像；
优选的，步骤1中，通过电子内镜得到图像序列，并对图像序列进行编号：对于长度为p帧的图像序列，设ii(x,y)表示第i帧图像在(x,y)位置的灰度值，其中i∈[0,p]为像素点坐标；(x,y)为像素点坐标；
优选的，步骤2中，采用高斯曲线的形式来评价像素点的曝光质量；曝光质量评价因子计算公式为：
其中，ei(x,y)表示第i帧图像在(x,y)位置的曝光质量评价因子，σe为常数，对于彩色图像，将图像转换到ycbcr颜色空间，根据亮度分量y来计算参数e；
优选的，步骤3中，利用梯度的幅值信息对图像的局部细节丰富程度进行评价，图像细节丰富程度评价因子di计算公式如下：
上式中，ε表示很小的正数，mi为第i帧图像(x,y)位置上的梯度大小；
优选的，步骤3中，采用sobel算子作为梯度提取算子，分别计算水平和竖直两个方向的梯度值gx、gy，将二者的几何平均值作为该点的梯度幅值，第i帧图像(x,y)位置上的梯度大小mi为：
优选的，步骤4中，计算图像中所有像素点局部曝光质量评价因子和局部细节丰富度评价因子的乘积，
q＝e×d，
利用局部曝光质量评价因子e和局部细节丰富程度评价因子d的乘积q作为参考图像的选择依据，计算图像中所有像素点q值的平均值
优选的，步骤5中，参考图像的梯度方向图为θref，第i帧图像的梯度方向图为θi，第i帧图像在(x,y)位置上与参考图像之间的梯度方向差记为di(x,y)，则：
相应的相似性评价因子si(x，y)为：
其中，σd为常数；在计算局部相似性评价因子过程中，为了降低图像噪声的影响，提高计算结果的可靠性，对图像进行分块处理；分块大小为(2l+1)(2l+1),其中k的取值由-l到l，表示每块图像中所有的像素点；
优选的，步骤6中，综合局部曝光质量、细节丰富程度以及与参考图像之间的相似性三方面因素的影响，基于图像质量评价因子的权重计算公式为：
wi(x，y)＝ei(x，y)·di(x，y）·si(x，y)。
优选的，步骤7中，对权重w进行归一化处理，得到新的权重矩阵为：
融合结果为：
本发明提出的用于便携式电子内镜的图像融合方法是一种新的动态场景曝光融合算法，以图像内容评价因子作为权重，将图像序列中的图像进行融合，算法兼顾高动态范围图像融合效果和运动鬼影的抑制效果。
附图说明
下面通过具体实施方式并参照附图介绍本发明的其它细节和优点，附图如下：
图1为本发明用于便携式电子内镜的图像融合方法的一种实施流程图；
图2.本发明用于便携式电子内镜的图像融合方法与其他算法处理结果对比图。其中(d)(e)(f)分别为(a)(b)(c)中右侧框所示区域放大的结果，(g)(h)(i)为(a)(b)(c)中左侧框所示区域放大的结果。
具体实施方式
本发明的具体实施方式如图1所示：
101.利用便携式电子内镜，得到人体内部组织的图像序列。对图像序列进行编号，对于长度为p帧的图像序列，设ii(x,y)表示第i帧图像在(x,y)位置的灰度值，i∈[0,p]为像素点坐标；(x,y)为像素点坐标。
102.计算需要融合图像的曝光质量评价因子；
ei(x，y)表示第i帧图像在(x,y)位置的曝光质量评价因子，σe为常数。当灰度值为0.5时，评价参数e取最大值1。曝光质量评价因子表达式为：
103.计算图像序列中每一副图像的局部细节丰富程度评价因子；
采用sobel算子作为梯度提取算子，分别计算水平和竖直两个方向的梯度值gx、gy，将二者的几何平均值作为该点的梯度幅值。第i帧图像(x,y)位置上的梯度大小mi为：
图像细节丰富程度评价因子di计算公式如下：
上式中，ε表示很小的正数。
104.参考图像选取；
利用局部曝光质量评价因子e和局部细节丰富程度评价因子d的乘积q作为参考图像的选择依据，计算图像中所有像素点q值的平均值
105.计算图像序列中所有图像与参考图像的相似性评价因子；
参考图像的梯度方向图为θref，第i帧图像的梯度方向图为θi，第i帧图像在(x,y)位置上与参考图像之间的梯度方向差记为di(x,y)，σd为常数，则：
相应的相似性评价因子si(x，y)为：
在计算局部相似性评价因子过程中，为了降低图像噪声的影响，提高计算结果的可靠性，对图像进行分块处理。分块大小为(2l+1)(2l+1),其中k的取值由-l到l，表示每块图像中所有的像素点；
106.计算每副图像在图像融合中的权重；
综合局部曝光质量、细节丰富程度以及与参考图像之间的相似性三方面因素的影响，基于图像质量评价因子的权重计算公式为：
wi(x，y)＝ei(x，y)·di(x，y)·si(x，y)
107.通过权重与序列图像乘积的加和，得到动态场景图像；
在进行图像融合之前，首先对权重w进行归一化处理，得到新的权重矩阵为：
对于长度为p帧的图像序列，设ii(x,y)表示第i帧图像在(x,y)位置的灰度值，(x,y)为像素点坐标，其中i∈[1,p]；融合结果为r(x,y)为像素点坐标，则图像融合的基本过程为：
表1、表2采用本发明提供的动态场景曝光融合算法与其他方法的结果对比。表1为采用图像熵对处理结果进行评价；表2为采用局部结构相似性(ssim)参数对处理结果进行评价。图像熵的大小可在一定程度上反映融合结果中包含的信息量大小；理想情况下，融合结果与参考图像中曝光正常的区域之间应具有较好的结构相似性，当融合结果中出现鬼影时，与参考图像之间的结构相似性将遭到破坏，因此通过考察融合结果与参考图像之间的局部结构相似性，可评价算法对鬼影的抑制效果。
表1
表2
从图2的结果中可以看出，mertens等人的算法对像素的曝光质量控制得较好，融合结果中几乎不存在过度曝光的区域，但无法抑制运动场景的鬼影现象。sen等人的算法有效地去除了鬼影，但图像中仍然存在较为明显的过曝区域，相比之下，本算法的处理结果在去除鬼影的前提下，对过曝现象控制得更为理想。
以上为本发明的最佳实施方式，依据本发明公开的内容，本领域普通技术人员能够显而易见想到一些雷同替代方案，均应落入本发明的保护范围。