基于局部能量梯度算子的两次曝光融合方法与流程

本发明涉及图像融合
技术领域：
，具体是一种基于局部能量梯度算子的两次曝光融合方法。
背景技术：
：当同一物体同时存在强反射区域和黑色区域这种高光比表面时，在基于线结构光的视觉测量过程中物面对激光光条的散射效果差别较大，成像差异也较大。强反射表面可能导致图像过饱和，图像散斑严重，损失被测信息。吸光率较强的黑色表面又可能因反射不足而丢失被测信息。当物体表面同时存在强反射和黑色区域时，同一幅图像灰度值变化很大，由于相机像元的动态范围约束，图像的部分区域出现曝光过度或曝光不足，见图1-1和图1-2图。利用这种图像进行处理就会引入误差，测量精度会大大下降，甚至难以进行测量，或区域出现空洞而无法重建，见图1-3图。中国发明专利cn106447642a，公开了一种图像双重曝光融合方法及装置，该融合方法包括：对原始人脸图像进行人脸控制点识别，得到人脸区域图；对人脸区域图进行亮度填充，得到人脸权重图；对人脸权重图和原始人脸图像的单通道图像进行权重融合，得到融合权重图；对原始人脸图像和原始背景图像进行柔光处理，得到柔光处理图，并对原始人脸图像和原始背景图像进行滤色处理，得到滤色处理图；对柔光处理图和滤色处理图进行融合处理，得到待融合图像；按照融合权重图对原始人脸图像和待融合图像进行融合处理，得到双重曝光融合图像。通过以上方式使人脸图像在双重曝光融合图像中的双重曝光效果更佳，从而使双重曝光融合图像更加自然。中国发明专利cn106530277a，公开了一种基于小波方向相关系数的图像融合方法，利用db3小波变换将图像分解成3层低频子带和高频子带部分，低频子带采用基于循环移位子块空间频率相关系数确定的像素点融合规则；对于各高频子带根据其所在子带的方向特征，采用基于方向特性的区域能量及梯度的归一化相关系数差确定高频系数；该图像融合方法，充分考虑了小波系数空间频率的相关性以及能量和梯度之间存在的方向相关性，参与融合的系数对于融合图像的主客观质量更为重要和准确，融合精度高、实用性强。目前，针对同一物体高光比表面在成像过程中出现的曝光过度和曝光不足带来的成像差异问题尚未有公开具体解决的技术方案，因此，本领域技术人员有必要开发一种基于局部能量梯度算子的两次曝光图像融合方法，用于改善高光比物面成像的动态范围。技术实现要素：本发明的目的就是为了克服现有成像技术在高光比面成像的问题，而提供了一种基于局部能量梯度算子的两次曝光图像融合方法，解决了同一物体高光比表面在成像过程中出现的曝光过度和曝光不足带来的成像差异问题。为解决上述问题，本发明通过以下技术方案得以解决：一种基于局部能量梯度算子的两次曝光融合方法，定义源图像各个局部子块的能量梯度，确定图像中任一点与各局部子块中心坐标有关的度量函数，形成融合图像的像素点灰度，包括步骤如下：1)将源图像划分为大小为d×d的子块，假设总共分为nr×nc个局部子块；2)对两幅源图像的各个局部子块逐一计算能量梯度，假设两幅图像i1，i2的第j，k个子块，按照源图像中从上至下、从左至右的顺序编号的能量梯度分别为j≤nr，k≤nc，得出能量梯度具有最大值的局部子块所在的源图像块3)构造图像序列{imj,k}，j＝1，2，...nc，其中：4)对源图像中任一点计算与各个局部子块中心坐标有关的度量函数，其中(xj,k,yj,k)表示第j，k个局部子块的中心坐标，δ为标准差；进一步计算融合函数，5)融合图像的像素点灰度值，采用上述技术方案的本发明与现有技术相比，带来的意料不到的技术效果如下：该方法简便有效，实用性强，灰度值在最低点和最高点附近的欠曝光点和过曝光点都被不同程度抑制和过滤，图像亮度改善，图像细节更加清晰。融合使对比度较高区域的测量有效点数增多，空洞点数减少，平均距离偏差降低，测量精度大大提高。本发明的优选技术方案如下：所述融合图像中任一像素点的值实际为图像序列对应点的加权，权系数依赖于能量梯度最大子块所属的源图像及该像素点到各个局部子块中心的距离。所述源图像被分为4个局部子块，深色区域表示具有更高能量梯度的局部子块，融合图像中此点的像素值可表示为：式中，i3(x,y)为融合图像，d1，d2，d3，d4表示此点到各个局部子块中心的距离。选用硬盘基板和pcb板作为测量对象，利用两次曝光，兼顾强反射高光区域和黑色低暗区域，融合成高动态范围图像。采用650nm可见激光线光源，垂直照射；在光源一侧安装两个ccd相机，一个相机曝光时间长，一个相机曝光时间短，一个兼顾黑色较暗区域的细节，一个兼顾局部强反射区域的信噪比。附图说明图1-1为高光比区域的光条图像图：强反射区域。图1-2为高光比区域的光条图像图：黑色区域，断断续续的光条图像。图1-3为高光比区域的光条图像图：三维重建空洞。图2为两次曝光成像系统结构图。图3-1为两次曝光图像图：硬盘基板高曝光图像。图3-2为两次曝光图像图：硬盘基板低曝光图像。图3-3为两次曝光图像图：pcb板高曝光图像。图3-4为两次曝光图像图：pcb板低曝光图像。图4-1为图像匹配过程图：硬盘基板匹配。图4-2为图像匹配过程图：pcb板匹配。图5为基于图像局部能量梯度的融合过程图。图6-1为硬盘基板两次曝光图像融合图：高曝光图像。图6-2为硬盘基板两次曝光图像融合图：低曝光图像。图6-3为硬盘基板两次曝光图像融合图：合成图像。图7-1为pcb板两曝光图像融合图：高曝光图像。图7-2为pcb板两曝光图像融合图：低曝光图像。图7-3为pcb板两曝光图像融合图：合成图像。图8-1为硬盘基板融合前后图像灰度直方图：高曝光灰度直方图。图8-2为硬盘基板融合前后图像灰度直方图：低曝光灰度直方图。图8-3为硬盘基板融合前后图像灰度直方图：融合hdr图像灰度直方图。图9-1为硬盘基板三维重建轮廓对比图：融合前。图9-2为硬盘基板三维重建轮廓对比图：融合后。图10-1融合前测量参数统计图。图10-2融合后测量参数统计图。具体实施方式本领域技术人员可以借鉴本文内容，适当改进工艺参数实现。特别需要指出的是，所有类似的替换和改动对本领域技术人员来说是显而易见的，它们都被视为包括在本发明。以计算机硬盘基板为研究对象，硬盘基板表面黑白两个颜色和局部强反射的特点，设计两次曝光成像系统，见图2。用650nm可见激光线光源，垂直照射。在光源一侧安装两个ccd相机，一个相机曝光时间长，一个相机曝光时间短；一个兼顾黑色较暗区域的细节，一个兼顾局部强反射区域的信噪比。两次曝光图像见图3，图3-1、3-2为硬盘基板两次曝光图像；图3-3、3-4为pcb电路板两次曝光图像。由于源图像曝光时间各不相同，拍摄角度有差异，两次曝光图像融合之前先进行图像配准，因实时性要求，选择surf(speeduprobustfeatures))配准算法的图像匹配过程见图4-1、4-2。匹配统计参数如表1。表1：一种基于局部能量梯度算子的两次曝光融合方法，定义源图像各个局部子块的能量梯度，确定图像中任一点与各局部子块中心坐标有关的度量函数，形成融合图像的像素点灰度，步骤如下：1)将源图像划分为大小为d×d的子块，假设总共分为nr×nc个局部子块；2)对两幅源图像的各个局部子块逐一计算能量梯度，假设两幅图像i1，i2的第j，k个子块，按照源图像中从上至下、从左至右的顺序编号的能量梯度分别为j≤nr，k≤nc，得出能量梯度具有最大值的局部子块所在的源图像块3)构造图像序列{imj,k}，j＝1，2，...nc，其中：4)对源图像中任一点计算与各个局部子块中心坐标有关的度量函数，其中(xj,k,yj,k)表示第j，k个局部子块的中心坐标，δ为标准差；进一步计算融合函数，5)融合图像的像素点灰度值，从融合过程看，融合图像中任一像素点的值实际为图像序列对应点的加权，权系数依赖于能量梯度最大子块所属的源图像及该像素点到各个局部子块中心的距离，融合函数wj,k(x,y)使非清晰区域内像素点与清晰区域能保持连续，避免出现块效应。若一幅源图像包含更多的最大局部子块，则它在像素点加权时所占的比重更大。本实施例中源图像被分为4个局部子块，深色区域表示具有更高能量梯度的局部子块，第(1,1)个局部子块中的像素点(x,y)的融合过程见图5。融合图像中此点的像素值可表示为，式中，i3(x,y)为融合图像，d1，d2，d3，d4表示此点到各个局部子块中心的距离。对一组高动态范围场景中两次不同曝光时间获得的图像融合过程见图6-1、6-2、6-3和图7-1、7-2、7-3，融合参数如下表2。表2:以灰度直方图为标准，合成图像动态范围变化见图8-1、8-2、8-3所示，灰度值在最低点0和最高点255附近的欠曝光点和过曝光点都被不同程度抑制和过滤，图像亮度改善，图像细节更加清晰。融合后三维重建效果对比：融合前后的重建三维轮廓对比见图9-1、9-2所示，强反射区域和黑色区域轮廓清晰。在三维重建模型上取同一块高对比物面，如图中红色方框所示，测量点与相应标准值的距离分布及距离统计见图10-1、10-2和表3、表4所示。表3为图10-1的统计结果分析表：测量点数(个)4566最大正向距离偏差(mm)0.087最大负向距离偏差(mm)0.0869平均距离偏差(mm)0.0291距离标准差(mm)0.0079平均距离(mm)0.0087表4为图10-2的统计结果分析表：测量点数(个)4997最大正向距离偏差(mm)0.0797最大负向距离偏差(mm)0.0796平均距离偏差(mm)0.0068距离标准差(mm)0.0018平均距离(mm)0.0049统计结果表明，融合使对比度较高区域的测量有效点数增多，空洞点数减少，平均距离偏差由0.0291mm降至0.0068mm，测量精度大大提高。以上所述仅是本发明的优选实施方式，应当指出，对于本
技术领域：
的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。当前第1页12