一种多曝光图像融合方法
【技术领域】
[0001] 本发明涉及计算机视觉领域，尤其涉及一种多曝光图像融合方法。
【背景技术】
[0002] 近几年，计算机视觉领域中新兴起了计算摄影（Computational Photography)的 研宄方向，其宗旨是克服成像和显示设备的局限性，用计算技术为视觉世界生成内容丰富、 逼真的图像，符合人类视觉系统对客观世界的感知。
[0003] 计算摄影是一个多学科交叉性很强的研宄领域，涉及计算机图形学、计算机视觉、 图像处理、视觉感知、光学和传统摄影术等技术。其中的多曝光融合研宄已成为一个很重要 的课题。现有照相及显示器材的动态范围（1〇 2)远低于真实场景的动态范围（101°)。在高 动态范围场景中，用数字照相机拍摄出来的照片或者局部曝光不足或者局部过度曝光，总 会造成某些局部细节信息丢失。通过对一组多曝光图像序列进行一定的处理（如利用曝光 时间恢复相机响应函数），可以得到一幅高动态范围图像。但是，由于现有的显示设备是低 动态范围的，无法对高动态范围图像直接显示，因此，还需要将得到的高动态范围图像进行 动态范围压缩处理才能够在设备上显示出来，这样的处理方式计算量一般很大。多曝光图 像融合是针对这一问题所衍生的一个研宄方向，同样是根据多曝光图像序列，将来自不同 图像的特征融合在一起，能够生成具有细节丰富且对比度高的图像，最终目标是使生成的 结果图像在被显示后，人类所获得的感知要和其置身于真实环境中获得的一样，即被观察 图像与真实场景不但展现的信息一致，而且给人类带来的视觉感觉也要是一致的。用什么 样的特征来描述一幅图像的细节信息，是该领域要解决的关键问题之一。
[0004] 为了解决这个问题，研宄学者提出利用稀疏表示理论来描述图像边缘、方向等显 著信息，在稀疏表示框架的基础上，实现多曝光融合。稀疏表示理论最早由Mallat提出，其 基本思想是用称之为字典的超完备的冗余函数系统取代非冗余的正交基函数，字典中的元 素被称为原子，信号由原子的线性组合来表示。其中原子的数目比信号的维数大，由此产生 了冗余（称为超完备性）。正是由于这种特性，有很多表示信号的方法，其中具有最少系数 (最稀疏）的表示是最简单的，也被认为是最优的一种表示方法。超完备稀疏表示理论能够 使得很多图像处理方法的性能得以改进，主要得益于稀疏表示的两点特性：字典的过完备 性和表达系数的稀疏性。过完备性保证了字典内容更加丰富，其中超完备字典中的原子不 仅可以是傅立叶变换、小波变换，离散余弦变换、脊波（Ridgelet)、曲波（Curvelet)、带波 (Bandelet)、轮廓波（Contourlet)等变换的基函数，还可以是这几种变换基的任意组合以 适应不同类型的待处理信号。另外，超完备字典还可以根据不同的图像类型以及不同图像 处理任务通过样本学习得到。
[0005] 基于稀疏表示框架的多曝光融合过程，如图1所示，不同曝光的图像序列，经过 "滑窗技术"处理并向量化后，构成图像块矩阵，利用训练好的过完备字典，得到相应的稀疏 系数表示，最后采用取最大融合规则获得融合后系数，经重构后得到融合结果图像。在该框 架中，由于"滑窗技术"依赖图像的大小，目前通用相机获取的图像通常是高分辨率，图像大 小一般很大，致使基于该框架的多曝光融合算法时间复杂度较高，从而限制了其应用。
【发明内容】
[0006] 为了解决现有技术中存在的问题，本发明提出一种结合多尺度分解和稀疏表示框 架的多曝光图像融合方法。利用拉普拉斯金字塔分解，把图像分解为高频图像和低频图像， 由于图像的低频信息能够近似模拟原始图像，并继承原始图像的一些属性，如平均亮度及 纹理信息，并且相对于原始图像，低频图像的大小大大降低，这样再采用"滑窗技术"进行融 合，可以大大降低时间复杂度。针对于高频图像，采用像素点的邻域信息作为衡量标准，它 相对于仅根据单一独立像素的简单选择（灰度极值法）或简单加权的方式进行图像融合， 更加合理。针对一幅1024X768大小的图像，在原始基于稀疏表示框架的融合的处理过程， 需要30多秒的处理时间，而采用本发明提出的多曝光图像融合方法，处理过程需要不到10 秒。另外，由于高频信息的处理机制，可以保留更多的边缘信息。
[0007] 本发明的一种多曝光图像融合方法，其特征在于，包括：多尺度分解步骤，对于两 幅图像，对两幅图像进行包括低通滤波、降采样、内插值和带通滤波的拉普拉斯金字塔分 解，把两幅图像分解为包括相同层数的频率层的拉普拉斯金字塔，分别得到两幅图像的低 频图像和高频图像；低频图像融合步骤，采用室内室外场景图像的拉普拉斯低频图像作为 训练样本，利用字典学习算法K-SVD生成字典矩阵，根据字典矩阵将两幅图像各自的低频 图像分成多个图像块，根据两幅图像各自相同位置的低频图像块的稀疏系数向量及对应的 加权因子，求出两幅图像各自相同位置的低频图像融合后的待重构系数，多个待重构系数 组成的融合后的系数矩阵，系数矩阵和字典矩阵相乘，获得融合后的低频图像，其中所述加 权因子由稀疏系数向量的范数确定；高频图像融合步骤，计算两幅图像的高频图像之间的 匹配度，当匹配度小于阈值时，选择能量大的区域中心像素灰度值作为融合后图像在对应 区域上的中心点的灰度值，当匹配度不小于阈值时，对高频图像采用加权平均的方式确定 融合后图像在对应区域上的中心点的灰度值，依次求得的各个中心点的灰度值作为融合后 的高频图像各个点的像素的灰度值，获得融合后的高频图像；图像重构步骤，经过了上述的 低频图像融合和高频图像融合步骤，得到一个融合后的拉普拉斯金字塔，对其进行反变换 重构图像，得到两幅图像融合后的图像。
[0008] 进一步地，本发明的多曝光图像融合方法，其特征在于，把两幅图像分解为包括相 同层数的频率层的拉普拉斯金字塔时，层数是人工设定的。
[0009] 进一步地，本发明的多曝光图像融合方法，其特征在于，用N层高斯金字塔的每一 层图像减去其上一层图像，对结果进行上采样并作高斯卷积处理，便可得到N-I个差值图 像，即为拉普拉斯金字塔的高频图像，N层高斯金字塔的顶层图像为拉普拉斯金字塔的低频 图像。
[0010] 进一步地，本发明的多曝光图像融合方法，其特征在于，把两幅图像分解为包括相 同层数的频率层的拉普拉斯金字塔时，层数为4,每