生成HDR图像的方法、装置和移动终端与流程

本发明涉及图像处理技术领域，尤其涉及一种生成hdr图像的方法、装置和移动终端。

背景技术：

高动态范围(highdynamicrange，hdr)成像技术能够提供更多亮度和细节信息，现已成为便携摄像设备最重要的功能之一，也是评测摄像设备性能的重要指标。由于制造工艺的限制，图像传感器覆盖的动态范围远小于人眼，相对来讲，采集到的图像是低动态范围(lowdynamicrange，ldr)图像。为了获得尽量贴近人眼所能接收到的hdr图像，传统的方法是获取一系列不同曝光的ldr图像之后，通过多帧融合的方法来生成hdr图像。在实际应用中，由于手机晃动等原因，采集到的多帧ldr图像存在帧间位移，所以需要首先对多帧ldr图像进行对齐操作。多帧ldr图像对齐之后，再对多帧ldr图像进行融合，得到最终的hdr图像。

在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：

现有的多帧融合方法在融合过程中，处理的帧数越多，占用内存空间越多，计算量越大，且如果帧序列中存在局部运动，则帧数越多，融合之后的结果重影情况越严重，严重影响用户体验。

技术实现要素：

本发明提供的生成hdr图像的方法、装置和移动终端，能够减少hdr图像在生成过程中的计算量，简单高效。

第一方面，本发明提供一种生成hdr图像的方法，包括：

接收两帧ldr图像，包括一帧短曝光图像和一帧长曝光图像，对齐所述两帧ldr图像；

分别提取对齐后的两帧ldr图像的亮度通道，并对亮度通道进行融合处理，得到融合后的亮度通道；

分别提取对齐后的两帧ldr图像的颜色通道，并对颜色通道进行融合处理，得到融合后的颜色通道；

根据融合后的亮度通道和融合后的颜色通道，构造hdr图像。

可选地，所述分别提取对齐后的两帧ldr图像的亮度通道，并对亮度通道进行融合处理，得到融合后的亮度通道包括：

分别提取对齐后的两帧ldr图像的亮度通道，生成所述两帧ldr图像各自对应的高斯金字塔和拉普拉斯金字塔；

逐层对所述两帧ldr图像的拉普拉斯金字塔进行融合处理，得到融合后的拉普拉斯金字塔；

逐层重建所述融合后的拉普拉斯金字塔；

输出重建之后的拉普拉斯金字塔的最底层图像，得到融合后的亮度通道。

可选地，所述融合后的拉普拉斯金字塔的各层的各个位置的像素点的像素值通过下述方法得到：

当所述长曝光图像的高斯金字塔的其中一层的一个位置的像素点是过曝光点时，所述融合后的拉普拉斯金字塔的相同层且相同位置的像素点的像素值为：所述短曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值和所述长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值的加权平均值，其中，所述短曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值使用较大的权重，所述长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值使用较小的权重；

当所述长曝光图像的高斯金字塔的其中一层的一个位置的像素点是非过曝光点时，所述融合后的拉普拉斯金字塔的相同层且相同位置的像素点的像素值为：所述长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值。

可选地，像素值权重采用中值为100的高斯曲线。

可选地，所述融合后的颜色通道在各个位置的值通过下述方法得到：

当所述长曝光图像的亮度通道在一个位置的像素点是过曝光点时，所述融合后的颜色通道在相同位置的值为：所述短曝光图像的颜色通道在相同位置的值；

当所述长曝光图像的亮度通道在一个位置的像素点是非过曝光点时，所述融合后的颜色通道在相同位置的值为：所述长曝光图像的颜色通道在相同位置的值。

第二方面，本发明提供一种生成hdr图像的装置，包括：

对齐模块，用于接收两帧ldr图像，包括一帧短曝光图像和一帧长曝光图像，对齐所述两帧ldr图像；

亮度通道融合模块，用于分别提取对齐后的两帧ldr图像的亮度通道，并对亮度通道进行融合处理，得到融合后的亮度通道；

颜色通道融合模块，用于分别提取对齐后的两帧ldr图像的颜色通道，并对颜色通道进行融合处理，得到融合后的颜色通道；

构造模块，用于根据融合后的亮度通道和融合后的颜色通道，构造hdr图像。

可选地，所述亮度通道融合模块包括：

金字塔生成单元，用于分别提取对齐后的两帧ldr图像的亮度通道，生成所述两帧ldr图像各自对应的高斯金字塔和拉普拉斯金字塔；

融合处理单元，用于逐层对所述两帧ldr图像的拉普拉斯金字塔进行融合处理，得到融合后的拉普拉斯金字塔；

重建单元，用于逐层重建所述融合后的拉普拉斯金字塔；

输出单元，用于输出重建之后的拉普拉斯金字塔的最底层图像，得到融合后的亮度通道。

可选地，所述融合处理单元包括：

判断子单元，用于判断所述长曝光图像的高斯金字塔的各层的各个位置的像素点是否为过曝光点；

赋值子单元，用于当所述长曝光图像的高斯金字塔的其中一层的一个位置的像素点是过曝光点时，将所述融合后的拉普拉斯金字塔的相同层且相同位置的像素点的像素值赋值为：所述短曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值和所述长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值的加权平均值，其中，所述短曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值使用较大的权重，所述长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值使用较小的权重；还用于当所述长曝光图像的高斯金字塔的其中一层的一个位置的像素点是非过曝光点时，将所述融合后的拉普拉斯金字塔的相同层且相同位置的像素点的像素值赋值为：所述长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值。

可选地，所述赋值子单元用到的像素值权重采用中值为100的高斯曲线。

可选地，所述颜色通道融合模块包括：

判断单元，用于判断所述长曝光图像的亮度通道在各个位置的像素点是否为过曝光点；

赋值单元，用于当所述长曝光图像的亮度通道在一个位置的像素点是过曝光点时，将所述融合后的颜色通道在相同位置的值赋值为：所述短曝光图像的颜色通道在相同位置的值；还用于当所述长曝光图像的亮度通道在一个位置的像素点是非过曝光点时，将所述融合后的颜色通道在相同位置的值赋值为：所述长曝光图像的颜色通道在相同位置的值。

第三方面，本发明提供一种移动终端，所述移动终端包括上述生成hdr图像的装置。

本发明提供的生成hdr图像的方法、装置和移动终端，仅使用两帧ldr图像作为输入，包括一帧短曝光图像和一帧长曝光图像，输出为一帧hdr图像，在图像对齐、融合阶段，可以节省内存空间，降低计算量，提高算法效率，减少处理时间，同时，由于输入的帧数只有两帧，也减小了帧间位移差造成的误差影响。另外通过合理选择融合区域，可以有效的解决帧间局部运动问题，从而增强算法的视觉效果，提升用户体验。本发明尤其适用于内存资源有限，注重用户体验的移动终端上。

附图说明

图1为本发明的生成hdr图像的方法的一个实施例的流程示意图；

图2为本发明的生成hdr图像的方法的另一个实施例的流程示意图；

图3为本发明的生成hdr图像的装置的一个实施例的结构示意图；

图4为图3中亮度通道融合模块的结构示意图；

图5为图4中融合处理单元的结构示意图；

图6为图3中颜色通道融合模块的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种生成hdr图像的方法，如图1所示，所述方法包括：

s11、接收两帧ldr图像，包括一帧短曝光图像和一帧长曝光图像，对齐两帧ldr图像；

s12、分别提取对齐后的两帧ldr图像的亮度通道，并对亮度通道进行融合处理，得到融合后的亮度通道；

s13、分别提取对齐后的两帧ldr图像的颜色通道，并对颜色通道进行融合处理，得到融合后的颜色通道；

s14、根据融合后的亮度通道和融合后的颜色通道，构造hdr图像。

具体地，参照图2，步骤s11中，输入两帧ldr图像，包括一帧短曝光图像i0和一帧长曝光图像i1，设正常曝光图像ev＝0，则短曝光图像ev＝-1，长曝光图像ev＝+1。分别计算i0和i1的亮度通道l0和l1，然后对其进行下采样，分别得到i0和i1的图像金字塔p0和p1。在图像金字塔p0和p1的每一层首先进行中值二值化，然后从最頂层开始利用最小平方差逐层计算帧间偏移量，直到最底层后得到两帧图像的全局偏移量(δx，δy)，使用全局偏移量(δx，δy)对齐两帧输入图像i0和i1，得到对齐后的和

步骤s12中，分别提取和的亮度通道和生成各自对应的高斯金字塔和以及拉普拉斯金字塔和然后逐层对两帧图像和的拉普拉斯金字塔和进行融合处理，得到融合后的拉普拉斯金字塔p。

以处理拉普拉斯金字塔和的第n层，进而得到p的第n层为例，当要处理该层的某个位置(x1,y1)的像素点时，首先判断长曝光图像的高斯金字塔的第n层图像在(x1,y1)位置的像素点是否为过曝光点(以8bit图像为例，可将像素亮度值>240的点定义为过曝光点)。

如果该像素点是过曝光点，则使用大比重的短曝光图像的拉普拉斯金字塔的第n层图像在(x1,y1)位置的像素点的像素值p0和小比重的长曝光图像的拉普拉斯金字塔的第n层图像在(x1,y1)位置的像素点的像素值p1进行加权平均，将加权平均值赋值给输出点p(x1，y1)，其中像素值权重可以采用中值为100的高斯曲线。

如果该像素点是非过曝光点，则不进行加权平均，直接将p1的值赋值给输出点p(x1，y1)。

使用同样的方法逐层对两帧图像的拉普拉斯金字塔和进行融合处理，得到融合后的拉普拉斯金字塔p。

最后，从最顶层开始对拉普拉斯金字塔p重建，重建之后的拉普拉斯金字塔p’的最底层图像l即为hdr图像的亮度通道，输出重建之后的拉普拉斯金字塔p’的最底层图像l。

步骤s13中，分别提取和的颜色通道和与亮度通道不同，颜色通道不需要制作高斯金字塔和拉普拉斯金字塔。在融合过程中，当要处理某个位置(x2,y2)的点时，首先判断长曝光图像的亮度通道在坐标(x2，y2)处的像素点是否为过曝光点，如果是过曝光点，则输出c(p)等于短曝光图像的颜色通道在坐标(x2，y2)处的值如果是非过曝光点，则输出c(p)等于长曝光图像的颜色通道在坐标(x2，y2)处的值

将亮度通道的融合结果l和颜色通道的融合结果c结合起来，得到最终的hdr图像。

本发明实施例提供的生成hdr图像的方法，仅使用两帧ldr图像作为输入，包括一帧短曝光图像和一帧长曝光图像，输出为一帧hdr图像，在图像对齐、融合阶段，可以节省大量的内存空间，降低计算量，提高算法效率，减少整个流程耗费的时间，更加适用于资源有限，注重用户体验的移动终端上。此外，本发明采用两帧输入，最大限度的降低了对齐与融合阶段的难度，而且通过合理选择两帧的融合区域，对于日常应用，可以有效避免重影的产生，相比于复杂的deghost算法，既简单高效，效果又好，进而大大改善手机等移动终端上软件多帧hdr方案的用户体验。

本发明实施例还提供一种生成hdr图像的装置，如图3所示，所述装置包括：

对齐模块31，用于接收两帧ldr图像，包括一帧短曝光图像和一帧长曝光图像，对齐两帧ldr图像；

亮度通道融合模块32，用于分别提取对齐后的两帧ldr图像的亮度通道，并对亮度通道进行融合处理，得到融合后的亮度通道；

颜色通道融合模块33，用于分别提取对齐后的两帧ldr图像的颜色通道，并对颜色通道进行融合处理，得到融合后的颜色通道；

构造模块34，用于根据融合后的亮度通道和融合后的颜色通道，构造hdr图像。

可选地，如图4所示，亮度通道融合模块32包括：

金字塔生成单元321，用于分别提取对齐后的两帧ldr图像的亮度通道，生成两帧ldr图像各自对应的高斯金字塔和拉普拉斯金字塔；

融合处理单元322，用于逐层对两帧ldr图像的拉普拉斯金字塔进行融合处理，得到融合后的拉普拉斯金字塔；

重建单元323，用于逐层重建融合后的拉普拉斯金字塔；

输出单元324，用于输出重建之后的拉普拉斯金字塔的最底层图像，得到融合后的亮度通道。

进一步地，如图5所示，融合处理单元322包括：

判断子单元3221，用于判断长曝光图像的高斯金字塔的各层的各个位置的像素点是否为过曝光点；

赋值子单元3222，用于当长曝光图像的高斯金字塔的其中一层的一个位置的像素点是过曝光点时，将融合后的拉普拉斯金字塔的相同层且相同位置的像素点的像素值赋值为：短曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值和长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值的加权平均值，其中，短曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值使用较大的权重值，长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值使用较小的权重值；还用于当长曝光图像的高斯金字塔的其中一层的一个位置的像素点是非过曝光点时，将融合后的拉普拉斯金字塔的相同层且相同位置的像素点的像素值赋值为：长曝光图像的拉普拉斯金字塔的相同层且相同位置的像素点的像素值。其中，像素值权重采用中值为100的高斯曲线。

可选地，如图6所示，颜色通道融合模块33包括：

判断单元331，用于判断长曝光图像的亮度通道在各个位置的像素点是否为过曝光点；

赋值单元332，用于当长曝光图像的亮度通道在一个位置的像素点是过曝光点时，将融合后的颜色通道在相同位置的值赋值为：短曝光图像的颜色通道在相同位置的值；还用于当长曝光图像的亮度通道在一个位置的像素点是非过曝光点时，将融合后的颜色通道在相同位置的值赋值为：长曝光图像的颜色通道在相同位置的值。

本发明实施例还提供一种移动终端，所述移动终端包括上述生成hdr图像的装置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。