基于最优曝光的最小包围曝光集合获取方法与流程

本发明涉及一种最小包围曝光获取方法，特别涉及一种基于最优曝光的最小包围曝光集合获取方法。

背景技术：

自然世界往往具有非常宽广的动态范围，而目前市场上的成像设备通过单次曝光捕获图像的动态范围有限，不能很好地记录还原现实场景中的细节信息。因此为了更真实地还原现实场景的细节信息，多曝光技术作为一种常用的解决方法应运而生。多曝光技术通常以固定的步长遍历相机的所有曝光设置来获得一组具有不同曝光量的图像，该方法存在获取的图像集合冗余信息多，捕获图像集合总耗时长，占用存储空间大等不足。

文献“高动态范围成像最小包围曝光方法，西安邮电大学学报，2015(5)，p43-47”公开了一种最小包围曝光的获取方法。该方法采用测光表或相机内置测光器获取目标场景的最大辐照度和最小辐照度，将成像系统在不同曝光设置下的辐射度范围建立映射表，从成像系统最长曝光时间设置开始迭代，以目标场景最小辐照度和最大辐照度为边界，从而获得涵盖目标场景动态范围的最小包围曝光集合。文献所述方法在通过场景最小辐照度和最大辐照度为边界进行遍历筛选最小包围曝光集合的过程中，可能会错失包含目标场景有用信息最多的最优曝光图像，从而导致合成的高动态范围图像成像质量差，受噪声影响大的不足。

技术实现要素：

为了克服现有最小包围曝光获取方法合成的高动态范围图像成像质量差的不足，本发明提供一种基于最优曝光的最小包围曝光集合获取方法。该方法采用debevec&malik相机响应函数获取方法，依次获取不同曝光下的辐照度范围，建立目标场景最优曝光与相机可捕获曝光中相应曝光对应关系，遍历相机标准曝光序列，求出相机标准曝光序列中对应于目标场景地最小包围曝光图像集合，由目标场景的最优曝光时间按照曝光步数差，计算基于目标场景最优曝光的最小包围曝光图像集合；得到的曝光集合中包括含有目标场景有用信息最多的最优曝光，既保证成像质量又可以有效减少曝光集合中冗余信息和捕获图像集合的总耗时。

本发明解决其技术问题所采用的技术方案：一种基于最优曝光的最小包围曝光集合获取方法，其特点是包括以下步骤：

步骤一、选定一典型的足以涵盖相机可捕获动态范围的静态场景，遍历相机的所有快门档位拍摄一组包围曝光图像，并将该组包围曝光图像作为相机在此参数设置下的参照基准，称为相机标准曝光序列。对相机标准曝光序列拟合得到相机响应函数，拟合公式为：

g(zij)＝inf^-1(zij)＝inei+inδtj(1)

式中，inf^-1记为g，即相机响应函数，e为辐照度，δt为曝光时间，zij是像素值，zij∈[0,255]，下标i代表像素点在图像中的空间位置，下标j代表曝光序列中的第j幅图像。

步骤二、由相机图像传感器捕获的曝光能量与成像记录像素值间的映射关系即得到相机在每个曝光时间下拍摄的图像中每个像素值对应的辐照度值：

e＝exp(g(z)-lnδt)(2)

步骤三、针对目标场景根据步骤二中的方法得到最优曝光图像的辐照度范围。

步骤四、计算相机标准曝光序列中每张图像的辐照度范围边界值的均值和目标场景最优曝光图像的辐照度范围边界值的均值：

式中，表示图像序列中第j张图像捕获辐照度边界值的均值，ej(0)表示第j幅图像中像素值0对应的辐照度值，ej(255)表示第j幅图像中像素值255对应的辐照度值，并将目标场景最优曝光图像映射到相机标准曝光序列中对应的图像。

步骤五、对最优曝光图像进行欠曝光与过曝光的判断；计算目标场景的最小辐照度和最大辐照度所对应的图像的曝光时间；接着以相机标准曝光序列为基准计算目标场景最小辐照度和最大辐照度；并在相机标准曝光序列中找出对应于目标场景的最小曝光图像集合，最后映射到基于目标场景的最优曝光的最小包围曝光图像集合。

本发明的有益效果是：该方法采用debevec&malik相机响应函数获取方法，依次获取不同曝光下的辐照度范围，建立目标场景最优曝光与相机可捕获曝光中相应曝光对应关系，遍历相机标准曝光序列，求出相机标准曝光序列中对应于目标场景地最小包围曝光图像集合，由目标场景的最优曝光时间按照曝光步数差，计算基于目标场景最优曝光的最小包围曝光图像集合；得到的曝光集合中包括含有目标场景有用信息最多的最优曝光，既保证成像质量又可以有效减少曝光集合中冗余信息和捕获图像集合的总耗时。

本发明提出的基于最优曝光的最小包围曝光集合获取方法相比于背景技术固定步长多曝光方法，在典型的高动态范围场景下，可将传统固定步长多曝光方法往往需要获取12张以上的图像集合减少为两到三张的图像集合。从而大大减少了图像集合的冗余信息，缩短了总的图像捕获时间，同时也减少了存储需求，降低了后期处理的计算复杂性；而与最小包围曝光方法相比较，本方法由于包含场景最优曝光，从而既保证了成像质量，又获取了一个最小包围曝光集合。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于最优曝光的最小包围曝光集合获取方法的流程图。

图2是本发明方法基于目标场景的最小包围曝光集合求解算法示例图。

图3是本发明基于最优曝光的最小包围曝光集合的高动态范围图像合成算法流程图。

图4是本发明方法实验验证中背景技术多曝光方法获取的图像集合。

图5是本发明方法实验验证中最小包围曝光的图像集合。

图6是本发明方法实验验证中基于最优曝光的最小包围曝光的图像集合。

具体实施方式

以下实施例参照图1-6。

第一实施案例：基于最优曝光的最小包围曝光集合的获取。

参照图1。

步骤一：计算相机响应函数。

选定一典型的足以涵盖相机可捕获动态范围的静态场景，设置相机为全手动模式，将相机的光圈值和感光度设置为实验所需的固定值，除曝光时间以外的其它参数固定不变，遍历相机的所有快门档位拍摄一组包围曝光图像，得到相机标准曝光序列。对相机标准曝光序列，采用debevec&malik(recoveringhighdynamicrangeradiancemapsfromphotographs[c]//conferenceoncomputergraphicsandinteractivetechniques.acmpress/addison-wesleypublishingco.1997:369-378)算法来拟合得到相机响应函

debevec&malik方法通过获取不同曝光量的图像来确定该相机图像传感器的响应函数。曝光能量x＝e*δt，e为辐照度，δt为曝光时间。设zij是像素值，zij∈[0,255]，下标i代表像素点在图像中的空间位置，下标j代表曝光序列中的第j幅图像，则第j幅图像第i个像素点的像素值zij与曝光能量x的对应关系为：

zij＝f(ei·δtj)(1)

其反函数的表达式为：

f^-1(zij)＝ei·δtj(2)

同时对上式两边取对数，则有

inf^-1(zij)＝inei+inδtj(3)

将inf^-1记为g，即相机响应函数，则上式可以改写为

g(zij)＝inei+inδtj(4)

设有p张图像，每张图像取n个采样点。则需求解的未知数为n个采样点对应的ine和256个g(z)。待求解的目标函数ε可表示为

其中加入平滑项以连接不相连的曲线(zmin＝0，zmax＝255)，保证求解出的相机响应函数的平滑性。参数λ控制平滑项的权重。λ越大，生成的响应函数越平滑。本发明中λ的取值为50。g(z)的二阶导数g″(z)描绘了函数切线斜率变化的速度，表示原函数在某点的平滑程度。因此将平滑项加入目标函数可以使求得的响应函数既保证了准确性又保证了平滑性。

由于g(z)会在z值的最小值和最大值处(即曝光不足和曝光饱和处)出现严重的不连续性，因此这部分的数据不可靠。引入权重函数ω(z)以减少靠近边界处像素的权重，相对提高靠近中部像素值的权重。权重函数可以有多种形式，如简单的三角权重函数。将权重函数引入后，目标函数ε变为

采用奇异值分解法svd(asingularlyvaluabledecomposition:thesvdofamatrix[j].collegemathematicsjournal,1996,27(1):2-23)求解方程组，即可求得g(z)。

步骤二：遍历相机的曝光组合，计算相机标准曝光序列中每一曝光时间下可成像的辐照度范围。

根据步骤一求解的g(z)即可得到相机感光元件捕获的曝光能量与成像记录像素值间的映射关系。下式

e＝exp(g(z)-lnδt)(7)

中，g(z)表示图像中像素值z对应的曝光量的对数。由此式即可得到相机在每个曝光时间下拍摄的图像中每个像素值对应的辐照度值。其中像素值0对应得到每个曝光时间拍摄的图像可捕获的最小辐照度，像素值255对应得到每个曝光时间拍摄的图像可捕获的最大辐照度，从而获得相机包围曝光集合中所有单个曝光图像可成像的辐照度范围。

步骤三：获取目标场景最优曝光辐照度范围。

设置相机为光圈优先曝光模式，参照前面求解相机响应函数所需包围曝光图像集合的拍摄参数，固定相机的光圈值、iso值等除曝光时间以外的所有参数，采用评价测光模式，对目标场景进行拍摄获得一张最优曝光图像。以最优曝光图像的拍摄参数为基础，延长到2倍曝光时间拍摄同一场景的另一张图像，利用这两张图像根据debevec&malik算法求解针对目标场景的两图像序列的相机响应函数，并根据步骤二中的方法得到相机针对目标场景的这两张图像各自相应的辐照度范围，其中最优曝光图像的辐照度范围即为所求。

步骤四：建立目标场景最优曝光与相机可捕获曝光中相应曝光对应关系。

a:计算相机标准曝光序列中每张图像的辐照度范围边界值的均值。

根据公式(8)计算相机标准曝光序列中每张图像的辐照度范围边界值的均值，

其中，表示曝光序列中第j张图像捕获辐照度边界值的均值，ej(0)表示第j幅图像中像素值0对应的辐照度值，ej(255)表示第j幅图像中像素值255对应的辐照度值。

b:计算目标场景最优曝光图像的辐照度范围边界值的均值。

由步骤三计算获得目标场景最优曝光辐照度范围，最优曝光图像捕获的辐照度范围边界值的均值计算如下式:

其中，表示目标场景中最优曝光图像捕获的辐照度边界值得均值，表示目标场景最优曝光图像中像素值0对应的辐照度值，表示目标场景最优曝光图像中像素值255对应的辐照度值。

c:建立最优曝光图像与相机标准曝光序列的映射。

将相机标准曝光序列中每张图像的辐照度范围边界值的均值与相机针对目标场景下的最优曝光图像的辐照度范围边界值的均值求差，取相机标准曝光序列中差值最小的图像的曝光时间作为目标场景下最优曝光图像所对应的曝光时间，建立目标场景最优曝光捕获的图像与相机标准曝光序列中对应图像的映射关系，并将目标场景最优曝光捕获的图像映射到相机标准曝光序列中对应的图像称为基准最优曝光。

步骤五：计算基于最优曝光的最小包围曝光集合。

a:对最优曝光图像进行欠曝光与过曝光的判断。

如果最优曝光图像不存在过曝光与欠曝光，则单张最优曝光图像已涵盖目标场景的动态范围，无需进行后续操作；如果存在欠曝光，则单张最优曝光图像没有捕获目标场景中较暗的区域亮度信息，因此需要测量目标场景的最小辐照度；如果存在过曝光，则单张最优曝光图像没有捕获目标场景中的较亮区域的亮度信息，因此需要测量目标场景的最大辐照度；如果同时存在过曝光与欠曝光，则单张最优曝光图片既没有捕获目标场景的暗区域信息，也没有捕获目标场景的亮区域信息，因此需要分别测量目标场景的最小和最大辐照度。

b:计算目标场景的最小辐照度和最大辐照度所对应的图像的曝光时间。

根据上面的判定结果，对目标场景的最小辐照度和最大辐照度进行测量估计。设置相机为光圈优先模式，采用点测光的测光方式分别对准目标场景的最暗和最亮区域，获得对应的曝光时间，即为目标场景最大辐照度与最小辐照度所对应图像的曝光时间。

c:以相机标准曝光序列为基准计算目标场景最小辐照度和最大辐照度

通常对相机而言，增加或减少1step表示曝光量增加或减少一倍，曝光量的改变受许多因素的影响，假定相机除曝光时间以外其他参数不变，增加或减少1step等价于相机的曝光时间增加或减少一倍，比如1/10s，1/20s，1/40s,其中s表示单位秒。

根据步骤四得到的目标场景最优曝光捕获的图像与基准最优曝光的映射关系，可以计算出目标场景最优曝光捕获图像的曝光时间与基准最优曝光的曝光时间之间相差的step数量记为stepopt；再根据步骤五中的b小步得到的目标场景的最小辐照度和最大辐照度所对应图像的曝光时间，可以计算出他们各自与目标场景最优曝光图像的曝光时间之间相差的step数分别记为stepmin和stepmax，最后以目标场景最优曝光捕获的图像与基准最优曝光为基准，可以得到目标场景最小辐照度与最大辐照度对应的图像映射到相机标准曝光序列所对应的图像，即它们分别与最优曝光图像的曝光时间相差的step数为stepmin+stepopt，stepmax+stepopt。再根据公式(7)将得到的目标场景最小辐照度对应的图像映射到相机标准曝光序列所对应的图像中像素值为0时对应的辐照度值作为以相机标准曝光序列为基准的目标场景最小辐照度值；将得到的目标场景最大辐照度对应的图像映射到相机标准曝光序列所对应的图像中像素值为255时对应的辐照度值作为以相机标准曝光序列为基准的目标场景最大辐照度值。

d:在相机标准曝光序列中找出对应于目标场景的最小包围曝光图像集合。

以步骤四得到的基准最优曝光为起点，以最大辐照度和最小辐照度为边界，在相机标准曝光序列中依次选取辐照度重叠区域最小的曝光设置。

参照图2。

假如最优曝光图像曝光时间为1/100s,最大辐照度和最小辐照度分别为emax和emin，先向左遍历查找，剔除没有涵盖目标场景最小辐照度的1/50s，选取涵盖目标场景最小辐照度且重叠区域最小1/25s进入最小集合,；接着向右遍历查找，剔除1/200s和1/400s,没有涵盖目标场景最大辐照度且不是最小重叠区域，选取1/800s,涵盖目标场景最大辐照度且重叠区域最小。求解出涵盖目标场景所需的基于相机在此参数设置基准下所对应的最优曝光图像集合即为{1/25s,1/100s,1/800s}。

e:找出基于目标场景的最优曝光的最小包围曝光图像集合。

依据上一步骤计算获取的基于标准曝光序列的最小包围曝光图像集合，计算集合中每一幅图像相对于基准最优曝光的曝光步数(steps)，由目标场景的最优曝光时间按照曝光步数差计算基于目标场景最优曝光的最小包围曝光图像集合。

假设步骤五的d步骤在相机标准曝光序列中找出的对应于目标场景的最小包围曝光图像集合为{1/25s,1/100s,1/800s}，其中1/100s是基准最优曝光的曝光时间，对应目标场景的最优曝光时间是1/50s。根据步骤五的e小步描述，可以在相机标准曝光序列中找出1/25s和1/800s与基准最优曝光的曝光时间相差的steps数，即分别为曝光时间增大2step和曝光时间减少3step。则目标场景基于最优曝光的最小包围曝光图像集合中的另外两个曝光时间分别以1/50s曝光时间为基准，曝光时间增大2step和曝光时间减少3step，得到新的曝光时间分别为1/13s和1/400s,即基于目标场景最优曝光的最小包围曝光图像集合为{1/13s,1/50s,1/400s}。

参照图4-6。

本发明基于最优曝光的最小包围曝光集合的获取方法实验验证，通过与传统的固定步长的多曝光技术和最小包围曝光方法进行比对，以canon760d为实验图像获取器件，选取典型的逆光高动态范围场景作为目标场景进行实验，实验结果为：传统的固定步长的多曝光技术需要16张不同曝光的图像，最小包围曝光则需2张，曝光分别为1s和1/500s，本发明所述方法需要3张，曝光分别为1s、1/15s和1/500s，其中1/15s为场景最优曝光；对比实验结果可以看出，与传统的多曝光技术相比较，本发明方法获得的曝光集合明显小于传统的多曝光方法，即大大减少了图像集合的冗余信息；与最小包围曝光方法相比较，本发明方法在保证集合中图片数量最小的基础上又包含场景最优曝光1/15s，从而既保证了成像质量，又获取了一个最小包围曝光集合。

第二实施案例：多曝光图像融合。

多曝光图像融合即将同一场景具有不同曝光量的图像融合成一张细节信息丰富的图像。在第一实施方案中的基于目标场景最优曝光的最小曝光图像集合基础上接着实施多曝光图像融合。

基于图像信息熵的概念，首先需要计算图像信息熵，图像信息熵是一个表示图像中包含细节信息多少的衡量指标。对于灰度图像，信息熵eg定义为：

其中，qz表示像素值z在整幅图像中出现的频率，qz＝nz/n，nz是像素值z在整幅图像中出现的次数，n为整幅图像包含的像素值的数目。对于彩色图像，信息熵ec定义为：

其中，表示图像中像素值z出现的频率，是像素值z在整幅图像三个颜色通道中出现的次数。

假定有p幅拍摄于同一场景的图像，每幅图像被划分为pr×pc个区块。在此，h和k表示每幅图像中区块的行标和列标。ihk(x,y)表示p幅图像中在区块hk处具有最大信息熵的图像的像素值。则融合图像o(x,y)为

其中，whk(x,y)表示区块hk的中心位置(x,y)的融合权值。

融合权重whk(x,y)的定义如下：

其中，nr和nc表示图像水平方向和垂直方向划分的区块数，ghk(x,y)表示区块hk的高斯值。高斯值的定义如下：

ghk(x,y)＝exp{-[(x-xhk)²+(y-yhk)²]/2σ²}(14)

其中(xhk,yhk)代表区块hk的中心位置坐标，σ是标准差。

图像区块大小d和标准差σ的确定：采用梯度上升算法(onlineconvexprogrammingandgeneralizedinfinitesimalgradientascent[j].icml,2003:928-936)来确定最优参数d和σ。首先根据经验设置d和σ初始值，都为64，计算融合图像的信息熵。然后沿着梯度上升的方向增大或缩小d和σ，计算所有图像中所有区块的信息熵，并计算融合后图像的信息熵，直到融合图像的信息熵达到最大值，停止迭代，此时的d和σ为最优参数值。然后应用公式(13)计算每个区块的权重，应用公式(12)进行图像融合。

第三实施案例：基于最优曝光的最小包围曝光集合的高动态范围图像合成。

在第一实施案例中获取了基于最优曝光的最小包围曝光集合，接着做第三实施案例，高动态范围辐射率图的生成和色调映射处理。

参照图3。

(1)高动态范围辐射率图的生成。

根据本发明第一实施案例提出的基于最优曝光的最小包围曝光集合的求解方法得到涵盖目标场景动态范围的基于最优曝光的最小包围曝光集合，依据多曝光图像的辐照度值与相应像素值之间的对应关系，生成基于最优曝光的高动态范围辐射率图。

由于图像集合中对场景的同一个空间位置都得到了多次曝光，为了加强鲁棒性，在恢复场景辐照度时应该使用基于最优曝光的最小包围曝光集合中所有图像的像素值对应的辐照度，则合成的高动态范围图像的每个像素点对应的辐照度值是所有辐照度值的加权平均：

其中p表示图像的张数，zij是像素值，zij∈[0,255]，下标i代表像素点在图像中的空间位置，下标j代表曝光序列中的第j幅图像，e表示辐照度值，g(zij)表示图像中像素值z对应的曝光量的对数，δt表示图像的曝光时间,w(zij)是不同曝光序列中对应像素点的权重，表达式如下：

即采用三角权重函数进行高动态范围图像的合成，得到与现实场景亮度信息成比例关系的高动态范围辐射率图。

(2)色调映射。

鉴于目前市场上没有高动态范围图像的商用显示设备，需要对获得的高动态辐射率图进行色调映射处理，即动态范围的压缩，从而生成可在普通显示设备上显示的高动态范围图像。在本发明中采用reinhard全局色调映射算子(photographictonereproductionfordigitalimages[j].acmtransactionsongraphics,2002,21(3):267-276)进行色调映射处理，保证合成图像的亮度和细节信息。

首先，求出高动态范围图像的对数平均亮度值

其中，lw(x,y)表示的是合成后的高动态范围图像的全局亮度值即lw＝0.2125r+0.7154g+0.0721b，r,g,b分别表示高动态范围辐射率图三个颜色通道对应的亮度值，δ是一个很小的修正值，一般取0.0001。是对数平均亮度值。

然后，对高动态范围图像进行亮度缩放，得到压缩后的图像亮度值lm：

a是图像的亮度比例常数，其大小决定了输出图像的整体亮度。一般取0.045，0.09，0.18，0.36，0.72等，本发明取值为0.72。

最后，对图像进行归一化处理，即可得到归一化后的图像亮度值ld：

然后应用公式(20)分通道计算每个颜色通道的亮度信息，

cout＝(cin/lin)^s*lout(20)

其中，cout表示经过色调映射处理后的每个颜色通道的像素值(r、g、b)。cin表示色调映射处理前辐射率图中每个颜色通道的辐射率值，lin表示每个像素点对应色全局亮度值，在数值上等同于lw。lout表示经过归一化处理的图像亮度值，即ld。s表示结果图像的颜色饱和度，取值范围为0.4～0.6，本发明中取0.6。

最后，将得到r、g、b三个颜色通道经过色调映射处理得的像素值，即可在普通显示设备上显示经色调映射后的高动态范围图像。