高动态范围图像全分辨率重建方法、装置及电子设备与流程

本发明涉及图像处理技术领域，尤其涉及一种高动态范围图像全分辨率重建方法、装置及电子设备。

背景技术：

由于普通图像传感器的动态范围要小于真实场景的动态范围，拍摄的图像就会造成高亮或者低亮地方的信息损失。使用高动态范围(highdynamicrange，hdr)技术能够大大增加生成图像的动态范围，目前高动态范围技术已经广泛应用在智能手机、平板电脑等电子设备中。

手机中最常见的高动态范围技术是多重曝光合成技术，这种技术一般由软件实现，使用前后两帧长、短曝光的图像，或者前后三帧长、中、短曝光的图像进行融合，高亮处利用短曝光图像，阴暗处利用长曝光图像来呈现细节，达到提升图像动态范围的目的。但是这种方法存在一些缺点：前后拍摄的图像存在时间差，融合时会遇到图像对齐的问题，且多帧融合软件运算时间较长等因素限制着其在视频高动态范围方面的应用。

技术实现要素：

本发明提供的高动态范围图像全分辨率重建方法、装置及电子设备，能够有效的在视频中实现高动态范围功能，提高图像细节以及运动场景的处理能力，从而提高动态范围图像的质量。

第一方面，本发明提供一种高动态范围图像全分辨率重建方法，所述方法包括：

通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；

计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；

根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；

当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；

根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；

对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；

对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

可选地，通过所述高动态范围传感器采集到的图像的曝光比例为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。

可选地，所述计算当前像素点所在区域各方向的梯度值包括：

将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；

使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。

可选地，所述将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值包括：将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值；

所述将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值包括：将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。

可选地，所述当前像素点所在区域不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向包括：

当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；

当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。

可选地，所述根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算包括：

当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；

当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：

如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。

可选地，所述当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算包括：

当所述当前像素点为长曝光像素时，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；

当所述当前像素点为短曝光像素时，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；

所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向的插值计算包括：

当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；

当所述当前像素点为短曝光像素时，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。

可选地，所述方法还包括：

当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；

当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。

可选地，所述对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理包括：

计算当前素点所在区域的亮度值；

将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；

当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。

第二方面，本发明提供一种高动态范围图像全分辨率重建装置，所述装置包括：

采集单元，用于通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；

第一计算单元，用于计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；

第一判断单元，用于根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域；

第二判断单元，用于当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向；

第三判断单元，用于当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；

第二计算单元，用于根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；

第一处理单元，用于对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；

第二处理单元，用于对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

可选地，通过所述高动态范围传感器采集到的图像的曝光比例设定为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。

可选地，所述第一计算单元包括：

转换模块，用于将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；

获取模块，用于使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。

可选地，所述转换模块，用于将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值，或者，将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。

可选地，所述第二判断单元，用于当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；

当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。

可选地，所述第二计算单元包括：

第一计算模块，用于当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；

第二计算模块，用于当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。

可选地，所述第二计算模块包括：

第一计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；

第二计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；

第三计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；

第四计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。

可选地，所述装置还包括：

第三计算单元，用于当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；

当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。

可选地，所述第二处理单元包括：

亮度计算模块，用于计算当前素点所在区域的亮度值；

比较模块，用于将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；

融合处理模块，用于当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。

第三方面，本发明提供一种电子设备，所述电子设备包括上述高动态范围图像全分辨率重建装置。

本发明实施例提供的高动态范围图像全分辨率重建方法、装置及电子设备，通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的高动态范围图像，计算当前像素点所在区域各方向的梯度值，判断当前像素点所在区域是否为平坦区域，当不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向以及判断是否满足非优先插值方向的限制条件，根据判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，再对进行插值计算后的像素点所在区域进行运动补偿和融合处理。与现有技术相比，本发明的全分辨率重建算法由硬件实现，可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，从而能够提供更高质量的高动态范围图像。

附图说明

图1为本发明一实施例高动态范围图像全分辨率重建方法的流程图；

图2为高动态范围传感器拍摄的图像的示意图；

图3为本发明一实施例全分辨率重建过程的示意图；

图4为本发明一实施例短曝光像素转换成长曝光像素的示意图；

图5为中心像素分别为r/b通道长曝光像素和g通道长曝光像素的示意图；

图6为本发明一实施例高动态范围图像全分辨率重建装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

高动态范围技术的另一个方向是基于高动态范围传感器由硬件实现的in-camerahdr技术，如索尼公司开发的第二代堆栈式图像传感器imx214，支持分区高动态范围曝光，在同一帧内可以精确控制每一行像素的曝光时间，按照长、短曝光每隔两行交替方式，或者zigzag(z字形)的方式，同一帧内获取不同曝光时间的图像。这种传感器采集的图像因长、短曝光像素各占整图像素总量的一半，需要进行全分辨率重建，通过插值恢复全分辨率长曝光和短曝光图像，再通过融合算法来实现动态范围的提升。

本发明提供一种高动态范围图像全分辨率重建方法，如图1所示，所述方法包括：

s11、通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；

高动态范围传感器拍摄的图像如图2所示，图中白色的像素点代表长曝光像素，灰色的像素点代表短曝光的像素，在整幅图像中长曝光像素与短曝光像素按照zigzag方式交替排列。长曝光像素点拥有较长的曝光时间，在场景低亮部分采集到的图像信号包含更多的有效信息。短曝光像素点由于曝光时间较短，而在图像的高亮部分图像信号尚未饱和，可以保留一些细节信息。对这种同时包含长、短曝光像素值的原始图像进行全分辨率恢复，得到长曝光图像和短曝光图像，再通过融合实现图像动态范围的提升，在同一幅图像中较好的呈现低亮和高亮部分的细节信息。

长曝光时间和短曝光时间存在预设确定的比例关系，曝光时间比值定义为曝光比例(exposureratio)，可选地，所述曝光比例设定为1:1，1:2，1:4，1:8，1:16等，当设定为1:1的时候，曝光时间相等，相当于普通的图像传感器。

如图3所示，全分辨率重建的过程就是在长曝光位置通过插值的方法补充缺失的短曝光像素值，在短曝光位置通过插值的方法补充缺失的长曝光像素值。插值完成后得到一幅全分辨率的长曝光图像与一幅全分辨率的短曝光图像。

本发明全分辨率重建方法的步骤包括：梯度计算、插值方向选择、插值计算、运动补偿以及图像融合。全分辨率重建算法由硬件实现，可以较好的避免采用软件方案进行多帧融合出现的问题，从而可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，能够提供更高质量的高动态范围图像。

s12、计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；

插值基于原始zigzag方式排列的图像中当前像素点邻域的n×n像素块实现，可选地，计算梯度之前先将原始输入5×5像素块转换5×5长曝光像素块，转换方法是把短曝光位置的像素值乘以相应的曝光比例，如图4所示，把图中所有的灰色位置处的短曝光像素值乘以曝光比例，转换成长曝光像素值。

或者，将原始输入5×5像素块转换5×5短曝光像素块，转换方法是把长曝光位置的像素值除以相应的曝光比例。

基于转换后的5×5长曝光像素块进行梯度计算，梯度信息将指导用于全分辨率重建的方向性插值。可选地，使用相应的梯度检测算子获取当前像素点邻域内的水平梯度值(h)，垂直梯度值(v)，斜45度梯度值(45)，斜135度梯度值(135)，四个方向上的梯度值为当前像素点邻域的梯度信息。

s13、根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；

根据梯度信息首先进行平坦区域的判断，如果梯度信息满足平坦区域的判断逻辑，插值方向为平坦，平坦区域的插值是非方向性插值，插值方式是计算周围像素值的平均值。

如果梯度信息不符合平坦区域的逻辑，则需要进行方向判断。利用梯度计算提取到的梯度信息(h/v/45/135)进行插值方向判断，插值优先沿着梯度较小的方向进行，有利于对图像高频信息，如边缘、细节的保护，减少图像分辨率的损失。

本发明对插值方向有专门的定义方式，具体如下：

在需要进行的插值方向上存在与当前像素曝光时间不同的像素点，则定义为优先插值方向。在需要进行的插值方向上不存在与当前像素曝光时间不同的像素点，则定义为非优先插值方向。

具体地，由于r/b通道和g通道的长短曝光像素排列的位置不同，因此两种情况下的优先插值方向和非优先插值方向也不一样。

如图5所示，图(a)中的中心像素点p(2,2)为长曝光像素值b，需要插值得到该位置的短曝光像素值b，可以看出在水平方向上存在短曝光像素点p(2,0)和p(2,4)，在垂直方向上存在短曝光像素点p(0,2)和p(4,2)，与中心像素点曝光时间不同，在这些方向上能够直接由这些短曝光像素点插值得到中心像素点的短曝光值，这种可以直接进行插值的方向就是优先插值方向。而在斜向45度或者斜向135度方向，p(0,0)与p(4,4)，p(0,4)与p(4,0)位置都是长曝光像素点，无法利用这些像素值通过直接插值的方式得到中心位置的短曝光像素值，需要通过结合曝光比例进行计算，这种不可以直接进行插值的方向就是非优先插值方向。

对于r/b通道，水平和垂直为优先插值方向，斜45度和135度为非优先插值方向。同理，如图5所示，(b)中对于g通道，斜45度和135度为优先插值方向，水平和垂直为非优先插值方向。

综上，根据当前像素点为r/b通道或者g通道的像素可以得到当前像素点的优先插值方向和非优先插值方向，再根据计算得到的梯度信息确定需要进行插值的方向，即可得知所述需要进行插值的方向是优先插值方向还是非优先插值方向。

s14、当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域或者运动区域，如果满足以上条件则放弃非优先插值方向；

对于非优先插值方向的选择存在一些限制条件，在下列条件下只能选择优先插值方向：

(1)饱和区域、(2)低亮区域、(3)运动区域、(4)非优先插值方向梯度与优先插值方向梯度的比例小于设定的阈值。

因为满足以上条件时，邻域内的长曝光像素值和短曝光像素值不再保持确定的比例关系，选择非优先插值方向进行插值就可能会出现错误的插值。

由步骤s12、s13和s14可得，插值方向判断的具体步骤如下：

计算得到水平方向、垂直方向、斜45度方向以及斜135度方向的梯度信息；

判断像素点所在区域是否为平坦区域；

当判断结果为平坦区域时，选择非方向性插值；

当判断结果不是平坦区域时，判断当前像素点为r/b通道还是g通道；

当当前像素点为r/b通道时，判断当前像素点所在区域是否满足上述非优先插值方向的限制条件之一，满足任意一个限制条件时，选择优先插值方向(水平方向或垂直方向)；否则直接根据需要进行插值的方向为优先插值方向还是非优先插值方向来进行插值方向的选择；

当当前像素点为g通道时，判断当前像素点所在区域是否满足上述非优先插值方向的限制条件之一，满足任意一个限制条件时，选择优先插值方向(斜45度方向或斜135度方向)；否则直接根据需要进行插值的方向为优先插值方向还是非优先插值方向来进行插值方向的选择。

s15、根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；

根据步骤s14的判断结果，对满足任意一个上述非优先插值方向的限制条件之一的像素点进行优先插值计算；对于不满足任意一个上述非优先插值方向的限制条件之一的像素点，当需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向插值计算；当需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向插值计算。

可选地，当所述当前像素点为长曝光像素时，将所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素点的短曝光像素值；

当所述当前像素点为短曝光像素时，将所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素点的长曝光像素值；

所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向插值计算包括：

当所述当前像素点为长曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；

当所述当前像素点为短曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。

可选地，所述方法还包括：

当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；

当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。

具体地，根据步骤s14判断出的插值方向，在输入的5×5像素块内完成当前像素的插值：

当前像素值为r或者b通道长曝光像素时，如果插值方向是水平方向或者垂直方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。如果插值方向是斜向45度方向或者斜向135度方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素进行插值，需要把参与插值的长曝光像素值换算成短曝光像素值，换算方法是除以曝光比例，然后得到当前长曝光位置的短曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。

当前像素值为r或者b通道短曝光像素时，如果插值方向是水平方向或者垂直方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。如果插值方向是斜向45度方向或者斜向135度方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素进行插值，需要把参与插值的短曝光像素值换算成长曝光像素值，换算方法是乘以曝光比例，然后得到当前短曝光位置的长曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。

r/b通道插值计算方法如表1所示：

表1

当前像素值为g通道长曝光像素时，如果插值方向是斜向45度方向或者斜向135度方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。如果插值方向是水平方向或者垂直方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素进行插值，需要把参与插值的长曝光像素值换算成短曝光像素值，换算方法是除以曝光比例，然后得到当前长曝光位置的短曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。

当前像素值为g通道短曝光像素时，如果插值方向是斜向45度方向或者斜向135度方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。如果插值方向是水平方向或者垂直方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素进行插值，需要把参与插值的短曝光像素值换算成长曝光像素值，换算方法是乘以曝光比例，然后得到当前短曝光位置的长曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。

g通道插值计算方法如表2所示：

表2

s16、对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；

运动补偿解决的是场景中存在运动物体时，由于曝光时间不同，参与融合的两帧图像中运动物体的位置不同，融合后的图像出现“鬼影”的问题。

当输入的5×5像素块中心像素为长曝光像素点时，首先在该像素块内进行运动检测计算得到运动信息(motion)，当前像素为长曝光，需要通过完整的全分辨率恢复的插值算法完成对短曝光像素的插值，得到当前像素位置的短曝光像素值，然后使用检测到的运动信息，长曝光像素值(输入)和短曝光(插值)像素值进行运动补偿处理。

当输入的5×5像素块中心像素为短曝光像素点时，同样首先在该像素块内进行运动检测计算得到运动信息(motion)，当前像素为短曝光，需要通过完整的全分辨率恢复的插值算法完成对长曝光像素的插值，就得到当前像素位置的长曝光像素值，然后使用检测到的运动信息、短曝光(输入)像素值和长曝光像素值(插值)进行运动补偿处理。

其中，当前像素为短曝光的情况，需要对短曝光像素需要做降噪处理，具体步骤为：对短曝光像素进行频率检测、降噪处理和纹理增强处理；再将处理过的短曝光像素进行运动补偿。

s17、对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

基于长曝光图像3×3的像素块进行亮度估计，亮度值l与设定的融合阈值s1和s2进行比较，决定最终融合策略：

当l<s1时，像素点所在区域亮度较低，完全采用长曝光像素值能有效提升该区域的亮度，降低噪声水平。

当l>s2时，像素点所在区域亮度较高，完全采用短曝光像素值能减少亮度饱和，增加高亮区域的图像细节。

当s1<l<s2时，像素点所在区域为正常亮度，融合值为长曝光像素值与短曝光像素值线性加权平均(l＝((s2-l)*t1+(l-s1)*t2))/((s2-s1))，能够实现融合图像平滑过渡，防止出现明显的融合分界线。

本发明提出的融合方法，参考长曝光图像亮度域指导融合策略，能够有效的抑制高亮与低亮区域分界处出现伪彩色。

本发明实施例提供的高动态范围图像全分辨率重建方法，通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的高动态范围图像，计算当前像素点所在区域各方向的梯度值，判断当前像素点所在区域是否为平坦区域，当不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向以及判断是否满足非优先插值方向的限制条件，根据判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，再对进行插值计算后的像素点所在区域进行运动补偿和融合处理。与现有技术相比，本发明的全分辨率重建算法由硬件实现，可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，从而能够提供更高质量的高动态范围图像。

本发明实施例还提供一种高动态范围图像全分辨率重建装置，如图6所示，所述装置包括：

采集单元11，用于通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；

第一计算单元12，用于计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；

第一判断单元13，用于根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域；

第二判断单元14，用于当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向；

第三判断单元15，用于当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；

第二计算单元16，用于根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；

第一处理单元17，用于对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；

第二处理单元18，用于对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

可选地，通过所述高动态范围传感器采集到的图像的曝光比例设定为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。

可选地，所述第一计算单元12包括：

转换模块，用于将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；

获取模块，用于使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。

可选地，所述转换模块，用于将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值，或者，将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。

可选地，所述第二判断单元14，用于当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；

当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。

可选地，所述第二计算单元16包括：

第一计算模块，用于当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；

第二计算模块，用于当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。

可选地，所述第二计算模块包括：

第一计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；

第二计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；

第三计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；

第四计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。

可选地，所述装置还包括：

第三计算单元，用于当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；

当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。

可选地，所述第二处理单元18包括：

亮度计算模块，用于计算当前素点所在区域的亮度值；

比较模块，用于将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；

融合处理模块，用于当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。

本发明实施例提供的高动态范围图像全分辨率重建装置，通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的高动态范围图像，计算当前像素点所在区域各方向的梯度值，判断当前像素点所在区域是否为平坦区域，当不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向以及判断是否满足非优先插值方向的限制条件，根据判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，再对进行插值计算后的像素点所在区域进行运动补偿和融合处理。与现有技术相比，本发明的全分辨率重建算法由硬件实现，可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，从而能够提供更高质量的高动态范围图像。

本发明实施例还提供一种电子设备，所述电子设备包括上述高动态范围图像全分辨率重建装置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。