高动态范围图像的处理方法、装置、设备和介质与流程

本发明涉及图像处理，尤其涉及一种高动态范围图像的处理方法、装置、设备和介质。

背景技术：

1、随着电子设备的升级和应用需求增加，高动态范围成像技术从最初的图像处理应用至视频处理。传感器捕捉连续帧不同曝光的低动态范围(low-dynamic range，ldr)图像，将其融合为高动态范围(high-dynamic range，hdr)图像，再通过色调映射将其映射至显示器可显示的第二图像，并生成连续的视频。

2、在视频的处理中，hdr融合的过程在视频与单帧图像无异，但由于视频帧率限制了每帧图像的处理时间、存储和运算资源以及视频需要连续稳定的目标亮度。传统的单帧色调映射方法需要处理全局和局部信息，进行全局和局部色调映射，统计资源消耗大，处理时间长，无法满足视频帧率限制。由于视频帧率限制，图像信息提取必须在当前帧处理结束后进行，连续多帧图像的亮度变化需要连续且单调。因此，视频的色调映射方法需要满足运算、存储资源更少，优先考虑连续帧效果的稳定性。使用传统的单帧色调映射方法处理视频可能导致帧间运算时间过长，导致视频数据错误、图像亮度不连续或亮暗交错导致画面闪烁。因此，亟需一种新型的高动态范围图像的处理方法、装置、设备和介质以改善上述问题。

技术实现思路

1、本发明的目的在于提供一种高动态范围图像的处理方法、装置、设备和介质，该方法用于高效生成亮度连续高动态范围的视频并减少资源占用。

2、第一方面，本发明提供一种高动态范围图像的处理方法，用于根据多帧低动态范围图像生成相应的高动态范围的视频，包括：s1，获取多帧低动态范围图像的连续帧，确定要处理的当前帧；s2，对当前帧进行高动态范围融合，以生成第一图像；s3，根据前一帧所计算的映射参数和色调映射曲线，对所述第一图像进行压缩，输出当前帧对应的第二图像；s4，对所述第二图像进行统计，以获取包含多层次信息和多维度信息的统计信息；s5，根据当前帧和前一帧的部分统计信息，计算当前帧信息在下一帧处理中所占的权重；s6，根据所述权重对当前帧和前一帧的全部统计信息加权融合，以获取下一帧图像的映射参数并存储，供计算下一帧的映射参数时调用；s7，重复s2-s6，遍历连续多帧低动态范围图像，根据输出的高动态范围图像生成高动态范围的视频。

3、本发明的方法有益效果为：本发明根据前一帧所计算的映射参数和色调映射曲线，对所述第一图像进行压缩，输出当前帧对应的第二图像，使每一帧映射的参数均叠加了前面多帧的信息，使得生成高动态范围的视频的亮度连续，避免亮暗交错导致画面闪烁。根据所述权重对当前帧和前一帧的全部统计信息加权融合，以获取下一帧图像的映射参数并存储，供计算下一帧的映射参数时调用，因此本发明仅需要调用一组寄存器存储相关参数变量，有利于节省资源消耗，缩短处理时间，能够满足视频帧率，避免视频数据错误统计。

4、可选的，所述对当前帧进行高动态范围融合，以生成第一图像，包括：据当前帧不同曝光图像的多维度信息计算融合权重，再将不同曝光的图像乘以对应的亮度比例后加权融合，以生成第一图像hdr，满足：

5、hdr＝ldr1*ratio1*w1+ldr2*ratio2*w2+…+ldrm*ratiom*wm

6、wk＝fk(ldr1,ldr2,…,ldrm)

7、w1+w2+…+wm＝1

8、其中，weightk是第k曝光帧融合权重，fk是第k曝光帧权重的计算函数，ratiok是第k曝光帧与第1曝光帧的亮度比例，ldrm是第m曝光帧的亮度值。

9、可选的，所述根据前一帧所计算的映射参数和色调映射曲线，对所述第一图像进行压缩，输出当前帧对应的第二图像，包括：根据上一帧计算的参数和映射曲线函数，对第一的图像进行压缩，输出当前帧对应的第二图像out，满足：

10、out＝g(hdr,p(1),p(2),…,p(n))

11、其中，hdr是s2中的融合结果，n表示色调映射参数的种类数，g表示映射曲线函数，p(1),p(2),…,p(n)是前一帧计算的色调映射参数，包含全局平均亮度、局部平均亮度、直方图、曝光和增益中的至少一种。

12、可选的，所述包含多层次信息和多维度信息的统计信息包括：全局平均亮度、局部平均亮度、全局直方图、有效亮度和过曝比例中的至少一种。

13、可选的，所述根据当前帧和前一帧的部分统计信息，计算当前帧信息在下一帧处理中所占的权重，包括：记当前帧为视频中的第k帧，先计算当前帧和前一帧的有效亮度之差δvalidy，满足：

14、δvalidy＝|validk-1-validk|

15、其中，validk是第k帧图像的有效亮度，用于表示在预设范围[y1,y2]中的像素点亮度平均值；再将所述有效亮度之差δvalidy与前一帧有效亮度validk-1的比值作为变化率d，并使用最大值和最小值限定，满足：

16、

17、其中，a为默认最大值，b为默认最小值；根据变化率d的大小确定当前帧的权重wk，通过正态分布计算权重wk的方法满足：

18、

19、其中，exp是自然常数为底的指数函数，μ为期望，σ为标准差。

20、可选的，根据所述权重对当前帧和前一帧的全部统计信息加权融合，以获取下一帧图像的映射参数并存储，供计算下一帧的映射参数时调用，包括：对当前帧和前一帧的全部统计信息中的每组参数pk做加权计算，得到当前第k帧的第1～n组参数pk(1),…,pk(n)，第t组参数pk(t)满足如下赋值过程：

21、pk(t)＝(1-wk)*pk-1(t)+wk*pk(t)

22、其中，t取[1，n]中的整数，n表示参数的组数，k表示当前帧的序号。

23、第二方面，本发明提供一种高动态范围图像的处理装置，用于所述第一方面中任一项所述的方法，包括：帧获取单元，用于获取多帧低动态范围图像的连续帧，确定要处理的当前帧；融合单元，用于遍历连续多帧低动态范围图像，对当前帧进行高动态范围融合，以生成第一图像；根据前一帧所计算的映射参数和色调映射曲线，对所述第一图像进行压缩，输出当前帧对应的第二图像；遍历连续多帧低动态范围图像对应的第二图像并进行统计，以获取包含多层次信息和多维度信息的统计信息；根据当前帧和前一帧的部分统计信息，计算当前帧信息在下一帧处理中所占的权重；根据所述权重对当前帧和前一帧的全部统计信息加权融合，以获取下一帧图像的映射参数并存储，供计算下一帧的映射参数时调用；输出单元，用于根据输出的高动态范围图像生成高动态范围的视频。

24、可选的，所述融合单元用于遍历连续多帧低动态范围图像对应的第二图像并进行统计，以获取全局平均亮度、局部平均亮度、全局直方图、有效亮度和过曝比例中的至少一种。

25、第三方面，本发明提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现第一方面中任一项所述的方法。

26、第四方面，本发明提供一种可读存储介质，所述可读存储介质内存储有程序，所述程序被执行时，实现第一方面中任一项所述的方法。