HDR图像成像方法、装置及电子设备与流程

hdr图像成像方法、装置及电子设备
技术领域
1.本发明涉及图像处理技术领域，尤其涉及一种hdr图像成像方法、装置及电子设备。


背景技术：

2.hdr(high dynamic range imaging，高动态范围成像)图像成像时，往往采用不同曝光的数据序列来提升成像的动态范围，不可避免的会引入不同曝光帧之间的局部运动，融合时会导致模糊和鬼影，造成hdr图像成像质量下降。为了解决上述问题，如何计算不同帧之间的运动，在能降低运动模糊的同时还能提高图像的动态范围成为一个研究热点。
3.目前，现有的一种解决方案是：通过ahdrnet网络，利用rgb域的数据，除以估计的曝光比，用于辅助计算不同帧在融合时的权重。
4.但是，采用上述方案时，rgb域的数据在不同的曝光情况下，线性关系已经丢失，只能得到近似结果，会影响最终的计算精度。


技术实现要素：

5.本发明提供的hdr图像成像方法、装置及电子设备，能够结合曝光比将raw域不同曝光的序列转换为相同曝光的序列，raw域良好的线性关系有助于估计局部运动的位置，提高权重计算的准确性，从而提高最终的计算精度。
6.第一方面，本发明提供一种hdr图像成像方法，所述方法包括：
7.接收原始raw序列，获取曝光比；
8.利用所述曝光比对所述原始raw序列进行转换，获取相同曝光的raw序列；
9.利用所述原始raw序列和所述相同曝光的raw序列进行权重计算，得到权重序列；
10.将所述权重序列作用在所述原始raw序列上进行图像融合，生成hdr图像。
11.可选地，所述获取曝光比的方式包括：
12.利用图像处理流程的其他模块提供的原始曝光表查询获取曝光比；或者，
13.接收图像处理流程的其他模块直接下发的曝光比；或者，
14.通过计算原始raw序列的部分区域均值，获取近似曝光比。
15.可选地，所述利用所述曝光比对所述原始raw序列进行转换，获取相同曝光的raw序列包括：
16.利用各厂商指定的曝光转换关系将原始raw序列转换为相同曝光的raw序列。
17.第二方面，本发明提供一种hdr图像成像装置，所述装置包括：
18.曝光计算模块，用于接收原始raw序列，获取曝光比；
19.曝光转换模块，用于利用所述曝光比对所述原始raw序列进行转换，获取相同曝光的raw序列；
20.权重计算模块，用于利用所述原始raw序列和所述相同曝光的raw序列进行权重计算，得到权重序列；
21.融合模块，用于将所述权重序列作用在所述原始raw序列上进行图像融合，生成hdr图像。
22.可选地，所述曝光计算模块，可利用图像处理流程的其他模块提供的原始曝光表查询获取曝光比；或者，接收图像处理流程的其他模块直接下发的曝光比；或者，通过计算原始raw序列的部分区域均值，获取近似曝光比。
23.可选地，所述曝光转换模块，用于利用各厂商指定的曝光转换关系将原始raw序列转换为相同曝光的raw序列。
24.第三方面，本发明提供一种电子设备，所述电子设备包括：
25.至少一个处理器；以及
26.与所述至少一个处理器通信连接的存储器；其中，
27.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述hdr图像成像方法。
28.第四方面，本发明提供一种芯片，所述芯片包括：
29.至少一个处理器；以及
30.与所述至少一个处理器通信连接的存储器；其中，
31.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述hdr图像成像方法。
32.第五方面，本发明提供一种芯片模组，所述芯片模组包括上述芯片。
33.第六方面，本发明提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述hdr图像成像方法。
34.本发明实施例提供的hdr图像成像方法、装置及电子设备，能够将raw域不同曝光的序列转换为相同曝光的序列，raw域良好的线性关系有助于估计局部运动的位置，提高权重计算的准确性，从而提高最终的计算精度。
附图说明
35.图1为本发明一实施例hdr图像成像方法的流程图；
36.图2为本发明一实施例hdr图像成像装置的结构示意图。
具体实施方式
37.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本发明实施例提供一种hdr图像成像方法，所述方法应用于电子设备，如图1所示，所述方法包括：
39.s11、接收原始raw序列，获取曝光比。
40.具体地，可以利用图像处理流程的其他模块提供的原始曝光表查询获取曝光比；或者，接收图像处理流程的其他模块直接下发的曝光比；或者，通过计算原始raw序列的部分区域均值，获取近似曝光比。
41.s12、利用所述曝光比对所述原始raw序列进行转换，获取相同曝光的raw序列。
42.具体地，可以利用各厂商指定的曝光转换关系将原始raw序列转换为相同曝光的raw序列。
43.s13、利用所述原始raw序列和所述相同曝光的raw序列进行权重计算，得到权重序列。
44.s14、将所述权重序列作用在所述原始raw序列上进行图像融合，生成hdr图像。
45.本发明实施例提供的hdr图像成像方法，能够将raw域不同曝光的序列转换为相同曝光的序列，raw域良好的线性关系有助于估计局部运动的位置，提高权重计算的准确性，从而提高最终的计算精度。
46.本发明实施例还提供一种hdr图像成像装置，所述装置位于电子设备，如图2所示，所述装置包括：
47.曝光计算模块11，用于接收原始raw序列，获取曝光比；
48.曝光转换模块12，用于利用所述曝光比对所述原始raw序列进行转换，获取相同曝光的raw序列；
49.权重计算模块13，用于利用所述原始raw序列和所述相同曝光的raw序列进行权重计算，得到权重序列；
50.融合模块14，用于将所述权重序列作用在所述原始raw序列上进行图像融合，生成hdr图像。
51.本发明实施例提供的hdr图像成像装置，能够将raw域不同曝光的序列转换为相同曝光的序列，raw域良好的线性关系有助于估计局部运动的位置，提高权重计算的准确性，从而提高最终的计算精度。
52.下面结合具体实施例对本发明hdr图像成像装置进行详细说明。
53.本实施例提供的hdr图像成像装置包括曝光计算模块11、曝光转换模块12、权重计算模块13和融合模块14。本实施例中所需的输入包括原始raw序列，常见不同曝光序列一般为三帧图像，具体可以为相同曝光的多帧图像、不同曝光的两帧图像、不同曝光的多帧图像等不同曝光组合的多帧图像。在本实施例中，以不同曝光的三帧图像进行举例说明，相应地，三帧图像分别为i1、i2和i3，图像的宽和高分别为w和h。
54.曝光计算模块11可以直接获取曝光比，直接获取曝光比的方式包括由图像处理流程的其他模块提供原始曝光表，进而利用该原始曝光表查询获取曝光比，或者由其他模块直接下发曝光比作为参数。若其他模块无法提供曝光比时，也可以通过计算原始raw序列的部分区域均值(如5*5大小的位置)等方式来获取近似曝光比。本实施例以由图像处理流程的其他模块提供原始曝光表获取曝光比的方式为优选方案。相应地，假设曝光比为e1：e2：e3。
55.曝光转换模块12将曝光计算模块获取到的曝光比作用在原始raw序列上，以获取相同曝光的raw序列。
56.其中，曝光比的作用方式由各厂商规定的曝光转换关系来决定。一般来说，该曝光转换关系为2的幂级数，具体地，
57.若选择i1为参考帧，相同曝光的raw序列就是i1*20、i2*2
(e2-e1)
和i3*2
(e3-e1)
；
58.若选择i2为参考帧，相同曝光的raw序列就是i1*2
(e1-e2)
、i2*20和i3*2
(e3-e2)
；
59.若选择i3为参考帧，相同曝光的raw序列就是i1*2
(e1-e3)
、i2*2
(e2-e3)
和i3*20。
60.相应地，假设相同曝光的raw序列为i1’、i2’和i3’。
61.权重计算模块13的输入为原始raw序列和由曝光转换模块转换得到的相同曝光的raw序列，权重计算模块对原始raw序列和由曝光转换模块转换得到的相同曝光的raw序列进行权重计算，得到权重序列。
62.具体地，权重计算模块13可以利用深度学习网络进行权重计算，也可以利用传统计算方案如金字塔融合等方案进行权重计算。该模块的输入为i1、i2和i3，以及i1’、i2’和i3’，该模块的输出为与输入宽高一致的权重图，相应地，输出的权重图分别为w1、w2和w3。在本实施例中，以利用深度学习网络进行权重计算作为优选方案。
63.融合模块14将权重计算模块得到的权重序列作用在原始raw序列上进行图像融合，生成具有较佳成像质量的hdr图像。
64.假设hdr图像为h，那么h＝i1*w1+i2*w2+i3*w3。
65.进一步地，还可以在本实施例提供的hdr图像成像装置的基础上，接入其他的图像处理模块，如cfa(color filter arrays，色彩过滤阵列，用于去马赛克)模块、cmc(color matrix correction，色彩矩阵校正)模块等，以获取rgb域的hdr图像。
66.本发明实施例提供的hdr图像成像装置，能够将raw域不同曝光的序列转换为相同曝光的序列，raw域良好的线性关系有助于估计局部运动的位置，提高权重计算的准确性，从而提高最终的计算精度。另外，当输入的原始raw序列无法明确提供曝光比时，可以近似估计原始raw序列的曝光比，提高计算的鲁棒性。
67.本实施例的装置，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
68.本发明实施例还提供一种电子设备，所述电子设备包括：
69.至少一个处理器；以及
70.与所述至少一个处理器通信连接的存储器；其中，
71.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述hdr图像成像方法。
72.本发明实施例还提供一种芯片，所述芯片包括：
73.至少一个处理器；以及
74.与所述至少一个处理器通信连接的存储器；其中，
75.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述hdr图像成像方法。
76.本发明实施例还提供一种芯片模组，所述芯片模组包括上述芯片。
77.本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述hdr图像成像方法。
78.本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
79.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。