图像处理方法、装置、存储介质及电子设备与流程

文档序号:18739152发布日期:2019-09-21 01:34阅读:143来源:国知局
图像处理方法、装置、存储介质及电子设备与流程

本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。



背景技术:

相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,其处理得到的图像能够适用于预览、拍照和录像。

本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括第一摄像模组和第二摄像模组,其中所述第二摄像模组为广角摄像模组,所述方法包括:

从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;

通过所述第一目标摄像模组获取第一RAW图像,并通过所述第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;

以所述第二RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;

利用所述RAW合成图像,进行图像的预览或拍照或录像操作。

本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括第一摄像模组和第二摄像模组,其中所述第二摄像模组为广角摄像模组,所述装置包括:

确定模块,用于从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;

获取模块,用于通过所述第一目标摄像模组获取第一RAW图像,并通过所述第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;

合成模块,用于以所述第二RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;

处理模块,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。

本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法。

本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法。

本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。

附图说明

下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的流程示意图。

图2是本申请实施例提供的图像处理方法的第一种合成示意图。

图3是本申请实施例提供的图像处理方法的另一流程示意图。

图4是本申请实施例提供的图像处理方法的第二种合成示意图。

图5为将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组时的图像合成示意图。

图6为将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组时的图像合成示意图。

图7至图11是本申请实施例提供的图像处理方法的场景示意图。

图12是本申请实施例提供的图像处理装置的结构示意图。

图13是本申请实施例提供的电子设备的结构示意图。

图14是本申请实施例提供的图像处理电路的结构示意图。

具体实施方式

请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的终端设备。

请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以具有第一摄像模组和第二摄像模组,其中该第二摄像模组可以为广角摄像模组。该图像处理方法的流程可以包括:

101、从第一摄像模组和第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。

102、通过第一目标摄像模组获取第一RAW图像,并通过第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。

相比于普通的图像,高动态范围图像(High-Dynamic Range,简称HDR)可以提供更多的动态范围和图像细节。电子设备可以在同一场景下拍摄具有不同曝光程度的多帧图像,将过曝光图像的暗部细节、正常曝光图像的中间细节和欠曝光图像的亮部细节合成得到HDR图像。然而,相关的HDR技术处理得到的图像难以同时适用于预览、拍照和录像。

比如,利用zzHDR技术进行图像处理时,因为zzHDR技术是在同一帧图像中既有进行长曝光的像素又有进行短曝光的像素,长、短曝光像素合并生成高动态范围图像时,会降低至少一半的分辨率。因此利用zzHDR技术得到的高动态范围图像无法用于拍照或者录像,否则用户会明显看出分辨率降低的图像显示效果。即,zzHDR技术无法适用于拍照和录像的场景。相关技术中的另一些HDR技术也存在着诸如分辨率降低或者信噪比较低的问题,使得这些HDR技术处理得到的图像无法同时适用于预览、拍照和录像。

在本申请实施例的101和102的流程中,比如,电子设备可以先从两个摄像模组即第一摄像模组和第二摄像模组(广角摄像模组)中确定出第一目标摄像模组以及第二目标摄像模组。

之后,电子设备可以通过确定出来的第一目标摄像模组获取第一RAW图像,并通过确定出来的第二目标摄像模组获取第二RAW图像和第三RAW图像。其中,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第二RAW图像,第二RAW图像的曝光度可以大于第三RAW图像。

需要说明的是,电子设备的摄像模组由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。

曝光度是指图像的曝光程度。曝光程度可以包括过曝光、正常曝光以及欠曝光。曝光度也叫曝光值,曝光值代表能够给出同样曝光的所有相机光圈快门组合。

在本实施例中,第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低可以包括如下情形:例如,第一RAW图像可以为过曝光图像、第二RAW图像可以为正常曝光图像,第三RAW图像可以为欠曝光图像。又如,第一RAW图像、第二RAW图像和第三RAW图像可以是曝光时间依次减少的图像,例如相比较而言,第一RAW图像可以为曝光时间较长的长曝光图像,第二RAW图像可以为曝光时间居于中间的中等曝光图像,第三RAW图像可以为曝光时间较短的短曝光图像等等。

即,本实施例的101和102中,电子设备可以先从第一摄像模组和第二摄像模组中选取用于进行过曝光或长曝光的第一目标摄像模组,并选取用于进行正常曝光和欠曝光或者进行中等曝光和短曝光的第二目标摄像模组。在选取出第一目标摄像模组和第二目标摄像模组之后,电子设备可以通过该第一目标摄像模组获取第一RAW图像,并通过第二目标摄像模组获取第二RAW图像和第三RAW图像。

103、以第二RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。

比如,在获取到第一RAW图像、第二RAW图像和第三RAW图像之后,电子设备可以第二RAW图像为基准图像,对该第一RAW图像、第二RAW图像以及第三RAW图像进行HDR合成处理,从而得到具有高动态范围的RAW合成图像。

即,由于第一RAW图像的曝光度最高,第三RAW图像的曝光度最低,因此电子设备可以从第一RAW图像中获取暗部细节,从第三RAW图像中获取亮部细节,并将获取到的暗部细节和亮部细节与第二RAW图像进行HDR合成,从而得到具有高动态范围的RAW合成图像。

104、利用RAW合成图像,进行图像的预览或拍照或录像操作。

比如,在得到具有高动态范围的RAW合成图像后,电子设备可以利用该RAW合成图像进行图像的预览或拍照或录像操作。例如,电子设备可以在对该RAW合成图像进行一定处理后显示在该电子设备的相机应用的预览界面供用户预览。或者,当电子设备接收到拍照指令,例如用户按下拍照按钮时,该电子设备可以在对该RAW合成图像进行一定的处理后作为照片输出显示在显示屏上供用户查看。或者,当电子设备接收到录像指令时,电子设备可以在对该RAW合成图像进行一定处理后将其作为录像得到的视频的其中一帧。

请同时参阅图2,图2为本实施例提供的图像处理方法的第一种合成示意图。

需要说明的是,本实施例中,由于第一RAW图像、第二RAW图像以及第三RAW图像均是完整曝光的RAW图像,因此用该第一RAW图像、第二RAW图像以及第三RAW图像去做高动态范围合成处理后得到的图像其分辨率就不会有损失,其信噪比也较高,即本实施例中得到的具有高动态范围的RAW合成图像具有分辨率高和信噪比高的优点。这种分辨率高、信噪比高的具有高动态范围的RAW合成图像可以直接用于图像预览、拍照和录像。

请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图,流程可以包括:

201、电子设备获取拍摄场景的类别。

比如,本申请实施例中,电子设备可以先获取当前的拍摄场景的类别。

在一些实施方式中,拍摄场景的类别可以包括诸如广角拍摄场景、近景拍摄场景、远景拍摄场景、微距拍摄场景等类别。

在本实施例中,电子设备可以先对拍摄场景进行识别,进而通过识别出的拍摄场景确定该拍摄场景所属的类别。比如,电子设备可以通过AI人工智能识别当前的拍摄场景。之后,电子设备可以根据预设的场景和类别的对应关系,确定当前的拍摄场景所属的类别。

在确定出当前的拍摄场景的类别后,电子设备可以检测该当前的拍摄场景的类别是否为广角拍摄场景类别。

若检测出当前的拍摄场景的类别为广角拍摄场景类别,那么可以进入202中。

202、若拍摄场景的类别为广角拍摄场景类别,则电子设备将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组确定为第二目标摄像模组。

比如,电子设备检测出当前的拍摄场景的类别为广角拍摄场景类别,即电子设备检测出当前的拍摄场景所需的拍摄视角较大。那么,电子设备可以将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组。

在一些实施方式中,广角拍摄场景类别可以包括如下拍摄场景:例如电子设备当前正在拍摄建筑物、海面或湖面、多人集体照等拍摄场景。即,广角拍摄场景可以包括一些比较宏大的拍摄场景。

需要说明的是,在本实施例中,第一目标摄像模组可以是用于拍摄具有最大曝光度的RAW图像(即第一RAW图像)的摄像模组。而第二目标摄像模组可以是用于拍摄具有中间大小的曝光度的RAW图像(即第二RAW图像)以及具有最小曝光度的RAW图像(即第三RAW图像)的摄像模组。由于在进行HDR合成时,本实施例可以使用具有中间大小的曝光度的第二RAW图像作为基准图像,因此本实施例通过在广角拍摄场景类别下使用广角摄像模组来拍摄第二RAW图像可以使得第二RAW图像具有更广的拍摄视角,即利用广角摄像模组拍摄得到的第二RAW图像视场角更广。那么,后续以该第二RAW图像为基准图像进行HDR合成处理(如在进行HDR合成处理时从第一RAW图像中获取暗部细节以及从第三RAW图像中获取亮部细节等,并将获取到的暗部细节和亮部细节融合到第二RAW图像中)所得到的RAW合成图像的成像效果将具有较广的拍摄视角。

203、电子设备通过第一目标摄像模组获取第一RAW图像,并通过第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低,第二目标摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像,第一目标摄像模组和第二模组摄像模组的帧率相同。

比如,在确定出第一目标摄像模组和第二目标摄像模组后,电子设备可以通过该第一目标摄像模组获取第一RAW图像,并通过第二目标摄像模组获取第二RAW图像和第三RAW图像。

其中,该第一目标摄像模组和该第二目标摄像模组的帧率可以相同。例如,该第一目标摄像模组和该第二目标摄像模组的帧率均为30fps。当然,在一些其它实施方式中,该第一目标摄像模组和该第二目标摄像模组的帧率也可以为其它数值。并且,该第一目标摄像模组和该第二目标摄像模组的帧率可以是不低于20fps的数值。当该第一目标摄像模组和该第二目标摄像模组的帧率不低于20fps时,后续利用该第一目标摄像模组和第二目标摄像模组获取到的图像合成的RAW合成图像进行图像预览或录像时画面会比较流畅而不会出现卡顿现象。

并且,该第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。即,第一RAW图像的曝光度可以大于第二RAW图像,第二RAW图像的曝光度可以大于第三RAW图像。在一些实施方式中,第一RAW图像可以为过曝光图像,第二RAW图像可以为正常曝光图像,第三RAW图像可以为欠曝光图像。或者,在其它曝光参数相同的情况下,第一RAW图像的曝光时间可以大于第二RAW图像,而第二RAW图像的曝光时间可以大于第三RAW图像。即,第一RAW图像可以为长曝光图像,第二RAW图像可以为中等曝光图像,第三RAW图像可以为短曝光图像。

在本实施例中,第二目标摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。比如,第二目标摄像模组可以交替地进行中等曝光和短曝光,从而得到相应的图像。即,本实施例中,第一目标摄像模组可以不断地获取到长曝光图像,第二目标摄像模组可以不断地、交替获取到中等曝光图像和短曝光图像。

在本实施例中,可以将获取到的长曝光图像(或者过曝图像)统一记为第一RAW图像,将中等曝光图像(或者正常曝光图像)统一记为第二RAW图像,将短曝光图像(或者欠曝图像)统一记为第三RAW图像。

204、电子设备以第二RAW图像为基准图像,对第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第二目标摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。

比如,在第一目标摄像模组不断地获取到长曝光图像,并且第二目标摄像模组不断地、交替获取到中等曝光图像和短曝光图像的过程中,电子设备可以对第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第二目标摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。其中,在进行HDR合成时,电子设备可以第二RAW图像为HDR合成的基准图像。即,电子设备可以从第一RAW图像中获取暗部细节,从第三RAW图像中获取亮部细节,并将获取到的暗部细节和亮部细节与第二RAW图像进行HDR合成,从而得到具有高动态范围的RAW合成图像。

请同时参阅图4,图4为本实施例提供的图像处理方法的第二种合成示意图。例如,第一目标摄像模组按照时间先后顺序进行长曝光得到以下图像:L1、L2、L3、L4(即L1为第一目标摄像模组拍摄的第一帧图像,L2为第一目标摄像模组拍摄的第二帧图像,L3为第一目标摄像模组拍摄的第三帧图像,L4为第一目标摄像模组拍摄的第四帧图像)等等。可以理解的是,L1、L2、L3和L4具有相同的曝光度,例如在其它曝光参数相同的情况下,L1、L2、L3和L4具有相同的曝光时间t1。第二目标摄像模组按照时间先后顺序交替进行中等曝光和短曝光得到以下图像:M1、S1、M2、S2、M3(即M1为第二目标摄像模组拍摄的第一帧图像,S1为第二目标摄像模组拍摄的第二帧图像,M2为第二目标摄像模组拍摄的第三帧图像,S2为第二目标摄像模组拍摄的第四帧图像,M3为第二目标摄像模组拍摄的第五帧图像)等等。可以理解的是,M1、M2、M3具有相同的曝光度,例如在其它曝光参数相同的情况下,M1、M2、M3具有相同的曝光时间t2。S1、S2具有相同的曝光度,例如在其它曝光参数相同的情况下,S1、S2具有相同的曝光时间t3。那么,在HDR合成时,电子设备是将L1、M1和S1进行合成得到P1图像(以M1为HDR合成的基准图像),将L2、S1和M2进行合成得到P2图像(以M2为HDR合成的基准图像),将L3、M2和S2进行合成得到P3图像(以M2为HDR合成的基准图像),将L4、S2和M3进行合成得到P4图像(以M3为HDR合成的基准图像)。即,电子设备可以依次得到具有高动态范围的P1、P2、P3和P4图像。

205、电子设备将RAW合成图像转换为YUV合成图像。

206、电子设备对YUV合成图像进行预设处理后,进行图像的预览。

比如,205和206可以包括:

在得到RAW合成图像后,电子设备可以将该RAW合成图像由RAW格式转换为YUV格式,从而得到YUV合成图像。

之后,电子设备可以对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理,并在该预设处理后,利用处理后得到的图像进行图像预览操作。例如,电子设备可以将YUV合成图像经过预设处理后得到的图像显示在该电子设备的相机应用的预览界面供用户预览。

请同时参阅图5和图6。图5为电子设备将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组时的图像合成示意图。图6为电子设备将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组时的图像合成示意图。

207、电子设备将预设处理后的YUV合成图像存入预设图像缓存队列。

208、在进行拍照操作时,电子设备从预设图像缓存队列中获取一帧YUV合成图像,并将获取到的该YUV合成图像作为照片展示。

比如,207和208可以包括:

在对该YUV合成图像进行诸如图像锐化、图像降噪等预设处理后,电子设备可以将处理后得到的图像存入一个预设图像缓存队列中。

例如,在对图像进行预览之后,用户点击了电子设备的相机应用的拍照按钮进行拍照操作,那么电子设备可以从预设图像缓存队列中获取一帧经过预设处理的YUV合成图像,并将获取到的该图像作为照片进行展示,如显示在电子设备的显示屏供用户查看拍照效果。

在一种实施方式中,在201之后,还可以包括如下流程:若所述拍摄场景的类别不为广角拍摄场景类别,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组。即,当前的拍摄场景不需要使用到较广的拍摄视角。此时,电子设备可以将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组。在确定出第一目标摄像模组和第二目标摄像模组之后,电子设备可以通过第一目标摄像模组获取第一RAW图像,并通过第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低,第二目标摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像,第一目标摄像模组和第二模组摄像模组的帧率相同。之后,电子设备对第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第二目标摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。在得到RAW合成图像后,电子设备可以利用该RAW合成图像进行图像的预览或拍照或录像操作。

在一种实施方式中,电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像的流程,可以包括:

电子设备将第二RAW图像确定为图像对齐处理的基准图像,该图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理;

在图像对齐后,电子设备对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。

比如,第一RAW图像为过曝光图像,第二RAW图像为正常曝光图像,第三RAW图像为欠曝光图像。那么,电子设备可以将正常曝光的第二RAW图像确定为图像对齐处理的基准图像,其中该图像对齐处理至少包括图像亮度对齐处理和图像位置对齐处理。即,在进行HDR融合之前,电子设备需要对第一RAW图像、第二RAW图像和第三RAW图像进行图像亮度对齐和图像位置对齐。在本申请实施例中,电子设备可以先将正常曝光的第二RAW图像确定为图像对齐处理的基准图像,然后将第一RAW图像和第三RAW图像以第二RAW图像为基准进行图像亮度对齐和位置对齐。在图像对齐之后,电子设备可以对第一RAW图像、第二RAW图像和第三RAW图像进行HDR合成(在进行HDR合成时仍然可以第二RAW图像作为合成的基准图像),从而得到具有高动态范围的RAW合成图像。

在一种实施方式中,由于第二摄像模组为广角摄像模组,因此第二摄像模组拍摄得到的RAW图像带有一些程度的畸变。因此,在对第一RAW图像、第二RAW图像和第三RAW图像进行位置对齐前,电子设备可以先对由广角摄像模组(即第二摄像模组)拍摄得到的图像进行畸变校正。在畸变校正后,电子设备可以再对第一RAW图像、第二RAW图像和第三RAW图像进行位置对齐。

需要说明的是,以中等曝光的第二RAW图像作为图像对齐处理的基准图像,可以使得图像对齐处理更加准确,进而使得最终合成得到的图像的成像效果更好。

在本实施例中,用于进行HDR合成的第一RAW图像、第二RAW图像和第三RAW图像可以是拍摄时间间隔小于预设间隔的图像。比如,用于进行HDR合成的长曝光图像、中等曝光图像以及短曝光图像可以是拍摄时间间隔小于预设间隔的图像。电子设备在拍摄图像时可以生成与各图像对应的时间戳。基于拍摄的时间戳,电子设备即可以在HDR合成时检测对应的长曝光图像、中等曝光图像以及短曝光图像是否为拍摄时间间隔小于预设间隔的图像。若是,则电子设备可以进行HDR合成。若否,则电子设备可以不对这些图像进行HDR合成,而是对这些图像进行丢帧处理,如将这些图像删除等。

请参阅图7至图11,图7至图11为本申请实施例提供的图像处理方法的场景示意图。

比如,如图7所示,电子设备具有第一摄像模组301和第二摄像模组302,其中该第二摄像模组302为广角摄像模组,而该第一摄像模组301可以为普通摄像模组。例如,第一摄像模组301可以为既非长焦摄像模组也非广角摄像模组的普通摄像模组。并且,第一摄像模组301和第二摄像模组302具有相同的帧率,例如它们的帧率均为30fps或者60fps等等。

例如,如图8所示,用户点击了相机应用的图标,并将摄像头对准某一场景。此时电子设备进入相机应用的预览界面。当检测到进入预览界面后,电子设备可以对拍摄场景进行识别,并获取该拍摄场景所属的类别。例如,电子设备通过AI人工智能识别检测到当前正在拍摄一栋建筑物。电子设备通过查询预先设置的场景和类别的对应关系,确定出当前的拍摄场景所属的类别为广角拍摄场景类别,即当前的拍摄场景需要较广的拍摄视角。

在确定出当前的拍摄场景的类别为广角拍摄场景类别后,电子设备可以将第一摄像模组确定为第一目标摄像模组,并将第二摄像模组(即广角摄像模组)确定为第二目标摄像模组。

又如,若检测出当前的拍摄场景的类别不是广角拍摄场景类别,即当前的拍摄场景不需要使用很大的拍摄视角,则电子设备可以将第二摄像模组(即广角摄像模组)确定为第一目标摄像模组,并将第一摄像模组确定为第二目标摄像模组。

在确定出第一目标摄像模组和第二目标摄像模组后,电子设备可以进入HDR模式。例如,在该HDR模式下,电子设备可以通过第一目标摄像模组的图像传感器按照拍摄间隔持续地获取RAW图像,例如本实施例记为第一RAW图像,该第一RAW图像的曝光时间为T1。同时,电子设备可以通过第二目标摄像模组的图像传感器交替获取到具有曝光时间为T2和T3的RAW图像,例如将具有曝光时间T2的RAW图像统一记为第二RAW图像,将具有曝光时间T3的RAW图像统一记为第三RAW图像。可以理解的是,第一RAW图像、第二RAW图像和第三RAW图像即为摄像头对准的当前场景的图像。由于第一RAW图像、第二RAW图像和第三RAW图像的拍摄时间间隔很短,因此可以认为它们为同一场景下获取的图像。在一种实施方式中,第一RAW图像、第二RAW图像和第三RAW图像除了曝光时间不同外,其它曝光参数可以相同。

在本实施例中曝光时间T1大于T2,T2大于T3。即,第一目标摄像模组进行长曝光,得到长曝光的RAW图像。第二目标摄像模组交替进行中、短曝光,得到中等曝光和短曝光的RAW图像。例如,如图4所示,按照时间先后顺序,电子设备通过第一目标摄像模组的图像传感器可以获取到长曝光的RAW图像L1、L2、L3和L4,等等。并且,按照时间先后顺序,电子设备通过第二目标摄像模组的图像传感器可以交替获取到中、短曝光的RAW图像M1、S1、M2、S2、M3,等等。

在获取到长曝光图像、中等曝光图像和短曝光图像后,电子设备可以对长曝光图像、中等曝光图像和短曝光图像进行HDR合成处理,得到具有高动态范围的RAW合成图像。其中,用于进行HDR合成处理的图像可以为第一目标摄像模组获取到的第N帧图像、第二目标摄像模组获取到的第N帧图像以及第二目标摄像模组获取到的第N+1帧图像。并且,在进行HDR合成时,电子设备可以中等曝光图像作为HDR合成的基准图像。

例如,如图4所示,当获取到图像L1、M1和S1之后,电子设备可以第图像L1、M1和S1进行HDR合成处理(以M1为HDR合成的基准图像),得到具有高动态范围的图像P1。在获取到图像P1后,电子设备可以将图像P1转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。

当获取到图像L2、M2之后,电子设备可以对图像L2、M2和S1进行HDR合成处理(以M2为HDR合成的基准图像),得到具有高动态范围的图像P2。当获取到图像L3、S2之后,电子设备可以对图像L3、M2和S2进行HDR合成处理(以M2为HDR合成的基准图像),得到具有高动态范围的图像P3。当获取到图像L4、M3之后,电子设备可以对图像L4、M3和S2进行HDR合成处理(以M3为HDR合成的基准图像),得到具有高动态范围的图像P4,等等。

在依次得到图像P2、P3和P4后,电子设备同样可以将图像P2、P3和P4转换为YUV格式的图像,并对格式转换后的图像进行诸如图像锐化、图像降噪等预设处理,得到处理后的图像。之后,电子设备可以将该处理后的图像显示在显示屏上,即在预览界面中显示给用户查看。即,预览界面上会依次显示由图像P1、P2、P3和P4等经过格式转换和预设处理后的图像。

可以理解的是,本实施例中可以将显示在预览界面上的图像记为预览帧图像。电子设备在每得到一张预览帧图像后,可以将对应的预览帧图像存入预设图像缓存队列中。该预设图像缓存队列可以是定长队列,也可以是非定长队列。

例如,本实施例中,预设图像缓存队列为定长队列,队列长度为30帧。例如,电子设备依次得到用于预览的图像Y1、Y2、Y3、Y4等等。那么,电子设备可以将得到的图像Y1、Y2、Y3、Y4依次存入预设图像缓存队列中。可以理解的是,预设图像缓存队列中存储的始终是最新得到的30帧预览帧图像,如图9所示。

之后,例如如图10所示,用户点击了相机应用界面中的拍照按钮,此时电子设备可以从预设图像缓存队列中获取一帧预览帧,并将该获取的预览帧作为照片显示在显示屏上供用户查看拍照效果。例如,电子设备从预设图像缓存队列中获取到图像Y60。那么,电子设备可以将图像Y60作为照片显示给用户查看,如图11所示。

可以理解的是,本实施例中,当拍照时,电子设备可以直接从预设图像缓存队列中获取具有高动态范围的图像,并展示给用户查看,从而可以达到零延时拍照的效果。

需要说明的是,由于第二摄像模组为广角摄像模组,因此第二摄像模组拍摄得到的RAW图像具有一些程度的畸变。在将第一摄像模组和第二摄像模组拍摄得到的RAW图像进行HDR合成时,电子设备需要对第二摄像模组拍摄的RAW图像进行畸变校正,然后再进行HDR合成。

请参阅图12,图12为本申请实施例提供的图像处理装置的结构示意图。该图像处理装置可以应用于电子设备,该电子设备可以包括第一摄像模组和第二摄像模组,其中该第二摄像模组为广角摄像模组。图像处理装置400可以包括:确定模块401,获取模块402,合成模块403,处理模块404。

确定模块401,用于从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。

获取模块402,用于通过所述第一目标摄像模组获取第一RAW图像,并通过所述第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低。

合成模块403,用于以所述第二RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像。

处理模块404,用于利用所述RAW合成图像,进行图像的预览或拍照或录像操作。

在一种实施方式中,所述确定模块401可以用于:

获取拍摄场景的类别;

根据所述拍摄场景的类别,从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。

在一种实施方式中,所述确定模块401可以用于:

若所述拍摄场景的类别为广角拍摄场景类别,则将所述第一摄像模组确定为第一目标摄像模组,并将所述第二摄像模组确定为第二目标摄像模组;

或者,若所述拍摄场景的类别不为广角拍摄场景类别,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组。

在一种实施方式中,所述第一摄像模组和所述第二摄像模组的帧率相同。

在一种实施方式中,所述第一RAW图像、所述第二RAW图像和第三RAW图像的曝光时间依次减少。

在一种实施方式中,所述第二目标摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像;

那么,所述合成模块403可以用于:对所述第一目标摄像模组获取到的第N帧图像、所述第二目标摄像模组获取到的第N帧图像以及所述第二目标摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。

在一种实施方式中,所述处理模块404可以用于:

将所述RAW合成图像转换为YUV合成图像;

对所述YUV合成图像进行预设处理后,进行图像的预览。

在一种实施方式中,所述处理模块404还可以用于:

将预设处理后的YUV合成图像存入预设图像缓存队列;

在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。

本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的步骤。

本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的步骤。

例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图13,图13为本申请实施例提供的移动终端的结构示意图。

该电子设备500可以包括摄像模组501、存储器502、处理器503等部件。本领域技术人员可以理解,图13中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

摄像模组501可以是电子设备上安装的双摄像模组等等。其中该摄像模组501可以包括第一摄像模组和第二摄像模组。该第二摄像模组可以为广角摄像模组。

存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。

处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。

在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:

从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;

通过所述第一目标摄像模组获取第一RAW图像,并通过所述第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;

以所述第二RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;

利用所述RAW合成图像,进行图像的预览或拍照或录像操作。

本发明实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。

图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。

请参阅图14,图14为本实施例中图像处理电路的结构示意图。如图14所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。

图像处理电路可以包括:第一摄像模组510、第二摄像模组520、第一图像信号处理器530、第二图像信号处理器540、控制逻辑器550、图像存储器560、显示器570。其中,第一摄像模组510可以包括一个或多个第一透镜511和第一图像传感器512。第二摄像模组520可以包括一个或多个第二透镜521和第二图像传感器522。

第一摄像模组510采集的第一图像传输给第一图像信号处理器530进行处理。第一图像信号处理器530处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第一摄像模组510的控制参数,从而第一摄像模组510可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一图像信号处理器530进行处理后可存储至图像存储器560中。第一图像信号处理器530也可以读取图像存储器560中存储的图像以进行处理。另外,第一图像经过图像信号处理器530进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。

第二摄像模组520采集的第二图像传输给第二图像信号处理器540进行处理。第二图像信号处理器540处理第二图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器550。控制逻辑器550可根据统计数据确定第二摄像模组520的控制参数,从而第二摄像模组520可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二图像信号处理器540进行处理后可存储至图像存储器560中。第二图像信号处理器540也可以读取图像存储器560中存储的图像以进行处理。另外,第二图像经过图像信号处理器540进行处理后可直接发送至显示器570进行显示。显示器570也可以读取图像存储器560中的图像以进行显示。

在另一些实施方式中,第一图像信号处理器和第二图像信号处理器也可合成为统一的图像信号处理器,分别处理第一图像传感器和第二图像传感器的数据。

此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、第一图像信号处理器、第二图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。

一般的,具有双摄像模组的手机,在某些拍照模式下,双摄像模组均工作。此时,CPU控制供电模块为第一摄像模组和第二摄像模组供电。第一摄像模组中的图像传感器上电,第二摄像模组中的图像传感器上电,从而可以实现图像的采集转换。在某些拍照模式下,可以是双摄像模组中的一个摄像头工作。例如,仅长焦摄像头工作。这种情况下,CPU控制供电模块给相应摄像头的图像传感器供电即可。

以下为运用图14中图像处理技术实现本实施例提供的图像处理方法的流程:

从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组;

通过所述第一目标摄像模组获取第一RAW图像,并通过所述第二目标摄像模组获取第二RAW图像和第三RAW图像,其中,所述第一RAW图像、第二RAW图像和第三RAW图像的曝光度依次降低;

以所述第二RAW图像为基准图像,对第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像;

利用所述RAW合成图像,进行图像的预览或拍照或录像操作。

在一种实施方式中,电子设备执行从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组时,可以执行:获取拍摄场景的类别;根据所述拍摄场景的类别,从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组。

在一种实施方式中,电子设备执行根据所述拍摄场景的类别,从所述第一摄像模组和所述第二摄像模组中确定第一目标摄像模组和第二目标摄像模组时,可以执行:若所述拍摄场景的类别为广角拍摄场景类别,则将所述第一摄像模组确定为第一目标摄像模组,并将所述第二摄像模组确定为第二目标摄像模组;或者,若所述拍摄场景的类别不为广角拍摄场景类别,则将所述第二摄像模组确定为第一目标摄像模组,并将所述第一摄像模组确定为第二目标摄像模组。

在一种实施方式中,所述第一摄像模组和所述第二摄像模组的帧率相同。

在一种实施方式中,所述第一RAW图像、所述第二RAW图像和第三RAW图像的曝光时间依次减少。

在一种实施方式中,所述第二目标摄像模组利用交替曝光的方式获取第二RAW图像和第三RAW图像。

那么,电子设备执行对所述第一RAW图像、第二RAW图像以及第三RAW图像进行合成处理,得到具有高动态范围的RAW合成图像时,可以执行:对所述第一目标摄像模组获取到的第N帧图像、所述第二目标摄像模组获取到的第N帧图像以及所述第二目标摄像模组获取到的第N+1帧图像进行合成处理,得到具有高动态范围的RAW合成图像。

在一种实施方式中,电子设备执行利用所述RAW合成图像,进行图像的预览时,可以执行:将所述RAW合成图像转换为YUV合成图像;对所述YUV合成图像进行预设处理后,进行图像的预览。

在一种实施方式中,电子设备还可以执行:将预设处理后的YUV合成图像存入预设图像缓存队列;在进行拍照操作时,从所述预设图像缓存队列中获取一帧YUV合成图像,并将获取到的所述YUV合成图像作为照片展示。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。

需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。

对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1