图像处理方法、装置、存储介质及电子设备与流程

文档序号:18121570发布日期:2019-07-10 09:40阅读:156来源:国知局
图像处理方法、装置、存储介质及电子设备与流程

本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。



背景技术:

由于电子设备本身的硬件限制,目前的电子设备只能拍摄亮度范围比较小的场景,若在场景明暗相差太大时进行拍摄,则拍摄出来的图像容易丢失明处和/或暗处的细节。即,电子设备处理得到的图像的成像效果较差。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以提高图像的成像效果。

本申请实施例提供一种图像处理方法,包括:

获取raw图像包,所述raw图像包中包括至少两帧raw图像,所述至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间;

对所述raw图像包进行解包处理,得到所述至少两帧raw图像;

对所述至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像;

获取电子设备的运行参数值,所述运行参数值用于表示所述电子设备的计算能力;

根据所述运行参数值,确定在所述目标场景下将所述raw合成图像存入预设图像缓存队列,或是将所述raw合成图像转换为yuv合成图像后存入预设图像缓存队列;

当接收到拍照指令时,从所述预设图像缓存队列中获取目标场景的多帧历史缓存图像,并对所述多帧历史缓存图像进行多帧降噪处理,得到降噪图像;

根据所述降噪图像,响应所述拍照指令。

本申请实施例提供一种图像处理装置,包括:

第一获取模块,用于获取raw图像包,所述raw图像包中包括至少两帧raw图像,所述至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间;

解包模块,用于对所述raw图像包进行解包处理,得到所述至少两帧raw图像;

合成模块,用于对所述至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像;

第二获取模块,用于获取电子设备的运行参数值,所述运行参数值用于表示所述电子设备的计算能力;

缓存模块,用于根据所述运行参数值,确定在所述目标场景下将所述raw合成图像存入预设图像缓存队列,或是将所述raw合成图像转换为yuv合成图像后存入预设图像缓存队列;

处理模块,用于当接收到拍照指令时,从所述预设图像缓存队列中获取目标场景的多帧历史缓存图像,并对所述多帧历史缓存图像进行多帧降噪处理,得到降噪图像;

响应模块,用于根据所述降噪图像,响应所述拍照指令。

本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法。

本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法。

本实施例中,电子设备可以先将具有不同曝光时间的raw图像进行合成,得到具有高动态范围的raw合成图像,并将raw合成图像或者raw合成图像转换得到的yuv合成图像存入预设图像缓存队列中。当拍照时,电子设备可以从该预设图像缓存队列中获取多帧具有高动态范围的图像进行多帧降噪,得到降噪图像,并根据该降噪图像响应拍照指令。因此,本实施例得到的拍照图像具有高动态范围效果且噪声较小,即本实施例可以提高图像的成像效果。

附图说明

下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的图像处理方法的流程示意图。

图2是本申请实施例提供的raw图像包的示意图。

图3是本申请实施例提供的图像处理方法的另一流程示意图。

图4至图6是本申请实施例提供的图像处理方法的场景示意图。

图7是本申请实施例提供的图像处理装置的结构示意图。

图8是本申请实施例提供的电子设备的结构示意图。

图9是本申请实施例提供的电子设备的另一结构示意图。

图10是本申请实施例提供的图像处理电路的结构示意图。

具体实施方式

请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。

请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图,流程可以包括:

在101中,获取raw图像包,该raw图像包中包括至少两帧raw图像,该至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间。

本实施例提供的图像处理方法可以应用于具有摄像模组的电子设备。电子设备的摄像模组由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即raw图像数据。raw是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。电子设备的摄像模组的图像传感器可以具有第一工作模式和第二工作模式。

需要说明的是,在该第一工作模式下,图像传感器将在一帧的时间内产生至少两个曝光时间不同的raw图像,并以raw图像包的形式输出。例如,图像传感器的帧率为30fps,则图像传感器会在三十分之一秒内产生两个曝光时间不同的raw图像,并以raw图像包的形式输出。比如,请参照图2,工作在第一工作模式的图像传感器输出的raw图像包中可以包括两个raw图像的数据,且其中一个raw图像的曝光时间为另一个raw图像曝光时间的两倍。当然这两帧raw图像的曝光时间长度的比值也可以是其它数值,如3:1或者4:1或者3:2等等,本实施例对此不做具体限定。例如,图像传感器在第一个三十分之一秒内产生两个曝光时间不同的raw图像,比如为第一raw图像l1和第二raw图像s1。即,图像传感器在进行完较长曝光得到l1图像帧后,并不会马上输出l1图像帧,而是将l1图像帧存入图像传感器的缓存器中,并马上清空图像传感器上积累的电荷,再进行较短曝光得到s1图像帧。在读取出s1图像帧之后,电子设备可以将l1图像帧和s1图像帧的数据打包处理成raw图像包并输出。图像传感器在第二个三十分之一秒内也产生两个曝光时间不同的raw图像,比如为第一raw图像l2和第二raw图像s2。图像传感器在第三个三十分之一秒内产生第一raw图像l3和第二raw图像s3。图像传感器在第四个三十分之一秒内产生第一raw图像l4和第二raw图像s4,等等。需要说明的是,本实施例中将raw图像包中曝光时间较长的图像统一记为第一raw图像,将曝光时间较短的图像统一记为第二raw图像。在本实施例中,所有第一raw图像的曝光时间可以相同,例如均为t1。所有第二raw图像的曝光时间可以相同,例如均为t2。

可以理解的是,由于拍摄时间间隔很短,因此可以认为raw图像包中的raw图像是在同一场景下拍摄得到的图像。例如,raw图像包中包括第一raw图像和第二raw图像的数据,则可以认为第一raw图像和第二raw图像是在同一场景(例如为目标场景)下拍摄得到的图像。

上述第二工作模式为普通工作模式。在该第二工作模式下,图像传感器在一帧图像的时间内将产生一个单独的raw图像,而不是raw图像包。例如,普通工作模式下,图像传感器的帧率为60fps,则图像传感器会在每个六十分之一秒内产生一帧raw图像并输出。

在本申请实施例中,电子设备可以先通过工作在第一工作模式的图像传感器获取一raw图像包。其中,来源于当前场景的光信号经过摄像头的透镜后汇聚到图像传感器上,图像传感器将进行具有不同曝光时间的交替曝光,持续输出包括至少两帧raw图像的raw图像包。可以理解的是,该raw图像包中包括的至少两帧raw图像是在相同场景下获取的且具有不同的曝光时间。

比如,当用户操作电子设备开启相机应用后,电子设备使能图像传感器,并使其工作在第一工作模式。若用户操作电子设备的摄像头对准某一场景,则电子设备将通过工作在第一工作模式的图像传感器持续获取到该场景下的raw图像包,该raw图像包中至少包括两帧具有不同曝光时间的raw图像。

在102中,对raw图像包进行解包处理,得到至少两帧raw图像。

在103中,对该至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像。

比如,102和103可以包括:

在获取到raw图像包之后,电子设备可以对该raw图像包进行解包处理,从而得到至少两帧raw图像。

在对raw图像包进行解包处理后,电子设备可以对解包得到的至少两帧raw图像进行hdr合成处理,从而得到具有高动态范围的raw合成图像。

在104中,获取电子设备的运行参数值,该运行参数值用于表示该电子设备的计算能力。

比如,得到具有高动态范围的raw合成图像后,电子设备可以获取其运行参数值,其中,该运行参数值可以是用于表示电子设备的计算能力(处理能力)的参数的数值。

在105中,根据运行参数值,确定在目标场景下将raw合成图像存入预设图像缓存队列,或是将该raw合成图像转换为yuv合成图像后存入该预设图像缓存队列。

比如,在获取到运行参数值之后,电子设备可以根据该运行参数值,来确定在目标场景下是将raw合成图像存入预设图像缓存队列中,或者是将该raw合成图像转换为yuv合成图像后再存入该预设图像缓存队列中。

例如,根据运行参数值,电子设备确定出在目标场景下将raw合成图像存入预设图像缓存队列中,那么该电子设备就可以将该raw合成图像存入预设图像缓存队列中。

或者,根据运行参数值,电子设备确定出在目标场景下将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列中。那么,电子设备可以先将该raw合成图像转换为yuv格式,从而得到yuv合成图像,再将该yuv合成图像存入预设图像缓存队列中。

需要说明的是,在105的流程中,电子设备确定出的结果(即在目标场景下将raw合成图像存入预设图像缓存队列,或是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列)在该目标场景下(即场景未发生改变时)有效。

例如,用户打开相机应用后,将摄像头对准场景a,此时电子设备可以快速地、不断地获取raw图像包。若根据运行参数值,电子设备确定出是将raw合成图像存入预设图像缓存队列中,那么在摄像头对准场景a的过程中所获取到的所有raw图像包都是将raw合成图像存入预设图像缓存队列中。比如,在摄像头对准场景a的过程中,电子设备获取到第一个raw图像包后,根据电子设备的运行参数确定出是将raw合成图像存入预设图像缓存队列中,那么接下来获取到的场景a的raw图像包都是将raw合成图像存入预设图像缓存队列中。例如,电子设备在场景a中获取到10个raw图像包,那么关于这10个raw图像包都是将raw合成图像存入预设图像缓存队列中。

之后,例如用户移动了摄像头,将摄像头对准了场景b,那么电子设备可以重新根据运行参数确定是在场景b下是将raw合成图像存入预设图像缓存队列,或是将该raw合成图像转换为yuv合成图像后存入该预设图像缓存队列。例如,电子设备确定出是将raw合成图像转换为yuv合成图像后存入该预设图像缓存队列。例如,在摄像头对准场景b的过程中,电子设备获取到第一个raw图像包后,根据电子设备的运行参数确定出是将raw合成图像转换为yuv合成图像后存入预设图像缓存队列中,那么接下来获取到的场景b的raw图像包都是将raw合成图像转换为yuv合成图像后存入预设图像缓存队列中。例如,电子设备在场景b中获取到15个raw图像包,那么关于这15个raw图像包都是将raw合成图像转换为yuv合成图像后存入预设图像缓存队列中。

也就是说,每当场景发生改变时,电子设备需要重新根据运行参数来确定是将raw合成图像存入预设图像缓存队列中,还是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列中。例如,在场景b之后,用户又将摄像头对准场景a,则此时电子设备需要重新根据运行参数来确定是将raw合成图像存入预设图像缓存队列中,还是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列中。例如,此时电子设备可能确定出是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列中,等等。

在106中,当接收到拍照指令时,从预设图像缓存队列中获取目标场景的多帧历史缓存图像,并对该多帧历史缓存图像进行多帧降噪处理,得到降噪图像。

比如,在将raw合成图像或者yuv合成图像存入预设图像缓存队列之后,当接收到对目标场景进行拍照的拍照指令时,电子设备可以从该预设图像缓存队列中获取关于该目标场景的多帧历史缓存图像,并对这多帧历史缓存图像进行多帧降噪处理,得到降噪图像。

在107中,根据降噪图像,响应拍照指令。

比如,在得到降噪图像后,电子设备可以根据该降噪图像响应拍照指令。例如,电子设备可以将该降噪图像作为在目标场景下拍照得到的图像显示在相机应用的界面上供用户查看。

例如,用户打开相应应用,并将摄像头对准场景a,则电子设备可以使能图像传感器并使其工作在第一工作模式下。此时,电子设备可以开始快速地获取到raw图像包。电子设备获取到第一个raw图像包后,可以对该raw图像包进行解包处理,得到至少两帧raw图像,并对这至少两帧raw图像进行合成处理,从而得到具有高动态范围的raw合成图像。之后,电子设备可以获取其运行参数值,该运行参数值可以用于表示该电子设备当前计算能力的强弱。并且,电子设备可以根据该运行参数值,确定在场景a下是将raw合成图像存入预设图像缓存队列,还是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列。例如,电子设备确定出在场景a下将raw合成图像存入预设图像缓存队列中,则在场景a下获取到的raw图像包的raw合成图像都会存入预设图像缓存队列中。例如,在场景a下,电子设备获取到10个raw图像包,则关于这10个raw图像包的raw合成图像都将存入预设图像缓存队列中。当接收到对场景a进行拍照的指令时,电子设备可以从预设图像缓存队列中获取关于场景a的多帧历史raw合成图像,并对这多帧历史raw合成图像进行多帧降噪处理,得到降噪图像,并根据该降噪图像响应场景a下的拍照指令。

之后,例如用户移动了摄像头,将摄像头对准了场景b,那么电子设备也可以快速地获取到关于场景b的raw图像包。电子设备获取到场景b下的第一个raw图像包后,可以对该raw图像包进行解包处理,得到至少两帧raw图像,并对这至少两帧raw图像进行合成处理,从而得到具有高动态范围的raw合成图像。之后,电子设备可以获取其运行参数值。并且,电子设备可以根据该运行参数值,确定在场景b下是将raw合成图像存入预设图像缓存队列,还是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列。例如,电子设备确定出在场景b下将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列中,则在场景b下获取到的yuv合成图像都会存入预设图像缓存队列中。例如,在场景b下,电子设备获取到15个raw图像包,则关于这15个raw图像包的yuv合成图像都将存入预设图像缓存队列中。当接收到对场景b进行拍照的指令时,电子设备可以从预设图像缓存队列中获取关于场景b的多帧历史yuv合成图像,并对这对阵历史yuv合成图像进行多帧降噪处理,得到降噪图像,并根据该降噪图像响应场景b下的拍照指令。

可以理解的是,本实施例中,电子设备可以先将具有不同曝光时间的raw图像进行合成,得到具有高动态范围的raw合成图像,并将raw合成图像或者raw合成图像转换得到的yuv合成图像存入预设图像缓存队列中。当拍照时,电子设备可以从该预设图像缓存队列中获取多帧具有高动态范围的图像进行多帧降噪,得到降噪图像,并根据该降噪图像响应拍照指令。因此,本实施例得到的拍照图像具有高动态范围效果且噪声较小,即本实施例可以提高图像的成像效果。

请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图,流程可以包括:

在201中,电子设备获取raw图像包,该raw图像包中包括依次曝光的第一raw图像和第二raw图像,该第一raw图像和该第二raw图像是在目标场景下获取的图像,且该第一raw图像的曝光时间长于该第二raw图像的曝光时间。

在202中,电子设备对raw图像包进行解包处理,得到第一raw图像和第二raw图像。

在203中,电子设备对第一raw图像和第二raw图像进行合成处理,得到具有高动态范围的raw合成图像。

比如,201、202和203可以包括:

当用户操作电子设备开启相机应用后,电子设备使能图像传感器,并使其工作在第一工作模式。若用户操作电子设备的摄像头对准某一场景(例如电子设备将该某一场景确定为目标场景),则电子设备将通过工作在第一工作模式的图像传感器持续获取到该目标场景下的raw图像包,该raw图像包中包括依次曝光的第一raw图像和第二raw图像。其中,该第一raw图像的曝光时间长于该第二raw图像。

之后,电子设备可以对获取到的raw图像包进行解包处理,从而得到第一raw图像和第二raw图像,并对该第一raw图像和第二raw图像进行合成处理,从而得到具有高动态范围的raw合成图像。

也就是说,每当获取到一个raw图像包,电子设备就可以对该raw图像包进行解包处理,从而得到其中包括的第一raw图像和第二raw图像。需要说明的是,本实施例中将各raw图像包中包括的曝光较长的raw图像记为第一raw图像,将其中包括的曝光时间较短的raw图像记为第二raw图像。

在204中,电子设备获取运行参数值,该运行参数值用于表示该电子设备的计算能力。

比如,在得到目标场景a下的第一个raw合成图像后,电子设备可以获取其运行参数值,其中,该运行参数值可以是用于表示电子设备的计算能力的参数的数值。

在一种实施方式中,204中电子设备获取运行参数值,该运行参数值用于表示该电子设备的计算能力的流程,可以包括:

电子设备获取剩余运行内存容量与运行内存总容量的比值,该比值用于表示该电子设备的计算能力。

比如,当需要确定电子设备的计算能力时,电子设备可以获取其剩余运行内存容量与运行内存总容量的比值,并将该比值作为电子设备的计算能力。其中,该比值越大可以表示电子设备的计算能力越强。

例如,电子设备获取到其剩余运行内存容量为3gb,而其运行内存总容量为4gb,则剩余运行内存容量与运行内存总容量的比值为75%。例如,电子设备可以预先设置一预设阈值40%。当剩余运行内存容量与运行内存总容量的比值大于该预设阈值40%时,可以认为电子设备当前的计算能力强。当剩余运行内存容量与运行内存总容量的比值小于或等于该预设阈值40%时,可以认为电子设备当前的计算能力弱。

在205中,若运行参数值表示电子设备的计算能力高于预设阈值,则电子设备确定出在目标场景下将raw合成图像存入预设图像缓存队列;若运行参数值表示电子设备的计算能力不高于预设阈值,则电子设备确定出在目标场景下将raw合成图像转换为yuv合成图像后存入预设图像缓存队列。

比如,在获取到电子设备的运行参数值之后,该电子设备可以根据该运行参数值,来确定在目标场景下是将raw合成图像存入预设图像缓存队列中,或者是将该raw合成图像转换为yuv合成图像后再存入该预设图像缓存队列中。

例如,本实施例中,若运行参数值表示电子设备的计算能力高于预设阈值,则电子设备可以确定出在目标场景下将raw合成图像存入预设图像缓存队列。若运行参数值表示电子设备的计算能力不高于预设阈值,则电子设备可以确定出在目标场景下将将raw合成图像转换为yuv合成图像后存入预设图像缓存队列。

在一种实施方式中,预设图像缓存队列可以为定长队列。例如,预设图像缓存队列可以缓存30帧图像。即,预设图像缓存队列可以缓存最近获取到的30帧图像。比如,按照存入预设图像缓存队列的时间先后顺序,预设图像缓存队列中缓存了第1帧图像,第2帧图像,……,第30帧图像。那么,当缓存第31帧图像时,预设图像缓存队列可以将其中包括的最早存入的第1帧图像清除,再将第31帧图像存入该预设图像缓存队列。

在206中,当接收到拍照指令时,电子设备根据运行参数值确定目标数量,该目标数量大于或等于2。

在207中,电子设备从预设图像缓存队列中获取目标数量的历史缓存图像,该历史缓存图像为目标场景的图像。

比如,206和207可以包括:

在将raw合成图像或者yuv合成图像存入预设图像缓存队列之后,当接收到对目标场景进行拍照的拍照指令时,电子设备可以根据204中获取的运行参数值来确定一目标数量。其中,该目标数量的数值可以大于或等于2。

在确定出目标数量后,电子设备可以从该预设图像缓存队列中获取关于该目标场景的多帧历史缓存图像。

例如,电子设备根据运行参数值确定出目标数量为4,则该电子设备可以从预设图像缓存队列中获取关于目标场景的4帧历史缓存图像。

在一种实施方式中,电子设备可以预先设置至少两个数值,例如为4和2。其中,当运行参数值表示电子设备的计算能力高于预设阈值时,电子设备可以将数值4确定为目标数量。当运行参数值表示电子设备的计算能力不高于预设阈值时,电子设备可以将数值2确定为目标数量,等等。

例如,电子设备可以预先设置三个数值,例如为4、3和2。其中,当剩余运行内存容量与运行内存总容量的比值处于[75%,100%]时,电子设备可以将数值4确定为目标数量。当剩余运行内存容量与运行内存总容量的比值处于[40%,75%)时,电子设备可以将数值3确定为目标数量。当剩余运行内存容量与运行内存总容量的比值低于40%时,电子设备可以将数值2确定为目标数量。

在208中,电子设备对多帧历史缓存图像进行多帧降噪处理,得到降噪图像。

比如,在获取到关于目标场景的多帧历史缓存图像后,电子设备可以对这多帧历史缓存图像进行多帧降噪处理,从而得到降噪图像。

下面以图像p1、p2、p3、p4为例说明多帧降噪。例如,在对图像p1、图像p2、图像p3和图像p4进行多帧降噪处理时,电子设备可以从图像p1、图像p2、图像p3和图像p4中确定出一帧基础帧,例如将图像p1确定为基础帧,然后电子设备可以将图像p1、图像p2、图像p3和图像p4进行图像对齐。之后,电子设备可以基于对齐后的各图像,计算得到各像素点的平均像素值,比如,某位置的像素点在四帧图像p1、p2、p3、p4中的像素值依次为:101,102,103,102,则可计算得到该位置的像素点的平均像素值为102。那么,电子设备可以将该位置的像素点的像素值确定为102,将基础帧图像p1在该位置的像素值由101改为102。同理,将基础帧图像p1中各位置的像素值改为对应的平均像素值后即可以得到降噪图像。

在209中,电子设备对降噪图像进行图像优化处理,得到处理后的图像。

在210中,电子设备根据处理后的图像响应拍照指令,以将该处理后的图像作为拍照得到的图像进行展示。

比如,209和210可以包括:

在得到降噪图像后,电子设备可以对该降噪图像进行诸如图像锐化等优化处理,得到处理后的图像。之后,电子设备可以根据处理后的图像响应拍照指令,以将该处理后的图像作为拍照得到的图像进行展示。

在一种实施方式中,在203之后,即电子设备得到具有高动态范围的raw合成图像后,可以对该raw合成图像进行诸如yuv格式转换、图像锐化、图像降噪等美化处理,从而得到美化处理后的图像。该美化处理后的图像可以用于预览或录像。

例如,在得到raw合成图像后,电子设备可以获取显示屏的分辨率,并根据该分辨率对该raw合成图像进行降采样处理,降采样处理后的图像再经过诸如yuv格式转换、图像锐化、图像降噪等美化处理后用于预览。

又如,在得到raw合成图像后,电子设备可以获取录像的视频分辨率,并根据该录像的视频分辨率对该raw合成图像进行降采样处理,降采样处理后的图像再经过诸如yuv格式转换、图像锐化、图像降噪等美化处理后用于作为录像对应的视频中的一帧保存起来。

例如,录像的视频分辨率可由用户预先设置,包括但不限于1080p、2k以及4k等。比如,录像的视频分辨率被用户预先设置为2k,则电子设备在合成得到raw合成图像(比如分辨率为4k)之后,可以对该raw合成图像进行降采样处理,得到2k分辨率的高动态范围图像。

请参阅图4至图6,图4至图6为本申请实施例提供的图像处理方法的场景示意图。

比如,用户打开相机应用,此时电子设备进入相机的预览界面。电子设备可以使能图像传感器,并使该图像传感器工作在第一工作模式。在该第一工作模式下,图像传感器将在一帧图像的时间内依次产生两帧曝光时间不同的raw图像,并以raw图像包的形式输出。

例如,如图4所示,用户将摄像头对准场景a,场景a中包括一个人物,则电子设备可以开始快速地获取到关于该场景a的raw图像包。电子设备获取到第一个raw图像包后,可以对该raw图像包进行解包处理,得到两帧raw图像,并对这两帧raw图像进行合成处理,从而得到具有高动态范围的raw合成图像。

之后,电子设备可以获取其运行参数值,该运行参数值可以用于表示该电子设备当前计算能力的强弱。并且,电子设备可以根据该运行参数值,确定在场景a下是将raw合成图像存入预设图像缓存队列,还是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列。例如,电子设备当前的计算能力较强,则可以确定出在场景a下将raw合成图像存入预设图像缓存队列中,则在场景a下获取到的raw图像包的raw合成图像都会存入预设图像缓存队列中。例如,在场景a下,电子设备获取到10个raw图像包,则关于这10个raw图像包的raw合成图像都将存入预设图像缓存队列中。

在处于相机应用的预览界面时,每当电子设备获取一帧raw合成图像,电子设备可以在对该raw合成图像进行诸如yuv格式转换、图像锐化和降噪等处理后,显示在预览界面上供用户预览。

在预览之后,例如用户按下拍照按钮,如图4所示,则电子设备可以接收到对场景a进行拍照的指令。此时,电子设备可以从预设图像缓存队列中获取关于场景a的4帧历史raw合成图像,并对这4帧历史raw合成图像进行多帧降噪处理,得到降噪图像。例如,如图5所示,电子设备从预设图像缓存队列中获取的4帧关于场景a的raw合成图像分别为p1、p2、p3、p4。电子设备可以将图像p1确定为基础帧,再利用图像p2、p3、p4对p1进行多帧降噪。电子设备可以将图像p1、图像p2、图像p3和图像p4进行图像对齐。之后,电子设备可以基于对齐后的各图像,计算得到各像素点的平均像素值,比如,l位置的像素点在四帧图像p1、p2、p3、p4中的像素值依次为:101,102,103,102,则可计算得到该位置的像素点的平均像素值为102。那么,电子设备可以将该位置的像素点的像素值确定为102,将基础帧图像p1在该l位置的像素值由101改为102。同理,将基础帧图像p1中各位置的像素值改为对应的平均像素值后即可以得到降噪图像。

在得到降噪图像后,电子设备可以对该降噪图像进行图像锐化等处理,得到美化处理后的降噪图像。之后,电子设备可以将该美化处理后的降噪图像发送至jpeg编码器,经jpeg编码器处理后输出至相机应用界面进行显示,以供用户查看拍照得到图像。

又如,之后用户又将摄像头对准了场景b,场景b中包括两个人物,如图6所示,则电子设备可以开始快速地获取到关于该场景b的raw图像包。电子设备获取到场景b下的第一个raw图像包后,可以对该raw图像包进行解包处理,得到两帧raw图像,并对这两帧raw图像进行合成处理,从而得到具有高动态范围的raw合成图像。

之后,电子设备可以获取其运行参数值,该运行参数值可以用于表示该电子设备当前计算能力的强弱。并且,电子设备可以根据该运行参数值,确定在场景b下是将raw合成图像存入预设图像缓存队列,还是将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列。例如,电子设备当前的计算能力较弱,则可以确定出在场景b下将raw合成图像转换为yuv合成图像后再存入预设图像缓存队列中,则在场景b下获取到的由raw图像包得到的raw合成图像都会在转换为yuv格式的yuv合成图像后存入预设图像缓存队列中。例如,在场景b下,电子设备获取到15个raw图像包,则关于这15个raw图像包的yuv合成图像都将存入预设图像缓存队列中。

同样的,在处于相机应用的预览界面时,每当电子设备获取一帧关于场景b的raw合成图像,电子设备都可以在对该raw合成图像进行诸如yuv格式转换、图像锐化和降噪等处理后,显示在预览界面上供用户预览。

在预览之后,例如用户按下拍照按钮,如图6所示,则电子设备可以接收到对场景b进行拍照的指令。此时,电子设备可以从预设图像缓存队列中获取关于场景b的2帧历史yuv合成图像,并对这2帧历史yuv合成图像进行多帧降噪处理,得到降噪图像。例如,电子设备从预设图像缓存队列中获取的2帧关于场景b的yuv合成图像分别为p5和p6。电子设备可以对图像p5和p6进行多帧降噪,得到降噪图像。

在得到降噪图像后,电子设备可以对该降噪图像进行图像锐化等处理,得到美化处理后的降噪图像。之后,电子设备可以将该美化处理后的降噪图像发送至jpeg编码器,经jpeg编码器处理后输出至相机应用界面进行显示,以供用户查看拍照得到图像。

请参阅图7,图7为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括:第一获取模块301,解包模块302,合成模块303,第二获取模块304,缓存模块305,处理模块306,响应模块307。

第一获取模块301,用于获取raw图像包,所述raw图像包中包括至少两帧raw图像,所述至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间。

解包模块302,用于对所述raw图像包进行解包处理,得到所述至少两帧raw图像。

合成模块303,用于对所述至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像。

第二获取模块304,用于获取电子设备的运行参数值,所述运行参数值用于表示所述电子设备的计算能力。

缓存模块305,用于根据所述运行参数值,确定在所述目标场景下将所述raw合成图像存入预设图像缓存队列,或是将所述raw合成图像转换为yuv合成图像后存入预设图像缓存队列。

处理模块306,用于当接收到拍照指令时,从所述预设图像缓存队列中获取目标场景的多帧历史缓存图像,并对所述多帧历史缓存图像进行多帧降噪处理,得到降噪图像。

响应模块307,用于根据所述降噪图像,响应所述拍照指令。

在一种实施方式中,缓存模块305可以用于:

若运行参数值表示所述电子设备的计算能力高于预设阈值,则确定出在所述目标场景下将所述raw合成图像存入预设图像缓存队列;

若运行参数值表示所述电子设备的计算能力不高于预设阈值,则确定出在所述目标场景下将将所述raw合成图像转换为yuv合成图像后存入所述预设图像缓存队列。

在一种实施方式中,所述第二获取模块304可以用于:

获取电子设备的剩余运行内存容量与运行内存总容量的比值,所述比值用于表示所述电子设备的计算能力。

在一种实施方式中,所述响应模块307可以用于:

对所述降噪图像进行图像优化处理,得到处理后的图像;

根据所述处理后的图像响应所述拍照指令,以将所述处理后的图像作为拍照得到的图像进行展示。

在一种实施方式中,所述第一获取模块301可以用于:获取raw图像包,所述raw图像包中包括依次曝光的第一raw图像和第二raw图像,所述第一raw图像和所述第二raw图像是在目标场景下获取的图像,且所述第一raw图像的曝光时间长于所述第二raw图像的曝光时间。

那么,所述解包模块302可以用于:对所述raw图像包进行解包处理,得到所述第一raw图像和所述第二raw图像。

所述合成模块303可以用于:对所述第一raw图像和所述第二raw图像进行合成处理,得到具有高动态范围的raw合成图像。

在一种实施方式中,所述处理模块306可以用于:

当接收到拍照指令时,根据所述运行参数值确定目标数量,所述目标数量大于或等于2;

从所述预设图像缓存队列中获取所述目标数量的历史缓存图像,所述历史缓存图像为所述目标场景的图像。

在一种实施方式中,所述预设图像缓存队列为定长队列。

本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。

本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。

例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图8,图8为本申请实施例提供的电子设备的结构示意图。

该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

摄像模组401可以包括透镜和图像传感器,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即raw图像数据。raw是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。电子设备的摄像模组的图像传感器可以具有第一工作模式和第二工作模式。

存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。

处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。

在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:

获取raw图像包,所述raw图像包中包括至少两帧raw图像,所述至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间;

对所述raw图像包进行解包处理,得到所述至少两帧raw图像;

对所述至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像;

获取电子设备的运行参数值,所述运行参数值用于表示所述电子设备的计算能力;

根据所述运行参数值,确定在所述目标场景下将所述raw合成图像存入预设图像缓存队列,或是将所述raw合成图像转换为yuv合成图像后存入预设图像缓存队列;

当接收到拍照指令时,从所述预设图像缓存队列中获取目标场景的多帧历史缓存图像,并对所述多帧历史缓存图像进行多帧降噪处理,得到降噪图像;

根据所述降噪图像,响应所述拍照指令。

请参阅图9,电子设备500可以包括摄像模组501、存储器502、处理器503、触摸显示屏504、扬声器505、麦克风506等部件。

摄像模组501可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(imagesignalprocessing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(imagesignalprocessor,isp处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。

图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。

图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。

图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。

控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及isp控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵等。

请参阅图10,图10为本实施例中图像处理电路的结构示意图。如图10所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。

例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。

摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。

此外,图中没有展示的,电子设备还可以包括cpu和供电模块。cpu和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,cpu用于实现全局控制。供电模块用于为各个模块供电。

存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。

处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。

触摸显示屏504可以用于接收用户对电子设备的触摸控制操作。扬声器505可以播放声音信号。麦克风506可以用于拾取声音信号。

在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:

获取raw图像包,所述raw图像包中包括至少两帧raw图像,所述至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间;

对所述raw图像包进行解包处理,得到所述至少两帧raw图像;

对所述至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像;

获取电子设备的运行参数值,所述运行参数值用于表示所述电子设备的计算能力;

根据所述运行参数值,确定在所述目标场景下将所述raw合成图像存入预设图像缓存队列,或是将所述raw合成图像转换为yuv合成图像后存入预设图像缓存队列;

当接收到拍照指令时,从所述预设图像缓存队列中获取目标场景的多帧历史缓存图像,并对所述多帧历史缓存图像进行多帧降噪处理,得到降噪图像;

根据所述降噪图像,响应所述拍照指令。

在一种实施方式中,处理器503执行根据所述运行参数值,确定在所述目标场景下将所述raw合成图像存入预设图像缓存队列,或是将所述raw合成图像转换为yuv合成图像后存入预设图像缓存队列时,可以执行:若运行参数值表示所述电子设备的计算能力高于预设阈值,则确定出在所述目标场景下将所述raw合成图像存入预设图像缓存队列;若运行参数值表示所述电子设备的计算能力不高于预设阈值,则确定出在所述目标场景下将将所述raw合成图像转换为yuv合成图像后存入所述预设图像缓存队列。

在一种实施方式中,处理器503执行所述获取电子设备的运行参数值,所述运行参数值用于表示所述电子设备的计算能力时,可以执行:获取电子设备的剩余运行内存容量与运行内存总容量的比值,所述比值用于表示所述电子设备的计算能力。

在一种实施方式中,处理器503执行根据所述降噪图像,响应所述拍照指令时,可以执行:对所述降噪图像进行图像优化处理,得到处理后的图像;根据所述处理后的图像响应所述拍照指令,以将所述处理后的图像作为拍照得到的图像进行展示。

在一种实施方式中,处理器503执行所述获取raw图像包,所述raw图像包中包括至少两帧raw图像,所述至少两帧raw图像是在目标场景下获取的图像且具有不同的曝光时间时,可以执行:获取raw图像包,所述raw图像包中包括依次曝光的第一raw图像和第二raw图像,所述第一raw图像和所述第二raw图像是在目标场景下获取的图像,且所述第一raw图像的曝光时间长于所述第二raw图像的曝光时间。

那么,处理器503执行对所述raw图像包进行解包处理,得到所述至少两帧raw图像时,可以执行:对所述raw图像包进行解包处理,得到所述第一raw图像和所述第二raw图像。

处理器503执行对所述至少两帧raw图像进行合成处理,得到具有高动态范围的raw合成图像时,可以执行:对所述第一raw图像和所述第二raw图像进行合成处理,得到具有高动态范围的raw合成图像。

在一种实施方式中,处理器503执行所述当接收到拍照指令时,从所述预设图像缓存队列中获取目标场景的多帧历史缓存的图像时,可以执行:当接收到拍照指令时,根据所述运行参数值确定目标数量,所述目标数量大于或等于2;从所述预设图像缓存队列中获取所述目标数量的历史缓存图像,所述历史缓存图像为所述目标场景的图像。

在一种实施方式中,所述预设图像缓存队列为定长队列。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。

本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。

需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)等。

对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。

以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1