本发明涉及计算机技术领域,特别是涉及图像去雾方法、装置、计算机可存储介质和移动终端。
背景技术:
随着移动终端的普及应用,如智能手机、平板电脑等移动终端在生活中已不可或缺,移动终端附件的各种功能也越来越受大家的关注。在日常生活中,随着移动终端照相功能的普及,使用移动终端进行图片处理的需求也日益增加,也各种图像处理软件也开始涌现。在雾、霾等天气条件下,大气中的悬浮物质使得能见度降低,影响到在此类天气条件下所拍摄的照片的图像质量。为此,提出图像去雾技术,以去除上述雾、霾等天气因素对拍出的图像质量的影响,增强图像中的物体的视见度。
传统的去雾技术没有与移动终端的相机有效结合,多数是通过算法进行图像采集后处理实现,缺乏实时性。同时,采用的去雾算法包含的预设参数的值是固定的,在拍照过程中,无论天气的雾霾程度如何,最终拍出的照片中的物体具有固定的视见度,用户体验度低。
技术实现要素:
本发明实施例提供一种图像去雾方法、装置、计算机可存储介质和移动终端,可以自动切换拍照模式,能够对预览图像进行自适应去雾处理,增强了去雾效果,提高了用户体验度。
一种图像去雾方法,包括:
进入默认拍照预览模式并显示第一预览图像;
获取所述第一预览图像所在地区当前的能见度信息;
当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;
在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;
响应于拍照指令,将所述第二预览图像生成图像文件。
上述图像去雾方法,通过获取默认拍照预览模式下的第一预览图像所在地区当前的能见度信息,当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;响应于拍照指令,将所述第二预览图像生成图像文件。上述方法能够根据能见度信息自动切换拍照模式,同时能够对预览图像进行自适应去雾处理,增强了去雾效果,提高了用户体验度。
本发明实施例还提供一种图像去雾装置,包括:
显示模块,用于进入默认拍照预览模式时显示第一预览图像;
获取模块,获取所述第一预览图像所在地区当前的能见度信息;
切换模块,当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;
去雾模块,在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;以及
生成模块,响应于拍照指令,将所述第二预览图像生成图像文件。
本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现图像去雾方法。
一种移动终端,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现图像去雾方法。
附图说明
图1为一个实施例中图像去雾方法的流程图;
图2为一个实施例中根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像的流程图;
图3为一个实施例中在对第一预览图像进行相应等级的去雾处理以获取第二预览图像的流程图;
图4为一个实施例中图像去雾装置的内部框架图;
图5为一个实施例中去雾模块的内部框架图;
图6为一个实施例中计算机可读存储介质上存储的计算机程序(指令)被处理器执行时实现的步骤的流程图;
图7为一个实施例中图像处理电路的示意图;
图8为一个实施例中终端处理器执行计算机程序时实现的步骤的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种图像去雾方法,图1为一个实施例中图像去雾方法的流程图。
一种图像去雾方法,包括以下步骤:
步骤102:进入默认拍照预览模式显示第一预览图像。
需要说明的是,本发明实施例提供的一种图像去雾方法是在移动终端上进行拍照的场景下实现的。当用户想要拍照时便启动移动终端的成像设备,当用户想要拍照时便启动终端的成像装置,该成像装置可以是前置摄像头、后置摄像头、双摄像头等。启动移动终端的成像设备,使其进入默认拍照模式,并将被拍摄的物体显示在移动终端的显示窗口,并将此时显示窗口所显示的图像定义为第一预览图像。
其中,成像设备硬件上一般包括五个部分:外壳(马达)、镜头、红外滤光片、图像传感器(例如ccd或coms)和挠性印刷电路板(fpcb)等。在默认拍照预览模式下,显示第一预览图像的过程中,镜头在马达的驱动下移动,被拍摄的物体经过镜头在图像传感器上成像。图像传感器通过光-电转换将光信号转换为电信号输给图像处理电路进行后续处理。其中,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。
步骤104:获取所述第一预览图像所在地区的能见度信息。
具体地,通过内置在移动终端的天气预报插件,联网获取天气预报插件提供的移动终端所在地区当时的天气信息。其中,天气信息包括天气预报(雨、雾、雪、大雾预警等)、空气质量(空气质量指数、雾霾预警)以及能见度信息等。
可选的,能见度信息还可以通过访问相应的应用服务器上获取,例如访问当地为气象台、气象站、航天航空等应用服务器,获取当地当时的能见度信息等。
能见度,是反映大气透明度的一个指标,航空界定义为具有正常视力的人在当时的天气条件下还能够看清楚目标轮廓的最大距离。能见度和当时的天气情况密切相关,当出现降雨、雾、霾、烟、雪、沙尘暴等天气过程时,大气透明度较低,因此能见度较差。能见度信息可以理解为能见度距离,能见度距离在5-15公里之间,其能见度较差,视野较不清晰;能见度距离在1-10公里之间的称为轻雾,其能见度差,视野不清晰。能见度距离低于1公里的称之雾。当能见度小于1000米时,表明空中存在雾、霾、烟等,其能见度极差,视野非常不清晰。例如:大雾预警信号分三级,分别以黄色、橙色、红色表示,大雾红色预警信号是大雾预警信号中的最高级别。能见度距离200-500米之间的称为大雾(大雾黄色预警);能见度距离50-200米之间的称之为浓雾(大雾橙色预警);能见度不足50米的称之为强浓雾(大雾红色预警)。
步骤106:当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式。
如上述所述,当能见度信息低于一定数值时,其视野非常不清楚,若此时还是用默认拍照模式获取被拍摄物体,所拍摄物体所呈现的图像会不清楚。在本发明实施例中,当能见度信息低于预设值时,直接将默认拍照预览模式自动切换为去雾拍照预览模式。采用去雾拍照预览模式来显示被拍摄物体,能够将第一预览图像中的雾霾层提取出来,并将雾霾层从第一预览图像中分离和剔除出去,获取清晰的预览图像。切换为去雾拍照预览模式后,用户最终显示的图像是经过相应的去雾处理后的图像。
可选的,在去雾拍照预览模式的显示窗口,用户可以通过一功能按键来切换去雾拍照预览模式的开启或关闭,也即通过一功能按键在默认拍照预览模式和去雾拍照预览模式之间进行切换。当用户就想拍摄带有薄雾的具有朦胧美的图像时,可以关闭去雾拍照预览模式,直接用默认拍照预览模式来进行拍摄。
步骤108:在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像。
在所述去雾拍照预览模式下,根据所在地区实时获取的能见度信息。具体地,能见度信息为一个具体的数值,而不同的能见度信息对应不同浓度的雾霾天气。其能见度越小,空气中的雾霾浓度就越大,在去雾处理的过程中去雾等级也就相应的越高。去雾等级越高,其除雾能力也就越强。根据当前获取的能见度信息对第一预览图像进行相应等级的去雾处理,去雾处理可以先计算第一预览图像的透射率图和获取相应的去雾等级,然后基于获取的投射率图和去雾等级,对第一预览图像进行去雾处理,最终得到的去雾处理之后的第二预览图像。
步骤110:响应于拍照指令,将所述第二预览图像生成图像文件。
拍照指令可以是用户输入的用于控制成像设备将物体的图像记录下来的指令,用户可以通过物理的或者虚拟的启动按键,来触发拍照指令,也即,可以通过按下相机快门、快捷键或触碰屏幕等,来触发拍照指令。当接收到拍照指令收,将去雾处理后的第二预览图像生成图像文件(如:bmp格式、jpeg格式等)保存下来。在生成图像文件的同时,还可以将与图像文件对应的图像显示在所述移动终端的屏幕上,以供用户查看。
上述图像去雾方法,通过获取默认拍照预览模式下的第一预览图像所在地区当前的能见度信息,当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;响应于拍照指令,将所述第二预览图像生成图像文件。上述方法能够根据能见度信息自动切换拍照模式,同时能够对预览图像进行自适应去雾处理,增强了去雾效果,提供了用户体验度。
在一个实施例中,所述根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像,具体包括:
步骤202:预设能见度信息与去雾等级的对应关系表。
能见度,是反映大气透明度的一个指标,其能见度越高(距离越大),视野越清晰;能见度越低(距离越小),视野越不清晰,雾霾(烟、沙尘暴等)浓度越高。相应地,若要经过去雾处理获取具有相同清晰度的图像,其原始图像雾霾浓度越高,其去雾等级也越高。根据大量数据统计,建立能见度距离与去雾等级之间的对应关系表,其能见度距离越短,其去雾等级越高,并将该对应关系表存储在移动终端。
步骤204:根据所述对应关系表,确定所述能见度信息所对应的所述去雾等级。
根据预设的对应关系表,确定所在地区当前的能见度信息所对应的去雾等级。
步骤206:根据所述去雾等级对所述第一预览图像进行去雾处理以获取第二预览图像。
根据从对应关系表中获取的去雾等级对第一预览图像进行去雾处理以获取无雾的第二预览图像。其中去雾处理的过程如下:
对于任意的输入图像j,其暗通道可以用下式表达:
式中jc(y)表示彩色图像的每个通道,ω(x)表示以像素x为中心的一个窗口。
对于第一预览图像中的每个像素点,求出每个像素rgb分量中的最小值,并生成一副和第一预览图像大小相同的灰度图,再对这幅灰度图进行最小值滤波,滤波的半径由窗口大小决定。根据统计学,可以推导出:
jdark(x)→0
在计算机视觉和计算机图形中,下述方程所描述的雾图形成模型被广泛使用:
i(x)=j(x)t(x)+a(1-t(x))
其中,i(x)为第一预览图像,j(x)为恢复后的无雾图像(第二预览图像),a为大气光强系数,t(x)为透射率。根据统计规律,可以取a=0.98,当然,也可以取其他值,对此本发明实施例不加以限定。
假设在每一个窗口内透射率t(x)为常数,定义为
其中,
根据获取的第一预览图像i(x)的透射率图之后,即可根据如下公式复原出第二预览图像j(x):
为了避免是去雾处理后的图像向白场过度,所有去雾处理均以t0=0.1为标准计算。
在一个实施例中,执行步骤206后,还可以继续包括如下步骤:
步骤208:将所述去雾等级以调级控件的形式显示在所述去雾拍照预览模式的显示窗口。
切换为去雾拍照预览模式后,用户最终显示的图像是经过相应的去雾处理后的图像。切换为去雾拍照预览模式后,雾等级以调级控件的形式显示在去雾拍照预览模式的某一指定位置。调级控件可以为按键、滑动条等。以滑动条为例,去雾等级为4值,该滑动条中的可移动图标落在4所在的位置,并显示“4”的字符。其中,上述滑动条上的每一个指定位置均代表一种去雾等级
步骤210:接收用户的输入的指定去雾等级,根据所述指定去雾等级对所述第二预览图像进行去雾处理。
若用户觉得第二预览图像没有达到预期的去雾效果,则用户可以输入指定去雾等级。以滑动条为例,用户可以通过点击滑动条中的可移动图标,并沿着预设路径进行滑动,从而实现指定去雾等级的输入。用户每输入一个去雾等级,则在去雾拍照预览模式的显示窗口展示相应等级的去雾处理后的效果图。用户可以实时对比不同去雾等级的效果图,进而确定最理想的去雾效果图。
在一个实施例中,在对第一预览图像进行相应等级的去雾处理以获取第二预览图像,包括如下步骤:
步骤302:基于暗原色先验算法获取大气光强和原始透射率。
在影像中,雾污染对各波段的影响程度是不同的,若对rgb三个波段做相同程度的去雾处理,会使得绿波段和蓝波段上的雾无法完全去除,导致去雾后的影像会产生偏蓝问题。
根据暗原色先验算法,获取大气光强系数a和原始透射率t(x)。假设在每一个窗口内透射率t(x)为常数,定义为
步骤304:根据所述原始透射率分别获取rgb三原色每个波段的透射率。
根据大量实验数据的统计发现对于相同浓度的雾霾,对红绿蓝rgb三个波段的影响是逐步递增的。其中,红绿蓝rgb三个波段的透射率排序为:红波段透射率最高,绿波段次之,蓝波段最低。因此在去雾处理的过程中,对红绿蓝rgb三个波段的去雾处理强度也应该逐渐递增。同时,雾霾浓度越浓,雾霾对红绿蓝rgb三个波段的透射率影响差异也越大。
基于原始透射率,引入两个调节系数wg和wb。利用这两个系数,对红绿蓝rgb三波段进行不同去雾强度的去雾处理。
另,
其中,
步骤306:根据所述大气光强、rgb三原色每个波段的透射率分别对应对所述第一预览图像的rgb三原色进行相应程度的去雾处理。
根据上述获取的rgb三原色每个波段的透射率tr、tg、tb实现对红绿蓝rgb三个波段做不同程度的自适应去雾处理。上述方法既能够有效去除第一预览图像中的雾霾层,同时也能有效纠正原始暗原色先验方法去雾后图像偏蓝的问题,实现真实自然的色彩还原。
在一个实施例中,还包括对所述第二预览图像进行曝光度处理和自动色阶处理的步骤。
在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像之后,在对去雾处理后的第二预览图像进行曝光度处理和自动色阶处理以增强第第二预览图像的显示效果。通常,经去雾处理后获得的第二预览图像的亮度较暗,对第二预览图像进行后处理,在后处理过程中可以对过暗的第二预览图像增加曝光度和自动色阶,以得到更加完美呈现去雾图像的显示效果。
在一个实施例中,当所述能见度信息高于或等于预设值时,仍然使用所述默认拍照预览模式并显示第一预览图像。当能见度信息高于预设值时,说明能见度高、当前的天气晴朗,无雾霾,不需要切换至去雾拍照预览模式对第一预览图像进行去雾处理,可以以节省功耗,加快拍照运算效率。
本发明实施例还提供一种图像去雾装置,图4为一个实施例中对焦控制装置的结构示意图。
一种图像去雾装置,包括:
显示模块410,用于进入默认拍照预览模式时显示第一预览图像;
获取模块420,获取所述第一预览图像所在地区当前天气预报中的能见度信息;
切换模块430,当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;
去雾模块440,在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行去雾处理以获取第二预览图像;以及
生成模块450,响应于拍照指令,根据所述第二预览图像生成图像文件。
上述图像去雾装置,获取模块420在默认拍照预览模式下的第一预览图像所在地区当前的能见度信息,切换模块430在所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;去雾模块440在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;生成模块450响应于拍照指令,将所述第二预览图像生成图像文件。上述装置能够根据能见度信息自动切换拍照模式,同时能够对预览图像进行自适应去雾处理,增强了去雾效果,提高了用户体验度。
图5为一个实施例中去雾模块的内部框架图。在一个实施例中,所述去雾模块440,包括:
存储单元441,用于存储预设的能见度距离与去雾等级的对应关系表;
确定单元442,用于根据所述对应关系表,确定所述能见度信息对应的去雾等级;
去雾单元443,用于根据所述去雾等级对所述第一预览图像进行去雾处理以获取第二预览图像。
在一个实施例中,所述去雾模块440,还包括:
调级控件单元444,用于将所述去雾等级以调级控件的形式显示在所述去雾拍照预览模式的窗口;
接收单元445,用于接收用户的输入的指定去雾等级;其中,
所述去雾单元443还用于根据所述指定去雾等级对所述第二预览图像进行去雾处理。
在一个实施例中,去雾单元443的去雾处理过程如下:
对于任意的输入图像j,其暗通道可以用下式表达:
式中jc(y)表示彩色图像的每个通道,ω(x)表示以像素x为中心的一个窗口。
对于第一预览图像中的每个像素点,求出每个像素rgb分量中的最小值,并生成一副和第一预览图像大小相同的灰度图,再对这幅灰度图进行最小值滤波,滤波的半径由窗口大小决定。根据统计学,可以推导出:
jdark(x)→0
在计算机视觉和计算机图形中,下述方程所描述的雾图形成模型被广泛使用:
i(x)=j(x)t(x)+a(1-t(x))
其中,i(x)为第一预览图像,j(x)为恢复后的无雾图像(第二预览图像),a为大气光强系数,t(x)为透射率。根据统计规律,可以取a=0.98,当然,也可以取其他值,对此本发明实施例不加以限定。
假设在每一个窗口内透射率t(x)为常数,定义为
其中,
根据获取的第一预览图像i(x)的透射率图之后,即可根据如下公式复原出第二预览图像j(x):
为了避免是去雾处理后的图像向白场过度,所有去雾处理均以t0=0.1为标准计算。
在一个实施例中,去雾单元443基于原始透射率,引入两个调节系数wg和wb。利用这两个系数,对红绿蓝rgb三波段进行不同去雾强度的去雾处理。
另,
其中,
上述图像去雾装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像去雾装置按照需要划分为不同的模块,以完成上述图像去雾装置的全部或部分功能。
本发明实施例还提供了一种计算机可读存储介质。图6为一个实施例中计算机可读存储介质上存储的计算机程序被处理器执行时实现的步骤的流程图。如图6所示,一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现以下步骤:
步骤602:进入默认拍照预览模式显示第一预览图像。
需要说明的是,本发明实施例提供的一种图像去雾方法是在移动终端上进行拍照的场景下实现的。当用户想要拍照时便启动移动终端的成像设备,当用户想要拍照时便启动终端的成像装置,该成像装置可以是前置摄像头、后置摄像头、双摄像头等。启动移动终端的成像设备,使其进入默认拍照模式,并将被拍摄的物体显示在移动终端的显示窗口,并将此时显示窗口所显示的图像定义为第一预览图像。
其中,成像设备硬件上一般包括五个部分:外壳(马达)、镜头、红外滤光片、图像传感器(例如ccd或coms)和柔性印刷电路板(fpcb)等。在默认拍照预览模式下,显示第一预览图像的过程中,镜头在马达的驱动下移动,被拍摄的物体经过镜头在图像传感器上成像。图像传感器通过光-电转换将光信号转换为电信号输给图像处理电路进行后续处理。其中,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。
步骤604:获取所述第一预览图像所在地区的能见度信息。
具体地,通过内置在移动终端的天气预报插件,联网获取天气预报插件提供的移动终端所在地区当时的天气信息。其中,天气信息包括天气预报(雨、雾、雪、大雾预警等)、空气质量(空气质量指数、雾霾预警)以及能见度信息等。
可选的,能见度信息还可以通过访问相应的应用服务器上获取,例如访问当地为气象台、气象站、航天航空等应用服务器,获取当地当时的能见度信息等。
能见度,是反映大气透明度的一个指标,航空界定义为具有正常视力的人在当时的天气条件下还能够看清楚目标轮廓的最大距离。能见度和当时的天气情况密切相关,当出现降雨、雾、霾、烟、雪、沙尘暴等天气过程时,大气透明度较低,因此能见度较差。能见度信息可以理解为能见度距离,能见度距离在5-15公里之间,其能见度较差,视野较不清晰;能见度距离在1-10公里之间的称为轻雾,其能见度差,视野不清晰。能见度距离低于1公里的称之雾。当能见度小于1000米时,表明空中存在雾、霾、烟等,其能见度极差,视野非常不清晰。例如:大雾预警信号分三级,分别以黄色、橙色、红色表示,大雾红色预警信号是大雾预警信号中的最高级别。能见度距离200-500米之间的称为大雾(大雾黄色预警);能见度距离50-200米之间的称之为浓雾(大雾橙色预警);能见度不足50米的称之为强浓雾(大雾红色预警)。
步骤606:当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式。
如上述所述,当能见度信息低于一定数值时,其视野非常不清楚,若此时还是用默认拍照模式获取被拍摄物体,所拍摄物体所呈现的图像会不清楚。在本发明实施例中,当能见度信息低于预设值时,直接将默认拍照预览模式自动切换为去雾拍照预览模式。采用去雾拍照预览模式来显示被拍摄物体,能够将第一预览图像中的雾霾层提取出来,并将雾霾层从第一预览图像中分离和剔除出去,获取清晰的预览图像。切换为去雾拍照预览模式后,用户最终显示的图像是经过相应的去雾处理后的图像。
可选的,在去雾拍照预览模式的显示窗口,用户可以通过一功能按键来切换去雾拍照预览模式的开启或关闭,也即通过一功能按键在默认拍照预览模式和去雾拍照预览模式之间进行切换。当用户就想拍摄带有薄雾的具有朦胧美的图像时,可以关闭去雾拍照预览模式,直接用默认拍照预览模式来进行拍摄。
步骤608:在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像。
在所述去雾拍照预览模式下,根据所在地区实时获取的能见度信息。具体地,能见度信息为一个具体的数值,而不同的能见度信息对应不同浓度的雾霾天气。其能见度越小,空气中的雾霾浓度就越大,在去雾处理的过程中去雾等级也就相应的越高。去雾等级越高,其除雾能力也就越强。根据当前获取的能见度信息对第一预览图像进行相应等级的去雾处理,去雾处理可以先计算第一预览图像的透射率图和获取相应的去雾等级,然后基于获取的投射率图和去雾等级,对第一预览图像进行去雾处理,最终得到的去雾处理之后的第二预览图像。
步骤610:响应于拍照指令,将所述第二预览图像生成图像文件。
拍照指令可以是用户输入的用于控制成像设备将物体的图像记录下来的指令,用户可以通过物理的或者虚拟的启动按键,来触发拍照指令,也即,可以通过按下相机快门、快捷键或触碰屏幕等,来触发拍照指令。当接收到拍照指令收,将去雾处理后的第二预览图像生成图像文件(如:bmp格式、jpeg格式等)保存下来。在生成图像文件的同时,还可以将与图像文件对应的图像显示在所述移动终端的屏幕上,以供用户查看。
上述计算机可读存储介质中计算机程序(指令)在被执行时,通过获取默认拍照预览模式下的第一预览图像所在地区当前的能见度信息,当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;响应于拍照指令,将所述第二预览图像生成图像文件。上述方法能够根据能见度信息自动切换拍照模式,同时能够对预览图像进行自适应去雾处理,增强了去雾效果,提供了用户体验度。
本发明实施例还提供一种移动终端。上述移动终端中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图7为一个实施例中图像处理电路的示意图。如图7所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图7所示,图像处理电路包括isp处理器740和控制逻辑器750。成像设备710捕捉的图像数据首先由isp处理器740处理,isp处理器740对图像数据进行分析以捕捉可用于确定和/或成像设备710的一个或多个控制参数的图像统计信息。成像设备710可包括具有一个或多个透镜712和图像传感器714的照相机。图像传感器714可包括色彩滤镜阵列(如bayer滤镜),图像传感器714可获取用图像传感器714的每个成像像素捕捉的光强度和波长信息,并提供可由isp处理器740处理的一组原始图像数据。传感器720可基于传感器720接口类型把原始图像数据提供给isp处理器740。传感器720接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口、或上述接口的组合。
isp处理器740按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp处理器740可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
isp处理器740还可从图像存储器730接收像素数据。例如,从传感器720接口将原始像素数据发送给图像存储器730,图像存储器730中的原始像素数据再提供给isp处理器740以供处理。图像存储器730可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。
当接收到来自传感器720接口或来自图像存储器730的原始图像数据时,isp处理器740可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给或图像存储器730,以便在被显示之前进行另外的处理。isp处理器740还可从图像存储器730接收处理数据,对上述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器780,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp处理器740的输出还可发送给图像存储器730,且显示器780可从图像存储器730读取图像数据。在一个实施例中,图像存储器730可被配置为实现一个或多个帧缓冲器。此外,isp处理器740的输出可发送给编码器/解码器770,以便编码/解码图像数据。编码的图像数据可被保存,并在显示与显示器780设备上之前解压缩。
isp处理后的图像数据可发送给去雾模块760,以便在被显示之前对图像进行去雾处理。去雾模块760对第一预览图像进行去雾处理可包括根据获取的能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像等。其中,去雾模块760可为移动终端中cpu(centralprocessingunit,中央处理器)或gpu(graphicsprocessingunit,图形处理器)等。去雾模块760将图像数据进行去雾处理后,可将去雾处理后的图像数据发送给编码器/解码器770,以便编码/解码图像数据。编码的图像数据可被保存,并在显示与显示器780设备上之前解压缩。可以理解的是,去雾模块760处理后的图像数据可以不经过编码器/解码器770,直接发给显示器780进行显示。isp处理器740处理后的图像数据还可以先经过编码器/解码器770处理,然后再经过去雾模块760进行处理。
isp处理器740确定的统计数据可发送给控制逻辑器750单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜712阴影校正等图像传感器714统计信息。控制逻辑器750可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备710的控制参数以及的控制参数。例如,控制参数可包括传感器720控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜712控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜712阴影校正参数。
以下为基于图7中图像处理技术,实现图像去雾方法的步骤:
步骤802:进入默认拍照预览模式显示第一预览图像。
需要说明的是,本发明实施例提供的一种图像去雾方法是在移动终端上进行拍照的场景下实现的。当用户想要拍照时便启动移动终端的成像设备,当用户想要拍照时便启动终端的成像装置,该成像装置可以是前置摄像头、后置摄像头、双摄像头等。启动移动终端的成像设备,使其进入默认拍照模式,并将被拍摄的物体显示在移动终端的显示窗口,并将此时显示窗口所显示的图像定义为第一预览图像。
其中,成像设备硬件上一般包括五个部分:外壳(马达)、镜头、红外滤光片、图像传感器(例如ccd或coms)和柔性印刷电路板(fpcb)等。在默认拍照预览模式下,显示第一预览图像的过程中,镜头在马达的驱动下移动,被拍摄的物体经过镜头在图像传感器上成像。图像传感器通过光-电转换将光信号转换为电信号输给图像处理电路进行后续处理。其中,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。
步骤804:获取所述第一预览图像所在地区的能见度信息。
具体地,通过内置在移动终端的天气预报插件,联网获取天气预报插件提供的移动终端所在地区当时的天气信息。其中,天气信息包括天气预报(雨、雾、雪、大雾预警等)、空气质量(空气质量指数、雾霾预警)以及能见度信息等。
可选的,能见度信息还可以通过访问相应的应用服务器上获取,例如访问当地为气象台、气象站、航天航空等应用服务器,获取当地当时的能见度信息等。
能见度,是反映大气透明度的一个指标,航空界定义为具有正常视力的人在当时的天气条件下还能够看清楚目标轮廓的最大距离。能见度和当时的天气情况密切相关,当出现降雨、雾、霾、烟、雪、沙尘暴等天气过程时,大气透明度较低,因此能见度较差。能见度信息可以理解为能见度距离,能见度距离在5-15公里之间,其能见度较差,视野较不清晰;能见度距离在1-10公里之间的称为轻雾,其能见度差,视野不清晰。能见度距离低于1公里的称之雾。当能见度小于1000米时,表明空中存在雾、霾、烟等,其能见度极差,视野非常不清晰。例如:大雾预警信号分三级,分别以黄色、橙色、红色表示,大雾红色预警信号是大雾预警信号中的最高级别。能见度距离200-500米之间的称为大雾(大雾黄色预警);能见度距离50-200米之间的称之为浓雾(大雾橙色预警);能见度不足50米的称之为强浓雾(大雾红色预警)。
步骤806:当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式。
如上述所述,当能见度信息低于一定数值时,其视野非常不清楚,若此时还是用默认拍照模式获取被拍摄物体,所拍摄物体所呈现的图像会不清楚。在本发明实施例中,当能见度信息低于预设值时,直接将默认拍照预览模式自动切换为去雾拍照预览模式。采用去雾拍照预览模式来显示被拍摄物体,能够将第一预览图像中的雾霾层提取出来,并将雾霾层从第一预览图像中分离和剔除出去,获取清晰的预览图像。切换为去雾拍照预览模式后,用户最终显示的图像是经过相应的去雾处理后的图像。
可选的,在去雾拍照预览模式的显示窗口,用户可以通过一功能按键来切换去雾拍照预览模式的开启或关闭,也即通过一功能按键在默认拍照预览模式和去雾拍照预览模式之间进行切换。当用户就想拍摄带有薄雾的具有朦胧美的图像时,可以关闭去雾拍照预览模式,直接用默认拍照预览模式来进行拍摄。
步骤808:在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像。
在所述去雾拍照预览模式下,根据所在地区实时获取的能见度信息。具体地,能见度信息为一个具体的数值,而不同的能见度信息对应不同浓度的雾霾天气。其能见度越小,空气中的雾霾浓度就越大,在去雾处理的过程中去雾等级也就相应的越高。去雾等级越高,其除雾能力也就越强。根据当前获取的能见度信息对第一预览图像进行相应等级的去雾处理,去雾处理可以先计算第一预览图像的透射率图和获取相应的去雾等级,然后基于获取的投射率图和去雾等级,对第一预览图像进行去雾处理,最终得到的去雾处理之后的第二预览图像。
步骤810:响应于拍照指令,将所述第二预览图像生成图像文件。
拍照指令可以是用户输入的用于控制成像设备将物体的图像记录下来的指令,用户可以通过物理的或者虚拟的启动按键,来触发拍照指令,也即,可以通过按下相机快门、快捷键或触碰屏幕等,来触发拍照指令。当接收到拍照指令收,将去雾处理后的第二预览图像生成图像文件(如:bmp格式、jpeg格式等)保存下来。在生成图像文件的同时,还可以将与图像文件对应的图像显示在所述移动终端的屏幕上,以供用户查看。
在处理器上运行的计算机程序的执行时,通过获取默认拍照预览模式下的第一预览图像所在地区当前的能见度信息,当所述能见度信息低于预设值时,所述默认拍照预览模式切换为去雾拍照预览模式;在所述去雾拍照预览模式下,根据所述能见度信息对所述第一预览图像进行相应等级的去雾处理以获取第二预览图像;响应于拍照指令,将所述第二预览图像生成图像文件。上述方法能够根据能见度信息自动切换拍照模式,同时能够对预览图像进行自适应去雾处理,增强了去雾效果,提供了用户体验度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。