图像处理方法和装置、电子设备、计算机可读存储介质与流程

文档序号:14774960发布日期:2018-06-23 02:54阅读:198来源:国知局
图像处理方法和装置、电子设备、计算机可读存储介质与流程

本申请涉及图像处理技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。



背景技术:

随着图像处理技术的发展,人们对拍出的照片的质量要求也在提高。当画面的明暗差别太大时,拍出的照片往往会出现过亮或者过暗的情况,从而影响照片的质量。为了解决拍出的照片过亮或者过暗的问题,需要采用HDR技术。传统的HDR(High-Dynamic Range高动态范围图像)拍照方式,通常是选择三帧不同曝光时间的图像,然后将三帧图像合并突出每帧最好的部分。

然而,传统的HDR拍照方式,只是将图像进行配准、去除运动区域后进行合成的,导致使用HDR拍照方式对人物进行拍照时,拍摄的图像效果不好。



技术实现要素:

本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质,可以解决拍摄的照片效果不好的问题。

一种图像处理方法,包括:

获取摄像头采集的曝光时间不同的至少两帧图像;

当所述至少两帧图像中存在肤色区域时,筛选出所述肤色区域中的肤色保护区域;

根据所述肤色保护区域,对所述图像进行局部色调映射。

一种图像处理装置,包括:

图像获取模块,用于获取摄像头采集的曝光时间不同的至少两帧图像;

区域筛选模块,用于当所述至少两帧图像中存在肤色区域时,筛选出所述肤色区域中的肤色保护区域;

色调映射模块,用于根据所述肤色保护区域,对所述图像进行局部色调映射。

一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本申请各个实施例中的图像处理方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本申请各个实施例中的图像处理方法的步骤。

上述图像处理方法和装置、电子设备、计算机可读存储介质,获取摄像头采集的曝光时间不同的至少两帧图像,当至少两帧图像中存在肤色区域时,筛选出肤色区域中的肤色保护区域,根据肤色保护区域,对图像进行局部色调映射。通过根据图像中的肤色保护区域对图像的进行色调映射,从而降低图像中颜色与实际物体之间的差异,进而避免拍摄的图像效果不好,提高图像颜色层次感,丰富不同亮暗区域细节纹理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中电子设备的架构示意图;

图2为一个实施例中图像处理方法的流程图;

图3为一个实施例中筛选肤色保护区域的方法流程图;

图4为一个实施例中将肤色区域的数据与肤色参考数据进行对比的方法流程图;

图5为一个实施例中对图像进行色调映射的示意图;

图6为另一个实施例中对图像进行色调映射的示意图;

图7为再一个实施例中对图像进行色调映射的示意图;

图8为一个实施例中对图像进行色调映射的方法流程图;

图9为一个实施例中图像处理装置的结构框图;

图10为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种电子设备的内部结构示意图。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器用于存储数据、程序、和/或指令代码等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现本申请各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统和计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等,用于与外部的电子设备进行通信,比如可用于同服务器进行通信。

本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种图像处理方法,以应用于上述电子设备来举例说明,如图2所示,该方法包括如下步骤:

步骤202,获取摄像头采集的曝光时间不同的至少两帧图像。

曝光时间是为了将光投射到照相感光材料的感光面上,快门所要打开的时间,在不同拍摄场景下,曝光时间是不相同的。具体的,电子设备可以通过HDR(High-Dynamic Range,高动态范围图像)拍摄方式采集曝光时间不同的至少两帧图像。

其中,高动态范围图像(High-Dynamic Range,HDR)是一种后期处理技术,根据不同的曝光时间的低动态范围图像(Low-Dynamic Range,LDR),利用每个曝光时间相对应的最佳细节的LDR图像来合成HDR图像。HDR拍照方式是对不同曝光时间的图像进行合成,不同曝光时间可以分为正常曝光时间、延长曝光时间以及缩短曝光时间。

通过高动态范围HDR拍摄方式采集的图像可以是分别在正常曝光时间、延长曝光时间以及缩短曝光时间各个时间段采集的图像。电子设备可以通过摄像头对各个曝光时间的图像进行采集,即电子设备可以获取通过高动态范围HDR拍摄方式采集的图像。

步骤204,当至少两帧图像中存在肤色区域时,筛选出肤色区域中的肤色保护区域。

肤色区域是指图像中存在人体肤色的区域。肤色保护区域可以是该肤色区域中肤色数据符合预设的肤色参考数据的区域。例如,肤色保护区域可为该图像的肤色区域中最接近预设的肤色参考数据的肤色区域。

电子设备可以对图像中的区域进行检测,电子设备还可以通过肤色模型检测图像中是否存在有肤色区域。其中,肤色模型是预先训练好的,用于检测图像中的肤色区域的模型。当电子设备检测到图像中存在肤色区域时,电子设备还可以对肤色区域进行划分,得到划分后的各个肤色区域,再筛选出各个肤色区域中最接近肤色参考数据的肤色区域。电子设备在筛选出肤色保护区域后,可以查找到肤色保护区域对应的帧图像,电子设备可以筛选出含有肤色保护区域的帧图像。

步骤206,根据肤色保护区域,对图像进行局部色调映射。

其中,色调映射(Tone Mapping)是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。色调映射可以分为全局色调映射和局部色调映射。全局色调映射是指对整幅图像都采用相同映射函数的方法,例如Gamma校正。局部色调映射是指色调映射算子与像素点位置相关的映射方式。局部色调映射因像素点所在位置不同,其映射后灰度值也可能不同,采用这种映射方式,像素点的映射结果会受到空间位置的影响。

电子设备筛选出肤色保护区域后,可以根据肤色保护区域对获取到的图像进行局部色调映射。进一步的,电子设备可以计算出肤色保护区域的平均亮度,电子设备可以使用log-average(平均数对数)亮度来作为图像场景的平均亮度,通过公式可以计算得到:其中,其中Lw(x,y)是像素点x,y的亮度,N是图像场景内的像素数,δ是一个很小的数,用来应对像素点纯黑的情况。电子设备还可以通过公式来映射亮度域,其中,a表示图像场景的亮度倾向,亮度倾向值可以是特定的值,例如,亮度倾向值可以是0.18、0.36、0.72、0.09、0.045等,其中,0.18是一个适中的亮度倾向值,0.36或者0.72相对偏亮,0.09甚至0.045则是偏暗。完成映射的图像场景为了满足电子设备能显示的范围还要将亮度范围再映射到[0,1]区间,可以通过公式得到[0,1]区间的亮度,其中,Ld是区间的亮度。采用局部色调映射时,电子设备可以对肤色保护区域以外的图像部分进行局部色调映射。

获取摄像头采集的曝光时间不同的至少两帧图像,当至少两帧图像中存在肤色区域时,筛选出肤色区域中的肤色保护区域,根据肤色保护区域,对图像进行局部色调映射。通过根据图像中的肤色保护区域对图像的进行色调映射,从而降低图像中颜色与实际物体之间的差异,进而避免拍摄的图像效果不好,提高图像颜色层次感,丰富不同亮暗区域细节纹理。

如图3所示,在一个实施例中,提供的一种图像处理方法还可以包括筛选肤色保护区域的过程,具体步骤包括:

步骤302,获取肤色参考数据。

肤色参考数据可以是预先设置好的,用于评判肤色的参考数据。肤色参考数据可以包括肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等。肤色参考数据中可以设置有肤色各个参数的参考参数值。例如,肤色的颜色深浅度的参数值为0.5,肤色明暗光泽度的参数值为0.7,肤色的饱和度参数值为0.5等。

预先设置好的肤色参考数据可以存储在服务器中,也可以存储在本地,电子设备可以从服务器中获取肤色参考数据,还可以从本地获取肤色参考数据。

步骤304,将肤色区域的数据与肤色参考数据进行比对。

肤色区域的数据也可以包括肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等。电子设备可以通过获取图像的方式获取到肤色区域的数据。电子设备还可以提取肤色区域中的肤色区域数据,在通过服务器或者本地获取肤色参考数据之后,电子设备还可以将图像中的肤色区域的数据与肤色参考数据进行一一比对,得到比对后的比对结果。

步骤306,将符合肤色参考数据的肤色区域作为肤色保护区域。

各个肤色区域的数据是不同的,电子设备可以将符合肤色参考数据的肤色区域作为肤色保护区域。肤色保护区域可以是一个肤色区域,还可以是多个肤色区域组合成的区域。

通过获取肤色参考数据,将肤色区域的数据与肤色参考数据进行比对,将符合肤色参考数据的肤色区域作为肤色保护区域。通过将肤色区域的数据与肤色参考数据进行对比,电子设备可以更加快速精确的筛选出肤色保护区域。

在一个实施例中,提供的一种图像处理方法还可以包括将肤色区域的数据与肤色参考数据进行对比的过程,如图4所示,具体步骤包括:

步骤402,将肤色区域进行划分得到多个子肤色区域。

电子设备可以对图像中的肤色区域进行划分,可以是随机划分,也可以是按照划分规则对肤色区域进行划分。划分规则可以是预先设置好的,可以对肤色区域进行平均划分。

电子设备对图像中的肤色区域进行划分后,可以得到多个不同的子肤色区域,各个子肤色区域的数据是不同的。

步骤404,计算各个子肤色区域的数据与肤色参考数据的相似度值。

电子设备可以根据划分得到的子肤色区域对子肤色区域的数据进行计算。子肤色区域的数据也可以包括肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等。电子设备可以将子肤色区域中肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等,一一与肤色参考数据中肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度进行相似度值的计算。计算完之后,电子设备可以得到各个子肤色区域的数据与肤色参考数据的相似度值。

步骤406,将相似度值最大的子肤色区域作为肤色保护区域。

子肤色区域的数据与肤色参考数据的相似度值越大,表明该子肤色区域的数据越接近肤色参考的数据。在得到各个子肤色区域的数据与肤色参考数据的相似度值之后,电子设备可以将相似度值最大的子肤色区域作为肤色保护区域。

通过将肤色区域进行划分得到多个子肤色区域,计算各个子肤色区域的数据与肤色参考数据的相似度值,将相似度值最大的子肤色区域作为肤色保护区域。电子设备可以通过对肤色区域进行划分,并计算各个子肤色区域的数据与肤色参考数据的相似度值,可以准确的找出子肤色区域中可以作为肤色保护区域的子肤色区域,提高了查找肤色保护区域的效率。

在一个实施例中,提供的一种图像处理方法还可以包括以肤色保护区域为中心对图像进行局部色调映射的过程,具体过程为:获取子肤色区域中心点与肤色保护区域中心点的中心点距离,根据中心点距离获取子肤色区域对应的色调映射权重,色调映射权重大小与中心点距离成反比,根据子肤色区域对应的色调映射权重对子肤色区域进行色调映射。

如图5所示,肤色区域500中可以包括肤色保护区域510以及各个子肤色区域。以子肤色区域520为例,电子设备可以识别出肤色保护区域510的中心点,电子设备还可以识别出子肤色区域520的中心点。

其中,中心点可以是肤色保护区域或者子肤色区域中的某一像素点。在识别出中心点之后,电子设备还可以获取肤色保护区域510中心点与子肤色区域520中心点之间的中心点距离。电子设备还可以根据中心点距离获取子肤色区域520对应的色调映射权重,色调映射权重的大小与中心距离成反比,即子肤色区域520距离肤色保护区域510越远,色调映射权重越小。

由于每个子肤色区域与肤色保护区域的距离都是不同的,因此,每个子肤色区域对应的色调映射权重也是不同的。电子设备可以根据每个子肤色区域对应的色调映射权重结合映射函数对每个子肤色区域进行对应的色调映射。

电子设备对每个子肤色区域进行对应的色调映射后,电子设备还可以对非肤色区域进行色调映射。具体的,电子设备对非肤色区域进行的色调映射可以是全局色调映射。电子设备还可以对非肤色区域进行划分,得到划分后的多个非肤色区域。电子设备还可以获取肤色保护区域中心点与划分后的非肤色区域中心点之间的中心点距离,再根据中心点距离获取对应的色调映射权重,色调映射权重的大小与中心距离成反比。电子设备可以根据每个非肤色区域对应的色调映射权重结合映射函数对每个非肤色区域进行对应的全局色调映射。

通过获取子肤色区域中心点与肤色保护区域中心点的中心点距离,根据中心点距离获取子肤色区域对应的色调映射权重,色调映射权重大小与中心距离成反比,根据子肤色区域对应的色调映射权重对子肤色区域进行色调映射。电子设备可以按照子肤色区域对应的色调映射权重对子肤色区域进行色调映射,由于每个子肤色区域的色调映射权重不同,所以电子设别对每个子肤色区域进行色调映射的权重大小不同,从而避免了图像中肤色区域颜色异常的问题。

在另一个实施例中,提供的一种图像处理方法还可以包括以肤色保护区域为中心对图像进行局部色调映射的过程,具体过程为:获取图像中各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重结合映射函数对图像中除肤色保护区域外的各像素点进行色调映射处理。

如图6所示,电子设备可以在查找出肤色保护区域后获取图像中个像素点与肤色保护区域的距离。图像中的像素点可以包括肤色区域的像素点620,还可以包括非肤色区域的像素点630。以肤色区域像素点620为例,电子设备可以获取肤色区域像素点620与肤色保护区域中心点610之间的距离,也可以获取肤色区域像素点620与肤色保护区域边缘612之间的距离,电子设备还可以根据距离从色调映射权重表中获取对应的色调映射权重。色调映射权重表可以是预先设置的,不同的距离可以对应有不同的色调映射权重,色调映射权重的大小可以与距离成反比。

在获取到色调映射权重之后,电子设备可以根据色调映射权重对图像的各个区域进行色调映射处理。距离肤色保护区域越近的地方,色调映射权重就越大,距离肤色保护区域越远的地方,色调映射权重就越小。电子设备还可以根据色调映射权重对图像中除肤色保护区域外的各像素点进行色调映射处理。

通过获取图像中各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对图像中除肤色保护区域外的各像素点进行色调映射处理。电子设备可以通过色调映射权重对除了肤色保护区域的图像中的其他像素点进行色调映射处理,从而可以丰富图像不同的亮暗区域细节纹理。

在再一个实施例中,提供的一种图像处理方法还可以包括以肤色保护区域为中心对图像进行局部色调映射的过程,具体过程为:获取肤色区域中除肤色保护区域外的各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对肤色区域中除肤色保护区域外的各像素点进行色调映射,对图像中除肤色区域外的其他区域按照色调映射权重为1进行色调映射。电子设备还可以计算出除肤色区域外的其他区域的平均亮度,再根据平均亮度对除肤色区域以外的其他区域进行色调映射。

如图7所示,肤色区域700可以包括肤色保护区域710与其他肤色区域720。电子设备可以获取其他肤色区域720的像素点与肤色保护区域710中心点之间的距离,电子设备还可以获取其他肤色区域720的像素点与肤色保护区域边缘712之间的距离。获取距离之后,电子设备还可以根据色调映射权重表获取距离对应的色调映射权重。色调映射权重表可以是预先设置的,不同的距离可以对应有不同的色调映射权重,色调映射权重的大小可以与距离成反比。

电子设备可以根据获取的距离在色调映射权重列表中查找对应的色调映射权重,距离值越大,对应的色调映射权重越小,距离值越小,对应的色调映射权重越大。电子设备可以根据色调映射权重对肤色区域中除肤色保护区域外的各像素点进行色调映射,即对于肤色区域中除肤色保护区域的其他肤色区域,电子设备可以根据距离对应的色调映射权重进行色调映射。电子设备还可以对图像中除了肤色区域以外的其他区域按照色调映射权重为1进行色调映射。

通过获取肤色区域中除肤色保护区域外的各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对肤色区域中除肤色保护区域外的各像素点进行色调映射,对图像中除肤色区域外的其他区域按照色调映射权重为1进行色调映射。由于电子设备在对图像进行色调映射时对图像中的不同内容采用的色调映射方式不同,从而可以避免肤色区域的肤色异常,还可以提高图像颜色的层次感,丰富不同的亮暗区域细节纹理。

如图8所示,在一个实施例中,提供的一种图像处理方法还可以包括以肤色保护区域为中心对图像进行局部色调映射的过程,具体步骤包括:

步骤802,获取肤色保护区域的照度数据。

其中,照度是一种物理术语,指单位面积上所接受可见光的光通量,照度可以用于指示光照的强弱和物体表面积被照明程度的量。照度数据可以用Ein表示。

每个肤色区域的照度数据可以不同,电子设备在查找到肤色保护区域后,可以进一步对肤色保护区域的照度数据进行计算和提取。

步骤804,计算出照度数据的最大值和最小值。

电子设备还可以对肤色保护区域照度数据的最大值和最小值进行计算。照度数据的最大值可以用Emax来表示,照度数据的最小值可以用Emin来表示。

步骤806,根据最大值和最小值使用指数映射压缩算法对图像进行局部色调映射。

指数映射压缩算法是一种用于实现色调映射并保证图像显示精度的算法。电子设备在对图像进行色调映射时,需要使用照度数据的最大值Emax和照度数据的最小值Emin。使用指数映射压缩算法进行局部色调映射的计算公式为:

其中,Ein为通过相机响应曲线标定后计算得到的照度数据,Emax以及Emin分别是照度数据的最大值和最小值,Eout是经过色调映射(Tone Mapping)压缩后的结果,gamma是参数,可以取值为0.5。电子设备可以根据上述指数映射压缩算法的计算公式对图像进行局部色调映射。

通过获取肤色保护区域的照度数据,计算出照度数据的最大值和最小值,根据最大值和最小值使用指数映射压缩算法对图像进行局部色调映射。通过指数映射压缩算法对图像进行局部色调映射,可以降低色调映射压缩后结果的误差。

在一个实施例中,提供的一种图像处理方法还可以包括融合图像并输出的过程,具体包括:获取进行局部色调映射后的至少两帧图像,根据至少两帧图像的色调映射权重,对至少两帧图像中的非肤色区域与肤色保护区域进行融合,得到融合后的非肤色区域图像,将非肤色区域图像与局部色调映射后的肤色区域进行融合,得到融合后的图像,输出融合后的图像。

电子设备可以获取到进行局部色调映射后的至少两帧图像。在对图像进行色调映射时,电子设备可以按照色调映射权重对图像进行色调映射,电子设备还可以按照色调映射权重对图像进行融合。其中,图像的融合可以根据图像中的内容划分为对肤色区域的融合以及对非肤色区域的融合。电子设备对肤色区域的融合可以根据肤色保护区域进行融合,电子设备对非肤色保护区域的融合可以按照色调映射的权重进行融合。在对肤色区域和非肤色区域分别进行融合后,电子设备还可以将融合后的肤色区域与融合后的非肤色区域进行融合,得到融合后的最终的图像。

例如,电子设备可以获取通过摄像头采集的曝光时间不同的两帧图像,可以用L1(x,y)表示第一帧图像中像素点x,y的高度,用L2(x,y)表示第二帧图像中像素点x,y的高度,可以用a表示用来控制场景的亮度倾向,用L(x,y)表示融合后的图像中像素点x,y的高度。那么,电子设备可以根据公式L(x,y)=a*L1(x,y)+(1-a)*L2(x,y),通过计算出融合后的各个像素点的高度来得到融合后的图像。

通过获取进行局部色调映射后的至少两帧图像,根据至少两帧图像的色调映射权重,对至少两帧图像中的非肤色区域进行融合,得到融合后的非肤色区域图像,将非肤色区域图像与局部色调映射后的肤色区域进行融合,得到融合后的图像,输出融合后的图像。由于对图像进行了色调映射和融合,可以降低图像中颜色与实际物体之间的差异,进而避免拍摄的图像效果不好,提高图像颜色层次感,丰富不同亮暗区域细节纹理。

在一个实施例中,提供了一种图像处理方法,实现该方法的具体步骤如下所述:

首先,电子设备可以获取摄像头采集的曝光时间不同的至少两帧图像。曝光时间是为了将光投射到照相感光材料的感光面上,快门所要打开的时间,在不同拍摄场景下,曝光时间是不相同的。具体的,电子设备可以通过HDR(High-Dynamic Range,高动态范围图像)拍摄方式采集曝光时间不同的至少两帧图像。其中,HDR拍照方式是对不同曝光时间的图像进行合成,不同曝光时间可以分为正常曝光时间、延长曝光时间以及缩短曝光时间。通过高动态范围HDR拍摄方式采集的图像可以是分别在正常曝光时间、延长曝光时间以及缩短曝光时间各个时间段采集的图像。电子设备可以通过摄像头对各个曝光时间的图像进行采集,即电子设备可以获取通过高动态范围HDR拍摄方式采集的图像。

接着,当至少两帧图像中存在肤色区域时,电子设备可以筛选出肤色区域中的肤色保护区域,肤色保护区域为肤色区域中肤色数据符合预设的肤色参考数据的区域。电子设备可以对图像中的区域进行检测,电子设备还可以通过肤色模型检测图像中是否存在有肤色区域。其中,肤色模型是预先训练好的,用于检测图像中的肤色区域的模型。当电子设备检测到图像中存在肤色区域时,电子设备还可以对肤色区域进行划分,得到划分后的各个肤色区域,再筛选出各个肤色区域中最接近肤色参考数据的肤色区域。

电子设备还可以获取肤色参考数据。肤色参考数据可以是预先设置好的,用于评判肤色的参考数据。肤色参考数据可以包括肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等。肤色参考数据中可以设置有肤色各个参数的参数值。例如,肤色的颜色深浅度的参数值为0.5,肤色明暗光泽度的参数值为0.7,肤色的饱和度参数值为0.5等。

电子设备还可以将肤色区域的数据与肤色参考数据进行比对。肤色区域的数据也可以包括肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等。电子设备可以通过获取图像的方式获取到肤色区域的数据。电子设备还可以提取肤色区域中的肤色区域数据,在通过服务器或者本地获取肤色参考数据之后,电子设备还可以将图像中的肤色区域的数据与肤色参考数据进行一一比对,得到比对后的比对结果。电子设备可以将肤色区域进行划分得到多个子肤色区域。电子设备对图像中的肤色区域进行划分后,可以得到多个不同的子肤色区域,各个子肤色区域的数据是不同的。电子设备可以计算各个子肤色区域的数据与肤色参考数据的相似度值。电子设备可以根据划分得到的子肤色区域对子肤色区域的数据进行计算。电子设备可以将子肤色区域中肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度等,一一与肤色参考数据中肤色的颜色深浅度、肤色的明暗光泽度以及肤色的饱和度进行相似度值的计算。计算完之后,电子设备可以得到各个子肤色区域的数据与肤色参考数据的相似度值。

电子设备还可以将相似度值最大的子肤色区域作为肤色保护区域。子肤色区域的数据与肤色参考数据的相似度值越大,表明该子肤色区域的数据越接近肤色参考的数据。在得到各个子肤色区域的数据与肤色参考数据的相似度值之后,电子设备可以将相似度值最大的子肤色区域作为肤色保护区域。

接着,电子设备还可以将符合肤色参考数据的肤色区域作为肤色保护区域。各个肤色区域的数据是不同的,电子设备可以将符合肤色参考数据的肤色区域作为肤色保护区域。肤色保护区域可以是一个肤色区域,还可以是多个肤色区域组合成的区域。

其次,电子设备还可以根据肤色保护区域对图像进行局部色调映射。电子设备筛选出肤色保护区域后,可以根据肤色保护区域对获取到的图像进行局部色调映射。采用局部色调映射时,电子设备可以对肤色保护区域以外的图像部分进行局部色调映射。

电子设备还可以获取子肤色区域中心点与肤色保护区域中心点的中心点距离,根据中心点距离获取子肤色区域对应的色调映射权重,色调映射权重大小与中心点距离成反比,根据子肤色区域对应的色调映射权重对子肤色区域进行色调映射。

电子设备还可以获取图像中各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对图像中除肤色保护区域外的各像素点进行色调映射处理。

电子设备还可以获取肤色区域中除肤色保护区域外的各像素点各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对肤色区域中除肤色保护区域外的各像素点进行色调映射,对图像中除肤色区域外的其他区域按照色调映射权重为1进行色调映射。

最后,电子设备可以获取肤色保护区域的照度数据。其中,照度是一种物理术语,指单位面积上所接受可见光的光通量,照度可以用于指示光照的强弱和物体表面积被照明程度的量。照度数据可以用Ein表示,照度数据可以是电子设备通过相机响应曲线标定后计算得到的。每个肤色区域的照度数据可以不同,电子设备在查找到肤色保护区域后,可以进一步对肤色保护区域的照度数据进行计算和提取。

电子设备可以计算出照度数据的最大值和最小值。电子设备还可以对肤色保护区域照度数据的最大值和最小值进行计算。照度数据的最大值可以用Emax来表示,照度数据的最小值可以用Emin来表示。电子设备可以根据最大值和最小值使用指数映射压缩算法对图像进行色调映射。

应该理解的是,虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述实施例中的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图9所示,在一个实施例中,提供了一种图像处理装置,该装置包括:

图像获取模块910,用于获取摄像头采集的曝光时间不同的至少两帧图像。

区域筛选模块920,用于当至少两帧图像中存在肤色区域时,筛选出肤色区域中的肤色保护区域。

色调映射模块930,用于根据肤色保护区域,对图像进行局部色调映射。

在一个实施例中,区域筛选模块920还可以用于获取肤色参考数据,将肤色区域的数据与肤色参考数据进行比对,将符合肤色参考数据的肤色区域作为肤色保护区域。

在一个实施例中,区域筛选模块920还可以用于将肤色区域进行划分得到多个子肤色区域,计算各个子肤色区域的数据与肤色参考数据的相似度值,将相似度值最大的子肤色区域作为肤色保护区域。

在一个实施例中,色调映射模块930还可以用于获取子肤色区域中心点与肤色保护区域中心点的中心点距离,根据中心点距离获取子肤色区域对应的色调映射权重,色调映射权重大小与中心点距离成反比,根据子肤色区域对应的色调映射权重对子肤色区域进行色调映射。

在另一个实施例中,色调映射模块930还可以用于获取图像中各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对图像中除肤色保护区域外的各像素点进行色调映射处理。

在再一个实施例中,色调映射模块930还可以用于获取肤色区域中除肤色保护区域外的各像素点各像素点与肤色保护区域中心点或边缘的距离,根据距离获取对应的色调映射权重,色调映射权重大小与距离成反比,根据色调映射权重对肤色区域中除肤色保护区域外的各像素点进行色调映射,对图像中除肤色区域外的其他区域按照色调映射权重为1进行色调映射。

在一个实施例中,色调映射模块930还可以用于获取肤色保护区域的照度数据,计算出照度数据的最大值和最小值,根据最大值和最小值使用指数映射压缩算法对图像进行局部色调映射。

在一个实施例中,色调映射模块930还可以用于获取进行局部色调映射后的至少两帧图像,根据至少两帧图像的色调映射权重,对至少两帧图像中的非肤色区域与肤色保护区域进行融合,得到融合后的非肤色区域图像,将非肤色区域图像与局部色调映射后的肤色区域进行融合,得到融合后的图像,输出融合后的图像。

上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图10为一个实施例中图像处理电路的示意图。如图10所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图10所示,图像处理电路包括ISP处理器1040和控制逻辑器1050。成像设备1010捕捉的图像数据首先由ISP处理器1040处理,ISP处理器1040对图像数据进行分析以捕捉可用于确定和/或成像设备1010的一个或多个控制参数的图像统计信息。成像设备1010可包括具有一个或多个透镜1012和图像传感器1014的照相机。图像传感器1014可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1014可获取用图像传感器1014的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1040处理的一组原始图像数据。传感器1020(如陀螺仪)可基于传感器1020接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1040。传感器1020接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器1014也可将原始图像数据发送给传感器1020,传感器1020可基于传感器1020接口类型把原始图像数据提供给ISP处理器1040,或者传感器1020将原始图像数据存储到图像存储器1030中。

ISP处理器1040按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1040可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

ISP处理器1040还可从图像存储器1030接收图像数据。例如,传感器1020接口将原始图像数据发送给图像存储器1030,图像存储器1030中的原始图像数据再提供给ISP处理器1040以供处理。图像存储器1030可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接存储器存取)特征。

当接收到来自图像传感器1014接口或来自传感器1020接口或来自图像存储器1030的原始图像数据时,ISP处理器1040可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1030,以便在被显示之前进行另外的处理。ISP处理器1040从图像存储器1030接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器1040处理后的图像数据可输出给显示器1070,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1040的输出还可发送给图像存储器1030,且显示器1070可从图像存储器1030读取图像数据。在一个实施例中,图像存储器1030可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1040的输出可发送给编码器/解码器1060,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1070设备上之前解压缩。编码器/解码器1060可由CPU或GPU或协处理器实现。

ISP处理器1040确定的统计数据可发送给控制逻辑器1050单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1012阴影校正等图像传感器1014统计信息。控制逻辑器1050可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1010的控制参数及ISP处理器1040的控制参数。例如,成像设备1010的控制参数可包括传感器1020控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜1012控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜1012阴影校正参数。

本实施例中运用图10中图像处理技术可实现上述图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1