图像处理方法、装置、可读存储介质和电子设备与流程

文档序号:13935192阅读:136来源:国知局
图像处理方法、装置、可读存储介质和电子设备与流程

本申请涉及图像处理技术领域,特别是涉及图像处理方法、装置、计算机可读存储介质和电子设备。



背景技术:

无论是在工作还是生活中,拍照都是一项必不可少的技能。为了拍出一张让人满意的照片,不仅需要在拍摄过程中对拍摄参数进行改善,还需要在拍摄完成之后对照片本身进行改善。美颜处理就是指对照片进行美化的一种方法,经过美颜处理之后,会让照片中的人物看起来更加符合人类的审美。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的准确率。

一种图像处理方法,所述方法包括:

通过终端的第一处理单元获取待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元;

通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,获取所述待处理图像对应的环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元;

通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

一种图像处理装置,所述装置包括:

特征提取模块,用于通过终端的第一处理单元获取待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元;

参数获取模块,用于通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,获取所述待处理图像对应的环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元;

美颜处理模块,用于通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:

通过终端的第一处理单元获取待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元;

通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,获取所述待处理图像对应的环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元;

通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:

通过终端的第一处理单元获取待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元;

通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,获取所述待处理图像对应的环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元;

通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

上述图像处理方法、装置、计算机可读存储介质和电子设备,可以通过终端的第一处理单元获取待处理图像的人脸特征参数,并由第二处理单元根据人脸特征参数和环境参数得到目标美颜参数,并由第三处理单元根据目标美颜参数对待处理图像进行美颜处理。可以根据不同的待处理图像的特征进行美颜处理,提高了对待处理图像的处理的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图;

图2为一个实施例中图像处理方法的流程图;

图3为另一个实施例中图像处理方法的流程图;

图4为又一个实施例中图像处理方法的流程图;

图5为一个实施例中获取深度信息的原理图;

图6为一个实施例中生成的颜色直方图;

图7为一个实施例中相位对焦的原理图;

图8为一个实施例中反差对焦过程的原理图;

图9为一个实施例中图像处理系统的结构示意图;

图10为另一个实施例中图像处理系统的结构示意图;

图11为一个实施例中图像处理装置的结构示意图;

图12为另一个实施例中图像处理装置的结构示意图;

图13为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一获取模块称为第二获取模块,且类似地,可将第二获取模块称为第一获取模块。第一获取模块和第二获取模块两者都是获取模块,但其不是同一获取模块。

图1为一个实施例中图像处理方法的应用环境图。如图1所示,该应用环境中包括用户终端102和服务器104。用户终端102可以通过第一处理单元获取待处理图像,根据待处理图像获取人脸特征参数,并将人脸特征参数发送至第二处理单元,将待处理图像发送至第三处理单元;通过第二处理单元接收第一处理单元发送的人脸特征参数,获取待处理图像对应的环境参数,根据人脸特征参数和环境参数获取用于对待处理图像进行美颜处理的目标美颜参数,并将目标美颜参数发送至第三处理单元;通过第三处理单元接收第二处理单元发送的目标美颜参数,接收第一处理单元发送的待处理图像,并根据目标美颜参数将待处理图像进行美颜处理。服务器104可以向用户终端102发送特征识别模型,用户终端102接收到特征识别模型之后,根据特征识别模型获取人脸特征参数。其中,用户终端102是处于计算机网络最外围,主要用于输入用户信息以及输出处理结果的电子设备,例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器104是用于响应服务请求,同时提供计算服务的设备,例如可以是一台或者多台计算机。可以理解的是,在本申请提供的其他实施例中,该图像处理方法的应用环境中可以只包括用户终端102。

图2为一个实施例中图像处理方法的流程图。如图2所示,该图像处理方法包括步骤202至步骤206。其中:

步骤202,通过终端的第一处理单元获取待处理图像,根据待处理图像获取人脸特征参数,并将人脸特征参数发送至终端的第二处理单元,将待处理图像发送至终端的第三处理单元。

在一个实施例中,终端可以是手机、可穿戴设备、平板电脑、个人数字助理等移动终端设备,也可以是pc端等。该终端中包括图像处理系统,该图像处理系统中包含第一处理单元、第二处理单元和第三处理单元等三层结构,通过这三层结构中的各个服务单元的协作实现对图像的处理流程。其中,第一处理单元用于提取待处理图像中的特征,第二处理单元用于根据提取的特征获取用于对图像进行美颜处理的目标美颜参数,第三处理单元用于根据获取的目标美颜参数对待处理图像进行美颜处理。

待处理图像是指需要进行美颜处理的图像。待处理图像可以是由终端进行采集的。终端上安装有可以用于拍摄的摄像头,用户可以通过终端发起拍照指令,终端在检测到拍照指令之后,通过摄像头采集图像。终端会将采集的图像进行存储,形成一个图像集合。可以理解的是,待处理图像还可以是通过其他途径获取的,在此不做限定。例如,待处理图像还可以是从网页中下载的,或者是从外接存储设备中导入的等等。

获取待处理图像具体可以包括:接收用户输入的美颜指令,并通过终端的第一处理单元根据美颜指令获取待处理图像,其中美颜指令中包含图像标识。图像标识是指区分不同待处理图像的唯一标识,根据图像标识获取待处理图像。例如,图像标识可以是图像名称、图像编码、图像存储地址等中的一种或多种。具体地,移动终端在获取到待处理图像之后,可以在移动终端本地进行美颜处理,也可以将待处理图像发送至服务器进行美颜处理。在本申请提供的其他实施例中,可以在拍摄过程中对获取的图像进行美颜处理,即通过成像设备采集当前拍摄场景中的原始图像,生成待处理图像。然后通过第一处理单元获取该待处理图像,并对待处理图像进行处理,终端可以直接对美颜处理后的图像进行显示。

人脸特征参数是指表示待处理图像中的人脸所对应的人物属性的参数。例如,人脸特征参数可以为人脸对应的人种、性别、年龄、肤质等参数。具体地,可以首先检测待处理图像中的人脸区域,然后根据人脸区域获取对应的人脸特征参数。例如,通过fd(facialdetection,人脸检测)算法检测待处理图像中的人脸区域,然后通过ffd(facialfeaturedetection,人脸关键点检测)算法检测人脸中眼睛、鼻子、嘴唇等的关键点,然后根据提取的关键点可以得到人脸的五官大小、比例等尺寸参数,再根据获取的尺寸参数可以识别人脸的人种、性别、年龄等特征。具体的,人脸检测算法可以包括基于几何特征的检测方法、特征脸检测方法、线性判别分析方法、基于隐马尔柯夫模型检测方法等,在此不做限定。不难理解,待处理图像是由若干个像素点组成,人脸区域是由待处理图像中人脸对应的像素点所构成的区域。一般来说,待处理图像中可以包含一个或多个人脸区域,每一个人脸区域都是一个独立的连通区域,将这些独立的人脸区域提取出来,分别进行美颜处理。待处理图像中也可以不存在人脸区域,若不存在人脸区域,则待处理图像不做处理。

终端的第一处理单元再将人脸特征参数发送至终端的第二处理单元,将待处理图像发送至终端的第三处理单元。可以理解的是,在本申请提供的实施例中,终端的第一处理单元、第二处理单元和第三处理单元是在函数系统中定义的虚拟框架层,每一层都通过一个代码集合进行实现,同时通过一个代码函数进行封装。在图像处理的过程中,直接调用该函数接口就可以将处理的数据进行输入或输出,从而实现各层级之间的数据传输。

步骤204,通过第二处理单元接收第一处理单元发送的人脸特征参数,获取待处理图像对应的环境参数,根据人脸特征参数和环境参数获取目标美颜参数,并将目标美颜参数发送至终端的第三处理单元。

在一个实施例中,环境参数是指生成待处理图像时所处的环境的相关参数,环境参数可以但不限于是环境亮度、环境色温等参数。其中,环境亮度是指拍摄时所处环境的光线强度,环境色温是指拍摄时所处环境的色温。在移动终端拍摄的过程中,可以通过环境光传感器来检测当前拍摄环境的环境亮度,采用该环境光传感器可以根据外界光线强弱的不同输出不同的电压值,通过ad采样将不同强度的光信息转换为数字信息。例如,该光线传感器的输出是8bit(比特)的,则理论上可区分出28种光线强度,即256种光线强度,通过该原理来确定外界光线强度。移动终端上可以安装色温传感器,在拍摄过程中可以通过色温传感器来检测环境色温。色温传感器中包括三个分别带有红、绿、蓝光片的照度传感器,在接收到光照时,通过三个照度传感器分别输出红、绿、蓝光对应的电流,根据输出的电流来计算环境色温。在拍摄图像的过程中,通常通过ccd(charge-coupleddevice,电荷耦合元件)或cmos(complementarymetaloxidesemiconductor,互补金属氧化物半导体)生成的是raw格式的原始图像,然后需要通过isp(imagesignalprocessing,图像信号处理)处理器将该原始图像进行去噪、矫正、白平衡、颜色空间转换等一系列处理之后,才能获取到最终输出的图像。也就是说,环境亮度和环境色温还可以在通过图像信号处理器来获取,图像信号处理器直接将读取的环境亮度和环境色温发送至第二处理单元。

目标美颜参数是指对待处理图像进行美颜处理的参数,根据人脸特征参数和环境参数获取目标美颜参数。具体地,目标美颜参数可以包括第一美颜参数和第二美颜参数,根据人脸特征参数获取第一美颜参数,并根据环境参数获取第二美颜参数,然后根据第一美颜参数和第二美颜参数获取目标美颜参数。人脸特征参数与第一美颜参数存在对应关系,根据人脸特征参数可以获取对应的第一美颜参数。例如,当识别图像中的人脸为女性时,可以对人脸进行美白和添加妆容的处理;当识别图像中的人脸为男性时,可以对人脸进行磨皮处理。环境参数与第二美颜参数也存在对应关系,根据环境参数可以获取第二美颜参数。例如,若图像的环境亮度偏暗,可以对图像的人脸进行提高亮度的处理。

在本申请提供的其他实施例中,还可以根据用户处理过的美颜图像生成目标美颜参数。如图3所示,该图像处理方法还包括:通过第一处理单元将待处理图像发送给第二处理单元;通过第二处理单元接收待处理图像,并根据历史参数模型获取待处理图像对应的第三美颜参数,其中历史参数模型是根据历史美颜图像进行训练得到的;根据第一美颜参数、第二美颜参数和第三美颜参数获取目标美颜参数。具体地,根据历史美颜图像进行训练得到历史参数模型,然后根据历史参数模型获取第三美颜参数。历史美颜参图像是指历史进行美颜处理的图像,例如,可以在终端中建立一个相册,用于存放用户历史处理过的图像,在终端训练历史参数模型的时候,直接读取该相册就可以获取历史美颜图像,并通过历史美颜图像训练得到历史参数模型。将待处理图像输入到该历史参数模型中,就可以输出对应的第三美颜参数。历史美颜图像可以体现用户进行美颜处理的习惯,例如用户进行美颜处理的频率,用户经常使用的美颜处理类型。通过对历史美颜图像进行训练得到历史参数模型,根据历史参数模型获取的第三美颜参数可以针对用户的喜好设置。例如,用户在室内环境下,会将人脸进行3级美白处理,那么在识别到待处理图像处于相同的室内环境时,也将人脸进行3级美白处理。也可以是,历史美颜图像中用户的人脸出现的频率较高,且针对用户的人脸最常用的是大眼处理,那么在待处理图像中识别到用户的人脸之后,就将用户的人脸进行大眼处理。

步骤206,通过第三处理单元接收第二处理单元发送的目标美颜参数,接收第一处理单元发送的待处理图像,并根据目标美颜参数将待处理图像进行美颜处理。

在一个实施例中,第二处理单元在获取到目标美颜参数之后,会将目标美颜参数发送至第三处理单元,第三处理单元通过该目标美颜参数对待处理图像进行美颜处理。美颜处理是指将图像中的人像进行美化处理的过程。一般地,美颜处理可以包括磨皮、美白、大眼、瘦脸、肤色调整、祛斑、亮眼等处理,在此不做限定。

上述实施例提供的图像处理方法,可以通过终端的第一处理单元获取待处理图像的人脸特征参数,并由第二处理单元根据人脸特征参数和环境参数得到目标美颜参数,并由第三处理单元根据目标美颜参数对待处理图像进行美颜处理。可以根据不同的待处理图像的特征进行美颜处理,提高了对待处理图像的处理的准确率。

图4为又一个实施例中图像处理方法的流程图。如图4所示,该图像处理方法包括步骤402至步骤420。其中:

步骤402,通过终端的图像信号处理器获取成像设备生成的原始图像,根据该原始图像生成待处理图像,并将待处理图像上传至终端的第一处理单元。

在一个实施例中,终端中包括图像信号处理器和成像设备,其中,图像信号处理器可以是isp(internetserviceprovider,图像信号处理)处理器。成像设备中包括一个或多个透镜和图像传感器,透镜可以改变光线的光路,然后通过图像传感器的色彩滤镜阵列捕捉光强度和波长信息,生成原始图像。然后成像设备将原始图像发送到isp处理器中进行处理,得到待处理图像。可以理解的是,由图像传感器输出的原始图像可以是raw格式的,原始图像是没有经过任何处理的图像。raw格式的原始图像由若干个像素点构成,每个像素点只感应红、绿、蓝中的一个颜色,并通过一定的规律进行排列。raw格式的原始图像中由四个像素点构成一个像素单元,最常见的排列方式为rg/gb的排列方式,即每个像素单元中由50%的g、25%的r和25%的b构成。其中,raw格式包括bayer格式,bayer格式图像中的一个像素单元是以rgrg/gbgb的方式排列的。

一般来说,isp处理器会将原始图像进行处理,通过插值处理将每个像素点都通过rgb(redgreenblue,红,绿,蓝)三个通道值来进行表示,得到最后的待处理图像。得到的待处理图像也是由若干个像素点构成的,这些像素点按照一定的规律进行排列。待处理图像是一个二维的像素阵列,每一个像素点都存在对应的rgb三个通道值,像素点在图像中的位置,可以通过一个位置坐标进行表示。例如,待处理图像可以是640*480的,表示这张待处理图像在每一个长度方向上有640个像素点,在每一个宽度方向上有480个像素点,像素点总量为640*480=307200,即该待处理图像为30万像素。

步骤404,通过终端的第一处理单元接收图像信号处理器上传的待处理图像。

步骤406,检测待处理图像中的人脸区域,通过特征识别模型获取人脸区域对应的人脸特征参数,其中特征识别模型是通过人脸样本集合训练得到的。

具体地,特征识别模型用于识别人脸区域对应的人脸特征参数,该特征识别模型是通过人脸样本集合训练得到的。人脸样本集合是指由若干张人脸图像构成的图像集合,根据人脸样本集合训练得到特征识别模型,一般地人脸样本集合中的人脸图像越多,训练得到的特征识别模型越精确。例如,在监督学习中,将人脸样本集合中的每一张人脸图像打上相应的标签,用于标记人脸图像的类型,通过对人脸样本集合的训练可以得到特征识别模型。特征识别模型可以将人脸区域进行分类,得到对应的人脸特征参数。例如,将人脸区域可以分为黄种人、黑种人和白种人,那么得到的对应的人脸特征参数就是黄种人、黑种人或白种人中的一种。也就是说,通过特征识别模型进行分类是基于同一标准的。可以理解的是,若要得到人脸区域的不同维度的人脸特征参数,则可以通过不同的特征识别模型分别进行获取。具体地,人脸特征参数可以包括人种特征参数、性别特征参数、年龄特征参数、肤色特征参数、肤质特征参数、脸型特征参数、妆容特征参数,在此不做限定。例如,通过人种识别模型得到人脸区域对应的人种特征参数,根据年龄识别模型得到人脸区域对应的年龄特征参数,根据性别识别模型得到人脸区域对应的性别特征参数。

在一个实施例中,检测到待处理图像中的人脸区域之后,可以获取人脸区域对应的物理属性参数,并根据物理属性参数来获取需要进行美颜处理的人脸区域。人脸区域的物理属性参数可以是指人脸区域的区域面积,也可以是指人脸区域对应的深度信息。其中,区域面积是指人脸区域的面积大小,深度信息是指人脸到摄像头的物理距离。一般来说,人脸到摄像头的距离越远,图像中的人脸对应的面积就越小。若人脸面积太小,对人脸进行美颜处理可能会导致人脸失真。则步骤406可以包括:检测待处理图像中的人脸区域及对应的物理属性参数,获取物理属性参数大于阈值的人脸区域;通过特征识别模型获取人脸区域对应的人脸特征参数,其中特征识别模型是通过人脸样本集合训练得到的。例如,深度信息大于3米的人脸不进行美颜处理,只对深度信息小于3米的人脸进行美颜处理。

可以理解的是,待处理图像是由若干个像素点构成,人脸区域是由待处理图像中的若干个像素点构成,则人脸区域的面积则可以表示为人脸区域内所包含的像素点的总数量,也可以表示为人脸区域与待处理图像的面积比例。通过摄像头采集图像的时候,可以同时获取图像对应的深度图,深度图中的像素点与图像中的像素点对应。深度图中的像素点表示图像中对应像素的深度信息,深度信息即为像素点对应的物体到图像采集装置的深度信息。例如,深度信息可以通过双摄像头进行获取,得到的像素点对应的深度信息可以为1米、2米或3米等。因此,在获取人脸区域后,可以从深度图中获取人脸区域对应的深度信息。

图5为一个实施例中获取深度信息的原理图。如图5所示,已知第一摄像头502到第二摄像头504之间的距离tc,通过第一摄像头502和第二摄像头504分别拍摄物体506对应的图像,根据该图像可以获取第一夹角a1和第二夹角a2,第一摄像头502到第二摄像头504所在水平线与物体502之间的垂直交点为交点508。假设第一摄像头502到交点508的距离为tx,那么交点508到第二摄像头504的距离就为tc-tx,物体506的深度信息即物体506到交点508的垂直距离为ts。根据第一摄像头502、物体506和交点508组成的三角形,则可以得到以下公式:

同理,根据第二摄像头504、物体506和交点508组成的三角形,则可以得到以下公式:

由上述公式可以得到物体506的深度信息为:

在一个实施例中,获取人脸区域对应的人种特征参数时,可以首先检测人脸区域对应的肤色,然后将获取的肤色输入人种识别模型,得到输出的人种特征参数。肤色是指人脸区域对应的皮肤区域的颜色,获取肤色的方法具体可以包括:根据人脸区域生成颜色直方图;获取颜色直方图的峰值,根据该峰值获取皮肤颜色区间;并根据获取的皮肤颜色区间获取肤色。颜色直方图可用于描述不同色彩在人脸区域中所占的比例,可将颜色空间划分为多个小的颜色区间,并分别计算人脸区域中落入各个颜色区间的像素点的数量,从而可得到颜色直方图。其中,颜色直方图可以是rgb颜色直方图、hsv颜色直方图或是yuv颜色直方图等,并不限于此。波峰指的是在颜色直方图形成的一段波内波幅的最大值,可通过求取颜色直方图中各个点的一阶差分进行确定,峰值则为波峰上的最大值。图6为一个实施例中生成的颜色直方图。如图6所示,颜色直方图的纵轴表示像素点的分布情况,即对应颜色的像素点的数量。横轴表示在hsv颜色空间的特征向量,也即hsv颜色空间划分的多个颜色区间。可以看出,图6中的颜色直方图包含波峰602,波峰602对应的峰值为850,该峰值对应的颜色区间为150,并将150的颜色区间作为皮肤颜色区间。

步骤408,将人脸特征参数发送至终端的第二处理单元,将待处理图像发送至终端的第三处理单元。

具体地,可以不用针对整个待处理图像进行处理。而只针对某一个区域进行美颜处理,例如,只针对人脸区域、人像区域或皮肤区域进行美颜处理。若待处理图像中存在两个或两个以上的人脸区域,则每个人脸区域的人物属性特征可能不一样,那么就可以分别获取每个人脸区域的人脸特征参数。然后针对每一个目标区域单独进行美颜处理,目标区域即为进行美颜处理的区域,包括人脸区域、人像区域、皮肤区域、嘴唇区域等,不限于此。具体地,遍历每一个人脸区域,并通过特征识别模型获取各个人脸区域对应的人脸特征参数,并根据人脸特征参数获取每一个目标区域对应的目标美颜参数。例如,待处理图像中包括人像1、人像2和人像3,人像1的人物属性特征为幼年,人像2的人物属性特征为青年,人像3的人物属性特征为老年。可以将检测的人脸区域通过人脸标识进行标记,每一个人脸标识对应一个人脸坐标。人脸坐标是指表示人脸区域在待处理图像中的位置的坐标,例如人脸坐标可以是人脸区域中心像素在待处理图像中的位置的坐标,也可以是左上角像素在待处理图像中的位置的坐标。将获取到的人脸特征参数与人脸标识建立对应关系,在进行美颜处理的时候,通过人脸标识获取对应的人脸特征参数,通过人脸坐标获取人脸的具体位置。例如,检测到待处理图像“pic.jpg”中包含人脸1、人脸2和人脸3等三个人脸区域,对应的人脸标识分别为face1、face2和face3,对应的目标美颜参数分别为1级美白、2级美白和1级祛痘。

可以理解的是,在进行美颜处理的时候,可以获取目标区域对应的区域面积,若区域面积小于面积阈值,则不进行美颜处理,只将区域面积大于面积阈值的目标区域进行美颜处理。目标区域是由若干个像素点构成,则目标区域的面积则可以表示为目标区域内所包含的像素点的总数量,也可以表示为目标区域与对应的待处理图像的面积比例。例如,在对人脸区域进行美颜处理时,图像中的人脸区域的面积可以能不一样,一般需要突出的主人脸的面积比较大,路人的人脸面积都比较小。同时人脸面积比较小的时候,若进行磨皮等处理时,处理之后就会使得人脸的五官变得模糊不清。若只对待处理图像中的目标区域进行美颜处理,而未对待处理图像中除目标区域之外的剩余区域做美颜处理,在处理之后可能会导致目标区域和剩余区域之间有明显的差异。例如,对目标区域进行美白处理之后,目标区域的亮度明显比剩余区域的亮度高,这样使图像看起来很不自然。那么可以在生成的美颜图像中,将目标区域的边界进行过渡处理,使得到的美颜图像看起来更加自然。

步骤410,通过终端的图像信号处理器获取待处理图像对应的环境参数,并将环境参数上传至第二处理单元。

在一个实施例中,环境参数可以包括环境亮度和环境色温,isp处理器可以对待处理图像进行处理,并获取待处理图像对应的环境亮度和环境色温。例如,可以获取待处理图像中的roi(regionofinterest,感兴趣)区域,roi区域和整张待处理图像的亮度值进行统计,并根据roi区域的亮度均值和待处理图像的亮度均值进行加权平均,得到待处理图像对应的环境亮度。其中,roi区域是指用户关注的区域,比如图像中的人脸区域、对焦区域等。

具体地,将对焦区域作为roi区域时,该对焦区域可以通过自动对焦算法进行获取,也可以通过用户输入的操作指令进行获取。自动对焦算法一般可以包括相位对焦算法、反差对焦算法和激光对焦算法等。在相位对焦的过程中,会在图像采集装置的图像传感器的位置放置一个网格板,网格板的线条相继为透光和不透光,并相应地放置受光元件,即组成线传感器。物体的光线经过镜头汇聚之后,通过分离透镜分离成两个图像,这两个图像会分别到达线传感器,线传感器接收图像信号,并通过图像信号来判断相位差值。在合焦状态下,两个图像同时到达线传感器,前焦和后焦状态下,两个图像先后到达线传感器,线传感器通过接收到的信号来判断相位差值。图7为一个实施例中相位对焦的原理图。如图7所示,在相位对焦过程中,物体在成像过程中可能产生三种状态,即合焦、前焦和后焦等三种状态。物体通过透镜702进行聚光,光线通过分离透镜706分别在线性传感器708中产生两个成像,根据这两个成像的位置可以获取相位差值,然后根据相位差值判断成像状态,进一步调整透镜702的位置进行对焦。在合焦状态下,光线经过透镜702汇聚之后,焦点刚好汇聚到成像平面704,这时候成像平面704上的成像是最清晰的;在前焦状态下,光线经过透镜702汇聚之后,焦点汇聚到成像平面704之前,那么成像平面704上成像是模糊的;在后焦状态下,光线经过透镜702汇聚之后,焦点汇聚到成像平面704之后,成像平面704上成像是模糊的。

在反差对焦的过程中,图像采集装置中的会不停地移动镜头进行扫描,在扫描过程中每移动一次镜头,输出一张图像并计算图像对应的聚焦(focusvalue,fv)值,聚焦值可以反映拍摄图像的清晰度,通过聚焦值来找到镜头的最佳拍摄位置。例如,马达推动镜头的位置从200移动到600,可以每次移动一个step获取一个聚焦值,每个step移动步长为40,则总共需要10个step,即获取10个聚焦值。在完成预先扫描之后,可以确定一个镜头的合焦位置的位置区间,然后在这个位置区间之间再进行精确扫描,确定精确的合焦位置。在预先扫描和精确扫描的过程中,可以根据扫描获取的聚焦值绘制与镜头位置的关系曲线,然后根据该关系曲线来获取镜头的合焦位置。图8为一个实施例中反差对焦过程的原理图。如图8所示,该对焦过程分为两个阶段:预先扫描和精确扫描。从a点→e点的扫描过程为预先扫描过程,e点→d点的扫描过程为精确扫描的过程。具体地,在预先扫描的过程中,马达可以驱动镜头以较大的步长进行移动,例如每次移动40个步长。从预先扫描开始,每移动一次镜头,获取一个对应的聚焦值,直到聚焦值开始变小则停止预先扫描的过程。分别获取到a、b、c、d、e五个点,在a点→d点的扫描过程中,fv值逐渐增大,说明图像的清晰度越来越高;在d点→e点的扫描过程中,fv值减小,说明图像的清晰度变低。然后进入精确扫描的过程,马达驱动镜头以较小的步长进行移动,例如每次移动10个步长。精确扫描的过程只需要对e点→d点进行扫描,并在每次移动镜头之后获取一个聚焦值。在精确扫描过程中分别获取到e、f、g、h、d五个点,在e点→h点的扫描过程中,fv值逐渐增大,说明图像的清晰度越来越高;在h点→d点的扫描过程中,fv值减小,说明图像的清晰度变低。然后根据g、h、d这三个点绘制一个拟合曲线,该拟合曲线可以描述聚焦值的变化规律,然后将该拟合曲线的顶点i点对应的镜头位置作为最佳合焦位置进行拍摄。

步骤412,通过第二处理单元接收第一处理单元发送的人脸特征参数,通过第二处理单元接收图像信号处理器上传的环境参数。

具体地,第一处理单元获取人脸特征参数的过程可以通过一个代码集合进行实现,将该代码集合封装成一个特征函数,需要获取人脸特征参数时直接通过调用该特征根函数接口进行获取。可以理解的是,函数一般会有一个输入数据,然后根据输入的数据输出数据。则在获取人脸特征参数时,可以将待处理图像作为该特征函数的输入,然后获取该特征函数输出的人脸特征参数,第二处理单元直接通过该特征函数接口即可获取人脸特征参数。

步骤414,根据人脸特征参数获取第一美颜参数,并根据环境参数获取第二美颜参数。

在一个实施例中,预先建立人脸特征参数与第一美颜参数据的对应关系,以及环境参数与第二美颜参数的对应关系。在获取到人脸特征参数之后,可以根据人脸特征参数获取对应的第一美颜参数。例如,识别人脸区域为男性,对应的将人脸区域进行磨皮处理;若识别人脸区域为女性,对应的将人脸区域进行美妆处理。获取到环境参数之后,可以根据环境参数获取对应的第二美颜参数。例如,识别当前环境色温偏黄,则将肤色进行相应的调整。

步骤416,根据第一美颜参数和第二美颜参数获取目标美颜参数,并将目标美颜参数发送至终端的第三处理单元。

可以理解的是,根据人脸特征参数获取第一美颜参数,根据环境参数获取第二美颜参数,可以通过第一美颜参数和第二美颜参数分别对待处理图像进行美颜处理,也可以通过加权结合的方式根据第一美颜参数和第二美颜参数同时对待处理图像进行美颜处理。例如,第一美颜参数是将人脸的白度提高20%,第二美颜参数是将人脸的白度降低10%,则通过第一美颜参数和第二美颜参数生成的目标美颜参数对图像进行处理,可以先将人脸的白度提高20%,再将人脸的白度降低10%。也可以通过加权的方式对人脸的白度进行一次性处理,比如第一美颜参数和第二美颜参数的权重分别为0.6和0.4,那么最后得到的目标美颜参数就是将人脸的白度提高0.6*20%-0.4*10%=8%,即最后进行美颜处理时需要将人脸的白度提高8%。

在一个实施例中,还可以获取用户设置的美颜程度参数,并将美颜程度参数发送至终端的第三处理单元。美颜程度参数是表示对图像进行美颜处理的程度的参数。例如,美颜处理可以分为1级、2级、3级、4级、5级,从1级到5级,美颜处理的程序递增。第三处理单元在对图像进行美颜处理的时候,根据美颜程度参数可以对图像进行不同程度的美颜处理。

在本申请提供的实施例中,获取的目标美颜参数可以是分别对应待处理图像的各个颜色通道进行获取的,然后根据各个颜色通道的目标美颜参数对待处理图像对应的各个颜色通道图像进行处理。例如,待处理图像的颜色通道可以由rgb三通道构成,也可以是由cmy(cyanmagentayellow,洋红,青,黄)三通道构成,分别获取rgb三通道对应的目标美颜参数,并通过获取的目标美颜参数分别将rgb三通道进行美颜处理。在图像处理的过程中,可以通过函数提取图像的各个颜色分量,并分别对各个颜色分量进行处理。例如,在matlab中通过imread()函数读取名称为“rainbow.jpg”图像,令im=imread(’rainbow.jpg’),则rgb颜色分量可以通过函数r=im(:,:,1)、g=im(:,:,2)、b=im(:,:,3)进行提取。通道图像即待处理图像中各个颜色通道的像素所构成的图像,在对图像进行美颜处理的时候,可以分别对图像的各个颜色通道进行美颜处理,每个颜色通道的处理可以不相同。

具体地,可以将目标美颜参数进行量化,获取待处理图像对应的各个通道图像对应的噪点数量,并通过各个通道图像对应的噪点数量获取对应的目标美颜参数。噪点数量即为待处理图像中噪点像素的数量,一般来说,噪点数量越大,图像失真越严重,对应的目标美颜参数越大。例如,对图像进行磨皮处理时,将美颜等级量化为1级、2级、3级,从1级到3级进行磨皮处理的程度逐渐递增,当g通道图像对应的噪点数量越多时,对应的美颜级别越大。

还可以获取待处理图像对应的各个通道图像对应的亮度值,并通过各个通道图像对应的噪点数量获取对应的目标美颜参数。亮度是指图像的明亮程度,亮度值可以体现图像出现的偏差程度。根据亮度值获取美颜程度参数的方法具体可以包括:获取各个通道图像对应的亮度参考值,根据获取的亮度值与亮度参考值的差值获取各个通道图像的目标美颜参数。例如,可以首先建立肤色的标准rgb通道值,假设标准的肤色对应的rgb通道值分别为233、206和188。则对皮肤区域进行美白处理的时候,可以分别获取rgb三通道的亮度值,并将该亮度值与标准的通道值进行比较,相差越大的通道,对应的美白程度越深,即对应的目标美颜参数越大。

步骤418,通过第三处理单元接收第二处理单元发送的目标美颜参数,接收第一处理单元发送的待处理图像。

步骤420,根据目标美颜参数对所述第三处理单元中的各个美颜模块的标志位进行赋值,根据各个美颜模块的标志位的值获取用于进行美颜处理的美颜模块,并将目标美颜参数输入到获取的美颜模块中对待处理图像进行美颜处理。

在一个实施例中,第三处理单元中包括多个美颜模块,每个美颜模块可以进行一种美颜处理。例如,第三处理单元中可以包括磨皮模块、美白模块、大眼模块、瘦脸模块、肤色调整模块,可以分别对待处理图像进行磨皮处理、美白处理、大眼处理、瘦脸处理、肤色调整处理。具体地,各个美颜模块可以是一个函数模块,通过该函数模块来实现对图像的美颜处理。每个函数模块都对应一个标志位,通过该标志位来决定是否进行对应的处理。例如,每个美颜模块都对应一个标志位stat,当该标志位stat的取值为1或ture时,说明需要进行该美颜模块对应的美颜处理;当该标志位stat的取值为0或fals时,说明不需要进行该美颜模块对应的美颜处理。

具体地,根据目标美颜参数对各个美颜模块的标志位进行赋值,根据标志位获取用于美颜处理的美颜模块,并将目标美颜参数输入到获取的各个美颜模块中对待处理图像进行美颜处理。例如,目标美颜参数中包括对人脸进行美白处理,则将美白模块对应的标志位赋值为1,若不需要进行大眼处理,则将大眼模块对应的标志位赋值为0。在进行美颜处理的时候,遍历各个美颜模块根据标志位判断是否需要进行对应的处理。可以理解的是,各个美颜模块进行的美颜处理是相互独立,互不影响的。假设图像需要进行多种美颜处理,则可以依次通过各个美颜模块进行处理,得到最终的美颜图像。

上述实施例提供的图像处理方法,可以通过终端的第一处理单元获取待处理图像的人脸特征参数,并由第二处理单元根据人脸特征参数和环境参数得到目标美颜参数,并由第三处理单元根据目标美颜参数对待处理图像进行美颜处理。可以根据不同的待处理图像的特征进行美颜处理,提高了对待处理图像的处理的准确率。

在一个实施例中,图像处理系统的第一处理单元、第二处理单元和第三处理单元,可以分别是指特征层、适配层和处理层。其中,特征层用于提取待处理图像中的特征,适配层用于根据提取的特征获取用于对图像进行美颜处理的目标美颜参数,处理层用于根据获取的目标美颜参数对待处理图像进行美颜处理。图9为一个实施例中图像处理系统的结构示意图。如图9所示,该图像处理图像包括特征层902、适配层904和处理层906。其中,特征层902用于获取待处理图像,对待处理图像进行人脸检测,并根据人脸检测得到的人脸区域获取对应的人脸特征参数。人脸特征参数可以包括人种特征参数、性别特征参数、年龄特征参数、肤色特征参数、肤质特征参数、脸型特征参数、妆容特征参数,在此不做限定。特征层902将获取的人脸特征参数发送到适配层904,适配层904根据用户的历史美颜图像、待处理图像对应的环境参数和人脸特征参数,获取对应的目标美颜参数,并将目标美颜参数发送至处理层906中。处理层906根据接收到的目标美颜参数对待处理图像进行美颜处理,然后输出美颜处理后的图像。其中,美颜处理可以但不限于包括磨皮、美白、大眼、瘦脸、肤色调整、祛斑、亮眼、去眼袋、牙齿美白、美唇等处理。

图10为另一个实施例中图像处理系统的结构示意图。如图10所示,该图像处理图像包括成像设备1002、isp处理器1004、特征层1006、适配层1008和处理层1010。其中,成像设备1002用户生成原始图像,并将原始图像发送至isp处理器1004。isp处理器1004将原始图像进行去噪、矫正、白平衡、颜色空间转换等一系列处理之后,得到待处理图像及对应的环境参数,并将待处理图像发送至特征层1006,对应的环境参数发送至处理层1010。特征层1006接收到待处理图像之后,对待处理图像进行人脸检测,并根据人脸检测得到的人脸区域获取对应的人脸特征参数,将获取的人脸特征参数发送到适配层1008。适配层1008接收到特征层1006发送的人脸特征参数和isp处理器1004发送的环境参数后,根据用户的历史美颜图像、待处理图像对应的环境参数和人脸特征参数,获取对应的目标美颜参数,并将目标美颜参数发送至处理层1010中。处理层1010根据接收到的目标美颜参数对待处理图像进行美颜处理,然后输出美颜处理后的图像。

图11为一个实施例中图像处理装置的结构示意图。如图11所示,该图像处理装置包括特征提取模块1102、参数获取模块1104和美颜处理模块1106。其中:

特征提取模块1102,用于通过终端的第一处理单元获取待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元。

参数获取模块1104,用于通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,获取所述待处理图像对应的环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元。

美颜处理模块1106,用于通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

上述实施例提供的图像处理装置,可以通过终端的第一处理单元获取待处理图像的人脸特征参数,并由第二处理单元根据人脸特征参数和环境参数得到目标美颜参数,并由第三处理单元根据目标美颜参数对待处理图像进行美颜处理。可以根据不同的待处理图像的特征进行美颜处理,提高了对待处理图像的处理的准确率。

图12为另一个实施例中图像处理装置的结构示意图。如图12所示,该图像处理装置包括图像获取模块1202、环境参数上传模块1204、特征提取模块1206、参数获取模块1208和美颜处理模块1210。其中:

图像获取模块1202,用于通过终端的图像信号处理器获取成像设备生成的原始图像,根据所述原始图像生成待处理图像,并将所述待处理图像上传至所述终端的第一处理单元。

环境参数获取模块1204,用于通过所述终端的图像信号处理器获取所述待处理图像对应的环境参数,并将所述环境参数上传至所述第二处理单元。

特征提取模块1206,用于通过所述终端的第一处理单元接收所述图像信号处理器上传的待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元。

参数获取模块1208,用于通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,通过所述第二处理单元接收所述图像信号处理器上传的所述环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元。

美颜处理模块1210,用于通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

上述实施例提供的图像处理装置,可以通过终端的第一处理单元获取待处理图像的人脸特征参数,并由第二处理单元根据人脸特征参数和环境参数得到目标美颜参数,并由第三处理单元根据目标美颜参数对待处理图像进行美颜处理。可以根据不同的待处理图像的特征进行美颜处理,提高了对待处理图像的处理的准确率。

在一个实施例中,特征提取模块1206还用于检测所述待处理图像中的人脸区域,通过特征识别模型获取所述人脸区域对应的人脸特征参数,其中所述特征识别模型是通过人脸样本集合训练得到的。

在一个实施例中,参数获取模块1208还用于根据所述人脸特征参数获取第一美颜参数,并根据所述环境参数获取第二美颜参数;根据所述第一美颜参数和第二美颜参数获取目标美颜参数。

在一个实施例中,参数获取模块1208还用于通过所述第一处理单元将所述待处理图像发送给所述第二处理单元;通过所述第二处理单元接收所述待处理图像,并根据历史参数模型获取所述待处理图像对应的第三美颜参数,其中所述历史参数模型是根据历史美颜图像进行训练得到的;根据所述第一美颜参数、第二美颜参数和第三美颜参数获取目标美颜参数。

在一个实施例中,美颜处理模块1210还用于根据所述目标美颜参数对所述第三处理单元中的各个美颜模块的标志位进行赋值;根据各个美颜模块的标志位的值,获取用于进行美颜处理的美颜模块;将所述目标美颜参数输入到获取的美颜模块中,对所述待处理图像进行美颜处理。

上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行以下步骤:

通过终端的第一处理单元获取待处理图像,根据所述待处理图像获取人脸特征参数,并将所述人脸特征参数发送至所述终端的第二处理单元,将所述待处理图像发送至所述终端的第三处理单元;

通过所述第二处理单元接收所述第一处理单元发送的所述人脸特征参数,获取所述待处理图像对应的环境参数,根据所述人脸特征参数和环境参数获取目标美颜参数,并将所述目标美颜参数发送至所述终端的第三处理单元;

通过所述第三处理单元接收所述第二处理单元发送的所述目标美颜参数,接收所述第一处理单元发送的所述待处理图像,并根据所述目标美颜参数将所述待处理图像进行美颜处理。

在一个实施例中,所述处理器执行的所述通过终端的第一处理单元获取待处理图像之前还包括:

通过终端的图像信号处理器获取成像设备生成的原始图像,根据所述原始图像生成待处理图像,并将所述待处理图像上传至所述终端的第一处理单元;

所述通过终端的第一处理单元获取待处理图像包括:

通过所述终端的第一处理单元接收所述图像信号处理器上传的待处理图像。

在一个实施例中,所述处理器执行的所述根据所述待处理图像获取人脸特征参数包括:

检测所述待处理图像中的人脸区域,通过特征识别模型获取所述人脸区域对应的人脸特征参数,其中所述特征识别模型是通过人脸样本集合训练得到的。

在一个实施例中,所述处理器执行的所述根据所述人脸特征参数和环境参数获取目标美颜参数包括:

根据所述人脸特征参数获取第一美颜参数,并根据所述环境参数获取第二美颜参数;

根据所述第一美颜参数和第二美颜参数获取目标美颜参数。

在一个实施例中,所述处理器执行的所述方法还包括:

通过所述第一处理单元将所述待处理图像发送给所述第二处理单元;

通过所述第二处理单元接收所述待处理图像,并根据历史参数模型获取所述待处理图像对应的第三美颜参数,其中所述历史参数模型是根据历史美颜图像进行训练得到的;

所述根据所述第一美颜参数和第二美颜参数获取目标美颜参数包括:

根据所述第一美颜参数、第二美颜参数和第三美颜参数获取目标美颜参数。

在一个实施例中,所述处理器执行的所述方法还包括:

通过所述终端的图像信号处理器获取所述待处理图像对应的环境参数,并将所述环境参数上传至所述第二处理单元;

获取所述待处理图像对应的环境参数包括:

通过所述第二处理单元接收所述图像信号处理器上传的所述环境参数。

在一个实施例中,所述处理器执行的所述根据所述目标美颜参数将所述待处理图像进行美颜处理包括:

根据所述目标美颜参数对各个美颜模块的各个美颜模块的标志位进行赋值;

根据各个美颜模块的标志位的值,获取用于进行美颜处理的美颜模块;

将所述目标美颜参数输入到获取的美颜模块中,对所述待处理图像进行美颜处理。

本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图13为一个实施例中图像处理电路的示意图。如图13所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图13所示,图像处理电路包括isp处理器1340和控制逻辑器1350。成像设备1310捕捉的图像数据首先由isp处理器1340处理,isp处理器1340对图像数据进行分析以捕捉可用于确定和/或成像设备1310的一个或多个控制参数的图像统计信息。成像设备1310可包括具有一个或多个透镜1312和图像传感器1314的照相机。图像传感器1314可包括色彩滤镜阵列(如bayer滤镜),图像传感器1314可获取用图像传感器1314的每个成像像素捕捉的光强度和波长信息,并提供可由isp处理器1340处理的一组原始图像数据。传感器1320(如陀螺仪)可基于传感器1320接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器1340。传感器1320接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器1314也可将原始图像数据发送给传感器1320,传感器1320可基于传感器1320接口类型把原始图像数据提供给isp处理器1340,或者传感器1320将原始图像数据存储到图像存储器1330中。

isp处理器1340按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp处理器1340可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

isp处理器1340还可从图像存储器1330接收图像数据。例如,传感器1320接口将原始图像数据发送给图像存储器1330,图像存储器1330中的原始图像数据再提供给isp处理器1340以供处理。图像存储器1330可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像传感器1314接口或来自传感器1320接口或来自图像存储器1330的原始图像数据时,isp处理器1340可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1330,以便在被显示之前进行另外的处理。isp处理器1340还可从图像存储器1330接收处理数据,对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1380,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp处理器1340的输出还可发送给图像存储器1330,且显示器1380可从图像存储器1330读取图像数据。在一个实施例中,图像存储器1330可被配置为实现一个或多个帧缓冲器。此外,isp处理器1340的输出可发送给编码器/解码器1370,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1380设备上之前解压缩。

isp处理器1340处理图像数据的步骤包括:对图像数据进行vfe(videofrontend,视频前端)处理和cpp(camerapostprocessing,摄像头后处理)处理。对图像数据的vfe处理可包括修正图像数据的对比度或亮度值、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的cpp处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,cpp可使用不同的编解码器来处理预览帧和记录帧。isp处理器1340处理后的图像数据可发送给美颜模块1360,以便在被显示之前对图像进行美颜处理。美颜模块1360对图像数据美颜处理可包括:美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中,美颜模块1360可为移动终端中cpu(centralprocessingunit,中央处理器)、gpu或协处理器等。美颜模块1360处理后的数据可发送给编码器/解码器1370,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1380设备上之前解压缩。其中,美颜模块1360还可位于编码器/解码器1370与显示器1380之间,即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器1370可为移动终端中cpu、gpu或协处理器等。

isp处理器1340确定的统计数据可发送给控制逻辑器1350单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1312阴影校正等图像传感器1314统计信息。控制逻辑器1350可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备1310的控制参数以及isp处理器1340的控制参数。例如,成像设备1310的控制参数可包括传感器1320控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1312控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜1312阴影校正参数。

运用图13中图像处理技术可实现上述实施例提供的图像处理方法。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1