图像处理方法、装置、设备和存储介质与流程

文档序号:26396215发布日期:2021-08-24 16:06阅读:101来源:国知局
图像处理方法、装置、设备和存储介质与流程

本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、一种电子设备和一种存储介质。



背景技术:

随着移动通信技术的迅速发展,以智能手机为首的电子设备已成为人们生活中各方面不可或缺的工具。电子设备的各种应用程序(application,app)的功能也逐渐完善,不再只是单纯地起到通信作用,较多的是为用户提供各种智能化服务,给用户工作、生活带来了极大的便利。

作为电子设备的核心功能之一,拍摄与图像处理功能逐渐发展,使得增强现实(augmentedreality,ar)功能在拍摄与图像处理上的应用越来越广泛。然而,现有技术中,ar效果的实现通常是颜色的单纯混合,比如将虚拟对象的颜色与真实对象的颜色之间进行混合,导致现有的ar拍摄以及修图效果的真实性较差。



技术实现要素:

本申请实施例提供了一种图像处理方法,以解决现有技术中,ar拍摄效果以及ar修图效果的真实性较差的问题。

相应的,本申请实施例还提供了一种图像处理装置、一种电子设备以及一种存储介质,用以保证上述方法的实现及应用。

为了解决上述问题,本申请实施例公开了一种图像处理方法,所述方法包括:

获取原始图像的环境光信息;

将目标颜色与所述原始图像中的目标区域进行底色混合;

将所述环境光信息添加在底色混合后的目标区域中。

本申请实施例还公开了一种图像生成方法,所述方法包括:

实时获取包括目标对象的原始图像;

获取所述原始图像的环境光信息;

将目标颜色与所述目标对象的目标区域进行底色混合;

将所述环境光信息添加在底色混合后的目标区域中,得到目标图像。

本申请实施例还公开了一种图像处理方法,所述方法包括:

接收对原始图像进行图像处理的输入操作;

响应于所述输入操作,获取原始图像的环境光信息;

将目标颜色与所述原始图像中的目标区域进行底色混合;

将所述环境光信息添加在底色混合后的目标区域中。

本申请实施例还公开了一种图像处理装置,所述装置包括:

环境光获取模块,用于获取原始图像的环境光信息;

底色混合模块,用于将目标颜色与所述原始图像中的目标区域进行底色混合;

环境光添加模块,用于将所述环境光信息添加在底色混合后的目标区域中。

本申请实施例还公开了一种图像生成装置,所述装置包括:

拍摄模块,用于实时获取包括目标对象的原始图像;

第一获取模块,用于获取所述原始图像的环境光信息;

第一混合模块,用于将目标颜色与所述目标对象的目标区域进行底色混合;

第一添加模块,用于将所述环境光信息添加在底色混合后的目标区域中得到目标图像。

本申请实施例还公开了一种图像处理装置,所述装置包括:

接收模块,用于接收对原始图像进行图像处理的输入操作;

响应模块,用于响应于所述输入操作获取原始图像的环境光信息;

第二混合模块,用于将目标颜色与所述原始图像中的目标区域进行底色混合;

第二添加模块,用于将所述环境光信息添加在底色混合后的目标区域中。

本申请实施例还公开了一种电子设备,包括:处理器;和存储器,其上存储有可执行代码,当所述可执行代码被执行时,使得所述处理器执行如本申请实施例中一个或多个所述的方法。

本申请实施例还公开了一个或多个机器可读存储介质,其上存储有可执行代码,当所述可执行代码被执行时,使得处理器执行如本申请实施例中一个或多个所述的方法。

与现有技术相比,本申请实施例包括以下优点:

本申请实施例中,获取原始图像的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合片;最后将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

附图说明

图1是本申请实施例的一种图像处理场景示意图;

图2是本申请实施例的另一种图像处理场景示意图;

图3是本申请的一种图像处理方法实施例的步骤流程图;

图4是本申请的一种图像生成方法实施例的步骤流程图;

图5是本申请的另一种图像处理方法实施例的步骤流程图;

图6是本申请的一种图像处理装置实施例的结构框图;

图7是本申请的一种图像生成装置可选实施例的结构框图;

图8是本申请的一种图像处理装置实施例的结构框图;

图9是本申请一实施例提供的装置的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例中提供的图像处理方法可应用于图像处理领域或拍摄领域,图像处理领域例如美妆、修图;拍摄例如美颜拍摄,ar拍摄等,通过原始图像中的环境光信息生成高光纹理,最终将高光纹理添加在处理后的图像,增强图像的真实感。ar拍摄例如在所拍摄的原始图像中添加虚拟物体等。

如图1所示,图1示出了本申请实施例的一应用场景示意图。图1中以对用户指甲区域进行图像处理,添加指甲颜色为例说明,图1中p1为原始图像;p2为从原始图像中提取包括用户指甲部分的目标区域的图像示意;p4为目标颜色的图像示意,即用户选定的要添加在指甲上的颜色;p5为p2、p4进行底色混合得到的底色混合区域的图像示意;p6为目标区域的环境光信息的图像示意;p7为最终的目标图像,即对用户的指甲进行添加颜色,同时添加了环境光信息的指甲图像。

本申请实施例提供的图像处理方法,可应用于拍摄以及图像处理场景中,拍摄例如在拍摄同时提供美妆功能,比如对眼部添加眼影,对唇部添加口红,对脸颊添加腮红,对面部肤色整体调整等;例如在美妆商品售卖的场景中,可以提供上述在线试妆功能,帮助用户根据试妆效果选购商品;或者染发产品,帮助用户根据染发产品的发色试妆效果选购染发产品;除美妆产品,还可以是实体产品,例如眼镜、帽子、口罩等,可以提供试戴功能帮助用户选购商品;拍摄还包括ar拍摄;图像处理例如修图,同样进行上述美妆操作。除面部之外,还可用于其他部位的肤色调整。

本申请实施例提供的图像处理方法,可应用于电子设备,所述电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,以及各种形式的移动台(mobilestation,ms),终端设备(terminaldevice)等等。

结合图1,本申请实施例提供的图像处理方法,包括以下步骤:

步骤101,获取原始图像的环境光信息。

原始图像(如图1中p1所示)即处理前的图像,原始图像可以是电子设备中存储的图像,或所述电子设备拍摄的图像。比如,在拍摄场景中,电子设备接收到拍摄指令时拍摄得到原始图像;在图像处理场景中,电子设备对存储的原始图像进场图像处理。视频拍摄场景或视频处理场景中,原始图像为视频中的图像帧。

环境光信息可以是原始图像中整体的环境光信息,也可以是目标区域的环境光信息;目标区域(如图1中p2所示)可以为用户指定的区域,或电子设备检测到的区域,或ar拍摄中虚拟物对应的区域;目标区域为被进行图像处理的区域,比如用户选择特定的美妆操作,则根据用户所选择的美妆操作确定美妆操作对应的目标区域;比如美妆操作为美甲,则目标区域为用户每个指甲所在区域;美妆操作为面部美白,则目标区域为用户面部所在区域;ar拍摄操作,则目标区域为虚拟物对应的区域。

步骤102,将目标颜色与所述原始图像中的目标区域进行底色混合。

目标颜色为待添加在目标区域的颜色,以对指甲添加颜色处理为例,目标颜色(图1中p4所示)为用户选择的或用户未选择默认即将添加到指甲上的颜色;将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合区域,底色混合区域即底色混合后的目标区域,结合图1,将p2、p4混合得到p5,p5为包括底色混合区域的图像,底色混合区域即进行底色混合后的指甲区域。

需要说明的是,目标颜色可以是单一的颜色,例如对指甲添加颜色;还可以是多种颜色,比如在ar拍摄中添加虚拟物,不同的像素点可以对应不同的颜色。

步骤103,将所述环境光信息添加在底色混合后的目标区域中。

得到包括底色混合后的目标区域的图像后,将环境光信息添加在底色混合后的目标区域中,得到目标图像。目标图像可以是图像拍摄场景中所得的图像,还可以是视频拍摄场景中所拍摄的视频帧。环境光信息包括高光纹理,高光纹理为根据原始图像的灰度信息(即亮度信息)生成的,亮度信息为图像初始的亮度信息;而图像的亮度信息是根据环境的亮度得到的,因此,使用这样的高光纹理叠加得到高光,会跟随环境亮度的变化而变化,通过为底色混合后的目标区域添加高光纹理,得到自然的环境光效果,从而使得最终的目标图像更加真实。

作为第一示例,仍以对用户指甲区域进行图像处理,添加指甲颜色为例,用户通过电子设备拍摄指甲区域得到原始图像,并选定在指甲上添加的目标颜色;电子设备获取包括指甲区域的目标区域,根据目标区域的灰度信息生成该区域的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合。环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加底色混合后的目标区域中,得到目标图像。

具体的,结合图1,用户在电子设备中选择美甲功能,并选定目标颜色,目标颜色如图1中p4所示;电子设备拍摄包括用户指甲的目标区域的原始图像,如图1中p1所示;然后从原始图像中识别并分割得到包括目标区域的图像,如图1中p2所示;根据目标区域的灰度信息生成该区域的环境光信息,环境光信息中携带指甲区域的环境光信息,如图1中p6所示;将所述滤波区域、用户选定的目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,如图1中p5所示,最终将高光纹理添加在底色混合后的目标区域上,在目标图像中添加原始图像中的环境光信息,如图1中p7所示,得到真实感较强的目标图像。此目标图像中,指甲区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在指甲区域保留了原始图像中的环境光信息,使得最终得到的目标图像的真实感较强。

作为第二示例,再以对用户的唇部进行添加口红处理为例,用户通过电子设备拍摄唇部区域得到原始图像,并选定在唇部上添加的目标颜色;电子设备获取包括唇部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加在底色混合后的目标区域中,得到最终的目标图像;此目标图像中,唇部区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在唇部区域保留了原始图像中的环境光信息,使得目标图像的真实感较强。上述示例中,除指甲之外,还应用于对眼部添加眼影,对唇部添加口红,对脸颊添加腮红,对面部肤色整体调整等操作,具体过程本申请实施例在此不再赘述。

作为第三示例,以ar拍摄处理为例,用户通过电子设备拍摄面部区域得到原始图像,并选定在面部上添加的目标虚拟物的目标颜色(目标虚拟物的不同像素点对应的颜色可能不同);电子设备获取包括面部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,最终将环境光信息添加在底色混合后的目标区域中,得到目标图像;此目标图像中,面部区域不仅添加了目标虚拟物,还添加了随环境光变化而变化的高光纹理,在面部区域保留了原始图像中的环境光信息。

本申请实施例中,获取原始图像的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合片;最后将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合后的目标区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得最终得到的目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。本申请实施例解决了现有技术中,ar拍摄效果以及ar修图效果的真实性较差的问题。

在一个可选实施例中,所述生成所述目标区域的高光纹理的步骤,包括步骤1021至步骤1024。

具体的,步骤1021,获取原始图像的目标区域的灰度信息。

灰度信息包括所述目标区域的每个像素点的灰度值,灰度使用黑色调表示物体,即以黑色为基准色,用不同的饱和度的黑色来显示图像。每个灰度对象都具有从0%(白色)到100%(黑色)的亮度值,即灰度值。

可选的,在获取原始图像的目标区域的灰度信息的过程中,可以根据原始图像中目标区域的每个像素点的rgb值,确定该像素点对应的灰度值,以得到包括目标区域所有像素点的灰度信息。

在灰度图像中,灰度值等于亮度值,因此为了得到亮度信息,需对图像灰度化处理得到原始图像的灰度图像;例如,采用如下第一公式,对原图进行灰度化处理,得到灰度值gray,以确定亮度;

第一公式为:

gray=r*0.299+g*0.587+b*0.114;

其中,gray为每个像素点的灰度值,r、g、b分别表示该像素点的颜色的rgb参数,可以理解的是,第一公式中,r、g、b的系数均可以调整。

步骤1022,根据所述灰度信息,确定所述目标区域的亮度参考信息。

在灰度图像中,灰度值等于亮度值;得到每个像素点的灰度值之后,可以根据灰度信息生成灰度直方图(即亮度直方图)。亮度直方图是关于亮度级分布的函数,它表示图像中具有某种亮度级的像素的个数,是对图像中亮度级分布的统计。亮度直方图是将数字图像中的所有像素,按照亮度值的大小,统计其出现的频率。得到亮度直方图之后,根据亮度直方图统计目标区域的亮度参考信息。

所述亮度参考信息包括亮度区间值、亮度抑制值以及最大亮度值。

具体的,所述亮度区间值为第一亮度值与第二亮度值之间的差值;

所述第一亮度值为对所述目标区域的像素点亮度由高及低排序,排名为第一百分比的亮度;

所述第二亮度值为排名为第二百分比的亮度;第一亮度值高于第二亮度值,比如在亮度直方图中对像素点亮度由高及低排序,将排名1%的亮度值作为第一亮度值high_light,5%的作为第二亮度值low_light,则亮度区间值light_range=high_light-low_light。

所述亮度抑制值lightsuppress为所述最大亮度值light_max与预设亮度阈值之间的比值,比如对于8位灰度图像,其亮度阈值为255,则有lightsuppress=light_max/255.0。

步骤1023,根据所述亮度参考信息以及所述灰度信息中每个像素点的灰度值,确定每个所述像素点的高光值。

高光指光源照射到物体然后反射到人的眼睛里时,通常情况下,物体上最亮的那个点就是高光,是物体直接反射光源的部分。根据亮度区间值、亮度抑制值、最大亮度值以及每个像素点的灰度值,确定每个所述像素点的高光值。具体的,在一个可选实施例中,所述根据所述亮度参考信息以及所述灰度信息中每个像素点的灰度值,确定每个所述像素点的高光值,包括:

根据所述亮度区间值、所述最大亮度值以及所述灰度信息中每个像素点的灰度值,确定每个像素点的亮度处理权重;亮度处理权重gloss_weight用于确定每个像素点与亮度区间值进行乘积时的权重。

根据所述灰度值、所述亮度处理权重以及所述亮度抑制值,确定每个所述像素点的高光值;其中,所述高光值为所述灰度值、所述亮度处理权重的平方与所述亮度区间值的连乘积,比如,如以下第二公式所示:

第二公式:

gloss=gray*gloss_weight*gloss_weight*lightsuppress;

其中,gloss表示该像素点的高光值,gloss_weight表示亮度处理权重,lightsuppress表示该像素点的亮度抑制值。

得到每个像素点的高光值之后,根据每个所述像素点的高光值,按照像素点的排布顺序,生成所述目标区域的高光纹理。在计算高光值的过程中,不需要额外的算法进行光照估计且不涉及到三维渲染,可实现快速计算。

在一个可选实施例中,所述根据所述亮度区间值、所述最大亮度值以及所述灰度信息中每个像素点的灰度值,确定每个像素点的亮度处理权重,包括:

若所述像素点的灰度值大于所述第二亮度值,则所述像素点的亮度处理权重为第一比值与第一预设权重阈值之间的最小值;所述第一比值为第一差值与所述亮度区间值得比值,所述第一差值为所述灰度值与第二亮度值之间的差值;

也就是说,若gray>low_light,

则gloss_weight=min{(gray-low_light)/light_range,x};

gray表示像素点的灰度值,low_light表示第二亮度值,light_range表示亮度抑制值,x表示第一预设权重阈值,比如为1。

若所述像素点的灰度值小于或等于所述第二亮度值,则所述像素点的亮度处理权重为第二预设权重阈值。

若gray≤low_light,

则gloss_weight=y;y表示第二预设权重阈值,比如为0。

步骤1024,根据每个所述像素点的高光值,生成所述目标区域的高光纹理;所述高光纹理为所述原始图像的环境光信息。

基于高光值生成目标区域的高光纹理;具体的,高光纹理即包括高光的纹理;高光,指画面调子(调子是指画面不同明度的黑白层次)中最亮的一个点,表现的是物体直接反射光源的部分。通过将高光保存到纹理上,以保存物体接收到的环境光信息。在计算高光值的过程中,不需要额外的算法进行光照估计且不涉及到三维渲染,可实现快速计算;结合周围环境的信息计算目标区域的高光纹理,使用此高光纹理为目标区域添加自然的环境光效果。

在一个可选实施例中,所述将目标颜色与所述原始图像中的目标区域进行底色混合,包括:

对所述原始图像中的目标区域进行滤波,得到滤波区域;滤波用于平滑目标区域的边缘,通过改变边缘区域的像素点灰度值,对目标区域的边缘进行光滑处理。

将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域。

作为第四示例,结合图2,滤波区域(如图2中p3所示)为对所述目标区域进行滤波得到的;可选的,滤波方式可以为高斯滤波;高斯滤波是一种线性平滑滤波,用于消除高斯噪声;在数字图像领域,高斯噪声的来源主要出现在图采集期间,由于不良照明和/或高温引起的传感器噪声。具体的,高斯滤波就是对整幅图像进行加权求平均值的过程,对于每一个像素点的灰度值,都由其本身和邻域内的其他像素值经过加权平均后得到。通过对目标区域进行高斯滤波消除其中的高斯噪声,得到增强的滤波区域。

结合图2,用户在电子设备中选择美甲功能,并选定目标颜色,目标颜色如图2中p4所示;电子设备拍摄包括用户指甲的目标区域的原始图像,如图2中p1所示;然后从原始图像中识别并分割得到包括目标区域的图像,如图2中p2所示;根据目标区域的灰度信息生成该区域的高光纹理,高光纹理中携带指甲区域的环境光信息,如图2中p6所示;以及对目标区域滤除噪声得到滤波区域,如图2中p3所示;将所述滤波区域、用户选定的目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,如图2中p5所示,最终将高光纹理添加在底色混合后的目标区域上,在目标图像中添加原始图像中的环境光信息,如图2中p7所示,得到真实感较强的目标图像。此目标图像中,指甲区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在指甲区域保留了原始图像中的环境光信息,使得最终得到的目标图像的真实感较强。

结合图2,仍以对指甲添加颜色处理为例,电子设备获取预先存储的指甲图像或临时拍摄的指甲图像为例,对指甲图像进行处理,获取包括指甲区域的目标区域,根据目标区域的灰度信息生成该区域的高光纹理,以及对目标区域滤除噪声得到滤波区域。

在一个可选实施例中,所述对所述原始图像中的目标区域进行滤波,得到滤波区域,包括:

步骤1011,对所述原始图像进行图像分割,得到所述目标区域;

步骤1012,获取所述目标区域的分割置信度参数;

步骤1013,对所述分割置信度参数进行高斯滤波,得到滤波区域。

目标区域(如图1中p2所示)可以为用户指定的区域,或电子设备检测到的区域,或ar拍摄中虚拟物对应的区域;目标区域为被进行图像处理的区域,比如用户选择特定的美妆操作,则根据用户所选择的美妆操作确定美妆操作对应的目标区域;比如美妆操作为美甲,则目标区域为用户每个指甲所在区域;ar拍摄操作,则目标区域为虚拟物对应的区域。

确定目标区域后,获取所述目标区域的分割置信度参数;置信度即可靠度,分割置信度参数表示目标区域识别正确的概率;对所述分割置信度参数进行高斯滤波,得到滤波区域,高斯滤波是一种线性平滑滤波,用于消除高斯噪声;在数字图像领域,高斯噪声的来源主要出现在图采集期间,由于不良照明和/或高温引起的传感器噪声,通过对目标区域进行高斯滤波消除其中的高斯噪声,得到增强的滤波区域。

在一个可选实施例中,所述将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,包括:

步骤1025,对于每个像素点,将所述目标区域的颜色参数值、目标颜色的颜色参数值与所述滤波区域的颜色参数值连乘得到第一混合参数;比如针对目标区域的某个像素点,第一混合参数=(srcimg*dstcolor)*maskblur,srcimg表示该像素点在目标区域的颜色参数值,dstcolor表示该像素点在目标颜色中的颜色参数值,maskblur表示该像素点在滤波区域的颜色参数值。可以理解的是,本申请实施例中提及的颜色参数,均为rgb参数。

步骤1026,将第一预设数值与所述滤波区域的颜色参数值的差值,与所述目标区域的颜色参数值相乘得到第二混合参数;比如第二混合参数=(srcimg)*(m-maskblur),第一预设数值为m,比如为1。

步骤1027,将所述第一混合参数与所述第二混合参数相加,得到所述像素点的颜色参数;如以下第三公式所示,

baseimg=(srcimg*dstcolor)*maskblur+(srcimg)*(1-maskblur)

其中,baseimg表示像素点的颜色参数。

步骤1028,根据每个所述像素点的颜色参数,得到底色混合后的目标区域。

得到每个像素点的颜色参数之后,按照每个像素点在所述目标区域中的位置,排列得到底色混合后的目标区域。

在一个可选实施例中,所述将所述环境光信息添加在所述底色混合后的目标区域中,包括:

确定所述底色混合后的目标区域中的像素点的目标颜色参数;所述目标颜色参数为第二预设数值减去目标数值的差值;

其中,所述目标数值为底色参数与高光参数的乘积,

所述底色参数为第三预设数值减去所述像素点在所述底色混合后的目标区域的颜色参数所得的差值,令底色参数为n-baseimg,n表示第三预设数值,比如为1;

所述高光参数为第四预设数值减去所述像素点的高光值所得的差值,令高光参数为p-gloss,p为第四预设数值,比如为1。

如以下第四公式所示,

glossimg=q-(n-baseimg)*(p-gloss)

其中,glossimg表示目标颜色参数;q表示第二预设数值,比如为1。

在一个可选实施例中,所述将所述环境光信息添加在底色混合后的目标区域中之后,所述方法包括:

将高光区域与所述目标区域按照目标权重混合处理,得到目标图像;

所述高光区域为添加所述环境光信息之后的所述底色混合后的目标区域。

目标混合权重为高光添加区域与目标区域混合时的混合权重,设定不同的混合权重,直观效果环境光的添加浓度不同,比如,若用户希望添加较多的环境光,则可选择较高的混合权重;可选地,可采用如下第五公式,将高光添加区域与所述目标区域混合处理;

第五公式:

outputimg=glossimg*intensity+srcimg*(1-intensity);

其中,glossimg表示像素点在高光添加区域的目标颜色参数;intensity表示所述混合权重,srcimg表示像素点在目标区域的颜色参数。

作为第五示例,以对指甲添加颜色为例,本申请实施例提供的图像处理方法,主要包括以下步骤:

步骤(1):获取电子设备的摄像头拍摄的原始图像srcimg,使用深度学习分割算法,获取指甲区域所在的目标区域,并获取目标区域的分割置信度参数mask;

步骤(2):对步骤(1)中的mask进行高斯滤波,得到滤波区域maskblur;

步骤(3):对原始图像进行灰度化处理,得到灰度图srcgray,灰度公式如下:

gray=r*0.299+g*0.587+b*0.114;

其中,gray表示像素点的灰度值(对于灰度图而言,灰度也可称为亮度),r、g、b分别表示红、绿、蓝通道的值。

步骤(4):根据步骤(2)得到的maskblur和步骤(3)得到的srcgray,得到指甲区域的目标灰度图nailgray;

步骤(5):根据步骤(4)的nailgray,计算指甲区域的亮度直方图nailhistogram;

步骤(6):根据步骤(5)中的亮度直方图或步骤(4)的目标灰度图nailgray,计算出前1%、3%、5%的亮度排序亮度值,

分别记为第一亮度值high_light、中间亮度值mid_light、第二亮度值low_light,同时计算出指甲区域最大亮度值light_max;

步骤(7):根据步骤(6)得到的值,计算亮度区间值light_range=high_light-low_light;

步骤(8):根据步骤(6),计算亮度抑制值lightsuppress=light_max/255.0;

步骤(9):根据步骤(4)的目标灰度图nailgray、步骤(6)、步骤(7)计算所得值,计算指甲亮度处理权重nail_gloss_weight,公式如下:

若srcgray>low_light,则nail_gloss_weight=min((srcgray-low_light)/light_range,1.0);

若srcgray<low_light,则nail_gloss_weight=0;

步骤(10):根据步骤(4)的灰度图nailgray、步骤(9)得到的亮度处理权重nail_gloss_weight、步骤(8)得到的亮度抑制值lightsuppress,计算指甲的高光值nail_gloss,计算公式如下:

nail_gloss=nailgray*nail_gloss_weight*nail_gloss_weight*lightsuppress;

步骤(11):根据步骤(10)得到的nail_gloss,生成高光纹理nail_gloss_tex;

步骤(12):使用步骤(1)的srcimg、步骤(2)得到的maskblur,目标颜色dstcolor,进行底色混合,得到底色混合后的目标区域baseimg;

混合公式如下:

baseimg=(srcimg*dstcolor)*maskblur+(srcimg)*(1-maskblur)

步骤(13):使用步骤(11)得到的高光纹理对步骤(12)中的baseimg进行叠加高光,得到高光添加区域glossimg,公式如下:

glossimg=1-(1-baseimg)*(1-nail_gloss)rgb

步骤(14):使用步骤(13)的高光结果和目标权重intensity(指定的混合浓度权重)进行混合,得到最终结果目标图像outputimg,公式如下:

outputimg=glossimg*intensity+srcimg*(1-intensity)

目标图像outputimg中,指甲区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在指甲区域保留了原始图像中的环境光信息,使得目标图像的真实感较强。

本申请实施例中,获取原始图像的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合片;最后将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合后的目标区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

参照图3,示出了本申请实施例的一种图像处理方法实施例的步骤流程图,所述方法可应用于图像处理领域或拍摄领域,图像处理领域例如美妆、修图;拍摄例如美颜拍摄,ar拍摄等,通过原始图像中的环境光信息生成高光纹理,最终将高光纹理添加在处理后的图像,增强图像的真实感。ar拍摄例如在所拍摄的原始图像中添加虚拟物体等。

如图3所示,所述方法包括以下步骤:

步骤301,获取原始图像的环境光信息。

原始图像(如图1中p1所示)即处理前的图像,原始图像可以是电子设备中存储的图像,或所述电子设备拍摄的图像。比如,在拍摄场景中,电子设备接收到拍摄指令时拍摄得到原始图像;在图像处理场景中,电子设备对存储的原始图像进场图像处理。视频拍摄场景或视频处理场景中,原始图像为视频中的图像帧。

环境光信息可以是原始图像中整体的环境光信息,也可以是目标区域的环境光信息;目标区域(如图1中p2所示)可以为用户指定的区域,或电子设备检测到的区域,或ar拍摄中虚拟物对应的区域;目标区域为被进行图像处理的区域,比如用户选择特定的美妆操作,则根据用户所选择的美妆操作确定美妆操作对应的目标区域;比如美妆操作为美甲,则目标区域为用户每个指甲所在区域;美妆操作为面部美白,则目标区域为用户面部所在区域;ar拍摄操作,则目标区域为虚拟物对应的区域。

步骤302,将目标颜色与所述原始图像中的目标区域进行底色混合。

目标颜色为待添加在目标区域的颜色,以对指甲添加颜色处理为例,目标颜色(图1中p4所示)为用户选择的或用户未选择默认即将添加到指甲上的颜色;将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合区域,底色混合区域即底色混合后的目标区域,结合图1,将p2、p4混合得到p5,p5为包括底色混合区域的图像,底色混合区域即进行底色混合后的指甲区域。

需要说明的是,目标颜色可以是单一的颜色,例如对指甲添加颜色;还可以是多种颜色,比如在ar拍摄中添加虚拟物,不同的像素点可以对应不同的颜色。

步骤303,将所述环境光信息添加在底色混合后的目标区域中。

得到包括底色混合后的目标区域的图像后,将环境光信息添加在底色混合后的目标区域中,得到目标图像。目标图像可以是图像拍摄场景中所得的图像,还可以是视频拍摄场景中所拍摄的视频帧。环境光信息包括高光纹理,高光纹理为根据原始图像的灰度信息(即亮度信息)生成的,亮度信息为图像初始的亮度信息;而图像的亮度信息是根据环境的亮度得到的,因此,使用这样的高光纹理叠加得到高光,会跟随环境亮度的变化而变化,通过为底色混合后的目标区域添加高光纹理,得到自然的环境光效果,从而使得最终的目标图像更加真实。

作为第一示例,仍以对用户指甲区域进行图像处理,添加指甲颜色为例,用户通过电子设备拍摄指甲区域得到原始图像,并选定在指甲上添加的目标颜色;电子设备获取包括指甲区域的目标区域,根据目标区域的灰度信息生成该区域的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合。环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加在底色混合后的目标区域中,得到目标图像。

具体的,结合图1,用户在电子设备中选择美甲功能,并选定目标颜色,目标颜色如图1中p4所示;电子设备拍摄包括用户指甲的目标区域的原始图像,如图1中p1所示;然后从原始图像中识别并分割得到包括目标区域的图像,如图1中p2所示;根据目标区域的灰度信息生成该区域的环境光信息,环境光信息中携带指甲区域的环境光信息,如图1中p6所示;将所述滤波区域、用户选定的目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,如图1中p5所示,最终将高光纹理添加在底色混合后的目标区域上,在目标图像中添加原始图像中的环境光信息,如图1中p7所示,得到真实感较强的目标图像。此目标图像中,指甲区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在指甲区域保留了原始图像中的环境光信息,使得最终得到的目标图像的真实感较强。

作为第二示例,再以对用户的唇部进行添加口红处理为例,用户通过电子设备拍摄唇部区域得到原始图像,并选定在唇部上添加的目标颜色;电子设备获取包括唇部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加在底色混合后的目标区域中,得到最终的目标图像;此目标图像中,唇部区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在唇部区域保留了原始图像中的环境光信息,使得目标图像的真实感较强。上述示例中,除指甲之外,还应用于对眼部添加眼影,对唇部添加口红,对脸颊添加腮红,对面部肤色整体调整等操作,具体过程本申请实施例在此不再赘述。

作为第三示例,以ar拍摄处理为例,用户通过电子设备拍摄面部区域得到原始图像,并选定在面部上添加的目标虚拟物的目标颜色(目标虚拟物的不同像素点对应的颜色可能不同);电子设备获取包括面部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,最终将环境光信息添加在底色混合后的目标区域中,得到目标图像;此目标图像中,面部区域不仅添加了目标虚拟物,还添加了随环境光变化而变化的高光纹理,在面部区域保留了原始图像中的环境光信息。

在一个可选实施例中,所述获取原始图像的环境光信息,包括:

获取原始图像的目标区域的灰度信息;

根据所述灰度信息,确定所述目标区域的亮度参考信息;

根据所述亮度参考信息以及所述灰度信息中每个像素点的灰度值,确定每个所述像素点的高光值;

根据每个所述像素点的高光值,生成所述目标区域的高光纹理;所述高光纹理为所述原始图像的环境光信息。

在一个可选实施例中,所述亮度参考信息包括亮度区间值、亮度抑制值以及最大亮度值;

其中,所述亮度区间值为第一亮度值与第二亮度值之间的差值;

所述第一亮度值为对所述目标区域的像素点亮度由高及低排序,排名为第一百分比的亮度;

所述第二亮度值为排名为第二百分比的亮度;所述亮度抑制值为所述最大亮度值与预设亮度阈值之间的比值。

在一个可选实施例中,所述根据所述亮度参考信息以及所述灰度信息中每个像素点的灰度值,确定每个所述像素点的高光值,包括:

根据所述亮度区间值、所述最大亮度值以及所述灰度信息中每个像素点的灰度值,确定每个像素点的亮度处理权重;

根据所述灰度值、所述亮度处理权重以及所述亮度抑制值,确定每个所述像素点的高光值。

在一个可选实施例中,所述根据所述亮度区间值、所述最大亮度值以及所述灰度信息中每个像素点的灰度值,确定每个像素点的亮度处理权重,包括:

若所述像素点的灰度值大于所述第二亮度值,则所述像素点的亮度处理权重为第一比值与第一预设权重阈值之间的最小值;

其中,所述第一比值为第一差值与所述亮度区间值得比值,所述第一差值为所述灰度值与第二亮度值之间的差值;

若所述像素点的灰度值小于或等于所述第二亮度值,则所述像素点的亮度处理权重为第二预设权重阈值。

在一个可选实施例中,所述高光值为所述灰度值、所述亮度处理权重的平方与所述亮度区间值的连乘积。

在一个可选实施例中,所述将目标颜色与所述原始图像中的目标区域进行底色混合,包括:

对所述原始图像中的目标区域进行滤波,得到滤波区域;

将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域。

在一个可选实施例中,所述对所述原始图像中的目标区域进行滤波,得到滤波区域,包括:

对所述原始图像进行图像分割,得到所述目标区域;

获取所述目标区域的分割置信度参数;

对所述分割置信度参数进行高斯滤波,得到滤波区域。

在一个可选实施例中,所述将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,包括:

对于每个像素点,将所述目标区域的颜色参数值、目标颜色的颜色参数值与所述滤波区域的颜色参数值连乘得到第一混合参数;

将第一预设数值与所述滤波区域的颜色参数值的差值,与所述目标区域的颜色参数值相乘得到第二混合参数;

将所述第一混合参数与所述第二混合参数相加,得到所述像素点的颜色参数;

根据每个所述像素点的颜色参数,得到底色混合后的目标区域。

在一个可选实施例中,所述将所述环境光信息添加在所述底色混合后的目标区域中,包括:

确定所述底色混合后的目标区域中的像素点的目标颜色参数;所述目标颜色参数为第二预设数值减去目标数值的差值;

其中,所述目标数值为底色参数与高光参数的乘积,所述底色参数为第三预设数值减去所述像素点在所述底色混合后的目标区域的颜色参数所得的差值,所述高光参数为第四预设数值减去所述像素点的高光值所得的差值。

在一个可选实施例中,所述将所述环境光信息添加在所述底色混合后的目标区域中之后,所述方法包括:

将高光区域与所述目标区域按照目标权重混合处理,得到目标图像;

所述高光区域为添加所述环境光信息之后的所述底色混合后的目标区域。

本申请实施例中,获取原始图像的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合片;最后将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合后的目标区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

参照图4,示出了本申请实施例的一种图像生成方法实施例的步骤流程图,所述方法可应用于ar拍摄领域,ar拍摄例如在所拍摄的原始图像中添加虚拟物体或拍摄ar视频等,通过对拍摄所得的原始图像中的环境光信息生成高光纹理,最终将高光纹理添加在处理后的图像,增强图像的真实感。

如图4所示,所述方法包括以下步骤:

步骤401,实时获取包括目标对象的原始图像。

电子设备接收到拍摄指令时拍摄得到原始图像。原始图像(如图1中p1所示)即处理前的图像,原始图像可以是所述电子设备拍摄的图像。比如,在拍摄场景中,电子设备接收到拍摄指令时拍摄得到原始图像;视频拍摄场景中,原始图像为所拍摄视频中的图像帧。

目标对象为原始图像中的对象,比如人物,或者人物的面部区域等。

步骤402,获取所述原始图像的环境光信息。

环境光信息可以是原始图像中整体的环境光信息,也可以是目标区域的环境光信息;目标区域(如图1中p2所示)可以为用户指定的区域,或电子设备检测到的区域,或ar拍摄中虚拟物对应的区域;目标区域为被进行图像处理的区域,比如用户选择特定的美妆操作,则根据用户所选择的美妆操作确定美妆操作对应的目标区域;比如美妆操作为美甲,则目标区域为用户每个指甲所在区域;美妆操作为面部美白,则目标区域为用户面部所在区域;ar拍摄操作,则目标区域为虚拟物对应的区域。

步骤403,将目标颜色与所述目标对象的目标区域进行底色混合。

目标区域可以是目标对象在原始图像中的某个区域,例如面部区域,唇部区域,指甲区域等。目标颜色为待添加在目标区域的颜色,以对指甲添加颜色处理为例,目标颜色(图1中p4所示)为用户选择的或用户未选择默认即将添加到指甲上的颜色;将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合区域,底色混合区域即底色混合后的目标区域,结合图1,将p2、p4混合得到p5,p5为包括底色混合区域的图像,底色混合区域即进行底色混合后的指甲区域。

需要说明的是,目标颜色可以是单一的颜色,例如对指甲添加颜色;还可以是多种颜色,比如在ar拍摄中添加虚拟物,不同的像素点可以对应不同的颜色。

步骤404,将所述环境光信息添加在底色混合后的目标区域中,得到目标图像。

得到包括底色混合后的目标区域的图像后,将环境光信息添加在底色混合后的目标区域中,得到目标图像。目标图像可以是图像拍摄场景中所得的图像,还可以是视频拍摄场景中所拍摄的视频帧。环境光信息包括高光纹理,高光纹理为根据原始图像的灰度信息(即亮度信息)生成的,亮度信息为图像初始的亮度信息;而图像的亮度信息是根据环境的亮度得到的,因此,使用这样的高光纹理叠加得到高光,会跟随环境亮度的变化而变化,通过为底色混合后的目标区域添加高光纹理,得到自然的环境光效果,从而使得最终的目标图像更加真实。

仍以对用户指甲区域进行图像处理,添加指甲颜色为例,用户通过电子设备拍摄指甲区域得到原始图像,并选定在指甲上添加的目标颜色;电子设备获取包括指甲区域的目标区域,根据目标区域的灰度信息生成该区域的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合。环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加在底色混合后的目标区域中,得到目标图像。

具体的,结合图1,用户在电子设备中选择美甲功能,并选定目标颜色,目标颜色如图1中p4所示;电子设备拍摄包括用户指甲的目标区域的原始图像,如图1中p1所示;然后从原始图像中识别并分割得到包括目标区域的图像,如图1中p2所示;根据目标区域的灰度信息生成该区域的环境光信息,环境光信息中携带指甲区域的环境光信息,如图1中p6所示;将所述滤波区域、用户选定的目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,如图1中p5所示,最终将高光纹理添加在底色混合后的目标区域上,在目标图像中添加原始图像中的环境光信息,如图1中p7所示,得到真实感较强的目标图像。此目标图像中,指甲区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在指甲区域保留了原始图像中的环境光信息,使得最终得到的目标图像的真实感较强。

再以对用户的唇部进行添加口红处理为例,用户通过电子设备拍摄唇部区域得到原始图像,并选定在唇部上添加的目标颜色;电子设备获取包括唇部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加在底色混合后的目标区域中,得到最终的目标图像;此目标图像中,唇部区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在唇部区域保留了原始图像中的环境光信息,使得目标图像的真实感较强。上述示例中,除指甲之外,还应用于对眼部添加眼影,对唇部添加口红,对脸颊添加腮红,对面部肤色整体调整等操作,具体过程本申请实施例在此不再赘述。

在ar拍摄处理中,用户通过电子设备拍摄面部区域得到原始图像,并选定在面部上添加的目标虚拟物的目标颜色(目标虚拟物的不同像素点对应的颜色可能不同);电子设备获取包括面部区域的目标区域,并按照上述步骤进行处理,得到底色混合区域。同理,最终将环境光信息添加在底色混合区域中,得到目标图像;此目标图像中,面部区域不仅添加了目标虚拟物,还添加了随环境光变化而变化的高光纹理,在面部区域保留了原始图像中的环境光信息。

本实施例中,还可执行前述实施例中其他步骤,为避免重复,在此不再赘述。

本申请实施例中,实时获取包括目标对象的原始图像,获取原始图像的环境光信息;将目标颜色与所述目标对象的目标区域进行底色混合片;最后将所述环境光信息添加在底色混合后的目标区域中,得到目标图像。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

参照图5,示出了本申请实施例的一种图像处理方法实施例的步骤流程图,所述方法可应用于图像处理领域,图像处理领域例如美妆、修图;通过原始图像中的环境光信息生成高光纹理,最终将高光纹理添加在处理后的图像,增强图像的真实感;如图5所示,所述方法包括以下步骤:

步骤501,接收对原始图像进行图像处理的输入操作。

输入操作比如用户的触控操作。原始图像(如图1中p1所示)即处理前的图像,原始图像可以是电子设备中存储的图像,或所述电子设备拍摄的图像。比如,在拍摄场景中,电子设备接收到拍摄指令时拍摄得到原始图像;在图像处理场景中,电子设备对存储的原始图像进场图像处理。视频拍摄场景或视频处理场景中,原始图像为视频中的图像帧。

步骤502,响应于所述输入操作,获取原始图像的环境光信息。

环境光信息可以是原始图像中整体的环境光信息,也可以是目标区域的环境光信息;目标区域(如图1中p2所示)可以为用户指定的区域,或电子设备检测到的区域,或ar拍摄中虚拟物对应的区域;目标区域为被进行图像处理的区域,比如用户选择特定的美妆操作,则根据用户所选择的美妆操作确定美妆操作对应的目标区域;比如美妆操作为美甲,则目标区域为用户每个指甲所在区域;美妆操作为面部美白,则目标区域为用户面部所在区域;ar拍摄操作,则目标区域为虚拟物对应的区域。

步骤503,将目标颜色与所述原始图像中的目标区域进行底色混合。

目标颜色为待添加在目标区域的颜色,以对指甲添加颜色处理为例,目标颜色(图1中p4所示)为用户选择的或用户未选择默认即将添加到指甲上的颜色;将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合区域,底色混合区域即底色混合后的目标区域,结合图1,将p2、p4混合得到p5,p5为包括底色混合区域的图像,底色混合区域即进行底色混合后的指甲区域。

需要说明的是,目标颜色可以是单一的颜色,例如对指甲添加颜色;还可以是多种颜色,比如在ar拍摄中添加虚拟物,不同的像素点可以对应不同的颜色。

步骤504,将所述环境光信息添加在底色混合后的目标区域中。

得到包括底色混合后的目标区域的图像后,将环境光信息添加在底色混合后的目标区域中,得到目标图像。目标图像可以是图像拍摄场景中所得的图像,还可以是视频拍摄场景中所拍摄的视频帧。环境光信息包括高光纹理,高光纹理为根据原始图像的灰度信息(即亮度信息)生成的,亮度信息为图像初始的亮度信息;而图像的亮度信息是根据环境的亮度得到的,因此,使用这样的高光纹理叠加得到高光,会跟随环境亮度的变化而变化,通过为底色混合后的目标区域添加高光纹理,得到自然的环境光效果,从而使得最终的目标图像更加真实。

仍以对用户指甲区域进行图像处理,添加指甲颜色为例,用户通过电子设备拍摄指甲区域得到原始图像,并选定在指甲上添加的目标颜色;电子设备获取包括指甲区域的目标区域,根据目标区域的灰度信息生成该区域的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合。环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加底色混合后的目标区域中,得到目标图像。

具体的,结合图1,用户在电子设备中选择美甲功能,并选定目标颜色,目标颜色如图1中p4所示;电子设备拍摄包括用户指甲的目标区域的原始图像,如图1中p1所示;然后从原始图像中识别并分割得到包括目标区域的图像,如图1中p2所示;根据目标区域的灰度信息生成该区域的环境光信息,环境光信息中携带指甲区域的环境光信息,如图1中p6所示;将所述滤波区域、用户选定的目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域,如图1中p5所示,最终将高光纹理添加在底色混合后的目标区域上,在目标图像中添加原始图像中的环境光信息,如图1中p7所示,得到真实感较强的目标图像。此目标图像中,指甲区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在指甲区域保留了原始图像中的环境光信息,使得最终得到的目标图像的真实感较强。

再以对用户的唇部进行添加口红处理为例,用户通过电子设备拍摄唇部区域得到原始图像,并选定在唇部上添加的目标颜色;电子设备获取包括唇部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,环境光信息根据原始图像中的环境亮度生成,跟随环境亮度的变化而变化,最终将环境光信息添加在底色混合后的目标区域中,得到最终的目标图像;此目标图像中,唇部区域不仅添加了目标颜色,还添加了随环境光变化而变化的高光纹理,在唇部区域保留了原始图像中的环境光信息,使得目标图像的真实感较强。上述示例中,除指甲之外,还应用于对眼部添加眼影,对唇部添加口红,对脸颊添加腮红,对面部肤色整体调整等操作,具体过程本申请实施例在此不再赘述。

以ar拍摄处理为例,用户通过电子设备拍摄面部区域得到原始图像,并选定在面部上添加的目标虚拟物的目标颜色(目标虚拟物的不同像素点对应的颜色可能不同);电子设备获取包括面部区域的目标区域,并按照上述步骤进行处理,得到底色混合后的目标区域。同理,最终将环境光信息添加在底色混合后的目标区域中,得到目标图像;此目标图像中,面部区域不仅添加了目标虚拟物,还添加了随环境光变化而变化的高光纹理,在面部区域保留了原始图像中的环境光信息。

除上述步骤501至步骤504之外,本实施例提供的图像处理方法还包括上述实施例中的图像处理方法中的其他步骤,具体可参照上述实施例的描述;为避免重复,在此不再赘述。

本申请实施例中,接收对原始图像进行图像处理的输入操作;响应于所述输入操作,获取原始图像的环境光信息;将目标颜色与所述原始图像中的目标区域进行底色混合片;最后将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

在上述实施例的基础上,本实施例还提供了一种图像处理装置,应用于终端设备、服务器等电子设备中。

参照图6,示出了本申请的一种图像处理装置实施例的结构框图,具体可以包括如下模块:

环境光获取模块601,用于获取原始图像的环境光信息;

底色混合模块602,用于将目标颜色与所述原始图像中的目标区域进行底色混合;

环境光添加模块603,用于将所述环境光信息添加在底色混合后的目标区域中。

在一个可选实施例中,所述环境光获取模块601包括:

灰度获取子模块,用于获取原始图像的目标区域的灰度信息;

信息确定子模块,用于根据所述灰度信息,确定所述目标区域的亮度参考信息;

高光确定子模块,用于根据所述亮度参考信息以及所述灰度信息中每个像素点的灰度值,确定每个所述像素点的高光值;

根据每个所述像素点的高光值,生成所述目标区域的高光纹理;所述高光纹理为所述原始图像的环境光信息。

在一个可选实施例中,所述亮度参考信息包括亮度区间值、亮度抑制值以及最大亮度值;

其中,所述亮度区间值为第一亮度值与第二亮度值之间的差值;所述第一亮度值为对所述目标区域的像素点亮度由高及低排序,排名为第一百分比的亮度;所述第二亮度值为排名为第二百分比的亮度;所述亮度抑制值为所述最大亮度值与预设亮度阈值之间的比值。

在一个可选实施例中,所述高光确定子模块包括:

权重确定单元,用于根据所述亮度区间值、所述最大亮度值以及所述灰度信息中每个像素点的灰度值,确定每个像素点的亮度处理权重;

高光确定单元,用于根据所述灰度值、所述亮度处理权重以及所述亮度抑制值,确定每个所述像素点的高光值;

纹理生成单元,用于根据每个所述像素点的高光值,生成所述目标区域的高光纹理。

在一个可选实施例中,所述权重确定单元用于:

若所述像素点的灰度值大于所述第二亮度值,则所述像素点的亮度处理权重为第一比值与第一预设权重阈值之间的最小值;

其中,所述第一比值为第一差值与所述亮度区间值得比值,所述第一差值为所述灰度值与第二亮度值之间的差值;

若所述像素点的灰度值小于或等于所述第二亮度值,则所述像素点的亮度处理权重为第二预设权重阈值。

在一个可选实施例中,所述高光值为所述灰度值、所述亮度处理权重的平方与所述亮度区间值的连乘积。

在一个可选实施例中,所述底色混合模块602包括:

滤波子模块,用于对所述原始图像中的目标区域进行滤波,得到滤波区域;

混合子模块,用于将所述滤波区域、目标颜色与所述目标区域进行底色混合,得到底色混合后的目标区域。

在一个可选实施例中,所述滤波子模块包括:

分割单元,用于对所述原始图像进行图像分割,得到所述目标区域;

参数获取子模块,用于获取所述目标区域的分割置信度参数;

滤波子模块,用于对所述分割置信度参数进行高斯滤波,得到滤波区域。

在一个可选实施例中,所述混合子模块用于:

对于每个像素点,将所述目标区域的颜色参数值、目标颜色的颜色参数值与所述滤波区域的颜色参数值连乘得到第一混合参数;

将第一预设数值与所述滤波区域的颜色参数值的差值,与所述目标区域的颜色参数值相乘得到第二混合参数;

将所述第一混合参数与所述第二混合参数相加,得到所述像素点的颜色参数;

根据每个所述像素点的颜色参数,得到底色混合后的目标区域。

在一个可选实施例中,所述环境光添加模块603用于:

确定所述底色混合后的目标区域中的像素点的目标颜色参数;所述目标颜色参数为第二预设数值减去目标数值的差值;

其中,所述目标数值为底色参数与高光参数的乘积,所述底色参数为第三预设数值减去所述像素点在所述底色混合后的目标区域的颜色参数所得的差值,所述高光参数为第四预设数值减去所述像素点的高光值所得的差值。

在一个可选实施例中,所述装置包括:

权重混合模块,用于在所述环境光添加模块603将所述环境光信息添加在所述底色混合后的目标区域中之后,

将高光区域与所述目标区域按照目标权重混合处理,得到目标图像;

所述高光区域为添加所述环境光信息之后的所述底色混合后的目标区域。

本申请实施例中,环境光获取模块601获取原始图像的环境光信息;底色混合模块602将目标颜色与所述原始图像中的目标区域进行底色混合片;环境光添加模块603将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

在上述实施例的基础上,本实施例还提供了一种图像生成装置,应用于终端设备、服务器等电子设备中。

参照图7,示出了本申请的一种图像生成装置实施例的结构框图,具体可以包括如下模块:

拍摄模块701,用于实时获取包括目标对象的原始图像;

第一获取模块702,用于获取所述目标对象的环境光信息;

第一混合模块703,用于将目标颜色与所述原始图像中的目标区域进行底色混合;

第一添加模块704,用于将所述环境光信息添加在底色混合后的目标区域中,生成目标图像。

本申请实施例提供的图像生成装置还执行上述实施例中的图像处理方法中的其他步骤,具体可参照上述实施例的描述;为避免重复,在此不再赘述。

本申请实施例中,拍摄模块701实时获取包括目标对象的原始图像,第一获取模块702获取原始图像的环境光信息;第一混合模块703将目标颜色与所述目标对象的目标区域进行底色混合片;第一添加模块704将所述环境光信息添加在底色混合后的目标区域中,生成目标图像。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

在上述实施例的基础上,本实施例还提供了一种图像处理装置,应用于终端设备、服务器等电子设备中。

参照图8,示出了本申请的一种图像处理装置实施例的结构框图,具体可以包括如下模块:

接收模块801,用于接收对原始图像进行图像处理的输入操作;

响应模块802,用于响应于所述输入操作,获取原始图像的环境光信息;

第二混合模块803,用于将目标颜色与所述原始图像中的目标区域进行底色混合;

第二添加模块804,用于将所述环境光信息添加在底色混合后的目标区域中。

本申请实施例提供的图像处理装置还执行上述实施例中的图像处理方法中的其他步骤,具体可参照上述实施例的描述;为避免重复,在此不再赘述。

本申请实施例中,接收模块801接收对原始图像进行图像处理的输入操作;响应模块802获取原始图像的环境光信息;第二混合模块803将目标颜色与所述原始图像中的目标区域进行底色混合片;第二添加模块804将所述环境光信息添加在底色混合后的目标区域中。其中,所述环境光信息为结合周围环境的信息计算的,因此使用此环境光信息添加后会给底色混合区域添加自然的环境光效果;且所述环境光信息会随周围环境的亮度变化,使得目标图像中的底色区域部分的高光也随周围环境亮度的变化而变化,真实感强。

本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例中各方法步骤的指令(instructions)。

本申请实施例提供了一个或多个机器可读存储介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本申请实施例中,所述电子设备包括终端设备、服务器(集群)等各类型的设备。

本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括终端设备、服务器(集群)等电子设备。图9示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置900。

对于一个实施例,图9示出了示例性装置900,该装置具有一个或多个处理器902、被耦合到(一个或多个)处理器902中的至少一个的控制模块(芯片组)904、被耦合到控制模块904的存储器906、被耦合到控制模块904的非易失性存储器(nvm)/存储设备908、被耦合到控制模块904的一个或多个输入/输出设备910,以及被耦合到控制模块904的网络接口912。

处理器902可包括一个或多个单核或多核处理器,处理器902可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置900能够作为本申请实施例中所述终端设备、服务器(集群)等设备。

在一些实施例中,装置900可包括具有指令914的一个或多个计算机可读介质(例如,存储器906或nvm/存储设备908)以及与该一个或多个计算机可读介质相合并被配置为执行指令914以实现模块从而执行本公开中所述的动作的一个或多个处理器902。

对于一个实施例,控制模块904可包括任意适当的接口控制器,以向(一个或多个)处理器902中的至少一个和/或与控制模块904通信的任意适当的设备或组件提供任意适当的接口。

控制模块904可包括存储器控制器模块,以向存储器906提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

存储器906可被用于例如为装置900加载和存储数据和/或指令914。对于一个实施例,存储器906可包括任意适当的易失性存储器,例如,适当的dram。在一些实施例中,存储器906可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。

对于一个实施例,控制模块904可包括一个或多个输入/输出控制器,以向nvm/存储设备908及(一个或多个)输入/输出设备910提供接口。

例如,nvm/存储设备908可被用于存储数据和/或指令914。nvm/存储设备908可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。

nvm/存储设备908可包括在物理上作为装置900被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,nvm/存储设备908可通过网络经由(一个或多个)输入/输出设备910进行访问。

(一个或多个)输入/输出设备910可为装置900提供接口以与任意其他适当的设备通信,输入/输出设备910可以包括通信组件、音频组件、传感器组件等。网络接口912可为装置900提供接口以通过一个或多个网络通信,装置900可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如wifi、2g、3g、4g、5g等,或它们的组合进行无线通信。

对于一个实施例,(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例,(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器902中的至少一个可与控制模块904的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。

在各个实施例中,装置900可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置900可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置900包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。

其中,检测装置中可采用主控芯片作为处理器或控制模块,传感器数据、位置信息等存储到存储器或nvm/存储设备中,传感器组可作为输入/输出设备,通信接口可包括网络接口。

对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。

本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种图像处理方法和装置,一种图像生成方法及装置,一种电子设备和一种存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1