图像处理的方法、装置、电子设备和计算机存储介质与流程

文档序号:17469987发布日期:2019-04-20 05:45阅读:143来源:国知局
图像处理的方法、装置、电子设备和计算机存储介质与流程

本发明涉及图像处理的技术领域,尤其是涉及一种图像处理的方法、装置、电子设备和计算机存储介质。



背景技术:

随着科学技术的发展和技术产业化应用水平的提升,手机的性能越来越好、硬件配置已经越来越完备。但同时,随着手机市场竞争越来越激烈,拼硬件配置已经不能吸引到更多的电子消费者,所以,大部分的手机厂商都在追求手机产品的差异化功能规划、设计、营销等。如正逐步流行的手机技术应用有:人脸解锁、人脸重塑、3d美颜、3d打光等等。

对于身体图像的整形应用场景,在现有技术中,需要借助第三方图像处理软件(如:photoshop、美图秀秀)对身体图像中的整形对象进行处理,存在操作繁琐,修饰度不好把控,以及用户体验较差等问题。



技术实现要素:

有鉴于此,本发明的目的在于提供一种图像处理的方法、装置、电子设备和计算机存储介质,以缓解现有的图像处理方法无法智能的对待处理身体图像进行处理的技术问题。

第一方面,本发明实施例提供了一种图像处理的方法,包括:获取待处理身体图像,并确定所述待处理身体图像中待整形对象的目标特征点;获取所述待整形对象的整形参数,其中,所述整形参数包括:所述待整形对象的目标特征点所对应的整形参数;基于所述整形参数在所述待处理身体图像中确定所述目标特征点的待整形区域;将目标纹理素材和所述待整形区域进行融合,得到所述待处理身体图像的整形图像。

进一步地,确定所述待处理身体图像中待整形对象的目标特征点包括:获取所述待处理身体图像中的各个身体特征点,以及获取每个所述身体特征点所对应的索引序号,其中,所述索引序号用于表征身体特征点在所述待处理身体图像中的位置;在所述索引序号中确定目标索引序号,其中,所述目标索引序号为所述待整形对象的目标特征点所对应的索引序号;将所述目标索引序号所对应的身体特征点作为所述待整形对象的目标特征点。

进一步地,通过以下方式确定所述目标纹理素材,具体包括:确定所述待处理身体图像中的光照方向;在预设纹理素材中确定与所述待处理身体图像中的光照方向相同,且与所述待整形对象相匹配的所述目标纹理素材。

进一步地,确定所述待处理身体图像中的光照方向包括:根据图像划分数量对所述待处理身体图像进行划分,得到多个子图像;将每个所述子图像转换到颜色模型空间,得到每个所述子图像的颜色模型空间;基于每个所述子图像的颜色模型空间确定每个所述子图像中各个像素点的亮度值;根据每个所述子图像中各个像素点的亮度值确定每个所述子图像的光照分布;根据所述子图像的光照分布确定所述待处理身体图像的光照方向。

进一步地,根据每个所述子图像中各个像素点的亮度值确定每个所述子图像的光照分布包括:基于预设亮度阈值对每个所述子图像中各个像素点的亮度值进行过滤处理,得到过滤处理结果;根据所述过滤处理结果确定每个所述子图像的光照分布。

进一步地,所述整形参数为圆域半径,所述待整形区域为圆域;基于所述整形参数在所述待处理身体图像中确定所述目标特征点的待整形区域包括:将所述目标特征点作为圆域的圆心;基于所述圆域的圆心和所述圆域半径确定目标圆域,并将确定出的所述目标圆域作为所述目标特征点的待整形区域。

进一步地,每个所述待整形对象包括一个目标特征点,所述目标纹理素材为矩形纹理素材;将目标纹理素材和所述待整形区域进行融合包括:将所述目标纹理素材的中心点与所述目标特征点重合,并将所述目标纹理素材与所述待整形区域进行色彩混合,得到混合后的图像;对所述混合后的图像进行优化处理,得到所述待处理身体图像的整形图像。

进一步地,对所述混合后的图像进行优化处理包括:基于所述目标纹理素材对所述混合后的图像的待整形区域进行柔光处理,得到柔光处理后的图像;在所述柔光处理后的图像中,对所述待整形区域中的每个像素点进行模糊处理,得到模糊处理后的图像;在所述模糊处理后的图像的待整形区域中确定羽化区域;对所述羽化区域中的每个像素点进行羽化处理,得到所述待处理身体图像的整形图像。

进一步地,基于所述目标纹理素材对所述混合后的图像的待整形区域进行柔光处理包括:基于所述目标纹理素材中像素点的坐标和所述混合后的图像的待整形区域中像素点的坐标,在所述目标纹理素材的像素点中确定与所述混合后的图像的待整形区域相对应的像素点;将所述混合后的图像的待整形区域中像素点与其相对应的像素点进行柔光处理,得到所述柔光处理后的图像。

进一步地,将所述混合后的图像的待整形区域中像素点与其相对应的像素点进行柔光处理,得到所述柔光处理后的图像包括:根据柔光处理算式将所述待整形区域中像素点ai和所述目标纹理素材中与所述像素点ai相对应的像素点bj进行柔光计算,得到对所述像素点ai柔光处理后的像素值,其中,i依次取1至i,i为所述待整形区域中像素点的数量,j依次取1至j,j为所述目标纹理素材中像素点的数量;所述柔光处理算式为:

其中,result表示对所述像素点ai柔光处理后的像素值,base表示所述像素点bj的像素值,blend表示所述像素点ai的像素值,threshold表示预设阈值。

进一步地,在所述柔光处理后的图像中,对所述待整形区域中的每个像素点进行模糊处理,得到模糊处理后的图像包括:在所述柔光处理后的图像中,更新所述待整形区域中每个像素点的像素值,从而得到所述模糊处理后的图像。

进一步地,在所述柔光处理后的图像中,更新所述待整形区域中每个像素点的像素值包括:确定所述待整形区域中与像素点ai相邻的多个像素点,其中,i依次取1至i,i为所述待整形区域中像素点的数量;计算与所述像素点ai相邻的多个像素点的像素值的加权平均数,并将所述加权平均数作为目标像素值;将所述像素点ai的像素值替换为所述目标像素值。

进一步地,对所述羽化区域中的每个像素点进行羽化处理,得到所述待处理身体图像的整形图像包括:计算所述羽化区域中待羽化像素点ck与所述目标特征点之间的距离,其中,k依次取1至k,k为所述羽化区域中像素点的数量;基于所述距离与所述整形参数确定所述待羽化像素点ck的羽化系数;根据羽化计算算式color=b×alpha+c×(1-alpha)计算对所述待羽化像素点ck羽化处理后的像素值,进而得到所述待处理身体图像的整形图像,其中,color表示对所述待羽化像素点ck羽化处理后的像素值,b表示所述羽化区域中待羽化像素点ck的像素值,alpha表示所述羽化系数,c表示所述目标纹理素材中与所述待羽化像素点ck相对应像素点的像素值。

进一步地,所述方法还包括:采用人脸检测模型对所述待处理身体图像进行人脸检测,得到人脸检测结果;若基于所述人脸检测结果确定出所述待处理身体图像中包含人脸,则确定所述待处理身体图像中待整形对象的目标特征点;若基于所述人脸检测结果确定出所述待处理身体图像中不包含人脸,则获取下一待处理身体图像。

第二方面,本发明实施例还提供了一种图像处理的装置,包括:获取并确定单元,用于获取待处理身体图像,并确定所述待处理身体图像中待整形对象的目标特征点;获取单元,用于获取所述待整形对象的整形参数,其中,所述整形参数包括:所述待整形对象的目标特征点所对应的整形参数;确定单元,用于基于所述整形参数在所述待处理身体图像中确定所述目标特征点的待整形区域;融合单元,用于将目标纹理素材和所述待整形区域进行融合,得到所述待处理身体图像的整形图像。

第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。

第四方面,本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。

在本发明实施例中,首先,获取待处理身体图像,并确定待处理身体图像中待整形对象的目标特征点;然后,获取待整形对象的整形参数;基于整形参数在待处理身体图像中确定目标特征点的整形区域;最后,将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像。通过上述描述可知,在本实施例中,在对待处理身体图像中的待整形对象进行整形时,无需再借助第三方图像处理软件即可实现对待处理身体图像的中待整形对象的自动整形,只需将该方法应用于某一具体应用上就能使得该应用具备了该图像处理的功能,并且在对待处理身体图像中的待整形对象进行整形时,整形效果好,大大提升了用户体验,缓解了现有的图像处理方法无法智能的对待处理身体图像进行处理的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的示意图;

图2为本发明实施例提供的一种图像处理的方法的流程图;

图3为本发明实施例提供的确定待处理身体图像中待整形对象的目标特征点的方法流程图;

图4为本发明实施例提供的对待处理身体图像进行身体特征点检测后得到的身体特征点检测结果的示意图;

图5为本发明实施例提供的确定目标纹理素材的方法流程图;

图6a为本发明实施例提供的待处理身体图像的示意图;

图6b为本发明实施例提供的对待处理身体图像进行划分后得到的多个子图像的示意图;

图7为本发明实施例提供的每个子图像的光照分布的示意图;

图8为本发明实施例提供的确定的待处理身体图像的光照方向的示意图;

图9为本发明实施例提供的多个预设纹理素材的示意图;

图10为本发明实施例提供的目标纹理素材与待整形区域进行色彩混合后得到的混合后的图像的示意图;

图11为本发明实施例提供的对混合后的图像进行优化处理的方法流程图;

图12为本发明实施例提供的柔光处理后的图像的示意图;

图13为本发明实施例提供的羽化区域的示意图;

图14为本发明实施例提供的待处理身体图像的整形图像的示意图;

图15为本发明实施例提供的一种图像处理的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例1:

首先,参照图1来描述用于实现本发明实施例的电子设备100,该电子设备可以用于运行本发明各实施例的图像处理的方法。

如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑阵列(pla)和asic(applicationspecificintegratedcircuit)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行获取待处理身体图像,其中,摄像机所获取的待处理身体图像经过所述图像处理的方法进行处理之后得到待处理身体图像的整形图像,例如,摄像机可以拍摄用户期望的图像(例如照片、视频等),然后,将该图像经过所述图像处理的方法进行处理之后得到待处理身体图像的整形图像,摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地,用于实现根据本发明实施例的图像处理的方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2:

根据本发明实施例,提供了一种图像处理的方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像处理的方法的流程图,如图2所示,该方法包括如下步骤:

步骤s202,获取待处理身体图像,并确定待处理身体图像中待整形对象的目标特征点;

在本发明实施例中,待处理身体图像可以为实时获取的预览视频流中包含身体图像的预览图像帧,也可以为之前拍照得到的身体图像。即该方法可以实时对预览视频流中包含身体图像的预览图像帧进行处理,也可以对已拍摄的身体图像进行后期处理,另外,待处理身体图像可以为待处理人体图像,也可以为待处理动物体图像,本发明实施例对待处理身体图像的具体形式不进行限定。

具体的,当要对待处理身体图像中的胸部进行整形时,那么待整形对象即为胸部;当要对待处理身体图像中的鼻子进行整形时,那么待整形对象即为鼻子,也就是待整形对象可以根据具体的整形内容而设定,其可以为待处理身体图像中所包含的任意一个或任意多个对象。

步骤s204,获取待整形对象的整形参数,其中,整形参数包括:待整形对象的目标特征点所对应的整形参数;

具体的,这里的整形参数的大小与下文中的目标纹理素材中的纹理的大小相等。比如:如果目标纹理素材为胸部纹理素材,那么整形参数为圆域半径,该圆域半径和胸部纹理素材中的胸部纹理的尺寸相等。本发明实施例对上述举例不进行具体限定。

步骤s206,基于整形参数在待处理身体图像中确定目标特征点的待整形区域;

步骤s208,将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像。

在本发明实施例中,首先,获取待处理身体图像,并确定待处理身体图像中待整形对象的目标特征点;然后,获取待整形对象的整形参数;基于整形参数在待处理身体图像中确定目标特征点的整形区域;最后,将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像。通过上述描述可知,在本实施例中,在对待处理身体图像中的待整形对象进行整形时,无需再借助第三方图像处理软件即可实现对待处理身体图像的中待整形对象的自动整形,只需将该方法应用于某一具体应用上就能使得该应用具备了该图像处理的功能,并且在对待处理身体图像中的待整形对象进行整形时,整形效果好,大大提升了用户体验,缓解了现有的图像处理方法无法智能的对待处理身体图像进行处理的技术问题。

需要说明的是,在本实施例中,上述步骤s202至步骤s208所描述的方法可以应用在终端设备上,还可以应用在终端设备上安装的目标应用上。例如,可以预先在终端设备上安装一个应用程序插件,进而通过该应用程序插件来实现上述步骤。又例如,可以在终端设备中安装目标应用时,即安装该应用程序插件,此时,在运行该目标应用时,该应用程序插件来实现上述步骤。

下面以不同的应用场景对上述方法进行简要介绍:

场景一:

首先,用户开启图像的处理功能;例如,在目标应用(比如:手机的相机应用)中启动上述应用程序插件。启动之后,图像采集设备(比如:手机摄像头)开启预览视频流,进而该应用程序插件从预览视频流中获取包含身体图像的预览图像帧(即待处理身体图像),并加载整形参数,然后,基于整形参数在待处理身体图像中确定待整形对象的目标特征点的待整形区域,最后,将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像,并将得到的待处理身体图像的整形图像进行实时的显示。

场景二:

在终端设备的图像库中保存有一张待处理身体图像,要对该待处理身体图像中的待整形对象进行整形时,开启图像的处理功能,在终端设备上启动上述应用程序插件,上述应用程序插件获取得到待处理身体图像,同时获取到预设的整形参数,然后,基于整形参数在待处理身体图像中确定待整形对象的目标特征点的待整形区域,最后,将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像,并显示得到的整形图像。

当然,还可以有其它应用场景,本发明实施例对上述所描述的应用场景不进行限制。

下面对本发明的图像处理的方法进行详细介绍:

在本发明的一个可选实施例中,参考图3,步骤s202,确定待处理身体图像中待整形对象的目标特征点包括如下步骤:

步骤s2021,获取待处理身体图像中的各个身体特征点,以及获取每个身体特征点所对应的索引序号,其中,索引序号用于表征身体特征点在待处理身体图像中的位置;

具体的,可以采用身体特征点检测模型对待处理身体图像进行身体特征点检测,就能得到待处理身体图像的身体特征点(如图4所示,即为对待处理身体图像进行身体特征点检测后得到的身体特征点检测结果的示意图,其中,得到的身体特征点包含各个身体特征点的索引序号和身体特征点的坐标,图4中是以待处理人体图像为例进行的说明),从图4中可以看到,每个身体特征点对应一个索引序号,索引序号用于表征其对应的身体特征点在待处理身体图像中的位置。比如,某一身体特征点所对应的索引序号为5,那么就能根据该索引序号确定其所对应的身体特征点在待处理身体图像中为右手的位置。

需要说明的是,上述的身体特征点检测模型是事先通过原始样本身体图像对初始神经网络进行训练得到的。训练时,采集原始样本身体图像;然后,对采集的原始样本身体图像进行身体特征点标注(以人体图像为例,身体特征点至少包括:头部的特征点、颈部的特征点、肩部的特征点、手臂的特征点、腹部的特征点、臀部的特征点、腿部的特征点、胸部的特征点、手足的特征点等,当为动物体图像时,身体特征点可参考人体图像的身体特征点标注方式进行标注),标注时,每个身体特征点对应一个索引序号,而一个固定的索引序号在每张原始样本身体图像中所代表的位置一样(比如,索引序号为5的身体特征点在原始样本身体图像中的位置都是右手的位置),标注后,得到携带身体特征点的原始样本身体图像;进而,对携带身体特征点的原始样本身体图像进行划分,得到训练样本集合、验证样本集合和测试样本集合;最终,通过训练样本集合对神经网络进行训练,同时,采用验证样本集合对训练过程中得到的中间结果进行验证(实时调整训练参数),当训练精度和验证精度都达到一定阈值时,停止训练,得到身体特征点检测模型,并通过测试样本集合对身体特征点检测模型进行测试,进一步衡量身体特征点检测模型的性能。

步骤s2022,在索引序号中确定目标索引序号,其中,目标索引序号为待整形对象的目标特征点所对应的索引序号;

具体的,根据训练身体特征点检测模型时的身体特征点标注原则可知,每一个索引序号所对应的身体特征点所表示的待处理身体图像中的位置是固定的,已知的,比如,索引序号为5的身体特征点所表示的为右手位置的身体特征点,而索引序号为9的身体特征点所表示的为右胸位置的身体特征点。所以,可以在身体特征点所对应的索引序号中确定目标索引序号,这些目标索引序号为待整形对象的目标特征点所对应的索引序号。

步骤s2023,将目标索引序号所对应的身体特征点作为待整形对象的目标特征点。

下面对确定目标特征点的待整形区域的过程进行描述(本发明实施例以待整形对象为胸部的情形进行说明):

在本发明的一个可选实施例中,整形参数为圆域半径,待整形区域为圆域;步骤s206,基于整形参数在待处理身体图像中确定目标特征点的待整形区域包括如下步骤:

步骤s2061,将目标特征点作为圆域的圆心;

步骤s2062,基于圆域的圆心和圆域半径确定目标圆域,并将确定出的目标圆域作为目标特征点的待整形区域。

下面对确定目标纹理素材的过程进行描述:

在本发明的一个可选实施例中,参考图5,通过以下方式确定目标纹理素材,具体包括如下步骤:

步骤s501,确定待处理身体图像中的光照方向;

具体包括如下步骤:

步骤s5011,根据图像划分数量对待处理身体图像进行划分,得到多个子图像;

在本发明实施例中,优选地图像划分数量为4个或6个,本发明实施例对图像划分数量不进行具体限制。根据图像划分数量对待处理身体图像进行划分时,对待处理身体图像进行均匀划分,得到多个子图像。如图6b所示,图6b为对图6a中待处理身体图像进行划分后得到的多个子图像的示意图。

划分为多个子图像后,可以并行对多个子图像进行后续处理,相较于直接对待处理身体图像进行处理,可以加快处理是速度。

步骤s5012,将每个子图像转换到颜色模型空间,得到每个子图像的颜色模型空间;

在得到多个子图像后,将每个子图像转换到颜色模型空间,具体的转换过程为:

得到的每个子图像都是rgb图像,按照下述方式进行转换:

其中,r、g、b为子图像在rgb颜色空间下的各个通道的颜色值;x、y、z为图像在cie-xyz颜色模型下的各个通道的颜色值;

其中,xn、yn、zn为rgb颜色空间转lab(即颜色模型空间)时,各通道的参考点,f表示浮点数;

进一步,可以得到:

其中,rgb颜色空间转lab(即颜色模型空间)时的映射函数:

其中,l*、a*、b*即为转换到颜色模型空间后的结果,l*表示亮度,a*表示从洋红色至绿色的范围,b*表示从黄色至蓝色的范围。

步骤s5013,基于每个子图像的颜色模型空间确定每个子图像中各个像素点的亮度值;

在得到每个子图像的颜色模型空间后,提取各个颜色模型空间中的l*,就能得到每个子图像中各个像素点的亮度值。

步骤s5014,根据每个子图像中各个像素点的亮度值确定每个子图像的光照分布;

具体的,基于预设亮度阈值对每个子图像中各个像素点的亮度值进行过滤处理,得到过滤处理结果;根据过滤处理结果确定每个子图像的光照分布。

比如,预设亮度阈值为50,将亮度值大于等于预设亮度阈值的像素点的像素值设置为255(显示为白色),将亮度值小于预设亮度阈值的像素点的像素值设置为180(显示为灰色),这样就得到了明暗分布显示的图像,也就是每个子图像的光照分布。如图7所示,即为得到的每个子图像的光照分布。

步骤s5015,根据子图像的光照分布确定待处理身体图像的光照方向。

在得到子图像的光照分布后,也就得到了整个待处理身体图像的光照分布,将整个待处理身体图像的光照分布中面积大的白色区域指向面积相对小的白色区域,这一指向即为待处理身体图像的光照方向。如图8所示,图8中即为确定的待处理身体图像的光照方向的示意图。

步骤s502,在预设纹理素材中确定与待处理身体图像中的光照方向相同,且与待整形对象相匹配的目标纹理素材。

具体的,在确定得到待处理身体图像中的光照方向后,在预设纹理素材中确定与待处理身体图像中的光照方向相同,且与待整形对象相匹配的目标纹理素材。下面以胸部纹理素材为例进行说明,如图9所示,图9中示出了纹理素材库中的多个预设纹理素材,根据图8中的光照方向可知,图9中的第一个预设纹理素材(从左往右的顺序)即为最终确定的目标纹理素材(即直接在纹理素材库中选择与待处理身体图像中的光照方向相同的纹理素材)。

在实现时,以胸部纹理素材为例进行说明,纹理素材库中也可以只有一个胸部的预设纹理素材,然后,按照待处理身体图像中的光照方向对上述胸部的预设纹理素材进行旋转处理,使得旋转后得到的目标纹理素材中的光照方向与待处理身体图像中的光照方向相同,从而得到满足条件的目标纹理素材。本发明实施例对上述两种实现方式不进行具体限制。

下面对目标纹理素材和待整形区域进行融合的过程进行详细介绍:

在本发明实施例中,每个待整形对象包括一个目标特征点,目标纹理素材为矩形纹理素材,(如图9所示,其中的纹理为圆形);步骤s208,将目标纹理素材和待整形区域进行融合包括如下步骤s1001和步骤s1002:

步骤s1001,将目标纹理素材的中心点与目标特征点重合,并将目标纹理素材与待整形区域进行色彩混合,得到混合后的图像;

具体的,按照如下方式进行色彩混合:

color=scr(r,g,b,a)*a+scr1(r1,g1,b1,a1)*(1-a)

其中,color表示混合后的颜色,scr(r,g,b,a)表示待整形区域,scr1(r1,g1,b1,a1)表示目标纹理素材,r表示待整形区域的红色通道,g表示待整形区域的绿色通道,b表示待整形区域的蓝色通道,a表示待整形区域的透明度通道,r1表示目标纹理素材的红色通道,g1表示目标纹理素材的绿色通道,b1表示目标纹理素材的蓝色通道,a1表示目标纹理素材的透明度通道。混合后的图像如图10所示。

步骤s1002,对混合后的图像进行优化处理,得到待处理身体图像的整形图像。

参考图11,具体过程如下:

步骤s1101,基于目标纹理素材对混合后的图像的待整形区域进行柔光处理,得到柔光处理后的图像;

在一个可选地实施例中,(1)基于目标纹理素材中像素点的坐标和混合后的图像的待整形区域中像素点的坐标,在目标纹理素材的像素点中确定与混合后的图像的待整形区域相对应的像素点;

具体的,若目标特征点的坐标为(x9,y9)(即索引序号为9的身体特征点),设目标纹理素材的宽度为w,高度为h,则目标纹理素材的中心点c为(w/2,h/2);

在处理时,目标纹理素材的中心点c(w/2,h/2)和目标特征点(x9,y9)重合,所以,可以得到目标纹理素材的范围为:宽度方向:(x9-w/2)到(x9+w/2),高度方向:(y9-h/2)到(y9+h/2);

若混合后的图像的待整形区域中某点坐标为p(xi,yi),其中,(x9-w/2)<xi<(x9+w/2),(y9-h/2)<yi<(y9+h/2),则其对应的目标纹理素材的坐标为:q(xm,ym),其中,xm=xi-(x9-w/2);ym=yi-(y9-h/2)。

坐标关系对应转换后,就能进一步在目标纹理素材中确定与混合后的图像的待整形区域的各个像素点相对应的像素点。

(2)将混合后的图像的待整形区域中像素点与其相对应的像素点进行柔光处理,得到柔光处理后的图像。

具体的,根据柔光处理算式将待整形区域中像素点ai和目标纹理素材中与像素点ai相对应的像素点bj进行柔光计算,得到对像素点ai柔光处理后的像素值,其中,i依次取1至i,i为待整形区域中像素点的数量,j依次取1至j,j为目标纹理素材中像素点的数量;

柔光处理算式为:

其中,result表示对像素点ai柔光处理后的像素值,base表示像素点bj的像素值,blend表示像素点ai的像素值,threshold表示预设阈值。其中,预设阈值threshold优选为0.5,上述柔光处理算式中的base实际为色彩混合后得到的color,本发明实施例对预设阈值的具体值不进行限定。

图12中示出了柔光处理后的图像的示意图(其中对胸部的像素点进行了柔光处理)。

步骤s1102,在柔光处理后的图像中,对待整形区域中的每个像素点进行模糊处理,得到模糊处理后的图像;

具体的,在柔光处理后的图像中,更新待整形区域中每个像素点的像素值,从而得到模糊处理后的图像,包括如下(1)-(3)的步骤:

(1)确定待整形区域中与像素点ai相邻的多个像素点,其中,i依次取1至i,i为待整形区域中像素点的数量;

具体的,相邻的多个像素点可以为相邻的4个像素点,也可以为相邻的8个像素点,多个还可以为其它数值,本发明实施例对其不进行限制。比如,像素点ai的坐标为(x,y),那么相邻的4个像素点的坐标为(x-1,y),(x+1,y),(x,y-1),(x,y+1);相邻的8个像素点为坐标为(x-1,y),(x+1,y),(x,y-1),(x,y+1),(x-1,y-1),(x+1,y+1),(x+1,y-1),(x-1,y+1)。

(2)计算与像素点ai相邻的多个像素点的像素值的加权平均数,并将加权平均数作为目标像素值;

(3)将像素点ai的像素值替换为目标像素值。

步骤s1103,在模糊处理后的图像的待整形区域中确定羽化区域;

参考图13,图13为羽化区域的示意图。在图13中,同心圆中的外圆所包围的区域为待整形区域(其实也是羽化半径,其和目标纹理素材的纹理的尺寸相同),其中的圆心即为待整形对象的目标特征点,同心圆的内圆的半径可以设置为外圆的半径的0.8倍(本发明实施例对其不进行具体限制),羽化区域即为两个同心圆所围成的圆环区域。

步骤s1104,对羽化区域中的每个像素点进行羽化处理,得到待处理身体图像的整形图像。如图14所示。

具体包括如下1)-3)过程:

1)计算羽化区域中待羽化像素点ck与目标特征点之间的距离,其中,k依次取1至k,k为羽化区域中像素点的数量;

2)基于距离与整形参数确定待羽化像素点ck的羽化系数;

具体的,r1表示整形参数,即待整形区域的区域半径,r0表示0.8倍的整形参数,即图13中内圆的半径,r表示待羽化像素点ck与目标特征点之间的距离。

3)根据羽化计算算式color=b×alpha+c×(1-alpha)计算对待羽化像素点ck羽化处理后的像素值,进而得到待处理身体图像的整形图像,其中,color表示对待羽化像素点ck羽化处理后的像素值,b表示羽化区域中待羽化像素点ck的像素值,alpha表示羽化系数,c表示目标纹理素材中与待羽化像素点ck相对应像素点的像素值。

在本发明的一个可选实施例中,当待处理身体图像为待处理人体图像时,在获取待处理身体图像后,先要对待处理身体图像进行人脸检测,具体的,采用人脸检测模型对待处理身体图像进行人脸检测,得到人脸检测结果;若基于人脸检测结果确定出待处理身体图像中包含人脸,则确定待处理身体图像中待整形对象的目标特征点;若基于人脸检测结果确定出待处理身体图像中不包含人脸,则获取下一待处理身体图像。人脸检测的目的是为了确保待处理身体图像为人的正身图像,使得对待处理身体图像中待整形对象进行整形时,更加准确。

通过上述描述可知,在本实施例中,在对待处理身体图像中的待整形对象进行整形时,无需再借助第三方图像处理软件即可实现对待处理身体图像的中待整形对象的自动整形,只需将该方法应用于某一具体应用上就能使得该应用具备了该图像处理的功能,并且在对待处理身体图像中的待整形对象进行整形时,整形效果好,大大提升了用户体验,缓解了现有的图像处理方法无法智能的对待处理身体图像进行处理的技术问题。

实施例3:

本发明实施例还提供了一种图像处理的装置,该图像处理的装置主要用于执行本发明实施例上述内容所提供的图像处理的方法,以下对本发明实施例提供的图像处理的装置做具体介绍。

图15是根据本发明实施例的一种图像处理的装置的示意图,如图15所示,该图像处理的装置主要包括获取并确定单元10,获取单元20,确定单元30和融合单元40,其中:

获取并确定单元,用于获取待处理身体图像,并确定待处理身体图像中待整形对象的目标特征点;

获取单元,用于获取待整形对象的整形参数,其中,整形参数包括:待整形对象的目标特征点所对应的整形参数;

确定单元,用于基于整形参数在待处理身体图像中确定目标特征点的待整形区域;

融合单元,用于将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像。

在本发明实施例中,首先,获取待处理身体图像,并确定待处理身体图像中待整形对象的目标特征点;然后,获取待整形对象的整形参数;基于整形参数在待处理身体图像中确定目标特征点的整形区域;最后,将目标纹理素材和待整形区域进行融合,得到待处理身体图像的整形图像。通过上述描述可知,在本实施例中,在对待处理身体图像中的待整形对象进行整形时,无需再借助第三方图像处理软件即可实现对待处理身体图像的中待整形对象的自动整形,只需将该方法应用于某一具体应用上就能使得该应用具备了该图像处理的功能,并且在对待处理身体图像中的待整形对象进行整形时,整形效果好,大大提升了用户体验,缓解了现有的图像处理方法无法智能的对待处理身体图像进行处理的技术问题。

可选地,获取并确定单元还用于:获取待处理身体图像中的各个身体特征点,以及获取每个身体特征点所对应的索引序号,其中,索引序号用于表征身体特征点在待处理身体图像中的位置;在索引序号中确定目标索引序号,其中,目标索引序号为待整形对象的目标特征点所对应的索引序号;将目标索引序号所对应的身体特征点作为待整形对象的目标特征点。

可选地,该装置还用于:确定待处理身体图像中的光照方向;在预设纹理素材中确定与待处理身体图像中的光照方向相同,且与待整形对象相匹配的目标纹理素材。

可选地,该装置还用于:根据图像划分数量对待处理身体图像进行划分,得到多个子图像;将每个子图像转换到颜色模型空间,得到每个子图像的颜色模型空间;基于每个子图像的颜色模型空间确定每个子图像中各个像素点的亮度值;根据每个子图像中各个像素点的亮度值确定每个子图像的光照分布;根据子图像的光照分布确定待处理身体图像的光照方向。

可选地,该装置还用于:基于预设亮度阈值对每个子图像中各个像素点的亮度值进行过滤处理,得到过滤处理结果;根据过滤处理结果确定每个子图像的光照分布。

可选地,整形参数为圆域半径,待整形区域为圆域;确定单元还用于:将目标特征点作为圆域的圆心;基于圆域的圆心和圆域半径确定目标圆域,并将确定出的目标圆域作为目标特征点的待整形区域。

可选地,每个待整形对象包括一个目标特征点,目标纹理素材为矩形纹理素材;融合单元还用于:将目标纹理素材的中心点与目标特征点重合,并将目标纹理素材与待整形区域进行色彩混合,得到混合后的图像;对混合后的图像进行优化处理,得到待处理身体图像的整形图像。

可选地,融合单元还用于:基于目标纹理素材对混合后的图像的待整形区域进行柔光处理,得到柔光处理后的图像;在柔光处理后的图像中,对待整形区域中的每个像素点进行模糊处理,得到模糊处理后的图像;在模糊处理后的图像的待整形区域中确定羽化区域;对羽化区域中的每个像素点进行羽化处理,得到待处理身体图像的整形图像。

可选地,融合单元还用于:基于目标纹理素材中像素点的坐标和混合后的图像的待整形区域中像素点的坐标,在目标纹理素材的像素点中确定与混合后的图像的待整形区域相对应的像素点;将混合后的图像的待整形区域中像素点与其相对应的像素点进行柔光处理,得到柔光处理后的图像。

可选地,融合单元还用于:根据柔光处理算式将待整形区域中像素点ai和目标纹理素材中与像素点ai相对应的像素点bj进行柔光计算,得到对像素点ai柔光处理后的像素值,其中,i依次取1至i,i为待整形区域中像素点的数量,j依次取1至j,j为所述目标纹理素材中像素点的数量;柔光处理算式为:

其中,result表示对像素点ai柔光处理后的像素值,base表示像素点bj的像素值,blend表示像素点ai的像素值,threshold表示预设阈值。

可选地,融合单元还用于:在柔光处理后的图像中,更新待整形区域中每个像素点的像素值,从而得到模糊处理后的图像。

可选地,融合单元还用于:确定待整形区域中与像素点ai相邻的多个像素点,其中,i依次取1至i,i为待整形区域中像素点的数量;计算与像素点ai相邻的多个像素点的像素值的加权平均数,并将加权平均数作为目标像素值;将像素点ai的像素值替换为目标像素值。

可选地,融合单元还用于:对羽化区域中的每个像素点进行羽化处理,得到待处理身体图像的整形图像包括:计算羽化区域中待羽化像素点ck与目标特征点之间的距离,其中,k依次取1至k,k为羽化区域中像素点的数量;基于距离与整形参数确定待羽化像素点ck的羽化系数;根据羽化计算算式color=b×alpha+c×(1-alpha)计算对待羽化像素点ck羽化处理后的像素值,进而得到待处理身体图像的整形图像,其中,color表示对待羽化像素点ck羽化处理后的像素值,b表示羽化区域中待羽化像素点ck的像素值,alpha表示羽化系数,c表示目标纹理素材中与待羽化像素点ck相对应像素点的像素值。

可选地,该装置还用于:采用人脸检测模型对待处理身体图像进行人脸检测,得到人脸检测结果;若基于人脸检测结果确定出待处理身体图像中包含人脸,则确定待处理身体图像中待整形对象的目标特征点;若基于人脸检测结果确定出待处理身体图像中不包含人脸,则获取下一待处理身体图像。

本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。

在本发明的另一个实施例中,还提供了一种计算机存储介质,其上存储有计算机程序,计算机运行计算机程序时执行上述方法实施例所述的方法的步骤。

在本发明的另一个实施例中,还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的所述方法的相应步骤,并且用于实现根据本发明实施例的图像处理的装置中的相应模块。

另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个分析单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个分析器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1