图像处理方法、装置、设备及存储介质与流程

文档序号:26052998发布日期:2021-07-27 15:29阅读:94来源:国知局
图像处理方法、装置、设备及存储介质与流程

本发明实施例涉及图像处理技术领域,尤其涉及图像处理方法、装置、设备及存储介质。



背景技术:

目前,图像的美化功能已广泛应用于各种产品和应用场景中,如拍照、短视频拍摄以及视频直播等等。典型的美化功能如人脸图像的美颜功能。

随着图像处理技术的快速发展,美化功能也越来越强大,所能够支持的美化细节越来越多。以美颜功能为例,在常规的如磨皮、肤色调整以及滤镜等基础上,还出现了微整形、妆容和粒子特效等更加丰富的美化功能。由于可美化的项目越来越多,用户手动调整费时费力,且效果可能也不够理想,一键美化功能受到的很多用户的青睐。在现有的一键美化功能中,可以提供多种美化效果,每种美化效果中包含了多种美化项目,应用一键美化功能可以实现美化效果中多个美化项目的一次性调整,不需要用户输入更多操作,操作方便。然而,现有的基于一键美化功能实现的图像处理方案中,存在处理效率低下等问题,需要改进。



技术实现要素:

本发明实施例提供了图像处理方法、装置、设备及存储介质,可以优化现有的图像处理方案。

第一方面,本发明实施例提供了一种图像处理方法,该方法包括:

获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现所述第一美化效果的多个第一美化项目的子配置信息;

根据所述第一主配置信息获取所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合;

在包含目标图像的初始场景中加载所述第一素材包集合,得到第一目标场景;

对所述第一目标场景进行渲染,得到所述目标图像对应的第一目标美化图像。

第二方面,本发明实施例提供了一种图像处理装置,该装置包括:

配置信息获取模块,用于获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现所述第一美化效果的多个第一美化项目的子配置信息;

素材包获取模块,用于根据所述第一主配置信息获取所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合;

素材包加载模块,用于在包含目标图像的初始场景中加载所述第一素材包集合,得到第一目标场景;

场景渲染模块,用于对所述第一目标场景进行渲染,得到所述目标图像对应的第一目标美化图像。

第三方面,本发明实施例提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明实施例提供的图像处理方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例提供的图像处理方法。

本发明实施例中提供的图像处理方案,获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现第一美化效果的多个第一美化项目的子配置信息,根据第一主配置信息获取多个第一美化项目分别对应的第一素材包,得到第一素材包集合,在包含目标图像的初始场景中加载第一素材包集合,得到第一目标场景,对第一目标场景进行渲染,得到目标图像对应的第一目标美化图像。通过采用上述技术方案,针对不同的美化效果设置相应的主配置信息,根据主配置信息获取用于实现美化效果的各美化项目的素材包,并将素材包加载到包含目标图像的场景中,再对素材包加载完毕的场景进行渲染,得到美化图像,相比于逐个加载及渲染的渲染链处理方式,可以有效提升图像美化处理的效率。

附图说明

图1为本发明实施例提供的一种图像处理方法的流程示意图;

图2为本发明实施例提供的又一种图像处理方法的流程示意图;

图3为本发明实施例提供的另一种图像处理方法的流程示意图;

图4为本发明实施例提供的一种图像处理装置的结构框图;

图5为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种图像处理方法的流程示意图,该方法可以由图像处理装置执行,其中该装置可由软件和/或硬件实现,一般可集成在计算机设备中,其中,该计算机设备可以包括手机、平板电脑、笔记本电脑等移动设备,还可以包括台式计算机等其他设备,具体不做限定。如图1所示,该方法包括:

步骤101、获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现所述第一美化效果的多个第一美化项目的子配置信息。

本发明实施例中,美化可理解为针对图像所进行的优化处理,如改变色调、图像风格化或添加图像不存在的元素等,具体可以是针对图像中的某个对象进行美化,可称为美化对象,这里的美化对象可以是人物、动物、建筑物、自然景物或其他对象。以对人脸图像进行美化为例,美化效果包括美颜效果,美化对象可以是人脸,美颜可理解为针对人脸图像所进行的美化处理,例如包括磨皮、肤色调整、添加滤镜、微整形(如瘦脸、添加双眼皮或改变鼻型等等)、调整妆容、更换发型以及添加配饰等等。美化效果可以理解为通过整合任意一种或多种美化处理方式对图像进行处理后所达到的整体美化效果。美化效果可以由美术设计师等专业人员进行设计,设计过程中每个美化处理所对应的处理对象(如五官、脸颊、头发或其他类型的对象)和处理方式可称为一个美化项目。针对一个美化项目,可以设定对应的子配置信息,子配置信息中可以包含如美化项目的名称、版本、类型、处理对象、处理程序代码或算法、脚本、素材包名称、素材包下载地址、素材包中各素材的名称及下载地址等等相关信息,具体不做限定。对于一个美化效果,将其对应的所有美化项目的子配置信息汇总到一起,可以称为该美化效果对应的主配置信息,也即,主配置信息中包括用于实现相应美化效果的多个美化项目的子配置信息。当然,主配置信息中除了各美化项目的子配置信息外,还可能包含其他相关信息,具体不做限定。配置信息的存在形式不做限定,例如可以是json文件。

示例性的,第一美化效果可以是任意一种美化效果,可以由计算机设备自动选择,也可以在用户操作在下进行选择。例如,对于当前需要进行美化的图像(下文中称为目标图像),可以由计算机设备根据目标图像自动选择合适的美化效果作为第一美化效果;又如,对于目标图像,用户可以根据自己的喜好从多个美化效果中选择一个美化效果,作为第一美化效果,第一美化效果中包含的美化项目记为第一美化项目。第一美化效果对应的主配置信息记为第一主配置信息,其中包含了用于实现第一美化效果的多个第一美化项目的子配置信息。

本发明实施例中,对第一主配置信息的获取途径不做限定,可以从计算机设备本地读取,也可以从相应的服务端获取,还可以由其他计算机设备处获取等。

步骤102、根据所述第一主配置信息获取所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合。

本发明实施例中,在获取到第一主配置信息后,可以根据第一主配置信息中包含的子配置信息获取各第一美化项目分别对应的第一素材包。具体获取方式不做限定,例如,可以根据子配置信息中的素材包名称从本地获取或从服务端获取;又如,可以根据子配置信息中的素材包下载地址下载得到。一般的,一个第一美化项目对应一个第一素材包,不同的第一美化项目对应的第一素材包的获取方式可以相同,也可以不同。

示例性的,当第一美化效果对应的所有第一美化项目对应的第一素材包获取操作完成后,汇总所有获取到的第一素材包,得到第一素材包集合。

步骤103、在包含目标图像的初始场景中加载所述第一素材包集合,得到第一目标场景。

示例性的,目标图像可理解为当前需要进行美化处理的图像,目标图像的具体来源不做限定,可以根据实际的应用场景来确定。例如,拍照场景下,目标图像可以是拍摄好的照片或者预览图像;短视频拍摄场景下,目标图像可以是视频帧图像或预览图像;视频直播场景下,目标图像可以是实时视频流中的视频帧图像等。若目标图像为目标人脸图像,则人脸图像可以理解为包含人脸的图像,目标人脸图像可理解为当前需要进行美颜处理的人脸图像。

现有技术中,一般是将需要进行美化处理的图像作为背景图像,将素材包按照一定的顺序逐一添加到背景图像上并进行渲染,也即每在背景图像上添加一个素材包后,就进行一次渲染,然后再添加下一个素材包后再进行一次渲染,依次类推,直到最后一个素材包被添加和渲染完毕,得到最终的美化图像。这种方式中,不仅素材包添加过程耗时较长,且每添加一个素材包,都需要重构渲染链,在渲染链中构建一个新的节点去渲染对应功能(相当于美化项目),且用户会看到独立素材的加载过程,体验较差,尤其是在实时视频图像的美化处理时,该问题更加突出。

而本发明实施例中,将素材包加载到场景中,其中,用于加载素材包的场景可以理解为一个三维空间场景,该三维空间场景的边界与人眼的视野范围相对应,也即该三维空间场景也可理解为人眼立体视觉空间。该场景在计算机设备中的存在形式可以与如unity等三维图像处理引擎中的图形用户界面中的显示图像相对应。

示例性的,目标图像包含于初始场景中,可以认为目标图像是初始场景对应的三维空间中的一个平面,一般存在于初始场景中距离人眼最远的位置。在初始场景中加载第一素材包集合,可以理解为在初始场景中加载所有第一素材包,第一素材包可以被加载至人眼与目标图像之间的空间区域。若被加载的不同第一素材包与人眼距离不相等,则相互之间可以存在遮挡关系,例如距离较远的第一素材包的内容可能会被距离较近的第一素材包的内容所遮挡。本发明实施例中,各第一素材包的加载过程是相互独立的,加载时机和加载顺序等均不做限定,因此,可以实现同时加载多个第一素材包,这样就可以有效节省素材包加载时间,进一步提升图像处理效率。

步骤104、对所述第一目标场景进行渲染,得到所述目标图像对应的第一目标美化图像。

示例性的,在将第一素材包集合中的所有第一素材包都加载到初始场景中后,第一目标场景中就包含了用于实现第一美化效果的所有内容,对第一目标场景整体进行一次渲染,便可以快速得到目标图像对应的第一目标美化图像。

本发明实施例中提供的图像处理方法,获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现第一美化效果的多个第一美化项目的子配置信息,根据第一主配置信息获取多个第一美化项目分别对应的第一素材包,得到第一素材包集合,在包含目标图像的初始场景中加载第一素材包集合,得到第一目标场景,对第一目标场景进行渲染,得到目标图像对应的第一目标美化图像。通过采用上述技术方案,针对不同的美化效果设置相应的主配置信息,根据主配置信息获取用于实现美化效果的各美化项目的素材包,并将素材包加载到包含目标图像的场景中,再对素材包加载完毕的场景进行渲染,得到美化图像,相比于逐个加载及渲染的渲染链处理方式,可以有效提升图像美化处理的效率。

在一些实施例中,所述子配置信息中包含资源地址。所述获取第一美化效果对应的第一主配置信息,包括:从服务端获取第一美化效果对应的第一主配置信息。所述根据所述第一主配置信息获取所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合,包括:读取所述第一主配置信息中包含的所述多个第一美化项目分别对应的资源地址,并根据所述资源地址下载所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合。这样设置的好处在于,可以由服务端对不同美化效果的主配置信息进行维护,当作为客户端的计算机设备需要时,可以有针对性的进行获取,在子配置信息中包含资源地址,而不是包含具体的素材包文件,可以便于客户端有选择地进行素材包的下载,减少传输的数据量,且可以根据主配置信息实现美化效果的动态下发。其中,资源地址例如可以是第一素材包对应的下载地址,还可以是一个第一素材包中的各种资源或相关文件分别对应的下载地址,可以根据下载地址到相应的素材服务器下载第一素材包。资源地址例如可以是统一资源定位符(uniformresourcelocator,url)。

在一些实施例中,所述子配置信息中还包含美化项目的唯一的身份标识。所述读取所述第一主配置信息中包含的所述多个第一美化项目分别对应的资源地址,并根据所述资源地址下载所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合,包括:读取所述第一主配置信息中包含的所述多个第一美化项目分别对应的身份标识;判断本地是否存在与所读取的美化项目的身份标识一致的已下载的本地第一素材包;对于不存在对应的本地第一素材包的目标第一美化项目,获取所述目标第一美化项目对应的资源地址,并根据所述资源地址下载所述目标第一美化项目对应的第一素材包;根据所述本地第一素材包和新下载的第一素材包确定第一素材包集合。这样设置的好处在于,可以实现不同美化效果中的素材包的复用,减少数据下载,提高图像处理效率。另外,相比于现有技术中,每个美化效果的素材包集合独立存储的方式来说,上述优化还可减少本地存储的素材包对存储空间的占用。此外,美化效果设计者在进行设计时,也可复用已经设计好的美化效果中的美化项目的设计方案,从而更加快速地实现新的美化效果的设计,更快捷地得到新的美化效果对应的主配置信息。

示例性的,为美化项目设定唯一的身份标识,也即相当于为每个美化项目对应的第一素材包设定唯一的身份标识。在设计美化效果时,由于一整套美化效果中包含多个美化项目,而不同的美化效果中可能存在相同的美化项目,例如,两套美化效果中均需要对眼睛和嘴巴添加美妆效果,美化效果a中包含添加a样式眼睫毛的美化项目1和添加b颜色唇膏的美化项目2,美化效果b中包含添加a样式眼睫毛的美化项目1和添加c颜色唇膏的美化项目3,可见美化效果a和美化效果b中均包含了美化项目1。若美化效果a已经被使用过,那么美化项目1和美化项目2分别对应的素材包已被下载至本地,若美化效果b为当前的第一美化效果,则读取到第一主配置信息中包含的第一美化项目对应的身份标识包括1和3,判断本地是否存在与所读取的1和3一致的已下载的本地第一素材包,判断结果为存在与1对应的第一素材包,不存在与3对应的第一素材包,因此,仅获取美化项目3对应的资源地址,并下载美化项目3对应的第一素材包,根据本地已存在的美化项目1的本地素材包和新下载的美化项目3的第一素材包确定第一素材包集合。

需要说明的是,上述仅为了便于说明,将美化项目对应的身份标识以数字编号为例进行说明,美化项目对应的身份标识还可以有其他形式,例如信息摘要算法(messagedigestalgorithm,md),具体可以是md5等。

在一些实施例中,所述子配置信息中还包含素材包中素材资源的唯一的身份标识。所述获取所述目标第一美化项目对应的资源地址,并根据所述资源地址下载所述目标第一美化项目对应的第一素材包,包括:读取所述目标第一美化项目中包含的素材资源对应的身份标识;确定本地已存在的与所读取的素材资源的身份标识一致的已下载的本地素材资源;获取所述目标第一美化项目对应的资源地址,并根据所述资源地址下载所述目标第一美化项目对应的第一素材包中除所述本地素材资源之外的数据,根据所下载数据和所述本地素材资源,确定所述目标第一美化项目对应的第一素材包。这样设置的好处在于,可以对素材包中的素材资源做进一步划分,从更小的粒度上减少数据下载,进一步提升提高图像处理效率,节省本地存储空间,以及提高美化效果的设计效率。

在一些实施例中,所述目标图像包括实时视频中的图像。所述对所述第一目标场景进行渲染,得到所述目标图像对应的第一目标美化图像包括:在所述第一目标场景中针对已加载的第一素材包集合和当前时刻的目标图像进行动态匹配,并根据动态匹配结果进行渲染,得到所述目标图像对应的动态变化的第一目标美化图像。这样设置的好处在于,对于实时视频来说,由于素材包的加载可能需要一定的时间,因此素材包加载时的目标图像和需要进行渲染时的目标图像可能会不同(如人物头部发生一定角度的转动等),针对当前时刻的目标图像进行动态匹配后,再进行渲染,可以使得美化效果更加贴合美化对象,提升目标美化图像的质量。另外,当前时刻的目标图像可以包含素材包加载完毕之后的每个实时视频帧,直到退出美化功能或无法检测到美化对象,因此,得到的第一目标美化图像是可以随着实时视频帧的变化而变化的。

在一些实施例中,在所述获取第一美化效果对应的第一主配置信息之前,还包括:接收针对实时视频的显示界面的第一美化处理操作,其中,所述第一美化处理操作与所述第一美化效果相对应。其中,在所述得到所述目标图像对应的第一目标美化图像之后,还包括:在所述显示界面中显示所述动态变化的第一目标美化图像,其中,在得到所述目标图像对应的第一目标美化图像之前,在所述显示界面中实时显示所述目标图像。这样设置的好处在于,当用户输入第一美化处理操作后,在显示界面中显示实时的目标图像,在渲染完毕得到目标美化图像之后,再在显示界面中显示美化图像,避免素材包加载过程被用户感知,影响视觉体验,同时,由于本发明实施例的图像处理方案可以快速得到美化图像,输入第一美化处理操作到显示美化图像之前的时间间隔很短,可有效避免用户产生显示界面发生卡顿的错觉。

在一些实施例中,所述子配置信息中还包括素材包中各素材的属性信息,其中,所述属性信息与所述初始场景的类型相关。所述在包含目标图像的初始场景中加载所述第一素材包集合,包括:确定包含目标图像的初始场景的目标场景类型;根据所述目标场景类型和所述第一主配置信息确定所述第一素材包集合中各素材对应的目标属性;依据所述目标属性在所述初始场景中加载所述第一素材包集合。这样设置的好处在于,可以丰富配置信息的内容,使得美化效果的应用更加灵活。

示例性的,属性信息可以包括如素材的颜色、形状或大小等可调节的属性,还可包括美化处理强度,如美白等级等。场景类型可以根据实际需求设置,例如可设置多种场景类型,由系统自动确定目标图像对应的目标场景类型,如根据目标图像的背景内容自动确定,或为用户提供多种场景类型的选项,由用户自行选取目标图像对应的目标场景类型。

在一些实施例中,所述子配置信息中还包括素材包中各素材资源的位置信息,其中,所述位置信息包括在初始场景中的空间位置信息和/或相对于美化对象关键点的相对位置信息;所述在包含目标图像的初始场景中加载所述第一素材包集合,包括:根据所述位置信息在包含目标图像的初始场景中加载所述第一素材包集合。这样设置的好处在于,可以更加快速准确地将第一素材包加载到初始场景中的合适位置。其中,空间位置信息可以包括各素材资源的相对空间位置关系,还可以包括相对于目标图像的远近位置等。以美化对象为人脸为例,对于人脸关键点的相对位置信息,例如可以包括相对于人眼的眼角、鼻头、嘴角或耳垂等人脸关键点的相对位置。

图2为本发明实施例提供的又一种图像处理方法的流程示意图,如图2所示,该方法可包括:

步骤201、获取第一美化效果对应的第一主配置信息。

其中,所述第一主配置信息中包括用于实现第一美化效果的多个第一美化项目的子配置信息。

步骤202、读取第一主配置信息中包含的多个第一美化项目分别对应的身份标识。

步骤203、判断本地是否存在与所读取的美化项目的身份标识一致的已下载的本地第一素材包。

步骤204、对于不存在对应的本地第一素材包的目标第一美化项目,获取所述目标第一美化项目对应的资源地址,并根据所述资源地址下载所述目标第一美化项目对应的第一素材包。

需要说明的是,本发明实施例中,可以针对每个读取到的第一美化项目对应的身份标识逐一进行后续处理。例如,当前读取到的第一个第一美化项目的md5值后,判断本地是否存在与该md5值一致的已下载的本地第一素材包,若存在,则获取该已下载的本地第一素材包,若不存在,则获取该第一个第一美化项目的url地址,并根据该url地址下载第一个第一美化项目对应的第一素材包。随后,继续读取第二个第一美化项目的md5值,重复上述操作,直到最后一个第一美化项目对应的第一素材包获取完毕。

步骤205、根据本地第一素材包和新下载的第一素材包确定第一素材包集合。

步骤206、在包含目标图像的初始场景中加载所述第一素材包集合,得到第一目标场景。

可选的,子配置信息中还包括素材包中各素材的属性信息和位置信息,其中,位置信息包括在初始场景中的空间位置信息和相对于美化对象关键点的相对位置信息。可以由计算机设备对当前需要进行美化处理的目标图像进行识别,根据识别结果确定目标图像的初始场景的目标场景类型,根据目标场景类型和第一主配置信息确定第一素材包集合中各素材对应的目标属性,依据目标属性和所述位置信息在初始场景中加载第一素材包集合,得到第一目标场景。

步骤207、对第一目标场景进行渲染,得到目标图像对应的第一目标美化图像。

步骤208、在显示界面中显示第一目标美化图像。

本发明实施例提供的图像处理方法,针对不同的美化效果设置相应的主配置信息,根据主配置信息中各美化项目的身份标识从本地直接获取已下载过的素材包,或根据配置信息中的下载地址从服务器下载相应的素材包,从而快速得到用于实现美化效果的各美化项目的素材包集合,并可以根据素材的属性信息和位置信息将素材包准确地加载到包含目标图像的场景中,再对素材包加载完毕的场景进行渲染,得到美化图像,最后在显示界面中显示得到的美化图像,可以有效提升图像美化处理的效率,且避免用户看到美化过程,提升用户体验。

在一些实施例中,在所述得到所述目标图像对应的第一目标美化图像之后,还包括:获取第二美化效果对应的第二主配置信息;确定所述第一主配置信息和所述第二主配置信息之间的差异美化项目;根据所述差异美化项目对所述第一目标场景中的第一素材包集合进行更新,得到第二目标场景;对所述第二目标场景进行渲染,得到所述目标图像对应的第二目标美化图像。这样设置的好处在于,当需要更换美化效果时,若更换前后的两个美化效果中存在相同的美化项目,则不需要重新加载新的美化效果的所有素材包,仅需根据两者不同的美化项目对第一目标场景中的第一素材包集合进行更新,即可快速得到新的美化效果对应的美化图像。

进一步的,所述确定所述第一主配置信息和所述第二主配置信息之间的差异美化项目,包括:将所述第一主配置信息中包含且所述第二主配置信息中不包含的美化项目确定为第一差异美化项目;将所述第一主配置信息中不包含且所述第二主配置信息中包含的美化项目确定为第二差异美化项目;其中,所述根据所述差异美化项目对所述第一目标场景中的第一素材包集合进行更新,包括:从所述第一目标场景中卸载所述第一差异美化项目对应的第一素材包,并在所述第一目标场景中加载所述第二差异美化项目对应的第二素材包。这样设置的好处在于,可以快速实现差异美化项目的确定以及更新,进一步提升新的美化效果对应的美化图像的处理效率。其中,可以根据第一主配置信息和第二主配置信息中包含的各美化项目的身份标识进行差异美化项目的确定。需要说明的是,第一差异美化项目和第二差异美化项目数量均不做限定,可以是一个或多个,且两者数量并不一定相等,视实际的比较结果而定。

可选的,可对子配置信息中的素材资源进行进一步细化,也即子配置信息中还包含素材包中素材资源的唯一的身份标识。所述差异化项目可以细化为差异化素材。示例性的,所述子配置信息中还包含素材包中素材资源的唯一的身份标识;所述从所述第一目标场景中卸载所述第一差异美化项目对应的第一素材包,并在所述第一目标场景中加载所述第二差异美化项目对应的第二素材包,包括:判断所述第一差异美化项目和所述第二差异美化项目中是否存在身份标识相同的目标素材资源;若不存在,则从所述第一目标场景中卸载所述第一差异美化项目对应的第一素材包,并在所述第一目标场景中加载所述第二差异美化项目对应的第二素材包;若存在,则从所述第一目标场景中卸载所述第一差异美化项目对应的第一素材包中除所述目标素材资源之外的数据,并在所述第一目标场景中加载所述第二差异美化项目对应的第二素材包中除所述目标素材资源之外的数据,并根据所述第二差异美化项目对应的子配置信息调整所述目标素材资源在所述第一目标场景中的位置。其中,第一素材包中除目标素材资源之外的数据和第二素材包中除目标素材资源之外的数据可理解为差异化素材。这样设置的好处在于,部分已经加载成功的属于第一差异美化项目中的素材资源若同样存在于需要更新的美化效果中,则不需要经过卸载和加载的过程,从更小的粒度上减少资源的重复加载,进一步提升美化效果的更新效率。需要说明的是,目标素材资源对应的美化对象可能不同,即使美化对象相同,在场景中的位置也可能发生变化,子配置信息中还可包括素材包中各素材的位置信息,可以根据目标素材资源对应的位置信息调整其在所述第一目标场景中的位置,以准确实现第二美化效果。

图3为本发明实施例提供的另一种图像处理方法的流程示意图,如图3所示,以应用场景为视频直播,目标图像为人脸图像为例进行说明,该方法可包括如下步骤:

步骤301、接收针对视频直播画面的显示界面的第一美颜处理操作,其中,第一美颜处理操作与第一美颜效果相对应。

示例性的,可以在显示界面中提供多种美颜效果的触发选项,根据用户对触发选项的触发操作确定相应的美颜效果。例如,用户点击第一美颜效果对应的触发选项后,可认为接收到用户输入的对视频直播画面的显示界面的第一美颜处理操作。其中,这里的显示界面可以为主播侧的显示界面。

步骤302、获取第一美颜效果对应的第一主配置信息。

需要说明的是,本步骤中,可以先判断第一美颜效果是否已经在本地应用过,若应用过,则可直接从本地获取对应的第一主配置信息,若未应用过,则可从服务端获取第一美颜效果对应的第一主配置信息。

步骤303、根据第一主配置信息获取多个第一美化项目分别对应的第一素材包,得到第一素材包集合。

可选的,若第一美颜效果未在本地应用过,在从服务端获取第一美颜效果对应的第一主配置信息后,可读取第一主配置信息中包含的多个第一美化项目分别对应的资源地址,并根据资源地址下载多个第一美化项目分别对应的第一素材包,得到第一素材包集合。若已在本地应用过,则可以直接根据第一主配置信息获取本地的第一素材包集合。

步骤304、根据子配置信息中的素材包中各素材的位置信息在包含目标人脸图像的初始场景中加载第一素材包集合,得到第一目标场景。

其中,目标人脸图像可以理解为视频直播中的包含人脸的实时视频画面。

步骤305、在第一目标场景中针对已加载的第一素材包集合和当前时刻的目标人脸图像进行动态匹配,并根据动态匹配结果进行渲染,得到目标人脸图像对应的动态变化的第一目标美颜图像。

示例性的,若美化项目中包含美妆项目和微整形项目,可以在微整形项目处理后对应的人脸关键点基础上动态匹配美妆项目,从而使得美妆贴合基于微整形后的关键点,使得妆容贴合更加紧密。

步骤306、在显示界面中显示动态变化的第一目标美颜图像。

其中,在得到目标人脸图像对应的首个第一目标美颜图像之前,在所述显示界面中实时显示目标人脸图像。对于第二个和之后的第一目标美颜图像,在渲染成功后进行显示,也即连续动态显示第一目标美颜图像。这里的显示界面可包括主播侧的显示界面和粉丝侧的显示界面,对于粉丝侧,可以将第一目标美颜图像发送至粉丝侧设备中的直播的显示界面进行显示。

步骤307、接收针对显示界面的第二美颜处理操作,其中,第二美颜处理操作与第二美颜效果相对应。

示例性的,用户点击第二美颜效果对应的触发选项后,可认为接收到用户输入的针对显示界面的第二美颜处理操作。

步骤308、获取第二美颜效果对应的第二主配置信息。

步骤309、确定第一主配置信息和第二主配置信息之间的差异美化项目。

步骤310、根据差异美化项目对第一目标场景中的第一素材包集合进行更新,得到第二目标场景。

步骤311、在第二目标场景中针对已更新的素材包集合和当前时刻的目标人脸图像进行动态匹配,并根据动态匹配结果进行渲染,得到目标人脸图像对应的动态变化的第二目标美颜图像。

目前,在进行美颜效果更换时,现有技术中的实现方式通常是先卸载掉之前的美颜效果,然后再根据新选择的美颜效果进行素材包加载,然后根据新的素材包重构渲染链。以美颜效果为美妆效果为例,a妆容和b妆容都采用了c样式的眼睫毛,那么a妆容的素材包集合和b妆容的素材包集合都会存有c相关的素材,由a切换到b时,需要卸掉a中的所有素材包,再加载b中的所有素材包,也即c会被先卸载再加载,切换妆容耗时增加,c在手机等设备中的存储空间内也会存在两份,占用更多的设备存储空间。

采用本发明实施例提供的方案,a妆容切换到b妆容时,只需要根据两者分别对应的主配置信息即可找到a和b的差别项,然后在目前的渲染场景中删除和添加差异项,即可完成素材的更换,根据最新的场景渲染出来的效果即为切换妆容后的效果。

进一步的,可对子配置信息中的素材资源进行进一步细化,也即子配置信息中还包含素材包中素材资源的唯一的身份标识。所述差异化项目可以细化为差异化素材。以身份标识为md5为例,可以为每个素材资源,如贴图或模型,配置自己的md5,可能a妆容的d样式眼影和b妆容的e样式眉毛均采用了同样的贴图f,从a妆容切换b妆容时,虽然d样式眼影需要卸载,e样式的眉毛需要加载,但是其中的f贴图资源可以避免这个重复加载的过程,依然在场景中存在,只需要进行点位(如相对于人脸关键点的相对位置)的更新。

步骤312、在显示界面中显示动态变化的第二目标美颜图像。

本发明实施例提供的图像处理方法,在视频直播的显示界面中,可以快速地将美颜效果添加至视频直播画面中的人脸图像上,当需要进行美颜效果切换时,可以在对应的场景中仅针对差异项目进行更新,从而提高美颜效果的切换效率,使得主播以及粉丝可以更加快速地看到变化后的美颜图像。

图4为本发明实施例提供的一种图像处理装置的结构框图,该装置可由软件和/或硬件实现,一般可集成在计算机设备中,可通过执行图像处理方法来进行图像处理。如图4所示,该装置包括:

配置信息获取模块401,用于获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现所述第一美化效果的多个第一美化项目的子配置信息;

素材包获取模块402,用于根据所述第一主配置信息获取所述多个第一美化项目分别对应的第一素材包,得到第一素材包集合;

素材包加载模块403,用于在包含目标图像的初始场景中加载所述第一素材包集合,得到第一目标场景;

场景渲染模块404,用于对所述第一目标场景进行渲染,得到所述目标图像对应的第一目标美化图像。

本发明实施例中提供的图像处理装置,获取第一美化效果对应的第一主配置信息,其中,所述第一主配置信息中包括用于实现第一美化效果的多个第一美化项目的子配置信息,根据第一主配置信息获取多个第一美化项目分别对应的第一素材包,得到第一素材包集合,在包含目标图像的初始场景中加载第一素材包集合,得到第一目标场景,对第一目标场景进行渲染,得到目标图像对应的第一目标美化图像。通过采用上述技术方案,针对不同的美化效果设置相应的主配置信息,根据主配置信息获取用于实现美化效果的各美化项目的素材包,并将素材包加载到包含目标图像的场景中,再对素材包加载完毕的场景进行渲染,得到美化图像,相比于逐个加载及渲染的渲染链处理方式,可以有效提升人脸图像美化处理的效率。

本发明实施例提供了一种计算机设备,该计算机设备中可集成本发明实施例提供的图像处理装置。图5为本发明实施例提供的一种计算机设备的结构框图。计算机设备500包括存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序,所述处理器502执行所述计算机程序时实现本发明实施例提供的图像处理方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的图像处理方法。

上述实施例中提供的图像处理装置、设备以及存储介质可执行本发明任意实施例所提供的图像处理方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的图像处理方法。

注意,上述仅为本发明的较佳实施例。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由权利要求范围决定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1