图像处理方法、装置、电子设备及存储介质与流程

文档序号:31051131发布日期:2022-08-06 07:16阅读:来源:国知局

技术特征:
1.一种图像处理方法,其特征在于,包括:采集包括目标对象的待处理图像,确定与所述待处理图像相对应的风格图、变换矩阵以及速度场图;基于单一渲染通道对所述风格图、变换矩阵、速度场图以及所述待处理图像进行处理,得到与所述待处理图像相对应的目标特效图像。2.根据权利要求1所述的方法,其特征在于,所述采集包括目标对象的待处理图像的触发时机包括下述至少一种:检测到触发特效处理道具;检测到采集的音频信息触发特效唤醒词;检测到入镜画面中包括目标对象;检测到所述目标对象的肢体动作与预设肢体动作相一致。3.根据权利要求1所述的方法,其特征在于,所述风格图是通过如下步骤确定的:基于目标风格图生成模型对所述待处理图像进行处理,得到与目标区域相对应的风格图,其中,所述目标区域对应于所述目标对象的面部区域。4.根据权利要求1所述的方法,其特征在于,所述变换矩阵是通过如下步骤确定的:确定与所述待处理图像在渲染管线中所对应的变换矩阵,以基于所述变换矩阵对网络模型的顶点纹理坐标进行变换处理,以使变换后的网格模型对应于所述待处理图像中目标对象的面部区域;其中,所述网格模型与面部区域相对应;其中,所述网格模型的模型纹理坐标分别与所述风格图和所述速度场图的纹理坐标相对应,所述模型纹理坐标中包括顶点纹理坐标。5.根据权利要求1所述的方法,其特征在于,所述基于单一渲染通道对所述风格图、变换矩阵、速度场图以及所述待处理图像进行处理,得到与所述待处理图像相对应的目标特效图像,包括:基于所述变换矩阵确定网格模型中至少一个模型纹理坐标在所述待处理图像中的待处理像素坐标;基于至少一个待处理像素坐标、所述至少一个模型纹理坐标以及所述速度场图,确定所述至少一个模型纹理坐标在所述待处理图像中的目标像素坐标;基于至少一个目标像素坐标以及所述变换矩阵,确定所述至少一个模型纹理坐标对应于所述风格图的目标风格纹理坐标;基于同一模型纹理坐标所对应的目标像素坐标和所述目标风格纹理坐标的像素属性,确定所述目标特效图像。6.根据权利要求5所述的方法,其特征在于,所述基于所述变换矩阵确定网格模型中至少一个模型纹理坐标在所述待处理图像中的待处理像素坐标,包括:基于所述至少一个模型纹理坐标左乘所述变换矩阵,确定所述模型纹理坐标在所述待处理图像中的待处理像素坐标;其中,所述变换矩阵包括模型矩阵、视觉矩阵以及投影矩阵。7.根据权利要求5所述的方法,其特征在于,所述基于至少一个待处理像素坐标、所述至少一个模型纹理坐标以及所述速度场图,确定所述至少一个模型纹理坐在所述待处理图像中的目标像素坐标,包括:
对于模型纹理坐标,确定当前模型纹理坐标对应于所述速度场图中的当前位移纹理坐标;根据所述当前位移纹理坐标和相应的待处理像素坐标,确定所述当前模型纹理坐标的目标像素坐标。8.根据权利要求7所述的方法,其特征在于,所述根据所述当前位移纹理坐标和相应的待处理像素坐标,确定所述当前模型纹理坐标的目标像素坐标,包括:获取所述当前位移纹理坐标所对应的像素属性,并基于所述像素属性中的至少两个属性值,确定坐标偏移量;基于所述坐标偏移量对所述待处理像素坐标进行累加,得到所述目标像素坐标。9.根据权利要求5所述的方法,其特征在于,所述基于至少一个目标像素坐标以及所述变换矩阵,确定所述至少一个纹理坐标对应于所述风格图的目标风格纹理坐标,包括:基于当前模型纹理坐标的目标像素坐标左乘所述变换矩阵的逆矩阵,得到所述当前模型纹理坐标对应于所述风格图中的目标风格纹理坐标。10.根据权利要求5所述的方法,其特征在于,所述基于同一模型纹理坐标所对应的目标像素坐标和所述目标风格纹理坐标的像素属性,确定所述目标特效图像,包括:对于模型纹理坐标,获取所述待处理图像中与当前模型纹理坐标所对应的目标像素坐标的第一像素属性,以及获取所述风格图中与所述目标风格纹理坐标相对应的第二像素属性;基于所述第一像素属性以及所述第二像素属性,确定对所述当前模型纹理坐标渲染时所的目标像素属性;基于至少一个模型纹理坐标的目标像素属性和所述待处理图像,确定所述目标特效图像。11.根据权利要求10所述的方法,其特征在于,所述基于至少一个模型纹理坐标的目标像素属性和所述待处理图像,确定所述目标特效图像,包括:基于与面部区域所对应的目标像素属性和所述待处理图像中除所述面部区域之外的像素属性,确定所述目标特效图像。12.根据权利要求1所述的方法,其特征在于,还包括:对至少一个目标特效图像进行拼接,得到目标特效视频。13.根据权利要求1-12中任一所述的方法,其特征在于,所述风格图的风格特征与朝代特征或者地理区域特征相对应。14.一种图像处理装置,其特征在于,包括:图像获取模块,用于采集包括目标对象的待处理图像,确定与所述待处理图像相对应的风格图、变换矩阵以及速度场图;图像处理模块,用于基于单一渲染通道对所述风格图、变换矩阵、速度场图以及所述待处理图像进行处理,得到与所述待处理图像相对应的目标特效图像。15.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实
现如权利要求1-13中任一所述的图像处理方法。16.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-13中任一所述的图像处理方法。

技术总结
本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质,该方法包括:采集包括目标对象的待处理图像,确定与所述待处理图像相对应的风格图、变换矩阵以及速度场图;基于单一渲染通道对所述风格图、变换矩阵、速度场图以及所述待处理图像进行处理,得到与所述待处理图像相对应的目标特效图像。本公开实施例所提供的技术方案,解决了现有技术中在采用多通道进行数据渲染时,存在占用内存,从而引起渲染效率较低的问题,实现了基于单通道渲染的方式就可以得到相应特效图像的技术效果,不仅不需要占用较多的内存,还可以节省渲染通道资源的效果。源的效果。源的效果。


技术研发人员:廖昀昊
受保护的技术使用者:北京字跳网络技术有限公司
技术研发日:2022.06.01
技术公布日:2022/8/5
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1