表情重定向训练方法、装置、电子设备和可读存储介质与流程

文档序号:26673609发布日期:2021-09-17 23:27阅读:来源:国知局

技术特征:
1.一种表情重定向训练方法,其特征在于,所述方法包括:采集训练用户的视频流,所述视频流包含多帧视频帧;针对每个所述视频帧,计算预设的多个表情基模板相对于该视频帧的表情基系数;调整控制虚拟形象表情的控制参数,以使所述虚拟形象的表情与所述视频帧中训练用户的表情一致;基于各所述视频帧对应的表情基系数和控制参数,对构建的网络模型进行训练得到重定向模型。2.根据权利要求1所述的表情重定向训练方法,其特征在于,所述调整控制虚拟形象表情的控制器的控制参数,以使所述虚拟形象的表情与所述视频帧中训练用户的表情一致的步骤,包括:提取所述多帧视频帧中的关键视频帧,其中,各所述关键视频帧包含处于设定状态的目标脸部特征;调整控制虚拟形象表情的控制器的控制参数,以使所述虚拟形象的表情与所述关键视频帧中训练用户的表情一致。3.根据权利要求2所述的表情重定向训练方法,其特征在于,所述调整控制虚拟形象的控制器的控制参数,以使所述虚拟形象的表情与所述关键视频帧中训练用户的表情一致的步骤,包括:确定所述虚拟形象中与所述目标脸部特征对应的目标虚拟特征;获得控制所述目标虚拟特征的目标控制器;调整所述目标控制器的控制参数,以使所述虚拟形象中目标虚拟特征的状态与所述目标脸部特征的状态一致。4.根据权利要求3所述的表情重定向训练方法,其特征在于,所述基于各所述视频帧对应的表情基系数和控制参数,对构建的网络模型进行训练得到重定向模型的步骤,包括:获得各所述关键视频帧的表情基系数中与所述目标脸部特征对应的系数子集;获得所述虚拟形象的控制参数中与所述目标虚拟特征对应的参数子集;基于各所述关键视频帧对应的系数子集和参数子集,对构建的网络模型进行训练得到重定向模型。5.根据权利要求2所述的表情重定向训练方法,其特征在于,所述提取所述多帧视频帧中的关键视频帧的步骤,包括:获得各所述视频帧中包含的指定脸部特征的特征点信息;比对各所述视频帧的指定脸部特征的特征点信息,以确定包含的指定脸部特征满足设定状态的视频帧,并作为关键视频帧。6.根据权利要求2所述的表情重定向训练方法,其特征在于,所述提取所述多帧视频帧中的关键视频帧的步骤,包括:提取各所述视频帧的表情基系数中与指定脸部特征对应的系数子集;比对各所述视频帧的系数子集,以确定包含的指定脸部特征满足设定状态的视频帧,并作为关键视频帧。7.根据权利要求1所述的表情重定向训练方法,其特征在于,所述基于各所述视频帧对应的表情基系数和控制参数,对构建的网络模型进行训练得到重定向模型的步骤,包括:
将各所述视频帧对应的表情基系数导入构建的网络模型,得到输出结果;将各所述视频帧对应的控制参数与输出结果进行比对,基于比对结果对所述网络模型的模型参数进行调整后继续训练,直至满足预设条件时得到重定向模型。8.根据权利要求2所述的表情重定向训练方法,其特征在于,所述方法还包括:将所述多帧视频帧中除关键视频帧之外的其他视频帧的表情基系数导入所述重定向模型,输出各所述其他视频帧对应的控制参数;将各所述关键视频和各所述其他视频帧对应的控制参数与相应的表情进行关联,并保存。9.根据权利要求1所述的表情重定向训练方法,其特征在于,所述方法还包括:获取待处理的用户的重定向视频帧,并计算预设的多个表情基模板相对于所述重定向视频帧的重定向模板系数;将所述重定向模板系数导入所述重定向模型,输出重定向控制参数;基于所述重定向控制参数调整控制目标虚拟模型的控制器,以使所述目标虚拟模型的表情与所述待处理的用户的表情一致。10.一种表情重定向训练装置,其特征在于,所述装置包括:采集模块,用于采集训练用户的视频流,所述视频流包含多帧视频帧;计算模块,用于针对每个所述视频帧,计算预设的多个表情基模板相对于该视频帧的表情基系数;调整模块,用于调整控制虚拟形象表情的控制参数,以使所述虚拟形象的表情与所述视频帧中训练用户的表情一致;训练模块,用于基于各所述视频帧对应的表情基系数和控制参数,对构建的网络模型进行训练得到重定向模型。11.一种电子设备,其特征在于,包括一个或多个存储介质和一个或多个与存储介质通信的处理器,一个或多个存储介质存储有处理器可执行的机器可执行指令,当电子设备运行时,处理器执行所述机器可执行指令,以执行权利要求1

9中任意一项所述的方法步骤。12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有机器可执行指令,所述机器可执行指令被执行时实现权利要求1

9中任意一项所述的方法步骤。

技术总结
本申请提供一种表情重定向训练方法、装置、电子设备和可读存储介质,通过采集训练用户的多帧视频帧,针对每个视频帧计算预设的多个表情基模板相对于该视频帧的表情基系数,并调整控制虚拟形象表情的控制参数,以使虚拟形象的表情与视频帧中训练用户的表情一致。最后基于视频帧对应的表情基系数和控制参数对构建的网络模型进行训练得到重定向模型。本方案中,首先以表情基模板和表情基系数来表征训练用户不同的表情,可以以规范的信息表征各种不同表情,且通过调整虚拟形象得到控制参数的方式,可以训练得到能够实现表情迁移且能够保持虚拟形象的个性化特征的重定向模型,实现适用性好、自然的表情重定向。自然的表情重定向。自然的表情重定向。


技术研发人员:李团辉 王擎
受保护的技术使用者:广州虎牙科技有限公司
技术研发日:2021.06.29
技术公布日:2021/9/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1