1. 一种用于渲染头像的设备,包括:
一个或多个处理器;以及
头像动画引擎,由所述一个或多个处理器操作,以接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数,并用面部和骨骼动画驱动头像模型以使用所述面部运动参数和所述头部姿态参数给所述头像作动画,以在所述头像上复制所述用户的面部表情,所述面部表情包含所述用户的头部转动后的影响;
其中所述多个面部运动参数描绘所述面部的面部行为动作,并且所述多个头部姿态参数描绘所述头部的头部姿势姿态。
2.如权利要求1所述的设备,其中当用面部和骨骼动画驱动所述头像模型时所述头像动画引擎施加头部转动影响权重。
3.如权利要求2所述的设备,其中所述头像动画引擎根据头部转动影响权重图施加至少采用在关节处连接的头骨和躯干骨预先生成的头部转动影响权重。
4.如权利要求3所述的设备,其中所述关节设置在颈部。
5.如权利要求3所述的设备,其中所述头部转动影响权重图处于灰度级,其中较淡的灰度值描绘来自头部转动的较大影响。
6.如权利要求3所述的设备,其中所述头部转动影响权重图具有包含所述面部的区段、所述面部的眼球的区段、所述用户的颈部的区段、所述面部的舌头的区段、所述面部的牙齿的区段或者所述用户的身体或衣服的区段的布局。
7.如权利要求3所述的设备,其中所述头像动画引擎进一步采用二维纹理图,并且所述头部转动影响权重图具有对应于所述二维纹理图的布局或维度;并且其中所述动画引擎使用所述二维纹理图中的顶点的对应坐标从所述头部转动影响权重图中检索所述顶点的影响权重。
8.如权利要求2所述的设备,其中当用面部动画驱动所述头像模型时所述头像动画引擎混合多个预先定义的混合形状,并向所述面部动画的结果施加所述头部转动影响权重以用骨骼模拟驱动所述头像模型。
9.如权利要求8所述的设备,其中当用面部动画驱动所述头像模型时混合多个预先定义的混合形状包括:
确定所述多个预先定义的混合形状中的每个形状中的位置偏移;
向确定的所述位置偏移施加对应混合形状权重;
对所有混合形状的所述混合形状加权的位置偏移求和;以及
将所述和加到基本模型中所述顶点的位置偏移。
10.如权利要求2所述的设备,其中头部转动包括左右摇摆、俯仰或倾斜。
11.如权利要求1-10中任一项所述的设备,进一步包括:面部网格跟踪器,由所述一个或多个处理器操作,以接收多个图像帧,通过所述多个图像帧检测所述用户的所述面部的面部行为动作以及所述用户的所述头部的头部姿势姿态,并且输出描绘所检测的面部行为动作的所述多个面部运动参数以及描绘所检测的头部姿势姿态的所述多个头部姿态参数,全都实时地输出;
其中面部行为动作和头部姿势姿态的检测包含基于所述图像帧的像素采样的所述头部和所述面部上的嘴巴和眼睛的帧间差异的检测。
12.如权利要求11所述的设备,进一步包括:头像渲染引擎,所述头像渲染引擎与所述头像动画引擎耦合并由所述一个或多个处理器操作以绘制如由所述头像动画引擎所作动画的所述头像。
13. 一种用于渲染头像的方法,包括:
由计算装置接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数;以及
用面部和骨骼动画驱动头像模型,以使用所述面部运动参数和所述头部姿态参数给所述头像作动画,以在所述头像上复制所述用户的面部表情,其包含所述用户的头部转动后的影响;
其中所述多个面部运动参数描绘所述面部的面部行为动作,并且所述多个头部姿态参数描绘所述头部的头部姿势姿态。
14.如权利要求13所述的方法,其中驱动包括:当用面部和骨骼动画驱动所述头像模型时施加头部转动影响权重。
15.如权利要求14所述的方法,其中施加包括:根据头部转动影响权重图施加至少采用在关节处连接的头骨和躯干骨预先生成的头部转动影响权重。
16.如权利要求15所述的方法,其中所述关节设置在颈部。
17.如权利要求15所述的方法,其中所述头部转动影响权重图处于灰度级,其中较淡的灰度值描绘来自头部转动的较大影响。
18.如权利要求15所述的方法,其中所述头部转动影响权重图具有包含所述面部的区段、所述面部的眼球的区段、所述用户的颈部的区段、所述面部的舌头的区段、所述面部的牙齿的区段或者所述用户的身体或衣服的区段的布局。
19.如权利要求15所述的方法,其中驱动包括采用二维纹理图;其中所述头部转动影响权重图具有对应于所述二维纹理图的布局或维度;其中施加包括:使用所述二维纹理图中顶点的对应坐标从所述头部转动影响权重图中检索所述顶点的影响权重。
20.如权利要求14所述的方法,其中驱动包括:当用面部动画驱动所述头像模型时混合多个预先定义的混合形状,并向所述面部动画的结果施加所述头部转动影响权重以用骨骼模拟驱动所述头像模型。
21.如权利要求20所述的方法,其中当用面部动画驱动所述头像模型时混合多个预先定义的混合形状包括:
确定所述多个预先定义的混合形状中的每个形状中的位置偏移;
向确定的所述位置偏移施加对应混合形状权重;
对所有混合形状的所述混合形状加权的位置偏移求和;以及
将所述和加到基本模型中所述顶点的位置偏移。
22.如权利要求14所述的方法,其中头部转动包括左右摇摆、俯仰或倾斜。
23.一种计算机可读介质,包括指令,所述指令使计算装置响应于所述指令的执行而执行如权利要求14-22所述的方法中的任一方法。
24. 一种用于渲染头像的设备,包括:
用于接收分别与用户的面部和头部关联的多个面部运动参数和多个头部姿态参数的部件;以及
用于用面部和骨骼动画驱动头像模型以使用所述面部运动参数和所述头部姿态参数给所述头像作动画以在所述头像上复制所述用户的面部表情的部件,所述面部表情包含所述用户的头部转动后的影响;
其中所述多个面部运动参数描绘所述面部的面部行为动作,并且所述多个头部姿态参数描绘所述头部的头部姿势姿态。
25.如权利要求24所述的设备,其中用于驱动的部件包括用于当用面部和骨骼动画驱动所述头像模型时施加头部转动影响权重的部件。