一种表情捕捉及动画自动生成系统和方法与流程

本发明涉及图像处理的领域，尤其涉及表情捕捉及动画自动生成系统和方法。

背景技术：

1、cg动画设计或者ai动画设计已经成为动画游戏设计的主流方式，上述设计方式都可在计算机直接进行动画人物的绘制，其并不需要任何动画人物原型基础，即上述设计方式可以脱离真实真实人物形象进行动画人物的绘制，上述方式设计得到的动画游戏无法为玩家呈现与真实人物具有较大逼真切合性的动画人物，降低动画游戏的体验感和沉浸感。为此需要能够根据真实人物的实际情况，比如是真实人物的表情状态，进行针对性的动画人物形象设计，以此提高动画游戏的画面视觉沉浸感和逼真感。

技术实现思路

1、本发明的目的在于提供表情捕捉及动画自动生成系统和方法，其采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。

2、本发明是通过以下技术方案实现：

3、表情捕捉及动画自动生成系统，包括：

4、图像拍摄与分析模块，对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息；

5、五官表情分析模块，从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息；

6、动画人物基础形象寻找与修正模块，基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正；

7、动画人物表情形象生成模块，基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象；

8、动画游戏画面生成模块，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

9、动画游戏画面组合模块，将所有加工动画游戏画面进行组合，形成动态游戏图像，并对所述动态游戏图像进行动画视觉状态调整。

10、可选地，图像拍摄与分析模块对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息，包括：

11、对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于所述双目脸部图像的双目视差，得到所述目标对象的三维脸部图像；

12、对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息；

13、若包含，则对所述三维脸部图像进行五官识别分析，得到所述目标对象在所述拍摄的时刻的五官表情信息；

14、五官表情分析模块从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息，包括：

15、从所述五官表情信息提取所述目标对象的五官外形轮廓信息，基于所述五官外形轮廓信息，生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为所述五官属性信息；

16、从所述五官表情信息提取所述目标对象的实时五官位置信息，将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比，得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息，以此作为所述表情特征信息。

17、可选地，动画人物基础形象寻找与修正模块基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正，包括：

18、基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息，从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象；

19、基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息，对所述动画人物脸部基础形象进行五官线条粗细修正；

20、动画人物表情形象生成模块基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象，包括：

21、基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息，对所述动画人物脸部基础形象进行动画人物五官位置调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。

22、可选地，动画游戏画面生成模块基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

23、基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

24、基于所述动画场景的画面背景布局信息，确定所述动画场景中允许添加动画人物的画面区域；再基于所述画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将所述动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

25、动画游戏画面组合模块将所有加工动画游戏画面进行组合，形成动态游戏图像，并对所述动态游戏图像进行动画视觉状态调整，包括：

26、按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

27、可选地，动画游戏画面组合模块形成动态游戏图像后，将所述动态游戏图像上传至云端进行预定位置存储空间的保存。

28、表情捕捉及动画自动生成方法，包括：

29、对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息；

30、从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息；

31、基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正；

32、基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象；

33、基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面；

34、将所有加工动画游戏画面进行组合，形成动态游戏图像。

35、可选地，对目标对象的脸部进行拍摄，得到所述目标对象的脸部图像，并对所述脸部图像进行分析，得到所述目标对象的五官表情信息，包括：

36、对目标对象的脸部进行双目拍摄，得到双目脸部图像；基于所述双目脸部图像的双目视差，得到所述目标对象的三维脸部图像；

37、对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息；

38、若包含，则对所述三维脸部图像进行五官识别分析，得到所述目标对象在所述拍摄的时刻的五官表情信息；

39、从所述五官表情信息，提取所述目标对象的五官属性信息和表情特征信息，包括：

40、从所述五官表情信息提取所述目标对象的五官外形轮廓信息，基于所述五官外形轮廓信息，生成所述目标对象的五官形状尺寸信息和五官轮廓深度信息，以此作为所述五官属性信息；

41、从所述五官表情信息提取所述目标对象的实时五官位置信息，将所述目标对象处于无表情状态下的原始五官位置信息与所述实时五官位置信息进行对比，得到所述目标对象的五官各自在所述拍摄的时刻相比于所述无表情状态下的动作距离和方向信息，以此作为所述表情特征信息。

42、可选地，对所述三维脸部图像进行脸部轮廓识别处理，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，包括：

43、步骤s1，完整脸部轮廓是不会出现多个轮廓位置点共线的情况，为此利用下面公式(1)，根据脸部轮廓中坐标点，得到每个坐标点对应的单位方向向量，

44、

45、在上述公式(1)中，[x(a，b)，y(a，b)]表示脸部轮廓中坐标点[x(b)，y(b)]指向坐标点[x(a)，y(a)]的单位方向向量；[x(a)，y(a)]表示脸部轮廓中的第a个坐标点；[x(b)，y(b)]表示脸部轮廓中的第b个坐标点；

46、步骤s2，若两个单位方向向量存在共线现象则两个方向向量的差值或求和均为零向量，则利用下面公式(2)，判断两个向量是否存在共线现象，

47、

48、在上述公式(2)中，f(a，b，c)表示向量[x(a，b)，y(a，b)]和向量[x(a，c)，y(a，c)]的共线判断值；(0，0)表示零向量；[x(a，c)，y(a，c)]表示脸部轮廓中坐标点[x(c)，y(c)]指向坐标点[x(a)，y(a)]的单位向量；[x(c)，y(c)]表示脸部轮廓中的第c个坐标点；

49、若f(a，b，c)＝1，则表示向量[x(a，b)，y(a，b)]与向量[x(a，c)，y(a，c)]共线；

50、若f(a，b，c)＝0，则表示向量[x(a，b)，y(a，b)]与向量[x(a，c)，y(a，c)]不共线；

51、步骤s3，若所述脸部轮廓中坐标点存在4个以及4个以上坐标点共线则确定所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，并且4个以及4个以上坐标点共线会存在一个坐标点处会有三个与其组成的向量共线，利用下面公式(3)，根据每个坐标点的向量情况，判断所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息，

52、

53、在上述公式(3)中，e表示所述三维脸部图像是否包含所述目标对象的完整脸部轮廓信息的确定值；n表示所述脸部轮廓中坐标点的总个数；表示将的值从1取值到n同时保证c≠a且c≠b代入到求和算式中进行求和；

54、若e＝1，则表示所述三维脸部图像不包含所述目标对象的完整脸部轮廓信息，此时不控制对所述三维脸部图像进行五官识别分析；

55、若e＝0，则表示所述三维脸部图像包含所述目标对象的完整脸部轮廓信息，此时控制对所述三维脸部图像进行五官识别分析。

56、可选地，基于所述五官属性信息，从动画素材库寻找与所述目标对象匹配的动画人物脸部基础形象，并对所述动画人物脸部基础形象进行修正，包括：

57、基于所述五官属性信息包含的所述目标对象的五官形状尺寸信息，从动画素材库中寻找与所述目标对象具有最高五官相似度的动画人物脸部基础形象；

58、基于所述五官属性信息包含的所述目标对象的五官轮廓深度信息，对所述动画人物脸部基础形象进行五官线条粗细修正；

59、基于所述表情特征信息，对所述动画人物脸部基础形象进行动画人物五官状态调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象，包括：

60、基于所述表情特征信息包含的所述目标对象的五官各自在所述拍摄的时刻相比于无表情状态下的动作距离和方向信息，对所述动画人物脸部基础形象进行动画人物五官位置调整，得到对应所述拍摄的时刻所述目标对象表情类型的动画人物脸部表情形象。

61、可选地，基于动画游戏场景的场景内容信息，选择相匹配的动画人物脸部表情形象；并基于所述动画场景的画面布局信息，将选择的动画人物脸部表情形象添加到相应的动画游戏画面中，形成加工动画游戏画面，包括：

62、基于动画游戏场景的场景故事内容信息，选择相匹配的动画人物脸部表情形象；

63、基于所述动画场景的画面背景布局信息，确定所述动画场景中允许添加动画人物的画面区域；再基于所述画面区域的面积和色度分布，对选择的动画人物脸部表情形象对应的动画人物进行尺寸和色度调整后，将所述动画人物添加到相应的动画游戏画面中，形成加工动画游戏画面；

64、将所有加工动画游戏画面进行组合，形成动态游戏图像，包括：

65、按照所有加工动画游戏画面的分镜关系信息，将所有加工画面游戏画面进行组合，形成动态游戏图像。

66、与现有技术相比，本发明具有如下有益效果：

67、本技术提供的表情捕捉及动画自动生成系统和方法采集与分析目标对象的脸部图像，得到目标对象的五官表情信息，以此提取目标对象的五官属性信息和表情特征信息，从而对目标对象的五官表情进行量化表征，为后续寻找匹配的动画人物脸部基础形象和对其进行动画人物五官状态调整提供真实可靠的依据，提高动画人物与目标对象在五官动作表情上的匹配度；还基于动画游戏场景的场景内容，选择匹配的动画人物脸部表情形象，并基于动画场景的画面布局信息，将动画人物脸部表情形象添加到动画游戏画面，使得生成的加工动画游戏画面，使得加工动画游戏画面能够为游戏玩家提供高沉浸感和逼真感的视觉画面，通过捕捉真实人物表情进行动画人物设计，保证动画画面的逼真性，提高动画游戏的视觉真实感。