口型动画处理方法、装置及存储介质与流程

本技术涉及计算机，尤其涉及一种口型动画处理方法、装置及存储介质。

背景技术：

1、随着动画技术的发展以及动画质量的提高，观众对动画中虚拟角色的说话口型与说话内容的匹配度要求越来越高。为了提高观众对于动画的观看体验，在相关技术中，常用文本驱动虚拟人脸动画生成方式或者音频驱动虚拟人脸动画生成方式，来制作虚拟人脸的口型动画。通过为口型图像帧配置与音频中的音素对应的视素权重系数，使得在每个口型图像帧中，都能够基于视素权重系数生成对应的口型图像，从而使得虚拟人脸的口型变化能够与音频内容相匹配。

2、但是，当某些关键发音对应的口型图像帧中的视素权重系数发生冲突时，容易导致出现口型不准确的问题，从而会导致口型与发音不匹配，影响观众的观看体验。

技术实现思路

1、以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术实施例提供了一种口型动画处理方法、装置及存储介质，能够提高口型的准确性，从而能够提高口型与发音的匹配度，改善观众的观看体验。

3、一方面，本技术实施例提供了一种口型动画处理方法，包括以下步骤：

4、在待处理的口型动画中，确定与目标音素对应的多个候选音频帧，以及与目标视素对应的多个口型图像帧，其中，所述目标音素与所述目标视素对应，所述候选音频帧与所述口型图像帧对齐；

5、获取各个所述候选音频帧中所述目标音素的音频强度，根据所述音频强度在所述多个口型图像帧中确定多个目标图像帧区间；

6、确定会与所述目标视素产生冲突的冲突视素，根据所述冲突视素在所述多个目标图像帧区间中确定视素冲突帧区间，所述视素冲突帧区间中的至少一个所述口型图像帧与所述冲突视素对应；

7、获取所述视素冲突帧区间的视素权重曲线，根据所述视素权重曲线计算得到权重抑制曲线；

8、根据所述权重抑制曲线和所述视素权重曲线，对所述视素冲突帧区间的图像内容进行调整。

9、另一方面，本技术实施例还提供了一种口型动画处理装置，包括：

10、第一帧处理单元，用于在待处理的口型动画中，确定与目标音素对应的多个候选音频帧，以及与目标视素对应的多个口型图像帧，其中，所述目标音素与所述目标视素对应，所述候选音频帧与所述口型图像帧对齐；

11、第一帧区间确定单元，用于获取各个所述候选音频帧中所述目标音素的音频强度，根据所述音频强度在所述多个口型图像帧中确定多个目标图像帧区间；

12、第二帧区间确定单元，用于确定会与所述目标视素产生冲突的冲突视素，根据所述冲突视素在所述多个目标图像帧区间中确定视素冲突帧区间，所述视素冲突帧区间中的至少一个所述口型图像帧与所述冲突视素对应；

13、曲线计算单元，用于获取所述视素冲突帧区间的视素权重曲线，根据所述视素权重曲线计算得到权重抑制曲线；

14、图像调整单元，用于根据所述权重抑制曲线和所述视素权重曲线，对所述视素冲突帧区间的图像内容进行调整。

15、可选地，所述第一帧区间确定单元还用于：

16、在所述多个候选音频帧中，确定所述音频强度大于预设强度阈值的多个目标音频帧；

17、根据所述多个目标音频帧，在所述多个口型图像帧中确定多个目标图像帧区间。

18、可选地，所述第一帧区间确定单元还用于：

19、在所述多个口型图像帧中，确定与所述多个目标音频帧对应的多个目标图像帧；

20、根据所述多个目标图像帧的分布情况，确定多个目标图像帧区间。

21、可选地，所述目标视素的种类有多个；所述第一帧区间确定单元还用于：

22、在所述多个口型图像帧中，确定各种所述目标视素对应的多个候选图像帧；

23、在各种所述目标视素对应的所述多个候选图像帧中，分别确定与所述多个目标音频帧对应的多个目标图像帧。

24、可选地，所述第一帧区间确定单元还用于：

25、根据所述多个目标图像帧的分布情况，确定各种所述目标视素对应的候选图像帧区间；

26、对不同种类的所述目标视素对应的所述候选图像帧区间之间，进行基于时间维度的区间去重，得到多个目标图像帧区间。

27、可选地，所述第一帧区间确定单元还用于：

28、遍历所有种类的所述目标视素，如果当前种类的所述目标视素对应的所述候选图像帧区间，与其他种类的所述目标视素对应的所述候选图像帧区间，在时间维度上属于包含关系，将被包含的所述候选图像帧区间进行删除。

29、可选地，所述第二帧区间确定单元还用于：

30、在所述多个目标图像帧区间中，将存在包括所述冲突视素的口型图像帧的所述目标图像帧区间，确定为视素冲突帧区间。

31、可选地，所述曲线计算单元还用于：

32、计算所述视素权重曲线的权重均值；

33、根据所述视素权重曲线和所述权重均值，计算得到权重抑制曲线。

34、可选地，所述曲线计算单元还用于：

35、根据所述视素权重曲线和所述权重均值，计算得到初始抑制曲线；

36、对所述初始抑制曲线进行基于幅值的归一化处理，得到权重抑制曲线。

37、可选地，所述曲线计算单元还用于：

38、根据所述视素冲突帧区间的长度确定幅值上限超参数和幅值下限超参数；

39、根据所述幅值上限超参数和所述幅值下限超参数，对所述初始抑制曲线进行归一化处理，得到权重抑制曲线。

40、可选地，所述图像调整单元还用于：

41、将所述权重抑制曲线和所述视素权重曲线进行相乘处理，得到权重调整曲线；

42、根据所述权重调整曲线对所述视素冲突帧区间的图像内容进行调整。

43、另一方面，本技术实施例还提供了一种口型动画处理装置，包括：

44、至少一个处理器；

45、至少一个存储器，用于存储至少一个程序；

46、当至少一个所述程序被至少一个所述处理器执行时实现如前面所述的口型动画处理方法。

47、另一方面，本技术实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的计算机程序，所述处理器可执行的计算机程序被处理器执行时用于实现如前面所述的口型动画处理方法。

48、另一方面，本技术实施例还提供了一种计算机程序产品，包括计算机程序或计算机指令，所述计算机程序或所述计算机指令存储在计算机可读存储介质中，口型动画处理装置的处理器从所述计算机可读存储介质读取所述计算机程序或所述计算机指令，所述处理器执行所述计算机程序或所述计算机指令，使得所述口型动画处理装置执行如前面所述的口型动画处理方法。

49、本技术实施例至少包括以下有益效果：在待处理的口型动画中，先确定与目标音素对应的多个候选音频帧，以及与目标视素对应的多个口型图像帧，其中目标音素与目标视素对应，候选音频帧与口型图像帧对齐；然后，获取各个候选音频帧中目标音素的音频强度，并根据音频强度在多个口型图像帧中确定多个目标图像帧区间，通过根据音频强度确定目标图像帧区间，可以达到利用音频强度筛选目标图像帧区间的目的，从而有利于提高在目标图像帧区间中确定视素冲突帧区间的效率；接着，确定会与目标视素产生冲突的冲突视素，并根据冲突视素在多个目标图像帧区间中确定视素冲突帧区间，其中视素冲突帧区间中的至少一个口型图像帧与冲突视素对应，通过先确定会与目标视素产生冲突的冲突视素，然后在多个目标图像帧区间中确定具有与冲突视素对应的口型图像帧的视素冲突帧区间，可以提高确定视素冲突帧区间的准确性，从而有利于提高对视素冲突帧区间的图像内容进行调整的准确性；在确定视素冲突帧区间之后，获取视素冲突帧区间的视素权重曲线，并根据视素权重曲线计算得到权重抑制曲线，然后根据权重抑制曲线和视素权重曲线对视素冲突帧区间的图像内容进行调整，与对整个待处理的口型动画的图像内容进行调整相比，通过利用权重抑制曲线和视素权重曲线对视素冲突帧区间的图像内容进行调整，可以达到对视素冲突帧区间的图像内容的局部增强，从而可以更加突出口型与发音之间的协调；此外，由于权重抑制曲线是根据视素冲突帧区间的视素权重曲线而计算得到的，因此在根据权重抑制曲线和视素权重曲线对视素冲突帧区间的图像内容进行调整时，可以有效提高口型的准确性，从而能够提高口型与发音的匹配度，进而可以改善观众的观看体验。

50、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书以及附图中所特别指出的结构来实现和获得。