一种过渡帧生成方法、装置、电子设备及存储介质与流程

本申请涉及图像处理，具体而言，涉及一种过渡帧生成方法、装置、电子设备及存储介质。

背景技术：

1、目前，在影视动画、游戏娱乐等场景中，均是采用角色动画制作技术来生成角色动画。在角色动画制作过程中，常需要在前后两个关键帧之间生成过渡帧，以生成衔接连贯的帧间动作，从而获得连贯的角色动画。

2、目前，相关技术大都采用线性插值的方法来生成过渡帧，采用这种方法所生成的过渡帧会出现角色滑步的问题，导致角色动画较为僵硬，所生成帧间动画的连贯效果较差。

技术实现思路

1、本申请实施例的目的在于提供一种渡帧生成方法、装置、电子设备及存储介质，用以改善帧间动画的生成效果。

2、第一方面，本申请实施例提供一种过渡帧生成方法，包括：对开始帧和结束帧进行插帧处理，获得初始过渡帧；根据所述初始过渡帧，确定节点组；所述节点组包含多个连续的，且足节点速度均小于第一预设阈值的所述初始过渡帧；针对每个所述节点组，对所述节点组中各所述初始过渡帧中的角色全局位置进行偏移，获得目标过渡帧；所述目标过渡帧中足节点位置与所述节点组中的所述首帧初始过渡帧中足节点位置相同。

3、在上述方案的实现过程中，采用足节点速度在初始过渡帧中确定节点组，并将节点组中各初始过渡帧中的角色全局位置进行偏移，获得剔除滑步后的目标过渡帧，有效解决了由于角色滑步而导致的角色动作僵硬的问题，大大改善了角色动画的生成效果。

4、在第一方面的一种实现方式中，所述对所述节点组中各所述初始过渡帧中角色的全局位置进行偏移，获得目标过渡帧，包括：确定所述节点组中首帧初始过渡帧中足节点位置与其他各所述初始过渡帧中足节点位置之间的位置偏移量；根据所述位置偏移量，对所述节点组中各所述初始过渡帧中角色的全局位置进行偏移，获得目标过渡帧。

5、在上述方案的实现过程中，根据足节点位置之间的位移偏移量对节点组中的初始过渡帧进行偏移处理即可获得目标过渡帧，改善了角色动画的生成效果；同时，还提高了上述过渡帧生成方法的生成效率。

6、在第一方面的一种实现方式中，所述对开始帧和结束帧进行插帧处理，获得初始过渡帧，包括：采用生成网络对开始帧和结束帧进行插帧处理，获得初始过渡帧；在所述对开始帧和结束帧进行插帧处理，获得初始过渡帧之前，还包括：采用鉴别网络与所述生成网络进行对抗训练。

7、在上述方案的实现过程中，采用鉴别网络对生成网络进行对抗训练，有效提高了生成网络所生成过渡帧的质量，改善了角色动画的生成效果；同时，还提高了上述过渡帧生成方法的生成效率。

8、在第一方面的一种实现方式中，所述采用鉴别网络与所述生成网络进行对抗训练，包括：以真实样本为输入，对所述生成网络和包含第一鉴别子网络、第二鉴别子网络和第三鉴别子网络的鉴别网络进行对抗训练；其中，所述第一鉴别子网络，用于根据所述生成网络所生成的初始过渡帧中角色位置与真实角色位置之间的位置差异，判断所述初始过渡帧是否为真实样本；所述第二鉴别子网络，用于根据所述初始过渡帧中角色各节点的旋转运动曲线平滑度，判断所述初始过渡帧是否为真实样本；所述第三鉴别子网络，用于根据真实样本中角色的触地运动信息和/或穿模信息，判断所述初始过渡帧是否为真实样本。

9、在上述方案的实现过程中，采用三个鉴别子网络与生成网络进行对抗训练，使得所述生成网络在生成过渡帧时能够考虑过渡帧中角色位置与真实样本中角色位置的位置差异、所生成动作的旋转运动曲线平滑度、角色触地信息以及穿模信息，进一步提高了生成网络所生成过渡帧的质量。

10、在第一方面的一种实现方式中，所述以真实样本为输入，对所述生成网络和包含第一鉴别子网络、第二鉴别子网络和第三鉴别子网络的鉴别网络进行对抗训练，包括：以真实样本，以及所述真实样本中的关键帧信息、所述真实样本各帧中角色触地信息、所述真实样本各帧中角色穿模信息和所述真实样本各帧中角色根位置偏差信息为输入，对所述生成网络和包含第一鉴别子网络、第二鉴别子网络和第三鉴别子网络的鉴别网络进行对抗训练。

11、在上述方案的实现过程中，在对生成网络和鉴别网络进行对抗训练时，将关键帧信息、角色触地信息、角色穿模信息和角色根位置偏差信息作为输入，使得生成网络在生成过渡帧时能够考虑关键帧信息、角色触地信息、角色穿模信息以及角色根位置偏差信息，有效提高了生成网络所生成过渡帧的质量，改善了角色动画的生成效果。

12、在第一方面的一种实现方式中，所述关键帧信息的获取方法包括：采用预设关键帧筛选规则，在所述真实样本中筛选关键帧，获取所述真实样本的关键帧信息。

13、在上述方案的实现过程中，采用预设关键帧筛选规则在真实样本中筛选关键帧，从而使得生成网络在生成过渡帧时能够考虑关键帧信息，有效提高了生成网络所生成过渡帧的质量，改善了角色动画的生成效果。

14、在第一方面的一种实现方式中，所述采用生成网络对开始帧和结束帧进行插帧处理，获得初始过渡帧，包括：采用带有自注意力层的生成网络对开始帧和结束帧进行插帧处理，获得初始过渡帧。

15、在上述方案的实现过程中，采用带有自注意力层的生成网络对开始帧和结束帧进行插帧处理，使得生成网络在生成过渡帧时能够提高对过渡帧中关键节点的注意力，进而提高所生成过渡帧的质量，改善角色动画的生成效果。

16、第二方面，本申请实施例提供一种过渡帧生成装置，包括：

17、初始过渡帧获取模块，用于对开始帧和结束帧进行插帧处理，获得初始过渡帧；

18、节点组获取模块，用于根据所述初始过渡帧，确定节点组；所述节点组包含多个连续的，且足节点速度均小于第一预设阈值的所述初始过渡帧；

19、目标过渡帧获取模块，用于针对每个所述节点组，对所述节点组中各所述初始过渡帧中的角色全局位置进行偏移，获得目标过渡帧；所述目标过渡帧中足节点位置与所述节点组中的所述首帧初始过渡帧中足节点位置相同。

20、第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

21、第四方面，本申请实施例提供一种电子设备，包括：处理器、存储器和通信总线，其中所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器中存储有可被所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行第一方面或第一方面的任意一种可能的实现方式提供的方法。

22、本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种过渡帧生成方法，其特征在于，包括：

2.根据权利要求1所述的过渡帧生成方法，其特征在于，所述对所述节点组中各所述初始过渡帧中角色的全局位置进行偏移，获得目标过渡帧，包括：

3.根据权利要求1所述的过渡帧生成方法，其特征在于，所述对开始帧和结束帧进行插帧处理，获得初始过渡帧，包括：

4.根据权利要求3所述的过渡帧生成方法，其特征在于，所述采用鉴别网络与所述生成网络进行对抗训练，包括：

5.根据权利要求4所述的过渡帧生成方法，其特征在于，所述以真实样本为输入，对所述生成网络和包含第一鉴别子网络、第二鉴别子网络和第三鉴别子网络的鉴别网络进行对抗训练，包括：

6.根据权利要求5所述的过渡帧生成方法，其特征在于，其中，所述关键帧信息的获取方法包括：

7.根据权利要求3～6中任一项所述的过渡帧生成方法，其特征在于，所述采用生成网络对开始帧和结束帧进行插帧处理，获得初始过渡帧，包括：

8.一种过渡帧生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器、存储器和通信总线，其中，所述处理器和所述存储器通过所述通信总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1～7中任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1～7中任一项所述的方法。

技术总结
本申请提供一种过渡帧生成方法、装置、电子设备及存储介质，其中过渡帧生成方法包括：对开始帧和结束帧进行插帧处理，获得初始过渡帧；根据初始过渡帧，确定节点组；其中，节点组包含多个连续的，且足节点速度均小于第一预设阈值的初始过渡帧；针对每个节点组，对节点组中各初始过渡帧中的角色全局位置进行偏移，获得目标过渡帧；其中，目标过渡帧中足节点位置与节点组中的首帧初始过渡帧中足节点位置相同。采用足节点速度在初始过渡帧中确定节点组，并将节点组中各初始过渡帧中的角色全局位置进行偏移，获得剔除滑步后的目标过渡帧，有效解决了由于角色滑步而导致的角色动作僵硬的问题，大大改善了角色动画的生成效果。

技术研发人员：黄洋杰
受保护的技术使用者：成都数字天空科技有限公司
技术研发日：
技术公布日：2024/1/13