视频处理方法、装置、电子设备、存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及一种视频处理方法、装置、电子设备、存储介质和计算机程序产品。


背景技术：

2.目前，针对基于深度学习模型的短视频特效拍摄，如基于gan技术(generative adversarial networks,生成式对抗网络)的人脸生成，由于该类型技术对设备计算能力要求高，受限于移动端设备的处理性能，通常采用将用户在移动端拍摄的完整视频上传至服务端进行处理，进而再下发至移动端让用户预览发布的方式，但采用上述传统方法无法让用户体验到实时拍摄的效果，也无法及时调整拍摄画面。
3.因此，相关技术中存在对视频进行特效处理的效率低的问题。


技术实现要素：

4.本公开提供一种视频处理方法、装置、电子设备、存储介质和计算机程序产品，以至少解决相关技术中存在难以实时预览特效视频拍摄效果的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种视频处理方法，包括：
6.确定待进行特效处理的原始视频；
7.从所述原始视频中间隔选取关键帧，通过特效处理模型对所述关键帧进行特效处理，得到模型特效处理帧；
8.对于所述原始视频中位于所述模型特效处理帧之间的中间视频帧，获取所述原始视频中所述中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧；
9.基于所述前向模型特效处理帧以及所述后向模型特效处理帧合成所述中间视频帧对应的合成特效处理帧；
10.基于所述模型特效处理帧以及所述合成特效处理帧得到所述原始视频对应的特效处理视频。
11.在一种可能实现方式中，所述基于所述前向模型特效处理帧以及所述后向模型特效处理帧合成所述中间视频帧对应的合成特效处理帧，包括：
12.获取所述前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息；
13.获取所述后向模型特效处理帧中所述对象的关键点信息，作为后向对象关键点信息；
14.基于所述前向对象关键点信息以及所述后向对象关键点信息，得到所述中间视频帧对应的合成特性处理帧的合成对象关键点信息；
15.基于所述合成对象关键点信息生成所述中间视频帧对应的合成特效处理帧。
16.在一种可能实现方式中，所述基于所述前向对象关键点信息以及所述后向对象关键点信息，得到所述中间视频帧对应的合成特性处理帧的合成对象关键点信息，包括：
17.基于所述前向模型特效处理帧与所述中间视频帧之间的帧间距，确定所述前向对象关键点信息对应的前向权重系数，所述前向权重系数与对应的帧间距成负相关关系；
18.基于所述后向模型特效处理帧与所述中间视频帧之间的帧间距，确定所述后向对象关键点信息对应的后向权重系数，所述后向权重系数与对应的帧间距成负相关关系；
19.根据所述前向权重系数和所述后向权重系数，对所述前向对象关键点信息和所述后向对象关键点信息进行加权，得到所述合成对象关键点信息。
20.在一种可能实现方式中，所述基于所述合成对象关键点信息生成所述中间视频帧对应的合成特效处理帧，包括：
21.根据所述前向模型特效处理帧、所述前向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第一特效图像；
22.根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像；
23.基于所述第一特效图像和所述第二特效图像进行图像合成，得到所述中间视频帧对应的合成特效处理帧。
24.在一种可能实现方式中，所述根据所述前向模型特效处理帧、所述前向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第一特效图像，包括：
25.根据所述合成对象关键点信息和所述前向对象关键点信息，对所述前向模型特征处理帧进行图像形变处理，得到所述第一特效图像；
26.所述根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像，包括：
27.根据所述合成对象关键点信息和所述后向对象关键点信息，对所述后向模型特征处理帧进行图像形变处理，得到所述第二特效图像。
28.在一种可能实现方式中，所述从所述原始视频中间隔选取关键帧，包括：
29.基于当前终端对应的特效处理性能，确定间隔选取长度；
30.根据所述间隔选取长度，从所述原始视频中间隔选取所述关键帧。
31.在一种可能实现方式中，所述基于所述前向模型特效处理帧以及所述后向模型特效处理帧合成所述中间视频帧对应的合成特效处理帧，包括：
32.获取所述前向模型特效处理帧对应的特效处理区域，作为前向特效处理区域；
33.获取所述后向模型特效处理帧对应的特效处理区域，作为后向特效处理区域；
34.对所述前向特效处理区域以及所述后向特效处理区域进行图像合成，得到合成特效处理区域；
35.确定所述中间视频帧对应的背景图像区域，将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧。
36.在一种可能实现方式中，所述通过特效处理模型对所述关键帧进行特效处理，得到模型特效处理帧，包括：
37.所述特效处理模型对所述关键帧中对象的第一表情区域进行特效处理，得到所述模型特效处理帧；
38.所述确定所述中间视频帧对应的背景图像区域，将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧，包括：
39.确定所述中间视频帧中所述对象的第二表情区域，从所述中间视频帧抠除所述第二表情区域，得到所述中间视频帧对应的背景图像区域；
40.确定所述第二对象表情区域与所述背景图像区域的位置对应关系，基于所述位置对应关系将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧。
41.根据本公开实施例的第二方面，提供一种视频处理装置，包括：
42.原始视频确定单元，被配置为执行确定待进行特效处理的原始视频；
43.模型特效处理帧得到单元，被配置为执行从所述原始视频中间隔选取关键帧，通过特效处理模型对所述关键帧进行特效处理，得到模型特效处理帧；
44.中间视频帧处理单元，被配置为执行对于所述原始视频中位于所述模型特效处理帧之间的中间视频帧，获取所述原始视频中所述中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧；
45.合成特效处理帧得到单元，被配置为执行基于所述前向模型特效处理帧以及所述后向模型特效处理帧合成所述中间视频帧对应的合成特效处理帧；
46.特效处理视频得到单元，被配置为执行基于所述模型特效处理帧以及所述合成特效处理帧得到所述原始视频对应的特效处理视频。
47.在一种可能实现方式中，所述合成特效处理帧得到单元，具体被配置为执行获取所述前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息；获取所述后向模型特效处理帧中所述对象的关键点信息，作为后向对象关键点信息；基于所述前向对象关键点信息以及所述后向对象关键点信息，得到所述中间视频帧对应的合成特性处理帧的合成对象关键点信息；基于所述合成对象关键点信息生成所述中间视频帧对应的合成特效处理帧。
48.在一种可能实现方式中，所述合成特效处理帧得到单元，具体还被配置为执行基于所述前向模型特效处理帧与所述中间视频帧之间的帧间距，确定所述前向对象关键点信息对应的前向权重系数，所述前向权重系数与对应的帧间距成负相关关系；基于所述后向模型特效处理帧与所述中间视频帧之间的帧间距，确定所述后向对象关键点信息对应的后向权重系数，所述后向权重系数与对应的帧间距成负相关关系；根据所述前向权重系数和所述后向权重系数，对所述前向对象关键点信息和所述后向对象关键点信息进行加权，得到所述合成对象关键点信息。
49.在一种可能实现方式中，所述合成特效处理帧得到单元，具体还被配置为执行根据所述前向模型特效处理帧、所述前向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第一特效图像；根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像；基于所述第一特效图像和所述第二特效图像进行图像合成，得到所述中间视频帧对应的合成特效处理帧。
50.在一种可能实现方式中，所述合成特效处理帧得到单元，具体还被配置为执行根据所述合成对象关键点信息和所述前向对象关键点信息，对所述前向模型特征处理帧进行图像形变处理，得到所述第一特效图像；所述根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像，包括：
根据所述合成对象关键点信息和所述后向对象关键点信息，对所述后向模型特征处理帧进行图像形变处理，得到所述第二特效图像。
51.在一种可能实现方式中，所述模型特效处理帧得到单元，具体被配置为执行基于当前终端对应的特效处理性能，确定间隔选取长度；根据所述间隔选取长度，从所述原始视频中间隔选取所述关键帧。
52.在一种可能实现方式中，所述合成特效处理帧得到单元，具体被配置为执行获取所述前向模型特效处理帧对应的特效处理区域，作为前向特效处理区域；获取所述后向模型特效处理帧对应的特效处理区域，作为后向特效处理区域；对所述前向特效处理区域以及所述后向特效处理区域进行图像合成，得到合成特效处理区域；确定所述中间视频帧对应的背景图像区域，将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧。
53.在一种可能实现方式中，所述合成特效处理帧得到单元，具体还被配置为执行所述特效处理模型对所述关键帧中对象的第一表情区域进行特效处理，得到所述模型特效处理帧，所述确定所述中间视频帧对应的背景图像区域，将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧，包括：确定所述中间视频帧中所述对象的第二表情区域，从所述中间视频帧抠除所述第二表情区域，得到所述中间视频帧对应的背景图像区域；确定所述第二对象表情区域与所述背景图像区域的位置对应关系，基于所述位置对应关系将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧。
54.根据本公开实施例的第三方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如第一方面或第一方面的任一种可能实现方式所述的视频处理方法。
55.根据本公开实施例的第四方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面的任一种可能实现方式所述的视频处理方法。
56.根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的视频处理方法。
57.本公开的实施例提供的技术方案至少带来以下有益效果：
58.本公开的方案，通过确定待进行特效处理的原始视频，从原始视频中间隔选取关键帧，通过特效处理模型对关键帧进行特效处理，得到模型特效处理帧，然后对于原始视频中位于模型特效处理帧之间的中间视频帧，获取原始视频中中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧，基于前向模型特效处理帧以及后向模型特效处理帧合成中间视频帧对应的合成特效处理帧，进而基于模型特效处理帧以及合成特效处理帧得到原始视频对应的特效处理视频。如此，既可以通过特效处理模型对关键帧进行特效处理，保证特效处理的效果，且无需利用特效处理模型针对每一帧进行处理，通过模型特效处理帧融合得到关键帧之间的中间帧，提高了视频的特效处理效率。
59.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本公开。
附图说明
60.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
61.图1是根据一示例性实施例示出的一种视频处理方法的流程图。
62.图2是根据一示例性实施例示出的一种特效处理流程的示意图。
63.图3是根据一示例性实施例示出的一种合成特效处理帧得到步骤的流程图。
64.图4是根据一示例性实施例示出的另一种视频处理方法的流程图。
65.图5是根据一示例性实施例示出的一种视频处理装置的框图。
66.图6是根据一示例性实施例示出的一种电子设备的内部结构图。
具体实施方式
67.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
68.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
69.还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
70.图1是根据一示例性实施例示出的一种视频处理方法的流程图，如图1所示，该方法可以用于终端等计算机设备中，包括以下步骤。
71.在步骤s110中，确定待进行特效处理的原始视频；
72.作为一示例，原始视频可以为终端进行实时特效拍摄时采集到的视频或预先获取的视频，如用户采用移动端进行实时特效拍摄时采集到的视频，或预先获取的完整视频。
73.在实际应用中，可以响应于视频特效处理操作，获取采用移动端进行实时特效拍摄时采集到的视频或预先获取的完整视频，作为待进行特效处理的原始视频，以对该原始视频进行相关特效处理，如添加魔法表情等人脸生成特效的处理。
74.在步骤s120中，从原始视频中间隔选取关键帧，通过特效处理模型对关键帧进行特效处理，得到模型特效处理帧；
75.其中，关键帧可以为采用特效处理模型进行图像特效处理的视频帧，如采用ai模块进行图像特效处理；模型特效处理帧可以为基于关键帧生成的特效处理后视频帧，如通过gan技术，根据关键帧对应的原始图像可以生成人脸特效图像，以作为特效处理后的关键帧。
76.在得到原始视频后，可以根据预设的间隔选取长度，从原始视频中通过间隔选取得到关键帧，进而可以通过特效处理模型对关键帧进行特效处理，得到模型特效处理帧。
77.具体地，可以基于当前特效处理端对应的特效处理性能，获取间隔选取长度，例如，针对移动端的特效处理性能，可以预设间隔选取长度为间隔1帧，也可以选取其它间隔帧数，在本实施例中不作具体限制，进而可以将原始视频中的起始视频帧作为第一帧，通过间隔1帧的间隔选取方式得到多个关键帧，并可以采用特效处理模型处理多个关键帧，得到各关键帧对应的模型特效处理帧。
78.在一示例中，模型特效处理帧对应的图像可以为基于原始图像中的特效处理区域得到的区域特效处理图像，如针对原始图像中的人脸区域可以得到人脸裁剪框，进而对人脸裁剪框特效处理后可以得到人脸特效图像；也可以为基于原始图像得到的特效处理完整图像，如对原始图像中的人脸区域进行特效处理后，与原始图像中的背景区域拼接得到的完整图像。
79.在步骤s130中，对于原始视频中位于模型特效处理帧之间的中间视频帧，获取原始视频中中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧；
80.其中，中间视频帧可以为不采用特效处理模型进行图像特效处理的视频帧，如缺少ai模块的图像特效处理。
81.在具体实现中，可以将原始视频中位于模型特效处理帧之间的视频帧作为中间视频帧，进而可以针对该中间视频帧，获取原始视频中对应的前向模型特效处理帧以及后向模型特效处理帧。
82.在一示例中，可以将中间视频帧作为非关键帧，针对每个非关键帧，可以将该非关键帧的前一个关键帧对应的模型特效处理帧，作为前向模型特效处理帧，将该非关键帧的后一个关键帧对应的模型特效处理帧，作为后向模型特效处理帧。
83.在步骤s140中，基于前向模型特效处理帧以及后向模型特效处理帧合成中间视频帧对应的合成特效处理帧；
84.在实际应用中，可以针对每个中间视频帧，基于前向模型特效处理帧以及后向模型特效处理帧合成该中间视频帧对应的合成特效处理帧，如通过前向模型特效处理帧以及后向模型特效处理帧，可以基于该两个模型特效处理帧得到特效处理后的中间视频帧，即合成特效处理帧。
85.在步骤s150中，基于模型特效处理帧以及合成特效处理帧得到原始视频对应的特效处理视频。
86.在得到合成特效处理帧后，可以将模型特效处理帧以及合成特效处理帧按照帧时间顺序进行排列，进而可以得到原始视频对应的特效处理视频，从而基于关键帧特效处理得到的前向模型特效处理帧以及后向模型特效处理帧，可以合成中间视频帧对应的合成特效处理帧，通过隔帧插值的处理方法，无需ai模块对每一帧的原始图像进行处理，解决了移动端在性能不足以使用复杂ai特效的情况下，能够让用户实时预览特效拍摄的效果，便于用户及时调整拍摄画面，提升了用户体验感。
87.在一示例中，如图2所示，针对待进行特效处理的原始视频，可以从原始视频中间隔选取关键帧，并将该关键帧对应的原始图像通过ai模块进行特效处理，得到生成图像(即模型特效处理帧)，对于原始视频中的非关键帧(即中间视频帧)，可以基于图像处理装置，通过隔帧插值的处理方法，根据非关键帧的前一个关键帧特效处理得到的生成图像(即前向模型特效处理帧)以及后一个关键帧特效处理得到的生成图像(即后向模型特效处理
帧)，得到该非关键帧特效处理后的生成图像(即合成特效处理帧)，进而可以对特效处理得到的图像进行融合，得到原始视频对应的特效处理视频，如可以得到将生成图像融合到原始图像中的视频效果。
88.上述视频处理方法中，通过确定待进行特效处理的原始视频，从原始视频中间隔选取关键帧，通过特效处理模型对关键帧进行特效处理，得到模型特效处理帧，然后对于原始视频中位于模型特效处理帧之间的中间视频帧，获取原始视频中中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧，基于前向模型特效处理帧以及后向模型特效处理帧合成中间视频帧对应的合成特效处理帧，进而基于模型特效处理帧以及合成特效处理帧得到原始视频对应的特效处理视频。如此，既可以通过特效处理模型对关键帧进行特效处理，保证特效处理的效果，且无需利用特效处理模型针对每一帧进行处理，通过模型特效处理帧融合得到关键帧之间的中间帧，提高了视频的特效处理效率。
89.在一示例性实施例中，如图3所示，基于前向模型特效处理帧以及后向模型特效处理帧合成中间视频帧对应的合成特效处理帧，可以包括如下步骤：
90.在步骤s310中，获取前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息；
91.作为一示例，对象的关键点信息可以包括多个人脸关键点，如在魔法表情特效处理时，针对图像中的人脸面部区域，可以将人脸面部区域中的人脸特征点作为人脸关键点，进而可以定位出人脸面部中的关键区域位置，包括眉毛、眼睛、鼻子、嘴、脸部轮廓等。
92.在得到前向模型特效处理帧后，可以将该前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息，例如，在人脸图像特效处理的场景下，可以获取前向模型特效处理帧中对象的多个人脸关键点，作为前向对象关键点信息。
93.在步骤s320中，获取后向模型特效处理帧中对象的关键点信息，作为后向对象关键点信息；
94.在得到后向模型特效处理帧后，可以将该后向模型特效处理帧对象的关键点信息，作为后向对象关键点信息，例如，在人脸图像特效处理的场景下，可以获取后向模型特效处理帧中对象的多个人脸关键点，作为后向对象关键点信息。
95.在步骤s330中，基于前向对象关键点信息以及后向对象关键点信息，得到中间视频帧对应的合成特性处理帧的合成对象关键点信息；
96.在实际应用中，通过对前向对象关键点信息以及后向对象关键点信息进行加权，可以计算出中间视频帧对应的合成特性处理帧的合成对象关键点信息，例如，在人脸图像特效处理的场景下，可以计算得到中间视频帧中对象的多个人脸关键点，作为合成对象关键点信息。
97.具体地，以人脸图像特效处理为例，为了实现非关键帧(即中间视频帧)的插值融合，可以获取该非关键帧的前后两个关键帧的特效处理数据(即前向模型特效处理帧和后向模型特效处理帧)，通过向内插值的方式插值融合得到非关键帧的特效处理结果(即合成特效处理帧)。
98.例如，以插值融合第t帧(即中间视频帧)为例，可以采用如下方式内插得到第t帧的生成图像对应的关键点(即合成对象关键点信息)：
99.d
t
＝d
t-1
*(1.0-weight)+d
t+1
*weight
100.其中，d
t
为第t帧的生成图像对应的关键点，d
t-1
为第t-1帧的生成图像对应的关键点d
t-1
(即前向对象关键点信息)，d
t+1
为第t+1帧的生成图像对应的关键点d
t+1
(即后向对象关键点信息)，weight为权重系数，如采用间隔1帧进行插值时，可以预设权重系数为0.5。
101.在一个可选实施例中，当进行实时特效拍摄时，可以通过延迟渲染的方式，获取非关键帧的前后两个关键帧的特效处理数据，以使得用户能够实时预览特效拍摄的效果。
102.在步骤s340中，基于合成对象关键点信息生成中间视频帧对应的合成特效处理帧。
103.在得到合成对象关键点信息后，可以基于合成对象关键点信息，对前向模型特效处理帧和后向模型特效处理帧进行图像变形，进而可以生成中间视频帧对应的合成特效处理帧，例如，可以基于人脸特征点的图像变形算法，通过对第t-1帧的生成图像i
t-1
(即前向模型特效处理帧)进行图像变形，以及对第t+1帧的生成图像i
t+1
(即后向模型特效处理帧)进行图像变形，进而可以合成得到第t帧的生成图像i
t
(即合成特效处理帧)。
104.本实施例的技术方案，通过获取前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息，获取后向模型特效处理帧中对象的关键点信息，作为后向对象关键点信息，然后基于前向对象关键点信息以及后向对象关键点信息，得到中间视频帧对应的合成特性处理帧的合成对象关键点信息，进而基于合成对象关键点信息生成中间视频帧对应的合成特效处理帧，可以基于关键帧的模型特效处理帧插值得到非关键帧中对象的关键点，为后续生成合成特效处理帧提供了数据支持，有助于准确得到非关键帧的合成特效处理帧。
105.在一示例性实施例中，基于前向对象关键点信息以及后向对象关键点信息，得到中间视频帧对应的合成特性处理帧的合成对象关键点信息，包括：基于前向模型特效处理帧与中间视频帧之间的帧间距，确定前向对象关键点信息对应的前向权重系数，前向权重系数与对应的帧间距成负相关关系；基于后向模型特效处理帧与中间视频帧之间的帧间距，确定后向对象关键点信息对应的后向权重系数，后向权重系数与对应的帧间距成负相关关系；根据前向权重系数和后向权重系数，对前向对象关键点信息和后向对象关键点信息进行加权，得到合成对象关键点信息。
106.在具体实现中，由于权重系数与对应的帧间距成负相关关系，如帧间距越近，可以预设权重系数越大，针对前向模型特效处理帧，可以根据该前向模型特效处理帧与中间视频帧之间的帧间距，确定前向对象关键点信息对应的前向权重系数，针对后向模型特效处理帧，可以根据该后向模型特效处理帧与中间视频帧之间的帧间距，确定后向对象关键点信息对应的前向权重系数，进而可以采用前向权重系数和后向权重系数对前向对象关键点信息和后向对象关键点信息进行加权，得到合成对象关键点信息。
107.本实施例的技术方案，通过基于前向模型特效处理帧与中间视频帧之间的帧间距，确定前向对象关键点信息对应的前向权重系数，然后基于后向模型特效处理帧与中间视频帧之间的帧间距，确定后向对象关键点信息对应的后向权重系数，进而根据前向权重系数和后向权重系数，对前向对象关键点信息和后向对象关键点信息进行加权，得到合成对象关键点信息，可以基于关键帧与中间视频帧之间的帧间距确定权重系数，能够准确插值得到合成对象关键点信息。
108.在一示例性实施例中，基于合成对象关键点信息生成中间视频帧对应的合成特效
处理帧，包括：根据前向模型特效处理帧、前向对象关键点信息、合成对象关键点信息，得到中间视频帧对应的第一特效图像；根据后向模型特效处理帧、后向对象关键点信息、合成对象关键点信息，得到中间视频帧对应的第二特效图像；基于第一特效图像和第二特效图像进行图像合成，得到中间视频帧对应的合成特效处理帧。
109.在实际应用中，可以根据合成对象关键点信息和前向对象关键点信息，对前向模型特效处理帧进行图像变形，得到第一特效图像，并可以根据合成对象关键点信息和后向对象关键点信息，对后向模型特效处理帧进行图像变形，得到第二特效图像，进而可以将第一特效图像和第二特效图像进行加权，得到中间视频帧对应的合成特效处理帧。
110.在一示例中，以人脸图像特效处理为例，可以基于人脸关键点建立mesh映射，通过opengl(open graphics library，开放式图形库)等图形渲染库进行仿射变换，进而可以实现人脸图像变形。
111.在又一示例中，针对得到的第一特效图像和第二特效图像，为了最终得到一个效果较好的生成图像(即合成特效处理帧)，可以预设权重系数与对应的帧间距成负相关关系，如帧间距越近，可以预设权重系数越大，进而可以将第一特效图像和第二特效图像加权得到合成特效处理帧。
112.本实施例的技术方案，通过根据前向模型特效处理帧、前向对象关键点信息、合成对象关键点信息，得到中间视频帧对应的第一特效图像，然后根据后向模型特效处理帧、后向对象关键点信息、合成对象关键点信息，得到中间视频帧对应的第二特效图像，进而基于第一特效图像和第二特效图像进行图像合成，得到中间视频帧对应的合成特效处理帧，无需利用特效处理模型针对每一帧进行处理，通过模型特效处理帧融合得到关键帧之间的中间帧，提高了视频的特效处理效率。
113.在一示例性实施例中，根据前向模型特效处理帧、前向对象关键点信息、合成对象关键点信息，得到中间视频帧对应的第一特效图像，包括：根据合成对象关键点信息和前向对象关键点信息，对前向模型特征处理帧进行图像形变处理，得到第一特效图像；根据后向模型特效处理帧、后向对象关键点信息、合成对象关键点信息，得到中间视频帧对应的第二特效图像，包括：根据合成对象关键点信息和后向对象关键点信息，对后向模型特征处理帧进行图像形变处理，得到第二特效图像。
114.在实际应用中，可以将合成对象关键点信息所对应的位置作为参考位置，基于参考位置对前向对象关键点信息所对应的位置进行位置变换，以对前向模型特效处理帧进行图像变形处理，得到第一特效图像，还可以将合成对象关键点信息所对应的位置作为参考位置，基于参考位置对后向对象关键点信息所对应的位置进行位置变换，以对后向模型特效处理帧进行图像变形处理，得到第二特效图像。
115.在一示例中，以人脸图像特效处理为例，对非关键帧(如第t帧)进行特效处理，可以将第t帧的人脸关键点d
t
(即合成对象关键点信息)所对应的位置作为参考位置，通过基于参考位置对第t-1帧的人脸关键点d
t-1
(即前向对象关键点信息)位置变换，以对第t-1帧的生成图像i
t-1
(即前向模型特效处理帧)进行图像变形处理，得到第t帧的的生成图像i
t
(即第一特效图像)。
116.同时，还可以将第t帧的人脸关键点d
t
(即合成对象关键点信息)所对应的位置作为参考位置，通过基于参考位置对第t+1帧的人脸关键点d
t+1
(即后向对象关键点信息)位置
变换，以对第t+1帧的生成图像i
t+1
(即后向模型特效处理帧)进行图像变形处理，得到第t帧的的生成图像i
t
(即第二特效图像)，进而可以将两次得到的生成图像i
t
进行加权。
117.本实施例的技术方案，通过根据合成对象关键点信息和前向对象关键点信息，对前向模型特征处理帧进行图像形变处理，得到第一特效图像，以及根据合成对象关键点信息和后向对象关键点信息，对后向模型特征处理帧进行图像形变处理，得到第二特效图像，能够将合成对象关键点信息所对应的位置与前向对象关键点信息所对应的位置进行匹配，或将合成对象关键点信息所对应的位置与后向对象关键点信息所对应的位置进行匹配，提升了合成特效处理帧的效果。
118.在一示例性实施例中，从原始视频中间隔选取关键帧，包括：基于当前终端对应的特效处理性能，确定间隔选取长度；根据间隔选取长度，从原始视频中间隔选取关键帧。
119.在一示例中，针对移动端(即当前终端)的特效处理性能，可以预设间隔选取长度为间隔1帧，进而可以将原始视频中的起始视频帧作为第一帧，通过间隔1帧的间隔选取方式得到多个关键帧。
120.例如，可以按照原始视频中时间以及处理顺序，获取该原始视频的每一帧对应的原始图像，可以将某一时刻作为起始，以将该时刻作为第1帧，则后续处理的图像帧为第2、3、4...帧，由于ai模块无需处理每一帧对应的原始图像，通过隔帧插值的方式，可以仅在第1、3、5...帧，即关键帧，采用ai模块处理得到生成图像，针对第2、4、6...帧，即非关键帧，可以通过插值融合处理得到生成图像，从而能够极大的提升移动端的特效处理整体性能。
121.本实施例的技术方案，通过基于当前终端对应的特效处理性能，确定间隔选取长度，进而根据间隔选取长度，从原始视频中间隔选取关键帧，能够降低拍摄门槛，提升了当前终端的特效处理性能。
122.在一示例性实施例中，基于前向模型特效处理帧以及后向模型特效处理帧合成中间视频帧对应的合成特效处理帧，包括：获取前向模型特效处理帧对应的特效处理区域，作为前向特效处理区域；获取后向模型特效处理帧对应的特效处理区域，作为后向特效处理区域；对前向特效处理区域以及后向特效处理区域进行图像合成，得到合成特效处理区域；确定中间视频帧对应的背景图像区域，将合成特效处理区域以及背景图像区域进行拼接，得到合成特效处理帧。
123.在一示例中，以人脸图像特效处理为例，可以将前向模型特效处理帧中的特效处理后人脸区域，作为前向特效处理区域，并可以将后向模型特效处理帧中的特效处理后人脸区域，作为后向特效处理区域，通过将前向特效处理区域以及后向特效处理区域进行图像合成，可以得到中间视频帧中的特效处理后人脸区域，作为合成特效处理区域，进而可以确定中间视频帧中除特效处理后人脸区域以外的背景图像区域，将合成特效处理区域以及背景图像区域进行拼接，可以得到合成特效处理帧。
124.本实施例的技术方案，通过获取前向模型特效处理帧对应的特效处理区域，作为前向特效处理区域，获取后向模型特效处理帧对应的特效处理区域，作为后向特效处理区域，然后对前向特效处理区域以及后向特效处理区域进行图像合成，得到合成特效处理区域，进而确定中间视频帧对应的背景图像区域，将合成特效处理区域以及背景图像区域进行拼接，得到合成特效处理帧，可以通过将合成特效处理区域与背景图像区域进行拼接，提升特效处理效率。
125.在一示例性实施例中，通过特效处理模型对关键帧进行特效处理，得到模型特效处理帧，包括：特效处理模型对关键帧中对象的第一表情区域进行特效处理，得到模型特效处理帧；确定中间视频帧对应的背景图像区域，将合成特效处理区域以及背景图像区域进行拼接，得到合成特效处理帧，包括：确定中间视频帧中对象的第二表情区域，从中间视频帧抠除第二表情区域，得到中间视频帧对应的背景图像区域；确定第二对象表情区域与背景图像区域的位置对应关系，基于位置对应关系将合成特效处理区域以及背景图像区域进行拼接，得到合成特效处理帧。
126.在一示例中，在基于人脸表情进行特效处理时，针对关键帧，可以通过特效处理模型对关键帧中的人脸区域(即第一表情区域)进行特效处理，得到模型特效处理帧，如基于人脸表情生成魔法表情。
127.在又一示例中，在基于人脸表情进行特效处理时，针对非关键帧(即中间视频帧)，在得到合成特效处理区域后，可以通过将非关键帧中的人脸区域(即第二表情区域)从中间视频帧抠除，得到中间视频帧对应的背景图像区域，进而可以基于非关键帧中的人脸区域与背景图像区域的位置对应关系，将合成特效处理区域以及背景图像区域进行拼接，得到合成特效处理帧。
128.本实施例的技术方案，通过特效处理模型对关键帧中对象的第一表情区域进行特效处理，得到模型特效处理帧，以及确定中间视频帧中对象的第二表情区域，从中间视频帧抠除第二表情区域，得到中间视频帧对应的背景图像区域，进而确定第二对象表情区域与背景图像区域的位置对应关系，基于位置对应关系将合成特效处理区域以及背景图像区域进行拼接，得到合成特效处理帧，能够在基于人脸表情进行特效处理的情况下，仅针对人脸区域得到特效处理结果，提升了表情特效处理效率。
129.图4是根据一示例性实施例示出的另一种视频处理方法的流程图，如图4所示，该方法用于终端等计算机设备中，包括以下步骤。
130.在步骤s401中，确定待进行特效处理的原始视频。在步骤s402中，从所述原始视频中间隔选取关键帧，通过特效处理模型对所述关键帧进行特效处理，得到模型特效处理帧。在步骤s403中，对于所述原始视频中位于所述模型特效处理帧之间的中间视频帧，获取所述原始视频中所述中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧。在步骤s404中，获取所述前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息。在步骤s405中，获取所述后向模型特效处理帧中所述对象的关键点信息，作为后向对象关键点信息。在步骤s406中，基于所述前向对象关键点信息以及所述后向对象关键点信息，得到所述中间视频帧对应的合成特性处理帧的合成对象关键点信息。步骤s407中，根据所述前向模型特效处理帧、所述前向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第一特效图像。步骤s408中，根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像。步骤s409中，基于所述第一特效图像和所述第二特效图像进行图像合成，得到所述中间视频帧对应的合成特效处理帧。步骤s410中，基于所述模型特效处理帧以及所述合成特效处理帧得到所述原始视频对应的特效处理视频。需要说明的是，上述步骤的具体限定可以参见上文对一种视频处理方法的具体限定，在此不再赘述。
131.应该理解的是，虽然图1、图3、图4的流程图中的各个步骤按照箭头的指示依次显
示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3、图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
132.可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。
133.图5是根据一示例性实施例示出的一种视频处理装置框图。参照图5，该装置包括：
134.原始视频确定单元501，被配置为执行确定待进行特效处理的原始视频；
135.模型特效处理帧得到单元502，被配置为执行从所述原始视频中间隔选取关键帧，通过特效处理模型对所述关键帧进行特效处理，得到模型特效处理帧；
136.中间视频帧处理单元503，被配置为执行对于所述原始视频中位于所述模型特效处理帧之间的中间视频帧，获取所述原始视频中所述中间视频帧对应的前向模型特效处理帧以及后向模型特效处理帧；
137.合成特效处理帧得到单元504，被配置为执行基于所述前向模型特效处理帧以及所述后向模型特效处理帧合成所述中间视频帧对应的合成特效处理帧；
138.特效处理视频得到单元505，被配置为执行基于所述模型特效处理帧以及所述合成特效处理帧得到所述原始视频对应的特效处理视频。
139.在一种可能实现方式中，所述合成特效处理帧得到单元504，具体被配置为执行获取所述前向模型特效处理帧中对象的关键点信息，作为前向对象关键点信息；获取所述后向模型特效处理帧中所述对象的关键点信息，作为后向对象关键点信息；基于所述前向对象关键点信息以及所述后向对象关键点信息，得到所述中间视频帧对应的合成特性处理帧的合成对象关键点信息；基于所述合成对象关键点信息生成所述中间视频帧对应的合成特效处理帧。
140.在一种可能实现方式中，所述合成特效处理帧得到单元504，具体还被配置为执行基于所述前向模型特效处理帧与所述中间视频帧之间的帧间距，确定所述前向对象关键点信息对应的前向权重系数，所述前向权重系数与对应的帧间距成负相关关系；基于所述后向模型特效处理帧与所述中间视频帧之间的帧间距，确定所述后向对象关键点信息对应的后向权重系数，所述后向权重系数与对应的帧间距成负相关关系；根据所述前向权重系数和所述后向权重系数，对所述前向对象关键点信息和所述后向对象关键点信息进行加权，得到所述合成对象关键点信息。
141.在一种可能实现方式中，所述合成特效处理帧得到单元504，具体还被配置为执行根据所述前向模型特效处理帧、所述前向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第一特效图像；根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像；基于所述第一特效图像和所述第二特效图像进行图像合成，得到所述中间视频帧对应的合成特效处理帧。
142.在一种可能实现方式中，所述合成特效处理帧得到单元504，具体还被配置为执行根据所述合成对象关键点信息和所述前向对象关键点信息，对所述前向模型特征处理帧进行图像形变处理，得到所述第一特效图像；所述根据所述后向模型特效处理帧、所述后向对象关键点信息、所述合成对象关键点信息，得到所述中间视频帧对应的第二特效图像，包括：根据所述合成对象关键点信息和所述后向对象关键点信息，对所述后向模型特征处理帧进行图像形变处理，得到所述第二特效图像。
143.在一种可能实现方式中，所述模型特效处理帧得到单元502，具体被配置为执行基于当前终端对应的特效处理性能，确定间隔选取长度；根据所述间隔选取长度，从所述原始视频中间隔选取所述关键帧。
144.在一种可能实现方式中，所述合成特效处理帧得到单元504，具体被配置为执行获取所述前向模型特效处理帧对应的特效处理区域，作为前向特效处理区域；获取所述后向模型特效处理帧对应的特效处理区域，作为后向特效处理区域；对所述前向特效处理区域以及所述后向特效处理区域进行图像合成，得到合成特效处理区域；确定所述中间视频帧对应的背景图像区域，将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧。
145.在一种可能实现方式中，所述合成特效处理帧得到单元504，具体还被配置为执行所述特效处理模型对所述关键帧中对象的第一表情区域进行特效处理，得到所述模型特效处理帧，所述确定所述中间视频帧对应的背景图像区域，将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧，包括：确定所述中间视频帧中所述对象的第二表情区域，从所述中间视频帧抠除所述第二表情区域，得到所述中间视频帧对应的背景图像区域；确定所述第二对象表情区域与所述背景图像区域的位置对应关系，基于所述位置对应关系将所述合成特效处理区域以及所述背景图像区域进行拼接，得到所述合成特效处理帧。
146.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
147.图6是根据一示例性实施例示出的一种用于视频处理的电子设备600的框图。例如，电子设备600可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
148.参照图6，电子设备600可以包括以下一个或多个组件：处理组件602、存储器604、电源组件606、多媒体组件608、音频组件610、输入/输出(i/o)的接口612、传感器组件614以及通信组件616。
149.处理组件602通常控制电子设备600的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
150.存储器604被配置为存储各种类型的数据以支持在电子设备600的操作。这些数据的示例包括用于在电子设备600上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它
们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
151.电源组件606为电子设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为电子设备600生成、管理和分配电力相关联的组件。
152.多媒体组件608包括在所述电子设备600和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括前置摄像头和/或后置摄像头。当电子设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
153.音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括麦克风(mic)，当电子设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括扬声器，用于输出音频信号。
154.i/o接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
155.传感器组件614包括一个或多个传感器，用于为电子设备600提供各个方面的状态评估。例如，传感器组件614可以检测到电子设备600的打开/关闭状态，组件的相对定位，例如所述组件为电子设备600的显示器和小键盘，传感器组件614还可以检测电子设备600或电子设备600组件的位置改变，用户与电子设备600接触的存在或不存在，设备600方位或加速/减速和电子设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
156.通信组件616被配置为便于电子设备600和其他设备之间有线或无线方式的通信。电子设备600可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
157.在示例性实施例中，电子设备600可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
158.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器604，上述指令可由电子设备600的处理器620执行以完成上述方法。例如，计算
机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
159.在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备600的处理器620执行以完成上述方法。
160.需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。
161.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
162.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。