音视频融合的信息处理方法、装置、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种音视频融合的信息处理方法、装置、设备及存储介质。

背景技术：

1、音视频广泛应用于各种领域，例如：多媒体广播、视频会议、远程教育等，音视频是由音频和视频融合而成的，然而，现有的音视频融合技术往往会导致音视频中的音频和其所对应的画面无法同步，例如音频的出现早于其所对应的画面，或音频的出现晚于其所述对应的画面，这样的音视频会严重影响用户的观看体验。

技术实现思路

1、本申请提供一种音视频融合的信息处理方法、装置、设备及存储介质，以解决上述背景技术中提到的问题。

2、第一方面，本申请提供一种音视频融合的信息处理方法，包括：

3、获取初始音频和初始视频，并分别对所述初始音频和所述初始视频进行预处理，得到目标音频和目标视频；

4、基于所述目标音频控制预设的虚拟人物对所述目标音频进行复述，并在所述虚拟人物对所述目标音频进行复述的过程中实时获取所述虚拟人物的图像信息，得到比对视频；

5、基于所述比对视频和所述目标视频判断所述目标音频和所述目标视频是否同步；

6、若所述目标音频和所述目标视频同步，将所述目标音频和所述目标视频进行融合，得到音视频。

7、第二方面，本申请提供一种音视频融合的信息处理装置，包括：

8、获取模块，用于获取初始音频和初始视频，并分别对所述初始音频和所述初始视频进行预处理，得到目标音频和目标视频；

9、控制模块，用于基于所述目标音频控制预设的虚拟人物对所述目标音频进行复述，并在所述虚拟人物对所述目标音频进行复述的过程中实时获取所述虚拟人物的图像信息，得到比对视频；

10、判断模块，用于基于所述比对视频和所述目标视频判断所述目标音频和所述目标视频是否同步；

11、融合模块，用于若所述目标音频和所述目标视频同步，将所述目标音频和所述目标视频进行融合，得到音视频。

12、第三方面，本申请提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中，所述计算机程序被所述处理器执行时，实现如上所述的音视频融合的信息处理方法。

13、第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行时，实现上所述的音视频融合的信息处理方法。

14、本申请提供了一种音视频融合的信息处理方法、装置、设备及存储介质，其中，所述方法包括获取初始音频和初始视频，并分别对所述初始音频和所述初始视频进行预处理，得到目标音频和目标视频；基于所述目标音频控制预设的虚拟人物对所述目标音频进行复述，并在所述虚拟人物对所述目标音频进行复述的过程中实时获取所述虚拟人物的图像信息，得到比对视频；基于所述比对视频和所述目标视频判断所述目标音频和所述目标视频是否同步；若所述目标音频和所述目标视频同步，将所述目标音频和所述目标视频进行融合，得到音视频。该方法，一方面能够提高用户对音视频的听觉体验和视觉体验，另一方面，能够在对音频和视频进行融合时，实现音频和视频的同步，从而提高观者的观看体验。

技术特征：

1.一种音视频融合的信息处理方法，其特征在于，包括：

2.根据权利要求1所述的音视频融合的信息处理方法，其特征在于，对所述初始音频进行预处理的方法，包括：

3.根据权利要求1所述的音视频融合的信息处理方法，其特征在于，对所述初始视频进行预处理的方法，包括：

4.根据权利要求1所述的音视频融合的信息处理方法，其特征在于，所述基于所述目标音频控制预设的虚拟人物对所述目标音频进行复述，包括：

5.根据权利要求1所述的音视频融合的信息处理方法，其特征在于，所述基于所述比对视频和所述目标视频判断所述目标音频和所述目标视频是否同步，包括：

6.根据权利要求5所述的音视频融合的信息处理方法，其特征在于，所述基于所述第一特征向量序列和所述第二特征向量序列判断所述目标音频和所述目标视频是否同步，包括：

7.一种音视频融合的信息处理装置，其特征在于，包括：

8.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中，所述计算机程序被所述处理器执行时，实现如权利要求1至6中任一项所述的音视频融合的信息处理方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器执行时，实现如权利要求1至6中任一项所述的音视频融合的信息处理方法。

技术总结
本申请涉及数据处理技术领域，提供了音视频融合的信息处理方法、装置、设备及存储介质，该方法包括对初始音频和初始视频进行预处理，得到目标音频和目标视频；基于所述目标音频控制预设的虚拟人物对所述目标音频进行复述，并在所述虚拟人物对所述目标音频进行复述的过程中实时获取所述虚拟人物的图像信息，得到比对视频；基于所述比对视频和所述目标视频判断所述目标音频和所述目标视频是否同步；若所述目标音频和所述目标视频同步，将所述目标音频和所述目标视频进行融合，得到音视频。该方法在对音频和视频进行融合时，能够实现音频和视频的同步，从而提高观者的观看体验。

技术研发人员：唐昶荣,章海新,吴超杰,喇建国,胡小辉
受保护的技术使用者：深圳星网信通科技股份有限公司
技术研发日：
技术公布日：2024/2/1