音视频处理方法、装置、电子设备及存储介质与流程

本公开实施例涉及音视频处理，尤其涉及一种音视频处理方法、装置、电子设备及存储介质。

背景技术：

1、在多媒体数据流播放过程中，延时指标和卡顿指标是衡量实时通信质量的重要指标。作为数据包传输链路中传输至解码模块前的最后环节，抖动缓冲区(jitter buffer)是实时音视频处理过程中的一个重要模块。jitter buffer可以对数据包丢失、乱序、延迟到达等情况进行处理，平滑地向解码模块输出数据包/帧，抵抗各种弱网环境对播放/渲染造成的影响，降低卡顿，提高用户的观看体验。在实际应用中，合理预测jitter buffer的抖动延时是提高用户体验的重要环节。

2、相关技术中，在对jitter buffer的抖动延时进行预测时，通常是开发人员基于人工统计算法对历史抖动延时进行分析，从而，最终得到预测延时。

3、然而，在抖动延时预测的过程中，可能会存在所得到的预测延时无法同时兼顾多媒体数据流的播放流畅度和清晰度的问题，进而，可能影响多媒体数据流的播放效果，影响用户的观看体验。

技术实现思路

1、本公开提供一种音视频处理方法、装置、电子设备及存储介质，以实现延时预测过程中同时兼顾延时情况和卡顿情况的效果，进而，实现了抖动延时在多媒体数据流传输过程中自适应调整的效果。

2、第一方面，本公开实施例提供了一种音视频处理方法，该方法包括：

3、依据接收到的数据包的包信息，确定与所述数据包相对应的抖动特征；其中，所述数据包中包括多媒体数据流；

4、在检测到满足抖动特征提取条件时，依据所述抖动特征、历史数据包所对应的历史抖动特征以及预先设置的置信水平参数中的至少一项；

5、基于所述抖动特征和历史抖动特征，确定第二延时；其中，所述历史抖动特征与当前时刻之前接收到的历史数据包相对应；

6、基于所述第一延时和所述第二延时，确定与所述数据包相对应的目标延时，以基于所述目标延时对抖动缓冲区中存储的多媒体数据流进行处理。

7、第二方面，本公开实施例还提供了一种音视频处理装置，该装置包括：

8、抖动特征确定模块，用于依据接收到的数据包的包信息，确定与所述数据包相对应的抖动特征；其中，所述数据包中包括多媒体数据流；

9、第一延时确定模块，用于在检测到满足抖动特征提取条件时，依据所述抖动特征、历史数据包所对应的历史抖动特征以及预先设置的置信水平参数中的至少一项；

10、第二延时确定模块，用于基于所述抖动特征和历史抖动特征，确定第二延时；其中，所述历史抖动特征与当前时刻之前接收到的历史数据包相对应；

11、目标延时确定模块，用于基于所述第一延时和所述第二延时，确定与所述数据包相对应的目标延时，以基于所述目标延时对抖动缓冲区中存储的多媒体数据流进行处理。

12、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例任一所述的音视频处理方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的音视频处理方法。

17、本公开实施例的技术方案，通过依据接收到的数据包的包信息，确定与数据包相对应的抖动特征；在检测到满足抖动特征提取条件时，依据抖动特征、历史数据包所对应的历史抖动特征以及预先设置的置信水平参数中的至少一项，确定第一延时；基于抖动特征和历史抖动特征，确定第二延时；其中，历史抖动特征与当前时刻之前接收到的历史数据包相对应；基于第一延时和第二延时，确定与数据包相对应的目标延时，以基于目标延时对抖动缓冲区中存储的多媒体数据流进行处理，解决了相关技术中所得到的预测延时无法同时兼顾多媒体数据流的播放流畅度和清晰度等问题，实现了延时预测过程中同时兼顾延时情况和卡顿情况的效果，进而，实现了抖动延时自适应调整的效果，提高了多媒体数据流的播放效果，提升了用户的观看体验。

技术特征：

1.一种音视频处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述依据接收到的数据包的包信息，确定与所述数据包相对应的抖动特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标策略和所述包信息，确定与所述数据包相对应的抖动特征，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标历史数据包和预设帧数，确定所述抖动特征，包括：

5.根据权利要求1所述的方法，其特征在于，所述抖动特征提取条件为对抖动特征进行采样的采样间隔，所述采样间隔是基于所述包信息动态更新的，基于所述包信息更新所述采样间隔包括：

6.根据权利要求1所述的方法，其特征在于，所述依据所述抖动特征、历史数据包所对应的历史抖动特征以及预先设置的置信水平参数中的至少一项，确定第一延时，包括：

7.根据权利要求1所述的方法，其特征在于，所述基于所述抖动特征和历史抖动特征，确定第二延时，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述峰值间隔、所述峰值抖动特征以及与所述预设抖动特征相对应的预设参考数据，确定所述第二延时，包括：

9.根据权利要求8所述的方法，其特征在于，还包括：

10.根据权利要求7所述的方法，其特征在于，所述预设抖动特征包括至少三个等级范围，相应的，每个等级范围包括相应的预设参考数据，所述预设参考数据包括预设最小间隔时长以及预设最大间隔时长。

11.根据权利要求7所述的方法，其特征在于，确定所述峰值间隔，还包括：

12.根据权利要求1所述的方法，其特征在于，所述基于所述第一延时和所述第二延时，确定与所述数据包相对应的目标延时，包括：

13.一种音视频处理装置，其特征在于，包括：

14.一种电子设备，其特征在于，所述电子设备包括：

15.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-12中任一所述的音视频处理方法。

技术总结
本公开实施例提供了一种音视频处理方法、装置、电子设备及存储介质。其中，该方法包括：依据接收到的数据包的包信息，确定与数据包相对应的抖动特征；在检测到满足抖动特征提取条件时，依据抖动特征、历史数据包所对应的历史抖动特征以及预先设置的置信水平参数中的至少一项，确定第一延时；基于抖动特征和历史抖动特征，确定第二延时；基于第一延时和第二延时，确定与数据包相对应的目标延时，以基于目标延时对抖动缓冲区中存储的多媒体数据流进行处理。本公开实施例的技术方案，实现了延时预测过程中同时兼顾延时情况和卡顿情况的效果，进而，实现了抖动延时在多媒体数据流传输过程中自适应调整的效果。

技术研发人员：曾凡志
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/1/15