视频倍速播放的方法和装置与流程

本公开涉及多媒体领域，尤其涉及视频处理领域，具体为一种视频倍速播放的方法和装置。

背景技术：

1、随着互联网技术在多媒体领域的广泛应用，越来越多的用户选择在线观看影片、教学课程或直播互动等。由于用户在观看视频过程中，对不同的视频片段的感兴趣程度是不同的。视频倍速播放,可以方便用户把时间集中到感兴趣的片段上，比如老师在录课时为了照顾大部分学员课堂的内容比较丰富且语速比较平缓；但对于一些基础好的学生，在通过视频学习时希望能够提高播放速度的方法来提高学习效率，倍速播放对提高学员的学习效率大有益处；因此当前市场上的各类播放器均具备倍速播放的功能，以满足用户快速浏览或者慢速欣赏等各种需求。

2、现有技术中实现视频的倍速播放，就是要取消视频中一定比例的图像帧和音频帧(如2倍速就是去掉1/2的数据)，而视频的帧率保持不变，这样使的视频是一定的倍速在播放的。视频图像帧随机丢帧容易丢掉关键信息，使得画面不连贯、不自然，观感体验差。

3、在对音频处理使用的算法，容易改变帧与帧之间的间隔(也即是改变了帧与帧之间的重叠)，会使用户明显感知到音频的快进和结束，而且容易引入噪声，倍速效果不好。

技术实现思路

1、本公开提供了一种视频倍速播放的方法、装置、设备、存储介质以及计算机程序产品。

2、根据本公开的第一方面，提供了一种视频倍速播放的方法，包括：将视频分离成图像流和音频流；在图像流中每个单元时间内按预定比例丢弃相似的图像帧，得到新图像流；将所述音频流分帧得到的音频帧集合中相似的音频帧按预定比例进行叠加，得到新音频流；将所述新图像流和所述新音频流合并在一起，形成倍速后的视频。

3、根据本公开的第二方面，提供了一种视频倍速播放的装置，包括：分离单元，被配置成将视频分离成图像流和音频流；丢弃单元，被配置成在图像流中每个单元时间内按预定比例丢弃相似的图像帧，得到新图像流；叠加单元，被配置成将所述音频流分帧得到的音频帧集合中相似的音频帧按预定比例进行叠加，得到新音频流；合并单元，被配置成将所述新图像流和所述新音频流合并在一起，形成倍速后的视频。

4、根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中任一项所述的方法。

5、根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面中任一项所述的方法。

6、根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面中任一项所述的方法。

7、本公开的实施例提供的视频倍速播放的方法和装置，通过计算图像帧的相似度进行丢帧，对于剪辑、拼接、旋转、植入广告、弹幕、增加logo等情况下，具有特别好的鲁棒性，这样能够使得画面很自然流畅。通过查找最相似音频帧进行叠加，具有语音自然、流畅、噪音小的特点。这样倍速后的视频从视觉和听觉上都能够有自然流畅的用户体验。算法效率很高，不会消耗过多的资源，在性能差的设备上也能有很好的效果。

8、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种视频倍速播放的方法，包括：

2.根据权利要求1所述的方法，其中，所述在图像流中每个单元时间内按预定比例丢弃相似的图像帧，得到新图像流，包括：

3.根据权利要求1所述的方法，其中，所述将所述音频流分帧得到的音频帧集合中相似的音频帧按预定比例进行叠加，得到新音频流，包括：

4.根据权利要求2所述的方法，其中，所述对所述图像流中每个单位时间内的图像帧进行相似度计算，包括：

5.根据权利要求4所述的方法，其中，在将所述图像流中的图像帧转换成灰度图之前，所述方法还包括：

6.根据权利要求4所述的方法，其中，所述计算每个灰度图的哈希值，包括：

7.根据权利要求4所述的方法，其中，所述计算每个灰度图的哈希值，包括：

8.根据权利要求4所述的方法，其中，所述计算每个灰度图的哈希值，包括：

9.根据权利要求4-8中任一项所述的方法，其中，在所述计算每个灰度图的哈希值之前，所述方法还包括：

10.根据权利要求9所述的方法，其中，所述对每个灰度图进行下采样，包括：

11.根据权利要求3所述的方法，所述从所述音频帧集合中寻找该音频帧的下一个最相似的信号帧，包括：

12.一种视频倍速播放的装置，包括：

13.根据权利要求12所述的装置，其中，所述丢弃单元进一步被配置成：

14.根据权利要求12所述的装置，其中，所述叠加单元进一步被配置成：

15.根据权利要求13所述的装置，其中，所述丢弃单元进一步被配置成：

16.根据权利要求15所述的装置，其中，所述装置还包括缩放单元，被配置成：

17.根据权利要求15所述的装置，其中，所述丢弃单元进一步被配置成：

18.根据权利要求15所述的装置，其中，所述丢弃单元进一步被配置成：

19.根据权利要求15所述的装置，其中，所述丢弃单元进一步被配置成：

20.根据权利要求15-19中任一项所述的装置，其中，所述装置还包括下采样单元，被配置成：

21.根据权利要求20所述的装置，其中，所述下采样单元进一步被配置成：

22.根据权利要求14所述的装置，所述叠加单元进一步被配置成：

23.一种电子设备，包括：

24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。

技术总结
本公开提供了视频倍速播放的方法和装置，涉及多媒体领域，尤其涉及视频处理领域。具体实现方案为：将视频分离成图像流和音频流；在图像流中每个单元时间内按预定比例丢弃相似的图像帧，得到新图像流；将所述音频流分帧得到的音频帧集合中相似的音频帧按预定比例进行叠加，得到新音频流；将新图像流和新音频流合并在一起，形成倍速后的视频。通过该实施方式倍速后的视频从视觉和听觉上都能够有自然流畅的用户体验。

技术研发人员：唐勇平,李瑞锋,陈海楠
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：
技术公布日：2024/2/1