卡顿视频帧的定位方法和装置、存储介质及电子设备与流程

本发明涉及计算机领域，具体而言，涉及一种卡顿视频帧的定位方法和装置、存储介质及电子设备。

背景技术：

1、在直播业务场景下，画面卡顿问题是衡量观看体验的重要指标，也是业务开发者最关心的业务指标之一。现有的直播卡顿发现方法中，主要是通过业务方在直播关键环节进行数据上报，例如卡顿、秒开、端到端延时、开播成功率，开播跳帧等数据的上报。又或者根据数据指标，初步分析并定义一系列异常事件进行告警，例如直播码率过低、声音码率过低等等。

2、但现有的直播画面卡顿发现方法的局限性在于只能发现预期内的问题，因为定义的数据上报，异常事件都是在预期环节内进行上报，难以发现预期外的问题。也就是说，在出现预期之外的卡顿问题的情况下，现有的方法无法准确发现卡顿视频帧，即现有的卡顿发现方式存在卡顿视频帧定位不准确的技术问题。

3、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种卡顿视频帧的定位方法和装置、存储介质及电子设备，以至少解决现有的卡顿发现方式存在卡顿视频帧定位不准确的技术问题。

2、根据本发明实施例的一个方面，提供了一种卡顿视频帧的定位方法，包括：获取对直播视频反馈的交互信息流，其中，上述交互信息流中包括观看上述直播视频的观众账号发送的多条互动信息；在上述交互信息流中确定出目标交互信息的情况下，从上述直播视频中提取与上述目标交互信息关联的目标视频帧序列，其中，上述目标交互信息中携带有用于描述上述直播视频出现卡顿的关键词；获取上述目标视频帧序列中两两相邻的视频帧之间的差异度小于或等于目标阈值的目标视频帧对，其中，上述差异度是基于两个相邻的视频帧之间的差异区域的面积确定的；利用上述目标视频帧对确定出上述直播视频中发生卡顿的卡顿视频帧。

3、根据本发明实施例的另一方面，还提供了一种卡顿视频帧的定位装置，包括：第一获取单元，用于获取对直播视频反馈的交互信息流，其中，上述交互信息流中包括观看上述直播视频的观众账号发送的多条互动信息；提取单元，用于在上述交互信息流中确定出目标交互信息的情况下，从上述直播视频中提取与上述目标交互信息关联的目标视频帧序列，其中，上述目标交互信息中携带有用于描述上述直播视频出现卡顿的关键词；第二获取单元，用于获取上述目标视频帧序列中两两相邻的视频帧之间的差异度小于或等于目标阈值的目标视频帧对，其中，上述差异度是基于两个相邻的视频帧之间的差异区域的面积确定的；确定单元，用于利用上述目标视频帧对确定出上述直播视频中发生卡顿的卡顿视频帧。

4、根据本申请实施例的又一个方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序/指令，处理器执行该计算机程序/指令，使得该计算机设备执行如以上卡顿视频帧的定位方法。

5、根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的卡顿视频帧的定位方法。

6、在本发明实施例中，通过获取对直播视频反馈的交互信息流，其中，交互信息流中包括观看直播视频的观众账号发送的多条互动信息；在交互信息流中确定出目标交互信息的情况下，从直播视频中提取与目标交互信息关联的目标视频帧序列，其中，目标交互信息中携带有用于描述直播视频出现卡顿的关键词；获取目标视频帧序列中两两相邻的视频帧之间的差异度小于或等于目标阈值的目标视频帧对，其中，差异度是基于两个相邻的视频帧之间的差异区域的面积确定的；利用目标视频帧对确定出直播视频中发生卡顿的卡顿视频帧，进而首先通过互动信息定位出疑似存在卡顿的视频帧序列，接着根据视频帧序列中的相邻帧的差异区域的面积确定出的差异度核验卡顿的真实情况，最终根据视频帧的比对结果确定出卡顿视频帧，进而解决现有直播卡顿发现方法中存在的卡顿视频帧定位不准确的技术问题。

技术特征：

1.一种卡顿视频帧的定位方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取所述目标视频帧序列中两两相邻的视频帧之间的差异度小于或等于目标阈值的目标视频帧对包括：

3.根据权利要求2所述的方法，其特征在于，所述确定所述当前视频帧对之间的至少一个差异区域包括：

4.根据权利要求3所述的方法，其特征在于，在所述比对所述第一像素数据和所述第二像素数据，以得到差异参考图之后，还包括：

5.根据权利要求1所述的方法，其特征在于，所述利用所述目标视频帧对确定出所述直播视频中发生卡顿的卡顿视频帧包括：

6.根据权利要求5所述的方法，其特征在于，在所述将所述目标视频帧对确定为所述卡顿视频帧之后，还包括：

7.根据权利要求5所述的方法，其特征在于，所述对所述目标视频帧对中的视频帧进行图像场景识别包括：

8.根据权利要求5所述的方法，其特征在于，从所述直播视频中提取与所述目标交互信息关联的目标视频帧序列包括：

9.根据权利要求8所述的方法，其特征在于，所述根据所述发布时间从所述直播视频中截取目标视频片段包括：

10.根据权利要求9所述的方法，其特征在于，

11.根据权利要求1至10中任一项所述的方法，其特征在于，在所述获取对直播视频反馈的交互信息流之后，还包括：

12.一种卡顿视频帧的定位装置，其特征在于，包括：

13.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行所述权利要求1至11任一项中所述的方法。

14.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至11任一项所述方法的步骤。

15.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。

技术总结
本发明公开了一种卡顿视频帧的定位方法和装置、存储介质及电子设备。其中，该方法包括：获取对直播视频反馈的交互信息流，其中，交互信息流中包括观看直播视频的观众账号发送的多条互动信息；在交互信息流中确定出目标交互信息的情况下，从直播视频中提取与目标交互信息关联的目标视频帧序列，其中，目标交互信息中携带有用于描述直播视频出现卡顿的关键词；获取目标视频帧序列中两两相邻的视频帧之间的差异度小于或等于目标阈值的目标视频帧对，其中，差异度是基于两个相邻的视频帧之间的差异区域的面积确定的；利用目标视频帧对确定出直播视频中发生卡顿的卡顿视频帧。本发明解决了现有的卡顿发现方式存在卡顿视频帧定位不准确的技术问题。

技术研发人员：温力,熊婷,谢丽娟
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/16