视频卡顿检测方法、系统、存储介质及电子设备与流程

本申请涉及流媒体，特别涉及一种视频卡顿检测方法、系统、存储介质及电子设备。

背景技术：

1、随着直播业务的不断发展，平台管理层越来越关注用户的使用感知，用户感知好坏的一个重要依据就是用户使用直播业务过程中视频是否出现卡顿情况，因此在直播业务上线之前进行卡顿检测是非常重要的。

2、相关技术中，现有的视频卡顿检测方法是通过计算视频中相邻帧之间的差异度来判断视频画面是否卡顿，但是实际的卡顿现象可能并非整个画面都卡顿，而是整个画面中小部分区域画面卡顿，此时通过相邻帧之间差异的方法很难找到一个标准的阈值参数来判断是否卡顿，从而降低了视频卡顿检测的精确度。

技术实现思路

1、本申请实施例提供了一种视频卡顿检测方法、系统、存储介质及电子设备。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

2、第一方面，本申请实施例提供了一种视频卡顿检测方法，方法包括：

3、接收发送端发送的视频流和对该视频流中预设运动目标预先标注的原始运动轨迹；

4、播放视频流，在播放过程中确定预设运动目标的实际运动轨迹；

5、在实际运动轨迹与原始运动轨迹出现不一致的情况下，判定发生视频卡顿。

6、可选的，确定预设运动目标的实际运动轨迹，包括：

7、识别播放的视频流中的所有运动目标，所有运动目标包括预设运动目标；

8、基于播放的各视频帧，分别确定识别的各运动目标在每个播放时刻的像素坐标；

9、基于各运动目标在每个播放时刻的像素坐标，分别确定各运动目标的实际运动轨迹。

10、可选的，视频帧包括多个预设静止目标；

11、基于播放的各视频帧，分别确定识别的各运动目标在每个播放时刻的像素坐标，包括：

12、确定播放的第一视频帧中每个预设静止目标的像素坐标；第一视频帧为播放的各视频帧中的任意视频帧；

13、根据每个预设静止目标的像素坐标，确定第一视频帧相对于视频流中原始视频帧的伸缩比例；

14、获取第一运动目标在第一视频帧中的像素坐标；第一运动目标为各运动目标中的任意运动目标；

15、根据伸缩比例对第一运动目标在第一视频帧中的像素坐标进行缩放处理，得到第一运动目标在第一视频帧对应的播放时刻的像素坐标。

16、可选的，多个预设静止目标包括水平方向静止目标和垂直方向静止目标；伸缩比例包括水平伸缩比例和垂直伸缩比例；

17、根据每个预设静止目标的像素坐标，确定第一视频帧相对于视频流中原始视频帧的伸缩比例，包括：

18、获取视频流的原始视频帧中水平方向静止目标的原始坐标和垂直方向静止目标的原始坐标；

19、基于播放的视频帧中水平方向静止目标的像素坐标，计算播放的视频帧中的第一水平尺寸参数；基于水平方向静止目标的原始坐标，计算原始视频帧中的第二水平尺寸参数；基于第一水平尺寸参数和第二水平尺寸参数，计算水平伸缩比例；

20、基于播放的视频帧中垂直方向静止目标的像素坐标，计算播放的视频帧中的第一垂直尺寸参数；基于垂直方向静止目标的原始坐标，计算原始视频帧中的第二垂直尺寸参数；基于第一垂直尺寸参数和第二垂直尺寸参数，计算垂直伸缩比例。

21、可选的，第一运动目标在第一视频帧中的像素坐标包括像素横坐标和像素纵坐标；

22、根据伸缩比例对第一运动目标在第一视频帧中的像素坐标进行缩放处理，得到第一运动目标在第一视频帧对应的播放时刻的像素坐标，包括：

23、对于第一运动目标在第一视频帧中的像素坐标，分别提取该像素坐标的像素横坐标和像素纵坐标；

24、按照水平伸缩比例将像素横坐标进行缩放，得到目标像素横坐标；

25、按照垂直伸缩比例将像素纵坐标进行缩放，得到目标像素纵坐标；

26、将目标像素横坐标和目标像素纵坐标进行组合，得到第一运动目标在第一视频帧对应的播放时刻的像素坐标。

27、可选的，视频流中包括一个预设运动目标，预设运动目标的原始运动轨迹经过视频流对应的场景中的多个区域；或者，

28、视频流中包括多个预设运动目标，在视频流中各预设运动目标间隔设置，且沿同一原始运动轨迹运动，同一原始运动轨迹经过视频流对应的场景中的多个区域；或者，在视频流中各预设运动目标分别沿各自不同的原始运动轨迹运动，各预设运动目标的原始运动轨迹分别经过视频流对应的场景中的不同区域。

29、可选的，在实际运动轨迹与原始运动轨迹出现不一致的情况下，判定发生视频卡顿，包括：

30、在包括多个预设运动目标的情况下，若存在至少一个运动目标的实际运动轨迹与对应的原始运动轨迹不一致，则判定发生视频卡顿。

31、第二方面，本申请实施例提供了一种视频卡顿检测系统，系统包括：

32、发送端设备，用于发送视频流；

33、接收端设备，用于接收所述发送端设备发送的视频流和对该视频流中预设运动目标预先标注的原始运动轨迹，并播放所述视频流，在播放过程中确定所述预设运动目标的实际运动轨迹，在所述实际运动轨迹与所述原始运动轨迹出现不一致的情况下，判定发生视频卡顿。

34、可选的，所述接收端设备包括：

35、接收模块，用于接收发送端发送的视频流和对该视频流中预设运动目标预先标注的原始运动轨迹；

36、确定模块，用于播放视频流，在播放过程中确定预设运动目标的实际运动轨迹；

37、判定模块，用于在实际运动轨迹与原始运动轨迹出现不一致的情况下，判定发生视频卡顿。

38、第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。

39、第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。

40、本申请实施例提供的技术方案可以包括以下有益效果：

41、在本申请实施例中，本申请通过确定播放过程中预设运动目标的实际运动轨迹，并与预先标注的原始运动轨迹进行对比的方式实现卡顿判定，由于预设运动目标的实际运动轨迹能覆盖视频画面中各个预设场景区域，因此在视频中某个预设场景区域发生卡顿时，会造成实际运动轨迹和预先标注的原始运动轨迹不一致的情况，可准确判断出发生了视频卡顿现象，从而提升了视频卡顿检测的精确度。

42、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

技术特征：

1.一种视频卡顿检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述确定所述预设运动目标的实际运动轨迹，包括：

3.根据权利要求2所述的方法，其特征在于，所述视频帧包括多个预设静止目标；

4.根据权利要求3所述的方法，其特征在于，所述多个预设静止目标包括水平方向静止目标和垂直方向静止目标；所述伸缩比例包括水平伸缩比例和垂直伸缩比例；

5.根据权利要求4所述的方法，其特征在于，所述第一运动目标在所述第一视频帧中的像素坐标包括像素横坐标和像素纵坐标；

6.根据权利要求1-5任一项所述的方法，其特征在于，所述视频流中包括一个所述预设运动目标，所述预设运动目标的所述原始运动轨迹经过所述视频流对应的场景中的多个区域；或者，

7.根据权利要求6所述的方法，其特征在于，所述在所述实际运动轨迹与所述原始运动轨迹出现不一致的情况下，判定发生视频卡顿，包括：

8.一种视频卡顿检测系统，其特征在于，所述系统包括：

9.如权利要求8所述的视频卡顿检测系统，其特征在于，所述接收端设备包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项所述的方法。

11.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项所述的方法。

技术总结
本申请公开了一种视频卡顿检测方法、系统、存储介质及电子设备，方法包括：接收发送端发送的视频流和对该视频流中预设运动目标预先标注的原始运动轨迹；播放视频流，在播放过程中确定预设运动目标的实际运动轨迹；在实际运动轨迹与原始运动轨迹出现不一致的情况下，判定发生视频卡顿。本申请通过确定播放过程中预设运动目标的实际运动轨迹，并与预先标注的原始运动轨迹进行对比的方式实现卡顿判定，由于预设运动目标的实际运动轨迹能覆盖视频画面中各个预设场景区域，因此在视频中某个预设场景区域发生卡顿时，会造成实际运动轨迹和预先标注的原始运动轨迹不一致的情况，可准确判断出发生了视频卡顿现象，从而提升了视频卡顿检测的精确度。

技术研发人员：陈雅雯
受保护的技术使用者：杭州萤石软件有限公司
技术研发日：
技术公布日：2024/1/15