一种OTT视频质量监控方法、装置、设备及存储介质与流程

一种ott视频质量监控方法、装置、设备及存储介质
技术领域
1.本发明涉及互联网视频技术领域，具体涉及一种ott视频质量监控方法、装置、设备及存储介质。


背景技术：

2.近年来，基于互联网的 0tt视频服务迅速发展。0tt视频在播放过程中常出现画面启动延迟、画面停顿、画面清晰度差等问题，影响用户体验。因此，实践中常对 0tt视频质量进行监控，以便提高用户体验。在现有技术中主要是使用大数据平台解决数据量问题以及使用数据中台解决效率问题，但依然存在如下问题：1.在视频检测过程中，数据以心跳方式定时上报以及全链路异常数据触发上报，在大量设备下，大数据算力不够、大数据平台交付时延比较长。2.在时序上来说，如果用户在没有网的情况下观看，这个事件数据并不会立马返回，只有当状态恢复的时候，才会有点击事件回传，因此在这过程中，会导致采集数据延迟很大、丢失很多、数据不准确，导致预警异常或者报表时间异常。3.实时监控和数据报表呈现一般采用lambda 架构，对于同一个需求，需要两个团队同时去开发，使得逻辑可能会发生差异，最终导致结果表不一致，并且人力成本耗费较大。


技术实现要素：

3.因此，本发明要解决的技术问题在于克服现有技术中的上述缺陷，从而提供一种ott视频质量监控方法、装置、设备及存储介质。
4.本发明提供了一种ott视频质量监控方法，包括如下步骤：s1：在互联网设备终端上使用软探针采集原始数据；s2：将原始数据上报到数据平台；s3：通过数据平台对原始数据进行计算，将计算结果存入数据平台；s4：基于计算结果，对视频质量进行监控。
5.进一步地，所述数据平台采用流批一体的数据湖架构，其在计算层使用一个数据处理逻辑来表示同一个业务需求。
6.进一步地，步骤s1包括：s11：在互联网设备终端上安装软探针，所述互联网设备终端包括手机、平板电脑、电视和机顶盒；s12：对ott视频质量进行主动测试，主动测试包括ping/tracert/http/视频/带宽测试指标，得到对应的主动测试数据；s13：通过netfilter架构和pf_packet方式自动识别ott视频流并生成ott视频质量指标，得到qos/qoe异常指标对应的被动测试数据；s14：主动测试数据与被动测试数据构成原始数据。
7.进一步地，步骤s2包括：原始数据通过kafka的方式接入数据湖，经过统一的 etl 逻辑后存储至数据湖中。
8.进一步地，步骤s3包括：s31：数据湖中存入原始数据后，进行flink的流处理实时计算和批处理离线计算，流处理和批处理均采用sql执行逻辑；s32：将流处理实时计算结果存入数据湖中的 druid，批处理离线计算结果存入数据湖中的 hive。
9.进一步地，步骤s31中，流处理实时计算包括：s311：将原始数据根据时间窗口进行聚合计算；s312：基于时间窗口指标的变化率，引入实时计算任务状态，判断时间窗口指标是否稳定；s313：若实时计算任务状态正常，则时间窗口指标稳定，可对外提供服务；若计算有卡顿、堆积，或者已经有异常在重启过程中，则继续等待迭代处理，直至实时计算任务状态正常。
10.进一步地，步骤s4包括：s41：使用 impala 做查询，将离线计算结果通过 olap 同步覆盖实时计算结果；s42：基于实时计算结果，对时间窗口的数据进行监控，实现流媒体帧率和码率秒级监控；基于离线计算结果，生成不同维度的统计报表；结合包括卡顿、黑屏和秒开的qos异常指标诊断，及时发现ott视频异常原因，并预警反馈给运维实现故障恢复与调度。
11.本发明还提供了一种ott视频质量监控装置，包括：数据采集模块，用于在互联网设备终端上使用软探针采集原始数据；数据上报模块，用于将原始数据上报到数据平台；数据计算模块，用于通过数据平台对原始数据进行计算，将计算结果存入数据平台；质量监控模块，用于基于计算结果，对视频质量进行监控。
12.本发明还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。
13.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
14.本发明提供的一种ott视频质量监控方法、装置、设备及存储介质，通过使用数据湖流批一体处理大量视频播放时的质量问题，解决了多用户时大量数据上报导致的算力不够、大数据平台交付时延较长的问题，实现实时报表查询与预警。实时处理时引入实时计算任务状态，能够对卡顿、堆积数据进行处理，避免导致预警异常或者报表时间异常。流批一体处理数据时采用同一个数据处理逻辑，减少开发人力成本与维护成本。
附图说明
15.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明提供的一种ott视频质量监控方法的流程示意图；图2为本发明提供的一种ott视频质量监控装置的结构示意图；图3为本发明提供的一种终端设备的结构示意图。
具体实施方式
17.下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
19.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
20.此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
21.实施例1如图1所示，本实施例提供一种ott视频质量监控方法，包括如下步骤：s1：在互联网设备终端上使用软探针采集原始数据，具体包括：s11：在互联网设备终端上安装软探针，所述互联网设备终端包括手机、平板电脑、电视和机顶盒；s12：对ott视频质量进行主动测试，主动测试包括ping/tracert/http/视频/带宽测试指标，得到对应的主动测试数据；s13：通过netfilter架构和pf_packet方式自动识别ott视频流并生成ott视频质量指标，得到qos/qoe异常指标对应的被动测试数据；s14：主动测试数据与被动测试数据构成原始数据。
22.s2：将原始数据上报到数据平台，所述数据平台采用流批一体的数据湖架构，其在计算层使用一个数据处理逻辑来表示同一个业务需求；具体包括：原始数据通过kafka的方式接入数据湖，经过统一的 etl 逻辑后存储至数据湖中。
23.s3：通过数据平台对原始数据进行计算，将计算结果存入数据平台，具体包括：s31：数据湖中存入原始数据后，进行flink的流处理实时计算和批处理离线计算，流处理和批处理均采用sql执行逻辑；流处理实时计算包括：s311：将原始数据根据时间窗口进行聚合计算；s312：基于时间窗口指标的变化率，引入实时计算任务状态，判断时间窗口指标是否稳定；s313：若实时计算任务状态正常，则时间窗口指标稳定，可对外提供服务；若计算有卡顿、堆积，或者已经有异常在重启过程中，则继续等待迭代处理，直至实时计算
任务状态正常；s32：将流处理实时计算结果存入数据湖中的 druid，批处理离线计算结果存入数据湖中的 hive。
24.s4：基于计算结果，对视频质量进行监控，具体包括：s41：使用 impala 做查询，将离线计算结果通过 olap 同步覆盖实时计算结果；s42：基于实时计算结果，对时间窗口的数据进行监控，实现流媒体帧率和码率秒级监控；基于离线计算结果，生成不同维度的统计报表，如不同地区的在过去时间内的视频质量情况统计，过去7天中异常出现的每日高频时间段等报表；结合包括卡顿、黑屏和秒开的qos异常指标诊断，及时发现ott视频异常原因，并预警反馈给运维实现故障恢复与调度。
25.在本实施例中，数据湖本身可以同时支持流和批的方式进行读写，而且数据湖本身可以实时消费，所以它既可以做实时计算，也可以做离线计算，然后统一把数据再写回数据湖。在做查询的时候，会使用离线跟实时做统一整合，将离线计算结果覆盖实时计算结果以节省存储空间。
26.本发明通过使用数据湖流批一体处理大量视频播放时的质量问题，解决了多用户时大量数据上报导致的算力不够、大数据平台交付时延较长的问题，实现实时报表查询与预警。实时处理时引入实时计算任务状态，能够对卡顿、堆积数据进行处理，避免导致预警异常或者报表时间异常。流批一体处理数据时采用同一个数据处理逻辑，减少开发人力成本与维护成本。
27.实施例2如图2所示，本实施例提供了一种ott视频质量监控装置，包括：数据采集模块，用于在互联网设备终端上使用软探针采集原始数据；数据上报模块，用于将原始数据上报到数据平台；数据计算模块，用于通过数据平台对原始数据进行计算，将计算结果存入数据平台；质量监控模块，用于基于计算结果，对视频质量进行监控。
28.应理解的是，该装置与实施例1中的ott视频质量监控方法对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作系统(operating system，os)中的软件功能模块。
29.实施例3如图3所示，本实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1中的ott视频质量监控方法。
30.本实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1中的ott视频质量监控方法。
31.其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory,简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory,简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory,简称eprom)，可编程
只读存储器(programmable red
‑
only memory,简称prom)，只读存储器(read
‑
only memory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
32.本技术提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本技术实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以使用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
33.另外，在本技术实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
34.显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。