一种音视频卡顿信息自动检测上报系统及方法与流程

文档序号:15062501发布日期:2018-07-31 22:06阅读:381来源:国知局

本发明涉及多媒体技术领域,尤其涉及一种音视频卡顿信息自动检测上报系统及方法。



背景技术:

现有技术中,关于音视频卡顿信息的检测方法与检测装置主要集中在网络数据分析、音视频内容下载分析等方面,而在音视频实时播放检测方面还没有实现。例如:

采用在播放过程中将播放的音视频下载下来与预先存储的标准文本信息比对的方法判断是否有卡顿;或

从音视频数据中分离出的视频数据,将预先存储的参考图像的图像信息封装到视频数据中,得到封装后的视频数据,在指定区域内显示封装后的视频数据过程中,采集图像数据,并记录图像数据的第一采集时间,根据图像数据和图像数据的第一采集时间,确定播放的视频是否卡顿;或

在视频播放器中设置计时器,当所述播放器开始解码视频时,同时开启所述计时器,实时监控所述视频播放器的播放进度时刻和所述计时器中的计时时刻,判断所述视频播放器是否发生了卡顿。

现有的关于音视频卡顿信息检测的技术方案主要是采用视频内容下载分析等方法,每次检测还需要对原始的视频数据进行相应的采集处理,然后再来播放进行比对,整个的系统在操作上都非常不便,并且需要建立庞大的数据库来支撑,无法应对复杂多变的网络各方面的实时数据信息。

在实际应用中,现有的音视频卡顿检测技术,并不能准确的上报音视频卡顿的现象,例如:网络波动,缓冲数据少,在某些特定情况下不会出现卡顿;在没有网络波动,缓冲数据足够的时候,视频也有可能出现卡顿。



技术实现要素:

针对现有技术中存在的问题,本发明涉及一种能够实时、准确进行检测的音视频卡顿信息自动检测上报系统。

本发明采用如下技术方案:

一种视频卡顿信息自动检测上报系统,所述系统设置于机顶盒终端,服务器通过网络传输向所述机顶盒终端发送音视频数据,所述机顶盒终端将所述音视频数据发送到显示装置进行播放;所述视频卡顿信息自动检测上报系统包括:

定时器模块,所述定时器模块用于在所述显示装置播放所述音视频数据时进行计时,以获得所述音视频数据对应的每一帧视频帧的播放时间数据;

检测模块,所述检测模块连接所述定时器模块,用于对所述音视频数据进行处理得到理论播放帧率,以及用于接收所述播放时间数据并根据所述播放时间数据对所述音视频数据进行处理得到实际播放帧率,以及用于根据所述播放时间数据、所述理论播放帧率及所述实际播放帧率进行比对分析处理,以得到所述视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;

所述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以及卡顿原因信息。

优选的,所述视频卡顿信息自动检测上报系统连接所述服务器、所述机顶盒终端以及所述显示装置。

优选的,所述机顶盒终端将所述音视频数据发送到显示装置进行播放前,对所述音视频数据进行转换处理;

所述机顶盒终端包括:

解扰解复用模块,所述解扰解复用模块用于接收所述服务器通过网络传输的所述音视频数据,并对所述音视频数据的视频格式进行探测和解析,以获得相应的音视频流;

音视频解码模块,所述音视频解码模块连接所述解扰解复用模块,用于接收所述音视频流,并对所述音视频流进行音视频解码处理,以得到解码后的所述音视频流;

播放器模块,所述播放器模块连接所述音视频解码模块,用于接收解码后的所述音视频流并输出;

数据缓冲模块,所述数据缓冲模块连接所述播放模块,用于接收解码后的所述音视频流并缓存至缓存池,所述显示模块从所述缓存池中获取解码后的音视频流并作为转换处理后的所述音视频数据进行播放,所述数据缓冲模块还用于通过对缓冲池中解码后的音视频流的数据量和时间量进行处理,以判断所述显示装置是否正确播放所述音视频数据并获得视频播放状态信息;

视频后处理模块,所述视频后处理模块用于在所述显示装置播放所述音视频数据后对所述音视频数据进行视频播放后处理;

核心交互模块,所述核心交互模块连接所述播放器模块,用于作为所述播放器模块底层应用程序编程接口及内核驱动控制接口的封装,以实现所述播放器模块与底层的交互控制。

优选的,所述视频卡顿信息自动检测上报系统还包括:

自适应调整模块,所述自适应调整模块连接所述定时器模块和所述检测模块,用于根据所述理论播放帧率、所述播放时间数据以及所述实际播放帧率对所述实际播放帧率进行自适应计算处理,以得到帧率调整值,以及用于根据所述帧率调整值对所述实际播放帧率进行调整,以使所述实际播放帧率与所述理论播放帧率相同。

优选的,所述卡顿原因信息包括:

关联于网络传输波动的第一信息;以及

关联于音视频解码处理错误的第二信息;以及

关联于音视频数据自身的视频源文件错误的第三信息。

一种视频卡顿信息自动检测上报方法,所述方法适用于机顶盒终端,服务器通过网络传输向所述机顶盒终端发送音视频数据,所述机顶盒终端将所述音视频数据发送到显示装置进行播放,所述视频卡顿信息自动检测上报系统设置于所述机顶盒终端,所述视频卡顿信息自动检测上报方法包括:

步骤s1、采用一定时器模块,所述定时器模块在所述显示装置播放所述音视频数据时进行计时,以获得所述音视频数据对应的每一帧视频帧的播放时间数据;

步骤s2、采用一检测模块,所述检测模块连接所述定时器模块,所述检测模块对所述音视频数据进行处理得到理论播放帧率,以及接收所述播放时间数据并根据所述播放时间数据对所述音视频数据进行处理得到实际播放帧率,以及根据所述播放时间数据、所述理论播放帧率及所述实际播放帧率进行比对分析处理,以得到所述视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;

所述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以及卡顿原因信息。

优选的,所述视频卡顿信息自动检测上报系统连接所述服务器、所述机顶盒终端以及所述显示装置。

优选的,所述机顶盒终端将所述音视频数据发送到显示装置进行播放前,对所述音视频数据进行所述转换处理;

所述机顶盒终端接收所述音视频数据并进行所述转换处理后输出的具体步骤包括:

步骤a1、采用一解扰解复用模块,所述解扰解复用模块接收所述服务器通过网络传输的所述音视频数据,并对所述音视频数据的视频格式进行探测和解析,以获得相应的音视频流;

步骤a2、采用一音视频解码模块,所述音视频解码模块连接所述解扰解复用模块,接收所述音视频流,并对所述音视频流进行音视频解码处理,以得到解码后的所述音视频流;

步骤a3、采用一播放器模块,所述播放器模块连接所述音视频解码模块,接收解码后的所述音视频流并输出;

步骤a4、采用一数据缓冲模块,所述数据缓冲模块连接所述播放模块,接收解码后的所述音视频流并缓存至缓存池,所述显示模块从所述缓存池中获取解码后的音视频流并作为转换处理后的所述音视频数据进行播放,所述数据缓冲模块还通过对缓冲池中解码后的音视频流的数据量和时间量进行处理,以判断所述显示装置是否正确播放所述音视频数据并获得视频播放状态信息;

步骤a5、采用一视频后处理模块,所述视频后处理模块在所述显示装置播放所述音视频数据后对所述音视频数据进行视频播放后处理;

所述步骤a1-a5中,采用一核心交互模块,所述核心交互模块连接所述播放器模块,作为所述播放器模块底层应用程序编程接口及内核驱动控制接口的封装,以实现所述播放器模块与底层的交互控制。

优选的,所述步骤s1-s2中,采用一自适应调整模块,所述自适应调整模块连接所述定时器模块和所述检测模块,根据所述理论播放帧率、所述播放时间数据以及所述实际播放帧率对所述实际播放帧率进行自适应计算处理,以得到帧率调整值,以及根据所述帧率调整值对所述实际播放帧率进行调整,以使所述实际播放帧率与所述理论播放帧率相同。

优选的,所述卡顿原因信息包括:

关联于网络传输波动的第一信息;以及

关联于音视频解码处理错误的第二信息;以及

关联于音视频数据自身的视频源文件错误的第三信息。

本发明的有益效果:本发明通过实时监控,在音视频播放过程中进行实时监测,以计算卡顿信息并上报,不需要将原始数据下载,也不需要建立比对的数据库,在实际操作过程中方便、简单、快捷,大大的提高了音视频卡顿信息监测上报的效率;且视频帧数的统计精确,100%精准上报卡顿事件,能准确定位到卡顿的发生原因。

附图说明

图1为本发明的一种优选实施例中,音视频输出传输的示意图;

图2为本发明的一种优选实施例中,视频卡顿信息自动检测上报系统的功能模块示意图;

图3为本发明的一种优选实施例中,机顶盒终端的功能模块示意图;

图4为本发明的一种优选实施例中,视频卡顿信息自动检测上报方法的流程图;

图5为本发明的一种优选实施例中,所述机顶盒终端接收所述音视频数据并进行所述转换处理后输出的方法流程图。

具体实施方式

需要说明的是,在不冲突的情况下,下述技术方案,技术特征之间可以相互组合。

下面结合附图对本发明的具体实施方式作进一步的说明:

如图1-2所示,一种视频卡顿信息自动检测上报系统,上述系统设置于机顶盒终端3,服务器1通过网络传输(图1中的网络传输装置2用于提供网络传输服务)向上述机顶盒终端3发送音视频数据,上述机顶盒终端3将上述音视频数据发送到显示装置4进行播放;上述视频卡顿信息自动检测上报系统包括:

定时器模块5,上述定时器模块5用于在上述显示装置4播放上述音视频数据时进行计时,以获得上述音视频数据对应的每一帧视频帧的播放时间数据;

检测模块6,上述检测模块6连接上述定时器模块5,用于对上述音视频数据进行处理得到理论播放帧率,以及用于接收上述播放时间数据并根据上述播放时间数据对上述音视频数据进行处理得到实际播放帧率,以及用于根据上述播放时间数据、上述理论播放帧率及上述实际播放帧率进行比对分析处理,以得到上述视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;

上述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以及卡顿原因信息。

在本实施例中,在不同的输入输出帧率的基础上(输入帧率为该音视频数据在显示装置4上播放对应的理论播放帧率,输出帧率为该音视频数据在显示装置4上播放时的实际播放帧率,实际播放帧率由检测模块6进行实时监测),能够实时检测视频卡顿的相关信息,并将错误播放帧的帧数精确到每帧数据和错误帧卡顿时间,从而不会产生任何误报,让正确播放帧数和错误播放帧数一目了然,可以判断出具体卡顿出错的原因,是服务器1原因导致,还是解码等原因导致,还是视频源文件错误导致,从而给及时纠正错误提供相应的数据信息。

通过定时器模块5和检测模块6实时监控音视频数据播放,以计算卡顿信息并上报,不需要将原始数据下载,也不需要建立比对的数据库,在实际操作过程中方便、简单、快捷,大大的提高了音视频卡顿信息监测上报的效率;且视频帧数的统计精确,100%精准上报卡顿事件,能准确定位到卡顿的发生原因。

较佳的实施例中,上述视频卡顿信息自动检测上报系统连接上述服务器1、上述机顶盒终端3以及上述显示装置4。

在本实施例中,显示装置4可以是能够播放音视频数据的本领域技术人员常用的装置,例如,显示器和电视。服务器1传输的音视频播放数据经过机顶盒终端3进行转换处理后传输给显示装置4进行播放,检测人员从显示装置4上可以直观的发现音视频数据播放是的卡顿状况,而视频卡顿信息自动检测上报系统则是通过实时检测获得卡顿信息,从而根据卡顿信息处理得到原因。

如图3所示,较佳的实施例中,上述机顶盒终端3将上述音视频数据发送到显示装置4进行播放前,对上述音视频数据进行转换处理;

上述机顶盒终端3包括:

解扰解复用模块8(demux模块),上述解扰解复用模块8用于接收上述服务器1通过网络传输的上述音视频数据,并对上述音视频数据的视频格式进行探测和解析,以获得相应的音视频流;

音视频解码模块9,上述音视频解码模块9连接上述解扰解复用模块8,用于接收上述音视频流,并对上述音视频流进行音视频解码处理,以得到解码后的上述音视频流;

播放器模块10(player模块),上述播放器模块10连接上述音视频解码模块9,用于接收解码后的上述音视频流并输出;

数据缓冲模块11,上述数据缓冲模块11连接上述播放模块,用于接收解码后的上述音视频流并缓存至缓存池,上述显示模块从上述缓存池中获取解码后的音视频流并作为转换处理后的上述音视频数据进行播放,上述数据缓冲模块11还用于通过对缓冲池中解码后的音视频流的数据量和时间量进行处理,以判断上述显示装置4是否正确播放上述音视频数据并获得视频播放状态信息;

视频后处理模块13(videopost-processing模块),上述视频后处理模块13用于在上述显示装置4播放上述音视频数据后对上述音视频数据进行视频播放后处理;

核心交互模块12(kernel交互模块),上述核心交互模块12连接上述播放器模块10,用于作为上述播放器模块10底层应用程序编程接口及内核驱动控制接口的封装,以实现上述播放器模块10与底层的交互控制。

在本实施例中,demux模块对上层传给player模块的视频进行视频格式的探测以及解析,获取相应的音视频流(streambuffer);音频解码模块完成音频解码控制;player模块根据demux模块传输的音视频流进行播放;数据缓冲模块11具有数据缓冲池,可以通过缓冲池中的streambuffer数据量和时间量判断数据缓冲量,从而对视频播放状态进行判断;视频后处理模块13(videopost-processing模块)完成视频播放后处理;kernel交互模块为播放器底层api接口,内核驱动(driver)控制接口的封装,实现player模块与底层的交互控制。

统计每秒播放的帧数,包含正确播放帧的帧数和错误播放帧帧数,存入缓冲池等待处理后拿数据。

如图3所示,较佳的实施例中,上述视频卡顿信息自动检测上报系统还包括:

自适应调整模块7,上述自适应调整模块7连接上述定时器模块5和上述检测模块6,用于根据上述理论播放帧率、上述播放时间数据以及上述实际播放帧率对上述实际播放帧率进行自适应计算处理,以得到帧率调整值,以及用于根据上述帧率调整值对上述实际播放帧率进行调整,以使上述实际播放帧率与上述理论播放帧率相同。

在本实施例中,上述视频卡顿信息自动检测上报系统主要工作流程为打开数据信息统计开关(图中未示出),显示装置4播放上述音视频数据,视频卡顿信息自动检测上报系统同时会计算播放视频的输入帧率(理论播放帧率)和电视机的输出帧率(实际播放帧率),并通过自适应调整模块7做出自适应计算。

音视频数据在显示装置4上播放的过程中,自适应调整模块7实时地对上述实际播放帧率进行调整,同时,上述视频卡顿信息自动检测上报系统也实时地在获取上述实际播放帧率并进行与卡顿信息获取相关的计算。

较佳的实施例中,上述卡顿原因信息包括:

关联于网络传输波动的第一信息;以及

关联于音视频解码处理错误的第二信息;以及

关联于音视频数据自身的视频源文件错误的第三信息。

在本实施例中,一般存在三种情况导致视频卡顿:网络波动造成的卡顿;视频解码错误造成的卡顿;视频源文件错误造成的卡顿。视频卡顿信息自动检测上报系统,针对机顶盒终端3产品实时监测卡顿信息,对错误播放帧导致的卡顿进行分类统计并对导致卡顿的原因进行判断,从而起到对网络波动及服务器1数据传输不稳定性的实时监测。

如图4所示,一种视频卡顿信息自动检测上报方法,上述方法适用于机顶盒终端3,服务器1通过网络传输向上述机顶盒终端3发送音视频数据,上述机顶盒终端3将上述音视频数据发送到显示装置4进行播放,上述视频卡顿信息自动检测上报系统设置于上述机顶盒终端3,上述视频卡顿信息自动检测上报方法包括:

步骤s1、采用一定时器模块5,上述定时器模块5在上述显示装置4播放上述音视频数据时进行计时,以获得上述音视频数据对应的每一帧视频帧的播放时间数据;

步骤s2、采用一检测模块6,上述检测模块6连接上述定时器模块5,上述检测模块6对上述音视频数据进行处理得到理论播放帧率,以及接收上述播放时间数据并根据上述播放时间数据对上述音视频数据进行处理得到实际播放帧率,以及根据上述播放时间数据、上述理论播放帧率及上述实际播放帧率进行比对分析处理,以得到上述视频帧中的正确播放帧的播放信息和错误播放帧的卡顿信息;

上述卡顿信息包括错误播放镇的播放时间信息、卡顿时间信息以及卡顿原因信息。

较佳的实施例中,上述视频卡顿信息自动检测上报系统连接上述服务器1、上述机顶盒终端3以及上述显示装置4。

如图5所示,较佳的实施例中,上述机顶盒终端3将上述音视频数据发送到显示装置4进行播放前,对上述音视频数据进行上述转换处理;

上述机顶盒终端3接收上述音视频数据并进行上述转换处理后输出的具体步骤包括:

步骤a1、采用一解扰解复用模块8,上述解扰解复用模块8接收上述服务器1通过网络传输的上述音视频数据,并对上述音视频数据的视频格式进行探测和解析,以获得相应的音视频流;

步骤a2、采用一音视频解码模块9,上述音视频解码模块9连接上述解扰解复用模块8,接收上述音视频流,并对上述音视频流进行音视频解码处理,以得到解码后的上述音视频流;

步骤a3、采用一播放器模块10,上述播放器模块10连接上述音视频解码模块9,接收解码后的上述音视频流并输出;

步骤a4、采用一数据缓冲模块11,上述数据缓冲模块11连接上述播放模块,接收解码后的上述音视频流并缓存至缓存池,上述显示模块从上述缓存池中获取解码后的音视频流并作为转换处理后的上述音视频数据进行播放,上述数据缓冲模块11还通过对缓冲池中解码后的音视频流的数据量和时间量进行处理,以判断上述显示装置4是否正确播放上述音视频数据并获得视频播放状态信息;

步骤a5、采用一视频后处理模块13,上述视频后处理模块13在上述显示装置4播放上述音视频数据后对上述音视频数据进行视频播放后处理;

上述步骤a1-a5中,采用一核心交互模块12,上述核心交互模块12连接上述播放器模块10,作为上述播放器模块10底层应用程序编程接口及内核驱动控制接口的封装,以实现上述播放器模块10与底层的交互控制。

如图4所示,较佳的实施例中,上述步骤s1-s2中,采用一自适应调整模块7,上述自适应调整模块7连接上述定时器模块5和上述检测模块6,根据上述理论播放帧率、上述播放时间数据以及上述实际播放帧率对上述实际播放帧率进行自适应计算处理,以得到帧率调整值,以及根据上述帧率调整值对上述实际播放帧率进行调整,以使上述实际播放帧率与上述理论播放帧率相同。

通过说明和附图,给出了具体实施方式的特定结构的典型实施例,根据本发明精神,还可作其他的转换。尽管上述发明提出了现有的较佳实施例,然而,这些内容并不作为局限。

对于本领域的技术人员而言,阅读上述说明后,各种变化和修正无疑将显而易见。因此,所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容,都应认为仍属本发明的意图和范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1