专利名称：一种高速识别视频内容变化程度的方法
技术领域：
本发明属于多媒体通信技术领域，涉及一种识别视频内容变化的方法，特别是涉及一种高速识别视频内容变化程度的方法。
背景技术：
随着互联网的发展，音视频媒体流逐渐占据了网络的主要流量。然而，互联网是一种尽力而为的传输(Best-effort)网络，在流媒体的传输过程中的带宽、丢包、抖动、时延等情况时有发生，它们会对视频质量产生不利的影响。以往对网络服务质量QoS(Qualityof Service)的研究是以提高网络性能和整体资源利用率为目的，而现在的ISP和ICP则更关注签约客户的实际使用感受，而QoS无法满足这一需要。因此引入用户体验质量QoE(Quality of Experience)来描述多媒体用户的观看质量。目前，ITU、VQEG等多个研究组织提出了各自的视频质量评估模型，比较著名的有G.1070,E-ModeUEvalvid等。而这些模型主要考虑了 QoS参数对QoE的影响，但忽略了视频内容对QoE的影响。而现有实验表明，不同视频内容对QoE的影响存在很明显的不同。内容变化剧烈的视频(如足球赛等)受丢包、抖动的影响远大于内容变化平缓的视频(如新闻播报等)，如
图1所示。这种差异导致QoE评估模型的准确度比较低。现有的基于模式识别的视频内容识别技术能够对视频图像信息进行分析并获得内容信息。然而，该方法存在识别速度慢、资源开销大、需要前期大量数据的训练等问题，并且其识别的信息远多于QoE评估模型的需要，存在资源冗余和浪费。因此，在QoE的实时监测中很难将其引入。此外，国内外还有相关研究通过分析视频中每张图像的像素点的信息、或者分析编码后预测帧运动向量中DCT系数的信息，来估计视频的内容信息。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种高速识别视频内容变化程度的方法，用于解决现有技术中存在识别速度慢、资源开销大、需要前期大量数据的训练，并且识别的信息远多于QoE评估模型的需要，存在资源冗余和浪费的问题。为实现上述目的及其他相关目的，本发明提供一种高速识别视频内容变化程度的方法。所述方法包括:SI，将视频帧中的关键帧字节数和总字节数置为0，根据应用场景为待评测视频建立缓冲区，所述应用场景包括离线场景和在线场景，初始化局部变量；当应用场景为在线评测时，为待评测视频建立网络缓冲区，网络缓存区中元素为服务端向客户端顺序发送的数据包队列，并且将为待评测视频建立的网络缓冲区指向媒体流服务器端的网络数据包队列；当应用场景为离线测评时，为待评测视频建立文件缓冲区，所述文件缓冲区中的元素为待测视频的连续帧；S2，从为待评测视频建立缓冲区首部读出下一帧，当应用场景为离线评测时，文件缓存区中的元素是为帧，直接从缓存区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景为在线评测时，为待评测视频建立的网络缓存区中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的帧，继续执行下一步骤；对于RTP协议的媒体流，为了确保需要读取的数据包的个数，采用清空临时帧数据缓冲数据，从为待评测视频建立的缓冲区中读出队首数据包，查看数据包中RTP协议域是否有标志位，并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载帧的中间一个数据包；S3，判断从为待评测视频建立缓冲区首部读出的帧是否为关键帧，若是，则执行下一步；若否，则返回步骤S2，重新执行步骤S2 ；S4，计算所述临时帧数据缓冲所占字节数，并累加至总字节数；S5，从为待评测视频建立缓冲区首部读出下一帧存入所述临时帧数据缓冲中，该步骤和步骤S2 —致；S6，判断从为待评测视频建立缓冲区首部读出的帧是否为预测帧，若是，则返回步骤S4 ;若否，则执行下一步；S7，计算视频内容变化程度度量值。优选地，当应用场景为在线评测时，表示待评测视频已经存在；当应用场景为离线评测时，表示待评测视频是实时生成；在离线应用场景下，为待评测视频建立文件缓冲区中帧的存放顺序必须与待评测视频存储顺序一致；在在线应用场景下，为待评测视频建立的网络缓存区中帧的存放顺序必须与待评测视频编码后的顺序一致。优选地，所述步骤S2还包括:从为待评测视频建立缓冲区首部读取下一帧在不用应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。优选地，在所述步骤S4中，如果所述临时帧数据缓冲是关键帧，那么关键帧字节数为所述临时帧数据缓冲所占字节数。优选地，所述视频内容变化程度度量值MDVC是一个区间为
图2(a)显示为足球赛视频QoE模型的差异的示意图。图2(b)显示为新闻播报视频QoE模型的差异的示意图。图3显示为本发明的高速识别视频内容变化程度的方法中不同编码参数下视频内容与MDVC的关系示意图。图4显示为本发明的高速识别视频内容变化程度的方法中不同内容的视频受丢包率影响后的不同MOS曲线示意图。
具体实施例方式以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式
加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。下面结合实施例和附图对本发明进行详细说明。目前主流编码，例如，H.264、MPEG4等，将视频帧分为关键帧(I帧)，和预测帧(P帧、B帧)两类。其中，所述关键帧用于存放完整的图像信息，而所述预测帧用于存放大量运动向量和少量图像信息。在相同编码条件下，所述编码条件包括分辨率、码率、GOP (GROUPOF PICTURE，简称画面群)样式等编码参数，运动向量包含的信息越大，那么视频前后帧变化越快，因此视频运动程度越剧烈。通过对预测帧字节数的统计，可以估计视频的运动程度，并且本发明所述的高速识别视频内容变化程度的方法识别速度快，临时数据量小，可以应用于实时监测中。本实施例提供一种高速识别视频内容变化程度的方法，所述方法如图1所示，具体包括:SI,初始化步骤,将视频巾贞中的关键巾贞字节数(KeySize)和总字节数(TotalSize)置为0，根据应用场景Task (离线或在线)为待评测视频建立缓冲区(pFrameBuffer)，所述应用场景包括离线场景和在线场景，初始化局部变量；当应用场景Task为在线评测时，为待评测视频建立网络缓冲区，网络缓存区中元素为服务端向客户端顺序发送的数据包队列，并且将为待评测视频建立的网络缓冲区(PFrameBuffer)指向媒体流服务器端的网络数据包队列；当应用场景(Task)为离线测评时，为待评测视频建立文件缓冲区，所述文件缓冲区中的元素为待测视频的连续帧；其中，当应用场景Task为在线评测时，也就是表示待评测视频已经存在，例如，VoD等视频点播服务；当应用场景Task为离线评测时，表示待评测视频是实时生成的，例如，视频会议、实况转播服务。为待评测视频建立缓冲区CpFrameBuffer)可以是一段视频流中的部分巾贞,也可以是整个视频的所有巾贞。在离线应用场景下，为待评测视频建立文件缓冲区中帧的存放顺序必须与待评测视频存储顺序一致；在在线应用场景下，为待评测视频建立的网络缓存区中帧的存放顺序必须与待评测视频编码后的顺序一致。
S2,从为待评测视频建立缓冲区(pFrameBuffer)首部读出下一巾贞，当应用场景Task为离线评测时，文件缓存区(pFrameBuffer)中的元素是为帧，直接从缓冲区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景Task为在线评测时，为待评测视频建立的网络缓存区(PFrameBuffer)中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的帧，继续执行下一步骤；对于RTP协议(Real-time Transport Protocol,简称实时传送协议)的媒体流,为了确保需要读取的数据包的个数，采用清空临时巾贞数据缓冲数据，从为待评测视频建立的缓冲区(pFrameBuffer)中读出队首数据包，查看数据包中RTP协议域是否有Mark标志位，并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载巾贞的中间一个数据包；需注意的是，从为待评测视频建立缓冲区(pFrameBuffer)首部读取下一帧在不用应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。S3,判断从为待评测视频建立缓冲区(pFrameBuffer)首部读出的巾贞是否为关键帧，若是，则执行下一步；若否，则返回步骤S2，重新执行步骤S2 ；S4，计算所述临时帧数据缓冲所占字节数(Size)，并累加至总字节数(TotalSize)0如果所述临时巾贞数据缓冲是关键巾贞,那么关键巾贞字节数(KeySize)为所述临时帧数据缓冲所占字节数(Size)；S5,从为待评测视频建立缓冲区(pFrameBuffer)首部读出下一巾贞存入所述临时帧数据缓冲中，该步骤和步骤S2 —致；当应用场景Task为离线评测时，文件缓存区(pFrameBuf fer )中的元素是为帧，直接从缓冲区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景Task为在线评测时，为待评测视频建立的网络缓存区(pFrameBuffer)中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的巾贞，继续执行下一步骤；对于RTP协议(Real-time TransportProtocol，简称实时传送协议)的媒体流，为了确保需要读取的数据包的个数，采用清空临时中贞数据缓冲数据，从为待评测视频建立的缓冲区(pFrameBuffer)中读出队首数据包,查看数据包中RTP协议域是否有Mark标志位，并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载帧的中间一个数据包。需注意的是，从为待评测视频建立缓冲区(pFrameBuffer)首部读取下一巾贞在不用应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。S6,判断从为待评测视频建立缓冲区(pFrameBuffer)首部读出的巾贞是否为预测帧，若是，则返回步骤S4 ;若否，则执行下一步；S7，计算视频内容变化程度度量值MDVC，即
权利要求
1.一种高速识别视频内容变化程度的方法，其特征在于，所述方法包括: SI，将视频帧中的关键帧字节数和总字节数置为O，根据应用场景为待评测视频建立缓冲区，所述应用场景包括离线场景和在线场景，初始化局部变量；当应用场景为在线评测时，为待评测视频建立网络缓冲区，网络缓存区中元素为服务端向客户端顺序发送的数据包队列，并且将为待评测视频建立的网络缓冲区指向媒体流服务器端的网络数据包队列；当应用场景为离线测评时，为待评测视频建立文件缓冲区，所述文件缓冲区中的元素为待测视频的连续帧； S2，从为待评测视频建立缓冲区首部读出下一帧，当应用场景为离线评测时，文件缓存区中的元素是为帧，直接从缓存区中读出首帧，将首帧数据存入临时帧数据缓存中，并执行下一步骤；当应用场景为在线评测时，为待评测视频建立的网络缓存区中的元素为数据包，需要先读取存放首帧的所有数据包，再将所述数据包组装成一个完整的帧，继续执行下一步骤；对于RTP协议的媒体流，为了确保需要读取的数据包的个数，采用清空临时帧数据缓冲数据，从为待评测视频建立的缓冲区中读出队首数据包，查看数据包中RTP协议域是否有标志位,并将所述数据包中的RTP数据域的数据取出存入临时帧数据缓冲数据中，如果查看到数据包中RTP协议域存在标志位，那么说明所述数据包是所承载帧的最后一个数据包，并说明已组装完成好一个帧，可以执行下一步骤；如果查看到数据包中RTP协议域不存在标志位，那么说明所述数据包是所承载帧的中间一个数据包； S3，判断从为待评测视频建立缓冲区首部读出的帧是否为关键帧，若是，则执行下一步；若否，则返回步骤S2，重新执行步骤S2 ； S4，计算所述临时帧数据缓冲所占字节数，并累加至总字节数； S5，从为待评测视频建立缓冲区首部读出下一帧存入所述临时帧数据缓冲中，该步骤和步骤S2 —致； S6，判断从为待评测视频建立缓冲区首部读出的帧是否为预测帧，若是，则返回步骤S4;若否，则执行下一步； S7，计算视频内容变化程度度量值。
2.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于:当应用场景为在线评测时，表示待评测视频已经存在；当应用场景为离线评测时，表示待评测视频是实时生成；在离线应用场景下，为待评测视频建立文件缓冲区中帧的存放顺序必须与待评测视频存储顺序一致；在在线应用场景下，为待评测视频建立的网络缓存区中帧的存放顺序必须与待评测视频编码后的顺序一致。
3.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于:所述步骤S2还包括:从为待评测视频建立缓冲区首部读取下一帧在不用应用场景下，执行方式不同；在离线应用场景时，为待评测视频建立文件缓冲区中存放的元素是视频帧，因此直接从文件缓冲区中读取帧并返回；在在线应用场景时，为待评测视频建立的网络缓存区中存放的是网络数据包，需要将存放的数据包全部读出，组装成一个完整的视频帧再返回。
4.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于:在所述步骤S4中，如果所述临时帧数据缓冲是关键帧，那么关键帧字节数为所述临时帧数据缓冲所占字节数。
5.根据权利要求1所述的高速识别视频内容变化程度的方法，其特征在于:所述视频内容变化程度度量值MDVC是一个区间为[O，I)的小数，MDVC表示视频内容变化的剧烈程度。 ·
全文摘要
本发明提供一种高速识别视频内容变化程度的方法，所述方法包括根据应用场景为待评测视频建立缓冲区，所述应用场景包括离线场景和在线场景，初始化局部变量；从为待评测视频建立缓冲区首部读出下一帧，并判断该帧的类型，如果是关键帧，则执行下一步，否则执行该步骤；计算该帧的字节数，并累加至总字节数中；从为待评测视频建立缓冲区首部读出下一帧，继续判断该帧的类型，如果是预测帧，则执行上一步，如果不是，则执行下一步；通过该帧的字节数和总字节数计算视频内容变化程度度量值。本发明所述方法能以较低的计算复杂度和空间开销，高速评估视频的内容特性，能够满足对视频内容进行简单而快速分类的需要。
文档编号H04N17/00GK103200419SQ201310068909
公开日2013年7月10日 申请日期2013年3月5日 优先权日2013年3月5日
发明者张大陆, 祝嘉麒, 李柏言, 金翔 申请人:同济大学