基于索引的多媒体数据的测量方法

专利名称：基于索引的多媒体数据的测量方法
技术领域：
本发明涉及一种多媒体信息传输和处理技术，具体说，涉及一种基于索 引的多媒体数据的测量方法。
背景技术：
随着有线网络和无线网络的发展和用户需求的驱动，多媒体技术和相关 的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多媒体应用，包括视频应用和音频应用，相对于Internet的传统应用如WWW、 E-mail等，对带宽的需求更大，多媒体数据的压缩成为一个非常迫切的任务。 现有的视频和音频等多媒体数据传输釆用了基于预测的高压缩率编码技术， 因此在网络传输过程中的数据包丟失或者延迟会造成解码端的视频和音频 质量下降。但是现有的网络不提供传输的QoS (QualityofServerices)保证， 因此数据包的丟失或者延迟不可避免，这都会造成接收端的用户体验质量下 降。为了运营商和内容提供商能够监测到接收端的多媒体服务质量，如何有 效地监测和评价接收端的多^!某体服务质量成为多媒体通信领域的研究热点。评价接收端多媒体服务质量的方法是在接收端对收到的多媒体信息进 行监测，通过解码处理含有错误的多i某体数据信息，并将错误信息在多^ 某体 数据中的位置(如RTP包号)反馈至服务器端。在服务器端根据接收到的 错误反馈信息对接收端的多媒体数据进行重建，然后利用重建视频和参考视 频进行比较，从而实现对接收端的多媒体服务性能进行监测和评价。这种方法的缺点在于需要在被监测的接收端对多媒体数据包进行解码， 然后将解码过程中的错误信息通过反馈信道反馈至服务器端，在服务器端重新进行一次完整解码，才能得到重建视频。在一个服务器服务多个接收端的 情况下，对每一个接收端进行多々某体服务质量评价时，都需要进行一次完整 的解码，这就需要进行多次完整的视频和音频解码处理，这对服务器的性能提出了很高的要求。

发明内容
本发明所解决的技术问题是提供一种基于索引的多媒体数据的测量方 法，简化了多媒体服务质量评价时的多媒体数据的重建过程，有利于在服务 器端对多个接收端进行多媒体服务性能监测。
一种基于索引的多媒体数据的测量方法，包括 (1)构建多媒体数据包，建立所述多媒体数据包的包序号与对应的多
媒体数据之间的索引；
(2 )根据接收端返回来的丢包信息和索引文件中保存的信息区分差错 所在帧的差错区域和非差错区域；所述丢包号通过接收端解码得到；
(3)利用找出的所述差错区域和非差错区域，以及所述索引文件中保 存的索引数据构建差错多媒体数据；
(4 )利用构建的差错多媒体数据和正确解码的多媒体数据进行比较， 得出比较结果。
进一步，步骤(l)中，在打包发送多媒体码流时，进行正常的解码操 作，建立索引，并向索引文件写入索引数据，建立的索引文件结构中包括包 序号、索引项的数据长度、賴:信息、宏块、块信息或者残差信息。
进一步，步骤(2)中，根据丢包的包序号在索引文件中查找该包所包 含的多媒体数据在差错帧中所处的区域。
进一步，步骤(2)中，在多媒体数据传输过程中建立采样点，所述采 样点对接收的多媒体数据包的序号进行判断，将错误多媒体数据包的序号通 过反馈信道发送至监测服务器，根据索引号得到在接收端进行解码过程中丟 失的多媒体信息。
根据权利要求7所述的基于索引的多媒体数据的测量方法，其特征在 于，步骤(3)中，根据采样点反馈过来的丢包信息和索引文件，得到接收 端丢失信息在多媒体数据中所处的位置，构建差错多媒体数据。
进一步，步骤(3)中，根据采样点返回来的丢包号、索引文件和正确解码的多媒体数据，在监测服务器模拟构建接收端的带有差错的多媒体数 据；在构建带有差错的多媒体数据的过程中，只对多媒体数据中受差错影响 的区域进行部分解码，不受差错影响的区域直接从已经正确解码的多^ 某体数
据中拷贝过来填充；所述部分解码是利用索引文件中保存的信息进行多媒体
数据的重建，不从码流文件中读取码流进行完整的解码:操作。
进一步，步骤(4)中，用有效峰值信噪比方法，对重建的差错多媒体
数据和正确解码多媒体数据计算视频质量测量值，利用所述视频质量测量值 进行比较。
本发明所解决的另 一个技术问题是提供一种构建差错多媒体数据的方 法，能够利用索引文件和丟包信息构建差错多媒体文件。
才支术方案如下
一种构建差错多媒体数据的方法，包括
(1) 构建多媒体数据包，建立所述多媒体数据包的包序号与对应的多 媒体数据之间的索引；
(2) 根据接收端返回来的丢包信息和索引文件中保存的信息区分差错 所在帧的差错区域和非差错区域；所述丟包号通过接收端解码或采样点得 到，并通过反馈信道发送到监测服务器；
(3) 利用找出的所述差错区域和非差错区域，以及所述索引文件中保 存的索引数据构建差错多媒体数据。
进一步，步骤(i)中，在发送多媒体码流时，进行正常的解码操作， 建立索引，并向索引文件写入索引数据，建立的索引文件结构中包括包序号、 索引项的数据长度、段信息、宏块、块信息或者残差信息。
进一步，步骤(3)中，根据采样点返回来的丟包号、索引文件和正确 解码的多媒体数据，在监测服务器模拟构建接收端的带有差错的多媒体数 据；在构建带有差错的多媒体数据的过程中，只对多媒体数据中受差错影响 的区域进行部分解码，不受差错影响的区域直接从已经正确解码的多媒体数 据中拷贝过来填充；所述部分解码是利用索引文件中保存的信息进行多媒体 数据的重建，不从码流文件中读取码流进行完整的解码操作。在重建差错视频的过程中，只对视频中受差错影响的区域进行部分解码 操作，不需要从码流文件中读取码流进行完整的解码操作，不受差错影响的 区域像素值直接从已经正确解码的视频中拷贝过来填充。因此不需要在服务 器端进行额外的多媒体解码过程处理，从而降低了服务器端的资源要求，有 利于在服务器端对多个采样点的多々某体服务性能进行监测，从而大大减少了 服务器端的资源消耗。


图1是基于索引和反馈信息的多媒体服务质量评测系统图2是索引文件的结构示意图3是差错视频序列的重建方法流程图。
具体实施例方式
本发明通过建立发送的数据包号和多媒体数据之间的索引，通过索引重 建视频，简化了多媒体服务质量评价时的多媒体数据的重建过程，有利于在 服务器端对多个接收端进行多媒体服务性能监测。
下面参照附图，对本发明的优选实施例作详细描述。
参照图l所示，发送端对多媒体数据进行打包，并将其发送到接收端， 期间要经过若干个网络节点。发送端在进行打包过程中要建立发送的多媒体 数据包号和多媒体数据之间的索引，即建立发送数据标识号与对应的多々某体 数据之间的索引。
在多媒体数据的传送过程中，多媒体数据包可能会发生延迟或者丟失， 造成接收端不能正确接收所有的多媒体数据包。此时，接收端通过多媒体解 码处理，找到丟包的包序号，并将其反馈至服务器端。监测服务器再根据接 收到的反馈错误信息，根据丟包的包序号在索引文件中查找该包所包含的多 媒体数据在差错帧所在的区域，利用多媒体解码器估计出被监测的接收端多 媒体数据，进行重建差错多媒体数据和参考多媒体数据(正确解码的多媒体
数据)，将被监测的多媒体数据与参考多媒体数据进行比较，实现多媒体服务性能的监测。参照图2所示，对索引结构作详细描述。在现有基于块的混合视频编码标准中，索引结构应包含(不限于)以下4吕息(1) 包序号。为索引关键字，用于标示该包内所包含的多媒体数据。(2) 索引项的数据长度(可选)。标示该索引项内包含多少个字节的索引项数据，它可以不包含包序号和 其本身的数据长度，其主要用于包的快速查找和索引。(3) 段信息(Segment信息)，Segment在不同的音视频编码标准中表 示不同的意思，如h.263中的宏块组(GOB， Group of Blocks)，其它视频 标准中的分片(Slice)和条带。它主要包括(但不限于)每个包内包括Segment的总数、当前Segment 的号码(Index)、 当前Segment所在的帧号、当前Segment的类型、当前 Segment所包含的宏块的开始位置、当前Segment所包含的宏块的结束位置。(4) 宏块和块信息。它主要包括(但不限于)宏块的地址，宏块的类型，运动矢量，参考 帧号。(5) 残差信息。 表示每个块经反离散余弦变换(IDCT)变换后的残差。 下面对基于索引的多4某体数据的测量方法作详细描述。1、构建基于索引的多4某体数据包，建立索引，并写入索引文件。发送端在发送多々某体码流时进行正常的解码操作，发送端在进行打包过 程中要建立发送的多媒体数据包号和多媒体数据之间的索引，即建立发送数 据标识号与对应的多媒体数据之间的索引。索引文件包含写入的索？ 1数据， 最终建立的索引文件结构如图2所示，但也有可能索引文件中的字段名字和 顺序不同。发送数据标识号是编码后多媒体数据发送的序号，在基于包传输协议的流媒体传送过程中，发送数据标识号是包序号和其他一些重建多々某体 数据所需要的信息。
2、 在服务器端，如果想对某一接收端进行多媒体服务质量进行监测和 评价的时候，根据该接收端返回来的丟包的包号和索引文件中保存的信息区 分差错所在帧的差错区域和非差错区域。
3、 重建差错多媒体数据。
根据接收端返回来的丟包的包号、索引文件和正确的解码视频文件，在 服务器端模拟接收端快速重建带有差错的多媒体数据。在重建差错多媒体数 据的过程中，只对差错多媒体数据中受差错影响的区域进行部分解码操作， 不受差错影响的区域直接从已经正确解码的多々某体数据中拷贝过来填充。所 谓部分解码，是指利用索引文件中保存的信息进行多媒体数据重建，不需要 从码流文件中读取码流进行完整的解码操作。因此不需要在服务器端进行额 外的多4某体解码过程处理，从而降低了服务器端的资源要求，有利于在服务 器端对多个采样点的多媒体服务性能进行监测。
4、 服务质量评价。
对重建的差错多媒体数据和正确解码的多媒体数据进行比较，得到评价 结果。
下面以典型的基于H.264视频编码标准的多媒体视频服务的性能监测 为例，进一步描述本发明的性能监测原理和实施方法，但是并不局限于该应 用。
在图1所示的实施例中，视频数据在发送端经符合R264视频编码标准 的编码器编码后被打成RTP包，经过网络节点1和网络节点2后，到达接 收端。由于数据传送网络无法保证服务质量，接收端得到的多媒体数据可能 与发送端的数据不一致。发送端到网络节点1之间、网络节点1到网络节点 2之间或者网络节点2到接收端之间都存在数据包丢失的可能。
为了实现对对媒体视频服务性能的监测，本发明的一种实施方法如下。
1、构建基于索引的多媒体数据包，建立索引，并写入索引文件。
发送端在发送多媒体码流时进行正常的解码操作，建立索引并向索引文件写入索引数据。实时传输协议(RTP, Real-time Transport Protocol)是用于Internet上针对多媒体数据流的 一种传输协议。发送数据标识号是编码后多媒体数据信息发送的序号，在RTP协议中， 发送数据标识号是RTP包序号。用于建立索引的多媒体信息包括数据包对 应的多i某体数据信息，建立后的索引文件如图2所示。2、 根据该接收端返回来的丢包的包号和索引文件中保存的信息，区分 差错所在帧的差错区域和非差错区域，方法是根据丢包的包序号在索引文件 中查找该包所包含的多媒体数据在差错帧所在区域。在多媒体视频数据传输过程中建立若干个采样点。在图1的示例中，分 别在网络节点1、网络节点2和接收端位置建立采样点1、采样点2和采样 点3。在实际应用中，采样点可以在任意的网络节点位置。每个采样点对接 收的视频数据包的序号(例如RTP包序号)进行判断，然后将错误视频数 据包的序号通过反馈信道发送至参考点，这样就根据索引号知道了在接收端 进行解码的时候已经丢失了哪些视频信息。3、 重建差错视频。根据采样点反馈过来的丢包的包号和索引文件就能知道接收端丢失信 息在视频中所在的位置，重建差错视频。参照图3所示，是用索引文件、正确解码文件和采样点反馈过来的差错 信息模拟差错视频重建的过程。布支i殳两个I帧之间的一见频帧(包含前一个I帧，不包含后一个I帧)作 为一个图片组(GOP, Group Of Picture),如图所示，将II、 2P、 3B、 4B、5P.....到下一个I帧之前作为一个GOP。根据索引文件和丢包的包号在当前GOP中找到该GOP中的第一个丢包所在的帧(如图2中的3P),从该 GOP的I帧到该丟包所在帧之前的所有帧没有错误(如图2中的II和2B ), 可以从正确解码文件拷贝相应的视频帧到重建视频文件相应的位置。然后， 在丢包所在帧进行一般的错误处理，例如最筒单的方法是从前一帧拷贝相应 的块到差错位置(如图2中3P帧中的黑色部分)，对于其它没有错误的位置，则从正确解码文件拷贝相应的图像块填补。最后，对受该错误影响的后续帧中的错误部分(如图2中4B和5P中的黑色部分)，根据其中相应块 的运动矢量和和参考帧进行预测得到相应图像块的预测值，加上残差后即为 重建的像素块的值，此即为部分解码的方法。对该帧内其它不受错误参考帧 影响的部分，则从正确解码的视频中拷贝过来填充，从而模拟接收端的带有 差错的解码过程。4、用有效峰值信噪比(EPSNR ， Effective Peak Signal Noise Ratio )方 法，对重建的差错视频和正确解码视频计算视频质量测量(VQM)值，将 该VQM值作为最终的评价结果。从上面的叙述可以看出，本发明所描述的过程与传统的基于完整解码一 次差错视频的过程相比，可以减少以下计算1、 不需要处理色度信息。2、 不需要读码流和VLC解码。3、 不需要运动矢量的预测。4、 不需要做IDCT变换。5、 计算复杂度与丢包位置和数量有关，第一次丟包离I帧越远，计算 量越低。综上所述，本发明不需要在服务器端进行额外的多^ 某体解码过程处理， 从而降低了服务器端的资源要求，有利于在服务器端对多个采样点的多媒体 服务性能进行监测，从而大大减少了服务器端的资源消耗。
权利要求
1、一种基于索引的多媒体数据的测量方法，包括(1)构建多媒体数据包，建立所述多媒体数据包的包序号与对应的多媒体数据之间的索引；(2)根据接收端返回来的丢包号和索引文件中保存的信息，区分差错所在帧的差错区域和非差错区域；所述丢包号通过接收端解码得到；(3)利用找出的所述差错区域和非差错区域，以及所述索引文件中保存的索引数据构建差错多媒体数据；(4)利用构建的差错多媒体数据和正确解码的多媒体数据进行比较，得出比较结果。
2、 根据权利要求1所述的基于索引的多媒体数据的测量方法，其特征 在于，步骤(l)中，在打包发送多媒体码流时，进行正常的解码操作，建 立索引，并向索引文件写入索引数据，建立的索引文件结构中包括包序号、 索引项的数据长度、段信息、宏块、块信息或者残差信息。
3、 根据权利要求1所述的基于索引的多々某体数据的测量方法，其特征 在于，步骤(2)中，根据丢包的包序号在索引文件中查找该包所包含的多 媒体数据在差错帧中所处的区域。
4、 根据权利要求1所述的基于索引的多i某体数据的测量方法，其特征 在于，步骤(2)中，在多媒体数据传输过程中建立采样点，所述采样点对 接收的多媒体数据包的序号进行判断，将错误多媒体数据包的序号通过反馈 信道发送至监测服务器，根据索引号得到在接收端进行解码过程中丟失的多 媒体信息。
5、 根据权利要求1所述的基于索引的多媒体数据的测量方法，其特征 在于，步骤(3)中，根据采样点反馈过来的丢包信息和索引文件，得到接 收端丢失信息在多媒体数据中所处的位置，构建差错多媒体数据。
6、 根据权利要求1所述的基于索引的多媒体数据的测量方法，其特征 在于，步骤(3)中，根据采样点返回来的丢包号、索引文件和正确解码的多媒体数据，在监测服务器模拟构建接收端的带有差错的多媒体数据；在构 建带有差错的多媒体数据的过程中，只对多媒体数据中受差错影响的区域进 行部分解码，不受差错影响的区域直接从已经正确解码的多媒体数据中拷贝 过来填充；所述部分解码是利用索引文件中保存的信息进行多媒体数据的重 建，不从码流文件中读:f又码流进行完整的解码操作。
7、 根据权利要求1所述的基于索引的多媒体数据的测量方法，其特征 在于，步骤(4)中，用有效峰值信噪比方法，对重建的差错多媒体数据和 正确解码多媒体数据计算视频质量测量值，利用所述视频质量测量值进行比 较。
8、 一种构建差错多媒体数据的方法，包括(1) 构建多媒体数据包，建立所述多i某体数据包的包序号与对应的多 媒体数据之间的索引；(2) 根据接收端返回来的丢包号和索引文件中保存的信息区分差错所 在帧的差错区域和非差错区域；所述丢包号通过接收端解码或采样点得到， 并通过反馈信道发送到监测服务器；(3) 利用找出的所述差错区域和非差错区域，以及所述索引文件中保 存的索引数据构建差错多媒体数据。
9、 根据权利要求8所述的构建差错多媒体数据的方法，其特征在于， 步骤(l)中，在发送多媒体码流时，进行正常的解码操作，建立索引，并 向索引文件写入索引数据，建立的索引文件结构中包括包序号、索引项的数 据长度、^殳信息、宏块、块信息或者残差信息。
10、 根据权利要求8所述的构建差错多i某体数据的方法，其特征在于， 步骤(3)中，根据采样点返回来的丟包号、索引文件和正确解码的多々某体 数据，在监测服务器模拟构建接收端的带有差错的多媒体数据；在构建带有差错的多々某体数据的过程中，只对多媒体数据中受差错影响的区域进行部分 解码，不受差错影响的区域直接从已经正确解码的多媒体数据中拷贝过来填充；所述部分解码是利用索引文件中保存的信息进行多媒体数据的重建，不 从码流文件中读取码流进行完整的解码操作。
全文摘要
本发明公开了基于索引的多媒体数据的测量方法，包括构建多媒体数据包，建立所述多媒体数据包的包序号与对应的多媒体数据之间的索引；根据接收端返回来的丢包号和索引文件中保存的信息区分差错所在帧的差错区域和非差错区域；利用找出的所述差错区域和非差错区域，以及所述索引文件中保存的索引数据构建差错多媒体数据；利用构建的差错多媒体数据和正确解码的多媒体数据进行比较，得出比较结果。本发明还公开了一种构建差错多媒体数据的方法。
文档编号H04L12/26GK101296166SQ20071009779
公开日2008年10月29日 申请日期2007年4月29日 优先权日2007年4月29日
发明者宁 王, 郭秀江, 睿 陈 申请人:中兴通讯股份有限公司