专利名称：一种多媒体服务性能监测的方法和系统的制作方法
技术领域：
本发明属于多媒体信息传输和处理领域，具体涉及一种多媒体服务性能 监测的方法和系统。
背景技术：
随着有线网络和无线网络的发展和用户需求的驱动，多々某体技术和相关 的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多
々某体应用，包括视频应用和音频应用，相对于网络(Internet)的传统应用如 万维网(WWW)、电子邮件(E-mail)等，对带宽的需求更大，多媒体数 据的压缩成为一个非常迫切的任务。现有的视频和音频等多媒体数据传输采 取了高压缩率的编码技术，这些编码技术利用了视频和音频等多媒体信息在 时间、空间和统计上的相关性来进行数据压缩，因此在网络传输过程中的数 据包丢失或者延迟会造成解码端的视频和音频质量下降。但是有线或者无线 网络不提供传输的QoS (Quality of Serverices:服务质量)保证，因此数据 包的丟失或者延迟不可避免，这都会造成接收端的用户体验质量下降。为了 提高多媒体服务的质量，对通过有线网络或者无线网络传输的多媒体信息进 行质量监测成为多媒体通信领域的研究热点。
传统的多媒体服务性能监测方法是在接收端对收到的多媒体信息进行 监测，通过多媒体解码处理检测网络传输过程中的多媒体数据错误信息，并 将其反馈至服务器端。在服务器端根据接收到的错误反馈信息对接收端的多 媒体数据进行重建，从而实现对接收端的多4某体服务性能进行监测和评价。
图l是现有技术中一种多媒体服务性能监测系统示意图，图中，发送端 对多媒体数据进行打包，并将其发送到接收端，期间要经过若干个网络节点。 在多媒体数据的传送过程中，多媒体数据包可能会发生延迟或者丟失，造成 接收端不能正确接收所有的数据包。此时，接收端通过多媒体解码处理，找
到多媒体内容中的错误信息，并将其反馈至服务器端。监测服务器再根据接 收到的反馈错误信息，利用多媒体解码器估计出被监测的接收端多媒体数
据。将^ii测的多媒体数据与参考多媒体数据进行比较，实现多媒体服务n 能的监测。
传统的多々某体服务性能监测方法的一个缺点是，必须通过接收端的多媒 体解码器处理，才能得到多媒体内容的错误信息。这要求被监测的接收端能 够对传输的多媒体信息进行完全的解码操作。当需要对多个多媒体服务的性 能进行监测时，图i所示的传统方法要求接收端能够对多个多媒体服务内容 进行解码。这不仅增加了接收端的资源消耗，而且不利于多媒体内容的数字 版权管理。
传统的多媒体服务性能监测方法的另外一个缺点是，必须通过服务器端 的多媒体解码器处理过程，才能估计出被监测的接收端的多媒体内容。这要 求服务器端对每一个被监测的接收端进行多士某体解码操作。当需要对多个接 收端的多媒体服务性能进行监测时，图i所示的传统方法要求服务器端对多 个接受端的多々某体服务内容进行解码，这会大幅度增加了服务器端的资源消 耗。
因此，现有的多^(某体服务性能检测方法需要加以改进。
发明内容
本发明所要解决的技术问题是提供一种多媒体服务性能监测的方法和 系统， 一方面，避免在被监测的接收端进行多々某体解码的处理过程，有利于
数字版权管理；另一方面，避免服务器端进行额外的多媒体解码过程，有利 于在服务器端对多个接收端进行多媒体服务性能监测。
为了解决上述技术问题，本发明提供了一种多媒体服务性能监测方法， 应用于包括发送端、接收端和中间网络传输节点的系统，包含如下步骤
(a)在系统中设置参考点和采样点，所述参考点应可获得发送端发送 的多媒体数据的完整副本，所述采样点位于任意需要进行服务监测的网络节 点，参考点和采样点之间存在双向通信通道；
(b) 参考点获得发送端数据的完整副本，建立多^(某体数据包标识号与
对应的多4某体信息之间的关联关系并保存；
(c) 采样点根据包标识号对接收的数据包进行排序，检测数据包的完 整性，如有数据包丢失，将其标识号反馈至参考点；
(d) 参考点根据采样点返回的丢失数据包的标识号，查找保存的多媒 体数据包标识号与对应的多媒体信息之间的关联关系，得到对应的多媒体信 息，进而对采样点的多々某体服务质量进行评价。
进一步地，上述方法还可具有以下特点所述步骤(a)中多々某体数据 包标识号为编码后多媒体数据信息发送的序号。
进一步地，上述方法还可具有以下特点所述步骤(a)中多士某体信息 为数据包标识号对应的多媒体数据信息，或者从多媒体数据中提取的特征信 息，或者是多Jf某体数据压缩编码信息。
进一步地，上述方法还可具有以下特点所述参考点位于发送端，所述 步骤(b)中，参考点获得的发送端数据的完整副本是发送端传送到该参考 点的未编码的完整发射数据，该发送端同时将多々某体数据包标识号和对应的 多媒体信息的关联信息传送到该参考点。
进一步地，上迷方法还可具有以下特点所述参考点位于网络传输节点， 并与发送端建立可靠的连接，所述步骤(b)中，参考点接收发送端发送的 编码后的数据包，对其进行解码，并建立多媒体数据包标识号与对应的多媒 体信息之间的关联关系。
进一步地，上述方法还可具有以下特点所述数据包标识号与多媒体信 息之间的关联关系是由索引方式建立的。
进一步地，上述方法还可具有以下特点所述索引中的一条记录包括 RTP包号，随后是视频帧序号、宏块序号和位置，以及每个宏块的运动矢量； 或者，包括多个图像帧的序号、宏块的序号和位置，以及每个宏块的运动矢量。
进一步地，上述方法还可具有以下特点所述步骤(d)中对多媒体服
务质量的评价方法为根据采样点反馈的丟失数据包的标识号查找数据包标 识号与多媒体信息之间的关联关系，得到丢失的视频数据的位置，然后根据 该丢失位置估计出被监测的采样点的视频数据，再将其与参考视频数据进行 比较，就可以得到采样点的视频服务质量评价结果。
本发明提供的多^某体服务性能监测系统，包含发送端、接收端和中间网 络传输节点，在该系统中还包含参考点和釆样点，采样点位于任意需要进行 服务监测的网络节点，参考点和采样点之间存在双向通信通道，其中
参考点用于接收发送端发送的多媒体数据的完整副本，建立多媒体数据 包标识号与多媒体信息之间的关联关系并保存；在接收到采样点发来的丢失 数据包的序号后，查找保存的多媒体数据包标识号与对应的多媒体信息之间 的关联关系，得到对应的多^某体信息，进而对采样点的多士某体服务质量进行 评价；
采样点用于根据包标识号对接收的数据包进行排序，检测数据包的完整 性，如有数据包丟失，将其标识号反馈至参考点；
进一步地，上述系统还可具有以下特点所述参考点位于多々某体系统的 发送端，其获得的发送端数据的完整副本是发送端传送到该参考点的未编码 的完整发射数据，所述多媒体数据包标识号和对应的多媒体信息的关联信息 也是发射端传送到该参考点的。
进一步地，上述系统还可具有以下特点所述参考点位于中间的网络传 输节点，并与发送端建立可靠的连接，在接收发送端发送的编码后的数据包， 对其进行解码，并建立多媒体数据包标识号与对应的多媒体信息之间的关联 关系。
进一步地，上述系统还可具有以下特点所述参考点有一个或多个，每 个参考点和与其相连的一个或多个采样点构成一个监测子系统。
进一步地，上述系统还可具有以下特点所述参考点根据采样点反馈的 丢失数据包的标识号查找数据包标识号与多媒体信息之间的关联关系，得到 丢失的视频数据的位置，然后根据该丢失位置估计出被监测的采样点的视频
数据，再将其与参考视频数据进行比较，就可以得到采样点的视频服务质量 评价结果。
本发明所提供的一种多媒体服务性能监测的系统和方法， 一方面，能够 根据传输过程中的数据包状态信息对多々某体信息的传输质量进行监测，从而 避免了在被监测的接收端进行多媒体解码的处理过程，有利于数字版权管
理；另一方面，通过在服务器端建立发送的数据包号和多士某体数据之间的关 联关系，从而避免了在服务器端进行额外的多媒体解码过程，有利于在服务 器端对多个接收端进行多媒体服务性能监测。
图1是现有技术中一种多媒体服务性能监测系统示意图2是本发明基于反馈信息的多媒体服务性能监测系统示意图3是本发明多々某体服务性能监测方法流程图4是本发明一种数据包标识号与编码视频信息索引建立方法示意图。
具体实施例方式
下面以典型的多媒体视频服务性能的监测为例解释本发明的多媒体服 务性能监测的原理和实施方法，但是并不局限于该应用。
图2所示是本发明基于反馈信息的多媒体服务性能监测系统示意图。该 系统除包含发送端，网络节点和接收端外，还包含采样点和参考点。其中
所述参考点可以在多媒体系统的发送端(文中的"发送端"包含编码器 在内)，也可以在中间的网络传输节点位置。图1所示实例中包含一个参考 点，该参考点位于发送端，与相应的2个采样点间有双向通信通道。
所述参考点相当于图1中的多媒体服务性能监测服务器，或称为服务器 端。该服务器需要获得发送端发送的完整多媒体数据的副本，建立一个多媒 体数据包标识号与多媒体信息之间的关联关系(实施例是以索引方式建立 的，但本发明不局限于此)，并将该索引保存。所述参考点用于接收采样点发送过来的丟失数据包标识号反馈信息，根据该信息查找多^某体数据包标识 号与多媒体信息索引，得到相应的多媒体数据或特征等信息，从而对多媒体 服务性能进行监测，及对多々某体服务质量进行评价。
所述采样点可以在任意需要服务监测的网络节点位置。在图2的示例 中，分别在网络节点1和网络节点2位置建立采样点1和采样点2。
所述采样点为一装置，用于检测接收到的数据包标识号的完整性，判断
是否发生数据丢失，并将对应的丢失数据包标识号通过反馈信道发送至参考 占
图3是本发明多媒体服务性能监测方法流程图。多媒体数据在发送端被 打包，经过网络节点后，到达接收端。由于数据传送网络无法保证服务质量， 接收端得到的多媒体数据可能与发送端的数据不一致。如图2所示，发送端 到网络节点1之间和网络节点1到网络节点2之间都存在数据包丟失。为了 实现对对媒体视频服务性能的监测，本发明的一种实施方法步骤如下
步骤301:发送端对发送的数据进行复制并发送到参考点，参考点获得 发送端复制的完整的多媒体数据，建立多媒体数据包标识号与多媒体信息之 间的索引并保存；
本实施例中，参考点位于发送端(两者之间数据传送无需通过不可靠的 网络传输)，因此发送端可以直接将未编码的数据传送到该参考点，发送端 同时将发送的多媒体数据包标识号及相应多媒体信息传送到该参考点供其 建立索引。
在另一实施例中，当参考点位于网络传输节点时，该参考点可以与发送 端建立可靠的连接，接收发送端发送的编码后的数据包，对其进行解码，并 建立多媒体数据包标识号与多媒体信息之间的索引。该可靠连接可以是专用 传输通道，或者采用可靠传输协议，如TCP/IP协议的传输通道。
多媒体数据包标识号是编码后多媒体数据信息发送的序号，在RTP协
议中，数据包标识号是RTP包序号；在TCP/IP协议中，数据包标识号是IP 包序号；在H,324M协议中，数据包标识号是数据帧序号。
用于建立索引的多媒体信息包括数据包对应的多媒体数据信息，或者从
多媒体数据中提取的特征信息，或者多媒体数据压缩编码信息。
数据包标识号与多媒体信息之间的索引方法多种多样，例如，我们需要 监测视频服务质量，则建立数据包标识号和视频信息之间的索引，可以采取
图4所示的一种简单的数据包标识号与多士某体数据压缩编码信息索引建立 方法，但不局限于这种方法。该索引中的一条记录包括RTP包号，随后是 视频帧序号、宏块序号和位置，以及每个宏块的运动矢量。若一个RTP包 中有多个图像帧，则包括多个图像帧的序号、宏块的序号和位置，以及每个 宏块的运动矢量。
步骤302:每个采样点根据包标识号对相应网络传输节点接收的数据包 进行排序，检查数据包的完整性，若发生数据包丢失，将丢失的数据包的标 识号通过反馈信道发送至参考点；
在网络传输节点上只用检测数据包标识号的完整性，例如RTP包序号 的完整性，用来判断是否发生丢包。不需要在采样点对数据包进行多媒体解 码过程处理，只需对丢失的数据包的序号进行检测和处理，并将该错误信息 发送至参考点进行服务质量评价和监测。
由于不需要在采样点进行多媒体解码过程处理， 一方面提高了错误信息 检测的通用性，不涉及不同的多媒体编码标准，降低了采样点的实现复杂度； 另一方面提高了多媒体内容的数字版权管理可靠性，不需要在采样点进行解 密认证。
步骤303:参考点收到采样点返回的丢失数据包的标识号后，根据保存 的数据包标识号与多媒体信息之间的关联关系，得到对应的多媒体信息，如 多媒体数据、特征信息等，进而对采样点的多媒体服务质量进行评价。
在参考点对多士某体内容进行监测时，可以直接对数据包标识号与对应的 多媒体信息之间的索引进行检索，得到对应的媒体数据或者特征信息。因此 不需要再在参考点进行额外的多媒体解码，从而降低了资源消耗，有利于在 参考点对多个采样点的多媒体服务性能进行监测。
在图2中，参考点接收到采样点1和采样点2的数据包丟失反馈信息， 例如丢失的RTP包号。在参考点位置就可以根据错误反馈信息，不需要进 行视频解码处理，分别对采样点1和采样点2位置的视频服务质量进行评价。
对采样点1的视频服务质量评价方法是根据采样点1反馈的丢失的 RTP包号在预先建立的索引中检索出丢失视频数据的位置，然后根据丟失位 置估计出被监测的采样点1的视频数据，如将丢失位置的视频数据均置O或 其它值，或者用前一帧图像对应位置的数值填充，再将其与参考视频数据(即 发送端发送的视频数据)进行比较，就可以得到采样点1的视频服务质量评 价结果。
对采样点2的视频服务质量评价方法是根据采样点2反馈的丢失的 RTP包号在预先建立的索引中检索出丢失视频数据的位置，然后根据丢失位 置估计出被监测的采样点2的视频数据，再将其与参考视频数据进行比较， 就可以得到釆样点2的视频服务质量评价结果。
不过本发明并不将视频服务质量的评价方法局限于以上方式。如果服务 质量评价不需要将被监测的视频数据与发送端复制的参考视频数据进行比 较时，发送端也可以不复制发送的视频数据到参考点。
在另一实施例中，可以在系统中设置多个参考点，每个参考点与相应的 一个或多个采样点间建立通信通道。相当于构成了多组与上述实施例相同的 监测子系统。
权利要求
1、一种多媒体服务性能监测方法，应用于包括发送端、接收端和中间网络传输节点的系统，包含如下步骤(a)在系统中设置参考点和采样点，所述参考点应可获得发送端发送的多媒体数据的完整副本，所述采样点位于任意需要进行服务监测的网络节点，参考点和采样点之间存在双向通信通道；(b)参考点获得发送端数据的完整副本，建立多媒体数据包标识号与对应的多媒体信息之间的关联关系并保存；(c)采样点根据包标识号对接收的数据包进行排序，检测数据包的完整性，如有数据包丢失，将其标识号反馈至参考点；(d)参考点根据采样点返回的丢失数据包的标识号，查找保存的多媒体数据包标识号与对应的多媒体信息之间的关联关系，得到对应的多媒体信息，进而对采样点的多媒体服务质量进行评价。
2、 如权利要求l所述的方法，其特征在于所述步骤(a)中多媒体数 据包标识号为编码后多媒体数据信息发送的序号。
3、 如权利要求1或2所述的方法，其特征在于所述步骤(a)中多媒 体信息为数据包标识号对应的多^^某体数据信息，或者从多士某体数据中提取的 特征信息，或者是多媒体数据压缩编码信息。
4、 如权利要求l所述的方法，其特征在于所述参考点位于发送端， 所述步骤(b)中，参考点获得的发送端数据的完整副本是发送端传送到该 参考点的未编码的完整发射数据，该发送端同时将多媒体数据包标识号和对 应的多媒体信息的关联信息传送到该参考点。
5、 如权利要求l所述的方法，其特征在于所述参考点位于网络传输 节点，并与发送端建立可靠的连接，所述步骤(b)中，参考点接收发送端 发送的编码后的数据包，对其进行解码，并建立多媒体数据包标识号与对应 的多媒体信息之间的关联关系。
6、 如权利要求l所述的方法，其特征在于所述数据包标识号与多媒 体信息之间的关联关系是由索引方式建立的。
7、 如权利要求6所述的方法，其特征在于所述索引中的一条记录包 括RTP包号，随后是视频帧序号、宏块序号和位置，以及每个宏块的运动 矢量；或者，包括多个图像帧的序号、宏块的序号和位置，以及每个宏块的 运动矢量。
8、 如权利要求1所述的方法，其特征在于所述步骤(d)中对多媒体 服务质量的评价方法为根据采样点反馈的丢失数据包的标识号查找数据包 标识号与多媒体信息之间的关联关系，得到丟失的视频数据的位置，然后根 据该丟失位置估计出被监测的采样点的视频数据，再将其与参考视频数据进 行比较，就可以得到采样点的视频服务质量评价结果。
9、 一种多媒体服务性能监测系统，包含发送端、接收端和中间网络传 输节点，其特征在于在该系统中还包含参考点和采样点，采样点位于任意 需要进行服务监测的网络节点，参考点和采样点之间存在双向通信通道，其 中参考点用于接收发送端发送的多媒体数据的完整副本，建立多媒体数据 包标识号与多媒体信息之间的关联关系并保存；在接收到采样点发来的丢失 数据包的序号后，查找保存的多媒体数据包标识号与对应的多媒体信息之间 的关联关系，得到对应的多媒体信息，进而对采样点的多媒体服务质量进行 评价；采样点用于根据包标识号对接收的数据包进行排序，检测数据包的完整 性，如有数据包丟失，将其标识号反馈至参考点。
10、如权利要求9所述的系统，其特征在于所述参考点位于多媒体系 统的发送端，其获得的发送端数据的完整副本是发送端传送到该参考点的未 编码的完整发射数据，所述多媒体数据包标识号和对应的多媒体信息的关联 信息也是发射端传送到该参考点的。
11 、如权利要求9所述的系统，其特征在于所迷参考点位于中间的网 络传输节点，并与发送端建立可靠的连接，在接收发送端发送的编码后的数 据包，对其进行解码，并建立多媒体数据包标识号与对应的多媒体信息之间 的关联关系。
12、 如权利要求9所述的系统，其特征在于所述参考点有一个或多个， 每个参考点和与其相连的一个或多个采样点构成一个监测子系统。
13、 如权利要求9所述的系统，其特征在于所述参考点根据采样点反 馈的丟失数据包的标识号查找数据包标识号与多媒体信息之间的关联关系， 得到丢失的视频数据的位置，然后根据该丢失位置估计出被监测的采样点的 视频数据，再将其与参考视频数据进行比较，就可以得到采样点的视频服务 质量评价结杲。
全文摘要
一种多媒体服务性能监测方法和系统，包括发送端、接收端、中间网络传输节点、参考点和采样点，所述采样点位于任意需要进行服务监测的网络节点，参考点和采样点之间存在双向通信通道；参考点获得发送端数据的完整副本，建立多媒体数据包标识号与对应的多媒体信息之间的关联关系并保存；采样点根据包标识号对接收的数据包进行排序，检测数据包的完整性，如有数据包丢失，将其标识号反馈至参考点；参考点根据采样点返回的丢失数据包的标识号，查找保存的多媒体数据包标识号与对应的多媒体信息之间的关联关系，得到对应的多媒体信息，进而对采样点的多媒体服务质量进行评价。本发明可避免在被监测的接收端和服务器端进行额外的多媒体解码的处理过程。
文档编号H04L12/26GK101174995SQ20061013830
公开日2008年5月7日 申请日期2006年11月3日 优先权日2006年11月3日
发明者刘继年, 戴志军, 宁 王, 王志英, 睿 陈 申请人:中兴通讯股份有限公司