专利名称：一种视频通信中的视频码流错误检测和处理方法
技术领域：
本发明属于图像信息传输和处理领域，具体涉及视频码流错误检测。
技术背景随着有线宽带网络和无线网络的发展和用户需求的驱动，多媒体技术和相关的应 用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多媒体应用，尤 其是视频应用，相对于Internet的传统应用如MW、 E-mail等，其对实时性要求更 严，对带宽的需求更大。由于视频应用中大多采用了高压縮率的编码技术，其对传输 误码的要求尤为苛刻，但是有线或者无线网络不提供传输的QoS (Quality of Serverices)保证，因此提高视频应用对传输误码的抗干扰和恢复能力一直是多媒体 通信领域的研究热点。一种有效的视频抗差错处理就是根据网络信道的状况调整视频编码策略。在网络 状况较差时，例如信道比特错误率或者丢包率较大，可以增加编码过程中的冗余数据，或者采取容错性能更好但编码效率较低的视频编码策略；当网络状况较好时，例如信 道比特错误率或者丢包率较低，可以降低编码过程中的冗余数据量，或者采取编码效 率较高但容错性能较差的视频编码策略。这种视频抗差错方法的一个重要特征是需要得到网络状况或者解码端解码图像状 态的反馈信息，然后根据反馈信息调整编码策略。但是在实际的通信系统中，从解码 器的反馈解码状态信息到编码端存在时延。若时延较大，编码端接收到错误反馈信息 时，错误图像已经在解码器端扩散较长时间，对用户造成明显的视觉体验下降。而且 在这种情况下，编码端的容错处理能力会发生明显下降。如图1所示为典型的无线视频通信系统，终端与BTS/BSC/RNC之间是通过无线连 接传输数据，BTS/BSC/RNC之间的连接则是通过有线连接，包括核心网或者软交换网 络，以及核心网上的媒体网关等网络节点设备。由于现有的有线网络或者无线网络都 无法保证服务质量，在进行数据传输时，数据会发生丢失，因此无法保证接收端正确 接收到发送端的数据。造成接收端无法接收到正确数据的原因有两方面， 一是物理信 道发生错误，数据在传输过程中受损。 一般来说无线网络环境下发生物理信道错误的 概率远大于有线网络环境，如图l所示的典型无线视频通信系统中，A和B两处是最 容易发生数据丢失的位置。二是信道拥塞引起的数据丢失，当大量数据要在短时间内 通过网络发送到远端时，有限的带宽造成数据无法正确发送。在传统的视频错误检测及错误恢复方法中，只有在接收端接收到视频码流数据后 才能发现错误，然后将错误信息通过反馈信道传送到发送端，在发送端采取相应的容 错处理措施。这种错误检测和处理方法的缺点是容错处理措施的性能受到网络反馈时 延的影响较大，当反馈时延较小时，容错处理方法简单，而且能够很快的在接收端对 错误信息进行恢复；当反馈时延较大时，容错处理方法复杂，而且在接收端需要有较 长时间的才能对错误信息进行恢复。如图2所示，在传统的视频码流错误检测和处理方法中，终端l进行图像编码， 经过时间K到达BTS/BSC/RNC 1，然后在核心网/NGN中传输，经过时间K到达 BTS/BSC/RNC 2，最后经过时间T，将编码视频码流发送到终端2。因此视频码流从终 端1发送到终端2的时间为r=r,+ 7;+7,。当视频码流数据在传送过程中发生数据丢 失时，例如在终端1到BTS/BSC/RNC 1的传送过程中发生信道错误或者信道拥塞造成 视频码流出错，在中间的网络节点设备上没有进行数据完整性检测，只有到了终端2 进行视频解码时才检测到视频码流错误，此时已经过了 7^7^+7i+7i时间。然后终端 2将检测到的错误通过反馈信道将错误信息传送到终端1又要经过相同的信道传送。 为了方便起见，假设反馈信道的路径和条件与发送数据的信道路径和条件相同，因此反馈错误信息又要经历r= 7;十7^+ 7i时间。在这种情况下，从视频码流数据发生错误到到终端i对错误信息作出响应需要的 时间为2x(7;+;^+力)。终端2接收到经过容错处理后的视频码流，对错误图像进行 恢复处理，最终时刻是3X (7,+ K+r》。发明内容本发明所要解决的技术问题是针对视频通信过程中由于信道错误和信道拥塞引起 的数据丢失或者受损造成的解码图像质量下降问题，提供一种视频通信过程中的视频 码流错误检测方法，能够快速检测到传输过程中的数据丢失，从而可以设法在较短的 反馈时延内进行错误恢复。本发明一种视频通信中的视频码流错误检测和处理方法，包括以下步骤 第一歩，对正在编码的码流建立发送数据标识号与对应的编码图像信息之间的索引；第二步，在网络传输节点上检测发送数据标识号的完整性，发现有数据丢失，将 对应的错误数据标识号通过反馈信道传递到视频编码端；第三步，视频编码端根据从反馈信道接收的发送数据标识号，检索出对应的图像编码信息；第四步，编码端根据检索出的对应的图像编码信息，釆取容错编码或者对出错数据进行重传。上述第一步中的发送数据标识号可以是编码后图像数据信息发送的序号，在RTP 协议中，发送数据标识号是RTP包序号；在TCP/IP协议中，发送数据标识号是IP包 序号；在H.324M协议中，发送数据标识号是数据帧序号。编码图像信息是编码图像 帧信息和/或编码区域位置信息；编码图像帧可能是一帧或者多帧图像的序号；编码 区域位置是图像块位置序号或图像象素位置序号。所述检测发送数据标识号的完整性是检测数据标识号是否连续。所述第二步中的网络传输节点是基站收发信机/基站控制器/无线网络控制器、媒 体网关或服务器。本发明在不同的网络节点上检测或者监听接收视频数据包的信息，判断是否发生 数据错误，并对将错误数据包信息反馈至发送端进行相应的处理。该错误检测方法可 以在较小的反馈时延内发现错误，并对出错视频码流进行错误恢复处理，从而以最快 的速度恢复视频解码端的受损图像质量，对视频传输误码和视频传输丢包有很强的抗千扰能力和恢复能力。
图1为典型的无线视频通信系统图；图2为现有技术中的错误检测和处理方法图；图3为本发明的一种实施方式示意图；图4为本发明的另一种实施方式示意图。
具体实施方式
本发明提出了一种基于数据索引的快速错误检测和处理方法。如图3和图4，在终端l进行编码时，建立数据发送包号与编码图像信息之间的 索引。在进行一帧图像编码时，图像上的部分区域或者全部区域被编码成一个数据包， 然后将这个数据包发送到接收端。这个数据包与图像的帧号和图像中的对应编码区域 存在对应关系。在建立数据发送包号与编码图像信息之间索引时，发送包号可以是RTP包号、数据帧号，或者其它可以计算出RTP包号和数据帧号的编码信息。为了方便， 本说明书后面以RTP包序号为例表示发送数据标识号，但不限于RTP包序号。编码图 像信息包括图像帧号和对应的宏块位置信息，或者其它可以计算出图像帧号或者宏块 位置的编码信息。为了方便，本说明书后面都以编码图像帧号和宏块位置表示编码图 像信息，但不限于编码图像帧号和宏块位置。在数据传送的过程中，进行RTP包序号的检测，判断是否发生数据丢失。若发生 数据丢失，将丢失的数据包号或者数据帧号通过反馈信道传送到编码端。检测数据包 号或者数据帧号的位置可以是BTS/BSC/RNC1、 BTS/BSC/RNC 2、媒体网关、服务器或 者其它网络节点设备。 一种常见的检测RTP包序号是否正确的方法是判断RTP包序号 是否连续，若不连续表示不连续的序号对应的RTP包丢失。检测RTP包序号是否正确 的方法多种多样，在此仅以RTP包是按照顺序编号是进行说明，但不局限与这种方法。终端1在接收到从反馈信道获取的数据包号或者数据帧号后，根据编码存储的数 据发送包号与编码图像信息之间的索引找到对应的编码图像帧号和宏块位置，及丢失 数据的图像帧号和宏块位置。终端1根据丢失数据的图像帧号和宏块位置进行容错编码，或者对出错数据进行 重传，从而可以对解码端的错误进行恢复。下面对图3和图4所示的两种实施方式进行说明。如图3:1、 终端l对图像进行编码，并建立RTP包序号与编码图像帧号和宏块位置之间 的索引。此时，从终端l发出的是正确的视频码流。假设此时时刻为0。2、 当终端1与BTS/BSC/RNC 1之间的发生信道错误或者信道拥塞导致数据丢失 时，经过7:时间后，在BTS/BSC/RNC 1位置可以检测到RTP包序号的不正确。此时时 刻为&3、 错误视频码流继续发送到终端2。终端2对接收的视频码流进行解码，解码图 像出现错误。此时时刻为"+K+^。4、 若假设反馈信道的路径和条件与发送数据的信道路径和条件相同，不正确的 RTP包序号通过反馈信道传送到终端1需要经过T,时间。终端1根据RTP包序号与编 码图像帧号和宏块位置之间的索引中找到对应的编码图像帧号和宏块位置信息。然后 根据对应的编码图像信息进行容错编码。容错编码方法包括但不限于参考帧选择、错 误跟踪或者帧内更新等技术。此时时刻为2x7;。5、终端1将容错编码后的视频码流发送到终端2，终端2的解码器进行视频解码， 错误图像被恢复。此时时刻为2x T,+ 7;+ 7:,。如图4:1、 终端l对图像进行编码，并建立RTP包序号与编码图像帧号和宏块位置之间 的索引。此时，从终端l发出的是正确的视频码流。假设此时时刻为0。2、 当终端1与BTS/BSC/RNC 1之间的发生信道错误或者信道拥塞导致数据丢失 时，经过7;时间后，在BTS/BSC/RNC1位置可以检测到RTP包序号的不正确。此时时刻为t;。3、 错误视频码流不发送到终端2。终端2无法接收视频码流进行解码，视频解码 画面被冻结。此时时刻为r;+7H"7i。4、 若假设反馈信道的路径和条件与发送数据的信道路径和条件相同，不正确的 RTP包序号通过反馈信道传送到终端1需要经过7}时间。终端1根据RTP包序号与编 码图像帧号和宏块位置之间的索引中找到对应的编码图像帧号和宏块位置信息。然后 根据对应的编码图像信息进行容错编码或者重传数据。容错编码方法包括但不限于参 考帧选择、错误跟踪或者帧内更新等技术。此时时刻为2x"。5、 终端1将经过容错编码或者重传的视频码流发送到终端2,终端2的解码器进行视频解码，冻结图像被恢复。此时时刻为2x/;+7;+:^+7;。在本发明的实施中，建立发送数据标识号与编码图像信息之间的索引方法多种多 样， 一种简单的发送数据标识号与编码图像信息索引建立方法为，索引中的一条包括RTP包号，随后是图像帧序号以及宏块的起始位置。若一个RTP包中有多个图像帧， 则包括多个图像帧的序号以及宏块的起始位置。
权利要求
1、一种视频通信中的视频码流错误检测和处理方法，包括以下步骤第一步，对正在编码的码流建立发送数据标识号与对应的编码图像信息之间的索引；第二步，在网络传输节点上检测发送数据标识号的完整性，发现有数据丢失，将对应的错误数据标识号通过反馈信道传递到视频编码端；第三步，视频编码端根据从反馈信道接收的发送数据标识号，检索出对应的图像编码信息；第四步，编码端根据检索出的对应的图像编码信息，采取容错编码或者对出错数据进行重传。
2、 权利要求l所述的视频通信中的视频码流错误检测和处理方法，其特征在于， 所述第一步中的发送数据标识号是编码后图像数据信息发送的序号；编码图像信息是 编码图像帧信息和/或编码区域位置信息。
3、 权利要求2所述的视频通信中的视频码流错误检测和处理方法，其特征在于， 在RTP协议中，发送数据标识号是RTP包序号；在TCP/IP协议中，发送数据标识号是IP包序号；在H.324M协议中，发送数据标识号是数据帧序号；编码图像帧可能是一帧或者多帧图像的序号；编码区域位置是图像块位置序号或图像象素位置序号。
4、 权利要求3所述的视频通信中的视频码流错误检测和处理方法，其特征在于， 所述检测发送数据标识号的完整性是检测数据标识号是否连续。
5、 权利要求1至4任一权利要求所述的视频通信中的视频码流错误检测和处理方 法，其特征在于，所述第二步中的网络传输节点是基站收发信机/基站控制器/无线网 络控制器、媒体网关或服务器。
全文摘要
一种视频通信中的视频码流错误检测和处理方法，对正在编码的码流建立发送数据标识号与对应的编码图像信息之间的索引；在网络传输节点上检测发送数据标识号的完整性，发现有数据丢失，将对应的错误数据标识号通过反馈信道传递到视频编码端；视频编码端根据从反馈信道接收的发送数据标识号，检索出对应的图像编码信息；编码端根据检索出的对应的图像编码信息，采取容错编码或者对出错数据进行重传。本发明可以在较小的反馈时延内发现错误，并对出错视频码流进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量，对视频传输误码和视频传输丢包有很强的抗干扰能力和恢复能力。
文档编号H04N7/64GK101155311SQ20061006285
公开日2008年4月2日 申请日期2006年9月27日 优先权日2006年9月27日
发明者戴志军, 宁 王, 王志英, 睿 陈 申请人:中兴通讯股份有限公司