基于反馈的自适应错误恢复装置、视频通信系统和方法

专利名称：基于反馈的自适应错误恢复装置、视频通信系统和方法
技术领域：
本发明涉及图像信息传输和处理领域，具体涉及一种自适应的、具有抗 信道错误的视频通信系统和方法，以及其中的错误恢复装置和方法。
背景技术：
随着有线宽带网络和无线网络的发展和用户需求的驱动，多媒体技术和 相关的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之
一。多i某体应用，尤其是-见频应用，相对于Internet的传统应用，如WWW、 E-mail等，其对实时性要求更严格，对带宽的需求更大。由于视频应用中大 多采用了高压缩率的编码技术，其对传输误码的要求尤为苛刻，但是有线或 者无线网络不提供传输的QoS (QualityofServices)保证，因此，提高视频 应用对传输误码的抗干扰和恢复能力 一直是多4某体通信领域的研究热点。
常用的视频传输抗差错方法包括①在编码器端进行冗余编码，使编码 码流对信道错误具有更强的抗千扰能力；②在信道传输过程中加入冗余数 据，例如前向纠错，提高传输数据对信道错误的抗干扰能力；③在解码器端 进行错误隐蔽后处理，尽可能恢复出由于信道错误引起的受损数据。方法① 和方法②都会造成数据冗余，增加对传输带宽的要求，特别是在信道状况较 好时占用不必要的传输带宽；方法③虽然不会增加传输冗余数据，但是对信 '道错误的抗干扰能力有限，特别是对无线信道传输条件下的高比特错误和突 发性错误无能为力。
因此，交互式的视频抗差错处理一一根据网络信道的状况调整编码策略 或者传输策略一一是一种有效的自适应视频通信方法。在网络状况较差时， 例如信道比特错误率或者丢包率较大时，可以增加编码或者传输过程中的冗 余数据；当网络状况较好时，例如信道比特错误率或者丢包率较低，可以降 低编码或者传输过程中的冗余数据。
这种交互式的视频抗差错方法的一个重要特征是需要得到网络状况或 者解码端解码图像状态的反馈信息，然后根据反馈信息调整编码或者传输策 略。但是在实际的通信系统中，从解码器的反馈解码状态信息到编码端存在 时延，时延的大小与网络状况有关。若时延较大，编码端接收到错误反馈信 息时，错误图像已经在解码器端扩散较长时间，对用户造成明显的视觉体验 下降。而且在这种情况下，编码端的容错处理能力会发生明显下降。

发明内容
本发明所要解决的技术问题在于，提供一种基于反馈的自适应错误恢复 装置、视频通信系统和方法，能够快速接收错误视频反馈信息，在较短的反 馈时延内进行错误恢复。
本发明提供一种基于反馈的自适应错误恢复装置，包括数据接收模块、
错误信息处理模块、错误补偿模块及控制模块，其中
数据接收模块，用于接收正常数据流，并对数据进行緩存；错误信息处 理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈 信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有 检测到错误信息，则控制所述数据接收模块直接将緩存数据输出；若发生错 误或者检测到错误信息，则控制所述数据接收模块将所緩存数据送至错误补 偿模块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补 偿模块根据错误信息对待输出的下一个数据包进行错误补偿后输出。
其中，所述错误补偿模块，进行错误补偿时是对接收的视频码流解码， 然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I 帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧。
其中，所述错误补偿模块，进行错误补偿时是在变换域对即将发送的数 据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错误恢 复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟踪或 者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域； 对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的 码流。
所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中，错误 扩散区域以发生错误之前的第N - 1帧作为参考帧进行重新编码，阻止错误 扩散。
所述错误信息处理模块发送至错误补偿模块的错误信息包括从反馈信 道获得的错误信息、以及根据错误信息从緩存数据中提取的数据错误信息， 其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。
本发明还提供一种基于上述错误恢复装置的自适应错误恢复方法，包括
如下步骤
(1)数据接收模块接收正常数据流，并对数据进行緩存；
(2 )错误信息处理模块对緩存的数据进行检测，同时检测反馈信道是 否存在错误信息；
(3) 控制模块接收检测结果，若检测到緩存数据有错或者检测到反馈 信道发送了错误信息，则进行启动错误补偿模块；
(4) 控制模块指示错误信息处理模块将错误信息送至错误补偿模块， 数据接收模块将緩存数据送至错误补偿模块，错误补偿模块根据错误信息及 緩存数据，对待输出的下一个数据包进行错误补偿后输出。
其中，步骤(3)进一步包括
若没有检测到緩存数据有错，而且没有检测到反馈信道发送了错误信 息，则指示数据接收模块直接将緩存数据发送至下一网络节点或者终端接收 设备。
步骤(4)中错误补偿模块进行错误补偿的步骤包括
对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容 错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或 发送冗余帧。
步骤(4)中错误补偿模块进行错误补偿的步骤是在变换域对即将发送 的数据码流进行错误补偿，包括如下步骤
在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数 据帧；
根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，
对错误进行跟踪，找到待发送的数据帧的错误扩散区域；
对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编 码的码流。其中，所述对待发送的数据帧中错误扩散宏块区域进行跳帧转码
处理步骤，是在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散。
本发明还提供一种基于反馈的自适应视频通信系统，包括发送侧终端、 第一、第二无线接入设备、第一、第二i某体网关、核心网、接收侧终端，发
送侧终端编码无线输出数据码流，经第一无线接入设备、第一媒体网关、核 心网、第二媒体网关、第二无线接入设备传输至接收侧终端，由其无线接收 所述数据码流，其中
所述无线接入设备或媒体网关中具有一个错误恢复装置，对数据流进行 错误检测及错误补偿处理；
所述错误恢复装置，在发送侧终端与第一无线接入设备之间的无线连接 上发生信道错误时，用于将错误信息送回发送侧终端，发送侧终端根据错误 信息对即将发送的数据采取容错编码策略后编码输出，或者发送侧终端将错 误数据重发至第一无线接入设备或第一媒体网关，该错误恢复装置对错误数 据进行错误补偿处理后输出；
所述错误恢复装置，在接收侧终端与第二无线接入设备之间的无线连接 上发生信道错误时，用于检测错误信息，对错误数据进行错误补偿后输出至 接收侧终端，或者在接收侧终端检测到错误信息、将错误信息反馈至该错误 恢复装之后，该错误恢复装置对数据码流进行错误补偿后输出至接收侧终端。
所述错误恢复装置包括数据接收模块、错误信息处理模块、错误补偿模 块及控制模块，其中
数据接收模块，用于接收正常数据流，并对数据进行緩存；错误信息处
理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈
信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有 错误信息，则控制所述数据接收模块直接将緩存数据输出；若发生错误或者 检测到错误信息，则控制所述数据接收模块将所緩存数据送至错误补偿模 块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补偿模 块根据错误信息对待输出的下一个数据包进行错误补偿后输出。
所述错误补偿模块，在进行错误补偿时，是对接收的视频码流解码，然 后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧 更新、或宏块帧内更新、或参考帧选择、或发送冗余帧；
或者，所述错误补偿模块，在进行错误补偿时，是在变换域对即将发送 的数据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错 误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟 踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散 区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新 编码的码流；
其中，所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中， 错误扩散区域以发生错误之前的第N - 1帧作为参考帧进行重新编码，阻止 错误扩散；所述错误信息处理模块发送至错误补偿模块的错误信息包括从反 馈信道获得的错误信息、以及根据错误信息从緩存数据中提取的数据错误信 息，其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。
所述无线接入设备包括基站BTS和基站控制器BSC/RNC。
本发明进一步还一种基于上述自适应视频通信系统的基于反馈的自适 应错误恢复方法，在邻近发送侧终端的无线连接发生信道错误时进行错误恢 复，包括如下步骤
(1 )错误恢复装置检测数据码流，检测到数据出错后，利用反馈信道 将错误信息发送至发送侧终端；
(2)发送侧终端根据错误信息，查找出错的数据包，并重传该数据包，
并将当前待发送的下一数据帧发送至错误恢复装置；
(3 )错误恢复装置对所接收的所述待发送的下一数据帧进行错误补偿 处理，对由重传数据包对应的数据帧造成的错误扩散进行补偿，恢复出无错 误的视频码流数据，进行输出。
步骤(1)中所述错误信息包括丢失的数据包号或数据帧号。
本发明还提供一种基于上述自适应视频通信系统的基于反馈的自适应 错误恢复方法，在邻近接收侧终端的无线连接发生信道错误时进行错误恢 复，包括如下步骤
(1) 接收側终端检测到错误信息时，将信道错误信息反馈至无线接收 设备或媒体网关上的错误恢复装置；
(2) 错误恢复装置根据错误信息查找错误信息对应的数据，对当前待 发送的数据帧进行错误补偿处理，对错误信息对应的数据帧造成的错误扩散 进行补偿，恢复出无错误的视频数据码流。
其中，所述错误信息包括出错的数据包号、数据帧号、对应的图像帧号、 对应的宏块号、解码器使用的错误隐蔽方法。
应用本发明提出的错误恢复装置，在包括该错误恢复装置的视频通信系 统中，该错误恢复装置可以放置在不同的网络节点上，包括BTS/BSC/RNC 或者媒体网关等；可以在不同的网络节点上检测或者接收视频数据错误信 息，并对错误信息做出相应的处理；可以在较小的反馈时延内进行错误恢复 处理，从而以最快的速度恢复视频解码端的受损图像质量；可以将需要较大 计算资源的容错处理操作与终端的编码/解码分离，降低终端的计算资源需 求。


图l是典型无线视频通信系统的结构示意图2是本发明实施例中的错误恢复装置的组成示意图3是本发明实施例中在邻近发送端连接发生信道错误的示意图4是本发明实施例中在邻近发送端连接发生信道错误时的一种错误 恢复流程示意图5是本发明实施例中在邻近接收端连接发生信道错误的示意图6是本发明实施例中在邻近接收端连接发生信道错误时的一种错误 恢复流程示意图7是本发明实施例中错误恢复装置中，错误补偿模块在变换域对即将 发送的码流进行错误补偿的流程示意图。
具体实施例方式
下面结合附图及具体实施例对本发明作进一步详细描述。
如图l所示，在典型的无线视频通信系统中，终端与BTS/BSC/RNC之 间是通过无线连接传输数据，BTS/BSC/RNC之间的连接则是通过有线连接， 包括核心网或者软交换网络，以及核心网上的媒体网关等网络节点设备。在 进行数据传输时，无线网络发生信道错误的概率远大于有线网络。因此，在 图1所示的典型无线视频通信系统中，无线连接是造成数据丢失的主要部 分，例如图1中的A和B两处是最容易发生数据丟失的位置。
本发明所提供的解决方法，是在BTS/BSC/RNC或者4某体网关处引入一 个新的设备一一如图2所示的错误恢复装置。该错误恢复装置能够从反馈信 道中获取视频图像的错误信息，并利用已经接收的正确视频码流进行错误恢 复处理。
图2中，该错误恢复装置包括错误信息处理模块、数据接收模块、错误 补偿模块，以及一个控制模块，其中
错误信息处理模块，用于在接收到从反馈信道获取的错误信息后，提取 出对应的视频帧错误信息，例如图像帧号、错误宏块(Macro Block)位置、 解码器端错误隐蔽算法等。
数据接收模块，用于将接收的数据流进行緩存。
控制模块接收错误信息处理模块的检测结果，若反馈信息中不包含错误
信息，表明解码端没有发生数据丢失，此时，可以控制数据接收^t块直接将
待发送数据包的输出；若检测到反馈信息中包含错误视频帧信息，表明解码
端发现数据丟失，不能正常解码，此时可以启动错误补偿模块，控制数据接 收模块、错误信息处理模块分别将緩存的数据、错误检测信息送至错误补偿 模块，由错误补偿;f莫块对待输出的下一个数据包进行错误补偿后输出。
错误信息处理模块，还可以检测接收到的緩存数据是否发生错误，如杲 检测到错误，则将控制模块启动错误补偿模块对待输出的下一个数据包进行 错误补偿后输出。
错误补偿模块，根据错误信息对待输出的下一个数据包进行错误补偿后输出。
上述的数据接收、错误信息处理、错误补偿三个模块在不同条件下需要
使用的功能不一样。在没有检测到错误的情况下，错误补偿模块不工作；而 在检测到错误的情况下，三个模块都要工作，控制模块则协调前面三个模块 之间的工作流程。
该错误恢复装置可以设置在不同的网络节点上，包括基站(BTS)、基站 控制器(BSC/RNC)、 i某体网关、个人计算机或者服务器。
下面以典型的单向视频电话业务为例，来解释本发明的错误恢复装置的 功能和实施方法，但是并不局限于该应用。
如图1所示，终端1将接收到的视频源数据进行编码，发送到邻近的 BTS/BSC/RNC 1,然后由BTS/BSC/RNC 1通过核心网或者软交换网络将编 码数据发送到接收端邻近的BTS/BSC/RNC 2，最后由终端2对从 BTS/BSC/RNC 2接收的数据进行解码，并显示视频图像。在数据传输的过 程中，可能需要经过媒体网关进行数据格式转换或者其它数据处理操作。
由于无线连接是最有可能发生信道错误的部分，因此，本发明提出的错 误恢复装置可以放置在邻近无线连接A或者无线连接B的位置。其中，在 邻近无线连接A的位置是用于处理终端1的上行连接信道错误，在邻近无 线连接B的位置用于处理终端2的下行连接信道错误。下面对这两种情况
分别进行介绍。
在邻近发送端连接发生信道错误时，例如囝3中终端1编码的视频码流
在发送至BTS/BSC/RNC 1时发生信道错误，部分一见频码流数据不能正确到 达BTS/BSC/RNC 1。此时，可以在BTS/BSC/RNC 1或者媒体网关1处放置 错误恢复装置，错误恢复装置的错误信息处理模块可以检测接收的视频码流 数据是否发生错误，并将错误信息通过反馈信道发送至终端1。再由终端1 根据接收的反馈信道错误信息对即将发送的编码视频码流进行容错处理。此 时，错误恢复装置的错误补偿模块不启动。
在这种情况下，上行连接信道错误被及时反馈至编码端，编码端可以在 最短的反馈时延内作出相应处理。
在邻近发送端连接发生信道错误时， 一种错误恢复装置的处理方法是在 BTS/BSC/RNC 1或者々某体网关1处进行错误检测，并将错误信息，例如丢 失RTP包号或者数据帧号，送回至终端1。在终端1根据接收的RTP包号 或者数据帧号找到对应的视频图像位置，然后在编码端对即将编码的图像采 取容错编码策略，例如帧内更新、错误跟踪、参考帧选择、发送冗余码流等。 在这种情况下，在BTS/BSC/RNC 1或者媒体网关1处已经接收的错误视频 码流数据将继续送到下一个网络节点或者终端，此时，这些数据在终端2不 能正常解码，在解码图像上产生马赛克或者拖影等瑕疵。但是在检测到信道 错误之后接收的视频码流数据，则是在终端1进行了容错处理的编码数据， 能够阻止错误信息在视频图像序列上的扩散，恢复正常图像。终端1进行容 错后，直接发送带有容错信息的下一帧数据，例如，如果不进行容错，发送 的数据为data[N + M〗(表示第N + M帧数据)，容错处理后还是第N+M帧 数据，但不是data[N + M]，而是data，[N + M]。
这种处理方法的优点是能够在终端1采取有效的容错编码方法对错误 信息进行处理，错误恢复能力很好，但是需要终端l有较大的緩存和较高的 计算能力。
在邻近发送端连接发生信道错误时，错误恢复装置的另 一种处理方法是
在BTS/BSC/RNC 1或者媒体网关1处进行错误检测，并将错误信息，例如 丢失RTP包号或者数据帧号，送回至终端1。在终端1根据接收的RTP包 号或者数据帧号将错误数据重发至BTS/BSC/RNC l或者媒体网关l。然后 在BTS/BSC/RNC 1或者媒体网关1处的错误恢复装置进行错误补偿处理。 此时，在错误恢复装置的数据接收模块中存储的码流包括检测到信道错误之 前接收到的数据包(有错视频码流)、检测到错误之后重发的错误数据包和 即将发送的下一个视频数据包。参照图3、图4,此时的错误恢复处理方法， 包括
(1 )错误恢复装置在接收的第N帧图像中检测到数据出错。为了不影 响编码视频码流的正常传输，第N帧的错误数据仍然被发送到下一网络节点。
(2) 错误恢复装置在检测到数据出错后，立即通过反馈信道将出错数 据包号或者数据帧号发送到终端1。
(3) 终端1根据数据包号或者数据帧号，查找对应的丟失或者错误数 据，并重传该数据包。
(4 )终端1将下一帧(第N + M帧)准备发送的视频图像包含的数据 包或者数据帧发送到错误恢复装置。
(5 )错误恢复装置在接收到重传数据时，已经发送了第N + M - 1帧图 像包含的所有数据包。下一帧准备发送的图像是第N + M帧。
(6 )错误恢复装置对第N + M帧图像进行错误补偿处理，对由第N帧 图像数据出错造成的错误扩散进行补偿，恢复出无错误的视频码流数据。
其中，终端重发第N帧的出错数据时， 一并发送第N+M帧到错误恢复 装置，在错误恢复装置对第N+M帧进行错误补偿后输出该帧，而在第N+M 帧之前的数据则不必纠错，而仅保证之后的数据能构得到纠错，从而达到阻 止第N帧错误扩散的目的。发送端重发时，只要将第N帧的出错数据发送 给错误恢复装置就可以而不必进行容错处理，此时错误恢复装置的错误补偿 模块需要启动。
这种错误恢复方法的优点在于(1 )终端1与错误恢复装置之间的反馈时间很短，可以对信道错误作
出快速反应，发送冗余数据或者错误修复数据；
(2) 生成冗余数据或者错误修复数据不会影响终端1的正常编码流程， 因此，不会给终端造成太大的计算压力，此时并没有进行实质性的容错编码；
(3) 真正的容错编码，即需要较大计算资源的部分，放在错误恢复装 置处进行处理；
(4) 错误恢复装置发送的错误补偿后数据已经把所有或者大部分由于 信道错误引起的错误扩散阻止，而且不会影响后续编码码流的正常解码。
在邻近接收端连接发生错误时，例如图5中终端2在接收从 BTS/BSC/RNC 2发送的编码视频码流时发生信道错误，部分视频码流数据 不能正确到达终端2。此时可以在BTS/BSC/RNC 2或者々某体网关2处放置 错误恢复装置，错误恢复装置的错误信息接收模块可以接收从反馈信道获取 解码端错误信息，并在该装置所在位置进行错误恢复处理。
在邻近接收端连接发生信道错误时， 一种错误恢复装置的处理方法是
在终端2处进行错误检测，将检测到的信道错误信息，例如受损数据包、 受损图像帧号、受损宏块位置等，反馈至BTS/BSC/RNC 2或者媒体网关2 处的错误恢复装置；然后，在BTS/BSC/RNC 2或者媒体网关2处的错误恢 复装置处对码流数据进行错误补偿处理。
此时，在错误恢复装置的数据接收模块中存储的码流包括检测到信道错 误之前接收到的数据包(正确接收的视频码流)和即将发送的下一个视频数 据包。
如图6所示，此时的错误恢复处理方法，包括
(1 )终端2在进行解码时检测到第N帧图像的数据出错。为了不影响 视频码流的正常播放，第N帧图像的错误数据仍然被解码显示。
(2 )终端2在检测到第N帧图像出错后，立即将出错信息通过反馈信 道发送到错误恢复装置，错误信息包括出错的数据包号、数据帧号、对应的 图像帧号、对应的宏块号、解码器使用的错误隐蔽方法等。(3) 错误恢复装置在接收到反馈信息时，已经发送了第N + M- 1帧图 像的所有数据包或者数据帧。下一帧准备发送的图像是第N + M帧。
(4) 错误恢复装置根据反馈的出错信息，查找对应的丢失或者错误数据。
(5) 错误恢复装置对第N + M帧图像进行错误补偿处理，对由第N帧 图像数据出错造成的错误扩散进行补偿，恢复出无错误的视频码流数据。
这种错误恢复方法的优点在于
(1 )终端2与错误恢复装置之间的反馈时间很短，可以对信道错误作 出快速反应，将错误信息反馈到错误恢复装置；
(2) 终端2的解码过程不受到信道错误的影响，如有需要可以对发生 错误的第N帧图像进行错误隐蔽后处理，在接收到第N + M帧图像的码流 时，由于第N帧图像出错造成的错误扩散会被阻止；
(3) 错误补偿处理，即需要较大计算资源的部分，放在错误恢复装置 处进行处理；
(4) 错误恢复装置发送的错误补偿后数据已经把所有或者大部分由于 信道错误引起的错误扩散阻止，而且不会影响后续编码码流的正常解码；
错误恢复装置中的错误补偿模块的一种常见方法，是对接收的视频码流 解码，然后进行重新编码。在重新编码过程中进行容错处理，例如I帧更新、 宏块帧内更新、参考帧选择、发送冗余帧等。但是这种重新编码方法需要实 时保持对接收码流的解码处理，占用大量的计算资源。
错误恢复装置中的错误补偿模块的另外一种实施方法，是不进行重新编 码操作，而是在变换域对即将发送的码流进行错误补偿。
下面结合图7说明该方法的实施步骤
(1 )错误恢复装置得到第N帧图像出错的信息(第N帧中的阴影部分), 其中第N帧图像为预测编码帧，它会造成错误在已经发送的第N+1帧图像 扩散(第N+l帧中的半阴影部分)。错误恢复装置准备发送的是第N + 2 帧图像。
(2) 根据接收的错误信息位置，对错误进行跟踪，错误跟踪方法可以
采取基于象素的跟踪或者基于宏块的跟踪，找到第N + 2帧图像错误扩散区 域(第N + 2帧中半阴影部分)。
(3) 对第N + 2帧图像中错误扩散宏块区域进行跳帧转码处理，得到 重新编码的码流。在重新编码的码流中，错误扩散区域不再以第N+1帧的 图像作为参考帧，而是以第N-1帧作为参考帧，从而可以阻止错误扩散。
但是，由于系统是RTP实时系统，从第N帧开始出错，直到第N + M 帧为止，其间的错误帧不能恢复。
视频通信过程中的信道错误是造成终端解码的视频图像下降的主要原 因，对于无线信道而言信道错误更加严重，在出错时的解码图像质量退化更 加严重。
本发明针对视频通信过程中由于信道错误引起的数据丟失或者受损造 成的解码图像质量下降问题，提出了一种错误恢复装置。该错误恢复装置可 以放置在不同的网络节点上，包括BTS/BSC/RNC或者媒体网关等。该错误 恢复装置可以在不同的网络节点上检测或者接收视频数据错误信息，并对错 误信息做出相应的处理。该错误恢复装置可以在较小的反馈时延内进行错误 恢复处理，从而以最快的速度恢复视频解码端的受损图像质量。该错误恢复 装置及方法可以将需要较大计算资源的容错处理操作与终端的编码/解码分 离，降低终端的计算资源需求。
权利要求
1、一种基于反馈的自适应错误恢复装置，其特征在于，包括数据接收模块、错误信息处理模块、错误补偿模块及控制模块，其中数据接收模块，用于接收正常数据流，并对数据进行缓存；错误信息处理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有检测到错误信息，则控制所述数据接收模块直接将缓存数据输出；若发生错误或者检测到错误信息，则控制所述数据接收模块将所缓存数据送至错误补偿模块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补偿模块根据错误信息对待输出的下一个数据包进行错误补偿后输出。
2、 如权利要求1所述的自适应错误恢复装置，其特征在于，所述错误 补偿模块，进行错误补偿时是对接收的视频码流解码，然后进行重新编码， 在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内 更新、或参考帧选择、或发送冗余帧。
3、 如权利要求1所述的自适应错误恢复装置，其特征在于，所述错误 补偿模块，进行错误补偿时是在变换域对即将发送的数据码流进行错误补 偿，在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数 据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪， 对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧 中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流。
4、 如权利要求3所述的自适应错误恢复装置，其特征在于，所述错误 补偿模块，进行跳帧转发处理时，在重新编码的码流中，错误扩散区域以发 生错误之前的第N - 1帧作为参考帧进行重新编码，阻止错误扩散。
5、 如权利要求1所述的自适应错误恢复装置，其特征在于，所述错误 信息处理模块发送至错误补偿模块的错误信息包括从反馈信道获得的错误 信息、以及根据错误信息从緩存数据中提取的数据错误信息，其包括图像帧 号、或错误宏块位置、或解码器端错误隐蔽算法。
6、 一种基于权利要求1所述错误恢复装置的自适应错误恢复方法，其特征在于，包纟舌如下步骤(1 )数据接收模块接收正常数据流，并对数据进行緩存；(2 )错误信息处理模块对緩存的数据进衧检测，同时拾测反馈信遺是 否存在错误信息；(3)控制模块接收检测结果，若检测到緩存数据有错或者检测到反馈 信道发送了错误信息，则进行启动错误补偿模块；(4 )控制模块指示错误信息处理模块将错误信息送至错误补偿模块， 数据接收模块将緩存数据送至错误补偿模块，错误补偿模块根据错误信息及 緩存数据，对待输出的下一个数据包进行错误补偿后输出。
7、 如权利要求6所述的自适应错误恢复方法，其特征在于，步骤(3 ) 进一步包括若没有检测到緩存数据有错，而且没有检测到反馈信道发送了错误信 息，则指示数据接收模块直接将緩存数据发送至下一网络节点或者终端接收 设备。
8、 如权利要求6所述的自适应错误恢复方法，其特征在于，步骤(4) 中错误补偿模块进行错误补偿的步骤包括对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容 错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或 发送冗余帧。
9、 如权利要求6所述的自适应错误恢复方法，其特征在于，步骤(4) 中错误补偿模块进行错误补偿的步骤是在变换域对即将发送的数据码流进 行错误补偿，包括如下步骤在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数 据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪， 对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编 码的码流。
10、 如权利要求9所述的自适应错误恢复方法，其特征在于，所述对待 发送的数据帧中错误扩散宏块区域进行跳帧转码处理步骤，是在重新编码的 码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编 码，阻止错误扩散。
11、 一种基于反馈的自适应视频通信系统，包括发送侧终端、第一、第 二无线接入设备、第一、第二媒体网关、核心网、接收侧终端，发送侧终端 编码无线输出数据码流，经第一无线接入设备、第一媒体网关、核心网、第 二媒体网关、第二无线接入设备传输至接收侧终端，由其无线接收所述数据 码流，其特征在于所述无线接入设备或媒体网关中具有一个错误恢复装置，对数据流进行 错误检测及错误补偿处理；所述错误恢复装置，在发送侧终端与第一无线接入设备之间的无线连接 上发生信道错误时，用于将错误信息送回发送侧终端，发送侧终端根据错误 信息对即将发送的数据采取容错编码策略后编码输出，或者发送侧终端将错 误数据重发至第一无线接入设备或第一媒体网关，该错误恢复装置对错误数 据进行错误补偿处理后输出；所述错误恢复装置，在接收侧终端与第二无线接入设备之间的无线连接 上发生信道错误时，用于检测错误信息，对错误数据进行错误补偿后输出至 接收侧终端，或者在接收侧终端检测到错误信息、将错误信息反馈至该错误 恢复装之后，该错误恢复装置对数据码流进行错误补偿后输出至接收侧终端。
12、 如权利要求11所述的系统，其特征在于，所述错误恢复装置包括 数据接收模块、错误信息处理模块、错误补偿模块及控制模块，其中数据接收模块，用于接收正常数据流，并对数据进行緩存；错误信息处 理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈 信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有 错误信息，则控制所述数据接收模块直接将緩存数据输出；若发生错误或者 检测到错误信息，则控制所述数据接收模块将所緩存数据送至错误补偿模 块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补偿模块根据错误信息对待输出的下一个数据包进行错误补偿后输出。
13、 如权利要求11所述的系统，其特征在于所述错误补偿模块，在进行错误补偿时，是对接收的视频码流解码，然 后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧 更新、或宏块帧内更新、或参考帧选择、或发送冗余帧；或者，所述错误补偿模块，在进行错误补偿时，是在变换域对即将发送 的数据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错 误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟 踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散 区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新 编码的码流；其中，所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中， 错误扩散区域以发生错误之前的第N - 1帧作为参考帧进行重新编码，阻止 错误扩散；所述错误信息处理模块发送至错误补偿模块的错误信息包括从反 馈信道获得的错误信息、以及根据错误信息从緩存数据中提取的数据错误信 息，其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。
14、 如权利要求11所述的系统，其特征在于，所述无线接入设备包括 基站BTS和基站控制器BSC/RNC。
15、 一种基于权利要求11所述自适应视频通信系统的基于反馈的自适 应错误恢复方法，在邻近发送侧终端的无线连接发生信道错误时进行错误恢 复，其特征在于，包括如下步骤(1 )错误恢复装置检测数据码流，检测到数据出错后，利用反馈信道 将错误信息发送至发送侧终端；(2)发送侧终端根据错误信息，查找出错的数据包，并重传该数据包， 并将当前待发送的下一数据帧发送至错误恢复装置；(3 )错误恢复装置对所接收的所述待发送的下一数据帧进行错误补偿 处理，对由重传数据包对应的数据帧造成的错误扩散进行补偿，恢复出无错 误的视频码流数据，进行输出。
16、 如4又利要求15所述的方法，其特4i在于步骤(1)中所述错误信息包括丢失的数据包号或数据帧号。
17、 一种基于权利要求11所述自适应视频通信系统的基子反馈的自造 应错误恢复方法，在邻近接收侧终端的无线连接发生信道错误时进行错误恢 复，其特征在于，包括如下步骤(1 )接收侧终端检测到错误信息时，将信道错误信息反馈至无线接收 设备或媒体网关上的错误恢复装置；(2)错误恢复装置根据错误信息查找错误信息对应的数据，对当前待 发送的数据帧进行错误补偿处理，对错误信息对应的数据帧造成的错误扩散 进行补偿，恢复出无错误的视频数据码流。
18、 如权利要求17所述的错误恢复方法，其特征在于，所述错误信息 包括出错的数据包号、数据帧号、对应的图像帧号、对应的宏块号、解码器 使用的错误隐蔽方法。
全文摘要
本发明公开了基于反馈的自适应错误恢复装置、视频通信系统和方法，在视频通信系统中，增加一种基于反馈的自适应错误恢复装置，该错误恢复装置中的数据接收模块接收数据，错误信息处理模块检测接收数据是否有错，或反馈信道中是否有错误信息，如果有错误，控制模块启动错误补偿模块，对接收的出错数据进行错误补偿，将补偿后的数据输出，否则，由数据接收模块直接将正常数据输出。该错误恢复装置可以在较小的反馈时延内进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量。该错误恢复装置及方法可以将需要较大计算资源的容错处理操作与终端的编码/解码分离，降低终端的计算资源需求。
文档编号H04N7/68GK101193312SQ20061014562
公开日2008年6月4日 申请日期2006年11月22日 优先权日2006年11月22日
发明者戴志军, 宁 王, 王志英, 睿 陈 申请人:中兴通讯股份有限公司