专利名称：使用去隔行机制的多重描述编码视频传输的制作方法
技术领域：
本发明总体涉及通过网络的视频序列(20)传输。更具体来说，本发明涉及通过网络的易于出错的信道发送和接收鲁棒的视频的方法。
随着通过无线系统和因特网的通信变得越来越流行，已经研发了通过这种网络可靠地发送和接收视频流的各种方式。对于这种通信而言，多重描述编码(MDC)已被证明是一种非常有效的技术。MDC包括把视频流分离成对视频信号的多个相关的编码表示(或者描述)以及在分离的信道上传输所述表示，从而提高抗错性。利用这种技术，可以使用所述描述的子集获得可以接受的信号质量，随着所接收到的子集数量的增加，信号质量得到提高。对视频流进行分解的一种方式是通过把视频流分离成奇数和偶数帧，然后独立地对这两个流进行编码。当接收到其中一个流时，可以以半帧速率对该流进行编码。由于所述视频流的相关性，可以使用运动补偿的错误隐藏技术来恢复可能在传输期间丢失的中间帧。
使用运动补偿的错误隐藏的技术的例子包括多状态编码、视频冗余度编码(VRC)以及多重描述运动补偿(MDMC)。一般来说，多状态编码系统包括编码器和接收器，该编码器接收视频流并且通过采用多状态编码(其具有多个状态)将所述视频编码成独立可解码的分组流，该接收器接收所述多个流、将所述多个流组合成单个流、以及对所接收的该流进行解码以便重建原始视频流。
参照
图1，其中示出了现有的VRC编码器的简化框图。这里，将要发送由一系列帧10组成的视频信号。使用两个标准化编码器12来分离奇数帧10a和偶数帧10b并对其进行编码，随后通过网络传输所述描述。如果帧10在传输过程中被破坏或者丢失，则可以使用标准化解码器通过从另一数据流或者描述的相邻帧进行内插来重建该帧10。因此，由于没有空间信息可用，所以使用纯粹的时间信息来执行所述重建。此外，由于所述信号被分解并被编码，因此各帧之间的时间距离相对较大，这将会降低编码效率。
实施MDMC技术将会提供一种具有更好的编码效率的系统。这里，采用非标准化的编码器/解码器。使用MDMC可以生成两个描述，其中每一个描述包括对应于交替帧的已编码信息。其中使用了时间预测器，其允许编码器在进行编码的同时使用过去的奇数帧和偶数帧。当在网络的接收器侧的编码器仅接收到一个描述，上述措施就在编码器和解码器之间产生了失配。对该失配错误明确地进行编码，以便克服失配传输错误。利用MDMC，可以将诸如时间滤波器之类的编码参数调节到编码效率和抗错性之间的理想折衷。因此，MDMC系统在编码效率和抗错性之间提供合理的灵活性。
虽然使用MDMC编码可以提供优于VRC方案的编码效率，但是MDMC编码所需要的非标准化的编码器/解码器并不存在于现有的视频显示设备中。因此，需要一种使用现有设备以高效且抗错的方式通过易于出错的网络传输视频信息的方式。
本发明可以满足上面描述的需求。根据本发明的原理，提供一种用于发送和接收视频信号的改进的方法。在网络的发送器侧，对逐行视频序列(20)进行隔行处理，并且将经过隔行处理的序列分解成多个流。使用各编码器对所述多个流进行编码，随后通过网络的各独立信道来传输所述各流。优选地，该序列被分解成两个信号流。在网络的接收器侧接收这两个流，并且分开地对其进行解码。如果没有传输错误，则将所述解码流重组成原始逐行视频序列(20)。然而，如果存在传输错误，则使用去隔行算法来重建被破坏的信号流。
通过结合附图进行的下面的描述，可以在结构和操作方面更好地理解本发明的新颖特征以及本发明本身，附图中的类似的附图标记指代类似的部件，其中图1是现有技术的VRC编码器的简化框图；图2的简化图说明当前如何通过网络来传输逐行视频信号；图3A和3B的简化框图说明用于根据本发明的原理通过网络传送逐行视频信号的发送器和接收器；图4示出根据本发明的隔行视频信号的表示；以及图5示出根据本发明的原理来重建丢失的或者被破坏的视频图像。
由于大多数视频图像现在具有数字格式(比如在DVD上)，因此常常以逐行格式存储视频。图2示出视频序列20的简化框图，该序列包括利用标准化视频编码器22(比如MPEG-2或者MPEG-4编码器)编码的逐行画面A、B、C，以便通过网络传输。
现在参考图3A、3B和图4，下面将描述根据本发明的原理来传输所述视频序列20的设备和方法。视频序列20的每一个逐行画面A、B和C包括奇数和偶数场(例如Ao、Ae、Bo、Be、Co、Ce)。在发送器300处，利用隔行器302对视频信号20进行隔行处理。所述隔行包括对画面进行因数为2的垂直次采样，这是通过单独地分离奇数扫描线和偶数扫描线。这样做得到只包含奇数扫描线的画面(下面称作奇数场)以及只包含偶数扫描线的画面(下面称作偶数场)，如图4所示。这里，应当注意到没有丢失任何原始扫描线，也就是说，在执行上述隔行处理之前和之后，扫描线的总数完全相同。然后，将经过隔行处理的信号30分离成奇数场视频流32和偶数场视频流34。利用标准化MPEG-2/4编码器304、306分别对奇数场视频流和偶数场视频流进行编码，从而产生两个描述，其中每个描述在编码之后具有其自身的预测矢量和残留信号(residue)。随后通过独立的信道308、310将编码后的描述传输到接收器320。
在接收器320处，可以使用标准化MPEG-2/4解码器322、324对两个已编码信号流进行解码。如果在对所述流进行接收和解码的过程中没有传输错误，则对解码后的流进行重组以便形成原始的逐行视频序列20。
然而，如果在传输过程中其中一个流受到破坏，或者该流中的场被丢失，则本发明提供一种根据正确地接收到的信息来估计被破坏的或者丢失的信息的方式。根据本发明的原理，采用标准去隔行技术的去隔行器326可以被用来估计被破坏的或者丢失的信息。一般来说，可以将去隔行看成是隔行的逆向处理。去隔行相对于经过隔行处理的视频使垂直分辨率加倍，并且还旨在去除由对于视频的隔行采样导致的次采样伪像。关于去隔行的背景信息，在G.de Haan和E.B.Bellers的“De-interlacingan overview”(Proceedings of the IEEE，86(9)1839-1857，1998年9月)以及E.B.Bellers和G.de Haan的“De-interlacingA key technology for scan rate conversion”(ElsevierScience book series Advances in Image Communications，vol.9，2000年9月)描述了去隔行技术的概述和实例。当前存在许多去隔行技术，并且正在开发许多新的技术。可以根据本发明使用的一种特定的去隔行技术可以在标题为“De-Interlacing Image Signals”的共同拥有的美国专利6,618,094中找到，其内容被整体合并在此以作参考。使用这种技术，对于视频信号应用至少三种去隔行算法，以便获得三个去隔行的视频信号，其中，这些算法的不同多数(majority)具有特定的强度，而这些算法的无多数(no majority)则将单个时空相邻像素拷贝到内插的位置。然后可以使用次序统计滤波器来从所述三个去隔行的信号获得单个输出信号。
图5示出如何能够根据本发明使用去隔行来重建画面的未被接收到的场。在这个例子中，在传输过程中丢失了画面B的奇数场Bo。去隔行器能够基于良好地接收到的Be场和经过重组的A画面来重建丢失的Bo场。在这里，能够执行所述重建的去隔行器是垂直时间中值滤波器，其固有地在场插入和线重复之间进行切换。所内插的样本被形成为各垂直邻居和前一场中的时间邻居的中值。因此，同时根据空间信息以及时间信息来内插丢失的场。
虽然上述优选实施例将视频序列分离成奇数场流和偶数场流并且生成通过两个独立信道传输的两个描述，但是其他变型也是可能的。举例来说，本领域技术人员将认识到，可以将视频序列分解成多个流，并且可以使用其他参数对该序列进行分解。
本发明具有超越现有的使用多重描述编码的视频传输方法的优势。如上所述，如果在传输过程中破坏了已编码的场，则根据本发明的方法使用去隔行技术来重建逐行视频。以这种方式，同时使用了空间信息以及时间信息(在所谓的运动自适应或者运动补偿去隔行的情况下，例如在方向性去隔行器中只使用空间信息)，因此即使当使用不可靠的传输信道时，也能够实现高质量的视频重建。此外，可以使用现有的标准化解码器中的现有后处理技术来实现错误隐藏。
虽然这里描述的多重描述编码方案的特定实施例完全能够满足需求并且提供上述优点，但是应当认识到，在不脱离本发明的精神和范围的情况下，在构造和电路方面可以作出许多改变，并且本发明可以具有多种不同的实施例和应用。上面的说明完全是说明性的，而不是限制性的。相反，本发明意图覆盖落在由所附权利要求书限定的本发明精神和范围内的所有修改、等效表述和替换方案。
权利要求
1.一种传输逐行视频序列(20)的方法，包括以下步骤对该视频信号(20)进行隔行处理；将该视频信号(20)分离成多个视频信号流(20)；使用多个编码器(304，306)编码所述各视频信号(20)流；以及将各分离的已编码信号流发送到网络。
2.如权利要求1所述的方法，其中，将所述视频信号(20)分离成多个流的步骤包括将该视频信号(20)分离成奇数场(32)流和偶数场(34)流。
3.一种接收逐行视频序列(20)的方法，包括以下步骤从网络接收各分离的已编码信号流；使用多个解码器(322，324)对各分离的视频信号(20)流进行解码；使用去隔行器(326)对所述视频信号(20)进行去隔行处理；以及对各流进行重组，以便形成逐行视频序列(20)。
4.如权利要求3所述的方法，其中，所述逐行视频序列(20)包括一系列视频图像，并且其中所述去隔行器(326)基于一个或多个所接收的相邻图像来重建被破坏的图像。
5.如权利要求4所述的方法，其中，所述去隔行器(326)使用来自所接收信号的时间信息来重建所述被破坏的信号。
6.如权利要求3所述的方法，其中，所述去隔行器(326)使用来自所接收信号的空间和时间信息来重建所述被破坏的信号。
7.一种接收逐行视频的改进的方法，包括在接收器(320)处接收所述已编码流；对所接收的视频流进行解码；以及使用去隔行算法来重建丢失的场的任何部分。
8.如权利要求7所述的方法，其中，所述去隔行算法采用来自所接收的流的空间和时间信息来重建丢失的场。
9.如权利要求8所述的方法，其中，分离视频的步骤包括将所述视频分离成奇数场(32)流和偶数场(34)流，其中奇数场(32)包括该视频的奇数扫描线，偶数场(34)包括该视频的偶数扫描线。
10.一种用于将逐行视频序列(20)传送到网络的设备，包括用于对该视频序列(20)进行隔行处理的装置；用于将该经过隔行处理的序列分解成多个信号流的装置；用于单独编码所述多个信号流的装置；以及用于通过独立的信道(308，310)传输所述多个已编码信号流的装置。
11.一种用于从网络接收逐行视频序列(20)的设备，包括用于接收多个已编码信号流的装置；用于对所述多个信号流单独进行解码的装置；用于对各解码信号流进行去隔行处理的装置；以及用于将各解码流重组成所述信号序列(20)的装置。
12.如权利要求11所述的设备，其中，所述用于进行去隔行处理的装置使用时间信息来重建被破坏的信号。
13.如权利要求11所述的设备，其中，所述用于进行去隔行处理的装置使用来自所接收的被破坏的信号的空间和时间信息。
14.如权利要求11所述的接收器(320)，其中，执行去隔行处理来重建在其通过网络的传输过程中受到破坏的信号。
全文摘要
多重描述编码(MDC)已被证明是一种用于通过网络对数据进行鲁棒的传输的有效技术，所述网络包括无线系统和因特网。本发明提供一种方法，其中，对视频信号(20)进行隔行处理并将其分解成多个流，随后对所述流进行编码并且通过独立的传输信道(308，310)来传输所述流。在接收器(320)处，可以应用去隔行算法，以及对所述流进行重组以便形成原始视频信号(20)。使用隔行和去隔行技术改进了视频传输的鲁棒性而无需修改现有设备。
文档编号H04N7/26GK1934870SQ200580009598
公开日2007年3月21日 申请日期2005年3月23日 优先权日2004年3月24日
发明者E·贝勒斯, M·范德沙尔 申请人:皇家飞利浦电子股份有限公司