专利名称：数据流的编码的制作方法
技术领域：
本发明涉及数据流的编码和解码。
本发明进一步涉及数据流的发送和接收。
参照2000年1月IEEE信号处理杂志中M.Budagavi，W.RabinerHeinzelman，J.Webb，R.Talluri的文章“用DSP芯片进行无线MPEG-4视频通信”。该文章公开了，为了使压缩的比特流更稳定，MPEG-4视频压缩标准在它的简单文件中合并了几个误差复原工具，使它能够对误差检测、抑制并隐藏。当误码率小于10-3时，这些技术是对抗比特误差的功能强大的源编码技术；但是，现在无线信道会具有比这高得多的误码率(BERs)。由于发射机和接收机之间的运动产生的多径衰减造成在移动无线信道中苛刻的条件，并且该条件随着周围地形而改变。多径衰减用长误差脉冲串的形式表示自己。因此，为了改善信道条件，需要某种形式的交织和信道编码。使用信源编码和信道编码的组合，有可能用MPEG-4简单文件视频压缩通过易发生误差的无线信道获得可接受的图像质量。MPEG-4压缩比特流的结构也使用不等误差保护，一种结合信源信道编码的形式，以确保在比特流的重要部分出现更少的误差。
本发明的一个目的是提供一种改进的数据流的误差保护。为此，本发明提供如独立权利要求所确定的编码、解码、发送、接收、数据流和存储介质。有利的实施例在从属权利要求中确定。
本发明基于以下事实的理解，在类似MPEG-4的编码方案中，由于使用可变长度编码和具有在每个包中宏块的整数的要求，包并不正好是相同的长度，并且在不同的包中分区具有不同的长度。这意味着不能使用固定的UEP方案并且为了在信道的解码级用正确的码率执行解码，比特流结构应当在接收机中已知。象分区一样，包不是等长的；因此，UEP方案应当对每个包动态地改变并且需要知道分区长度。该问题通过在数据流中以长度字段的形式包括关于正在或已经被保护的分区长度的信息来解决。这样的长度字段可以在再同步标记后被加入到每个包中。接着UEP信道解码用一致的每个分区的长度来完成。
最好，为每个字段长度选择特殊的、有力的误差保护，因为它包含的信息对后来的解码至关重要。
最好，长度字段可以包括信道编码后(即信道编码后的分区长度)包分区的长度。因为它们是提供给信道解码器的包分区长度。
另外，包分区长度可以包含信道编码前的包分区长度。包含信道编码前的包分区长度的好处是这些长度比信道编码后的长度更短，并且因此能够被更有效地表示。在信道编码前的分区长度与误差保护码率合并产生信道解码的分区长度，该分区长度将用在信道解码器中。
在应用的实施例中，长度信息已经读出后，长度字段从比特流中删除，即不插入传输给信源解码器(例如，MPEG-4解码器)的数据流中。因此该变型对信源解码器是显然的。
本发明在MPEG-4图像的无线传输尤其有益。
本发明的以上和其他方面将参照下文描述的实施例阐明并将很显然。
附图的简要说明
图1示出MPEG-4比特流中的数据分配；图2示出了关于本发明的一个实施例的保护方案；图3示出了根据本发明的一个实施例的不等误差保护和长度字段插入；图4示出了根据本发明的一个实施例的与起始码替换合并的不等误差保护和长度字段插入；图5示出了根据本发明的一个实施例的发射机，发射机包括用于长度字段插入的装置；图6示出了根据本发明的一个实施例的接收机，该接收机包括用于长度字段读出的装置；图7示出了根据本发明的一个实施例的发射机，该发射机包括用于长度字段插入的装置，和用于起始码检测和替换的装置；图8示出了根据本发明的一个实施例的接收机，该接收机包括用于长度字段读数的装置，和用于替换的起始码检测和更新的装置。
由于压缩并尤其是预测编码和可变长度编码(VLC)，MPEG-4比特流对误差很敏感。1988年6月IEEE通信杂志第36卷no.6中R.Talluri的文章“在ISO MPEG-4标准中的误差恢复视频编码”描述了符合ISO MPEG-4标准的视频编码技术误差恢复方面。适用于ISOMPEG-4标准的特定工具被详细描述，它使压缩的视频数据能够通过有噪声的无线信道通信。这些技术包括再同步策略、数据分配、可逆的可变长度编码和首部扩展编码。
这些工具有助于对MPEG-4比特流增加稳定性。随着再同步标记的使用，MPEG-4比特流由具有几乎相同码长的包组成。不考虑这些工具，当MPEG-4通过无线信道发送时能够获得的接收质量仍然很差。但是，如果在信道编码级使用误差恢复工具，能够产生接收图像质量的进一步改善。尤其是，为了执行不等误差保护(UEP)能够使用数据分配工具包含在每个包中的信息比特被分离为三个分区，每一部分对信道误差有不同的灵敏度。如图1中对I帧所示，分区由首部HI、DC DCT系数和AC DCT系数组成，它们由DC标记DCM分离。置于P帧，分区由运动标记mm所分离的首部HP和运动分区m和纹理分区tp组成。
在下文中，考虑到无线信道和使用的特性，描述了涉及本发明的实施例的适当的技术。特别是，关于信源比特对信道误差的不同的灵敏度的信息应当通过UEP使用。该技术包括按照感知的信源比特对误差的灵敏度执行误差保护更敏感的比特用高级保护来保护(对应于低码率)对不太重要的比特使用低级保护(也就是更高的码率)。与典型的前向纠错(FEC)相比，通过信源特性的开发，给定相同的比特率UEP能获得更高的感知图像质量。
在提出的方案中，根据相关信息的主观重要性，三个分区用不同的码率保护。包含在首部中的信息对包的连续解码至关重要，因此那些信息应当加强保护。对内部帧，DC系数比AC系数具有更高的主观重要性；因此DC系数应当比AC系数更高级地保护。至于预测帧，运动数据应当比纹理信息更好地保护，因为如果运动信息被正确接收，纹理信息就会被部分重建。
建议的UEP执行也考虑了不同类型帧的不同重要性在MPEG-4标准中。考虑到内部、预测和向后预测帧，内部帧与其它帧分开单独编码并且预测帧从相邻帧使用信息。
内部帧的正确接收对执行接下来的预测帧的运动补偿至关重要，因此低平均信道码率(即高级保护)应当与内部帧相关联，而预测帧能够用高平均码率编码(即低级保护)。图2示出描述的保护方案。
一个MPEG-4编码的比特流被构造为图像对象(VO)、图像对象层(VOL)、图像对象平面组(GOV)、图象对象平面(VOP)和包。为了允许同步，比特流的每部分的开始用相关的起始码表示。起始码是唯一的码字，从可变长编码字的任意合法序列中可辨别出。在图2中，H1表示对VO的起始码，H2表示对VOL的起始码，H3表示对GOV的起始码，H4表示对VOP的起始码并且H5表示包起始码(再同步标记)。
UEP可以用根据比特的预测重要性选择的码率，通过码率兼容收缩(punctured)卷积(RCPC)编码来执行。在这种情况下，考虑的编码通过收缩(puncturing)相同的“母”码获得。只需要一个编码器和一个解码器来执行整个比特流的编码和解码。这样的码率兼容收缩(punctured)卷积编码从1988年4月的IEEE传输通信第36卷no.4中J.Hagenauer的文章“码率兼容收缩(punctured)卷积编码(RCPC编码)和它们的应用”获知。
不同的平均码率对不同帧的保护使用(I帧用高级保护/低码率编码，对P帧使用低级保护/高平均码率)，并且对每一帧使用加入到MPEG-4标准中的数据分割工具，从而对最重要的分区提供更强的保护。
图3示出了根据本发明的实施例的不等误差保护和长度字段插入。正在或已经被保护的关于分区长度的信息包含在编码的数据流中，例如，在再同步标记H5后加入到每个包中的长度字段1f中。为长度字段选择一种特殊的、有力的误差保护，因为它包含的信息对后面的解码至关重要。在接收机一侧，在再同步标记的检测之后，读出长度信息(见图5)。接着乐意用已知的每个分区的长度来执行UEP信道解码。
在这种情况下，如果11、12、13是信道编码前三个分区的长度，则包括长度字段的编码后的包的长度将是Lcoded_packet=llength_fieldRlength_field+l1R1+l2R2+l3+MR3]]>其中在考虑卷积编码的情况下M是码的存储器。
至于码的存储器M卷积编码与块编码不同之处在于编码器包含存储器并且编码器不仅根据那一时间单位的输入而且根据M预先输入块在任意给定时间单位输出，其中M是码的存储器。存储器M卷积编码器由M级移位寄存器组成，这些寄存器具有选择级的输出，被加入到模-2以形成编码的符号。因为卷积编码是连续的电路，所以它的操作能够用状态图说明。编码器的状态按照它的移位寄存器内容确定；因此编码器可以假定有2M个状态。为了用与其他比特相同的强度保护比特流的最后的比特，M尾部比特应当被加入到比特流中从而使编码器回到已知状态(典型为“0”状态)。实际上，如果考虑卷积编码，包通过向移位寄存器移M个“0”比特而终止，从而允许结构的正确终止。尾部比特用高码率编码。为了计算总的平均码率，I帧和P帧之间的平均值应当被计算并且由起始码替换所引入的操作也应当被考虑。
最好，长度字段1f包括信道编码后的包分区的长度，即 因为这些是提供给信道解码器的包分区的长度。
在长度信息已经被读出后，长度字段从比特流中删除，即长度字段不插入传到MPEG-4解码器(图8)中的比特流中。从用“无线”传输的原始起始码的替换看出，这种修改因此对MPEG-4解码器是显然的。
图4示出了根据本发明的实施例的第一发射机。数据流S1接收到包缓冲器10中。第一发射机还包括用于检测数据流S1中的再同步标记H5的起始码检测器。存在于标记H5之间的数据流S1的包在信道编码器11中被信道编码以获得信道编码的包。这些信道编码后的包被提供给乘法器14并包含在将被发送的数据流WS1中。发送的数据流WS1提供给例如用于无线发送的天线或存储介质15。为了执行长度字段插入，第一发射机包括长度字段插入单元20，它向乘法器14提供长度字段1f，从而在发送的数据流WS1中包含长度字段1f(也见图3)。在该实施例中，长度字段插入单元20由信道编码器11和/或起始码检测单元12控制。
图5示出了用于接收由按照图4的装置发送的数据流WS1的第一接收机。如果在起始码检测器32中检测出再同步标记H5，包缓冲器30被初始化并且后来的比特填入缓冲器直到检测到下一个起始码。当检测到下一个起始码时，缓冲器30包括一个包。在信道解码器31中，根据VOP指示器信息和包含在长度字段1f中的百分比(图6)或长度信息(图8)，信道解码在缓冲器中的比特上执行。用在该方案中的码率最好是固定的，用在信道编码器11中的码率也同样最好是固定的。在可变码率的情况下，码率不得不从发射机中的信道编码器中接收。信道解码后的包形成信道解码后的数据流S1，它被提供给信源解码器(未示出)，例如MPEG-4解码器。注意如果使用RCPC码，则在解码之前执行解收缩(de-puncturing)。在这种情况下，接着包以母编码率解码。
上述的长度字段插入与起始码替换有利地合并起来使用。在信道编码级，提出根据本发明的有益的实施例，其中长度字段插入语起始码替换合并。起始码替换解决了(MPEG-4)起始码对误差不稳定的问题起始码中的单一误差可能引起遗漏检测，造成同步的丧失。
在起始码替换中，在预定的一组至少两个互相不同的标记中的至少一个标记在输出的数据流中用具有比至少一个标记对信道误差有更高的稳定性的高稳定性字表示，其中该标记表示数据流给定部分的开始。高稳定性字可以是具有比各个标记更高的相关特性的高稳定性字，并且最好是伪噪声字。使用具有高相关特性的高稳定性字表示标记使得这些标记的发送型对于发送误差更稳定。在接收机中，给定的高稳定性字最好通过把接收到的数据流与从预定的一组高稳定性字获得的高稳定性字相关联来检测。如果接收到的数据流超出给定阈值与在预定范围之外给出的高稳定性字相关联，则给出的高稳定性字被解码以在高稳定性字的位置获得对应的标记。高稳定性字最好用对应的‘原始’标记代替。这具有‘原始’/未受影响的标记出现在信道解码后接收机中的MPEG-4数据流的优势。本发明的该实施例因此通过具有高稳定性字的起始码的明显替代提供有利的误差保护。
最好，数据流中的数据包根据与频谱展开编码不同的信道编码机制来编码。
有利的是，在发射机一侧，各个标记被从预定的一组高稳定性字获得的各个高稳定性字代替，在该组高稳定字中的每个高稳定性字表示在预定的一组标记中的给定标记。通过用对应的高稳定性字代替，提供快速和有利的编码。高稳定性字能够快速并容易地从查找表中获得。避免了标记用在标记中加入的伪噪声序列编码时能够获得的编码误差。
尽管标记用从预定的一组高稳定性字获得的各个新的高稳定性字替换是有优势的，但是具有高相关特性的高稳定性字可以另外通过在调制器中在标记上加入固定的伪噪声序列获得。在该实施例中，在解码器有可能通过在解调器中从高稳定性字中除去固定的伪随机序列获得原始标记。
John G.Proakis1989年第二版McGraw-Hill“数字通信”801-817页公开了对数字通信的频谱展开信号。用于数字信息传输的频谱展开信号用它们的带宽W远远大于单位为比特/秒的信息率R的特性来分辨。即对频谱展开信号的带宽展开因子Be＝W/R远远大于一。固有在频谱展开信号中的大量冗余需要克服几级串扰，该串扰在通过某种无线电和卫星信道进行数字信息的传输时会遇到。Proakis公开了在发送端的输入端和接收端的输出端具有二进制信息序列的频谱展开数字通信系统。信道编码器和解码器以及调制器和解调器是基本部件。除了这些部件，还有两个伪随机模式发生器，其中一个与发送端的调制器连接，第二个与接收端的解调器连接。发生器产生伪随机或伪噪声(PN)二进位值序列，它在调制器的发送信号上加入并在解调器中从接收信号中除去。接收机产生的PN序列与包含在引入的接收信号中的PN序列需要同步，从而解调接收到的信号。最初，在发送信息之前，通过发送固定的伪随机比特模式可以获得同步，接收机将认可它与高概率冲突的存在。在发生器的时间同步建立后，可以开始信息的传输。PN序列的产生进一步在831-836页描述。
接下来，有优势的实施例对与帧一致的VOP的简化的情况描述。
在提出的方案中，起始码在用伪噪声字MPEG-4编码后被替换(见图6)，伪噪声字是具有高相关特性的序列(例如高德序列)。这些新的起始码用无线起始码表示。尤其是，对VO、VOL、VOP、GOV起始码执行替换并对再同步标记执行替换。图6中的数据流(S)不包括GOV起始码(H3)，认为是MPEG-4比特流。在MPEG-4比特流中在VOL起始码(H2)之后没有GOV起始码(H3)，因为VOL起始码(H2)也表示GOV的开始。
在接收机一侧，在信道解码处理之前，这些无线起始码WH1...WH5的位置通过相关性被估算；在遗漏起始码的概率和起始码仿真的概率之间应当达到平衡，从而无线起始码长度和对相关性适当的阈值的选择被执行。因为检测被执行了，所以无线起始码WH1...WH5用来自原始的一组起始码的对应的起始码H1...H5代替。因此所述的替换对MPEG-4解码器很明显。
图7示出了根据本发明的实施例的第二发射机，它除了进一步执行起始码替换之外，与图5的发射机相同。在第二发射机中起始码检测器1 2检测在数据流S2中的码H1...H5。检测到的起始码由伪噪声字发生器用对应的伪噪声字WH1...WH5替换。伪噪声字提供给乘法器14，它使包含伪噪声的字数据流WS2被发送。
图8示出了用于接收由与图7相同的装置发送的数据流WS2。在起始码检测器32(例如伪噪声字检测器)中，在每个允许的伪噪声字(即对应于标记的预定的一组伪噪声字)和相关的比特部分之间执行相关性评价，从而检测表示起始码的伪噪声字。相关性与对应的阈值th相比较。当检测到伪噪声字时，数据流中的比特指示符移动适当的比特数并且由起始码发生器33提供对应的MPEG-4起始码H1...H5，起始码插入到乘法器34中，乘法器的任务是将比特流S′传送给MPEG-4解码器。如果检测到GOV起始码或VOP起始码，VOP指示器改变它的状态。
最好直到缓冲器包含N比特才执行相关性估计，其中N是包的最小长度。
尽管在图4-5、7-8中没有示出在发射机中数据流可以被发送之前由调制器调制并随后接收机中在执行解码之前由解调器解调。
在长度字段中，不用绝对长度值，各个包分区的长度也可以用包长度的百分数给出。
在各个包分区的长度在多个(后面的)包中保持不变的情况下，在这些包中的一个里，例如在第一包中包含长度信息就足够了。而且有可能在给定的长度字段中使用不同的长度，不同的长度表示当前各个包分区长度和在前的各个包分区长度之间的不同。
因为通常一些包分区比其他包分区短，保留在长度字段中用于表示这些通常更短的包分区的长度的比特数最好比用于表示更长的包分区的长度的保留的比特数小。例如，包的首部通常比其他包分区短。因此，保留在长度字段中用于表示首部长度的比特数最好小于其他更长的包分区的比特数。
应当注意到上述实施例描述不是对发明的限制，并且本领域技术人员将能够在不脱离随附权利要求范围的情况下设计很多其它装置。在权利要求中，任何放在括号内的附图标记将不作为随权利要求的限制。“包括”一词不排除与权利要求中列出的不同的其它部件或步骤的存在。本发明能够用包括几个特殊部件的硬件或适当编程的计算机来完成。在列举了几个装置的设备权利要求中，这几个装置能够用一个装置来完成或是相同内容的硬件。某些措施在彼此不同的独立权利要求中叙述的事实不表示这些措施的组合不能被使用以获得优势。
权利要求
1.一种编码数据流(S1，S2)的方法，该方法包括用不同的误差保护速率对数据流的给定部分的各个分区进行信道编码(11)，以获得编码数据流(WS1，WS2)，以及包括(14，20)与在数据流(WS1，WS2)中各个分区的各个长度相关的长度信息(1f)。
2.如权利要求1所述的方法，其中长度信息(1f)包括信道编码前的分区的长度。
3.如权利要求1所述的方法，其中长度信息(1f)包括信道编码后的分区的长度。
4.如权利要求1所述的方法，其中长度信息(1f)包含在数据流(S1，S2)的给定部分的再同步标记(H5)刚好后面的字段中。
5.如权利要求1所述的方法，其中数据流(S1，S2)包括预定的一组至少两个互相不同的标记(H1...H5)之外的至少一个标记(H1...H5)，标记表示数据流给定部分的开始，该方法进一步包括用对信道误差具有比至少一个标记更高的稳定性的高稳定性字(WH1...WH5)表示(13)至少一个标记(H1...H5)；以及输出(14)具有用高稳定性字(WH1...WH5)表示的至少一个标记的数据流。
6.一种对编码的数据流(WS1，WS2)解码的方法，其中编码数据流的给定部分的编码数据流的各个分区已经用不同的误差保护码率编码，编码数据流还包括与编码数据流中的各个分区的各个长度相关的长度信息(1f)，该方法包括读出(40)长度信息(1f)，以及使用长度信息(1f)进行编码数据流的信道解码(31)以获得解码数据流(S1，S2)。
7.如权利要求6所述的方法，该方法进一步包括从编码数据流中删除(40，31，34)长度信息(1f)。
8.一种用于编码数据流(S1，S2)的编码器，该编码器包括信道编码器(11)，用于用不同的误差保护速率对数据流的给定部分的各个分区进行信道编码，以获得编码数据流(WS1，WS2)，以及用于包括与在数据流(WS1，WS2)中各个分区的各个长度相关的长度信息(1f)的装置(14，20)。
9.一种用于对编码数据流(WS1，WS2)解码的解码器，其中编码数据流的给定部分的编码数据流的各个分区已经用不同的误差保护码率编码，编码数据流还包括与编码数据流中的各个分区的各个长度相关的长度信息(1f)，该解码器包括用于读出长度信息(1f)的装置(40)，以及用于使用长度信息(1f)进行编码数据流(WS1，WS2)的信道解码(31)以获得解码数据流(S1，S2)的装置(31)。
10.一种用于发射编码数据流(WS1，WS2)的发射机，该发射机包括一个如权利要求8所述的编码器；和用于发射编码数据流的装置(14)。
11.一种用于接收编码数据流(WS1，WS2)的接收机，该接收机包括用于接收编码数据流的装置(30)；和如权利要求9所述的解码器。
12.一种编码数据流(WS1，WS2)，其中编码数据流的给定部分的编码数据流的各个分区已经用不同的误差保护码率编码，编码数据流还包括与编码数据流中的各个分区的各个长度相关的长度信息(1f)。
13.一种存储介质(15)，在该存储介质上已经存储了如权利要求12所述的编码数据流(WS1，WS2)。
全文摘要
编码数据流包括:用不同的误差保护速率对数据流的给定部分的各个分区进行信道编码(11),以获得编码数据流(WS1),以及包括(14,20)与在编码数据流(WS1)中各个分区的各个长度相关的长度信息(1f)。
文档编号G11B20/18GK1386332SQ01802067
公开日2002年12月18日 申请日期2001年7月16日 优先权日2000年7月17日
发明者M·G·马蒂尼, M·基亚尼 申请人:皇家菲利浦电子有限公司