专利名称：数据流的编码的制作方法
技术领域：
本发明涉及数据流的编码和解码。
本发明进一步涉及数据流的发送和接收。
参照2000年1月IEEE信号处理杂志中M.Budagavi，W.RabinerHeinzelman，J.Webb，R.Talluri的文章“用DSP芯片进行无线MPEG-4视频通信”。该文章公开了，为了使压缩的比特流更稳定，MPEG-4视频压缩标准在它的简单文件中合并了几个误差复原工具，使它能够对误差检测、抑制并隐藏。当误码率小于10-3时，这些技术是对抗比特误差的功能强大的源编码技术；但是，现在无线信道会具有比这高得多的误码率(BERs)。由于发射机和接收机之间的运动产生的多径衰减造成在移动无线信道中苛刻的条件，并且该条件随着周围地形而改变。多径衰减用长误差脉冲串的形式表示自己。因此，为了改善信道条件，需要某种形式的交织和信道编码。使用信源编码和信道编码的组合，有可能用MPEG-4简单文件视频压缩通过易发生误差的无线信道获得可接受的图像质量。MPEG-4压缩比特流的结构也使用不等误差保护，一种结合信源信道编码的形式，以确保在比特流的重要部分出现更少的误差。
本发明的一个目的是提供一种改进的数据传输。为此，本发明提供如独立权利要求所确定的编码、解码、发送、接收、数据流和存储介质。有利的实施例在从属权利要求中确定。
本发明在MPEG-4的无线传输领域特别有益。发明人意识到MPEG-4起始码对信道误差来说不够稳定，结果在有信道误差的情况下丧失同步。本发明提供了更稳定的起始码，结果接收的数据流有更好的同步。
按照本发明的一个方面，数据流除预定的一组至少两个互相不同的标记外还包括至少一个标记，该标记表示数据流给定部分的开始，其中至少一个标记用高稳定性的字表示，这个字对信道误差有比至少一个标记更高的稳定性。更高稳定性字可以是具有比各个标记更高的相关特性的更高稳定性字。使用具有更高相关特性的更高稳定性字表示标记，使这些标记的传输对于传输误差更稳定。
John G.Proakis1989年第二版McGraw-Hill“数字通信”801-817页公开了对数字通信的频谱展开信号。用于数字信息传输的频谱展开信号用它们的带宽W远远大于单位为比特/秒的信息率R的特性来分辨。即对频谱展开信号的带宽展开因子Be＝W/R远远大于一。固有在频谱展开信号中的大量冗余需要克服几级串扰，该串扰在通过某种无线电和卫星信道进行数字信息的传输时会遇到。Proakis公开了在发送端的输入端和接收端的输出端具有二进制信息序列的频谱展开数字通信系统。信道编码器和解码器以及调制器和解调器是基本部件。除了这些部件，还有两个伪随机模式发生器，其中一个与发送端的调制器连接，第二个与接收端的解调器连接。发生器产生伪随机或伪噪声(PN)二进位值序列，它在调制器的发送信号上加入并在解调器中从接收信号中除去。接收机产生的PN序列与包含在引入的接收信号中的PN序列需要同步，从而解调接收到的信号。最初，在发送信息之前，通过发送固定的伪随机比特模式可以获得同步，接收机将认可它与高概率冲突的存在。在发生器的时间同步建立后，可以开始信息的传输。PN序列的产生进一步在831-836页描述。
按照本发明的实施例，用除了预定的一组标记之外的标记表示，限定的一组更高稳定性字需要对应于预定的一组标记。因此，由于接收机只必须检测在限定的一组之外更高稳定性字是否产生在具有足够概率的数据流中，本发明提供对接收机有利的检测，其中限定的一组更高稳定性字对应于预定的一组标记。在根据本发明实施例的接收机中，给定的更高稳定性字最好通过把接收到的数据流与从预定的一组更高稳定性字获得的更高稳定性字相关联来检测。如果接收到的数据流与在预定范围之外给出的更高稳定性字相关联，则给出的更高稳定性字被解码以在更高稳定性字的位置获得对应的标记。更高稳定性字最好用对应的‘原始’标记代替。这具有‘原始’/未受影响的标记出现在信道解码后接收机中的MPEG-4数据流的优势。本发明的该实施例因此通过具有更高稳定性字的起始码的明显替代提供有利的误差保护。
最好，数据流中的数据包根据与频谱展开编码不同的信道编码机制来编码。有利的是，这样的编码机制包括成比例的不等误差保护或长度字段插入，这将在下文中分别说明。
有利的是，在发射机一侧，各个标记被从预定的一组更高稳定性字获得的各个更高稳定性字代替，在该组高稳定字中的每个更高稳定性字表示在预定的一组标记中的给定标记。通过用对应的更高稳定性字代替，提供快速和有利的编码。更高稳定性字能够快速并容易地从查找表中获得。避免了标记用在标记中加入的伪噪声序列编码时能够获得的编码误差。
尽管标记用从预定的一组更高稳定性字获得的各个新的更高稳定性字替换是有优势的，但是具有高相关特性的更高稳定性字可以另外通过在调制器中在标记上加入固定的伪噪声序列获得。在该实施例中，在解码器有可能通过在解调器中从更高稳定性字中除去固定的伪随机序列获得原始标记。
本发明的以上和其他方面将参照下文描述的实施例阐明并将很显然。
在附图中
图1示出MPEG-4比特流中的数据分配；图2示出了根据本发明的一个实施例的保护方案的示意性表示；图3示出了根据本发明的一个实施例的起始码替换；图4示出了根据本发明的一个实施例的起始码替换、不等误差保护和长度字段插入；图5示出了根据本发明的一个实施例的发射机，发射机包括用于起始码检测和替换的装置；图6示出了根据本发明的一个实施例的接收机，该接收机包括用于替换的起始码检测和更新的装置；图7示出了根据本发明的一个实施例的发射机，该发射机包括用于起始码检测和替换的装置，和用于长度字段读数的装置；图8示出了根据本发明的一个实施例的接收机，该接收机包括用于替换的起始码检测和更新的装置，和用于长度字段读数的装置；图9示出了根据本发明的一个实施例的相称的不等误差保护。
附图只示出了对理解发明有必要的那些部件。
由于压缩并尤其是预测编码和可变长度编码(VLC)，MPEG-4比特流对误差很敏感。1988年6月IEEE通信杂志第36卷no.6中R.Talluri的文章“在ISO MPEG-4标准中的误差恢复视频编码”描述了符合ISO MPEG-4标准的视频编码技术误差恢复方面。适用于ISOMPEG-4标准的特定工具被详细描述，它使压缩的视频数据能够通过有噪声的无线信道通信。这些技术包括再同步策略、数据分配、可逆的可变长度编码和首部扩展编码。
这些工具有助于对MPEG-4比特流增加稳定性。随着再同步标记的使用，MPEG-4比特流由具有几乎相同码长的包组成。不考虑这些工具，当MPEG-4通过无线信道发送时能够获得的接收质量仍然很差。但是，如果在信道编码级使用误差恢复工具，能够产生接收图像质量的进一步改善。尤其是，为了执行不等误差保护(UEP)能够使用数据分配工具包含在每个包中的信息比特被分离为三个分区，每一部分对信道误差有不同的灵敏度。如图1中对I帧所示，分区由首部HI和DC DCT系数和AC系数组成，它们由DC标记DCm分离。置于P帧，分区由运动标记mm所分离的首部HP和运动分区m和纹理分区tp组成。
考虑到无线信道和使用的特性，描述了适当的技术。特别是，关于信源比特对信道误差的不同的灵敏度的信息应当通过UEP使用。该技术包括按照感知的信源比特对误差的灵敏度执行误差保护更敏感的比特用高级保护来保护(对应于低码率)对不太重要的比特使用低级保护(也就是更高的码率)。与典型的前向纠错(FEC)相比，通过信源特性的开发，给定相同的比特率UEP能获得更高的感知图像质量。
在提出的方案中，根据相关信息的主观重要性，三个分区用不同的码率保护。包含在首部中的信息对包的连续解码至关重要，因此那些信息应当加强保护。对内部帧，DC系数比AC系数具有更高的主观重要性；因此DC系数应当比AC系数更高级地保护。至于预测帧，运动数据应当比纹理信息更好地保护，因为如果运动信息被正确接收，纹理信息就会被部分重建。
建议的UEP执行也考虑了不同类型帧的不同重要性在MPEG-4标准中。考虑到内部、预测和向后预测帧，内部帧与其它帧分开单独编码并且预测帧从相邻帧使用信息。
内部帧的正确接收对执行接下来的预测帧的运动补偿至关重要，因此低平均信道码率(即高级保护)应当与内部帧相关联，而预测帧能够用高平均码率编码(即低级保护)。图2示出描述的保护方案的示意性表示。
UEP可以用根据比特的预测重要性选择的码率，通过码率兼容收缩(punctured)卷积(RCPC)编码来执行。在这种情况下，考虑的编码通过收缩(puncturing)相同的“母”码获得。只需要一个编码器和一个解码器来执行整个比特流的编码和解码。这样的码率兼容收缩(punctured)卷积编码从1988年4月的IEEE传输通信第36卷no.4中J.Hagenauer的文章“码率兼容收缩(punctured)卷积编码(RCPC编码)和它们的应用”获知。
不同的平均码率对不同帧的保护使用(I帧用高级保护/低码率编码，对P帧使用低级保护/高平均码率)，并且对每一帧使用加入到MPEG-4标准中的数据分割工具，从而对最重要的分区提供更强的保护。一帧如果没有被正确接收可以被再发送。
一个MPEG-4编码的比特流被构造为图像对象(VO)、图像对象层(VOL)、图像对象平面组(GOV)、图象对象平面(VOP)和包。为了允许同步，比特流的每部分的开始用相关的起始码表示。起始码是唯一的码字，从可变长编码字的任意合法序列中可辨别出。H1表示对VO的起始码，H2表示对VOL的起始码，H3表示对GOV的起始码，H4表示对VOP的起始码并且H5表示包起始码(再同步)。
主要问题是MPEG-4起始码对误差不稳定起始码中的一个误差可能引起遗漏检测，造成同步的丧失。为了处理这些问题，本发明提出了一些有益的解决方案。如果产生误差，有可能进行起始码仿真以及遗漏的检测。
为了解决这一问题，提出了根据本发明的一个方面的起始码替换。
起始码替换在提出的方案中，起始码在用伪噪声字MPEG-4编码后被替换，伪噪声字是具有高相关特性的序列(例如高德序列)。这些新的起始码用无线起始码表示。尤其是，对VO、VOL、VOP、GOV起始码执行替换并对再同步标记执行替换。图3示出了编码数据流S，包括标记H1...H5。这些标记用对信道误差具有高稳定性的标记WH1...WH5替换，以获得适于无线传输的数据流WS。数据流WS在接收机中接收成为数据流RS，它与WS相同但可能具有信道误差。标记WH1...WH5被接收为WH1R...WH5R。标记(字)WH1R...WH5R与WH1...WH5相同但可能具有信道误差。因为这些标记具有高相关特性，所以它们被识别为WH1...WH5，随后它们分别用与H1...H5相同的标记替换。图3和4中的数据流(S)不包括GOV起始码(H3)，认为是MPEG-4比特流。在MPEG-4比特流中早VOL起始码(H2)之后没有GOV起始码(H3)，因为VOL起始码(H2)也表示GOV的开始。
在接收机一侧，在信道解码处理之前，这些无线起始码WH1...WH5的位置通过相关性被估算；在遗漏起始码的概率和起始码仿真的概率之间应当达到平衡，从而无线起始码长度和对相关性适当的阈值的选择被执行。因为检测被执行了，所以无线起始码WH1...WH5用来自原始的一组起始码的对应的起始码H1...H5代替。因此所述的替换对MPEG-4解码器(见图6和8)很明显。
第二个主要问题是由于所使用的可变长度编码和具有每个包中宏块的整数的要求，MPEG-4包并非正好是相同码长并且在不同的包中分区具有不同的长度。这隐含着不能使用固定的UFP方案，并且为了用正确的码率执行解码，比特流结构应当在信道解码级在接收机中已知。象分区一样，包也不是相等码长的；因此，UEP方案应当被动态地对每个包改变并且要求知道分区码长。与这一问题的相关，对执行UEP提出了两个另外的解决方案与UEP结合的成比例的UEP和长度字段插入。
图9示出了成比例的不等误差保护的方案。因为每个字段的长度接受机不知道，使用成比例的方案给出包的(可变)长度。包长度最好通过两个正确的起始码(其中至少一个是包起始)的接收来确定。一个包的延迟通过这样的方案引入，从而填满包缓冲器。考虑到比特流的特性，为每一分区选择百分比长度。给出三个分区的百分比长度P1、P2、P3后，用码率R1、R2、R3保护，对I包的平均码率用过以下公式给出Ravg=R1R2R3P1R2R3+P2R1R3+P3R1R2]]>同样，对P包Ravg′=R1′R2′R3′P1R2′R3′+P2R1′R3′+P3R1′R2′]]>因此，编码后的包长度是
对I帧Lcoded_packet_I=LpacketRavg+MR3]]>并且对P帧Lcoded_packet_P=LpacketRavg′+MR3′]]>其中在考虑卷积编码的情况下M是码的存储器。至于码的存储器M卷积编码与块编码不同之处在于编码器包含存储器并且编码器不仅根据那一时间单位的输入而且根据M预先输入块在任意给定时间单位输出，其中M是码的存储器。存储器M卷积编码器由M级移位寄存器组成，这些寄存器具有选择级的输出，被加入到模-2以形成编码的符号。因为卷积编码是连续的电路，所以它的操作能够用状态图说明。编码器的状态按照它的移位寄存器内容确定；因此编码器可以假定有2M个状态。为了用与其他比特相同的强度保护比特流的最后的比特，M尾部比特应当被加入到比特流中从而使编码器回到已知状态(典型为“0”状态)。实际上，如果考虑卷积编码，包通过向移位寄存器移M个“0”比特而终止，从而允许结构的正确终止。尾部比特用高码率编码。为了计算总的平均码率，I帧和P帧之间的平均值应当被计算并且由起始码替换所引入的操作也应当被考虑。
本发明的这一方面取可变包长度的各个预定的百分比为各个包分区。百分比最好如此确定，包的第一分区包括至少一个第一原始包分区(例如首部)并且第一和第二分区的和包括至少第一原始包分区和第二原始包分区，并且考虑数据流的特性。
长度字段插入对第二个主要问题的第二个解决方案是在“W-编码的”MPEG-4比特流WS中插入长度字段，该比特流是用提出的方案所编码的MPEG-4比特流。图4示出了建议的插入。关于分区的长度的信息包含子数据流中，例如在再同步标记之后在字段1f加入到每个包中，这些信息被或已经被保护。为长度字段选择了特殊的、强大的误差保护，因为它所包含的信息对连续解码至关重要。在接收机一侧，再同步标记的检测之后，长度信息被读出并解码(图8)。接着UEP可能用获知的每个分区的长度来执行。在这种情况下，如果11、12、13是信道编码前三个分区的长度，则包括长度字段的编码后的包的长度将是Lcoded_packet=llength_fieldRlength_field+l1R1+l2R2+l3+MR3]]>最好，长度字段1f包括信道编码后的包分区的长度，即 l2R2,l3+MR3]]>，因为这些是提供给信道解码器的包分区的长度。
在长度信息已经被读出后，长度字段从比特流中删除，即长度字段不插入传到MPEG-4解码器(图8)中的比特流中。从用“无线”传输的原始起始码的替换看出，这种修改因此对MPEG-4解码器是显然的。
尽管如上所述的长度字段插入与起始码替换组合起来应用是有利的，但是长度字段插入本身也可以作为一个发明来解释。
在信道编码级，提出了按照本发明的两个有益的实施例1.起始码替换与成比例的不等误差保护(P-UEP)组合；和2.起始码替换与长度字段插入和UEP组合。
有益的实施例的描述在下文中，对于与帧一致的VOP的简化情况给出了有益的实施例的描述。
在图5-8中虚线表示控制线。
图5示出了根据本发明的第一发射机，第一发射机包括用于起始码H1...H5的检测的起始码检测器12。检测到的起始码由伪噪声字发生器13用对应的伪噪声字WH1...WH5替换。伪噪声字WH1...WH5提供给乘法器14，在将被发送的数据流WS中包括伪噪声字。
数据流S接收到包缓冲器10中。存在于标记H1...H5之间的数据流S的包在信道编码器11中被信道编码以获得信道编码的包。这些信道编码后的包被提供给乘法器并包含在将被发送的数据流WS中。发送的数据流提供给例如用于无线发送的天线或存储介质15。
图5中的信道编码用上述的P-UEP有利地执行，但是也可以另外使用其他信道编码装置。
图7示出了按照本发明的实施例的第二发射机2，它除了被安排执行长度字段插入外与图5的发射机相同。第二发射机包括长度字段插入单元20，它用上述方式尤其与图4相关，向乘法器14提供长度字段1f，从而在发送的数据流WS′中包含长度字段1f。在该实施例中，长度字段插入单元20由起始码检测单元12控制。
图6和8示出了用于接收数据流WS和WS′的接收机3和4，数据流分别由与图5和7类似的装置发送。在起始码检测器32(例如伪噪声字检测器)中，在每个允许的伪噪声字(即来自预定的一组伪噪声字，对应于标记)和相关比特流部分之间执行相关性评价以检测表示起始码的伪噪声字。相关性与对应的阈值th相比较。当检测出伪噪声字时，比特流中的比特指示器移位适当的比特数，并且对应的MPEG-4起始码H1...H5由起始码发生器33提供，该起始码插入到乘法器34中，乘法器34的任务是安排比特流S′供给MPEG-4解码器。如果检测到起始码或VOP起始码，VOP指示器改变状态。
如果检测出再同步标记，包缓冲器30被初始化并且后来的比特填入缓冲器直到检测到下一个起始码。直到缓冲器包含N比特时才执行相关性比较，其中N是包的最小长度。当检测到下一个起始码时，缓冲器30包括一个包；在信道解码器31中，信道解码在缓冲器中的比特上执行，根据VOP指示器信息和包含在长度字段1f中的百分比(图6)或长度信息(图8)。用在该方案中的码率最好是固定的，用在信道编码器11中的码率也同样最好是固定的。在可变码率的情况下，码率不得不从发射机中的信道编码器11中接收。信道解码后的包插入到乘法器34中，它将比特流提供给MPEG-4解码器。注意如果使用RCPC码，则在解码之前执行解收缩(de-puncturing)。在这种情况下，接着包以母编码率解码。
尽管在图5-8中没有示出，但是数据流可以在由发射机中的调制器在传输之前被调制并接着在接收机中由解调器执行解码之前解调。
应当注意到上述实施例描述不是对发明的限制，并且本领域技术人员将能够在不脱离随附权利要求范围的情况下设计很多其它装置。在权利要求中，任何放在括号内的附图标记将不作为随权利要求的限制。“包括”一词不排除与权利要求中列出的不同的其它部件或步骤的存在。本发明能够用包括几个特殊部件的硬件或适当编程的计算机来完成。在列举了几个装置的设备权利要求中，这几个装置能够用一个装置来完成或是相同内容的硬件。某些措施在彼此不同的独立权利要求中叙述的事实不表示这些措施的组合不能被使用以获得优势。
总之，本发明提供了数据流的编码，数据流包括在预定的一组至少两个互相不同的标记之外的至少一个标记，标记表示数据流给定部分的开始，其中至少一个标记用具有对信道误差的稳定性比至少一个标记更高的更高稳定性字，例如伪噪声字表示。有益的是，更高稳定性字表示至少一个标记从预定的一组更高稳定性字获得，预定的一组更高稳定性字中的每个更高稳定性字对应于预定的一组标记的给定标记。
而且，本发明提供解码方法，其中给定该稳定性字的位置由接收到的数据流与从预定的一组更高稳定性字获得的更高稳定性字的相关性确定，并且给定的更高稳定性字被解码以获得用在预定位置的更高稳定性字表示的标记。
权利要求
1.一种编码数据流的方法，数据流包括在预定的一组至少两个互相不同的标记之外的至少一个标记，标记表示数据流给定部分的开始，该方法包括用对信道误差具有比至少一个标记更高的稳定性的更高稳定性字表示至少一个标记；以及输出具有用更高稳定性字表示的至少一个标记的数据流。
2.如权利要求1所述的方法，其中更高稳定性字是伪噪声字。
3.如权利要求1所述的方法，其中表示至少一个标记的更高稳定性字从预定的一组互相不同的更高稳定性字获得，在预定一组更高稳定性字中的每个更高稳定性字对应于在预定的一组标记中的给定标记。
4.如权利要求1所述的方法，该方法包括根据进一步的信道编码装置进一步信道编码数据流的给定部分。
5.如权利要求4所述的方法，其中进一步信道编码包括用不同的保护码率编码数据流的给定部分的各个分区，其中各个分区的各自长度由数据流的给定部分的长度的各自预定的百分比确定。
6.如权利要求4所述的方法，其中进一步信道编码包括用不同的误差保护码率编码数据流的给定部分的各个分区，其中关于各自相应长度的信息包含在数据流中。
7.如权利要求1所述的方法，其中数据流是MPEG-4数据流，并且预定的一组标记包括图象对象起始码，图象对象层起始码，图象对象平面起始码，图象对象平面组和再同步标记。
8.一种解码数据流的方法，接收的数据流包括分别表示代表数据流的各个部分的开始的标记的更高稳定性字，更高稳定性字与分别用更高稳定性字表示的标记相比对信道误差具有更高稳定性的更高稳定性字，该方法包括确定更高稳定性字的位置；以及在预定位置用由更高稳定性字表示的标记代替更高稳定性字。
9.一种用于编码数据流的编码器，数据流包括在预定的一组至少两个互相不同的标记之外的至少一个标记，标记表示数据流给定部分的开始，该编码器包括用于用对信道误差具有比至少一个标记更高的稳定性的更高稳定性字表示至少一个标记的装置；以及用于输出具有用更高稳定性字表示的至少一个标记的数据流的装置。
10.一种用于解码数据流的解码器，接收的数据流包括分别表示代表数据流的各个部分的开始的标记的更高稳定性字，更高稳定性字具有与分别用更高稳定性字表示的标记相比对信道误差更高稳定性的更高稳定性字，该解码器包括用于确定更高稳定性字的位置的装置；以及用于在预定位置用由更高稳定性字表示的标记代替更高稳定性字的装置。
11.一种用于发射数据流的发射机，该发射及包括一个如权利要求9所述的编码器；和用于发射数据流的天线装置。
12.一种用于数据流的接收机，该接收机包括用于接收数据流的天线装置；和如权利要求10所述的解码器。
13.一种数据流，包括分别表示代表数据流的各个部分的开始的标记的更高稳定性字，更高稳定性字具有与分别用更高稳定性字表示的标记相比对信道误差更高稳定性的更高稳定性字。
14.一种存储介质，在该存储介质上已经存储了如权利要求13所述的数据流。
全文摘要
本发明提供了数据流的编码,数据流包括在预定的一组至少两个互相不同的标记之外的至少一个标记,标记表示数据流给定部分的开始,其中至少一个标记用具有对信道误差的稳定性比至少一个标记更高的更高稳定性字,例如伪噪声字表示。有益的是,更高稳定性字表示至少一个标记从预定的一组更高稳定性字获得,预定的一组更高稳定性字中的每个更高稳定性字对应于预定的一组标记的给定标记。而且,本发明提供数据流的解码,其中给定该稳定性字的位置由接收到的数据流与从预定的一组更高稳定性字获得的更高稳定性字的相关性确定,并且给定的更高稳定性字被解码以获得用在预定位置的更高稳定性字表示的标记。
文档编号H04N7/50GK1386329SQ01802053
公开日2002年12月18日 申请日期2001年7月5日 优先权日2000年7月17日
发明者M·G·马蒂尼, M·基亚尼 申请人:皇家菲利浦电子有限公司