以较小的存储需求量进行压缩视频图象数据译码的方法

文档序号:7567635阅读:177来源:国知局

专利名称::以较小的存储需求量进行压缩视频图象数据译码的方法目前的压缩视频图象数据的标准、例如ISO/IEC11172-2(MPEG1)或者ISO/IEC13818-2(MPEG2)将预测编码和变换编码的原理结合起来而形成所谓混合编码。其中,预测是借助于所谓差分脉冲码调制环路(DPCM-环路)进行的,其差分图象是由待编码的原始图象数据中减去预测图象数据而产生的。在这些差分图象中所保留的相邻象点之间的位置相关性将借助适当的变换、优先借助离散余弦变换(DCT)而加以利用。其间所产生的变换系数最后进行最化并且按照熵编码方法传送。专业人员由各种文献中、例如由文献[1]、[2]和[3]中已经了解了这种压缩方法的基本原理。为了在出现移动物体的图象区域内改善预测的质量。采用了所谓移动补偿预测方法。专业人员例如由文献[4]和[3]中业已了解其中所必要的移动估称基本原理及其在移动补偿预测中的应用。在上述压缩视频图象数据的标准方法中对于移动补偿预测附加了一个所谓移动补偿插补。这种移动补偿插补与MPEG-专业术语一起也可以称之为双向预测。但是由于这种表达方式有可能很容易与移动补偿预测混淆。所以在专利申请范围内优先采用移动补偿插补的概念。通过移动补偿插补的应用显著地改善了图象的质量,因为它可以满意地处理遮盖了的图象区域并且对改进噪声抑制作出贡献。有三种不同的图象编码方法加以区分。所谓I-图象不带时间预测的加以传送,而只进行内部图象编码,优先是DCT-编码然后对变换系数加以量化。其中,在本专利申请范围内,“内部图象编码”泛指每一种适宜于处理在图象数据中的位置相关性的方法。所谓D-图象将借助于DPCM-环路由前面时间的I-图象或P-图象预测(前向预测)。对预测图象的实际图象之间的差值进行内部图象编码,优先是DCT-变换然后对变换系数加以量化。从时间的角度在一个I-图象和一个P-图象之间或者在两个P-图象之间有若干所谓的B-图象,这些图象在本专利申请范围内亦称之为“插补图象”。B-图象通过(双向)移动补偿插补由一个时间在前的I-或P-图象和一个时间跟随其后的I-或P-图象中求得。其中,(时间上)“跟随其后”以及“在前”的概念不是指在压缩图象的数据流中这些图象传输的顺序。而是指其摄取-/复制的顺序。正如P-图象那样,B-图象也以一个差分图象量化变换系数的形式进行编码。为了通过移动补偿插补由一个时间在前的I-或P-图象和一个时间跟随其后的I-或P-图象形成B-图象。在目前已知的执行过程中有必要提供以全译码形式的两个参考图象(在文献中也称之为支持图象)。就是说,就当前技术水平而言,在进行移动补偿插补时在图象存储器中应存储两个全译码参考图象(I-图象或P-图象)。对此情况下在图象输出时需要更大的存储量。总共所需要的存储器是用于译码的硬件的一个决定性的价格因素。就是说,降低所需要的存储量是值得期望的。本发明的任务在于以较小的存储需求量进行压缩视频图象数据译码的方法。按照本发明此项任务是通过权利要求1所述特征的以较小的存储需求量进行压缩视频图象数据译码的方法加以解决的。其中,在进行插补时对于参考图象数据的存储仅仅需要一个全译码第一参考图象和一个压缩了的第二参考图象规格的存储位置。可以指望的存储器的节省,在一个典型的应用情况下(MPEG2/MainLevel/MainProfile)假定典型的通道数据比率为10Mbit/s时,至少为2.6Mbit。由于这种存储量的节省使得在一个芯片上进行的码积分显著简化或者说才成为可能,从而在实施过程中更加经济。然而其先决条件是具有用于译码的足够快速的硬件逻辑电路,如果没有,则先决条件是此相应硬件逻辑电路的倍增。本发明的核心在于,取代未压缩数据的存储、对第二参考图象仅仅将压缩了的数据准备保留在译码器(相应放大了的)输入缓冲器中。为了在两个P-以及I-图象之间(或者使在两个参考图象之间)形成一个B-图象,由压缩了的数据流中只是图象输出瞬间所需的图象区域译码。这在MPEG中例如是第二参考图象中那些在考虑到与移动补偿相应位移的情况下与插补图象待测定的大图象块重叠的图象块。在全图象预测的实例中对于第二参考图象待译码的大图象块的亮点需要9个图象块各具有第一参考图象8×8亮点。本发明的应用领域不仅包括译码,而且也包括图象数据的编码,因为一个按照预测原理通过DPCM编码工作的编码器总是包含着一个对编码数据再译码的译码器,只有这样才可以在一个DPCM-环路中进行参考图象的计算[1]。本发明的进一步发展在各项从属权利要求中作了阐述。本发明的一个优先实施形式是,为了形成和输出第二参考图象。紧接着插补图象的输出首先利用用于输出这些图象的存储器位置,以便不压缩地存储第二参考图象。此外,如下作法是有利的,如果—在此之后紧接着利用用于第一参考图象的存储器,以便不压缩地存储第二参考图象的留下来的剩余部分,—将用于第一参考图象的存储器中不再需要的剩余部分作为输出存储器用于下面的插补图象,并且如果—现在已摄取了全部未压缩第二参考图象的存储器区域包含着用于时间上跟在其后的插补图象译码的第一参考图象。本发明也可以借助一个电路装置实现压缩视频图象数据的译码,例如如权利要求其中之一特征所述。本发明绝对不仅限于变换编码范围,特别是不仅限于以图形块形式进行的DCT-编码范围。因为关于内部图象编码不需要作任何先决条件的假设,因此本发明可以与实际上所有已知的或今后待开发的内部图象编码、例如与所谓的Quadtree-编码或与建立在目标节段基础上的各种方法结合使用。应用本发明的先决条件是(双向)移动补偿插补。下面借助于几个优先实施例并借助于附图对本发明进一步加以阐述。图1以示意图形式示出一个MPEG2-图象-译码器、例如数字式电视的原理电路图。图2以示意图形式示出根据本发明具有较小图象存储需求量的一个MPEG2-译码器的原理电路图。图3以示意图形式示出一个B-图象的大图象块和所属参考图象的相应的、通过移动补偿位移了的大图象块之间的联系。图4以示意图形式示出图象存储器按照本发明方法的分配。在这些附图中所使用的参考符号其含义如下CDBS压缩图象数据的位流BF缓冲器INVQ逆量化DCTC变换系数,DCT-系数IDCT逆DCTMD移动信息,移动矢量BSP图象存储器RBV用于前向预测的参考图象块RBr用于反向预测的参考图象块BSYN图象合成DCMB译码大图象块AS图象输出存储器(用于Re-Interlacing)YUVRGBYUV/RGB-转换MON模拟器HAHeader-分析VRLD可变长度译码/移动长度译码MC移动补偿ZGT向一个存储器范围的存取表RB1,2参考图象(支持图象)IB插补图象RF1参考图象1RF11参考图象1的第一个半图象RF12参考图象1的第二个半图象用于数据压缩的图象序列编码是按照混合DCT-方法进行的,就是说,图象的时间相关性的利用是通过时间上的移动补偿预测进行的,而位置相关性的利用是通过离散的余弦变换(DCT)给出的。此DCT在8×8图象点的图象块上进行每4个辉度r的图象块,1个色度U的图象块和一个色度V的图象块组成一个大图象块,这样一个大图象块在一个彩色图象中覆盖16×16个图象点。一个图象块行的若干大图象块可以,但不是必须构成所谓Slices(即片)[27][3]。这些大图象块的所有信息均包含在Slice-Header(片-标题)中。一序列视频图象优先分成若干图象组(GOP,即GroupofPictures),每一组例如可以包括12个图象。每一个图象组均以一个内部图象编码图象(亦称I-图象)开始。对于这些图象的数据压缩只利用了位置相关性;对已过去的图象和未来的图象均无影响。此I-图象用作未来时间预测P-图象的参考图象。此预测借助于移动补偿进行。时间预测误差作为内部图象编码差分图象加以传输。一个P-图象仍然用作下一个P-图象预测的参考图象。如图1所示,为了对压缩图象数据位流译码,首先将此位流CDBS装入一个缓冲器BF,此缓冲器在MPEG2的情况下例如其最小的规格为1.75Mbit,由此缓冲器可以读出具有可变的、由译码器控制的速率的数据。在此输入数据流中各图象例如以如下顺序I1,P4,B2,B3,P7,B5,B6,P10,B8,B9,I13,B11,B12,P16,B14,…出现,其中字母为图象类型,标号为在译码位流中的部位,就是说给出图象应显示出来的顺序。就是说,对应时刻2或3的、应通过插补由参考图象I1和P4译码的B-图象B2和B3在传输时从时间上跟随在对应时刻1和4的参考图象之后。当在此专利申请中谈到时间上已过去的图象或时间上跟随其后的图象时总是指摄取-/复制时刻的顺序,例如以此顺序P-图象P4跟随B-图象B2和B3。正如借助于下表1所示,如果采用如下存储器占用状态,则为了对编码的数据流译码有两个图象存储器就足够了。表1.就当前技术水平图象存储器的占用状态<</tables>其中,在图象输出存储器中开始未考虑格式转变操作(interlaced/progressir,图象块格式/行格式)。本发明现在指出了一条进一步减小存储需求量的途径,即为了进行双向插补需要少于两个完整的图象存储器。在当前技术水平的各种方法中—如图1所示—在缓冲器BF中包含的数据流由一个用于标题分析的设备HA进行分析,即所有已编码图象的各个大图象块最后可以进行内部图象译码,优先以反向量化INVQ和反向变换IDCT的形式。根据本发明—如图2所示—有一个参考图象以压缩形式保留在图象存储器BSP2中,此存储器可通过一个存取表ZGT描述或读出。借助于此描述专业人员会明白,存储器BSP1在物理结构上不必与缓冲器BF的存储器范围区分,而是存储器BSP2可以是逻辑上另一种存取缓冲器BF数据的形式。然而,另一个参考图象完全译码用于图象合成BSYN1,2并且以未压缩的形式存储在一个完整的图象存储器BSP1中。一个P-图象Pi总是单向地(前向)由前面的I-图象或P-图象(I(i-b-1)或P(i-b-1))预测,其中b表示在两个参考图象之间的B-图象的数量。如果提供足够的计算能力,则未压缩的存储前面的参考图象足以对插补所需的缺少的P-图象Pi范围进行实时运算。然后,此P-图象Pi可以未压缩地保持到其本身应被输出并且作为下面的P-图象P(i+b+1)的基础(见图2)。同样,一个I-图象I(i)也可以未压缩地保持到其本身应被输出并且作为下一个P-图象的基础。对于各个大图象块均给出用于预测的移运信息。一个大图象块由16×16辉度象点附加2×8×8色度象点以所谓4∶2∶0格式构成。现在如果在B-图象中一个大的图象块参照P-图象Pi包含一个移动矢量,则为了进行移动补偿应将P-图象以所属大图象块去压缩。移动矢量(例如在全图象预测中)通常为16×16图象块,不应在初始大图象块的光栅中,而是可以在半象点光栅中移动(见图3)。因此为了反向预测通常有4个大图象块(或至少9个图象块、各8×8辉度象点附加2×4个图象块,各8×8色度象点)应完全去压缩。就是说在反向预测时需比本文开始所述的普通的MPEG一译码高4倍的计算速度(在全图象预测时)。在这4个大图象块去压缩时存取4个16×16图象块(或者在“worstcase”时在半图象模式16×8-预测和在半图象点精度时8个17×9图象场)。此存取对于计算能力不构成问题,因为相应的图象数据是未压缩存储的。此外,对于前向预测应读出未压缩存储的前面参考图象(I(i-b-1)或P(i-b-1))的一个图象块。这样,所需要的存储器带宽提高到约750Mbit/s,因为对每一个大图象块通常应读出一个16×16图象块用于前向预测以及四个16×16图象块用于反向预测。此带宽问题通过在处理器组件上的存储器积分可以得到缓解。应用本发明的先决条件在于可以直接存取参考图象的各个图象块。因此涉及到在存储器中大图象块的地址应对压缩数据加以分析(HA)。这些地址应以图表形式(ZGT)进行存储。此外,在必要时应将大图象块现有的编码解除。只要是应输出P-图象Pi,也就应未压缩地存储。因此应提供这么多图象存储器,以致没有对去压缩所必要的第一个参考图象的图象数据过早地修改。因此在存储器中至少应保留最大可能的搜索范围,移动矢量可以以此搜索范围为基准。如果P-图象Pi的移动矢量场预先作了分析,则甚至因此可以节省更多的存储器位置,即不再需要的区域可以提前修改。其中,仍然可以采用存取表ZGT以便以任意顺序对大图象块进行去压缩。这里再次强调指出,对于采用已有缓冲器BT压缩参考图象BSP2的存储需求量其含义可以认为是压缩了的数据不应附加地保留在一个另外的物理结构的存储器BSP2中,而是存储器BSP2也仅仅可以构成对在缓冲器BF中存储的数据的一种逻辑存取形式。为了在两个P-图象或两个I-图象之间(即两个参考图象之间)形成B-图象,由压缩的数据流仅仅是在瞬间对图象输出所需要的图象区域进行译码。因为图象数据的产生是一块一块地进行的,而复制是一行一行的实现的,所以输出存储器至少要摄取两行图象块。此外,为了能够将作为全图象译码的图象在行跃迁方法中,即作为2个半图象输出,应配备一个半图象存储器(Re-Interlacing)。为了与目前现有的方法进行比较,按照本发明在每个B-图象上不仅应对B-图象数据进行译码,而且也应对跟随其后的参考图象的数据进行译码,因此或者是需要一个快速的译码硬件,或者此硬件应倍增以便并行处理。然而,在译码硬件加倍的情况下在芯片面积方面所增加的费用有可能小于通过减少所需存储量而在芯片面积上以获得的益处。在应用目前已知的译码方法时,对于参考图象的存储在输出存储器和输入缓冲器的CCIR601格式中总共需要约16Mbit的存储量。按照本发明方法其最大的存储需求量对于第一参考存储器为4.75Mbit,对于输入缓冲器为2Mbit包括用于附加溢出备用的600kbit,用于压缩参考图象为1.75Mbit,用于存取表格为34kbit以及用于将两个大图象块行存储在输出存储器中为270kbit。就是说借助于这里所描述的方法存储需求量已降低到约11.6Mbit或者更小。译码过程阐述如下(其中,在应用本发明的情况下应相应地采用编码器中的译码器部分)一个图象组的数据流以标题信息(GOP-标题)开始。接下来是用于I-图象的数据。由这些数据形成第一个参考图象并且将这些图象数据存入第一参考图象存储器(参考存储器)中。再接下来是用于P-图象的数据。尽管对这些数据进行了分析,然而在存在B-图象的情况下第二参考图象不是立即形成,而仅仅是保留在一个存取表(ZGT)中,在其部位有标题信息(图象标题,片标题)和大图象块信息。在存取表中对每一个大图象块应有一个登记。按照本发明图2示出了一个具有降低了的存储需求量的译码器的简化框图。其中最主要的是用于第二参考图象存储器(参考存储器)的数据压缩保留在存储器BSP2中并且在片和大图象块面可以存取这些数据(其中存储器BSP2和BF可以作为一个物理结构的存储器)。为了使这一点成为可能,则应将所属的地址在存取表上固定下来。在对P-图象的数据进行分析之后接下来分析用于第一B-图象的数据,此B-图象在图象组内是第二个待描绘的图象。如上所述,B-图象的各个大图象块由移动补偿的双向插补出发由相邻的参考图象和传输的预测误差形成。这意味着应由第1和第2参考图象提供一个相对待形成的大图象块位移了的图象块,其大小为16×16象点(见图3)。当在第1参考图象存储器BSP1中已经提供了第1参考图象所需数据时,才形成用于第二参考图象存储器的相应数据。由图3可见,这是4个大图象块,其在参考图象上的位置是由在B-图象中待形成的大图象块和其所属的移动矢量的位置得到的。对此形成所必要的数据由存储器BSP2获得,其所属的地址在存取表(ZGT)中。对于在一个B-图象中的每一个大图象块的形成通常接下来应形成第2参考图象的相应4个大图象块。所形成的B-图象将经输出存储器输出。如果在两个参考图象之间的所有B-图象均作了处理和复制,则重新形成整个的第二参考图象,一方面用于图象输出,另一方面用于下一个周期(PBB或IBB)作为第一参考图象。这里,这些数据首先存入以前曾用作输出存储器的存储器区域。因为此区域对于摄取整个参考图而言(半图象存储器)过于小,所以以后在上一个周期曾用于第一参考图象的区域需加以修改。在此形成为不再需要的存储器区域将用作下面一些图象的输出存储器(见图4)。无论如何以前曾用作第1参考图象存储器的存储器区域不能直接进行修改;因为这些数据对于形成预测图象开始还是需要的。由于移动补偿也可以在形成更深一些的图象块行时迁返回存取比移动矢量垂直分量最大值更高的那些数据(在ISO/IEC13818-2中127行)。这意味着此区域无论如何应该保持下来,即使是输出存储器通过其它措施还能进一步减小。在本专利申请范围内谨推荐以下文献(1)D.J.LeGall,“MPEG视频压缩算法”(“TheMPEGvideocompressionalgorithm”),信号处理图象传输4(1992)129-140.(2)国际标准ISO/IEC11172-2移动图象的编码及相关声频,ISO/MPEG,1993(E)。(3)国际标准草案ISO/IEC13818-2移动图象的通用编码及相关声频,1994年3月25日。(4)M.Bierling,“通过分级块比较的预测位移”(“Displacementestimationbyhierarchicalblockmatching”),在VisualCommun上的第三个SPIESymp.,剑桥,MA,1988年11月。权利要求1.根据采用移动补偿预测进行差分脉冲码调制编码原理以较小的存储需求量进行压缩视频图象数据译码的方法,其中,插补图象由一个时间上在前面的参考图象和一个时间上跟随其后的参考图象通过双向移动补偿插补求得,其特征在于,对于一个插补图象的形成仅需要以全去压缩形式的两个参考图象中的一个参考图象,与此相反,由另一个参考图象中仅仅是在考虑到与移动补偿相对应的位移的情况下与插补图象待求得的图象区域重叠的那些图象区域去压缩。2.根据权利要求1所述方法,其特征在于,在输出插补图象之后为了形成和输出第二参考图象,首先利用用于图象输出的存储器位置,以便未压缩地存储第二参考图象。3.根据权利要求2所述方法,其特征在于,—接下来利用用于第一参考图象的存储器,以便未压缩地存储第二参考图象的剩余部分,—用于第一参考图象的存储器不再需要的剩余部分可以作为跟随其后图象的输出存储器加以利用,并且—现在已摄取了完全未压缩的第二参考图象的存储器区域包含着用于在时间上跟随其后的插补图象译码的第一参考图象。4.用于压缩视频图象数据译码的电路装置具有如下特征a)备有一个用于中间存储到来的压缩视频图象数据的设备,由此设备中可以用可变的数据速率读出这些视频图象数据;b)备有由这些压缩视频图象数据中将各个图象区域译码的手段;c)备有由一个时间上在前面的参考图象和一个时间上跟随其后的参考图象产生插补图象的手段,包括用于存储这些参考图象数据的手段;d)在这些用于存储的手段中,存储着一个全译码第一参考图象以便进行插补图象的译码;e)备有用于第二参考图象中双向插补所需图象区域译码的手段。全文摘要在对压缩视频图像数据译码时为了双向移动补偿插补建议只将两个参考图像中的一个参考图像完全译码。由另一个参考图像仅仅是考虑到与移动补偿相对应的位移的情况下与插补图像待求得的图像区域重叠的那些图像区域去压缩。这样,可以显著减小译码硬件的存储需求量。文档编号H04N7/46GK1156530SQ95194744公开日1997年8月6日申请日期1995年8月18日优先权日1994年8月24日发明者S·普朗格,H·盖贝,B·哈默,J·潘德尔申请人:西门子公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1