视频信号编码和缓存器管理的制作方法

专利名称：视频信号编码和缓存器管理的制作方法
技术领域：
本发明涉及数字视频信号的编码，具体地，涉及视频编码的方法和装置，应用在对缓存存储器的可用性有制约的系统内。
在缓存上有制约的编码系统例子说明于共同转让的国际专利申请WO96/17491中。该申请说明了以视频片段形式编码数字视频信号的方法和装置，使片段能够无缝地连接而不需将解码器复位到起始状态。该系统采用具有编码级和编码器缓存器的编码器，该方法包括按照预定的编码方法(合适地符合MPEG标准)接连地编码片段图像，将已编码图像读出至缓存器中，随后以实质上恒定的比特率从缓存器中读出编码的片段。为了能简单地连接各个片段，规定了预定的编码器缓存器占有度，应用可控地变化的目标比特数目编码图像。这一目标使得最后的图像段读入缓存器瞬间，形成的编码器缓存器占有度实质上等于预定的缓存器占有度。该技术的具体应用是在互动视频系统中，用户在那里能够影响叙事流程，在叙事的呈现中没有不连续性。
诸如MPEG(例如ISO/IEC11172中对MPEG-1的定义和ISO/IEC13818中对MPEG-2的定义)的预定视频编码方法是通用标准在许多应用中具有灵活性和强硬性。然而，当视频编码和/或解码用的处理能力十分关键而本机存储器有限制时会发生问题此时，保持与通用标准的符合性变得很困难。
所以，本发明的目的是在具有与诸如MPEG标准之一的至少一种编码规范子集保持符合性的能力下，适度的视频压缩容许存储器和处理资源最小化。
按照本发明，提供了在具有编码级和编码器缓存器的编码器装置内对数字视频图像信号进行编码的方法，方法中包含有步骤以符合于预定编码方案的方法接连地编码信号的图像场；将已编码场数据读入缓存器中；以及随后以至少部分地由缓存器充满度确定的比特率从缓存器中读出存储的数据；其中，每个图像场编码成一系列像条，每个像条由场内预定数目的接连的行组成，并对像条的编码分配预定数目的数据比特，将已编码像条数据读入编码器缓存器，随后从中读出而完成像条的编码。
通过将每一场处理成例如是16行亮度或色度的一连串像条，编码器中的缓存需求可以减小，不需要整场的缓存容量。根据预定的编码方法顺序地编码每个像条，由此能减小存储器容量的要求。
合适的做法是对场内的像条进行编码，使已编码场符合一种或多种MPEG标准，为进一步减小缓存需求，可取地对场内像条进行场内编码，不需参考任何其它场。
合适地使像条编码保持于预定数目比特内的一种技术是编码级以多种量化层级(也就是细节的层次)编码像条，量化层级的选择决定于所述分配的预定比特数目。细节层次的选择能够自适应地在给定的最大可应用比特数目下使分辨率最高，不过，它与有限组群的预定量化层级工作相比较，要花费更多的计算。
另外，按照本发明，提供一种数字视频图像信号编码器装置，包含有编码级，安排成接收信号内连续的场，并按照预定的编码方法进行编码；以及缓存器，连接成接收编码级来的已编码场数据，并安排成随后以至少部分地由缓存器充满度确定的比特率输出存储的数据；其中，进一步安排编码级使每个图像场编码成一系列像条，每个像条由场内预定数目的接连的行组成，并在所分配的预定数目比特内编码像条，另外，缓存器安排成使像条的编码数据先读入缓存器内，然后从中读出而完成像条的编码。
象前面说明的方法，编码级合适地安排成对场内的像条进行编码，使已编码场符合一种或多种MPEG标准，可选地将编码级安排成对场的像条进行场内编码，不需参考任何其它场。此外，编码级工作中可使用多种量化层级对像条编码，量化层级根据所述分配的预定比特数目在编码级内合适地确定。
上面说明的装置具有多种应用，不止是作为一种转换设备，使得已有的编码数字视频再编码(仍保持符合预定的编码标准)以满足缓存和带宽上较严格的要求。因此，按照本发明的再一个方面，提供一种数字视频图像处理装置，包含有如上面说明的信号编码装置，还包含有用于与所述已编码图像之解码器相连接的已编码数字视频图像源，所述解码器有一个连接至所述编码级输入的输出。
一个实施例中，前述的已编码数字视频图像源中包含有连接装置，用于连接所述图像的远端源。另一种情况，所述源内包含有从可装卸存储装置中接收和读出已编码数字视频图像数据的装置。后一种情况下，合适的可装卸存储装置包括按照DVD、CD-ROM或类似标准的格式化光盘，用于接收和读出已编码数字视频图像数据的装置是合适地配置的光盘读出器。
再又，按照本发明，提供一种携载有前面所述方法编码的多个视频图像场的光盘。
现在，通过例子并参考


本发明的优选实施例，附图中图1示明整个帧在两种比特率和场内模式下编码时两种序列的MPEG VBV缓存器状态图；图2上包含有图1中所用序列和比特率下像条大小的各别直方图；图3示明与图1中各图相对应而按像条编码时的MPEG VBV缓存器状态图；图4概略地示明符合于MPEG-2要求的有限制的像条结构；图5是修改的MPEG缓存器模型中各个成分的功能图；以及图6是整场编码方法和独立像条编码方法下两种缓存器充满度与时间关系的曲线比较。
下面的说明考虑到视频编码器按照MPEG标准(包括ISO11172-2的MPEG-1、特别是ISO13818-2的MPEG-2)工作，不过熟练的从业人员知道，本发明也可应用在不符合MPEG标准的其它视频编码方法中。
下面的编码方法中，编码的每个场只应用场内基编码，不参考任何其它场。这样，由于不需要预测编码(MPEG的P型和B型图像)中的整场缓存器，所需的存储器存储量可以最小化。编码方法中包括有对MPEG视频(ISO/IEC13818-2)之视频格式的多项限制全部限制定义于ISO/IEC13818的主型(MP)比特流场合中，还有下列多项制约。
序列首标中horizontal size value应为720。
frame_rate为0100b(29.97Hz)时vertical_size_value应为480，frame_rate_code为0011b(25Hz)时，vertical_size_value应为576。
frame_rate_code应为0100b或0011b。
bit_rate应小于75000(30Mb/s)。
vbv_buffer_size_value应为112或小些。实际缓存器大小为vbv_buffer_size_value×16×1024bit，相应于ISO/IEC13818-2中对MP@ML规定的1835008bit。应当指出，MPEG缓存器大小是对于通用MPEG编码器和复用器定义的，然而，优选实施例中，应用了高比特率的场内编码。对这一型MPEG编码器产生的数据量其变化率比之通用的I、B、P帧MPEG编码器中的要小得多，后者的MPEG编码器必须使比特率优化到最大的可能程度。申请人认识到，通过进一步制约VBV和STD模型，本发明对这一型能显著地减小缓存器大小。
序列扩展中profile_and_level_indication应为01000110b(意思是MP@High-1440)。
progressive_sequence应为“0”。
chroma_format应为01b(4∶2∶0)。
horizontal_size_extension应为00b。
vertical_size_extension应为00b。
bit_rate_extension应为00000000b。
frame_rate_extension应设定为“0”。
不应用序列显示扩展和序列缩放扩展。图像组(GOP)首标至少应每12帧(25Hz帧频)或每15帧(29.97Hz帧频)编码一次，在前面要有重复的sequence_header和sequence_extension。
图像首标中picture_coding_type应为001b(规定内编码)。
vbv_delay应为0xffff。
图像编码扩展中picture_structure应设定为01b(顶场)或10b(底场)，如ISO/IEC13818-2中定义地交替。不可采用帧图像。
现在，考虑缓存需求如上面的定义，应用场内基编码可使编码和解码处理中所需的存储器容量最小。为做到所需存储器的总体优化，还考虑到在VBV和复用中需要的缓存存储器。下一节考虑到两方面的容量，即被编码(或解码)时存储输入信号所需的存储容量，以及需要的VBV缓存器容量。
首先，关于场基编码中的输入缓存问题，DVD(数字通用光盘)子图像为4∶2∶2分辨率。假定，子图像与MPEG视频间的混合是在MPEG4∶2∶0视频经上取样成4∶2∶2后进行的，因此，再编码器的视频输入是场顺序的4∶2∶2格式，对彩色需作下取样。
优选实施例中，场基编码器实现中在编码器输入端对亮度采用16行的视频存储，并对色度采用16行的视频存储。熟练的实践人员知道，这些数值取决于编码器的细节，尤其，如果输入已经是4∶2∶0格式，则可能应用小一些的存储器。另一种情况，再一种解决办法可应用更小些的存储器。对于16行像条，存储要求为对于亮度 16行视频存储需16×720＝11520比特对于色度 16行存储需16×720＝11520比特总存储要求为23千字节另一方面，通常的帧基编码要求一场存储容量的存储器，再加上第二场至少最初8行的存储容量。对于625行信号，有如下的存储要求(525行系统所需的存储器稍为小些)对于亮度288+8行视频存储需要(288+8)×720＝213120字节对于色度需要144+4行，(144+4)×720＝106560字节总存储要求为320千字节其次，考虑VBV和STD缓存器所需的存储器，主要考虑点是数据流比特率和图像规模。例如，假定是30Mb/s和整屏625行或525行的图像，则有下列数值场频50Hz 60Hz比特率 30兆比特/秒 30兆比特/秒比特/场 600千比特500千比特比特/像素 2.9比特/像素 2.9比特/像素就图像规模而言，上列数值2.9比特/像素导致比较高的比特率。然而，申请人知道，即使是短时间内要有良好的图像质量，也往往不需超过这个比特率，因此，可以预料MPEG编码器需产生的每图像比特数目其变化率是低的。当只应用一种图像类型也即I帧而不是完全的MPEG系统中的I、B和P帧进行编码时，上面所述尤其正确。因此，可以看出，只需比较小的缓存用于吸收短时间的比特率变化。
现在，转向比特率的考虑，所需VBV缓存容量又取决于比特率和所谓“存取单元”的预期大小(也即压缩的MPEG场)。根据上面对于50Hz和60Hz场频的列表，50Hz时平均大小约为600千比特。MPEG模型中，缓存器容量至少应大于这个值。然而，根据节0给出的结论，需要比这个值大得多。另外，尽管在MP@ML中容许更高的比特率，而MPEG MP@ML缓存器容量较足够地用于这一编码型信号。
为表明上面的结论，申请人已经在两种不同比特率(25兆比特/秒和35兆比特/秒)的场内模式中编码两个序列(图1至图3中分别标识为“橄榄球”和“车轮”)，以研究VBV缓存器状态的实际进展。没有应用专门的编码控制算法使编码器占有度最小。它给出了上面结论的简单检验。
图1示明场内模式下的两种比特率编码两个序列的MPEG VBV缓存器状态图。状态图表明，平常的MP@ML缓存器足够用于场内基编码。在起始处看到的暂态(线迹的左边)是编码器从空白缓存器开始的结果。对此容易用先进的控制器予以解决。图1的曲线图又证实，图像规模一般地符合此类高比特率编码，从而确证申请人的断定，可使用较小的缓存器而对图像质量并无影响具体地，对这种应用建议的230千比特MPEG MP@ML缓存器容量是足够大的；不过，下面将看到，对它降低容量是一个目标。
采用ISO/IEC13818-1中定义的VBV和SID模型时，对复用器给出很大的自由度用于设计不同的调度算法，以及对视频编码器的控制算法。然而，它们没有给出可能的最小存储器使用量，是在最低程度上减小所需的缓存器存储器容量，同时维持整个比特流与MPEG兼容。
如上面指出，先有技术的MPEG模型是在每个图像(本场合下为场)时期结束时检查VBV。这意味着可以预期，使用的绝对最小缓存器容量最坏情况是场规模编码。30兆比特/秒的平均容量是600千比特，计及运算容限时需超过此值。
申请人知道，与每场检查一次的输入缓存器相比较，例如频繁得多的对图像中每像条检查一次的缓存器模型，能使用较小的缓存器。为支持这一点，编码和复用的制约是保证缓存器中用于解码每个像条的数据在像条周期结束时给出，而不是在场周期结束时给出。这一定程度上限制了(决定于选择的缓存器容量)编码器对于图像上不同部分再分配比特的自由度。实际上，由于应用高比特率的场内编码器，图像质量多半可接受。另外，这限制了复用器以明显突发形式传输数据的自由度。又，由于能十分简单地复用视频流和一个或两个音频流，看来这是可以接受的。
关于一场内的比特分配，本方法能节省多少比特可给出一些概念，下面应用上述实验中同样的两个序列(图1中的示例)，假定采用像条基VBV模型。
首先，画出序列中像条规模的直方图(如图2中所示)数值表明，像条规模的变化高到大约平均规模的两倍(30兆比特/秒时，625行信号的像条平均规模约为4千字节)。这意味着，所需缓存器的绝对最小容量至少为平均容量的2至3倍，因而是12千字节左右。然而，12千字节很可能是不够的规模在平均容量之上的像条序列会发生困难，为此需要支持序列内平均规模两倍的4个或5个像条。这意味着，需要有大于最大像条规模的缓存器容量，以容许产生某个短时间的比特合成。为了进一步说明，采用前面那样相同的两个序列，再画出VBV模型曲线图，结果示明于图3中。
如前面所述，图3中起始处的暂态通过较好的编码器控制算法能容易地去除，新型缓存器模型中注意到这一点，与场基模型相比较，现在可使缓存器处于小得多的动态范围内。动态范围在130千比特与200千比特之间。可以理解，这是不知道像条基模型编码的序列。在编码中，满足完整(也就是整场)MPEG模型的制约。所以，每像条模型能够没有图像质量损失地缓存于小得多的缓存器内。因此，可以相信，大约200千比特(25千字节)的缓存器容量下像条基模型的图像质量能相当于场基模型的图像质量。借助合适的控制算法，能保证这种缓存器容量是足够用的，并可能进一步减小容量而图像质量影响极小。
其次，考虑像条基的VBV和STD缓存，基本概念是限制编码每个像条时使用的最大比特数目；并将缓存器中移出数据的周期从每存取单元(场)一次改变为每像条一次。这限制了复用“抖动”的量值，并确保每个像条的数据能及时地传输。它使得STD模型中可使用显著地较小的缓存器，而仍保持MPEG子集的缓存器模型。这意味着，实际解码器或者可以是通常式的，完全符合于MPEG解码器，或者可以是定制的装置，制作时能有小得多的存储器要求。
图4示明在ISO/IEC13818-2中定义的有限制的像条结构。每一场由每一条为16亮度行的N个像条构成。在625行、50z系统中，N为18，即每场18个像条。在525行、59.94Hz系统中，N为15，即每场15个像条。符号如下N＝像条/场R＝比特率F＝帧频B＝缓存器容量TB＝传送缓存器容量bit(i)＝场内第i像条的比特数目DTS＝场的解码时间下面的说明参考图5，给出了修改的缓存器模型框图。在此模型内，如ISO/IEC13818-1节2.4.2.2中定义的那样，包含视频流n之数据的完整传送流数据包以分块式的恒定速率从传送流进入STD模型的TBn缓存器。并如ISO/IEC13818-1节2.4.2.3中的定义，以比特率Rxn从TBn缓存器中移出各字节。
Rxn的值为Rxn＝0 TBn中没有数据时Rxn＝1.2×30＝36Mb/sTBn中没有数据时作为PES包或其内容的各个字节部分，按ISO/IEC13818-1节2.4.3.2中的定义传输至缓存器Bn上，但需指出，此种模型中的Bn是ISO/IEC13818-1中定义的缓存器MBSn和EBn的组合，即Bn＝MBSn+EBn
关于数据的移出，解码第j场第i像条所需的比特即biti(j)，是在下式给定的时间ti上从缓存器B中瞬时地移出的tij=tdn(j)+1F(iN-1)]]>式中，N是一场内像条的数目；i是场内[1，……，N]个像条的序号；tji是第j场第i像条的移出时间；tdn(j)是第j场的解码时间，它与ISO/IEC13818-1节2.4.2.3中定义的值相同，等于DTS值，或者是从中导出的值；F是序列的场频(59.94Hz或50Hz)。
对于图像的重新排序，由于已知序列全部由I场组成，所以不会有图像重新排序延时。因此，场的PTS和DTS应以相同值编码。进一步要求是传送流应如下地构成TBn不应上溢，且每秒至少清空一次；Bn不应上溢，且不应下溢；通过STD的数据延时应小于1秒。
考虑缓存器容量，TBn合适地为512字节，Bn为20·103字节，可得到图6的例子；图中分别示明MPEG STD模型和建议的缓存器模型的工作情况。图中表明缓存器模型如何较频繁地受到复用制约的检查，从而只需较小的缓存。曲线上峰点与谷点间的最大距离反映避免上溢/下溢所需的最大缓存器容量。
前面，说明了对数字视频图像进行编码和复用的方法和装置，应用在比较高的比特率上实施场内编码中，使视频图像场来的每一图像编码成像条序列。编码方法合适地符合MPEG或类似的要求，对场内编码还予以制约，图像中每个像条的最大比特数目有限制，又与MPEG解码模型相比较，解码器在比特传输调度上有更严格的制约。这样将能够构造一种高质量、低价格的MPEG(或类似的)编码器和解码器，应用于诸如通过IEEE 1394数字互连标准的视频通信中。
阅读此公开件，本技术领域内的熟练人员显然知道其它的变型。此类变型能牵涉到从所示的方法和装置中已可知道的其它特征，应用于对音频和/或视频信号及各个分量部分的编辑，并能应用于对这里已经说明的特征作出替代或附加中。
权利要求
1.一种在编码器装置内编码数字视频图像信号的方法，编码器装置中有编码级和编码器缓存器，该方法中包含步骤按照预定的编码方法连续编码信号中的图像场；将已编码场数据读出至缓存器中；以及随后以至少部分地由缓存器充满度确定的比特率从缓存器中读出存储的数据；其中，每个图像场编码成一系列像条，每个像条由场内预定数目的连续的行组成，像条的编码分配以预定数目的数据比特，已编码像条数据读出至编码器缓存器内，随后从中读出而完成像条的编码。
2.权利要求1的方法，其中，场内像条的编码可使已编码场符合一种或多种MPEG标准。
3.权利要求2的方法，其中，对场内像条进行场内编码，不参考任何其它场。
4.权利要求1的方法，其中，编码级工作中以多种量化层级编码像条，量化层级是根据所述分配的预定比特数目选出的。
5.权利要求1的方法，其中，每个像条由16个亮度行组成。
6.一种数字视频图像信号编码器装置，包含有编码级，安排成接收信号中连续的图像场，按照预定的编码方法编码它们；以及缓存器，连接成从编码级中接收已编码场数据，并安排成随后以至少部分地由缓存器充满度确定的比特率输出存储的数据；其中，编码级还安排成将每个图像场编码成一系列像条，每个像条由场内预定数目的连续的行组成，像条的编码分配以预定数目的数据比特，缓存器安排成使已编码像条数据读出至缓存器内，随后从中读出而完成像条的编码。
7.权利要求6的装置，其中，编码级安排成对场内像条进行编码，使已编码场符合一种或多种MPEG标准。
8.权利要求7的装置，其中，编码级安排成对场内像条进行场内编码，而不参考任何其它场。
9.权利要求6的装置，其中，编码级工作中以多种量化层级编码像条，量化层级根据所述分配的预定比特数目在编码级内确定。
10.一种数字视频图像处理装置，包括如权利要求6至9中任一个的装置，还包含用于与所述已编码图像之解码器相连接的已编码数字视频图像源，所述解码器有一个连接至所述编码级输入的输出。
11.权利要求10的处理装置，其中，所述已编码数字视频图像源包含有连接装置，用于连接至所述图像的远端源上。
12.权利要求10的处理装置，其中，所述已编码数字视频图像源包含有用于从可装卸存储装置中接收和读出已编码数字视频图像数据的装置。
13.权利要求12的处理装置，其中，用于从可装卸存储装置中接收和读出已编码数字视频图像数据的装置包含光盘读出器。
14.一种光盘，携载有由权利要求1的方法编码的多个视频图像场。
全文摘要
一种对数字视频图像进行编码和复用的方法和装置,用于以比较高的比特率只实施场内编码,将视频图像场的每个图像编码成像条序列。编码中合适地符合MPEG或类似的要求,对场内编码还予以制约,使图像中每个像条的最大比特数目有限制,与MPEG解码模型相比较,对解码器的比特传输调度有更严格的制约。这样,能够构成一种高质量、低价格的MPEG(或类似的)编码器和解码器,应用于诸如通过IEEE 1394数字互连标准的视频通信中。
文档编号H04N7/24GK1386380SQ01802147
公开日2002年12月18日 申请日期2001年5月25日 优先权日2000年6月1日
发明者W·H·A·布鲁尔斯, O·J·莫里斯 申请人:皇家菲利浦电子有限公司