专利名称：数字视频信号编码的方法和设备的制作方法
技术领域：
本发明涉及视频数据压缩和位流编码的方法和设备。
ISO/IEC已经对代表用于标准分辨率以及高分辨率视频信号和图像的视频压缩方法的视频位流进行了标准化，称之为MPEG-2标准。
MPEG-2提供三种不同的图像编码类型内部(I)、预测(P)和双向预测或内插(B)帧或场。另外，在P和B帧或场中，如果运动预测没有给出好的结果，那么可以分别在内帧或内场编码宏块。必须在编码器中作出该判定，判据由具体设备来决定。此外，MPEG-2考虑了基于DCT(离散余弦变换)的帧或场，它们需要进行分类以及由编码器作出另一个决定。
在数字视频广播应用中，通常需要大量的译码器，而只需要少量的编码器来提供广播服务。美国的Direc Tv卫星服务是一种典型的例子，其中用于大约150个同步节目的MPEG-2编码器提供了全国广播服务。这需要相对便宜的译码器，而编码器可以包括更复杂的电路，并且更昂贵。MPEG-2视频编码和译码可以以不对称的方式来实现，其中，编码器包括一个高度复杂的电路，而译码器必须仅仅包括对有效位流进行译码时确实需要的功能范围。
为此，MPEG定义位流的结构和内容以及一个所谓的“系统目标译码器”。编码器的实现不受标准约束。因此，对于图像质量要求较低的应用，允许构造较简单的编码器，而质量要求较高时，则可以构造很复杂的编码器。
对视频广播和娱乐节目而言，图像质量的基准水平由现有的视频标准来设置。当作实况报道时，编码器必须能够实时运行。为了处理所有不同的数字视频应用及其相应的要求，通称的MPEG委员会(ISO/IEC的第11工作组)已经定义了一套项表和层级。项表确定属于MPEG-2标准的编码工具的某个子集。对特定的编码方法和应用采用不同的工具。层级则将大范围的参数限制为在如视频广播或网络中视频传输的通用的应用中所采用的那些参数。
视频广播服务的标准分辨率视频与ITU-R建议601的规格或它们的某些子集有关，并且可以由MPEG-2主层主项表(Main Profile at mainLevel)(MP@ML)来处理。高清晰度视频可以被MPEG-2的高层级(例如MP@HL)中定义的参数集所覆盖。
主项表包括所谓的4∶2∶0格式视频压缩的方法，并且定义了许多运动补偿和编码模式，这是高压缩比率所需要的。MP中的运动补偿是以基于前向和后向预测为根据的帧和场，并且包括特别用于交错视频信号的细化，例如“双主元(Dual prime)”技术。在编码过程中，MP允许基于帧和场的DCT、线性和非线性量化、标准和其它的之字型扫描等等。
数字视频广播服务的位流速率为最低到1 MBit/s和高到大约10MBit/s的范围。根据ITU-R建议601进行数字化的视频信号的原始数据速率大约为166MBit/s，不含消隐信号间隔、时钟和同步。对于一个应提供与现有的NTSC和PAL视频标准相近的图像质量的4MBit/s的典型位速率，要求的压缩因子的范围为40。
对于源于电影材料中的视频信号来说，由于它们的非交错特性和24Hz的低瞬态重复速率，因此达到这个压缩比范围相对容易。对来源于摄像机的实际视频信号则有更多的要求，特别是对于在有快速和随机运动的序列视频信号。为了清楚再现高压缩比率的这些图像，由MPEG-2 MP提供的所有运动预测和编码选择方案都是强制性的。
根据数字视频信号的主项表MP编码MPEG-2视频数据流的主要功能方框图示于
图1。在本领域公知的这种基本编码器设备中，数字化的视频信号被输入图像组织方块101，该方块以为后继运动估算和编码所用的顺序重新安排行和场方式的亮度和色度信号。在块101也对该视频数据的场或帧序列进行重新组织。运动估算级102以不同预测类型的运动向量形式计算两个相继图像之间的合适的宏块一致性，这由ISO/IEC 13818-2标准的结构和内容所许可和支持，即帧预测、场预测和双主元预测。16×16个象素的宏块被连接到组合器103，运动向量参数或数据MVD和预测方式描述符PMD被连到预测器109、用于运动向量参数的第一VLC(可变长度编码)编码器115和用于预测方式的第二VLC编码器116。对预测后的宏块(P和B图像)，组合器103从运动估算级102和预测器109取得宏块109，并且对相应宏块的每个象素计算由象素差组成的差值信号。这些差值信号被送到DCT级104，并且对每个8×8象素块变换为相应的8×8 DCT系数的阵列。在非预测宏块(I图像)的情况下，则不需产生差值信号，直接将级102的输出传送到DCT级104。
系数阵列被传送到量化级105，后者包括根据相应的表条目值和比例因子划分每个系数的表。量化器105的输出被送到之字形扫描单元110以及逆量化器106。逆量化器执行量化器105的逆操作，即它将每个输入值乘以相应的表条目值和比例因子。逆量化器106的输出信号被连到逆DCT块107，在其中8×8阵列的DCT系数被逆变换为8×8块的象素值。这些象素值块被传送到加法器108，在其中与预测器109的相应输出信号相加。预测器级109从加法器108收到它的输入信号，并将其存贮为宏块方式，并且根据运动检测器102先前计算的运动向量和预测器值，在相应的图像阵列中执行宏块的转换移位，即运动补偿。这个预测过程的输出信号被前送到加法器108和组合器103。
然后，具有被量化的DCT系数形式的量化器105的输出信号通过之字形扫描在单元110中被排列起来，然后被送到一个RLC(行程长度编码)/VLC单元111，单元111由所有必要的RLC/VLC表组成，包括ISO/IEC13818-2的交换码代码。RLC/VLC级111的输出信号表示在位序列数据流中被压缩的图像数据。
在VLC编码器115和116中，对运动向量和预测方式作类似的MPEGVLC变换。这些变换信号被输入到MPEG标题产生单元117，该单元也插入来自诸如个人计算机之类的外部控制设备的控制参数CONPAR。形成的标题信号被送到封包器和多路复合器级112，该级也接收相应于RLC/VLC单元111中的图像内容的RLC/VLC数据。在级112，所有数据都根据ISO/IEC13818-2或11172-2进行链接和排序。级112的输出信号被送到缓冲器113，如RAM，该缓冲器将所有输入的数据存贮起来，并且测量填充状态。根据实际填充状态，缓冲器113将一个信号送到规整单元114，后者又计算将要用于量化级105的相应的量化比例参数。缓冲器113的其它输出OUS是编码器的压缩数据流，它符合ISO/IEC 13818-2或11172-2规格或类似的数据压缩标准，以及符合需要的恒定或可变位速率。
色度也被相应地编码，因此运动估算通常只对亮度来进行。
本发明的一个目的是公开一种这些可分层级的MPEG-2编码方法，它采用具有最少芯片数和对应于这些具体芯片所需编码器功能的最佳分配的一组芯片，该目的是由权利要求1所公开的方法来实现的。
本发明的另一个目的是公开一种MPEG-2编码方法，它采用几个粗略运动估算芯片和精确运动估算芯片来作前向和后向运动估算，并使得前向和后向运动估算以最佳方式来分配。这个目的由权利要求7公开的方法来实现。
本发明的另一个目的是公开一种利用本发明方法的装置。这个目的由权利要求10公开的装置来实现。
本发明相关于视频数据压缩和位流编码，它特别符合运动图像标准(ISO/IEC 13818-2和11172-2)的MPEG-2和MPEG-1编码，并且是以VLST结构为根据，能与标准控制器电路结合使用。制作本发明的目的是提供高速计算以满足MPEG-2视频编码算法的实时执行的需要。
实时的MPEG-2视频编码器是根据一组特定的IC设计来研制的。该编码器根据ITU-R 601的建议将视频图像压缩为符合MPEG-2视频标准规格的从例如1MBit/s到15MBit/s的位流，该规格即主层级主项表(MP@ML)。其它输入格式也可以进行处理，包括各种HDTV源格式，它们能转换为高层级主项表的位流。
编码器的主要功能包括一个预处理级、一个运动估算级和一个位流编码级。这些功能由特定的IC支持，这些特定IC包括预处理器电路、粗略和精确运动估算IC和位流编码器。每个IC控制能够用例如常规的DRAM元件实现的外存空间。芯片组由标准的外部微控制器控制，并且包括能灵活重组的芯片型RISC机器。
编码器的实现不受MPEG-2视频标准(ISO/IEC 13818-2)的约束。采用这种革新的MPEG-2芯片组，可对复杂性和质量进行分级处理。因此，当实际应用对图像质量要求较低时，可以允许构置相对简单的编码器，而当质量要求高时，可以构置非常复杂的编码器。根据这一发明的结构，几个相同类型的处理器可以并行使用，以增强处理能力，这满足了在MPEG-2主项表中指明的所有编码特征，以及不受标准限制的附加功能。
输入信号格式是例如25帧/秒下的576行/帧或29.97帧/秒下的480行/帧和4∶2∶2格式下的亮度Y和色度Cb、Cr。
MPEG-2 MP编码器只要能提供有效的位流，那么就不需要提供所有压缩技术和MP功能的全部选择。这样允许某些简化。
MPEG-2编码所需要的处理功能在三个主IC或级中作安排。预处理器包括所有输入和预处理功能，如图像格式转换，这是进行数据压缩时需要的。运动估算器包括所有运动估算和运动预测功能，以及位流编码器包括产生用于MPEG-2编码的所有位流，如用于DCT、量化器、逆量化器、逆DCT、之字形扫描和RLC/VLC编码，但不包括运动预测。
原理上说，本发明方法适用于采用视频信号预处理、运动估算和编码循环来编码数字视频信号，编码循环包括变换步骤、量化步骤、逆量化步骤、逆变换步骤、重建步骤和象素块预测步骤，在该步骤从所述运动估算得到的运动信息被用于预测，其中，预处理象素块数据和预测象素块数据之间的差值信号和/或预处理象素块数据本身可以在所述变换步骤中进行处理，而所述量化步骤的输出信号被作进一步处理，从而得出被编码的视频信号，该信号包括从所述运动信息中产生的信息，其中，编码采用下述电路来执行对输入图像信号进行预处理的第一集成电路，该预处理包括对数据重新排列，第一图像数据存储装置被指派给该电路；用于执行所述运动估算和所述预测步骤的至少一个集成电路，第二图像数据存储器被指派给该电路，用于所述的运动估算和所述的预测步骤；执行至少所述的变换、量化、逆量化、逆变换和重建步骤的另外的集成电路，其中所述第一集成电路经由第一总线向执行所述的运动估算和所述的预测步骤的集成电路传输亮度和色度图像数据，并且这个电路与所述的另外集成电路交换亮度和色度图像数据。
并且其中所述的第一和所述另外的集成电路以及所述执行至少所述变换、量化、逆量化、逆变换和重建步骤的集成电路由控制装置通过公用双向总线进行控制。
本发明方法的其它优选实施例由相应的从属权利要求产生。
原理上说，本发明装置适用于采用视频信号预处理、运动估算和编码循环来编码数字视频信号，编码循环包括变换、量化、逆量化、逆变换、重建和将从所述运动估算中得到的运动信息用于预测的象素块预测，其中，预处理象素块数据和预测象素块数据之间的差值信号和/或预处理象素块数据本身可以在所述变换中进行处理，而所述量化的输出信号被进一步处理，从而得出被编码的视频信号，该信号包括从所述运动信息中产生的信息，并且包括对输入图像信号进行预处理的第一集成电路，该预处理包括对数据重新排列，第一图像数据存储装置被指派给该电路；用于执行所述运动估算和所述预测的至少一个集成电路，第二图像数据存储器被指派给该电路，用于所述的运动估算和所述预测；执行至少所述的变换、量化、逆量化、逆变换和重建步骤的另外的集成电路，其中所述第一集成电路经由第一总线向执行所述的运动估算和所述的预测的所述集成电路传输亮度和色度图像数据，并且这个电路与所述的另外集成电路连接，以交换亮度和色度图像数据，并且其中所述的第一和所述另外的集成电路以及所述执行至少所述变换、量化、逆量化、逆变换和重建的集成电路通过公用双向总线与控制装置相连。
本发明装置的其它优选实施例由相应的从属权利要求产生。
下面参考附图对本发明的最佳实施例进行描述，其中图1是编码MPEG-2视频数据的原理功能框图；图2是本发明基本实施例的方框图；图3是本发明结构更详细的实施例示例；图4是具有更复杂的运动估算功能和预分析功能电路的另一个例子；图5是具有更详细的控制器部分实施例的另一个例子；图6是本发明结构的简化图示；图7示出比较高的分辩率图像划分；图8是用于处理较高分辨率图像的整体结构的方框图；图9是图8实施例的更详细表示；图10示出对特别是在图中的条带之内宏块的处理次序；图11示出同步信号。
本发明的要点在于根据图1所描述的功能可以由图2和其它附图所描述的结构获得。在该结构中，MPEG-2编码所需要的处理功能在三个主要IC或级中进行安排，其中对每一级分配一个存储器。
预处理级201包含进行数据压缩所需要的所有输入和预处理功能，即图1的块101。
运动估算级203包含所有运动估算和运动预测功能，即图1的电路102和109。因此，运动向量产生和运动向量应用是在同一芯片上，并且存储在附随的存储器204中的图像数据对这两个功能都适用。级203可以对亮度和/或色度数据进行操作。
位流编码级207包括MPEG-2编码的所有位流生成，即图1的电路103至108以及110至117，但不包括在该芯片上需要图像数据存储器(例如帧存储器)的运动预测电路(图1的电路109)。这些主处理级的每一个都有与外存储器202、204和208的接口，以及与控制器209的接口，该控制器提供编码器所有的可编程选项。这意味着通过上面所述的将图1的块划分为级203和207，存储器204的内容(例如，在只存储一个参考图像的情况下，至少一个场的象素数据；在存储一个参考图像和一个预测图像的情况下，两个场的象素数据；在为了双向预测B图像存储一个参考图像和两个预测图像的情况下，三个场的象素数据)不必被复制到存储器208，因此存储器208可以显著地减小，并且非常便宜。级201、203和207可以包含硬件化功能以及可编程电路，例如微控制器和运行相应软件的微计算机芯片。另一个优点是运动估算级203导致几个图像的延迟(从I到下一个I，或P到下一个P，或I到下一个P，或P到下一个I图像)。由于级203的输出数据和总线A上的图像数据基本上在相同时间为级207所需要，因此，通常会需要存储器208来调节输入数据的不同时间情况。然而，由于在某些运行情况下级201需要一个大存储器，例如一个多图像存储器，因此这个存储器也被用来补偿上面所述的时间延迟。结果是级207的输入数据基本上在适当的时间到达，并且存储器208可以有较低的容量。因此总线A上的图像数据相对于总线B上的相应图像数据可以有几个图像的延迟。
由于这种功能划分(这是本发明的一方面)，每个级201、203和207都可以在一个VLSI芯片中实现，原因是所有级都正好包含那么多处理元件，正如可以用现有条件的VLSI技术，即0.8μ2层HCMOS4技术在单个集成电路上实现那样。存储器202、204和208可以包含标准存储装置，如4 MBitDRAM、SDRAM或其它适宜的存储器。
本发明的一个重要部分是，在预处理级201的输入端可以采用与ITU-R建议601相关的YCbCr格式的标准数字视频信号DVS，以及包括例如13.5MHz时钟的标准视频同步信号SCLK，而级201和203之间的接口以及级203和207之间的接口相关于一个特定定义(例如，相关于行和场的输入同步信号被宏块和相关于MPEG层级的其它同步信号所代替)，对此将作进一步的解释。
级207的编码输出端在其输出CVBS提供一个压缩的MPEG-2视频位流，例如在ISO 13818中限定的数据包基本位流(PES)以及适当的同步信号。这个位流可以由数据请求输入DREQ读出。预处理级201经由第一总线A连接到运动估算级203，经由第二总线B连接到位流编码级207，用于编码复杂性预分析的目的。
通过调节相关的编码参数如中间/内部和场/帧决定，预分析允许在每个宏块内进行另外类型的速率控制。
最好是总线A不传输亮度数据，而总线B传输。级201、203和207与控制器209的接口经由一条双向第三总线C连接，并且可以采用与标准控制器设备相关的标准数据、地址和同步定义，诸如摩托罗拉或德克萨斯仪器公司的电路，如TMS 320 C30。控制器209又有一个经由总线SYSSV到系统总控制的接口，或一个用户接口计算机，它由此接收用于编码器设置，方式选择等等的参数。经由总线SYSSV，也可以传输如错误码之类的编码状态信息。
详细地说，级201包含所有预处理和数据预排序功能，这些也是图1中块101的内容。这些功能可能包括从原始图像格式变换为编码格式的水平和垂直滤波和十进制变换，例如从每个有效行720个象素变换到544个象素。作为一个例子，从所谓的4∶2∶2YCbCr组织变换，对色度信号进行适当的滤波和十进制变换以取得4∶2∶0编码格式，可以是级201的处理功能的一部分。级201中的电路的另一个重要任务是消除水平和垂直消隐信号间隔以及按从场和行顺序扫描到适当的宏块相关的扫描次序对视频数据重新排序，这对MPEG-2编码是很有用的。级201提供不同类型的宏块数据，如亮度和YCbCr数据，且其具有用于总体编码器后继处理块的适当的时序特性。其它处理选择选项，例如在电影图像序列的情况下降低噪声的检测冗余场，可以是级201的部分功能。在视频编码结构中，这个预处理级也被用于在其SCLK输入端检测同步信号以及为相应的宏块输出信号和编码电路的其它部分产生同步信号。
运动估算级203包括MPEG-2编码所需的所有运动估算处理，参照图1中的块102，以及包括根据图1中的预测器109所描述的运动预测功能。级207包含图1中列出的其它处理部件，特别是DCT及其逆DCT、量化和逆量化、行程长度和可变长度编码功能、标题汇编和封包。级207编码亮度和色度数据。
这种特定的功能划分是合适并且有优点的，因为例如运动估算和运动预测的高速处理以及运动向量的公共使用是在同一芯片上。
另一种特定的功能划分相关于图1的块111、112、113和114中包含的位流产生和速率控制功能。当相关于快速块、宏块和片层级处理时，这些功能可以在级207中用专门的硬件电路来实行。高于片层级(需要较低的运行速度)的所有MPEG视频位流操作和速率控制功能都可以在一个标准控制器上实现，象在级209中一样。
图3以更详细的图示示出了本发明的另一个实施例。级301和307分别对应级201和207，级203现在是以另一种方式来实现的，其功能又被划分为粗略运动估算级303和精确运动估算级305。这种分级运动估算与更复杂的运动估算技术相关，此时需要更强处理能力来执行运动向量搜索过程。
级303和305最好只计算亮度，但也可以计算色度数据。也可以是级303只计算亮度信号而级305计算亮度和色度信号的精确运动向量。
如果级303包括一个芯片，那么对一帧搜索可以取得水平为±64象素、垂直为±32个象素的帧向量搜索区域。级305可以执行全象素搜索。但也可以计算具有1/2象素精度的运动向量。在全象素搜索的情况下，搜索区域是例如在帧方式下为水平±3个象素以及垂直±8个象素。
级303和305两者都通过传输粗略运动向量数据的总线D连接，并且有其自身的标准存储器接口304和306，如相关于图2所描述的那样。控制器309与控制器209相对应，并且也经由双向总线C连接到级303和级305。
在这种结构中，粗略运动估算级303经由总线A从预处理级301接收它的输入信号。同一总线被连接到位流编码级307，用于编码复杂性预分析。预处理级301在总线B上直接向精确运动估算级305提供另一个信号。最好是总线A不传输亮度数据，而总线B则传输。
有利的是，在总线A和B上，视频图像数据是以特定的次序传输的，该次序相关于MPEG-2宏块组织，并且具有特定的同步信号。与总线A上的相应数据相比，总线B上的YCbCr数据可以延迟一帧。
在总线D上，在粗略运动估算级303中计算的初始运动向量的数据被传送到精确运动估算级305，后者计算最终的运动向量。
总线C传送标准控制器接口信号。在总线E上将宏块数据(即组合器103的输入信号)从级305运送到级307。这是在总线B上运送的相应数据，但根据级305中的处理时间被延迟了。
总线F也将宏块数据(即预测器109的输出信号)从级305运送到级307，这一宏块数据相关于精确运动向量和预测方式(即块115和116的输入信号)，它们是在级305中计算的，并且在总线G上向前传送到级307。
总线H将来自级307的重建宏块(即加法器108的输出信号)—这是MPEG-2预测循环所需要的—输送回级305。在总线E、F和H上，所有的宏块数据都伴随着特定的同步信号，对此下面将作解释。
在MPEG-2视频编码中用于预测处理的数据接口和相关的存贮器问题在本发明中以有利的方式被解决。采用图3中所示的总线结构，可以将所有运动估算和宏块预测任务限定给级303和305。因此，所有相关的存储要求都由与运动估算电路303和305相连的存储器304和306所实现。通过将重建的图像数据(图1中加法器108的输出)-其包括在级307中-返回到精确运动估算级305中的预测处理，可以闭合用于MPEG-2、MPEG-1和其它视频编码技术中采用的预测循环。级307的其余存储要求仅仅相关于位流编码处理。在运动估算和位流发生之间的这种接口的另一个优点是可以根据重建的数据计算运动向量，该重建数据可以在逆量化之后得到，这改进了编码质量，从而使得译码器中的译码错误已经可以在编码器中予以考虑。如同在图2中那样，粗略运动估算级303导致几个图像的延迟(从I至下一个I，或P到下一个P，或I到下一个P，或P到下一个I图像)。由于后继的精确运动估算级305的输出数据和总线A上的图像数据在级307中基本上同时被输入，因此对于输入数据的不同时间情况通常会需要对存储器308进行调节。然而，对某些操作，由于级301需要一个大存储器，例如一个多图像存储器，因此这个存储器也被用来补偿上面描述的时间延迟，其结果是级307的输入数据基本上在适当的时间到达，并且存储器308可以有较低的容量。因此，与总线B上的相应图像数据相比，总线A上的图像数据可以有几个图像的延迟。
虽然精确运动估算级305在相关于总线A上的数据的输出数据中内部地引入了一个短的延迟(级305以流水结构处理8个宏块，并且与运动信息一起传输它们)，但对级307采用相对较小的存储容量、而保存从级301到级307的第三总线则更为便利。由于编码器在高速下运行，因此需要一条并行总线，它将使用芯片上其余的管脚以及装有芯片的板的其余空间。
在图4中又示出了图3中所示的同样功能，但有两处改进，它们构成了本发明的两个更特殊之处。第二粗略运动估算级310和第二精细运动估算级312及其它们相应的存储器311和313被分别并行连接到级303和305。另外的级310和312通过并行扩展总线A、B、C、D、E、F、G、H被连接到图3所示的基本结构。通过给运动估算级303和305提供更强的处理能力使得运动向量范围和/或向量精度得以扩展。
该方法可以用于连接甚至更多的粗略和精确运动估算器电路，如块310和312，到完整的结构上。在图4的情况下，级303和310共同承担初始向量搜索处理。该共享原理可以应用在图像边缘上或是其它合适的数据划分方法，例如后面将要解释的图像条上。如果在图像边缘上共享，那么每个运动估算电路303和310必须为其自身存储器中的预测任务存储相应的图像。
另一方面，任务共享可能与要计算的初始向量的类型相关。作为一个例子，在MPEG-2中，需要前向和后向运动向量以及不同类型的场和帧向量。例如，级303可能对一个当前的宏块在一图像序列中计算从高端场到低端场的所有向量，而电路310可能会对该宏块计算从低到高场的所有向量，等等。也有可能粗略运动估算级303和310计算一个图像，而精确运动估算级305和312计算该图像中的相邻条。对不同的应用，控制器309可以组织不同的任务共享。
便利的是，即使处理能力由于所提供的电路数而被固定，这也允许相对于以可编程方式计算的向量数目和类型改变向量精度。
采用类似的方式，精确运动估算级305和312可以共享精确运动估算和/或预测任务。为此，由级303和310计算的所有向量在同一总线D上传输到级305和312。这些级的任务共享原则也没有固定，而是可以从不同的替代方案中选择，如宏块多路复合。在宏块多路复合的情况下，级305可能会对例如一个相应的宏块采用由级303或310确定的所有初始向量，并且会对这个宏块计算具有最终精确度的所有最终运动向量，与此同时级312会对下一宏块接收所有的初始向量，并且会计算它的最终运动向量。这时多路复合和任务共享的次序可以借助控制器309来确定。
示于图4中的第二种改进相关于预分析器314。这种分析器也可以连接到图2、图3、图6、图8和图9所示的电路。分析器314被连接到总线A和双向总线C。在总线A上，它接收以宏块方式组织的图像数据，如同在级303和310中进行初始运动估算时所采用的那样。在分析器314中，这个数据被用于预分析功能，如计算图像或宏块复杂度。分析器314可能包含一些与级307一样的功能，并且采用DCT、量化以及部分可变长度编码功能来确定复杂值。由预分析产生的值经由总线C传送到控制器309，并且被其用于确定适当的编码选择方案。作为采用分析器314的另一方法，在级207、307中也可以包括预分析功能。在这种情况下，编码来自总线E的YCbCr数据和对来自总线A的数据作预分析计算必须在宏块层级上作多路复合。
在图5中示出了与图4相同的结构，但具有更复杂的控制器部分。在这个结构中，三个控制电路315、316和317共享示于前面图中的控制器309的任务。该结构提供更多可编程选项和处理能力。控制器315承担经由总线SYSSV进行系统通信的责任，它也经由双向总线C1直接与预处理级301通信，它在此接收数据同步信号并且确定预处理设置。在双向总线C4和C5上，控制器315将设置和状态信息传输给其它控制器316和317，这些控制器分别经由双总线C2和C3连接到运动估算级和位流编码级。在本发明的一个特定实施例中，控制器电路315也产生MPEG-2位流所需的标题信息，控制器电路316对每个宏块确定所有的预测模式和最佳预测向量，控制器317满足片层级之上的所有速率控制和位流发生。
图6示出了本发明结构的一种简化形式，该结构也示出了本发明芯片组的灵活性。在这个实施例中，编码器没有实施运动估算，并且仅仅包括预处理级301和经由总线A和B从级301得到其数据的位流编码级307。与其它实施例一样，级301和307由控制器电路309经由双向总线C控制。
图7示出了通过条划分编码视频图形的原理。这一原理的优点可以用于具有较高清晰度的图像，例如HDTV和/或逐行扫描的图像。该高清晰度图像被划分为水平条SA至SE。与ITU-R建议601的象素数目相比，每个条有较少或相等数量的象素。
该划分操作是由图8中的划分级401进行的，该划分级401在其输入端接收数字视频信号DVS。每一条的象素数据被发送到视频压缩条编码器402至406(以五条为例)的一个阵列，每个编码器包括上面根据图2至图6所述的一个实施例。每个条编码器的位流输出信号被送到组合级407，它将单个位流组合成完整的压缩输出视频位流CVBS。所有条编码器经由A1至A5和H1到H5总线传输宏块数据以启动边界间的运动向量搜索。为此目的，图7示出了进行运动估算的重叠区域，它们被要求来获得线条边界间的平滑编码特性。UESRB是条SB的上限扩展运动估算搜索范围，LESRA是条SA的下限扩展运动估算搜索范围，UESRC是条SC的上限扩展运动估算搜索范围，LESRB是条SB的下限扩展运动估算搜索范围，这意味着示例的编码器405工作在包括条SB、UESRB和LESRB的一个搜索区域。
便利的是，图8的实施例是很易于扩展的，如视频压缩编码器400所指出的。全局编码器控制是由控制器409来管理的。该控制器经由双向总线SYSSV与一个用户接口或一个总体系统进行通讯，并经由双向总线C11、C12和C13与划分级401、条编码器402至406以及位流组合器级407通讯。
有关结合图3描述的一个实施例的条编码所需要的扩展总线更详细地示于图9中(总线名称相关于条SB和编码器405)。控制器409可以取代控制器309或者经由总线C12连接到控制器309的SYSSV接口，或者控制器309可以有另一个总线C12的总线接口。总线A2、B2、C2和D2分别相应于图3中的总线A、B、C和D。级303和305还各有两个总线A1/A3和H1/H3的接口，经由该接口交换相关区域UESRB和LESRB的数据。
本发明的进一步优点是宏块可以在一种特别的次序来处理，如图10所示。如果采用示例的条处理过程，示于图10中的宏块1至48可能形成这种条。宏块的处理次序并不象通常一样是1至4，14至20，33至36，……(宏块行继续)，5至8，21至24，37至40，等等，而是1至16，17至32，33至48，等等，从而形成了包括多个相邻宏块的较大的块。这一方面允许在后继的较大块中很容易地进行并行处理，另一方面减小了存储器延迟的要求，因为在宏块行上可能包括
而一个HDTV宏块行可能包括
总线A和B传送一个宏块同步信号，向级203/303、305和207/307指示一个新的宏块已经开始。在宏块同步信号(MB-sync)之后，对每个27MHz的周期，传送该宏块的一个新的8位值，直到全部的亮度或YCbCr块数据被传输为止。总线A和B上的同步和定时信息示于图11，其中总线A是一条8位亮度总线，它运载一个图像同步信号“luma-Picture-sync”、一个宏块同步信号“luma-MB-sync”和亮度数据“luma”自身；总线B是一条8位YCbCr总线，运载一个图像同步信号“YCbCr-Picture-sync”、一个宏块同步信号“YCbCr-MB-sync”和YCbCr数据“YCbCr”自身。对每个宏块MB，YCbCr数据包括相关于四个8×8亮度象素块的数据Y1至Y4以及相关于一个8×8Cb象素块和一个8×8Cr象素块的相关色度数据Cb和Cr。对每个宏块MB，亮度数据包括相关于四个8×8亮度象素块的数据Y1至Y4。
总线A上的宏块数据可以有参考图10所描述的次序，而总线B上的数据可以是正常次序，即宏块行。如果几个粗略运动估算级303并行操作时这是特别有优势的，原因是与精确运动估算相比有较大的搜索区域和由此而得的所要求的处理能力。由于精确运动估算级305一次只计算一个宏块，因此宏块可以以正常次序进行处理。
并行接口可以采用一个27MHz的时钟，而通用处理时钟频率是例如54MHz。
就MPEG-1而言，图1所示的基本功能可以由如SGS-Thomson公司的STi3230芯片上的一个电路来完成。运动估算和运动估算控制器电路本身由SGS-Thomson公司的STi3220和STi3223芯片实现。DCT和逆DCT可以采用如SGS-Thomson的IMSA121、STV3208和STV3200芯片上的电路来实现。
预处理级201、301在申请人的另一件欧洲专利申请EP 95119202中作了更详细的描述。
粗略运动估算级303在申请人的另一件专利申请(FR 9110158)中作了更详细的描述。
精确运动估算级305在申请人的另一件欧洲专利申请EP 95402787中作了更详细的描述。
位流编码级207、307在申请人的另一件欧洲专利申请EP 95402786中作了更详细的描述。
本发明可以用于基于MPEG-2标准和MPEG-1标准的例如数字视频广播、在CD上数字视频的记录和重放、交互性视频服务以及节目制作(ProgramContribution)、ENG/SNG、视频服务器、非线性编辑等等。
权利要求
1.采用视频信号预处理(101；201；301)、运动估算(102；203；303；305)和编码循环对数字视频信号(INS，DVS)进行编码的方法，编码循环包括变换步骤(104)、量化步骤(105)、逆量化步骤(106)、逆变换步骤(107)、重建步骤(108)和采用从所述运动估算得到的运动信息(MVD，PMD)进行预测的象素块预测步骤(109)，其中预处理象素块数据和预测象素块数据之间的差值信号(103)和/或预处理象素块数据本身可以在所述变换步骤中进行处理，而所述量化步骤的输出被进一步处理(110至114)，从中得出编码视频信号(OUS，CVBS)，该信号包括从所述运动信息中得出的信息，其特征在于采用以下电路来执行编码对输入图像信号进行包括数据重新排列的预处理的第一集成电路(201；301)，并且给其指派了第一图像数据存储装置(202；302)；用于执行所述运动估算和所述预测步骤的至少一个集成电路(203；303；305)，第二图像数据存储装置(204；304，306)被指派给该电路，用于所述的运动估算和所述的预测步骤；执行至少所述变换、量化、逆量化、逆变换和重建步骤的另外一个集成电路(207；307)，其中所述第一集成电路经由第一总线(B)向执行所述运动估算和所述预测步骤的所述集成电路(203；303；305)传送亮度和色度图像数据，并且这个电路与所述另外的集成电路(207；307)交换亮度和色度图像数据(E，F，G，H，而且其中所述第一和所述另外集成电路和所述执行至少所述变换、量化、逆量化、逆变换和重建步骤的集成电路由控制装置(209；309；409)经由共用的双向总线(C)进行控制。
2.根据权利要求1所述的方法，其特征在于执行所述运动估算和所述预测步骤的所述集成电路(203)被划分为至少一个粗略运动估算集成电路(303)和至少一个精确运动估算集成电路(305)，每个电路被指派了特定的存储装置(304，306)，并且都由所述双向总线(C)进行控制，其中所述精确运动估算集成电路执行所述预测步骤，并且所述第一集成电路(301)经由所述第一总线(B)向所述精确运动估算集成电路(305)传送亮度和色度图像数据；所述粗略运动估算集成电路(303)经由所述第三总线(D)向所述精确运动估算集成电路(305)传送粗略运动向量数据；所述第一集成电路(301)经由第二总线(A)向所述粗略运动估算集成电路(303)传送至少亮度图像数据，由此，在所述第一总线(B)上的图像数据采用所述的第一图像存储装置(302)相应于所述第二总线(A)上的相应图像数据被适当地延迟；所述精确运动估算集成电路(305)向所述另外的集成电路(307)传送预处理亮度和色度图像数据(E)和预测亮度和色度图像数据(F)以及运动信息(MVD，PMD；G)，并将所述重建步骤(108)的输出数据从所述另外的集成电路传输到所述精确运动估算集成电路。
3.根据权利要求1或2所述的方法，其特征在于要编码的数字视频信号(INS，DVS)是MPEG信号，并且在所述另外的集成电路(207；307)中执行的步骤相关于块、宏块和片层级，而在片层级之上的视频位流操作和速率控制功能采用所述控制装置(209；309；409)来实现。
4.根据权利要求1至3任意一个所述的方法，其特征在于，为了进行并行处理，为每个指派了特定的存储装置(304，306)的另外的粗略运动估算集成电路(303)和/或精确运动估算集成电路(305)，被分别并行连接到第一(B)、第二(A)、第三(D)总线，连接到双向总线(C)、连接到与所述另外的集成电路(307)相连的将预处理亮度和色度图象数据(E)和预测亮度和色度图象数据F以及移动信息(MVD，PMD；G)传送到所述另外的集成电路(307)的所述连接、以及连接到将所述重建步骤(108)的输出数据(H)从所述另外的集成电路传送到所述精确运动估算集成电路中的所述连接。
5.根据权利要求4所述的方法，其特征在于一套或一组粗略运动估算集成电路(303)和/或精确运动估算集成电路(305)执行前向运动估算和预测，另一套或一组粗略运动估算集成电路(303)和/或精确运动估算集成电路(305)执行后向运动估算和预测。
6.根据权利要求1至5任意之一所述的方法，其特征在于采用经由一条或所述第二总线(A)来自所述第一集成电路(301)的亮度数据来执行额外的编码预分析步骤(314)，其目的是确定编码选择方案。
7.采用前向和后向运动估算(102；203；303，305)对数字视频信号进行编码的方法，其特征在于，为了并行处理，几个粗略运动估算集成电路(303)和一个或几个精确运动估算集成电路(305)被连接在一起，为每个粗略运动估算集成电路指派了特定的存储装置(304)，为每个精确运动估算集成电路指派了特定的存储装置(306)并且该精确运动估算集成电路包括用于后继的位流编码的宏块运动预测步骤，从而存储装置(306)通用于所述的精确运动估算和所述的预测步骤，其中一套或一组粗略运动估算集成电路(303)和/或精确运动估算集成电路(305)执行前向运动估算和预测，另一套或一组粗略运动估算集成电路(303)和/或精确运动估算集成电路(305)执行后向运动估算和预测，并且其中所有所述集成电路(303，305)由控制装置(209；309；409；316)经由共用的双向总线(C，C2)进行控制。
8.根据权利要求1至7任意之一所述的方法，其特征在于在所述执行所述运动估算和所述预测步骤的集成电路(203)中，或在所述精确运动估算集成电路(305)中，根据重建的图像数据计算运动向量。
9.根据权利要求1至8任意之一所述的方法，其特征在于要编码的图像被划分为(401)至少两条(SA至SE)，并且编码和运动估算分别在相关的线路(402至406，400)中并行执行，并且相关于所述条之间的重叠区域(UESRB，LESRA，UESRC，LESRB)的数据在线路之间被交换(AO至A5，H0至H5)。
10.采用视频信号预处理(101；201；301)、运动估算(102；203；303；305)和编码循环对数字视频信号(INS，DVS)进行编码的装置，编码循环包括变换(104)、量化(105)、逆量化(106)、逆变换(107)、重建(108)和采用从所述运动估算得到的运动信息(MVD，PMD)进行预测的象素块预测(109)，其中预处理象素块数据和预测象素块数据之间的差值信号(103)和/或预处理象素块数据本身可以在所述变换中进行处理，而所述量化的输出信号被进一步处理(110至114)，从中得出编码视频信号(OUS，CVBS)，该信号包括从所述运动信息中得出的信息，其特征在于包括对输入图像信号进行包括数据重新排列的预处理的第一集成电路(201；301)，并且给其指派了第一图像数据存储装置(202；302)；用于执行所述运动估算和所述预测步骤的至少一个集成电路(203；303；305)，第二图像数据存储装置(204；304；306)被指派给该电路，用于所述的运动估算和所述的预测步骤；执行至少所述变换、量化、逆量化、逆变换和重建的另外一个集成电路(207；307)，其中所述第一集成电路经由第一总线(B)与执行所述运动估算和所述预测的所述集成电路(203；303，305)相连并向其传送亮度和色度图像信号，并且这个电路与所述另外的集成电路(207；307)相连，用于交换亮度和色度图像数据(E，F，G，H)，而且其中所述第一和所述另外的集成电路和所述执行至少所述变换、量化、逆量化、逆变换和重建的集成电路由控制装置(209；309；409)经由共用的双向总线(C)进行连接。
11.根据权利要求10所述的装置，其特征在于执行所述运动估算和所述预测的所述集成电路(203)被划分为至少一个粗略运动估算集成电路(303)和至少一个精确运动估算集成电路(305)，为每个电路指派了特定的存储装置(304，306)，并且它们都连接到所述双向总线(C)，其中所述精确运动估算集电路执行所述预测，并且所述第一集成电路(301)经由所述第一总线(B)向所述精确运动估算集成电路(305)传送亮度和色度图像数据；所述粗略运动估算集成电路(303)经由所述第三总线(D)与所述精确运动估算集成电路(305)相连并向其传送粗略运动向量数据；所述第一集成电路(301)经由第二总线(A)与所述粗略运动估算集成电路(303)相连，用于传送至少亮度图像数据，由此，相应于所述第二总线(A)上的相应图像数据，利用所述的第一图像存储装置(302)适当地延迟在所述第一总线(B)上的图像数据；所述精确运动估算集成电路(305)被连接到所述另外的集成电路(307)，以传送预处理亮度和色度图像数据(E)和预测亮度和色度图像数据(F)以及运动信息(MVD，PMD；G)到所述另外的集成电路，并将所述重建步骤(108)的输出数据从所述另外的集成电路传输到所述精确运动估算集成电路。
12.根据权利要求10或11所述的装置，其特征在于，为了形成并行扩展，为每个指派了特定的存储装置(304，306)的另外的粗略运动估算集成电路(303)和/或精确运动估算集成电路(305)被分别并行连接到第一(B)、第二(A)、第三(D)总线，连接到双向总线(C)，连接到与所述另外集成电路(307)相连的传送预处理亮度和色度图像数据(E)和预测亮度和色度图像数据(F)以及运动信息(MVD，PMD，G)到所述另外的集成电路(307)的所述连接、以及连接到将所述重建(108)的输出数据(H)从所述另外的集成电路传送到所述精确运动估算集成电路中的所述连接。
13.根据权利要求10至12任意一个所述的装置，其特征在于被连接到一个或多个粗略运动估算集成电路(303)和一个和多个精确运动估算集成电路(305)的共用的双向总线(C2)由第二控制装置(316)进行控制，并且其中共用的双向总线(C3)被连接到另外的集成电路(307)，并且可能连接到用于确定编码选择方案的额外的编码预分析电路(314)，该编码预分析电路对经由一条或所述第二总线(A)从所述第一集成电路(301)而来的亮度数据进行处理，该共用双向总线由第三控制装置(317)控制，并且其中第二和第三控制装置由所述控制装置(315)控制。
全文摘要
基于一组特别的IC设计已经开发了一个实时MPEG-2视频编码器。该处理功能在三个主IC或级中作了组织。预处理器(301)包括所有输入和预处理功能，如进行数据压缩时所需要的图像格式转换。粗略(303)和精确(305)运动估算器包括所有运动估算和运动预测功能。位流编码器(307)包括所有用于MPEG-2编码的位流发生，如DCT、量化器、逆量化器、逆DCT、之字形扫描以及RLC/VLC编码，但不包括运动预测。
文档编号H04N7/50GK1155218SQ9611852
公开日1997年7月23日 申请日期1996年12月2日 优先权日1995年12月6日
发明者巴思·A·坎菲尔德, 安德烈亚斯·格拉夫, 罗尔夫·凯斯勒, 弗里德里克·罗明杰 申请人:汤姆森多媒体公司