专利名称：使用固定比率压缩的有效视频数据存取的制作方法
技术领域：
本发明涉及一种用于对数字视频数据进行编码的系统，其中有效完成压缩策略选择及视频帧的特定元素的确定和检索。与利用自适应动态范围编码方法的数字电视解码器设计一起，本发明具有特定的效用。
自适应动态范围编码(ADRC)涉及授予Kondo的题为“用于对数字视频信号进行编码的高效率技术”的美国专利4703352中描述的一种编码技术，由此通过引用将其内容结合到主题申请中，如同在此完整地进行阐述。按照此技术，可按照某一比例来计算并表征连续图象点之间的差别。此比例随后被用于选择数据的量化策略，其目的是实现进一步压缩而不降低图象质量。量化通过将视频数据除以适合于数据范围的量化器步长来丢弃视觉上不重要的信息。
ADRC方法将视频序列的各个帧分割成如
图1所示的许多带。假定每个视频帧包括720列和480行，并且视频帧进行4∶2∶0交错扫描，则Y场为720×720，并且U、V场为360×120。每个帧有2个场。每个带占有帧的四行，包括Y分量22及U与V分量26。在每个带中，图象进一步分割成许多块20，每个块为4像素乘4像素或16像素。
每个带内，每个块使用一种策略进行编码，该策略取决于块的动态范围，即表示图象元素的数字视频数据的最大与最小值之间的差。具有较小动态范围的块使用较少的比特来编码，并且相反的情况也成立，某些块需要较多的比特。相应地，每个编码块具有不同的比特长度。然而，按照此编码，ADRC方法也使用固定的压缩比将每个整带进行压缩。为获得该比率，相同带中的所有块互相交换比特，从而使得难以定位某个特定块。
另外，因为运动补偿是基于预测技术，需要能够在锚帧(anchorframe)中定位参考宏块，所以使用带作为编码单位增加了实时解码处理的复杂性和困难。使用ADRC方法，假定带中的块未使用固定比特率压缩，则计算宏块的位置是不直接的。一些情况下，要定位特定宏块，必须搜索多达五个带的大量数据。这不但耗时而且影响性能。
此外，通过提供七种块编码策略，ADRC还导致低效。视数据而定，任一给定的带可能要应用所有七种编码/解码策略。因为带中的数据不是使用固定比特率来压缩，所以，即使是在显示单一行，也都必须对一个完整的带进行解码。
使用ADRC方法的其它专利并未以与本发明相同的方式来解决所述方法的低效。这些专利包括1997年2月27日公布的题为“图象信号的编码/解码设备”的日本特许公报09139941 A和题为“图象编码装置、图象编码方法、图象编码和传送方法及图象记录媒体”的美国专利No.5734433(′433)。日本特许公报09139941A涉及通过由分形编码中的ADRC编码对层向的图象元素值进行归一化来减少所需的计算量。′433专利使用最小平方优化方法来确定编码数据的最小值。
本发明通过提供一种用于对编码的输入数字视频数据进行组织和检索的系统(即一种方法、一种装置和计算机可执行处理步骤)来着手满足上述需求，以便可以容易地确定和检索数据的任一特定段。这由两个创新来完成。首先，所述带不再是用于对数字视频数据进行编码的单位。相反，更小的单位，即编码块被用作帧的编码单位。编码块是例如6个的更少数量的压缩到固定长度的4×4水平附加块(horizontally adjunct block)。其次，在每个编码块中，仅采用两种量化策略，因此容易确定任一编码块的开始和结束位置以及编码块中任一单独块的位置。
本发明的另一个目的是提供一种有效并且经济的量化选择策略，通过在必要时牺牲帧的质量来确保所需的压缩率。而且，由于仅丢弃视觉上不重要的数据，因此，在产生用户可接受的预定图象质量的视频输出的同时，本发明的量化选择策略还增强了总体编码和解码效率。该策略确保所产生的图象的主观视觉质量令人满意，不合讨厌的非自然信号。
在本发明中，ADRC方法下提供的七种量化策略被替代为两种策略细量化和粗量化。在选择量化策略中，首先使用修改的动态范围表所指定的比特数对数据进行编码。然而，如果此细量化策略对产生所需比特传输率的压缩度不保证，则立即选择粗策略，该策略使用更大的压缩，因而使用较少的比特。因为动态范围不准确反应数据的分布，所以使用不止一种策略。例如，下组数据{0，20，22，21，24，25，200}具有动态范围200。然而，大多数数据集中在值22周围。诸如32的粗量化级可保证整个编码块具有固定的压缩率2。然而，这比诸如8的较小量化级更严重地降低图象质量。虽然层次200需要更多的比特，然而对于数据范围20-25，较细量化级可提供更准确的结果。额外需要的比特可从相同编码块中具有较小动态范围的其它块中提供。相应地，本发明对编码块使用不止一个策略，但避免了ADRC方法提供的七种策略带来的复杂性。
本发明的另一个目的是提供一种用于减少必须传送的表示特定编码块的最小值的比特数的系统。在本发明的一个实施例中，不是传送按照ADRC方法需要8比特的每个数据块的最小值，本发明是利用表示最小值所在范围的3比特代码和表示每个最小值所需的比特数目。由于图象部分的连续性，给定编码块中某些最小值会有相对小的差值，因此这些最小值可用不到8比特来表示；许多块的最小值为0。因此，从统计上说，此编码系统减少了对图象进行编码所需的比特数目。
提供此概述以便于快速理解本发明的特性。结合附图，参考下列对本发明优选实施例的详细描述，可获得对本发明更完整的理解。
图1是按照传统ADRC系统的分割成带和块的帧的视图；图2a是按照本发明的分割成编码块的帧的视图；图2b是按照本发明的分割成4×4微型块的编码块的内部的视图；图3是按照本发明的用压缩率p压缩的分割成编码块的帧的一部分的视图；图4是编码块的视图，其中每一个4×4微型块具有不同的动态范围，因此在应用量化策略后有不同数量的比特。
图5是按照本发明表示两个编码的编码块的视图；图6a是显示如何按照本发明检索宏块的视图，说明宏块大小为16×16，编码块大小为4×24，并且宏块在4个编码块中的最佳情况；图6b是显示如何按照本发明检索宏块的视图，说明宏块大小为16×16，编码块大小为4×24，并且宏块居中于10个编码块的边界间的最差情况；图6c是显示如何按照本发明检索宏块的视图，说明宏块大小为17×17，编码块大小为4×24，并且宏块在5个编码块中的最佳情况；图6d是显示如何按照本发明检索宏块的视图，说明宏块大小为17×17，编码块大小为4×24，并且宏块居中于10个编码块边界间的最差情况；图7是用于说明本发明操作的流程图；图8是显示本发明第一和第二实施例的单元的功能框图；图9描述可实现本发明的系统。
图9示出可实现本发明的系统的代表性实施例。在此实施例中，在DTV视频解码器118中实现所述系统。首先，视频比特流94输入MPEG 2解码器122。在比特流被解码后，便应用嵌入式编码器124的固定比率压缩方案。压缩的数据随后保存在SDRAM 126中。因为数据是以压缩格式保存并且占用的空间比原始视频数据占用的空间少，所以需要较小的SDRAM存储器空间。一般出于以下两个原因来检索保存的数据第一是要输出到显示器130，第二是在系统控制120的控制下MPEG 2解码器122请求运动补偿参考块时。在第一种情况中，嵌入式解码器128由系统控制单元120调用，以从SDRAM 16检索数据并对数据执行解压。在解压后，数据逐行输出到DTV显示器130。在第二种情况中，MPEG 2解码器122通过系统控制120向SDRAM 126请求特定参考块。这些块随后由嵌入式解码器128进行解压并被输出。
图8是一个框图，描述视频输入和用于实现信号处理步骤的模块。此设备可被修改以通过无线电发射机或通过无线装置传送输出信号，其中信号可为载波。图7是一个流程图，说明图8所示模块的功能。在步骤S801开始，原始未编码的视频数据输入到本发明中。从视频源输入的视频数据94输入到块分割器96，在步骤S802，该分割器将帧分成编码块。编码块是本发明的编码组。编码块包括如图2b所示的固定数量的4×4微型块20。例如，编码块可以是k个4×4的水平附加微型块(horizontally adjunct miniblock)，其中，k＝6，导致每四行数据包括M个编码块，其中M＝(像素行数)/4k。与传统的ADRC方法相比较，将编码块用作编码组导致更简化和水平规则的数据结构(horizontally regularized data structure)。
例如，如果我们假定编码块是垂直方向上的4个像素乘以水平方向上的4k个像素，或者为水平方向上的k个4×4块，则在一个编码块中有水平方向上的24个像素，并且在图2a每个场的每个水平路径中，有1920/24，或者说有80个Y编码块以及40个U与40个V编码块。因为每个编码块以固定长度独立编码，所以只需直接搜索每个编码块的起始地址，便可检索任一特定编码块。如图3所示，所指的各个节点30具有固定比特数的间隔。例如，如果每个编码块按因子p＝2进行压缩，作为图7步骤S803中的压缩的结果，一个编码块的指定比特数是4×24×8/2或384比特。因此，如图3所示，忽略一个编码块28意味着忽略384比特，并且搜索参考宏块的过程被简化。按照此示例，虽然k个4×4微型块中的任一个可能具有不同数量的比特，如图4中42，44，46，48，50，52所示，但编码块中所有比特的总和必须等于相同的固定数。在此示例中为384比特。如果使用的总比特数少于384，则添加虚比特。
在每个编码块中，利用ADRC方法的简化有效的适应来压缩比特。首先，由图8的102确定数字数据的最小值，最小值范围为0到255。按照图7的步骤S804，如果k＝6并且有k个微型块，则每个编码块将有6个被确定的最小值。
如图7的步骤S805所示，图8中104所示的最大/最小值编码器能以多种方式对这些最小值进行存储。在一种模式中，在图7的步骤S810，采用全长方法。这意味着每个最小值以一个字节(8比特)来存储。因此，如果编码块中有6个微型块，则需要48比特来存储该编码块的6个最小值。
另一方面，采用可变长度存储方法。此方法利用以下事实平均起来，编码块中的多数最小值不需要8比特的存储。对于编码块中所有最小值均为0或255的最佳情况，仅需1比特的存储。对于最差情况，最大需要42比特来存储，如下表第4层所示。
此编码的算法在下表中说明，它基于计算每个编码块的最小值范围并以编码形式存储这些最小值及指出如何对这些最小值进行解码的层次码(level code)。
首先，按照着图7的步骤806，每个编码块中的最小值按降序进行排序。随后，在图7的步骤807，计算每个最小值的层次。
建立7个层次，每个层次对应于最小值的不同范围，如下所述。第1层对应于编码块的最高最小值小于2的情况。在这种情况下，将最小值作为0处理。第1层也对应于最低最小值等于255的情况。对于第1层的这两种情况，整个编码块的最小值所需的存储量为1比特加上3个层次比特。
第2层对应于编码块最高最小值为23且每个微型块需要的存储量是3比特的情况。第3层对应于编码块的最高最小值小于25且每个微型块需要的存储量是5比特的情况。第4层对应于编码块的最高最小值小于27且每个微型块需要的存储量是7比特的情况。第5层对应于最低最小值介于27和27+24之间的情况。这种情况下，从范围减去128，并且每个微型块需要的存储量是4比特。第6层对应于最低最小值介于27和27+26之间的情况。这种情况下，从范围中减去128，并且每个微型块需要6比特。第7层对应于最低最小值大于或等于27+26的情况。这种情况下，从255中减去最低最小值，并且每个微型块需要6比特。
在所有情况下，均需要3比特的开销来存储层次号。最佳情况下，每个编码块需要4比特存储最小值，显示出比先有技术节省92％存储量。最差情况下，需要45比特，显示出比先有技术节省6％存储量。毫无疑问，使用此方法存储最小值将节省存储器。不论是使用图7中步骤S810的全长存储方法还是使用图7中步骤S806、S807、S808和S809的可变长度存储方法，最小值均被存储并且随后如图7中步骤S811所示的那样由图8中的最大/最小值减法器106将其从数字视频数据中减去。
在减去最小值后，数据被输入图8中的动态范围计算器108。在图7的步骤S812中为每个微型块计算动态范围时，以一种简化的方式使用ADRC动态范围查找表。ADRC表被设计成使用8个子范围覆盖整个范围的空间分辨率，即
，每个子范围都具有不同的量化级并因而有不同的比特率。相应地，仅需要存储3比特以指出选定的子范围。
ADRC方法由于应用八种不同的量化策略，使得数据检索麻烦且耗时，与ADRC方法不同，在图8的110中，本发明仅使用两种量化策略，但仍取得了同样的客户满意度。因为仅使用一种策略可能导致严重的图象质量降低，因此采用两种策略。动态范围只是一个数据块将如何动态变化的指示，而并不指出数据集中在任一特定数据值周围。由于量化策略确定压缩数据的粗细度如何，因此这很重要。
下列示例展示了数据集中的重要性。假设有一组数据{0，20，22，21，24，25，200}，该组具有的动态范围200但紧密地集中在数据值22周围。单个边远值200导致200的动态范围，但并不反应大多数数据的特性，大多数数据集中于值22周围。根据动态范围，可以选择诸如32的粗量化级，因为这将保证整个编码块具有固定的压缩率2。然而，选择此粗量化级将比诸如8的较小量化级更严重降低压缩图象的质量。较小的量化级对于数据范围[20，25]将产生更精确的结果，但表示数据值200将需要更多比特。如图5所示，额外的比特可由相同编码块中具有较小动态范围的其它块来提供。因此，本着产生用户可接受的预定视觉质量而不牺牲数据检索的简单和速度的目的，在图7的步骤S813，本发明确定第一量化策略，所述第一量化策略将为各个微型块提供细量化，但如果在图7的步骤S814中确定无法达到编码块所需的压缩率，则在图7的步骤S815，选择保证所需比特率的较粗策略。
在选择量化策略后，下一步骤是在图7的S816中对数据进行量化。一旦数据被图8中的量化器112处理后，在图7的S817中，图8中的压缩数据格式化器114就对所述数据进行格式化。图5示出编码块数据结构。图5中的第一比特76用于存储编码策略，该编码策略表示选定的量化策略。图5中的紧接着的3个比特78用于存储最小值开销，该最小值开销表示在利用可变长度方法时选定的最小值层次。图5中的下一部分数据结构80用于存储最小值。这些值可以为全长形式，或者在已选定可变长度方法时为编码形式。图5中的紧接着的3比特40表示微型块0的动态范围信息。图5中的量化的数据84随后，并且长度随数据的特性和选定的量化策略而变化。编码块中每个微型块的动态范围信息和量化的数据均出现。相应地，对于任一给定编码块，假设编码块包括k个微型块，则所需存储的总比特数可由以下公式表示总比特＝1+3+∑最小值比特+3k+∑数据比特。图5表示k＝6的情况。
此水平规则的数据结构(horizontally regularized data structure)有利于方便地检索信息。这因以下两个原因而重要1)因要能对压缩的视频数据进行快速解码和输出；以及2)因要能对特定参考块快速检索并有效计算运动补偿。例如，对于宏块大小为16×16且编码块大小为4×24，最差情况下，必须检索10个编码块并将它们解压，以便确定所需编码块的位置，这就意味着要检索水平和垂直方向中的所有编码块。如图6b所示，在宏块居中于10个编码块的边界之间时，这种情况便会出现。对于最佳情况，宏块在4个编码块中，如图6a所示。假设有规则的数据结构，因为宏块和编码块两者的大小均已知道，所以易于找出宏块开始的编码块及结束的编码块。
作为规则的数据结构的结果，可以检索编码块中的任一4×4微型块而无需对整个编码块进行解码。这通过计算确切的编码块开始地址、每个4×4块使用的比特数及所有的开销比特而完成。因为编码块小且所需的计算仅为加和减，所以检索任一特定块不复杂。
已经关于特定说明性实施例对本发明进行了描述。要知道本发明不限于上述实施例和对其的修改，并且在不脱离后附的精神和范围的情况下，本领域的普通技术人员可以进行各种的改变和修改。
权利要求
1.一种对包括一个或多个帧的数字视频数据进行编码的方法，所述方法包括· 将每个帧划分成固定长度的编码块，每个编码块包括固定数量的微型块；· 确定每个编码块中每个微型块的最大值和最小值；· 通过将每个编码块中的每个微型块的所述最大值减去所述最小值来计算每个编码块中的每个微型块的动态范围；· 按照选定的量化策略对每个微型块进行量化，这样，以固定的压缩率对每个编码块进行编码，每个编码块中的比特数少于原来的数目，并且可以容易确定每个编码块的开始和结束位置；· 将包括所述最小值数据、动态范围数据及编码压缩视频数据的压缩编码块输出。
2.如权利要求1所述的方法，其特征在于对所述动态范围的计算还包括以下步骤· 将每个动态范围划分成多个子范围，每个子范围对应于一个唯一的量化级；· 将每个子范围与一个标识符相关联。
3.如权利要求2所述的方法，其特征在于对每个微型块的量化还包括以下步骤· 选择所述子范围和对应于每个微型块的所述动态范围的第一对应量化策略；以及· 为每个微型块确定第二较粗量化策略，该第二较粗量化策略将提供所需的压缩率和解码时将展示预定图像质量的图像。
4.如权利要求3所述的方法，其特征在于还包括以下步骤· 在所述第一量化策略可提供所需的压缩率时，选择所述第一量化策略；以及· 在未选择所述第一量化策略时选择所述第二量化策略。
5.如权利要求4所述的方法，其特征在于还包括以下步骤· 将所述编码块最小值从最低到最高值进行排序；· 对于每个编码块，从一组预定层次中确定对应于所述最小值的层次；· 将标识符与每个层次相关联；· 将所述最小值存储为变长的位模式(bit patterns)；以及· 其中，通过将每个标识符与表示所述最小值的每个位模式相结合，可重构所述最小值。
6.一种用于对包括一个或多个帧的视频数据输入进行编码的装置，所述装置包括· 块分割部分(96)，用于将所述输入视频信号划分成固定长度的编码块，每个编码块还包括固定数量的微型块，包含固定数量的比特；· 最大/最小值确定部分(102)，用于确定每个编码块中的每个微型块的最大值和最小值；· 动态范围计算部分(108)，用于根据所述最大和最小值来计算每个微型块的动态范围；· 量化部分(112)，用于以选定的量化策略对每个微型块进行量化，这样，以固定的压缩率对每个编码块进行编码，每个编码块中的比特数少于原来的数目，并且可以容易确定每个编码块的开始和结束位置；· 输出装置(114)，用于将包括最小值数据、动态范围数据及压缩视频数据的压缩编码块输出。
7.如权利要求6所述的装置，其特征在于还包括量化策略选择部分(116)，用于1)为每个微型块确定对应于所述微型块的动态范围的第一细量化策略，b)为每个微型块确定第二较粗量化策略，该第二较粗量化策略比所述第一量化策略提供更大的压缩，并将提供所需的比特传输率和解码时展示预定图像质量的图像；以及c)在所述第一量化策略不提供所需的压缩率时选择所述第二量化策略。
8.如权利要求7所述的装置，其特征在于还包括最小值层次计算部分(104)，用于将所述最小值与一组预定的层次相比较，并为每个编码块确定对应的层次；相关部分(104)，用于将算得的最小值层次与标识符相关；和最小值存储部分(104)，其中最小值被存储为变长的位模式；其中所述最小值可以通过将所述标识符与表示所述最小值的所述位模式相结合而被重构。
9.对包括一个或多个帧的数字视频数据进行编码的计算机可执行处理步骤，所述计算机可执行处理步骤被存储在计算机可读取的媒体上并包括· 将每个帧划分成相邻的垂直和水平比特的微型块；· 将固定数量的所述微型块分组成固定长度的编码块；· 为每个编码块确定固定的压缩率，这样，每个编码块中的比特数少于原来的数目，并且可以容易确定每个编码块的开始和结束位置；· 确定每个编码块中的每个微型块的最大值和最小值；· 通过将每个编码块中的每个微型块的所述最大值减去所述最小值来计算每个微型块的动态范围；· 将所述动态范围划分成多个子范围，每个子范围对应于一个唯一的量化策略；· 将每个子范围与一个标识符相关联；· 选择所述子范围和对应于所述微型块的所述动态范围的第一量化策略；· 确定第二量化策略，所述第二量化策略将提供所述压缩率和解码时具有预定图像质量的图像；· 当与所述选定子范围相关联的所述第一量化策略未提供所需的压缩率时选择所述第二量化策略；· 按照所述选定的量化策略对每个微型块进行量化；以及· 输入压缩的视频数据。
10.一种信号，体现为载波，它表示数字视频数据，包括相邻的垂直和水平字节的单位的帧，被分组成固定数量的固定长度编码块，每个编码块以固定的压缩率被编码，这样，每个编码块中的比特数少于原来的未压缩的数目，并且可以容易确定每个编码块的开始和结束位置；每个单位具有确定的最大值和最小值，每个编码块具有一个动态范围，该动态范围是通过将所述编码块中的每个单位的所述最大值减去所述最小值的算得的，每个动态范围被划分成多个子范围，每个子范围对应于一个唯一的量化策略并与一个标识符相关联，按照所述单位的所述动态范围选择第一子范围，并且在所述第一子范围不能提供所需的压缩率时，由将提供所需压缩率的第二子范围代替所述第一子范围，并应用所述选定的量化策略对所述数据进行量化。
11.如权利要求10所述的信号，其特征在于从最低到最高值对每个编码块的最小值范围进行排序；以及计算每个编码块的最小值层次；以及将各层次的标识符与各编码块相关联；以及所述最小值被存储为变长的位模式；以及通过将所述标识符与表示所述最小值的所述位模式相结合可重构所述最小值。
12.一种用于对包括一个或多个帧的视频数据输入进行编码的装置，所述装置包括· 装置(96)，用于将所述输入视频信号划分成固定长度的编码块，每个编码块还包括固定数量的微型块，包含固定数量的比特；· 装置(102)，用于确定每个编码块中的每个微型块的最大值和最小值；· 装置(108)，用于根据所述最大和最小值来计算每个微型块的动态范围；· 装置(112)，用于以选定的量化策略对每个微型块进行量化，这样，以固定的压缩率对每个编码块进行编码，每个编码块中的比特数少于原来的数目，并且可以容易确定每个编码块的开始和结束位置；· 装置(114)，用于将包括最小值数据、动态范围数据及压缩视频数据的压缩编码块输出。
13.如权利要求12所述的装置，其特征在于还包括装置(110)，用于a)为每个微型块确定对应于所述微型块的动态范围的第一细量化策略，b)为每个微型块确定第二较粗量化策略，该第二较粗量化策略比所述第一量化策略提供更大的压缩，并将提供所需的比特传输率和解码时展示预定图像质量的图像；以及c)在所述第一量化策略不提供所需的压缩率时选择所述第二量化策略。
14.如权利要求13所述的装置，其特征在于还包括用于通过将每个最小值与一组预定的层次相比较来计算最小值层次的装置(104)；用于将所述算得的最小值层次与标识符相关联的装置；用于将最小值存储为变长的位模式的装置；其中所述最小值可以通过将所述标识符与表示所述最小值的所述位模式相结合而被重构。
15.一种对包括一个或多个帧的数字视频数据进行编码的方法，所述方法包括· 将每个帧划分成编码单位；· 确定每个所述编码单位的最大值和最小值；· 通过将每个编码单位的所述最大值减去所述最小值来计算每个编码单位的动态范围；· 将每个动态范围划分成多个子范围，每个子范围对应于一个唯一的量化级；· 将每个子范围与标识符相关联；· 选择所述子范围和对应于每个编码单位的所述动态范围的第一对应量化策略；以及· 为每个编码单位确定第二较粗量化策略，所述第二较粗量化策略将提供所需压缩率和解码时将展示预定图像质量的图像；· 按照选定的量化策略对每个编码单位进行量化，这样，以固定的压缩率对每个编码单位进行编码，每个编码单位中的比特数少于原来的数目，并且可以容易确定每个编码单位的开始和结束位置；将包括所述最小值数据、动态范围数据及编码的压缩视频数据的压缩编码单位输出。
全文摘要
一种数据组织和存取方案,用于允许在运动补偿期间更方便定位参考宏块,并用于向视频输出系统提供输出数据。将帧分割成编码块,编码块包括少量的压缩成固定长度的水平附加块。在每个编码块中,仅采用两种量化策略,因此易于确定任一编码块的开始和结束位置以及编码块中任一单独块的位置。
文档编号H03M7/30GK1383685SQ01801734
公开日2002年12月4日 申请日期2001年4月6日 优先权日2000年4月19日
发明者S·彭 申请人:皇家菲利浦电子有限公司