专利名称：对数据进行划分和编码的方法
技术领域：
本发明涉及数字图像信号处理的领域，更详细说涉及分层视频数据处理系统。
提供一种适合不同视频发送和接收系统的标准一直是开发数字视频编码和解码格式方面的一个目的。促进不同代和不同类型的视频编码和解码设备之间的互操作性和后向兼容性一直是另一个目的。为了促进这样的互操作性和兼容性，希望规定编码和解码对策，使得能够适应不同类型的视频图像扫描(如隔行/逐行)、帧速率、图像分辨率、帧的大小、色度编码、及传输带宽。
用于实现互操作性的一种对策是为了编码和发送把视频数据划分为组织成有次序的一组比特流的一个或多个数据等级层(层)。比特流的范围从基层即表示最简单的(例如分辨率最低的)视频图像的数据流起，到表示越来越精细的视频图像的一个接一个的各增强层。视频数据由接收机的解码器从该有序的比特流中重构。这种对策允许按需要设计解码器的复杂度以达到希望的视频图像质量。解码器的结构可以是从对整组比特流即对所有增强层解码的最复杂结构起到只对基层解码的最简单结构。
使用这种数据分层制的一种广为采纳的标准是MPEG(运动图像专家组)图像编码标准(ISO/IEC 13818-2，1994年5月10日)，以下称作“MPEG标准”。该MPEG标准详细说明了如何可以得到基层和增强层数据，以及如何可以由解码器从这些层中重构视频数据。在该标准中承认需要提供一种包括编码器和解码器架构的系统，所述架构用于在各层之间合理地划分数据及用于为此而动态地配置该系统。
本发明的目的是提供一种对数据进行划分和编码的方法。
根据本发明的原理，可动态配置的视频信号处理系统采用可变数目的数据段和可变数据分辨率对数据进行划分和编码。
根据本发明的一种所公开的方法将数据划分为可变数目的数据段。该方法包含随着数据率的变化而对被划分为第一和第二数目的数据段的数据的第一和第二失真因子进行预测。将第一和第二失真因子进行相互比较并把数据划分为数据段数呈现较低失真因子值的数据段。
根据本发明的特征，还公开了一种确定数据分辨率的方法，输入数据是以该分辨率编码的。该方法包括随着数据率的变化而为以第一和第二数据分辨率编码的数据预测第一和第二失真因子。将第一和第二失真因子进行相互比较并以呈现较低失真因子值的分辨率对数据编码。
附图的简要说明
图1表示按照本发明的示范性可动态配置的视频信号编码和解码架构。
图2表示按照本发明的表示不同编码对策区的峰值信噪比(PSNR)与比特率关系的示范性图形。
图3表示按照本发明的用于确定图1架构的控制功能流程图。
图4表示在与MEPG兼容的编解码系统意义上的图1的编解码系统。
图5表示本发明的编码器和解码器架构，用于区域A型编码和解码。
图6表示本发明的编码器和解码器架构，用于区域B型编码和解码。
图7表示本发明的编码器和解码器架构，用于区域C型编码和解码。
图8是图1的变型，它按照本发明所述附加了用于区域A解码的架构配置。
图9是图1的变型，它按照本发明所述附加了用于区域C解码的架构配置。
图10表示本发明识别输入数据的区域类型用的方法的流程图。
MPEG标准涉及利用“可分级性”来处理层次有序的比特流层。MPEG可分级性的一种称作“空域可分级性”的形式允许在不同层中的数据具有不同的帧尺寸、帧速率和色度编码。MPEG可分级性的另一种称作“时域可分级性”的形式允许在不同层中的数据具有不同的帧速率，但是要求完全相同的帧尺寸和色度编码。此外，“时域可分级性”允许增强层包含由与运动有关的预测形成的数据，而“空域可分级性”则不允许。这两种可分级性以及另一种“SNR(信号噪声比)可分级性”在MPEG标准的第3节中有更详细的定义。
本发明的一实施例在2层等级制(基层及单个增强层)中采用MPEG“空域”和“时域”可分级性。增强层数据收容不同的帧尺寸但是只提供单个帧速率和单个色度编码格式。两个示范性的帧尺寸，例如，对应于美国大联盟HDTV规范建议的HDTV(高分辨率电视)和SDTV(标准分辨率电视)信号格式。HDTV的帧尺寸是1080行及每行1920样本(每幅图像给出1080×1920像素)，SDTV的帧尺寸是720行及每行1280样本(每幅图像给出720×1280像素)。HDTV和SDTV信号二者都采用30Hz隔行扫描的帧速率和相同的色度编码格式。
本公开的系统是在这种与MPEG兼容、两层HDTV及SDTV空域和时域可分级的应用的情况下描述的，但这只是为了示范。本公开的系统可以容易地由本领域的技术人员扩充到二层以上的视频数据等级及其他视频数据分辨率(不只是720和1080行的分辨率)。此外，本发明的原理可应用到其他形式的可分级性如SNR可分级性，也可用于确定固定不变的最佳编码器和解码器架构。本发明的原理特别应用在TV编码(HDTV或SDTV)、极低比特率编码(如视频会议)和数字地面广播中，用于为希望的通信带宽进行编码器和解码器装置的优化。
图1表示按照本发明的可动态配置的视频信号编码和解码架构。总括地看，输入视频数据流被压缩并被编码器100在基(SDTV)数据层和增强(HDTV)数据层之间分配。分配根据本发明的原理在带宽和架构控制单元120的控制下完成。从编码器100所得的单个或二个比特流形式的压缩数据由格式化器110形成为包含识别头标的数据包。在数据通道上发送之后，从单元110输出的格式化的数据由传送处理器115接收。发送和接收过程将在以后结合图4所示的编码和解码系统进行说明。
传送处理器115(图1)根据对头标信息的分析按照层的类型，即基层或增强层数据，分离已格式化的压缩比特流数据。从传送处理器115输出的数据由解码器105解压缩。在带宽和架构控制单元145的控制下，按照本发明的原理确定解码器105的架构。由解码器105输出的单个或二个解压缩比特流的形式的所得解压缩数据适合于编码为NTSC格式信号和适合于随后的显示。
现在来详细考察图1的可动态配置的架构。输入视频数据流被编码器100压缩并在SDTV基数据层和HDTV增强层之间分配。带宽和架构控制单元120配置编码器100的架构以适当地在分别从单元125和135输出的HDTV和SDTV层之间分配数据。适当的数据分配取决于许多系统因素，包括带宽、系统输出数据率的制约、输入视频数据的数据率和图像分辨率(每幅图像的像素数目)、以及在各层要求的图像质量和分辨率(每幅图像的像素数目)。在所描述的系统中，如下更详细叙述地通过改变每幅图像的像素数目来改变编码器100和解码器105二者的输入和输出之间的图像分辨率。
通过为规定的失真确定代表编码器100输出处的视频输入序列所需的单位时间内的最少比特数来求得数据分配和编码对策。这就是编码器100的比特率失真函数(Rate Distortion Function)。在假定输入序列是均值为μ、标准偏差为σ的高斯分布的源信号的情况下计算比特率失真函数。进一步把平方误差准则应用到这样的高斯输入序列的比特率失真函数R，按照J.Wiley & Sons1991出版的由T.M.Cover和J.A.Thomas合著的“信息论纲要(Elements ofInformation Theory)”一书的第13.3.2节所述的原理，有
=12log2(σ2D)]]>若0≤D≤σ2或者，＝0若D＞σ2因此，失真率函数(Distortion Rate Function)D由下式给出D＝σ222R此式如用峰值信号与噪声比(PSNR)表示则是DPSNR=10log(2552σ2)+20log(2*R)]]>图2是二层空域编码系统的失真峰值信号噪声比DPSNR(单位为分贝(dB))与增强层比特率(每秒的比特数)的关系的图形表示。这些曲线是为基层失真函数、增强层失真函数以及对720行图像进行1080行插补的示例性上采样基层的失真函数而绘制的。基层和上采样基层曲线具有负斜率，因为当增强层比特率增加时，基层比特率减少。二层系统的合成失真曲线用图2的粗黑线表示。该合成的失真曲线是采用上采样基层的二层系统可获得的最小失真的线性近似。
根据图2表示的二层系统的结果来求得编码和解码对策。特别是识别出三个区域A、B和C，通过采用不同的编码和解码方法可以从该识别中获得收益。这些区域的边界可以随系统带宽、系统输出数据率的制约、输入视频数据的数据率和图像分辨率、以及在每层需要的图像质量和分辨率而变化。这些区域的识别如下。区域A在区域A中，没有足够的可分配带宽来使用二层编码或单一的高分辨率层编码实现所需的图像质量。在该区域中，已解码已上采样的基层的视频质量等于或超过从混合的基层和增强层数据得出的已解码图像的质量。该区域在其高端的边界位于增强层曲线上的点X处，点X处的图像质量(DPSNR值)等于在零比特率增强层点Y处的上采样基层曲线的图像质量。
在区域A中，把可用的系统带宽全部分配给以具有减少的每幅图像像素数的降低的空域分辨率对单个层(基层)的编码和压缩是有利的。这种对策可以用种种方法实现。一种方法，举例说，是发送时下采样输入的数据流以提供单个基层(SDTV)，然后接收时对相应的收到的基层进行解码以提供SDTV已解码输出。除了获得SDTV已解码输出之外也可通过上采样(过采样)已解码SDTV输出在接收机中产生更高分辨率的HDTV已解码输出。这一对策得到好处是因为当把不充分的带宽分配于对较低分辨率的单层比特流编码时要比当把该带宽用于对两层或者对单个高分辨率层编码时更有效地利用它。之所以如此是因为对两层或对单个高分辨率层编码的方法一般要承担更大的编码开销，这些开销与例如所需的附加差错保护和数据管理代码有关。区域A型的情况可能在例如当总的系统可用带宽不足以支持全分辨率编码时出现。区域A编码方法的好处也可以在待编码的输入数流含有显著的非平移运动时出现。此时，在频带受限制的系统中，区域A空域下采样和上采样比运动补偿的预测编码可提供较好的图像质量。这是由于与这种运动补偿有关的开销的缘故。对区域A操作将结合图5作更详细的讨论。区域B在区域B中，系统有足够的带宽以满足使用两层编码对策时所需的输出图像质量。在该区域中，可用的系统带宽在各层之间分配使已解码的高分辨率和低分辨率输出二者的质量要求都得到满足。该区域位于区域A和区域C之间。
在区域B中，系统带宽根据图像质量的要求在高分辨率和低分辨率的信号输出层之间分配。发送时可以用种种方法对该两输出层编码。一种方法，举例说，是在发送时对高分辨率的输入数据流下采样和编码以提供低分辨率(SDTV)层，及在接收时对该低分辨率层解码以提供低分辨率SDTV信号。准备发送的高分辨率(HDTV)增强层可以从已编码SDTV层的上采样版本及已编码HDTV层的各先前帧的组合中得出。HDTV已解码输出可以从已解码的SDTV输出的上采样版本和接收到的已编码HDTV层的组合中得出。对这一操作将结合图6进行更详细的讨论。区域C在区域C中，所需的图像质量不能通过把系统带宽分配给两层的编码或给单个(低分辨率)层的编码来实现。在该区域中在已知系统带宽受限制的情况下，通过对单个高分辨率层的编码可以获得高质量的输出视频信号。该区域在增强层曲线上的界限由点V确定，点V提供单独基层的作为最低要求的图像质量水平(等于图2的DPSNR值W)。
在区域C中，把系统带宽全部分配给以具有全部每幅图像像素数的空域全分辨率对单个层(增强层)的编码和压缩是有利的。这种对策可以用种种方法实现。一种方法，举例说，是发送时作为单个高分辨率增强(HDTV)层以空域全分辨率对输入数据流编码，以及对相应的接收到的增强层进行解码以提供高分辨率HDTV输出。在接收机处，可以通过在如后所述的压缩或解压缩域中的下采样来从收到的高分辨率信号求得低分辨率(SDTV)输出。出现这种区域C对策的好处是因为，已知所需的输出的图像质量水平，发送时可用带宽在将其分配给单个高分辨层的编码时比将其用于两层编码时得到更有效的使用。这是因为两层编码需要附加的差错保护和数据管理开销信息。对这种区域C操作将结合图7进行更详细的讨论。
为图2的2层系统识别出的三个区域(A，B和C)可能不都出现在每个2层系统中。例如，可能只识别出一个或二个区域，这取决于系统带宽、系统数据率的制约、以及在每层所需的图像质量和分辨率。相反，在涉及多于二层的系统中，按照本发明的原理，可以识别出多于三个区域。然而，不论在一系统中可识别出的数据区的数目是多少，通过使用只可为有限数目的可识别区域配置的编码和解码架构就可获得满足要求的已解码图像质量。
与区域A、B和C有关的不同编码和解码对策在图1的可动态配置的架构中实现。在编码器100中，用于在HDTV和SDTV输出层之间分配数据的适当对策和架构由控制单元120确定。例如含有微处理器的控制单元120通过使用图3流程图所示的程序来配置编码器100的架构。在步骤310的程序开始之后，在图3的步骤315中，控制单元120首先识别输入数据的区域类型。该区域类型按照上述原理根据一些因素来确定，这些因素包括可用的系统带宽、输入数据流的数据率、以及每个已解码输出层所需的图像质量。这些因素可以加以预先编程，并由保持在控制单元120内部的存储器中的数据表示，或者这些因素可以从向控制单元120输入的数据中确定。例如，可以直接从输入数据流得知数据率。此外，例如，来源于外部的输入可以由操作员的选择来产生，并且，例如，经由计算机接口输入到控制单元120。例如，在一种具体实现中，控制单元120可以根据表示系统带宽和每一已解压缩输出层所需的图像质量的预编程值来得到建立区域A、B和C之间界限的输入数据率阈值。然后，控制单元120根据达到特定阈值的输入数据流的数据率而采用适当的区域A、B或C编码对策。作为另一种选择，各输入数据率阈值可以自身预编程在单元120之内。
在图3的步骤315，使用图10流程图所示的方法来识别输入数据的区域类型。在图10步骤510开始之后的步骤515，最初选择单个等级层及1080行图像分辨率用于对编码区域中的数据编码。在步骤525计算当输入数据以1080行分辨率编码为发送的单个层时该输入数据的预测的失真因子。步骤530指导重复进行步骤515和525以便为720行分辨率的单一层编码装置计算失真因子。步骤530还指导重复进行步骤515和525以便为720行及1080行分辨率的两层编码装置计算失真因子。在步骤540比较所得的各失真因子并确定用于编码的图像分辨率和等级层数。选择过程在步骤550结束。在步骤540选择层数和图像分辨率以给出最小的失真因子。此层数和分辨率选择过程实现了步骤315(图3)的编码区域识别操作。应注意的是，这种划分已编码输入数据的方法也可为种种应用服务，在这种种应用中，数据是要准备发送的数据，而并不局限于图像处理。例如，该方法可用于包括微波和光纤通信在内的电话、卫星或地面通信。此外，这种方法可包括其他类型的数据及把数据划分为数据段或数据包那样的其他类型，不只是划分为已编码数据的等级层。该方法也可包括不同数目的数据段和数据分辨率，不只是相对优选实施例所描述的两层和两种数据分辨率。
如果选择了区域A，则步骤320(图3)指引执行步骤325，编码器100按照类型A的架构来配置，此外，格式化器110通过使用由控制单元120提供的信息对发送的比特流编码以指示数据的区域类型和恰当的解码架构类型。解码器105根据已编码的架构信息被兼容地配置以对发送的区域A型数据解码。如果数据是区域C型，则步骤330指导执行步骤335。步骤335保证编码器100按照区域C架构来配置，发送的比特流被更新以如为区域A所述的方式指示数据的区域类型和解码架构类型。如果数据不属区域C型，则步骤330指导执行步骤340。步骤340保证编码器100按照区域类型B架构配置，发送的比特流被更新以如为区域A所述的方式指示数据的区域类型和解码架构类型。
控制单元120经由提供给编码器100每个组成单元的配置信号C1配置编码器100。控制单元120为分别的输入数据包更新编码器100的配置，其中每个数据包由一些码字序列组成并代表一组图像，例如按照MPEG标准的图像组。然而，控制单元120可以为合适于特定系统的不同数据包长度更新编码器100的配置。例如，可以在上电时为每幅图像、每个图像流(如节目)、每个像素块(如宏块)进行这种配置，或者以可变的时间间隔进行配置。
在区域A操作模式下，控制单元120通过“配置”信号来禁止HDTV压缩器125和2∶3上采样器130这二者的工作。在所得的编码器100配置中，由单元100中的单元135把单个SDTV输出层提供给格式化器110以用于发送。该配置结合图5加以示出和讨论。继续参考图1，为了产生SDTV层输出，3∶2下采样器140以2/3的因子降低1080行分辨率的输入数据流的空域分辨率以获得720行输出。这可以用种种已知方法来实现，包括例如简单地每隔二行抛弃第三行或者最好对每三个原始行进行内插和平均以获得二个内插行。从下采样器140输出的720行用SDTV压缩器135压缩以给格式化器110提供SDTV层压缩数据。由单元135进行的压缩采用时域预测方法，该方法使用存储在编码器135中的SDTV层的一些先前帧。这种涉及时域预测和离散余弦变换(DCT)压缩的压缩方法是已知的并且例如在由全国广播台协会科技部(National Association of Broadcasters(NAB)Office of Science andTechnology)在其48届年会1994会刊中公布的1994年4月14日大联盟HDTV系统规范第3章中有所说明。
所得到的SDTV比特流由格式化器110形成为包括识别头标和架构信息的数据包。架构信息由控制单元120提供并由格式化器110通过使用在MPEG图像编码系统标准(ISO/IEC 13818-1，1994年6月10日)的第2.6.6和2.6.7节中描述的“层次描述子(Hierarchy Deseriptor)”编码到发送的数据流中。然后解码器105使用该架构信息以便为合适的解码模式(例如区域A、B或C模式)兼容地配置解码器105。解码器105的配置，如同编码器100，为每个发送的数据包更新。在本优选实施例中，数据包包含一组图像。
虽然使用MPEG“层次描述子”是保证编码器100和解码器105兼容地配置的优选方法，但是可能用其他方法。可以，例如，把架构信息以MPEG语法编码在MPEG标准的第6.2.2.2.2节所定义的“用户数据”字段中。或者，解码器105可以根据从MPEG标准的第6.2.2.1节序列头标中的比特率字段确定的已编码接收数据流的比特率来获得恰当的解码模式。根据前述的本发明的原理，解码器可以连同详细指示已解码输出的带宽和视频质量要求的预先编程的数据一起使用上述比特率信息来获得恰当的解码模式。解码模式可以改变，例如，当接收到的比特率达到预先编程的阈值的时候。
从单元110输出的已格式化的压缩数据流在输入到传送处理器115之前在传输通道上传送。图4表示包括图1的部件及发送和接收部件410-435在内的总系统。这些发送和接收部件是已知的并且在，例如，作者为Lee和Messerschmidt的“数字通信(Digital Communication)”(Kluwer Academic Press，Boston，MA，USA，1988)的参考教科书中有所描述。发送编码器410对来自单元110的已格式化输出进行编码(图1和4)用于发送。一般说编码器410顺序地对已格式化数据进行加扰、纠错编码、和交错，以便在由调制器415进行调制之前使数据适应发送。然后调制器415以特定的调制格式例如正交幅度调制(QAM)用编码器410的输出来对载波进行调制。所得的从调制器415输出的已调制载波然后被上变频器及发送器420移频和发送，发送器可以例如是本地的广播发射机。应当注意的是，虽然这里按单通道发送系统描述，比特流信息同样可以在多通道发送系统中发送，其中例如给每个数据流层分配一个通道。
已发送信号在接收机处由天线和输入处理器425接收和处理。单元425一般包括射频(RF)调谐器、中频(IF)混频器和放大级，以把接收的输入信号下变频到适合作进一步处理的较低频段。从单元425的输出由单元430解调制，单元430跟踪载波频率及恢复已发送数据及有关的定时数据(例如时钟频率)。发送解码器435执行与编码器410相反的操作。解码器435使用由单元430获得的定时数据顺序地对从单元430输出的已解调数据进行去交错、解码和解扰。关于这些功能的补充信息见于例如上述的Lee及Messerschmidt的教科书中。
传送处理器115(图1和4)根据从单元435输出的压缩数据提取同步和出错指示信息。该信息用于解码器105随后对从处理器115输出的压缩视频数据进行解压缩。处理器115还从来自单元435的压缩数据中的MPEG“层次描述子”字段提取解码架构信息。把该架构信息供给解码器带宽和架构控制单元145(图1)。单元145使用该信息为恰当的解码模式(如区域A、B或C模式)兼容地配置解码器105。控制单元145经过提供给解码器105每一组成单元的第二“配置”信号C2配置解码器105。
在区域A模式下，图1的控制单元145经由第二“配置”信号来禁止HDTV解压缩器150和自适应单元165这二者。在所得的解码器105配置中，从处理器115输出的SDTV层压缩视频由SDTV解压缩器160解压缩以提供解压缩的720行分辨率SDTV输出序列。解压缩过程是已知的并且在上述的MPEG标准中有所规定。此外，上采样器155以3/2的因子过采样720行分辨率的SDTV输出以获得1080行分辨率HDTV解压缩输出。这可以用种种公知方法实现，包括例如内插和平均，以为每二个原始行提供三个内插行。响应第二“配置”信号，经过复接器180，从上采样器160来的1080行分辨率已解压缩输出被选为HDTV已解压缩的输出序列。从解码器105输出的所得已解压缩HDTV和SDTV数据适合于由例如图4的单元440编码为NTSC格式的信号并适合于随后的显示。
图5表示为区域A型编码和解码配置的图1的编码器和解码器装置。所示各单元的功能如前所述。图1编码器100中示出的上采样器130和HDTV压缩器125不存在于图5中，因为该二单元如前述在区域A模式下被禁止。同样，在图1解码器105中示出的HDTV解压缩器150和自适应单元165不存在于图5中，因为该二单元也如前述在区域A模式下被禁止。
如果图1的输入数据为区域B型，则控制单元120把编码器100配置为区域B架构。这靠使用“配置”信号以与上述区域A的相同方法进行。然而，在区域B中，与为区域A压缩的单个低分辨率输出不同，编码器100压缩高分辨率和低分辨率输出层这二者以用于发送。此配置结合图6加以示出和讨论。现在继续用图1，控制单元120通过配置编码器100来在高分辨率和低分辨率输出层之间分配系统带宽，以便除了低分辨率SDTV输出之外把增强数据压缩为高分辨率HDTV输出层。该HDTV层提供图像的精细数据以允许解码器105从720行分辨率SDTV层产生1080行分辨率的图像输出。
在区域B中以为区域A描述的同样方法产生SDTV层输出。由SDTV压缩器135压缩从下采样器140输出的720行输出，以向格式化器110提供SDTV层压缩数据。然而，在区域B中，用于发送的高分辨率HDTV增强层由HDTV压缩器125得到。压缩器125通过混合和压缩由上采样器/解压缩器130产生的SDTV层的已上采样和解压缩版本和存储在压缩器125中的HDTV层的一些先前帧来得到HDTV输出。这种涉及由压缩器125进行的时域预测的混合和压缩过程是已知的并且在例如MPEG标准的空域可分级性部分(第7.7节)中有详细描述。由编码器100来的所得HDTV和SDTV压缩输出提供到格式化器110。
来自编码器100的HDTV和SDTV比特流由格式化器110形成为包含识别头标和“层次描述子”字段中的架构信息在内的数据包。如为区域A所述，来自单元110的格式化数据传送到传送处理器115，该传送处理器115向解码器控制单元145提供为配置解码器105(在这里是为区域B)用的架构信息。
在接收机处，在区域B模式下，控制单元145用第二配置信号来禁止自适应单元165。在解码器105的所得配置中，从处理器115来的压缩SDTV输出由单元160解压缩以如在区域A中那样地提供720行分辨率SDTV输出。通过混合和解压缩由上采样器155产生的已解码SDTV输出的已上采样版本和存储在解压缩器150中的HDTV层的一些先前帧，HDTV解压缩器150得出解压缩的1080行分辨率HDTV输出。由解压缩器150完成的混合已上采样和已存储数据及形成解压缩输出的方法是已知的并且例如在MPEG标准的空域可分级性部分(第7.7节)中有所描述。响应第二“配置”信号，经过复接器180，来自解压缩器150的1080行高分辨率解压缩输出被选为HDTV解压缩输出。从解码器105输出的所得解压缩HDTV和SDTV数据如上所述适合于进一步处理和随后显示。
图6表示为区域B型编码和解码配置的图1的编码器和解码器装置。所示各单元的功能如前所述。在图1解码器105中示出的自适应单元165不存在于图6中，因为该单元在区域B模式下也如前述被禁止。
如果图1的输入数据为区域C型，控制单元120把编码器100配置为区域C架构。这通过使用“配置”信号以上述的区域A的相同方式来完成。然而，在区域C中，编码器100对单个高分辨率输出而不是如区域A对低分辨率输出或如区域B对二种输出编码。如有必要，控制单元120分配全部系统带宽以对高分辨率输出编码并经过“配置”信号配置单元100，以对增强层以空域的全(1080行)HDTV分辨率进行编码。
在区域C模式下，控制单元120经过“配置”信号来禁止下采样器140、SDTV压缩器135和上采样器130。在编码器100的所得配置中，HDTV压缩器125按需要使用全部系统带宽对输入序列进行压缩以向格式化器110提供1080行分辨率HDTV输出。该配置结合图7予以示出和讨论。现在继续用图1，压缩器125通过使用存储在压缩器125中的HDTV层的一些先前帧来得到HDTV输出。在区域C中由压缩器125进行的压缩方法如同为区域A和B叙述的方法，这也是已知的。
来自单元100的HDTV比特流由格式化器110形成为包含识别头标和在“层次描述子”字段中的架构信息在内的数据包。如同为区域A所述，来自单元110的已格式化数据被传送到传送处理器115，传送处理器115向解码器控制单元145提供用于配置解码器105(在这里是为区域C配置)的架构信息。
在接收机处，在区域C模式下，控制单元145通过使用第二“配置”信号来禁止上采样器155。在解码器105的所得配置中，来自处理器115的压缩HDTV输出由单元150解压缩以给出1080行高分辨率HDTV输出。该来自解压缩器150的1080行解压缩输出，响应于第二“配置”信号，经由复接器180，被选择为解码器105的HDTV已解码输出。此外，来自处理器115的压缩HDTV输出被自适应单元165自适应以满足SDTV解压缩器160的输入要求。这靠在压缩(频率)域中把来自处理器115的压缩HDTV输出的空域分辨率降低到有效的720行分辨率来完成。这可以通过例如抛弃表示来自处理器115的压缩HDTV输出的视频信息的离散余弦变换(DCT)系数中一些较高频率系数来完成。这种方法是已知的并且在例如1995年1月IEEE JSAC期刊(I.E.E.E.Journal of Selected Area in Communications)中发表的S.Chang等人撰写的“MC-DCT压缩视频的处理和合成(Manipulation and Compositingof MC-DCT Compressed Video)”一文中有所描述。来自自适应单元165的空域缩减的压缩输出由单元160解压缩以给出720行分辨率SDTV输出。由单元160和150进行的解压缩方法如同为区域A描述的方法，它们同样是已知的。来自解码器105的所得解码HDTV和SDTV数据输出如前所述适合于进一步处理和随后显示。
图7表示为区域C型编码和解码配置的图1的编码和解码装置。所示各单元的功能如同前述。在图1编码器100中示出的下采样器140、SDTV压缩器135和上采样器130不存在于图7中，因为这些单元在区域C模式下如上所述被禁止。同样，在图1解码器105中示出的上采样器155不存在于图7中，因为该单元在区域C模式下被禁止。
图8是图1的变型，它表示用于区域A解码的附加架构配置。图8中由编码器100、格式化器110和传送处理器115完成的功能如同为图1的描述。此外，图8的解码器109的功能，除了在区域A解码中以不同方法提供1080行分辨率HDTV解压缩输出外，都与图1的解码器105相同。
在区域A模式下，图8的解码器控制单元149经过第二“配置”信号来禁止上采样器155和自适应单元165这二者。在解码器109的所得配置中，来自处理器115的SDTV层压缩视频输出由SDTV解压缩器160解压缩以提供解码器109的SDTV输出。这以图1所述相同的方法来完成。然而，不同于在图1解码器105中进行的时域采样，来自解码器109的HDTV解压缩输出通过在频域中对SDTV层上采样而产生。在图8中来自处理器115的压缩输出由自适应单元168(它不存在于图1中)在压缩(频率)域中进行上采样。这可以通过例如对表示来自处理器115的压缩SDTV输出中的视频信息的离散余弦变换(DCT)高阶频率系数“用零填充”来完成。在实行中，所选的高阶DCT系数被赋予零值。支持这种方法的理论是公知的，并且在1995年1月IEEE JSAC期刊中发表的S.Chang等人撰写的“MC-DCT压缩视频的处理和合成”一文中有所描述。来自自适应单元168的所得上采样输出由HDTV解压缩器152解压缩以从解码器109获得HDTV输出。来自解码器109的所得解压缩的HDTV和SDTV数据输出适合于结合图1描述的处理和随后显示。
图9是图1的变型，它表示用于区域C解码的附加架构配置。由图9的编码器100、格式化器110和传送处理器115执行的功能如同为图1的描述。此外，图9解码器107的功能，除了在区域C解码中以不同方法提供720行分辨率SDTV解压缩输出之外，都与图1解码器105的功能相同。
在区域C模式下，图9的控制单元147通过第二“配置”信号来禁止上采样器155和SDTV解压缩器162这二者。在解码器107的所得配置中，来自处理器115的HDTV层压缩视频输出由HDTV解压缩器150解压缩以提供解码器107的HDTV输出。这种完成方法与为图1所描述的方法相同。然而，不同于在图1解码器105中进行的频域采样，来自解码器107的SDTV解压缩输出通过在时域对HTDV层进行下采样而产生。在图9中来自复接器180的解压缩HDTV输出以2/3的因子被(不存在于图1中的)下采样器170下采样以获得720行输出。这可以通过如同对图1编码器100中的下采样器140所讨论的种种已知方法来完成。响应于第二“配置”信号，经过(不存在于图1中的)复接器175，来自下采样器170的720行分辨率解压缩输出被选为解码器107的SDTV解码输出。来自解码器107的所得解压缩HDTV和SDTV数据输出适合于如结合图1所述的处理和随后显示。
结合图1至9讨论的各编码器和解码器架构不是唯一的。可以为各个区域(A、B和C)找到能实现相同目标的其他架构。此外，不同架构中各单元的功能可以全部或部分地在微处理器的已编程指令的范围内实现。
权利要求
1.一种划分数据的方法，包含步骤(a)为所述数据的第一分段数目预测第一失真因子，随着所述数据的数据率的变化实现所述预测；(b)为所述数据的第二分段数目预测第二失真因子，随着所述数据的数据率的变化实现所述预测；(c)相互比较所述第一与所述第二失真因子；(d)根据所述相互比较，确定所述第一和所述第二分段数目中的那一个呈现较低失真因子值；以及(e)将所述数据划分为所述确定数目的数据段。
2.根据权利要求1的方法，其特征在于所述预测步骤(a)包括以所述第一数目分段的形式预先排列所述数据的步骤；以及所述预测步骤(b)包括以所述第二数目分段的形式预先排列所述数据的步骤。
3.根据权利要求2的方法，其特征在于还包括步骤(f)压缩已划分的数据。
4.根据权利要求1的方法，其特征在于所述划分步骤(a)包括步骤选择第一数目的数据段；预先将所述数据形成为分级排序的所述第一数目的数据段；随着所述数据的数据率的变化而以所述第一数目的分级排序的数据段的形式计算所述数据的第一失真因子；以及所述预测步骤(b)包括步骤选择第二数目的数据段；预先将所述数据形成为分级排序的所述第二数目的数据段；随着所述数据的数据率的变化而以所述第二数目的分级排序的数据段的形式计算所述数据的第一失真因子。
5.根据权利要求4的方法，其特征在于所述数据是图像数据。
6.根据权利要求5的方法，其特征在于所述形成步骤预先将图像数据形成为一个或更多等级层的已压缩数据。
7.根据权利要求5的方法，其特征在于所述计算步骤预先计算压缩数据的一些已解压缩等级层的失真因子。
8.一种对输入数据编码的方法，包含步骤(a)为具有第一数据分辨率的所述输入数据预测第一失真因子，随所述数据的数据率的变化而实现所述预测；(b)为具有第二数据分辨率的所述输入数据预测第二失真因子，随所述数据的数据率的变化而实现所述预测；(c)相互比较所述第一与所述第二失真因子；(d)根据所述相互比较，确定所述第一和所述第二数据分辨率中的那一个呈现最低失真因子值；以及(e)以所述确定的数据分辨率对所述输入数据编码。
9.根据权利要求8的方法，其特征在于所述预测步骤(a)包括步骤选择所述第一数据分辨率；预先换算所述输入数据为所述第一数据分辨率；随所述输入数据数据率的变化计算具有所述第一数据分辨率的所述数据的第一失真因子；以及所述预测步骤(b)包括步骤选择第二数据分辨率；预先换算所述输入数据为所述第二数据分辨率；随所述输入数据数据率的变化计算具有所述第二数据分辨率的所述数据的第二失真因子。
10.根据权利要求1或9的方法，其特征在于所述输入数据是图像数据。
11.根据权利要求10的方法，其特征在于所述编码步骤以所述确定的数据分辨率压缩所述图像数据。
12.根据权利要求10的方法，其特征在于在步骤(a)和(b)中，所述预测是随被编码图像数据的预定质量要求而变化的。
全文摘要
一种可动态配置的视频信号处理系统,采用可变数目的数据段和可变的数据分辨率对数据进行划分和编码。该系统通过随着数据率的变化为被划分成第一和第二数目的数据段的数据预测第一和第二失真因子(515—530),而将数据划分成可变数目的数据段。将第一和第二失真因子相互比较并把数据划分为呈现较低失真因子值的数据段数。还对用第一和第二数据分辨率编码的数据的第一和第二失真因子进行预测(515—530)。对第一和第二失真因子进行类似比较(540)并用呈现较低失真因子值的分辨率对数据编码。
文档编号G06T9/00GK1189954SQ96195148
公开日1998年8月5日 申请日期1996年6月4日 优先权日1995年6月29日
发明者常泰浩, 孙惠芳, 乔尔·W·兹德普斯基 申请人:汤姆森多媒体公司