专利名称：用于重放可缩放视频流的设备和方法
技术领域：
本发明涉及一种用于重放可缩放视频流的设备和方法，尤其涉及这样的用于重放可缩放视频流的设备和方法，该设备和方法被设计成能通过检查要显示在输出多个屏幕的显示器上的屏幕大小、根据该大小确定解码等级、并且根据所确定的解码等级执行预解码来减少解码器的计算量。
背景技术：
随着包括互联网的信息通信技术的发展，视频通信、以及文本和音频通信的使用已经增加了。
传统的文本通信不能满足用户的各种要求，因此可以提供诸如文本、画面、和音乐之类的各种类型信息的多媒体业务已经增加了。
因为多媒体数据量通常是大的，所以多媒体数据需要大容量存储介质和宽的传输带宽。因此，压缩编码方法为传输包括文本、视频、和音频在内的多媒体数据所必需。
数据压缩的基本原理是消除数据冗余。
可以通过消除其中相同的颜色或者对象在图像中重复的空间冗余、其中在活动图像的相邻帧之间近乎没有改变或者音频中重复相同声音的时间冗余、或者考虑人的视力以及对高频的有限感觉的精神视觉冗余，来压缩数据。
数据压缩可以根据源数据是否丢失而被分类为有损/无损压缩，根据是否独立地压缩单独帧而被分类为帧内/帧间压缩、以及根据压缩所需要的时间是否与恢复所需要的时间相同而被分类为对称/不对称压缩。
当压缩/恢复时间延迟不超过50毫秒时，将数据压缩定义为实时压缩，并且当帧具有不同的分辨率时，将数据压缩定义为可缩放的压缩。对于文本或者医学数据，通常使用无损压缩。对于多媒体数据，通常使用有损压缩。
同时，帧内压缩通常用于消除空间冗余，而且帧间压缩通常用于消除时间冗余。
用于多媒体的不同类型传输介质具有不同的性能。
当前使用的传输介质具有各种传输率。例如，超高速通信网络可以传输每秒几十兆位的数据，而移动通信网络具有每秒384千位的传输速率。
在诸如运动图像专家组(MPEG)-1、MPEG-2、H.263、和H.264之类的传统视频编码方法中，通过基于运动估计和补偿的运动补偿消除时间冗余，并且通过变换编码消除空间冗余。
为了支持具有各种速度的传输介质或者以适于传输环境的数据速率传输多媒体，诸如小波视频编码和子带视频编码之类、具有可缩放性的数据编码方法可能适于多媒体环境。可缩放性指示部分解码单个压缩位流的能力。
可缩放性包括指示视频分辨率的空间可缩放性、指示视频质量等级的信噪比(SNR)可缩放性、指示帧率的时间可缩放性、以及它们的组合。
也就是说，当前可缩放视频编解码器使得能够以期望的质量等级、空间分辨率、和帧率、或者这些因数的组合来解码从解码器终端接收的信号。因此，如果TV或者其它显示系统上的屏幕大小改变了，则可缩放视频编码技术用于调整解码等级，由此在增加有效的资源利用的同时减少系统功耗。
可以显示多个屏幕的传统显示设备(例如，画中画(PIP)功能)解码整个信号并且在其上执行缩放。也就是说，无论是在整个屏幕上还是在子屏幕上显示视频信号，都必须解码整个编码的信号。
发明内容
技术问题如上所述，这些方法具有令人满意的压缩率，但是它们不具有真正可缩放位流的灵活性，这是因为它们在主要算法中使用了自反方法(reflexiveapproach)。
然而，对于子屏幕上的显示，根据子屏幕的大小以及显示设备的环境来解码特定位流而不是整个视频信号是有效的。尽管如此，在取决于屏幕的大小来调整分辨率方面的研究仍然是不充分的。
因此，在支持空间可缩放性的视频解码方案中，创建一种用于取决于屏幕的大小来改变分辨率以便重放位流的方法是高度期望的。
技术方案本发明提供了一种通过减少解码器的计算量、用于在低网络带宽环境中稳定地提供视频流业务的方法和设备，其可能通过根据要显示在显示器上的屏幕大小确定解码等级，并且根据所确定的解码等级执行预解码来实现减少解码器的计算量。
根据本发明的示范性实施例，提供了一种用于重放可缩放视频流的设备，该设备包括屏幕模式确定单元，用于确定要显示屏幕的模式；解码等级确定单元，用于根据该模式确定解码等级；预解码器，用于根据所述解码等级提供要解码的信号；解码器，用于解码由所述预解码器提供的信号；以及显示单元，用于显示所解码的信号。
屏幕模式确定单元检查该屏幕模式是否为画中画中的主或者子屏幕，并且检查要显示的屏幕大小。
解码等级确定单元可以考虑要显示屏幕的质量是否与用户对质量的主观感觉相一致、以及屏幕的分辨率和帧率，来确定解码等级。此外，解码等级确定单元可以考虑要显示屏幕的分辨率来确定解码等级。此外，解码等级确定单元可以考虑要显示屏幕的重放速度来确定解码等级。
根据本发明的另一示范性实施例，提供了一种用于重放可缩放视频流的方法，该方法包括判断要显示屏幕的模式；确定适于该模式的解码等级；根据该解码等级执行预解码以便提供要被解码的信号；解码由该预解码器提供的信号；以及显示用于重放的解码信号。
可以考虑要显示屏幕的质量是否与用户对质量的主观感觉相一致、以及屏幕的分辨率和帧率，来确定解码等级。此外，可以考虑要显示屏幕的分辨率或者重放速度来确定解码等级。
显示用于重放的解码信号可以包含逆量化有关该解码信号的信息以获得变换系数，并且在该变换系数上执行逆空间和时间变换。
通过参考附图对本发明的示范性实施例进行详细描述，本发明的上述及其它特征和优点将变成更为明显，其中图1是示出根据本发明示范性实施例的编码器的配置的示意框图；图2示意地说明了根据本发明的示范性的实施例、在基于运动补偿时间滤波(MCTF)的可缩放视频编码和解码中的时间分解处理；图3示意说明了根据本发明的示范性的实施例、通过小波变换将输入图像或者帧分解为子带的处理；
图4为依据本发明示范性实施例的解码器的示意性框图；图5是根据本发明的示范性实施例、用于重放可缩放视频流的重放设备的框图；以及图6为示意地说明根据本发明的示范性实施例、用于重放可缩放视频流的方法的流程图。
具体实施例方式
现在将参考其中示出了本发明示范实施例的附图更充分地描述本发明的优点和特征以及实现该优点和特征的方法。然而，本发明可以许多不同的形式体现，而且不应该被看作是受限于此处所阐述的实施例；相反，提供这些实施例以便使这个公开将是彻底和完整的，而且将充分地向本领域技术人员表达本发明的原理。在附图中，在不同附图中的同一参考数字代表同一单元。
参见图1，根据本发明示范实施例的编码器100包括分段单元110、运动估计单元120、时间变换单元130、空间变换单元140、嵌入的量化单元150、以及熵编码器160。
分段单元110将输入视频划分为基本编码单元，即画面组(GOP)。
运动估计单元120将正经受运动估计的当前帧中的每个宏块与在相应参考帧中的每个宏块进行比较，由此获得最佳运动矢量。诸如分级可变尺寸块匹配(HVSBM)之类的分级方法可以用来实现运动估计。
时间变换单元130使用由运动估计单元120获得的运动矢量，沿时间方向将帧分解为低频和高频帧，借此减少时间冗余。
例如，可以将帧的平均值定义为低频分量，并且将两个帧之间差别的一半定义为高频分量。以GOP为单位分解这些帧。可以通过比较在两个帧中相同位置处的像素而不用使用运动矢量来将帧分解为高频和低频帧。然而，在减少时间冗余方面，不使用运动矢量的方法比使用运动矢量的方法效率要低。
换句话说，当第一帧的一部分在第二帧中移动时，可以由运动矢量表示运动量。第一帧中该部分与第二帧中、在与第一帧中该部分相同的位置处的一部分移动了运动矢量所到达的部分相比较，也就是说，补偿了时间运动。此后，将第一和第二帧分解为低和高频帧。
运动补偿的时间滤波(MCTF)或者无约束的MCTF(UMCTF)可以用于时间滤波。
空间变换单元140从已经由时间变换单元130消除了时间冗余的帧中消除空间冗余，并创建变换系数。
对于空间变换，本发明使用子波变换。这里，子波变换用于将帧分解为低频和高频子带，并且确定用于相应子带的变换系数，即小波系数。
更具体而言，帧被分解为四个部分。类似于整个图像的四分之一大小图像(L图像)出现在帧的左上部分，而且从L图像中重建整个图像所需要的信息(H图像)出现在其它三个部分中。
同样地，L帧可以分解为四分之一大小的LL图像以及重建L图像所需要的信息。
使用子波变换的图像压缩应用于JPEG 2000标准，并且消除在帧之间的空间冗余。
此外，与离散余弦变换(DCT)方法相反，子波变换使得原始图像信息存储在为原始图像缩减版本的已变换图像中，由此允许使用该缩减的图像提供空间可缩放性的视频编码。
嵌入的量化单元150为每个小波块在由空间变换单元140获得的小波系数上执行嵌入量化，并且根据重要性重新布置量化系数。这里，重要性意指在由空间变换单元140进行子波变换之后获得的小波系数的数值。因此，随着小波系数数值的增大，重要性等级还增大。嵌入小波量化单元150比较小波系数的数值，依据数值重新排序这些系数，并且首先传输具有最大数值的小波系数。嵌入的零树小波算法(EZW)、分层树中的集合划分SPIHT)、以及嵌入的零块编码(EZBC)可以用作以这种方式、为每个小波块在小波系数上执行嵌入量化的算法。
量化算法使用取决于分级空间时间树而存在的依赖性(dependency)，因而实现了较高的压缩效率。该算法还充分利用在本发明中使用的小波域中的像素之间的空间关系，所以适于在根据本发明的嵌入量化处理中使用。
像素之间的空间关系以树形状表示。可以使用当树根为0时，该树中的子女具有为0的高概率的事实，执行高效的编码。当正扫描与在L波段中的像素具有相关性的像素时，执行算法。
熵编码单元160将由嵌入量化单元150量化的小波系数以及由运动估算器120生成的有关运动矢量和报头信息的信息转换为适于传输或者存储的压缩位流。可以使用预测编码、可变长度编码(例如，霍夫曼编码)、算术编码等执行熵编码。
本发明可以应用于移动视频以及静止图像。类似于移动视频，输入的静止图像可以通过空间变换单元140、嵌入的量化单元150、以及熵编码单元160，然后转换为位流。
图2示意地说明了根据本发明的示范实施例、在基于运动补偿时间滤波(MCTF)的可缩放视频编码和解码中的时间分解处理。这里，L帧是与帧的平均相对应的低频帧，而H帧是与帧之间的差别相对应的高频帧。
在编码处理中，对低时间等级处的帧对进行时间滤波，然后将其分解为在较高时间等级处的L帧和H帧，并且再次对L帧对进行时间滤波，并且将其分解为在较高时间等级处的帧。编码器在H帧和在最高时间等级处的一个L帧上执行小波变换，并且生成位流。由图2中的阴影所示的帧是经受子波变换的帧。
更具体而言，编码器100从低时间等级到高时间等级编码帧，而解码器从高级到低级、在由阴影所指示且由逆小波变换所获得的帧上执行与编码器100相反的操作，以便进行重建。时间等级3处的L和H帧用于重建时间等级2处的两个L帧，而且时间等级2处的两个L帧和两个H帧用于重建时间等级1处的四个L帧。
最终，使用时间等级1处的四个L帧和四个H帧重建八个帧。
本发明的示范实施例通过调整时间等级允许仅仅解码一部分可缩放视频流，以便它适合于为预定屏幕大小而设置的帧率。因而，有可能改变帧率。例如，假定为屏幕设置的帧率是4倍速，则可以从使用MCTF编码的视频流当中选择与4倍速相对应的时间等级2处的帧用于传输。
虽然已经参考使用基于MCTF的视频编码方案的说明性实施例特别示出和描述了本发明，但是，本领域的那些普通技术人员应当理解，可以在其中进行形式和细节方面的各种改变。也就是说，本发明可以实现各种模块，这些模块被设计成通过解码根据MCTF、UMCTF、或者其它给予时间可缩放性的视频编码方案编码的可缩放视频流的一部分来改变帧率，这通过根据适于所设置的屏幕大小的帧率来调整时间等级而是可能实现的。
这里，提供时间可缩放性的其它视频编码方案可以使用在有限时间等级处执行时间变换的连续时间近似和参考(STAR)来控制延迟时间，同时尽可能地保持时间可缩放性。
图3示意说明了根据本发明的示范实施例、通过小波变换将输入图像或者帧分解为子带的处理。
例如，执行两级小波变换以将所输入图像或者帧分解为一个低频子带和三个水平、垂直、和对角高频子带。
在水平和垂直方向均低频的低频子带被称为“LL”子带。
在水平方向高频、垂直方向高频、以及水平和垂直方向均高频的子带分别被称为“LH”、“HL”、和“HH”子带。
进一步迭代地分解低频子带LL。括号内的数字表示子波变换的等级。
例如，如果要显示屏幕的大小为整个屏幕的四分之一，则本发明可以允许解码其中已经除去了除子带LL[1]以外的信息的位流，从而保持低分辨率。
现在将描述处理可缩放位流以便将编码位流的质量等级调整为具有信噪比(SNR)的方法。
信噪比可缩放性通过仅仅编码具有大于预定阈值的值的像素、在编码之后降低阈值、并且重复上述处理，来执行嵌入的量化。可以由该阈值确定质量等级。
因此，为了让用户使用编码为具有SNR可缩放性的位流生成预定质量的位流，必须提取包含有关具有值大于给定阈值的像素的信息的位流。
为了实现这个，本发明的示范实施例在分配适于所设置屏幕大小的低质量视频所需要的阈值、然后除去包含有关具有值大于该阈值的像素的信息的不必要位流之后，执行解码。
图4示意示出根据本发明示范实施例的解码器300的配置。
解码器300包括熵解码单元310、逆嵌入量化单元320、逆空间变换单元330、和逆时间变换单元340。
解码器300以基本上与编码器100相反的方向进行操作。然而，虽然已经由编码器100的运动估算器120执行了运动估计以确定运动矢量，但是不由解码器300执行逆运动估计处理，这是因为解码器300仅仅接收运动矢量120用于使用。
熵解码单元310为每个小波块分解所接收的位流。
逆嵌入量化单元320执行与编码器100中的嵌入量化单元150相反的操作。换句话说，从每个分解的位流中确定为每个小波块重新布置的小波系数。
逆空间变换单元330然后转换重新布置的小波系数以便在空间域中重建图像。在这种情况下，应用逆小波变换以便将与每个GOP相对应的小波系数转换为已时间滤波的帧。
逆时间变换单元340使用由编码器100生成的帧和运动矢量执行逆时间滤波，并且创建最终的输出视频。
如上面在编码器100中所述那样，本发明可以应用于移动视频以及静止图像。类似于移动视频，从编码器100接收的位流可以通过熵解码单元310、逆嵌入量化单元320、逆空间变换单元330、和逆时间变换单元340，以及转换为输出图像。
图5是根据本发明、用于重放可缩放视频流的重放设备的框图。参见图5，重放设备包括接收器100、预解码器200、解码器300、屏幕模式确定单元400、解码等级确定单元500、显示单元600、和控制器700。
接收器100接收广播或者图像信号，并且包含多个调谐器和解调器。
屏幕模式确定单元400检查屏幕模式(主要或者辅助屏幕)的大小以便确定正显示屏幕的模式，其中在具有PIP特征的TV或者其它显示器中解码的信号要在该屏幕模式上显示。
解码等级确定单元500考虑屏幕的分辨率、质量等级、和帧率等，确定适于由屏幕模式确定单元400确定的屏幕模式的解码等级。更具体而言，这样确定解码等级以便其适于要显示的屏幕质量，该屏幕质量对应于用户的主观感觉以及在制造TV或者其它显示器时固定或者由用户任意确定的屏幕模式(主要或者辅助屏幕)的大小。
例如，如果用于重放解码信号的屏幕大小是整个屏幕的四分之一，则将由空间可缩放性生成的第一等级子波变换确定为解码等级。如果屏幕大小是整个屏幕的十六分之一，则将由空间可缩放性生成的第二等级子波变换确定为解码等级。这里，解码等级确定单元500可以考虑由空间可缩放性提供的分辨率、或者分别由空间、SNR、以及时间可缩放性提供的分辨率、质量、和帧率的组合来确定解码等级。
预解码器200根据由解码等级确定单元500确定的解码等级、将已经调节了分辨率、质量、和帧率的信号作为要解码的信号递送给解码器300。通过根据解码等级来切除所接收信号的一部分来进行对这三个因素的调整。
例如，以重建的信号满足根据由解码等级确定单元500确定的解码等级而设置的分辨率这样的方式，预解码器除去信号的一部分，由此允许以低分辨率重建屏幕图像。以低分辨率重建信号可以减少解码器300的计算量。
为了解码发送到预解码器200的信号，解码器300以与编码器100编码广播信号的次序相反的次序执行解码。
显示单元600在大小已经由用户任意确定或者在制造期间固定的屏幕上显示由解码器300解码的信号。
控制器700将由解码等级确定单元500确定的解码等级传输到预解码器200，并且允许显示单元600在预定大小的屏幕上显示所解码的信号。更具体而言，一旦已经设置了显示屏幕模式的大小，则解码等级确定单元400考虑屏幕的分辨率、质量、和帧率来确定解码等级。控制器700将所确定的解码等级传输到预解码器200，然后将由解码器300解码的信号传输到显示单元600，该显示单元600随后在预定大小的屏幕上显示所解码的信号。
图6为示意地说明根据本发明的用于重放可缩放视频流的方法的流程图。
参见图6，当输入广播信号时，控制器700检查所输入的信号是要显示在主要(整个)屏幕上还是要显示在(具有预定大小的)辅助屏幕上。
然后在步骤S100，屏幕模式确定单元400确定显示屏幕(即，主要或者辅助屏幕)的大小。这里，显示屏幕的大小在制造TV或者其它显示器时固定或者由用户任意确定。
接下来，当输入信号要显示在主要屏幕上时，控制器700允许解码全部输入信号以便显示在主要屏幕上。
当输入信号要显示在子屏幕上时，控制器700将由屏幕模式确定单元400确定的辅助屏幕的大小传递到解码等级确定单元500。
在步骤S110，解码等级确定单元500然后基于所传递的屏幕大小确定解码等级。这里，由要显示屏幕的分辨率、质量、和帧率确定解码等级。也就是说，这样确定要显示屏幕的质量，以便其适于屏幕的大小以及用户主观感觉的质量。
例如，假定辅助屏幕的大小是整个屏幕的四分之一，则解码等级确定单元500可以将第一等级的子波变换确定为解码等级。
控制器700将由解码等级确定单元500确定的解码等级发送到预解码器200，该预解码器200然后在步骤S120提供所接收信号当中要被解码的信号。这里，预解码器200以满足由解码等级确定单元500确定的解码等级这样的方式、切除使用可缩放视频编码方案编码的信号的一部分，并且提供适于用户对质量的主观感觉的信号。换句话说，预解码器200除去所接收信号的一部分以适合辅助屏幕的大小，由此提供具有低分辨率但是具有高质量和帧率的再现图像屏幕。
在步骤S130，控制器700然后将由预解码器200提供的、要解码的信号发送到解码器300，解码器随后在步骤S140通过逆量化有关在所接收信号的信息以获得变换系数、然后在变换系数上执行逆空间和时间变换来执行解码。
在步骤S150，控制器700允许显示单元600在辅助屏幕上显示由解码器300解码的信号。
工业实用性如上所述，根据本发明用于重放可缩放视频流的设备和方法具有以下优点。
首先，本发明中的设备和方法的上述示范实施例根据要显示的屏幕大小确定解码等级，并且根据所确定的解码等级执行预解码，由此减少了解码器的计算量。
其次，仅仅解码了根据要显示的屏幕大小而提取的位流的一部分，由此减少了下载时间或者在低网络带宽环境中稳定地提供视频流服务。
第三，本发明中的设备和方法的上述示范实施例使得提取单独的低分辨率视频序列变得容易，由此允许多个屏幕的同时显示。
虽然已经参考附图示出和描述了本发明的仅仅少数实施例，但是本领域的那些技术人员应当理解，可以对这些单元进行改变而没有背离本发明的特征和精神。因此，应当理解，已经仅仅以描述的意义提供了上述实施例，而且上述实施例将不会被认为是对本发明的范围施加任何限制。
权利要求
1.一种用于重放可缩放视频流的设备，包含屏幕模式确定单元，用于确定要显示屏幕的模式；解码等级确定单元，用于根据该屏幕模式确定解码等级；预解码器，用于根据所述解码等级提供要解码的信号；解码器，用于解码由所述预解码器提供的信号；以及显示单元，用于显示所解码的信号。
2.如权利要求1所述的设备，其中，所述屏幕模式确定单元检查所述屏幕模式为画中画(PIP)中的主屏幕还是子屏幕。
3.如权利要求1所述的设备，其中，所述屏幕模式确定单元检查屏幕的大小。
4.如权利要求1所述的设备，其中，所述解码等级确定单元考虑所述屏幕的质量是否与用户对质量的主观感觉相一致、以及屏幕的分辨率和帧率，来确定解码等级。
5.如权利要求1所述的设备，其中，所述解码等级确定单元考虑屏幕的分辨率来确定所述解码等级。
6.如权利要求1所述的设备，其中，所述解码等级确定单元考虑屏幕的重放速度来确定所述解码等级。
7.一种用于重放可缩放视频流的方法，包含确定要显示屏幕的模式；确定适于该屏幕模式的解码等级；根据所述解码等级执行预解码以便提供要被解码的信号；解码由预解码器提供的信号；以及显示用于重放的解码信号。
8.如权利要求7所述的方法，其中，考虑屏幕的质量是否与用户对质量的主观感觉相一致、以及屏幕的分辨率和帧率来确定所述解码等级。
9.如权利要求7所述的方法，其中，考虑屏幕的分辨率来确定解码等级。
10.如权利要求7所述的方法，其中，考虑屏幕的重放速度来确定解码等级。
11.如权利要求7所述的方法，其中，显示用于重放的解码信号包含逆量化有关解码信号的信息，以便获得变换系数；以及在所述变换系数上执行逆空间和时间变换。
全文摘要
一种用于重放可缩放视频流的设备和方法。用于重放可缩放视频流的设备包括屏幕模式确定单元，用于确定要显示屏幕的模式；解码等级确定单元，用于根据该屏幕模式确定解码等级；预解码器，用于根据解码等级提供要解码的信号；解码器，用于解码由所述预解码器提供的信号；以及显示单元，用于显示所解码的信号。所述方法包括判断要显示屏幕的模式；确定适于该屏幕模式的解码等级；根据该解码等级执行预解码以便提供要被解码的信号；解码由所述预解码器提供的信号；以及显示用于重放的解码信号。
文档编号H04N7/12GK1906946SQ200480041076
公开日2007年1月31日 申请日期2004年12月15日 优先权日2004年1月28日
发明者申成撤, 李培根 申请人:三星电子株式会社