专利名称：具有盲区的空间可缩放压缩方案的制作方法
技术领域：
本发明涉及一种视频编码器/解码器，并且具体涉及一种具有空间可缩放压缩方案的视频编码器/解码器。本发明还涉及一种用于执行视频信息的空间可缩放压缩的设备以及一种用于提供视频流的空间可缩放压缩的方法。
由于数字视频中固有的大量数据，全运动、高清晰度数字视频信号的传输是高清晰度电视发展中的一个重要问题。具体地，每个数字图像帧是由一组像素按照特定系统的显示器解析度组成的一幅静态图像。因此，包括在高解析度视频序列中的原始数据信息量很庞大。为了减少要被发送的数据量，使用压缩方案来压缩数据。已经建立不同的视频压缩标准或方法，包括MPEG-2，MPEG-4，以及H.263。
当一个流中视频能够用于不同解析度和/或质量时，许多应用都成为可能。实现这个的方法一般地被称为可缩放技术。存在三个可以实施可缩放性的轴。首先是时间轴上的可缩放性，通常被称为时间可缩放性。第二，在质量轴(量化)上存在可缩放性，通常被称为信噪比(SNR)可缩放性或细粒度可缩放性。第三个轴是解析度轴(图像中像素的数量)，通常被称为空间可缩放性。在分层编码中，比特流被分割成两个或多个比特流，或层。每一层可以被组合来形成单个高质量信号。例如，基础层可以提供较低质量的视频信号，而增强层提供了可以改善基础层图像的额外信息。
特别地，空间可缩放性可以提供不同视频标准或解码器能力之间的兼容性。借助空间可缩放性，基础层视频可以具有比输入视频序列较低的解析度，在这种情况下增强层携带能够将基础层恢复成输入序列水平的信息。
图1示例了一种已知的空间可缩放视频编码器100。所描绘的编码系统100完成了分层压缩，因而信道的一部分被用于提供一个低解析度的基础层，并且剩余部分被用于传输边缘增强信息，从而可以合并两个信号来将系统向上扩展到高解析度。高解析度视频输入101被分割器102分割，因而数据被发送给一个低通滤波器104和一个减法电路106。低通滤波器104降低了视频数据的解析度，该视频数据接着被提供给基础编码器108。一般而言，低通滤波器和编码器在本领域中众所周知，为了简洁起见，这里将不再详细描述。编码器108产生一个较低解析度的基础流110，它可以被广播、接收，并且通过解码器被显示，虽然基础流不提供被认为是高清晰度的解析度。
编码器108的输出也被提供给系统100中的解码器112。从那里开始，解码的信号被提供给一个插值和上采样电路114。一般而言，所述插值和上采样电路114从解码的视频流中重建被过滤的解析度，并且提供与高解析度输入具有相同解析度的视频数据流。然而，由于滤波以及编解码中产生的损失，在重建的流中存在信息损失。通过在减法电路106中从原始的未修改的高解析度流减去重建的高解析度流而确定了该损失。减法电路106的输出被提供给增强编码器116，它输出一个合理的质量改善的流118。
虽然这些分层压缩方案可以相当好的工作，这些方案仍然具有如下问题增强层需要高比特率。通常，增强层的比特率等于或高于基础层的比特率。然而，存储高清晰度视频信号的愿望要求比普通压缩标准通常所能提供的更低的比特率。这使得在现有的标准清晰度系统中引入高清晰度很困难，因为录制/播放时间变得太小。
本发明通过使用盲区操作来减少输入到增强编码器的剩余信号的比特数，从而降低了增强层的比特率，克服了其它已知的分层压缩方案的至少部分缺陷。
按照本发明的一个实施例，公布了一种用于对在多个帧中捕获的视频信息执行空间可缩放压缩的方法和设备，所述设备包括一个编码器，用于将捕获的视频帧编码并输出到一个压缩数据流。基础层包括具有相对较低解析度的编码的比特流。高解析度的增强层包括具有相对较高解析度的剩余信号。一个盲区操作单元衰减所述剩余信号，其中所述剩余信号是原始帧与从基础层向上扩展(upscaled)的帧之间的差。因此，对于给定的观察到的视频质量，降低了压缩数据流所需的比特数。
按照本发明的另一个实施例，公布了一种方法和设备，使用对视频流的自适应内容过滤来提供空间可缩放压缩。所述视频流被下采样来减少所述视频流的解析度。所述下采样的视频流被编码来产生一个基础流。所述基础流被解码并被向上变频来产生重建的视频流。从所述视频流中减去所述重建的视频流来产生一个剩余流。使用盲区操作对所述剩余流进行衰减以从剩余流除去一些比特。最终的剩余流被编码并作为增强流输出。
本发明的这些以及其它方面将通过后面描述的实施例得以阐明并变得清晰。
下面将参考附图以举例的方式来描述本发明，其中图1是一个表示一种已知的分层视频编码器的框图；图2(a)-(b)是按照本发明一个实施例的一种分层视频编码器/解码器的框图；图3是按照本发明一个实施例的一种分层视频编码器的框图；图4是按照本发明一个实施例的一种分层视频编码器的框图；图5示例了按照本发明一个实施例的一种盲区方法；图6示例了按照本发明一个实施例的一种盲区方法；图7示例了按照本发明一个实施例的一种盲区方法；图8示例了按照本发明一个实施例的一种盲区方法；图9示例了按照本发明一个实施例的一种盲区方法；图10-12示例了按照本发明实施例的不同盲区方法的结果。
图2(a)-(b)是按照本发明一个实施例的一种分层视频编码器/解码器200的框图。所述编码器/解码器200包括一个编码部分201和一个解码部分。一个高解析度视频流202被输入到编码部分201。所述视频流202接着被一个分割器204分割，从而所述视频流被发送给一个低通滤波器206以及一个减法单元212。所述低通滤波器或下采样单元206减小了所述视频流的解析度，所述视频流接着被提供给一个基础编码器208。所述基础编码器208以一种已知的方式对下采样视频流进行编码并输出一个基础流209。在这个实施例中，基础编码器208向一个上变频单元210输出一个本地解码器输出。所述上变频单元210从本地解码的视频流中重建过滤的解析度并以一种已知的方式提供与高解析度输入视频流具有基本上相同解析度格式的重建视频流。备选地，基础编码器208可以向上变频单元210输出一个编码的输出，其中要么一个单独的解码器(未显示)，要么在上变频单元210中提供的一个解码器，将在上变频前对所述编码的信号首先进行解码。
如上所述，重建视频流与高解析度输入视频流被输入到减法单元212。所述减法单元212从输入视频流中减去重建的视频流来产生一个剩余流。接着在盲区操作单元214中向所述剩余流施加了一个盲区操作。盲区操作是一种非线性操作，其中较小的输入获得较大衰减而较大的输入获得逐渐较小的衰减(也可以认为是几个盲区操作的一种线性组合，以及一种线性变换函数)。下面描述了多个不同的盲区操作，但是本领域技术人员将能够理解任何盲区操作都可用于本发明，并且本发明不限于此。盲区操作的结果是剩余信号的小值将被剪截为零，从而在某种程度上导致图像中信息更少。因此，在感觉不到图像质量受损的情况下获得较高的压缩效率。盲区操作单元214的输出被输入给增强编码器216，产生一个增强流218。
在解码器部分205中，基础流209被解码器220以一种已知的方式解码，并且增强流218被解码器222以一种已知的方式解码。解码的基础流接着在上变频单元224中被向上变频。上变频的基础流和解码的增强流接着在运算单元226中被组合来产生一个输出视频流228。
图3示例了按照本发明另一个实施例的编码器300。在这个实施例中，向图2所示的编码器添加了一个图像分析器304。分割器302对高解析度输入视频流202进行分割，借此输入视频流202被发送给减法单元212和图像分析器304。另外，重建的视频流也被输入到图像分析器304和减法单元212。图像分析器304分析输入流的帧和/或重建视频流的帧，并且产生了视频流的每帧中每个像素或每组像素内容的增益数值。所述增益数值包括该像素或该组像素的位置，所述位置例如由该像素或该组像素在一帧中的x，y坐标、帧号以及增益值给出。当该像素或该组像素有大量细节时，所述增益值向最大值“1”移动。类似地，当该像素或该组像素不具有更多细节时，所述增益值向最小值“0”移动。下面描述了图像分析器的详细标准的几个例子，但是本发明不局限于这些例子。首先，图像分析器可以分析像素周围的局部扩展与整个帧上的平均像素扩展的对比情况。图像分析器还能够分析边缘色阶(eclge level)，例如-1 -1 -1-1 8 -1-1 -1 -1
的绝对值/每个像素除以整个帧上的平均值。
不同细节程度的增益值可以被预先确定并存储在一个查看表中，一旦确定了每个像素或每组像素的细节水平，就可以从查看表中查到增益值。
如上所述，重建的视频流与高解析度输入视频流被输入到减法单元212。减法单元212从输入视频流中减去重建的视频流来产生一个剩余流。从图像分析器304得到的增益值被发送到乘法器306，所述乘法器用来控制所述剩余流的衰减。在一个备选实施例中，可以从系统中删除图像分析器304并且可以将预先确定的增益值加载到乘法器306。剩余流与增益值相乘的效果如下对于每帧中具有很少细节的区域，发生了某种滤波。在这种区域中，通常在大量不相关的细节或噪声上会花费大量的比特。但是通过将剩余流与增益值相乘(对于有很少细节或没有细节的区域所述增益值趋向于零)，在被增强编码器216编码之前，从剩余流中删除了这些比特。类似地，对于边缘和/或文本区域，乘法器将趋向于一，并且只有这些区域将被编码。其效果是对于一般图片会节省大量比特。虽然视频质量将受到某种程度的影响，考虑到比特流的节省，这是很好的折中，尤其在相同整体比特率的情况下与普通压缩技术相比时。乘法器306的输出接着被提供给盲区操作单元214。如上所述，盲区操作单元214执行盲区操作，以致来自乘法器306的流中较小的值被剪截为零。来自盲区操作单元214的输出被输入到增强编码器216，产生一个增强流218。
图4显示了按照本发明另一个实施例的编码器400。在这个实施例中，向图3所示的编码器中添加了一个“删除簇(remove clusters)”操作。应当理解所述删除簇操作也可以在图2所示的编码器中在盲区操作之后被执行。为了进一步提高编码效率，在盲区操作单元214之后添加了一个删除簇操作单元402。删除簇操作删除了特定范围内的单个像素。由于这些单个像素不会影响到图像的清晰度，这些像素可以被删除而不会产生可以察觉到的图像质量损失。
删除簇操作如下进行。首先有一个操作，该操作仅仅传递重要的剩余像素并且使得其它所有剩余像素为零。这种操作的例子是内容自适应衰减和/或盲区。现在剩余图像包括簇的集合，其中一个簇是完全被零值像素包围的一组像素。下一步是确定每个非零剩余像素簇的周长长度(值)。如果这个值低于某个门限，那么相应簇的所有像素值也被强制为零。备选地，不是为每个簇确定周长值，而是可以确定每个簇中的非零像素数量，其中少于预定像素数量的簇被强制为零。
图5示例了按照本发明一个实施例的盲区方法。在这个实施例中，由用户、设计人员选择了一个门限值th，或者该门限值甚至是内容自适应的，如图3所示。盲区操作单元214接着将小于门限值th的像素值剪截为零。结果，在剩余流中存在更少的像素需要被编码。
图6示例了按照本发明一个实施例的盲区方法。这种盲区操作将小于门限值th的值剪截为零。另外，这种方法从剩余流中所有其它值中减去了门限th。这为每个像素产生一个误差th。由于其它像素值的额外减少，以较小但能观察到的图像质量损失为代价获得了额外的压缩效率。
图7示例了按照本发明一个实施例的盲区方法。这种盲区操作通过级联图5和图6所示的盲区方法而实现。这种盲区操作将小于门限th1的值剪截为零。另外，这种方法从剩余流中所有其它值中减去门限值th2。这为每一个较大的像素产生了th2的像素误差。与图6所示的方法相比，这种方法的优点在于使用这种方法，对于大于门限th1的像素误差较小。
图8示例了按照本发明一个实施例的盲区方法。这种盲区方法将所有小于门限th1的值剪截为零。从门限th1和门限th2之间的每个像素减去了th1值。对于每个大于门限th2的像素，输出与输入相同。这种方式可以获得额外的压缩效率，仅仅对于有限数量的像素有th1的像素误差。
图9示例了按照本发明一个实施例的一种更加一般的盲区方法。不是使用上述方法中的离散步骤，一种更加一般的解决方案是使用一种查看表。对于所有可能的输入值，这个表包含输出值。这样任何转换曲线都成为可能。
已经对上面描述的不同的盲区方法进行了比较并且下面提供了比较结果。作为输入，使用了一个1080p，24Hz的50帧序列。对于标准清晰度(720×480)的基础层和高清晰度(1920×1080)的增强层，使用MPEG-2对这个序列进行编码。使用了图4所示的一种具有动态解析度控制和删除簇操作的编码方案。图10显示了比较结果。与没有盲区操作的结果相比，方法1的结果非常好。对于方法2和3，可以清楚地观察到一些解析度损失。对于方法4，仍然能够观察到一些解析度损失，但比方法2和3要小，并且这种方法似乎是方法1和方法2、3之间一个很好的折中。
图11示例了不使用额外的动态解析度控制或删除簇操作的盲区操作的一些结果。图2显示了这种编码方案。这些可以作为一个参考来观察不使用动态解析度控制和删除簇操作的盲区操作的效果。为了观察删除簇操作的效果，通过使用和不使用所采用的删除簇操作已经对上述序列进行了编码。也使用了动态解析度控制和盲区方法1。结果显示在图12中。
本发明的上述实施例通过使用盲区操作、动态解析度控制和/或删除簇操作在编码之前从剩余流中删除不必要的比特而降低增强层的比特率，从而提高了已知的空间可缩放压缩方案的效率。应当理解本发明的不同实施例不受限于上述步骤的确切顺序，有些步骤的时序可以互换而不会影响本发明的整体操作。此外，术语“包括”不排除其它元素或步骤，术语“一个”不排除多个，并且单个处理器或其它单元可以完成权利要求中引述的几个单元或电路的功能。另外，虽然在不同的权利要求中可以包括独立的特征，这些特征也可以被有利的进行组合，包含在不同的权利要求中并不意味着这些特征的组合不可行或不有利。
权利要求
1.一种用于对在多个帧中捕获的视频信息执行空间可缩放压缩的设备，包括一个编码器，用于对捕获的视频进行编码并将其输出到一个压缩流，所述设备包括-基础层(201)，包括一个具有相对较低解析度的编码的比特流；-高解析度增强层(203)，包括一个具有相对较高解析度的剩余信号；以及-其中一个盲区操作单元(214)衰减所述剩余信号，所述剩余信号是原始帧与从基础层向上扩展的帧之间的差。
2.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，其中所述盲区操作单元通过将低于第一门限值的像素值剪截为零来衰减所述剩余信号。
3.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，其中所述盲区操作单元通过将低于第一门限值的像素值剪截为零并且从所有其它像素值减去第一门限值来衰减所述剩余信号。
4.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，其中所述盲区操作单元通过将低于第一门限值的像素值剪截为零并且从所有其它像素值减去第二门限值来衰减所述剩余信号。
5.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，其中所述盲区操作单元通过将低于第一门限值的像素值剪截为零并且从第一门限值和第二门限值之间的像素值减去第一门限值来衰减所述剩余信号。
6.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，其中所述盲区操作单元通过使用一个查看表来为每个输入值产生一个输出值从而衰减所述剩余信号。
7.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，进而包括-一个图像分析器(304)，所述图像分析器接收向上扩展帧和/或原始帧并且计算每个接收帧中的每个像素内容的一个增益值，其中所述乘法器在所述剩余信号被输入到盲区操作单元之前使用该增益值来对其进行衰减。
8.按照权利要求7所述的用于对视频信息执行空间可缩放压缩的设备，其中所述增益值对于具有很少细节的区域趋向于零。
9.按照权利要求7所述的用于对视频信息执行空间可缩放压缩的设备，其中所述增益值对于边缘和文本区域趋向于一。
10.按照权利要求7所述的用于对视频信息执行空间可缩放压缩的设备，其中所述增益值是为一组像素计算的。
11.按照权利要求1所述的用于对视频信息执行空间可缩放压缩的设备，进而包括一个删除簇操作单元(402)，用于从剩余输出中删除属于小于预定尺寸的簇中的一个像素簇的剩余像素。
12.按照权利要求11所述的用于对视频信息执行空间可缩放压缩的设备，其中所述尺寸是每个簇的周长值。
13.按照权利要求11所述的用于对视频信息执行空间可缩放压缩的设备，其中所述尺寸是每个簇中非零像素的数量。
14.一种用于对视频流进行编解码的分层编码器，包括-一个下采样单元(206)，用于减小视频流的解析度；-一个基础编码器(208)，用于对较低解析度的基础流进行编码；-一个上变频单元(210)，用于对所述基础流进行解码并增加其解析度来产生一个重建的视频流。-一个减法单元(212)，用于从原始视频流中减去所述重建的视频流来产生剩余信号；-一个盲区操作单元(214)，它对所述剩余信号进行衰减；-一个增强编码器(216)，用于对从盲区操作单元得到的结果剩余信号进行编码并输出一个增强流。
15.按照权利要求14所述的分层编码器，进而包括-一个图像分析器(304)，它接收所述视频流和重建视频流并且计算接收流的每个帧中的每个像素内容的一个增益值；以及-一个第一乘法单元(306)，它将所述剩余信号乘以增益值以便对于具有很少细节的区域从所述剩余信号中删除比特。
16.一种使用视频流自适应内容滤波来提供空间可缩放压缩的方法，所述方法包括如下步骤-下采样所述视频流来减小所述视频流的解析度；-对下采样的视频流进行编码来产生一个基础流；-对所述基础流进行解码并向上变换来产生一个重建的视频流；-从所述视频流中减去所述重建的视频流来产生一个剩余流；-使用盲区操作对所述剩余流进行衰减以从所述剩余流中删除比特；以及-对结果剩余流进行编码并输出一个增强流。
17.按照权利要求16所述的使用视频流自适应内容滤波来提供空间可缩放压缩的方法，所述方法进而包括如下步骤-分析所述视频流和重建的视频流来产生接收到的视频流的帧中的每个像素的内容的增益值；将所述剩余流乘以增益值以便在盲区操作之前从剩余流中删除比特。
18.按照权利要求16所述的使用视频流自适应内容滤波来提供空间可缩放压缩的方法，所述方法进而包括如下步骤-从剩余输出中删除属于小于预定尺寸的簇中的一个像素簇的剩余像素。
全文摘要
公布了一种用于对在多个帧中捕获的视频信息执行空间可缩放压缩的设备，包括一个编码器，用于将所述捕获的视频帧编码并输出到一个压缩的数据流，所述数据流包括一个基础层，所述基础层包括具有相对较低解析度的编码的比特流，还包括一个高解析度的增强层，所述增强层包括具有相对较高解析度的剩余信号，并且其中一个盲区操作单元衰减了所述剩余信号，所述剩余信号是原始帧与从基础层向上扩展的帧之间的差。因此，对于给定的观察到的视频质量，减少了所述压缩数据流所需的比特数。
文档编号H04N7/50GK1890980SQ200480036405
公开日2007年1月3日 申请日期2004年11月29日 优先权日2003年12月8日
发明者H·A·G·范武格特, W·H·A·布鲁尔斯, G·J·M·弗乌特 申请人:皇家飞利浦电子股份有限公司