指示图像内的区域的制作方法

文档序号:7952137阅读:209来源:国知局
专利名称:指示图像内的区域的制作方法
技术领域
本发明涉及视频编码,尤其是,涉及指示一个图像内的区域。
背景技术
视频文件由多个静止图像帧构成,这些静止图像帧快速地被依次显示为一个视频序列(通常每秒15-30帧),从而产生一个运动图像所表达的内容。图像帧通常包括多个由基本保持不变的图像信息所定义的固定背景对象,和极少的由稍微变化的图像信息所定义的运动对象。在这种情况下,将被依次显示的图像帧所包含的图像信息通常非常相似,即连续的图像帧包含很多的冗余。尤其是,视频文件所包含的冗余被分成空间、时间和频谱冗余。空间冗余表示相邻的图像像素之间的相互关系;时间冗余表示给定的图像对象在接下来的帧中所发生的改变,并且频谱冗余表示在一个图像帧中不同的彩色成分之间的相互关系。
几种视频编码方法利用了上述的连续图像帧的时间冗余。在这种情况下,使用了所谓的运动补偿时间预测,其中一个视频序列中某些(通常为大部分)图像帧的内容根据该序列中的其它帧,通过跟踪连续的图像帧之间的图像帧中的给定对象或者区域的改变来预测。一个视频序列包括压缩的图像帧,压缩图像帧中的图像信息不用运动补偿时间预测来确定。这样的帧被称作INTRA或者I帧。与此类似,视频序列中包含的、并且根据先前的图像帧预测的运动补偿图像帧被称作INTER或者P帧(预测的)。通常,在确定P帧的图像信息中要使用至少一个I帧和可能一个或者多个先前编码的P帧。如果丢失了一帧,依赖于该帧的帧不再能被正确解码。
例如,JVT是一种利用了运动补偿时间预测的视频编码标准。JVT是ISO/IEC运动图像专家组(MPEG)和ITU-T(国际电信联盟,通信标准部)视频编码专家组(VCEG)的联合视频组(JVT)的当前项目。它源自于ITU-T VCEG的一个项目H.26L。
在JVT/H.26L中,使用亮度和两个色差(色度)分量(Y,CB和CR)来编码图像。与亮度分量相比,色度分量沿着的两个坐标轴以一半的分辨率分别取样。
每个编码的图像,以及相应的编码比特流以分级结构排列,所述的分级结构具有四层,从上到下依次为图像层(picture layer)、图像段层(picture segment layer)、宏块(MB)层和块层(block layer)。图像段层可以是块组层或者条(slice)层。
每一条的数据由一个条头标以及接下来的宏块(MB)数据组成。条定义一个编码图像内的区域。每个区域是按照正常扫描顺序的多个MB。在相同的编码图像中在条边界上没有预测的相依性。但是,时间预测通常可以跨越条边界。条能够独立于其余的图像数据被解码。因此,在丢包的网络中,条改善了误差恢复能力。
每个条被分成多个MB。一个MB涉及亮度数据的16×16像素以及空间上相应的色度数据的8×8像素。
在JVT/H.26L中,在概念上已经将提供视频图像内容的核心的高压缩表示的视频编码层(VCL)和将该表示打包从而在一个特定类型的网络上递送的网络适配层(NAL)分离。JVT/H.26L视频编码器是根据基于块的运动补偿混合转换编码。对于现有的标准,仅有解码处理被精确的指定从而能够协同工作,而用于捕获、预处理、编码、后处理以及呈现的处理都不考虑从而允许实现的灵活性。但是,JVT/H.26L包含多个新的特征使其能够在编码效率上实现比现存的标准设计更为重大的改进。
JVT/H.26L能够利用近来发展起来的被称为参考图像选择的方法。参考图像选择是一种编码技术,其中用于运动补偿的参考图像能够在存储在参考图像缓冲器中的多个图像中进行选择。JVT/H.26L中的参考图像选择允许每个宏块进行参考图像的选择。参考图像选择能够用于改善压缩效率和误差恢复能力。
由于视频编码中使用的运动补偿技术,在视频序列中必须编入随机访问点从而允许从一个任意的点扫描视频。依赖于用于扫描该视频序列的应用程序,视频流中的随机访问点之间的期望时间跨度可以是0.5-10秒的范围。帧内编码是用于编码随机访问点的常规解决方案。但是,由于以上提及的参考图像选择技术允许参考I帧(intra frame)之前的帧,I帧同样不是对于随机访问点的充分条件。而且,视频序列中频繁的帧内编码需要更大的编解码处理容量并且消耗更大的带宽。
渐进(gradual)解码器刷新涉及“脏的(dirty)”随机访问,其中先前被编码但是可能没被接收的数据被查阅,并且校正的图像内容在多于一个编码图像内被渐进恢复。通常,渐进解码器刷新随机访问方法所提供的图像内容的渐进恢复被看作是JVT/H.26L视频编码中的一个预期特征。渐进解码器刷新的基本想法是将该帧的一部分宏块编码为帧内编码的。当解码器在一个随机的点开始解码时,对于该解码器来说用于运动补偿的参考帧是未知的,并且它们被初始化为例如中间级灰度。解码器能够重建帧内编码的宏块,但是涉及运动补偿处理中的未知区域的帧间编码的宏块不能被正确重建。由于累积的帧内编码宏块的数目逐帧增加,最终可获得完全重建的图像。但是上述实现涉及多个问题。
由于参考图像选择,参考帧中一个宏块可以涉及运动补偿处理,其位于能够可靠解码的帧内编码宏块的区域之外。
在JVT/H.26L中,在每个4×4的块边界应用了环路滤波来减弱突然的边界变化。这样,可靠区域可以受临近宏块中的未正确重建的像素的影响。
在运动补偿处理中,涉及的非整数像素位置使用多抽头滤波器来根据像素的值进行内插。在目前的JVT编解码器设计中,半像素位置使用一个六抽头滤波器内插。这样,未正确重建的像素可以用于内插一个位于能可靠解码区域之内但是靠近其边界的所涉及的非整数像素位置。
当解码器开始解码该帧时,假设所有的帧内编码宏块都是可靠的。但是,所有上述的处理都有这样的影响邻近宏块的灰度图像信息将与帧内编码宏块的能可靠解码的图像信息混合。当开始从一帧到另一帧的解码处理时,这导致将会时空传播的误差。
当指示属于初始区域的宏块以及该区域的形状和生长速率时,渐进解码器刷新过程中的另一个问题涉及低编码效率。必需向解码器指示该信息,这总是引起一些额外的开销比特要被包括在视频序列的比特流中,如果所有上述约束被分开地用信号通知,则额外开销比特的数量通常显著地增加。因此,需要更有效的方法用于向解码器指示该区域如何演化的模式。
发明概述于是发明了一种改进的方法和用于实现该方法的装置,它们减轻了低编码效率的问题。本发明的各方面包括其特征在独立权利要求中公开的方法、编码器、解码器、计算机软件产品和视频信号。
本发明的各种实施例在从属权利要求中公开。
本发明是在指示数字图像内一个区域的尺寸、形状和位置的基础上进行的,其中该图像被分成一组块。首先定义用于至少一个尺寸参数的值,该尺寸参数值指示所述区域内的多个块,然后选择用于至少一个形状演化参数的值,该形状演化参数值指示所述区域内块的选择顺序。
根据一个实施例,将用于所述至少一个尺寸参数和所述至少一个形状演化参数的值编码到一个视频序列的比特流中,以便指示该图像内的该区域的尺寸、形状和位置。
根据一个实施例,将用于所述至少一个形状演化参数的值包括到所述图像的参数组中。
根据一个实施例,所述至少一个尺寸参数包括尺寸改变速率参数和尺寸改变的序列号参数。
根据一个实施例,依据至少下列之一来确定所述区域内编码块的数目用于所述尺寸改变速率参数的值,用于所述改变循环参数的值。
根据一个实施例,将用于所述尺寸改变速率参数的值包括到所述图像的参数组中,以及将用于所述尺寸改变的序列号参数的值包括到属于所述区域的条头标中。
本发明提供了几个优点。该机制能够用于在编码视频流中提供随机访问点,同时指示能被可靠地更新的图像区域的一部分,而不是该区域的整个帧内宏块的覆盖范围。本发明的另一个优点在于它改进了用于演化区域的模式指示的编码效率。本发明的又一个优点在于它使能一个简单方式来防止跨能可靠解码的区域的边界、或在能可靠解码的区域之外的区域来进行解码。而且,所述方法除了可适用于视频序列外,还可适用于数字静止图像。
附图的简述下面,本发明将参考附图,结合优选实施例进行详细描述,其中,

图1示出了JVT/H.26L设计的概念上的结构;图2示出了逐渐变大的可靠区域的一个优选实施例;图3示出了根据一个特定的刷新模式将宏块加入到一个可靠区域的过程的一个实例;图4示出了一个将被编码的图像与为视频编码定义的宏块之间的关系;图5示出了根据子图像实现的为图4中的图像形成的视频编码条的主要视图;图6示出了根据本发明的优选实施例的移动通信设备的框图;以及图7示出了一个可应用本发明的视频通信系统。
发明详述本发明适用于所有使用基于区域的运动补偿时间预测的视频编码方法。本发明尤其适用于在限制频带的电信系统中通常使用的不同的低比特率视频编码。这些包括例如目前已经被标准化的ITU-T标准H.263和H.26L(可能以后是H.264)。在这些系统中,本发明适用于例如一个移动站,允许下面是以使用JVT/H.26L视频编码为例解释本发明的一个示范说明。为了理解本发明和它的优选实施例,JVT/H.26L将被描述到一个可以令人满意的详细程度。为了更为详细地描述JVT/H.26L的实现,参考下面的文档ISO/IEC MPEG以及ITU-T VCEG的联合视频组(JVT),草案ISO/IEC 14496-102002(E)“JVT Working draft 2,Release 7(JVT工作草案2,版本7)”。
将参照图1描述JVT/H.26L设计的概念结构。在JVT/H.26L中,提供视频图像内容的核心高压缩表示的视频编码层(VCL)和将该表示打包以在一个特定类型的网络上递送的网络适配层(NAL)在概念上已经被分离。
VCL的主要任务是以一种高效的方式编码视频数据。但是,如前文已经讨论的,误差会对高效编码的数据产生不利影响,并且会包括一些可以感知的可能的误差。VCL能够中断预测编码链,并且设法补偿误差的发生和传播。这可以通过几种方式实现通过引入INTRA帧和INTRA-MB来中断时间预测链;通过引入一个条概念来中断空间误差传播;以及引入一个能够被独立解码,例如不需要帧的自适应算术编码的可变长度编码。
VCL的输出是一个编码宏块流,其中每个宏块都以单一的一块数据的形式呈现。数据分割层(DPL)以这样一种方式重新排列符号属于一条的一种数据类型的所有符号(例如DC系数、宏块头标、运动矢量)集中在一个编码比特流当中。在解码中具有大致相等的主观和/或语法重要性的符号组成一个分割。
NAL提供定制VCL或者DPL数据格式从而在多种网络上递送的能力。NAL设计成能够根据选择的网络适应策略,从视频编码和数据分割层接收数据分割或者条。数据分割允许主观上和语法上更为重要的数据与不太重要的数据分开传输。解码器可以在没有接收到更重要的数据的情况下,不解码不太重要的数据。对更为重要的数据采取比对不太重要的数据更多的保护的方法能够用于在一个易于发生误差的网络上发送比特流的情况。
然后NAL的输出可以被插入到不同的传输格式中。视频数据能够存储在一个文件格式中用于以后扫描。它也能够根据ITU-T H.223复用格式进行封装。对于RTP传输格式,RTP传输流根本不包括图像层或者图像头标。相反,常规上属于图像和序列层的数据主要在带外被发送。能够发送这种数据的多个组合,并且每个发送的组合被称为一个参数组并且被列举。然后在发送的条头标中识别一个正在使用的参数组。
接下来,将解释根据一个优选实施例的一个渐进解码器刷新周期的编码。编码器通过根据外部信号,例如一个独立编码器中的配置参数或者一个实时视频通信系统中的帧内更新请求来确定一个解码器刷新周期的第一帧而开始操作。编码器也可以分析未压缩图像的内容并且决定例如响应于一个掩藏的场景变换来编码一个渐进解码器刷新。
编码器根据例如独立编码器中的配置参数的外部指示,或者根据内在推论来确定渐进解码器刷新周期的长度,以响应于例如一个掩藏的场景变换。编码器也可以根据例如速率控制的需要,在转换编码的过程中调整场景转换的期望长度。
术语“可靠区域”被用于表示当解码从渐进解码器刷新周期起始处开始时被正确重建的图像的区域。可靠区域优选地由彼此相邻的宏块组成。渐进解码器刷新周期中的每个图像都具有它自己的可靠区域。位于一幅图像中的可靠区域中的每个宏块都属于渐进解码器刷新周期的后来存储的图像(以编码顺序)中的可靠区域。这样,可靠区域至少保持不变或者优选地逐幅图像增加(以编码顺序)。
除了宏块应当彼此相邻以外,可靠区域的形状不应当受任何其它约束的限制。为了编码/解码的目的,可靠区域的最简单形式是一个实心的宏块矩形。根据一个优选实施例,可靠区域是沿着矩形的四边之一扩展一个不完整的一宏块/列宽/行高的一个实心宏块矩形。
根据另一个优选实施例,可靠区域是一个任意的但是实心的宏块区域。而根据另一个优选实施例,可靠区域是具有一个矩形孔的中空的矩形宏块,它可以使用在框入类型的渐进解码器刷新当中。根据另一个优选实施例,可靠区域是具有一个与本发明的优选实施例的可靠区域相似定义的孔的中空的宏块矩形。可靠区域甚至可以彼此重叠以便于,例如,两个可靠区域以螺旋形运动的方式增长。
因此,中空的可靠区域的定义可以被推广以便于在该区域中存在一个以上的孔。
本发明也可以被推广以便于在一幅图像中存在一个以上的可靠区域。在这种情况下,可以使用任何可靠区域来预测下一帧中的可靠区域中的块。而且,刷新周期能够重叠,这样不同周期的可靠区域在重叠时段内嵌套在该图像上。一个可靠区域也可以从一个编码图像到下一个编码图像改变位置或者收缩。由于诸如摄像机的全景摄影,或者速率控制等,这种状况可能是合理的。
渐进解码器刷新模式中清楚地定义了宏块被添加到可靠区域中的顺序。例如,在下划中,宏块可以以光栅扫描的顺序被插入到可靠区域中。编码器确定渐进解码器刷新模式的类型。可以存在在编码说明/标准中指定的并且编码器和解码器预先已知的预定的默认方案。也可以存在作为编码视频比特流的一部分,从编码器到解码器告知的刷新模式。编码器告知解码器选定的刷新类型。信令可以是带内信令,也可以是带外信令。
参照图2可以说明增长的可靠区域的实施例。在图2中,小的矩形表示宏块,并且小矩形的9×11块表示一个图像帧200-208。粗重的宏块边界围绕着每一帧中的可靠区域。中灰的宏块表示可靠区域的增长。图像帧200-208以时间顺序被示出。
帧200包括一个3×3宏块的可靠区域。在接下来的帧202中,可靠区域沿着先前区域的所有四个边扩展,产生一个5×5宏块的可靠区域。类似的过程,可以被称作框出刷新模式,将在接下来的帧204-208中被应用。在帧208中,可靠区域被扩展到覆盖整个帧区域,即该帧中的所有宏块。表示可靠区域的空间边界的粗边界优选地是宏块边界。
编码器确定被添加到将被编码的当前帧中的可靠区域的宏块数目。这个决定可以根据预定义的刷新速率或者它可以根据例如主要的网络条件进行调整。选定的宏块数目主要是根据渐进解码器刷新模式选择的。插入到渐进解码器刷新周期的第一帧的第一可靠区域中的宏块被通过帧内编码进行编码。
根据一个优选实施例,作为灵活性和复杂度的折中,可靠区域的形状演化可以被限制以便于在开始可靠区域是一个实心的宏块矩形。该区域能够通过按照一定的顺序,沿着矩形的四边之一插入宏块的方式来被扩展。一旦可靠区域再次变成矩形,该矩形的另一边也能够被选作用于宏块插入的主体。扩展速率也可以是零宏块。
对于渐进解码器刷新周期的后续帧,编码器进行下述处理将新选出的宏块插入到当前帧的可靠区域。使用宏块模式选择和运动补偿过程来编码可靠区域中的宏块。但是,在运动补偿过程中,限制运动矢量搜索范围,这样一个运动矢量能够仅涉及渐进解码器刷新周期中的先前帧中的可靠区域中的像素。
可靠区域的重建不一定取决于位于可靠区域之外的重建像素值。因此,这造成了一些编码约束。例如,必须禁止环路滤波和根据可靠区域之外的像素值进行部分像素内插。打破这种编码依赖能够在编码数据中被告知,然后在解码该数据时执行类似的操作。例如,能够在编码数据中告知环路滤波必须被关闭的边界。替代地,编码器能够避免产生涉及不可靠区域的编码数据。例如,能够限制运动矢量从而在运动内插中不使用不可靠区域中的像素。
如果在刷新周期期间存在几个至少部分地同时存在的可靠区域,则插入到渐进解码器刷新周期中的第一帧的第一可靠区域中的宏块被通过帧内编码进行编码。然后接下来的可靠区域能够涉及另一个可靠区域中的宏块,以便于如果需要,可以将它们进行帧间编码。由于参考图像选择,涉及彼此的可靠区域的时间顺序不受限制。但是,对于如上所述的环路滤波和根据可靠区域之外的像素值进行部分像素内插,当涉及另一个可靠区域时,也可以应用类似的编码约束。
此外,优选地改变宏块的编码和解码的扫描顺序,从而首先以光栅扫描的顺序编码/解码可靠区域。以后,以光栅扫描的顺序编码/解码没有包括在可靠区域内的剩余宏块。可靠区域的边界可以作为条边界。因此,在可靠区域的边界上不会发生条内预测。
也可能应用一种编码方法,其中定义了一个可靠区域但是没有应用所有的前述的编码约束。在这种方法中,以正常的顺序(即,如果没有使用分散条或者类似的编码技术,以光栅扫描的顺序)编码一整幅图像的宏块。因此,可靠区域和剩余区域(即不属于可靠区域的宏块)的编码数据彼此交织。而且,一幅图像的可靠区域的一些编码参数取决于剩余区域的编码参数。这种编码参数的例子包括靠近可靠区域边界的运动矢量。根据剩余区域中的临近运动矢量来预测这些运动矢量。但是,关于环路滤波和根据可靠区域之外的像素值进行部分像素内插的编码约束仍然适用。该方法也可被称为IREG-D方法,其中IREG代表分离的区域,并且D表示分离区域和剩余区域的一些编码参数之间的相依性。
因此,上面公开的应用了所有编码约束的可靠区域的编码方法被称为IREG-I编码技术。在IREG-I方法中,可靠区域的宏块被首先编码,并且剩余的宏块其后被编码。因此,可靠区域形成了一个与剩余区域的编码数据可分离的编码数据部分。缩写IREG-I中的字母I表示分离区域和剩余区域之间的编码参数的独立性。该方法优选地可以通过使用一个所谓的子图像来应用。以后将更详细地描述应用子图像的优选实施例。
接下来,将描述根据一个优选实施例的解码过程。应当指出视频序列的解码过程是独立于编码过程的。这样,为了解码的目的,仅要求待被解码的视频序列包括本发明所表现的某些特性。能够解码的视频序列因此不限于上面所描述的编码方法。
当解码器接收到视频序列中告知的一个参数组时,解码器检查它是否表示可靠区域的使用。如果告知的参数组表示IREG-I的使用,则解码器开始解码一幅新的图像或者继续解码当前的图像。
如果开始解码一幅新的图像,解码器检查是否建立了一个新的可靠区域。当建立了一个新的可靠区域时,重新设定可靠区域的先前的形状、尺寸和位置。当开始解码一幅新的图像时,根据接收到的参数更新可靠区域的形状、尺寸和位置。
一旦可靠区域的形状、尺寸和位置是最新的,该条的第一宏块的宏块地址就识别该条属于哪个可靠区域或者该条是否属于剩余区域。首先解码一幅图像的可靠区域。
限制每个宏块的环路滤波从而检查邻近的宏块是否属于不同的区域(即一个属于可靠区域,并且另一个属于剩余区域,或者它们属于不同的可靠区域)。如果任何一个临近宏块属于不同的区域,那么滤波相应的宏块边界,就好像它位于图像边界上那样。而且,有利地不应用根据被解码的可靠区域之外的区域进行帧内预测。
如果告知的参数组表示使用IREG-D,那么除了宏块位置的确定以外,解码器按照与上面描述的IREG-I的情况一样的方式解码条。空间的宏块顺序是正常的,并且一个条可能同时包含来自于多个可靠区域和来自剩余区域的宏块。主要的区别在于在区域边界上可能发生帧内预测和运动矢量预测。但是,关于环路滤波和根据可靠区域之外的像素值进行部分象素内插的编码约束仍然适用。
根据一个优选实施例,能够通过在编码的视频序列中加一些将被告知的新的参数以及编码的视频序列来实现前面所述的过程所要求的改变。可以在视频扫描对话之前告知参数,或者可以在视频扫描对话期间对它们进行发送或者更新。例如,下面的参数可以增加到参数组当中1.分离区域的类型(TIR)。表明是否使用了分离区域以及所使用的分离区域的类型。
无没有使用分离区域。这样,根据正常的编码方式编码宏块。
IREG-D使用分离区域的正常比特流顺序版本。
IREG-I使用分离区域的分离比特流顺序版本。
2.同时存在的分离区域的数目(NSIR)。表示在一幅图像当中同时存在多少分离区域。该值受类和级的限制。每个初始的分离区域都利用一个运行数字来单独识别,例如从0或1开始。该识别符被称为IREG ID。对于每个IREG ID,传送下列的参数3.分离区域的形状演化类型。通过该参数规定分离区域的位置、形状和变化顺序。提出了下列的值光栅扫描分离区域的第一宏块是图像左上方的一个宏块。分离区域以光栅扫描的顺序增长。
反光栅扫描分离区域的第一宏块是图像右下方的一个宏块。分离区域以反光栅扫描的顺序增长。
向右划变分离区域的第一宏块是图像左上方的一个宏块。分离区域从顶部向底部增长。在一列的最底部宏块之后的下一宏块是先前列的右侧列中的最顶部的宏块。
向左划变分离区域的第一宏块是图像右下方的一个宏块。分离的区域从底部向顶部增长。在一列的顶部宏块之后的下一宏块是先前列的左侧列的最底部宏块。
顺时针框出分离区域的第一宏块优选地不受限制。分离区域围绕着先前定义的分离区域顺时针增长。
逆时针框出这与前面相似,但是分离区域逆时针增长。
预定义的自由形式该参数值带有定义了分离区域的位置、形状和增长顺序的宏块数的列表。这些预定义的自由形式优选地在视频扫描对话期间预先被传送到解码器。宏块按照光栅扫描的顺序计数,从图像的左上角的宏块开始,该宏块具有数字0。注意分离区域的形状必须满足前面给出的限制。
预定义的静态矩形该参数值表示分离区域在该IREG GOP中保持不变。该值与分离区域的左上角,以及分离区域的宽度和高度相关。而且这些预定值优选地在视频扫描对话期间预先被传送到解码器。
动态矩形该参数仅在使用IREG-I时出现。该区域变化模式被用于子图像编码。这里要指出任何帧中的分离区域都是一个矩形。在参数组中没有定义分离区域的位置、形状或者增长顺序,但是在条头标中包括类似的参数。
4.分离区域的增长率(GRIR)。该参数定义了每一幅图像中有多少宏块被增加到先前的参数描述中所涉及的分离区域当中。也存在一个指示变化的增长率的特殊参数值。如果在该参数组中指示了一个变化的增长率,那么在条头标中指示每帧的实际增长率。
N(N>=1)个宏块的恒定速率分离区域每一个图像增加N个宏块。
预定义的速率该参数值与一组值{a1,a2,...aN}有关,每个都定义了将要增加到一幅图像的分离区域中的宏块数目。N等于IREG期间的图像数目,并且a1是以宏块为单位的分离区域的初始尺寸。
变化速率增长速率由条头标中的分离区域的增长速率(GRIR)表示。
参照图3可以说明根据一个特定的刷新模式将宏块插入到一个可靠区域中的过程的实例。图3示出了一个增长的可靠区域中的头几个图像帧(300-310),其具有被定义为“顺时针框出”的形状演化类型和三个宏块的恒定增长速率(GRIR)。第一帧300具有一个由三个宏块构成的L形的可靠区域(根据“顺时针框出”形状)。在下一帧302中在该可靠区域中增加接下来的三个宏块。该形状演化类型控制了新的宏块的放置,这样产生了一个3×2宏块的可靠区域。该过程通过以顺时针的方式沿着可靠区域的外框增加三个新宏块而在每一帧304-310中继续进行。
如前所述,JVT/H.26L设计允许定制视频编码层(VCL)或者数据分割层(DPL)数据格式用于在多种网络上递送。数据分割允许主观上和语义上更为重要的数据与不太重要的数据分开传输。解码器在没有接收到更为重要的数据的情况下,可能不能解码不太重要的数据。当使用例如RTP传输格式时,RTP传输流根本不包括图像层或者图像头标。取而代之的是,常规上属于图像和序列层的这种数据能够被进行带外发送。这种数据的多个组合可以被发送,并且每个发送的组合都被称为一个参数组并被列举。然后在发送的条头标中识别正在使用的参数组。
因此,根据一个优选实施例,优选地在参考图像选择参数之前在条头标中加入下列的条件参数1.分离区域的序列号(SNIR)。如果该参数组表明使用分离区域,则存在该参数。值0表示从最近的发送SNIR值SNIRa导出序列号(SNIRb),相应的图像号Pna以及当前的图像号PNb如下SNIRb=PNb-Pna+SNIRa,其中图像号之间的算术要考虑可能的重叠。值1表示一个新的可靠区域的开始,并且每一个IREG期间至少发送一次。大于0的值清楚地表示出序列号并且能够用于改善误差恢复能力。
2.分离区域的形状改变(SCIR)。如果该参数组表明分离区域的一个可变的增长速率,或者如果分离区域的形状演化类型是动态的矩形,则存在该参数。值0意味着矩形的分离区域的增长速率或者形状、尺寸和位置与在相同的图像的任何其它条中相同。值1表示GRIR和IRIR与先前存储并发送的图像中的相同。值2表示后面跟着GRIR或者IRIR。GRIR和IRIR被重复用于该图像的每个分离区域。
3.分离区域的增长速率(GRIR)。如果该参数组表示分离区域的一个可变的增长速率,则存在该参数。该参数表明与先前以编码顺序存储的帧的分离区域相比,增加到该分离区域的宏块的数目。
4.关于矩形分离区域的信息(IRIR)。如果分离区域的形状演化类型是动态的矩形,则存在该组参数。接下来的四种码字如下左分离区域(以宏块为单位)中的最左侧宏块的坐标。该图像的最左侧宏块的列被指配为值0。
顶部分离区域(以宏块为单位)中的最顶部的宏块的坐标。该图像的最顶部宏块的行被指配为值0。
宽度分离区域的宽度。码字被指配如下

高度子图像的高度。码字类似于宽度被指配。
为了JVT视频编解码参数组的更为详细的描述,参考ISO/IEC文档“VCEG-N52”和“VCEG-N72r1”。
接下来,将描述根据一个优选实施例的解码过程。为了说明,这里假设用视频序列告知(带内或者带外)的参数组包括至少某些上面公开的参数。但是,应当指出以上的参数仅是如何能够实现预期特性的一些实例。对于本领域的技术人员来说,很明显达到同样结果的实现可以通过使用不同的参数组,以多种方式来实现。
当解码器接收到用视频序列告知的参数组时,解码器检查它是否表明了可靠区域的使用。如果告知的参数组表示使用了IREG-I,则解码器解码一个条如下如果将被解码的条的图像号与先前解码的条的图像号不同,或者如果将被解码的条的时间参考与先前解码的条的时间参考不同,则开始解码一个新的图像。否则,继续解码当前的图像。
如果开始解码一幅新的图像,解码器检查是否建立了一个新的可靠区域。如果该参数组的任何一个与可靠区域有关的参数已经被改变,则解码器推断开始一个新的可靠区域。与此相似,如果SNIR是1,则解码器推断开始一个新的可靠区域。当建立了一个新的可靠区域之后,可靠区域的先前的形状、尺寸和位置被重新设置。如果开始解码一幅新的图像,可靠区域的形状、尺寸和位置被更新(一次一个可靠区域)如下如果可靠区域的形状演化类型是非矩形,并且如果增长速率是恒定的,则如同将恒量的宏块被SNIR次加入到零尺寸的可靠区域那样,计算可靠区域的形状、尺寸和位置。
如果可靠区域的形状演化类型是非矩形的,并且如果增长速率是预定义的,则SNIR表示加入到先前存储并发送的图像的相应的可靠区域的宏块数目aSNIR。
如果正在使用可靠区域的预定义的自由形式的类型,但是每个图像的增长速率是分别告知的,则通过以预定义的顺序将GRIR宏块增加到先前存储并发送的图像的可靠区域来形成可靠区域的形状和尺寸。
如果形状演化类型是预定义的静态矩形,则其尺寸、形状和位置在参数组中表明。如果形状演化类型是动态矩形,则矩形可靠区域的尺寸、形状和位置在条头标中表明。一旦可靠区域的形状、尺寸和位置是最新的,该条的第一宏块的宏块地址就识别该条属于哪个可靠区域,或者该条是否属于剩余区域。图像的可靠区域首先被解码。
在解码宏块的编码数据之前,计算它的空间位置。该空间宏块顺序是正常的(使用光栅或者分散扫描顺序),但是跳过落在目前解码的可靠或者剩余区域之外的宏块位置。
每个宏块的环路滤波受到下列限制如果其左侧的相邻宏块属于一个不同的区域(即,一个属于可靠区域而另一个属于剩余区域,或者它们属于不同的可靠区域),那么如同其位于左侧图像边界那样对宏块进行滤波。如果上述的相邻宏块属于一个不同的区域,就如同其位于图像的顶部宏块行那样对宏块进行滤波。
而且,有利地不应用根据正被解码的可靠区域之外的区域进行帧内预测。
如果告知的参数组表明使用了IREG-D,则除了宏块位置确定以外,解码器按照与上面所述的IREG-I的情况相同的方式解码一条。空间宏块顺序是正常的,并且一个条可以同时包含来自于多个可靠区域和来自剩余区域的宏块。主要的差别在于在区域边界可能发生帧内预测和运动矢量预测。但是,关于环路滤波和根据可靠区域之外的像素值进行部分像素内插的编码约束仍然适用。
IREG-I方法的一个优选实施例可以结合已经被建议给JVT/H.26L的所谓的子图像来实现。可以通过在图像和条层之间增加一个子图像编码层来产生一个子图像。该子图像编码层形成了所谓的子图像(SP),除了所谓的背景区域(BR)SP以外,其通常是矩形的前景区域SP(FR SP)。BR SP由没有落在任何矩形SP内的图像区域组成。一幅图像的前景区域SP在背景区域SP之前被编码。SP内的宏块以扫描顺序被编码。SP不互相重叠,即,整个编码图像由所有的SP组成。根据本发明的该实施例,子图像可被作为可靠区域。子图像的形状和尺寸能够通过例如由前述的参数来控制。
图4示出了将被编码的图像400与为视频编码定义的宏块(MB)之间的关系。图像包括被看作是前景对象的一个对象。沿着MB边界,围绕着该前景对象画出了矩形的前景区域子图像(FR SP)402。围绕着该前景对象402,该图像也具有一个背景。围绕FR SP 402的背景部分被称作背景区域子图像404(BR SP)。注意,如这里的情况,背景部分可以属于PR SP402。图4也示出了被指配给以递增的顺序计数为0-79的MB,其中第一MB(0)位于左上角,并且标号向右依次增长,并且在每一行之后从下一行的左边开始继续。
图5示出了根据子图像实现,为图4中的图像形成的视频编码条的原理图。使用5个宏块的条尺寸将该图像分割成视频编码条。分割从最重要的FR SP开始,并且在所有的FR SP之后(在图4和图5中仅给出一个FR SP),BR SP被分割成条。从0开始给定条运行序号。注意在FR SP内,从第一行开始,条0占有3个MB,然后在FR SP内,第二行占有2个MB,并且特别地,在BR SP被编码之前,关闭FR SP的最后一条。然后BR SP中的MB以扫描顺序被分割成条,这样除了最后一个以外的每一条通常都由一条所允许的最大数目的MB构成。条简单地跳过每个FR SP。条越大,通常造成编码一幅图像所需的冗余量越小。
根据一个优选实施例,能够实现一个基于子图像的渐进解码器刷新方法,从而将可靠区域作为前景子图像编码。优选地,使用独立的子图像编码模式从而在前景子图像的外部边界上关闭环路滤波。除了属于该子图像的宏块应当彼此相邻以外,整个图像内的前景子图像的形状和位置不应当受任何其它约束的限制。
除了为解码器提供随机访问点以外,本发明也可以用于改善视频传输的误差回复能力。上面公开的方法能够被用作具有预定义的帧内宏块更新模式的已知误差编码方法。每帧的更新的宏块的数目算法能够根据选择的条件改变,但是更新的宏块的顺序保持不变。也可以使用该方法,使得可靠区域中的一些宏块不以帧内模式被更新。因此,该技术落在自适应帧内宏块更新的范畴之内。
能够以非常直接的方式施加已知损耗的帧内更新的分离区域的使用,从而能够从第一分离区域开始的地方持续地使用分离的区域。由于序列的第一帧被完全帧内编码,第一分离区域优选地从第二编码帧开始。编码器能够根据图像尺寸和假定的包损耗率选择一个合适的增长率。通常,较好的增长率(即,刷新速率)等价于宏块的损耗率。例如,如果包损耗率是20%,则80个宏块的增长率是较合适的。
如上面所公开的,执行可靠区域的编码,但是对于剩余区域,剩余区域内的像素由先前重建的帧中的空间上相应的像素来复制。也就是,剩余区域中的宏块将如同内容保持与先前帧相同那样来被编码。
在解码器侧,在该期间内部分更新的图像能够被观看,如果这被看作是视觉上令人满意的话。
该实施例具有这样的优点与帧内编码相比,终端-终端的传输延迟显著降低。由于恒定的量化参数,能够获得稳定的图像质量,同时保持低的比特率波动。一个更为稳定的图像质量通常被认为不那么讨厌。而且,如果存在损耗,能够使用时空错误隐藏。
能够使用多种刷新模式,例如不同种类的划变和框入。尤其是,如果使用了一个框出刷新模式,将首先显示中央的图像部分。从感兴趣区域的观点出发,中央部分通常更为重要。
作为避免I帧的结果,终端用户察觉到在刷新请求之后,响应图像的显示更为快速。此外,终端用户察觉到一个图像速率的更短的下降。
根据上面提到实施例的过程提供了几个优点。如果与常规的随机访问点的编码相比,其中一个I帧开始一个独立的可解码的图像组(GOP),本发明还具有这样的优点本发明使得能够可靠地更新一个预定义的图像区域,而不需要该区域的全部帧内宏块覆盖。在多个编码图像期间,该区域被逐步更新。先前的图像中的可靠区域能够被用作下一图像中的可靠区域的运动补偿参考。可靠区域中的每一宏块的宏块模式选择能够使用速率失真(rate-distortion)优化来完成。这样,本发明能够从速率失真的角度最优地使能可靠区域的编码。
本发明的这一特性可能在序列中尤其有用,该特性能经受相对平稳的整体运动,例如摄像机向任一方向平摇。在这种情况下,第一帧中靠近图像边界的区域移近下一帧的图像中部。如果第一帧中的区域能够被进行帧内编码,在下一帧中不再需要被帧内编码。
而且,编码流的瞬时比特率具有更为平滑的波动。这有助于避免缓冲器溢出,可以减少预解码缓冲器所需的尺寸,并且可能降低终端-终端的传输延迟。
对于易于发生误差的传输,无论如何,每幅图像的特定数目的宏块都被以帧内模式编码。为了随机访问的目的,本发明也能够重复使用这些宏块。
如果至少部分I帧丢失或者恶化,接收解码器几乎没有方法检测它应当使用空间的还是时空的错误隐藏。由于空间相邻的区域被通过帧内编码进行编码,一个直接的选择是使用空间错误隐藏。但是,时空误差传播可能导致更好的隐藏效果。如果应用根据本发明的方法,则能够避免这一现象,即每次仅有一部分图像以帧内模式被更新。
常规的视频应用涉及视频电话、视频会议、以及其它类似的应用。这个应用族的特征在于使终端-终端的延迟最小的目标。常规的应用能够在各种网络上运行,例如ISDN(参见ITU-T建议H.320)、PSTN(ITU-TH.324)、固定IP网络(ITU-T H.323)以及包交换移动网络(3GPP TS26.235)。通常,至少网络中的一个链接具有一个受限的最大吞吐比特率。而例如ISDN的一些网络提供低传输误差率,诸如互联网以及移动网的其它网络相对更容易出现传输误差。
在常规的应用中,由于使终端-终端的延迟最小的目的以及具有一个固定的最大吞吐量的事实,期望保持视频比特率相对恒定。由于与帧间编码相比,从比特率的角度来看,帧内编码通常更加昂贵,因此应当避免一次对整个帧进行帧内编码。
解码器期望在该序列的开始进行图像的刷新,并且将其作为帧内图像(intra picture)更新请求的响应。在根据本发明的方法中,代替整个帧内图像的是,能够告知和编码一个渐进解码器刷新周期。如果需要,能够在该期间观看部分更新的图像,这些图像可能是视觉上令人满意的。
使用渐进解码器刷新来代替整个帧内图像平滑了比特率的波动,并且降低了终端-终端的传输延迟。终端用户能够察觉到在对话的初始化中,图像显示得更快。如果接收到的图像严重恶化,接收终端将向远程终端编码器要求一个帧内图像更新。在这种情况下,当使用本发明时,终端用户察觉到在图像率中的更短的下降。
与渐进量化精细和渐进分辨率精细相比,本发明提供了一个响应于帧内图像更新请求的更为稳定的图像质量,该图像通常认为不太令人讨厌。
本发明的一个主要优点在于它完全阻止了时空误差传播。该特征以前在具有参考图像选择、环路滤波、以及部分像素内插的复杂编码方案,例如JVT设计中是达不到的。
这样,公开的方法能够被用作具有预定义的可靠宏块更新模式的已知误差编码方法。要指出的是在预定义方案的算法中每帧的更新宏块的数目能够根据选择的条件改变,但是更新的宏块的顺序保持不变。因此,该方法同时具有两个好处通过帧内编码阻止误差传播,它还为适当的随机访问提供了可能性。
该方法允许发送一个与其它区域相比具有更好的误差保护的可靠区域。这样,该方法要优于具有帧内更新的常规的编码,其中这种传输的优先次序是不可能的。可靠区域比其它的编码数据能够更好地被保护来对抗传输误差。实际上,在可靠区域中可以应用更多的冗余,例如前向误差编码。替代地,可靠区域能够通过与普通的视频数据传输所使用的频道相比具有更好的服务质量(QoS)保证的频道被发送。在单一流播中,当要求服务器从一个渐进随机访问位置开始流播时,根本不需要发送不可靠的区域(背景子图像)。
许多类型的视频材料,例如新闻、电影预告片、以及音乐视频,都包含频繁的场景切换。有时,场景切换非常突然,但是在多数情况下,应用诸如淡入淡出或者划变的转换。从压缩效率的角度来看,场景转换的编码经常是一个具有挑战性的问题,因为运动补偿可能不是一个足够强大的方法来表示转换中图像之间的变化。
场景转换可以被分类,例如突然的、掩藏的、淡入淡出的以及混合的场景转换。突然转换是这样的不存在转换周期和两个相邻场景的内容同时出现的图像。掩藏转换是这样的第二场景以渐进的方式从第一场景在空间上揭开。所有的图像都是全强度(full intensity)显示的。掩藏场景转换的编码通常涉及至少一个I帧。掩藏场景转换的例子包括框入、框出、划变、劈裂以及溶解、。淡入淡出转换是这样的两个场景的图像以半透明的方式在彼此的顶部重叠,并且在转换周期内,顶部的图像透明度逐渐改变。淡入淡出转换的例子包括普通的交叉淡入淡出以及通过黑色的(从其中出来或进入其中)淡入淡出。混合场景转换是掩藏和淡入淡出转换的组合。
根据本发明的方法在应用到场景转换,尤其是掩藏场景转换时,也提供了好处。由此,转换能够被随机地访问,而不用编码整个帧内图像。当使用基于子图像的渐进解码器刷新时,以及当随机地访问转换时,转换的第一场景的编码数据不需要被发送、解码和显示。而且,为了获得与使用突然场景改变相比更小的编码视频比特率的波动,一个掩藏的场景转换能够被编码。
上面描述了将渐进解码器刷新随机访问点编码到一个视频序列当中的方法。具体来说,这在一个视频编码器中被执行,该视频编码器可以是一个本身已知的视频编码器。所使用的视频编码器可以是例如根据ITU-T建议H.263或者H.26L的一个视频编码器,根据本发明,它被安排来确定包括至少一个帧内编码块的第一可靠区域,并且在所述的视频序列中编码所述的第一可靠区域,从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。
相应地,在视频解码器中进行解码,该视频解码器可以是本身已知的视频解码器。所使用的视频解码器可以是例如根据ITU-T建议H.263或者H.26L的低比特率视频解码器,根据本发明,它被安排来接收确定视频序列的第一可靠区域的信息,该可靠区域包括至少一个帧内编码的编码块,并且从所述的视频序列中解码所述的第一可靠区域,从而防止在所述的第一可靠区域和位于所述第一可靠区域之外的编码块之间产生信息相依性。
基于视频的电信系统的不同部分,尤其是终端,可以包括使能多媒体文件的双向传输,即文件的发送和接收的特性。这允许编码器和解码器被实现为包括编码器和解码器的功能的视频编解码器。
应当指出以上的视频编码器、视频解码器和终端中的本发明的功能元件可以优选地被实现为软件、硬件或者二者的结合。本发明的编码和解码方法尤其适于被实现为包括用于执行本发明的功能步骤的计算机可读指令的计算机软件。编码器和解码器优选地被实现为存储在存储装置并且可由类似计算机的设备,例如个人计算机(PC)或者移动站执行的软件代码,用于实现所述设备的编码/解码功能。
图6示出了根据本发明的一个优选实施例的一个移动通信设备MS的框图。在该移动通信设备中,一个主控制单元MCU控制负责移动通信设备的各种功能的块一个随机访问存储器RAM、一个射频部分RF、一个只读存储器ROM、视频编解码器CODEC以及一个用户接口UI。用户接口包括一个键盘KB、一个显示器DP、一个扬声器SP以及一个麦克风MF。MCU是一个微处理器,或者在替代实施例中,是一些其它类型的处理器,例如一个数字信号处理器。有利地,MCU的操作指令已经被预先存储在ROM存储器中。根据它的指令(即,计算机程序),MCU使用RF块在无线电路径上发送和接收数据。视频编解码器可以是基于硬件的,或者全部或部分基于软件,在这种情况下,CODEC包括用于控制MCU执行所需的视频编码和解码功能的计算机程序。MCU使用RAM作为它的工作存储器。移动通信设备能够通过视频摄像机捕获运动视频,使用MCU、RAM和基于CODEC的软件编码和打包运动视频。然后使用RF块与其它的部分交换编码视频。
图7示出了包括多个移动通信设备MS、一个移动电信网络71、互联网72、一个视频服务器73以及一个连接到互联网的固定PC的视频通信系统70。视频服务器具有一个视频编码器,并且能够提供诸如天气预报或者新闻的点播视频流。
本发明的优选实施例是在基于区域的编码方案基础上的。
本发明也能够被实现为包括一个视频序列的视频信号,该视频序列由视频帧构成,其中至少一个视频帧被分成一组编码块,并且至少一个所述的编码块被通过帧内编码进行编码。该视频信号进一步包括确定该视频序列的第一可靠区域的信息,该可靠区域包括至少一个帧内编码的编码块,以及用于从所述的视频序列解码所述的第一可靠区域的信息,从而防止在所述的第一可靠区域和所述的第一可靠区域之外的编码块之间产生信息相依性。该视频信号可以是一个实时发送的信号,或者它能够通过使用媒体,例如大容量存储器或者重放视频盘,而被存储在一个计算机可读载体上。
很明显,对于本领域的技术人员来说,随着技术的发展,本发明的基本概念可以通过多种方式来实现。因此本发明及其实施例并不局限于上面的实例,而是可以在权利要求内变化。
权利要求
1.一种用于指示数字图像内一个区域的尺寸、形状和位置的方法,该图像被分成一组块,其特征在于,定义用于至少一个尺寸参数的值,该尺寸参数值指示所述区域内的多个块,以及选择用于至少一个形状演化参数的值,该形状演化参数值指示所述块进入到所述区域之内的选择顺序。
2.如在权利要求1中所要求的方法,其特征在于,将所述用于该至少一个尺寸参数和该至少一个形状演化参数的值编码到一个视频序列的比特流中,以便指示该图像内的该区域的尺寸、形状和位置。
3.如在权利要求1或2中所要求的方法,其特征在于,将所述用于至少一个形状演化参数的值包括到所述图像的参数组中。
4.如在前述权利要求的任何一个中所要求的方法,其特征在于,所述至少一个尺寸参数包括尺寸改变速率参数(GRIR)和尺寸改变的序列号参数(SNIR)。
5.如在权利要求4中所要求的方法,其特征在于,依据至少下列之一来确定所述区域内编码块的数目用于所述尺寸改变速率参数的值,用于所述尺寸改变的序列号参数的值。
6.如在权利要求4或5中所要求的方法,其特征在于,将所述用于尺寸改变速率参数的值包括到所述图像的参数组中,以及将所述用于尺寸改变的序列号参数的值包括到属于所述区域的条头标中。
7.如在前述权利要求的任何一个中所要求的方法,其特征在于,依据用于形状演化参数的值来确定该区域的块的位置。
8.如在前述权利要求的任何一个中所要求的方法,其特征在于,从至少下列之一中选择用于所述至少一个形状演化参数的值光栅扫描、反光栅扫描、顺时针框出、逆时针框出、向左划变、向右划变。
9.如在前述权利要求的任何一个中所要求的方法,其特征在于,所述区域包括至少一个条,该条包括在条边界上没有实质预测相依性的块,其中所述块以该区域之内的扫描顺序被选择到所述条中。
10.一种用于将数字图像编码到一个比特流中的编码器,该编码器被安排来,将至少一个图像分成一组块,其特征在于,该编码器还被安排来,确定一个图像内的一个区域,所述区域包括至少一个块,定义用于至少一个尺寸参数的值,该尺寸参数值指示所述区域内的多个块,选择用于至少一个形状演化参数的值,该形状演化参数值指示所述块进入到所述区域之内的选择顺序,以及将所述用于该至少一个尺寸参数和该至少一个形状演化参数的值编码到所述比特流中,以便指示该图像内的该区域的尺寸、形状和位置。
11.如在权利要求10中所要求的编码器,其特征在于,该编码器还被安排来,将所述用于至少一个形状演化参数的值包括到所述图像的参数组中。
12.如在权利要求10或11中所要求的编码器,其特征在于,所述至少一个尺寸参数包括尺寸改变速率参数(GRIR)和尺寸改变的序列号参数(SNIR)。
13.如在权利要求12中所要求的编码器,其特征在于,该编码器还被安排来,将所述用于尺寸改变速率参数的值包括到所述图像的参数组中,以及将所述用于尺寸改变的序列号参数的值包括到属于所述区域的条头标中。
14.如在权利要求10-13的任何一个中所要求的编码器,其特征在于,该编码器还被安排来,从至少下列之一中选择用于所述至少一个形状演化参数的值光栅扫描、反光栅扫描、顺时针框出、逆时针框出、向左划变、向右划变。
15.如在权利要求10-14的任何一个中所要求的编码器,其特征在于,所述区域包括至少一个条,该条包括在条边界上没有实质预测相依性的块,其中该编码器还被安排来以该区域之内的扫描顺序把所述块选择到所述条中。
16.一种存储在计算机可读介质上并且可在数据处理设备中执行的计算机程序产品,用于将数字图像编码到一个比特流中,该计算机程序产品包括用于将至少一个图像分成一组块的计算机程序代码,其特征在于,该计算机程序产品还包括,用于确定一个图像内的一个区域的计算机程序代码,所述区域包括至少一个块,定义用于至少一个尺寸参数的值的计算机程序代码,其中该尺寸参数值指示所述区域内的多个块,选择用于至少一个形状演化参数的值的计算机程序代码,其中该形状演化参数值指示所述块进入到所述区域之内的选择顺序,以及将所述用于至少一个尺寸参数和该至少一个形状演化参数的值编码到所述比特流中,以便指示该图像内的该区域的尺寸、形状和位置的计算机程序代码。
17.一种用于解码包括至少一个编码数字图像的比特流的解码器,所述至少一个图像被分成一组编码块,其特征在于,该解码器被安排来,从所述比特流中解码用于至少一个尺寸参数的值,该尺寸参数值指示所述图像内一个区域的多个编码块,以及解码用于至少一个形状演化参数的值,该形状演化参数值指示所述编码块进入到所述区域之内的选择顺序,依据用于所述参数的值来确定该图像内所述区域的尺寸、形状和位置,以及根据所述的至少一个尺寸、形状和位置来解码所述区域。
18.如在权利要求17中所要求的解码器,其特征在于,该解码器被安排来,从所述区域的一个图像参数组中解码所述用于至少一个形状演化参数的值。
19.如在权利要求17或18中所要求的解码器,其特征在于,所述至少一个尺寸参数包括尺寸改变速率参数(GRIR)和尺寸改变的序列号参数(SNIR)。
20.如在权利要求19中所要求的解码器,其特征在于,该解码器被安排来,依据至少下列之一来确定所述区域内编码块的数目用于所述尺寸改变速率参数的值,用于所述尺寸改变的序列号参数的值。
21.如在权利要求19或20中所要求的解码器,其特征在于,该解码器被安排来,从所述图像的参数组中解码用于所述尺寸改变速率参数的值,以及从属于所述区域的一个条头标中解码用于所述尺寸改变的序列号参数的值。
22.如在权利要求17-21的任何一个中所要求的解码器,其特征在于,该解码器被安排来,依据用于形状演化参数的值来确定所述区域的所述块的位置。
23.如在权利要求17-22的任何一个中所要求的解码器,其特征在于,用于所述至少一个形状演化参数的值是至少下列之一光栅扫描、反光栅扫描、顺时针框出、逆时针框出、向左划变、向右划变。
24.如在权利要求17-23的任何一个中所要求的解码器,其特征在于,所述区域包括至少一个条,该条包括在条边界上没有实质预测相依性的块,其中该解码器被安排来以该区域之内的扫描顺序将所述块解码到所述条中。
25.一种存储在计算机可读介质上并且可在数据处理设备中执行的计算机程序产品,用于解码包括至少一个编码数字图像的比特流,所述至少一个图像被分成一组编码块,其特征在于,该计算机程序产品包括用于从所述比特流中解码用于至少一个尺寸参数的值和用于至少一个形状演化参数的值的计算机程序代码,其中该尺寸参数值指示所述图像内一个区域的多个编码块,该形状演化参数值指示所述编码块进入到所述区域之内的选择顺序,用于依据用于所述参数的值来确定该图像内所述区域的尺寸、形状和位置的计算机程序代码,以及用于根据所述至少一个尺寸、形状和位置来解码所述区域的计算机程序代码。
26.一种包括一个包含至少一个编码数字图像的比特流的视频信号,所述至少一个图像被分成一组编码块,其特征在于,所述视频信号还包括至少一个尺寸参数值,该尺寸参数值指示所述图像内一个区域的多个编码块,以及至少一个形状演化参数值,该形状演化参数值指示所述编码块进入到所述区域之内的选择顺序,所述参数使能确定该图像内所述区域的尺寸、形状和位置。
全文摘要
一种用于指示数字图像内一个区域的尺寸、形状和位置的方法,该图像被分成一组块。定义了用于至少一个尺寸参数的值,该尺寸参数值指示所述区域内的多个块,并且选择了用于至少一个形状演化参数的值,该形状演化参数值指示所述区域中所述块的选择顺序。然后优选地,所述用于该至少一个尺寸参数和该至少一个形状演化参数的值被编码到一个视频序列的比特流中,以便指示该图像内所述区域的尺寸、形状和位置。
文档编号H04N7/26GK1829329SQ200610004108
公开日2006年9月6日 申请日期2003年4月28日 优先权日2002年4月29日
发明者Y·-K·王, M·汉努克塞拉 申请人:诺基亚有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1