用于处理视频信号的方法和装置的制作方法

文档序号:7937187阅读:170来源:国知局

专利名称::用于处理视频信号的方法和装置的制作方法
技术领域
:本发明涉及视频信号处理,并且更具体地,涉及用于处理视频信号的方法及其装置。虽然本发明适合于广泛范围的应用,但是尤其适合于解码视频信号。
背景技术
:一般来说,压縮编码指的是用于经由通信电路传送数字化信息或者以适合于存储介质的格式存储数字化信息的一系列信号处理技术。压縮编码的对象包括音频、视频、字符等。具体地,在视频上执行压縮编码的技术被称为视频压縮。通常,视频序列的特征在于,具有空域冗余和时域冗余。
发明内容技术难题然而,如果没有充分地消除空域冗余和时域冗余,则编码视频信号中的压縮速率被降低。如果过度地消除了空域冗余和时域冗余,则无法生成为解码视频信号所需要的信息而降级重建比率。特别地,在多视图视频信号中,由于视图间图像大多数都仅具有由照相机位置而造成的差别,所以它们往往具有非常高的关联性和冗余。在未充分消除视图间图像的冗余的情况中,压縮比率或重建速率被降低。技术解决方案因此,本发明涉及用于处理视频信号的方法及其装置,该方法和装置基本上避免了由于现有技术的局限和缺点而导致的一个或多个问5题。本发明的目标是提供用于处理视频信号的方法及其装置,通过该方法和装置能够解码从其中消除了视图间图像的冗余的视频信号。本发明的另一个目标是提供用于处理视频信号的方法及其装置,通过该方法和装置能够以基于视图间图像之间的关联性获取关于当前图像的运动信息的方式来实现运动补偿。本发明的又一个目标是提供用于处理视频信号的方法及其装置,通过该方法和装置能够使用与有关当前图像的运动信息具有高相似度的参考视图中的运动信息来提高当前图像的重建速率。有益效果因此,本发明提供下面的效果或优点。首先,本发明在编码视频信号中忽略了具有高冗余度的运动信息,从而提高压縮比率。第二,在解码视频信号中,即使没有传送关于当前图像的运动信息,本发明使用与有关当前图像的运动信息具有相当高相似度的参考视图的运动信息来提高视频信号的重建速率。第三,在解码视频信号中,在相邻视图的图像中未能存在运动信息的情况中,本发明使用在另一个视图的图像中存在的运动信息。附图被包括以提供本发明的进一步理解,并且被并入并且组成本说明书的一部分,附示了本发明的实施例,并且与描述一起用于解释本发明的原理。在附图中图l是根据本发明的视频信号解码装置的示意性框图2是根据本发明实施例的视频信号处理装置的框图3是根据本发明实施例的视频信号处理方法的流程图4是用于运动跳过确定步骤S100的子步骤的示例的流程图5是用以解释视图相关性和参考列表的概念图6是用于当前视图的参考列表的一个示例的示图7是用于确定参考视图和对应块的步骤S300的子步骤的一个示例的流程图8是用于当前视图的参考列表的另一个示例的示图;图9是用于确定参考视图和对应块的步骤S300的子步骤的另一个示例的流程图10是用于当前视图的参考列表的又一个示例的示图;图11是用于确定参考视图和对应块的步骤S300的子步骤的又一个示例的流程图12是用以解释映射水平是宏块水平或8X8块水平的情况的示图;以及图13是用以解释映射水平是8X8块水平或子像素水平的情况的示图。最佳实施方式在下面的描述中将阐述本发明的附加特征和优点,并且部分的附加特征和优点将从描述变得显而易见,或者可以从本发明的实践中习得。通过尤其是在撰写的描述和其权利要求以及附图中所具体指出的结构来实现并且得到本发明的目标和其它优点。为了实现这些和其它优点并且根据本发明的目的,按照实施的和广泛描述的,一种根据本发明的处理视频信号的方法包括获取包括在参考列表中的第一参考视图内的第一对应块的块类型,如果该第一对应块的块类型是帧内块,则获取包括在参考列表中的第二参考视图内的第二对应块的块类型和运动信息,以及如果该第一对应块的块类型不是帧内块,则使用该第二对应块的运动信息来解码当前块。优选地,参考列表包括第一参考列表和第二参考列表。更优选地,第一参考列表包括前向参考视图,并且第二参考列表An+卞i—"^:ArTi't^fFb^ta岡梦々—1%园。优选地,基于关于当前视图的示图相关性来获取参考列表。优选地,第一参考视图对应于包括在参考列表中的参考视图中的具有指示包括在视频信号的比特流中的顺序的最低索引的参考视图。优选地,第一参考视图对应于在包括在参考列表中的参考视图中最接近当前视图的参考视图。优选地,基于用于第一参考视图的全局运动向量来获取第一对应块。优选地,第一对应块属于参考列表的第一参考列表内的参考视图,并且第二对应块属于参考列表的第二参考列表内的参考视图。优选地,基于用于第二参考视图的全局运动向量来获取第二对应块。优选地,运动信息包括运动向量和参考图像索引。更优选地,解码进一步包括获取视图间方向上的参考图像。优选地,在广播信号上接收视频信号。优选地,经由数字介质来接收视频信号。为了进一步实现这些和其它优点并且根据本发明的目的,计算机可读记录介质包括用于执行方法的程序,该方法包括获取包括在参考列表中的第一参考视图内的第一对应块的块类型,如果第一对应块的块类型是帧内块,则获取包括在该参考列表中的第二参考视图内的第二对应块的块类型和运动信息,以及如果第一对应块的块类型不是帧内块,则使用该第二对应块的运动信息来解码当前块。为了进一步实现这些和其它优点并且根据本发明的目的,一种用于处理视频信号的装置包括运动信息获取单元,该运动信息获取单元获取包括在参考列表中的第一参考视图内的第一对应块的块类型,该运动信息获取单元,如果第一对应块的块类型是帧内块,则运动信息获取单元获取包括在参考列表中的第二参考视图内的第二对应块的块类型和运动信息;以及解码单元,如果第一对应块的块类型不是帧内块,则该解码单元使用第二对应块的运动信息来解码当前块。为了进一步实现这些和其它优点并且根据本发明的目的,一种处理视频信号的方法包括重新排序第一参考列表和第二参考列表的至少一个;使用从比特流提取的第一运动信息或在参考视图上的对应块的第二运动信息来判定运动向量;使用从比特流提取的运动间信息和从在参考视图上的对应块提取的运动内信息中的至少一个运动信息来判定运动向量;使用运动向量获取参考块;以及使用参考块来解码当前图像的当前块。优选地,如果当前图像是锚图像,则运动向量仅使用运动间形式。9更优选地,参考块与运动间信息相关联,并且该参考块在与当前块不同的视图中和当前块同时存在。为了进一步实现这些和其它优点并且根据本发明的目的,一种用于处理视频信号的装置包括运动信息获取单元,该运动信息获取单元重新排序第一参考列表和第二参考列表中的至少一个,该运动信息获取单元使用从比特流提取的第一运动信息或在参考视图上的对应块的第二运动信息来判定运动向量,该运动信息获取单元使用从比特流提取的运动间信息和从在参考视图上的对应块提取的运动内信息的至少一个运动信息判定运动向量;以及解码单元,该解码单元使用运动向量来获取参考块,该解码单元使用参考块解码当前图像的当前块。应理解,前述的一般性描述和下面的详细描述二者是示例性的和解释性的,并且旨在如权利要求所述的提供本发明的进一步解释。具体实施例方式现在将详细参考本发明的优选实施例,在附图中图示了本发明优选实施例的示例。首先,本发明中的运动信息应该被解释为包括视图间运动信息以及时域运动信息的概念。另外,运动向量应该被解释为包括视图间差异(disparity)偏移以及时域运动偏移的概念。在本发明中,应理解,编码应该在概念上包括编码和解码。同时,视图内预测指的是在相同视图内存在的图像之间的预测,并且包括,例如,时域预测。视图间预测指的是在不同视图中存在的图像之间的预测。图1是根据本发明的用于解码视频信号的装置的示意性框图。参考图1,解码装置包括NAL解析器单元100、熵解码单元200、反量化/反变换单元300、帧内预测单元400、去块滤波器单元500、解码图像缓冲单元600和帧间预测单元700。并且,帧间预测单元700包括照度(IC)偏移预测器710、照度补偿单元720和运动补偿单元730。NAL解析器单元IOO通过NAL(网络抽象层)来执行解析,以解码接收到的视频序列。通常,在解码条带头和条带数据之前,向解码器传送至少一个序列参数集和图像参数集。在该情况中,NAL头单元或NAL头的扩展单元能够包含各种类型的属性信息。MVC是除了AVC方案以外的方案。并且,更加有利的是,仅对于MVC比特流的情况来添加各种类型的属性信息,而不是无条件地添加各种类型的属性信息。例如,能够在NAL头单元或NAL头的扩展单元中添加用于标识是否是MVC比特流的标志信息。只有根据标志信息输入的比特流是多视图序列编码的比特流时,才能够在多视图序列上添加属性信息。例如,属性信息能够包括时域水平信息、视图水平信息、视图间图像组标识信息、视图标识信息等。由熵解码单元20来熵解码所解析的比特流,并且提取每个宏块的系数、运动向量等。反解量化/变换单元300获取通过将接收的量化值乘以预定的常量来变换的系数值,并且然后通过反置系数值来重建像素值。帧内预测单元400使用重建的像素值从当前图像内的解码样点来执行帧内预测。同时,将去块滤波器单元500应用于每个编码的宏块以减少块失真。在该情况中,滤波器使块的边缘平滑以提高解码图像的图像质量。并且,该滤波过程的选择取决于边缘周围的图像样点的边界强度和梯度。经滤波的图像被输出或者和被存储在解码图像缓冲单元600中,以用作参考图像。解码图像缓冲单元600在存储或打开之前编码的图像来执行帧间预测中起作用。如此一来,为了在解码图像缓冲单元600中存储图像/从解码图像缓冲单元600打开图像,使用每个图像的'frame—num"和11POC(图像序号)。在MVC中,由于在之前解码的图像中存在视图上与当前图像的视图不同的图像,所以可以使用用于标识图像的视图的视图信息以及'frame—num"和POC来将这些图像用作参考图像。对于帧间预测单元700来说,以上述的方式来管理的参考图像也是可以使用的。帧间预测单元700使用存储在解码图像缓冲单元600中的参考图像来实现帧间预测。能够将帧间编码的宏块划分为宏块分割。并且,能够从一个或两个参考图像来预测宏块分割的每一个。帧间预测单元700包括照度偏移?页测器710,照度补偿单元720和运动补偿单元730。在输入的比特流对应于多视图序列的情况中,每个视图序列都是由不同的照相机捕捉的序列。所以,由于照相机内部和外部的原因而产生照度差。为了避免照度差,照度补偿单元720执行照度补偿。在执行照度补偿中,能够使用指示是否在视频信号的预定层上执行照度补偿的标志信息。例如,能够使用指示是否在对应的条带或宏块上执行照度补偿的标志信息来执行照度补偿。在使用标志信息来执行照度补偿中,照度补偿适用于各种宏块类型(例如,帧间16X16模式、B-跳过模式、直接模式)。运动补偿单元730使用从熵解码单元200传送的运动信息来对当前块的运动进行补偿。运动补偿单元730从视频信号提取与当前块相邻的块的运动向量,并且然后获取当前块的运动向量预测值。运动补偿单元730使用所获取的运动向量预测值和从视频信号提取的偏移向量来对当前块的运动进行补偿。能够使用单个参考图像或多个图像来执行这种运动补偿。在多视图视频编码中,在当前图像是指在与当前图像的视图不同的视图的图像中的情况下,能够使用关于存储在解码图像缓冲单元600中的用于视图间预测的参考图像列表的信息来实现运动补偿,并且,还能够使用用于标识对应图像的视图的视图信息来实现运动补偿。同时,由于在以上的方式中需要运动信息来实现运动补偿,所以可能不传送对应于特定块的运动信息。为此,存在被称为运动跳过模式的方案。具体地,运动跳过模式是用于从关于已经完全解码的块的运动信息得到关于当前块的运动信息的方案。例如,能够从存在于具有类似于当前块的运动信息的参考视图中的对应块得到当前块的参考图像索引、运动向量等。在该方案中,由于不传送关于当前块的运动信息,所以能够节省编码运动信息所需要的比特数目。然后,以根据预测模式来选择通过以上过程的帧间预测或帧内预测的图像的方式来重建当前图像。下面解释了运动跳过模式的各种实施例。图2是根据本发明实施例的视频信号处理装置的框图,并且图3是根据本发明实施例的视频信号处理方法的流程图。参考图2,根据本发明实施例的视频信号处理装置1000包括信息提取单元1050、运动跳过确定单元1100、参考列表获取单元1200、偏移获取单元1250、对应块判定单元1300以及解码单元1400。并且,运动信息获取单元能够包括参考列表获取单元1200、偏移获取单元1250和对应块判定单元1300。在下面的描述中,参考图2和图3来示意性地解释本发明的实施例。首先,信息提取单元1050提取运动跳过允许标志信息和运动跳过应用标志信息,并且然后,运动跳过确定单元110基于所提取的信息来判定当前块是否对应于运动跳过模式[SllO]。如果当前块不对应于运动跳过模式,则解码单元1400通过从比特流提取关于当前块的运动信息的步骤来使用所提取的运动信息编码当前块。同时,信息提取单元1050能够包括在参考图1描述的熵解码单元200中,其不限制本发明的各种实现。此外,稍后将参考'1.运动跳过确定步骤,来详细解释步骤SllO。13参考列表获取单元1200基于视图相关性来获取第一参考列表和第二参考列表[S200]。稍后将参考'2.1参考列表获取步骤'来解释视图相关性和参考列表的细节。偏移获取单元1250获取查找对应块所需要的偏移(例如,全局运动向量、局部运动向量、零向量)[S250]。在该情况中,稍后将参考'2.2偏移获取步骤'来详细解释针对偏移类型和偏移得到方法的各种实施加l对应块判定单元1300基于在步骤S200中获取的参考列表和在步骤S250中获取的偏移来判定参考视图和对应块[S300]。在该过程中,稍后将参考".参考视图和对应块判定步骤'来解释关于将优先搜索具有与当前视图相关的视图的至少一个参考视图中的哪一个、如果搜索的视图的对应块中不存在运动信息则将以次优方法来搜索哪一个视图等的各种实施例。同时,稍后将要解释根据对应块是对应于宏块水平还是对应于8X8块水平来判定对应块的方法。解码单元1400使用关于在步骤S300中判定的对应块的运动信息来解码当前块[S400]。并且,稍后将参考M.使用关于对应块的运动信息来解码当前块的步骤'来解释能够使用残差信息以及关于对应块的运动信息的细节。同时,在参考图1描述的运动补偿单元730中包括运动跳过确定单元、参考列表获取单元1200、偏移获取单元1250、对应块判定单元1300和解码单元1400,其不限制本发明的各种实现。1.运动跳过确定步骤在步骤S100中,信息提取单元1050提取运动跳过允许标志信息和运动跳过应用标志信息,并且运动跳过确定单元IIOO基于所提取的信息来判定当前块是否对应于运动跳过模式。图4中示出了步骤s100的子步骤。参考图4,首先从条带头提取运动跳过允许标志信息[S110]。在该情况中,运动跳过允许标志信息是指示对应于运动跳过模式的至少一个块是否存在于属于条带的块中的信息。换言之,运动跳过允许标志信息是指示是否允许运动运动跳过模式用于条带内的块的信息。能够在条带头中包括运动跳过允许标志,这不限制本发明的各种实现。下面的表中示出了语法的示例,其中在条带头中包括运动跳过允许标志。表l]运动跳过允许标志<table>tableseeoriginaldocumentpage15</column></row><table>在表1中,参考由在表的右侧标记的(A)指示的行,存在语法元素'motion—skip—enable—flag,。这是运动跳过允许标志,并且可以包括具有被设置为0或1的值的1比特的标志。并且,能够按照下面的表来定义每个标志值的含义。运动跳过允许标志的含义motion—skip—enable—flag含义0在条带中根本不存在对应于跳过模式的任何块。1在条带中存在至少一个对应于运动跳过模式的块。15[表1的修改]运动跳过允许标志<table>tableseeoriginaldocumentpage16</column></row><table>在运动跳过不适用于当前条带的情况中,无需传送运动跳过允许标志。所以,如上表中所示,能够添加用于应用运动跳过的条件。具体地,仅当当前条带是非锚图像并且它具有与另一个视图的参考关系时,才足以传送运动跳过允许标志。基于在步骤S110中提取的运动跳过允许标志,判定是否允许运动跳过模式用于当前条带[S120]。如果不允许运动跳过模式[步骤S120中为'否,](例如,如果运动跳过允许标志motion_skip—enable—flag是0),则意味着在条带中根本不存在对应于运动跳过模式的任何块。因此,判定整个对应条带不对应于运动跳过模式。然后在块水平提取关于当前块的运动信息[S150]。否则,如果在步骤S120中允许运动跳过用于当前条带[步骤S120中为'是'],则能够执行判定条带内的每个块是否对应于运动跳过模式的步骤。首先,在块水平提取运动跳过应用标志信息[S130]。在该情况中,运动跳过应用标志信息是指示当前块是否对应于运动跳过模式的信息。在下表中示出了基于在步骤S110中所提取的运动跳过允许标志来从宏块层提取运动跳过应用标志的示例。[表3]运动跳过应用标志Macroblock一layerO{if(!anchor_pic—flag){i=InverseViewID(view—id)if((num_non_anchor_ref—10[i]>0)1(num一non一anchor一ref一ll[i]>0&&motion—skip—enable—flag)(CI)motion—skip—flag(F)if(!motion—skip—flag){(CC1)mb—type(PI)}else{(CC2)mb_pred(mb—type)(P2)参考表3的右边部分中其上标记有(CI)和(F)的行,如果运动跳过允许标志不是0[参看(C1)行上的if(...motion_skip_enable—flag)],则能够注意到,提取运动跳过应用标志[参看(F)行上的motion—skip—flag]。具体地,如果运动跳过允许标志是0,则不从宏块层提取运动跳过应用标志。17[表3的修改]修改运动跳过应用标志MaeiroMoe;klayer(》《if(motionskip,ena5ie){—《Cl》motionskip(F〉ifUiioti加skipf3Lag》《(ecutype《pi》",》《《c②iribpred(mbtype》,与以上的[表1的修改]类似,如果条带头将用于应用运动跳过的条件应用于条带,则每个宏块仅需要检查运动跳过允许标志。所以,在如上表所示的运动跳过允许标志的情况中,在当前条带是1中,足以传送用于每个宏块的运动跳过应用标志。基于在步骤S130中所提取的运动跳过应用标志,判定当前块是否对应于运动跳过模式[S140]。在该情况中,运动跳过应用标志还可以包括具有被设置为0或1的值的1比特的标志。能够按照下表来定义根据每个标志值的含义。表4]运动跳过应用标志的含义Motion—skip—flag含义0当前块不对应于运动跳过模式。1当前块对应于运动跳过模式。作为判定步骤S140的结果,如果当前块不对应于运动跳过模式[步骤S140中为'否,](例如,运动跳过应用标志motion—skip—flag是0),则确定不是运动跳过模式。然后,从比特流提取关于当前块的运动信息[S150][参看表3中行(CC1)禾B(PI)]。否则,如果当前块对应于运动跳过模式[步骤S140中为'是,],则终止步骤S100并且然后执行步骤S200到S400。2.1参考列表获取步骤如前述描述中所提到的,基于视图相关性在步骤S200中获取第一和第二参考列表。视图相关性指的是当前视图和不同视图之间的关系,并且可以涉及到是否需要不同的视图来解码当前视图。并且,能够从包含在序列扩展字段(SPSMVC扩展)中的信息来估计视图相关性。能够基于非锚图像的视图相关性(view—dependency)来执行步骤S200。在该情况中,锚图像是仅用于执行视图间预测的图像,是指不同视图内的图像而不是指相同视图内的图像。非锚图像是不对应于锚图像的图像,并且包括能够涉及相同视图中的图像和不同视图中的图像二者的图像。非锚图像的视图相关性是当前视图的非锚图像和不同视图的非锚图像之间的关系。由于锚图像的特征在于仅执行视图间预测,所以运动跳过模式不适用于锚图像。并且,运动跳过模式仅可应用于非锚图像。因此,能够基于非锚图像的视图相关性来执行步骤S200。同时,能够将具有当前视图和非锚图像(non—anchor)之间的视图相关性的视图信息分为关于第一参考列表的视图信息和关于第二参考列表的视图信息。例如,能够将信息分为在LO方向上的参考列表的视图信息(non_anchor—reflO[j][i],j=当前视图,i=0,...,num_anchor—refJO-1)和在LI方向上的参考列表的视图信息(non—anchor—refll[j][i],』=当前视图,i=0,…,num—anchor一ref一l1國1)。并且,能够使用视图信息来得知具有关于当前视图的视图相关性的不同视图的视图标识符(view—id)。图5是用以解释视图相关性和参考列表的概念图。参考图5,存在当前视图Vc的非锚图像Pd,...,PCn。右边的虚线箭头指示当前视图Vc禾n不同丰见图Vc-i、VC-2、Vc+i或Vc+2之间的非锚图像的视图相关性。能够注意到,在前向方向上具有关于当前视图Vc的非锚图像的视图相关性的视图(non—anchor-ref—10[Vc][i],i=0,1)是视图Vd和Vc.2。并且,还能够注意到,在反向方向上具有关于当前视图Vc的非锚图像的视图相关性的视图(non_anchor-ref—ll[Vc][i],i=0,1)是视图Vc+1和Vc+2。在图5示出的情况中,第一参考视图列表RL1概念上地包括视图Vd和视图Vc.2,并且第二参考视图列表RL2概念上地包括视图Vc+i和视图Vc+2。该技术仅仅是图5中示出的情况的实施例。参考视图列表中的存储顺序不总是按照空间上接近当前视图的顺序来定义,而可以由编码器来指定。能够在第一视图列表中包含后向(backward)视图,并且能够在第二参考视图列表中包含前向视图。参考图像列表重新排序(RPLR)操作能够在基本列表配置中按条带将顺序设置为不同。包含在参考视图中的第一参考块在当前块的相同时间参考上可以是与运动间信息相关联的参考块,并且包括在当前视图中的第二参考块在当前块的相同视图参考上可以是与运动内信息相关联的参考块。因此,在已经获取了第一和第二参考视图列表之后,使用所获取的第一和第二参考视图列表来在步骤S300中判定参考视图。2.2偏移获取步骤为了在步骤S300中搜索对应块,需要当前块和参考图像的对应块之间的偏移值。能够以各种方法来得到偏移值a)零向量、b)全局运动向量、c)局部运动向量等。并且,还能够使用偏移值来以各种方法搜索对应块。如下解释其各种实施例。2.2.1偏移类型和其驱动方法(1)零向量能够将零向量设置成当前块和对应块之间的偏移。这对应于将对20应块设置成共址(colocated)块的情况。(2)全局运动向量全局运动向量或全局差异(disparity)向量是表示整体运动的差别(difference)或当前图像和参考图像之间差异的值,并且可以包括对应于条带、场、帧、序列等以及图像的偏移。如果运动跳过模式是用以在时间方向上跳过运动信息,则全局运动向量成为运动的差别或在视图方向上的差异。相反地,如果运动跳过模式是用以在视图方向上跳过运动信息,则全局运动向量成为运动的差别或在时间方向上的差异。能够以各种方法来传送全局运动向量。能够传送用于每个图像或用于每个锚图像的全局运动向量。并且,还能够传送用于整个序列的一个全局运动向量。在传送用于每个锚的全局运动向量的情况中,由于运动跳过模式仅适用于非锚图像,所以能够传送仅用于具有非锚图像的视图相关性的视图的全局运动向量。例如,如果当前视图的视图标识符是Vc,如果在方向L0上的具有非锚图像之间的视图相关性的视图是Vc.p并且如果在方向Ll上的具有非锚图像之间的视图相关性的视图是Vc+2,则能够在方向L0上传送全局运动向量global—disparity—10(其中,ViewID二Vd),并且能够在方向Ll上传送全局运动向量global—disparity—11[1](其中,ViewID[l]=Vc+2。因此,在传送用于每个锚图像的全局运动向量的情况中,能够使用相邻锚图像的全局运动向量来得到非锚图像的全局运动向量。这能够以各种方法来实现。在当前图像不是非锚图像的情况中,能够按原样产生(bring)最接近相邻锚图像的全局运动向量的一个。替代地,能够通过考虑在当前图像和相邻锚图像之间的POC(图像序号)来执行两个相邻锚图像的全局运动向量的插值来得到全局运动向量。并且,本发明能够进行更多的实施。全局运动向量的分辨率能够具有宏块、8X8块、4X4块、像素、子像素等的分辨率。通过8X8块单元来判定参考图像,并且通过4X4块单元来判定运动向量。所以,在通过8X8块水平单元得到全局运动向量的情况中,能够指定比通过宏块水平单元所得到的更详细的对应块。(3)局部运动向量局部运动向量通常具有1/4pel的分辨率不作为对应于整个图像的偏移,而作为对应于图像内的特定宏块、特定8X8块或特定4X4块的偏移。在毗邻当前块的相邻向量具有视图方向上的运动向量(或差异向量)的情况中,能够使用相邻块的运动向量来得到当前块的位置运动向量。具体地,基于相邻块是否具有当前块的相同参考图像,能够使用具有当前图像的相同参考图像的相邻块的运动向量。替代地,通过根据通过将优先权给予特定块的优选权来检査参考图像是否是相同的(例如,给予左上方块的第一优先权、给予上方块的第二优先权等),能够使用具有相同参考图像的相邻块的运动向量。2.2.2偏移优化方法在2.2.1条中得到的零或视图方向的运动向量(全局运动向量或局部运动向量)可以在视图方向上与当前块的实际运动向量不同。如果按下表来传送差别,则将预测值设置为所得到的运动向量的值,并且然后能够通过将差值添加到预测值来获取运动向量。[表5]从运动向量的预测传送差别(偏移)<table>tableseeoriginaldocumentpage22</column></row><table>应理解,差值能够是宏块(16X16)块水平、8X8块水平、4X4块水平、像素水平或子像素单元的值。因此,能够根据各种实施例来得到当前块和对应块之间的偏移。3.参考视图和对应块判定步骤使用在以上过程中获取的参考列表和偏移,能够判定参考视图和存在于参考视图中的对应块。在视图的对应块中存在运动信息的情况中,该视图成为当前块的最终参考视图,并且对应块成为最终对应块。同时,对应块可以属于在相同时间区上的图像。如果对应块属于不同时刻(timeinstance)上的图像,则能够进一步使用POC(图像序号)〈曰息。能够由编码器经由比特流来传送关于参考视图的信息,这是显式方案。能够由解码器来任意判定关于参考视图的信息,这是隐式方案。在下面的描述中将解释显式和隐式方案。此外,在互相映射当前块和对应块中,存在用于将这种水平变化为宏块水平、8X8块水平等的各种实施例。这也将在下面的描述中解释。3.1用于判定参考视图和对应块的方案(1)显式方案首先,能够显式地传送指示包含在第一和第二参考列表中的视图的哪一个将被设置为参考视图的信息,目卩,参考视图的视图标识符。另外,在设置以检査在属于每个参考列表的视图中最接近当前视图的视图是否能够被设置为参考视图的情况中,无需显式地传送参考视图的视图标识符。然而,由于能够在这种情况中存在第一和第二参考列表二者,所以按照下表中所示,能够显式地传送运动跳过参考列表标志,该标志指示将首先检査该二者的哪一个。[表6]参考视图信息传送<table>tableseeoriginaldocumentpage24</column></row><table>[表6的修改]参考视图信息传送<table>tableseeoriginaldocumentpage24</column></row><table>与[表1的修改]相同,在运动跳过允许条件适用于条带头的情况中,足以仅像上表一样证实运动跳过标志信息。[表7]运动跳过参考列表标志的含义<table>tableseeoriginaldocumentpage24</column></row><table>(2)隐式方案首先,可以不传送指示包含在第一和第二参考列表中的哪一个视图将被设置为参考视图的信息。在该情况中,能够通过检查在参考视图的每一个的对应块中是否存在运动信息来判定最终的参考视图和最终的对应块。并且,能够存在用于是否首先检査属于第一和第二参考例。另外,如果对应的参考视图中不存在运动信息,则能够存在用于如何继续以规定的顺序执行检査的各种实施例。在属于参考列表的参考视图之间的优先权中,首先,能够按指示参考视图的降低的索引的顺序来检査包括在第一或第二参考列表中的参考视图。在该情况中,指示参考视图的索引可以包括由编码器在编码比特流中设置的每个参考视图的序号。例如,在将序列扩展信息(SPS扩展)中的非锚图像的参考视图表示为non—anchor_ref—10[i]或non—anchorjef一ll[i]的情况中,'i,可以是指示参考视图的索引。编码器能够按接近当前视图的顺序来给出降低的索引,其不限制本发明的各种实现。在索引'i'从0开始的情况中,检査1=0的参考视图、检査i-l的参考视图,并且然后检查1=2的参考视图。第二,在包括在第一和第二参考列表中的参考视图中能够以接近当前视图的顺序来检查参考视图。第三,在包括在第一或第二参考列表中的参考视图中能够以接近基本视图的顺序来检查参考视图。在第一和第二参考列表之间的优先权中,能够将属于第一参考列表的参考视图设置为在属于第二参考视图列表的参考视图之前来检査。基于以上设置的假设,在下面的描述中所解释的是在第一和第二参考列表二者中存在参考视图的情况和在第一或第二参考列表中存在参考列表的情况。(2)-1在两个参考列表中均存在参考视图的情况图6是用于当前视图的参考列表的一个示例的示图,并且图7是用于判定参考视图和对应块的步骤S300的子步骤的一个示例的流程图。参考图6,能够注意到,关于当前视图Vc:和当前块MB。在方向L0上存在第一参考列表RL1并且在方向Ll上存在第二参考列表RL2。参考图6和图7,将具有指示第一参考列表RL1中的参考视图的最低索引的视图(Vc.产non—anchQr—ref—10)判定为第一参考视图RV1,并且将由当前视图Vc和第一参考视图RV1之间的偏移(GDV—IO[O])指示的块判定为第一对应块CB1[S310]。如果第一对应块CB1不是帧内块,g卩,如果存在运动信息[步骤S320中为'否,],则将第一对应块最终判定为对应块,并且然后从第一对应块获取运动信息[S332]。另一方面,在对应块CB1的块类型是帧内预测块[步骤S320中为'是']的情况中,将在第二参考列表RL2中的具有最低索引的视图(Vc+1=non_anchor—ref—ll[O])判定为第二参考视图RV2,并且将由当前视图Vc和第二参考视图RV2之间的偏移(GDV—ll[O])指示的块判定为第二对应块CB2[S334]。随后,和之前的步骤S320、S332和S334所描述的一样,如果运动信息未能存在于第二对应块CB2中,则将在第一参考列表中的具有第二最低索引的视图(VC-2=non—anchor—refj0[1])判定为第三参考视图RV3,并且将在第二参考列表中的具有第二最低索引的视图(Vc+2=non—anchor—refjl[l])判定为第四参考视图RV4。因此,顺序地检查第三和第四对应块CB3和CB4。具体地,通过考虑指示参考视图的索引,以交替第一和第二参考列表RL1和RL2的参考视图的方式来检査运动信息的存在或不存在。如果在关于当前视图的视图相关性信息中的具有最低索引的视图(例如,non—anchor_ref_10[i]、non—anchor—ref—11[i〗,i=0)是最接近当前视图Vc的视图,则用于参考视图的候选(即,第一参考视图、第二参考视图等)的选择参考可以按照最接近当前视图Vc的顺序。同时,如果具有最低索引的视图是接近基本视图的视图,则候选选择参考能够是基本视图或者最接近基本视图的顺序,其不限制本发明的各种实现。(2)-2在单个参考列表中存在参考视图的情况图8是用于当前视图的参考列表的另一个示例的示图,并且图9是用于确定参考视图和对应块的步骤S300的子步骤的另一个示例的流程图。图8和图9仅示出第一参考列表RL1。在该情况中,将在第一参考列表RL1中的具有最低索引的视图(Vc-产non—anchor—ref—10)判定为第一参考视图RV1和第一对应块CB1,将具有第二最低索引的视图(VC-2=non—anchor—refJ0[1])判定为第二参考视图RV2和第二对应块CB2,将具有第三最低索引的视图判定为第三参考视图(RV3=non—anchor—ref—10[2])(附图中未示出)和第三对应块CB3(附图中未示出)。然后检查对应块的每一个的类型是帧内块与否。因此,最终判定能够使用运动信息的参考视图和对应块。图10是用于针对当前视图的参考列表的又一个示例的示图,并且图11是用于确定参考视图和对应块的步骤S300的子步骤的又一个示例的流程图。图10和图11仅示出第二参考列表RL2。类似于图8和图9中示出的情况,按第二参考列表RL2的降低的索引的顺序来判定第一参考视图RV1和第一对应块CB1、第二参考视图RV2和第二对应块CB2、第三参考视图RV3和第三对应块CB3等。然后,以对应的顺序来检查对应块的每一个的类型是否是帧内块。换言之,如果第一参考列表RL1中不存在参考视图,则不检测方向L0上的参考视图,并且在第二参考列表RL2的参考视图中以从具有降低的索引的顺序来检査对应块的块类型。通过以上的过程,在步骤S300中判定参考视图和对应块以获取运动信息。3.2根据每个映射水平的对应块为了搜索参考视图中的对应块,能够使用对应于宏块(16X16块)、8X8块、4X4块、像素或子像素等的局部运动向量以及全局运动向量。同时,全局或局部运动向量单元能够是宏块(16X16块)、8X8块、4X4块、像素、子像素等单元。在使用全局或局部运动向量来映射当前块和对应块中,能够提供各种水平。图12是用以解释映射水平是宏块水平或8X8块水平的情况的示图,并且图13是用以解释映射水平是8X8块水平或子像素水平的情况的示图。下面解释了在每个情况中判定对应块的方法。(1)宏块水平参考图12的(A),标记了对其应用具有全局或局部运动向量的块LB的左上方端点。能够将最接近具有对其应用全局或局部运动向量的块LB的宏块CB0判定为对应块。具体地,能够照原样将关于诸如块类型信息、参考图像索引、运动向量等的对应块的所有运动信息作为关于当前块的运动信息。然而,在对应块是诸如P跳过(P一skip)和B跳过(B—skip)的跳过块的情况中,能够重新设置为帧间8X8模式。(2)8X8块水平参考图12的(B),示出了最接近具有对其应用全局或局部运动向量的块LB的8X8块CB0,和邻近该块的8X8块CB,、CB2禾卩CB3。使用四个8X8块作为对应块,能够使用块的运动信息来解码当前块。如果四个块的每一个都具有作为帧间块的运动信息,则将当前块的类型判定为'帧间8X8'。如果当前块是宏块(16X16),则将其分为四个8X8块(MBco、MBd、MBc2、MBc3)(附图中未示出)。然后使用关于对应于8X8块的每一个的对应块的运动信息。例如,在当前块是MBC2的情况中,使用关于对应块CB2的信息。另一方面,在四个对应块中存在帧内块的情况中,能够使用对应于不同帧间块的运动信息。(3)4X4块水平28参考图13的(A),示出了最接近具有对其应用全局或局部运动向量的块LB的4X4块CBo、包括4X4块CBo的8X8块和邻近该8X8块的8X8块CB^CB2和CB3。能够存在各种实施例作为使用关于这些块的运动信息的方法。并且,能够照原样使用关于最接近块LB的块CBoo的运动向量和参考图像索引。替代地,使用关于包括4X4块CB(k)的8X8块的参考图像的索引信息来得到参考图像索引,并且通过取得4X4块CB加和参考块CB1()、CB2o禾BCB30的中值或平均值来得到运动向量。替代地,能够将关于4X4块CBoQ、CB1Q、CB2o和CB3Q的运动信息映射到当前块的8X8块的每一个。替代地,将三个4X4块CBoo、CB,。和CB2Q的参考图像的索引的最小值判定为当前块的参考图像索引,并且然后使用三个4X4块的运动向量来得到当前块的运动向量。如果关于三个4X4块的运动信息是不可用的,则能够使用右下端的关于4X4块CB3o的运动信息。并且,能够将宏块的类型设置为'inter—8X8模式,。(4)像素/子像素水平参考图13的(B),示出了最接近具有对其应用全局或局部向量的4X4块和其相邻块CB00、CB01、CBo2禾BCBo3。由于参考图像索引和最接近的4X4块的运动向量是或者能够从四个4X4块的参考图像索引和运动向量得到,所以最接近的4X4块的参考图像索引和运动向量是可用的。在得到运动向量中,可用中值或平均的方法。并且,能够将宏块的类型设置为'inter—8X8模式'。在以上解释的四种情况的水平中,每水平映射方法的每一个是独立可用的,或者其任何组合是可能的。同时,在初始映射位置位于诸如角、边缘、块中心等的特殊点的情况中,需要例外的处理。并且,能够任意地指派这种顺序,如左侧、右侧、上侧、下侧、左上侧、右上侧、左下侧、右下侧等。此外,需要对帧内块执行处理或对参考索引未能存在于相同的视图上的异常执行处理。4.使用关于对应块的运动信息来解码当前块的步骤在步骤S300中已经判定参考视图和对应快以获取运动信息之后,在步骤S400中使用关于对应块的运动信息来得到关于当前块的运动信息。如'3.2根据每个映射水平的对应块'的前述描述中所提到的,在存在16X16水平、8X8水平等的各种对应块的情况中,能够存在各种实施例。同时,能够存在得到残差信息等以及关于对应块的运动信息的方法。为了提高运动信息的准确性,能够存在传送通过运动跳过方案得到的运动向量值和实际值之间的差别的方法。下面解释这些方法。4.1残差得到方法首先,对应块的残差可用作当前块的残差以及关于对应块的运动信息。具体地,使用根据运动跳过模式的过程获取的参考图像索引和运动向量来获取当前块的预测值。然后,通过将对应块的残差添加到所获取的预测值来重建当前块。4.2运动向量优化方法根据运动跳过模式的过程来获取的运动向量可以具有与当前块的实际运动向量的差别。如果经由比特流传送差值,则在解码过程中,能够通过将差值添加到根据运动跳过模式得到的运动向量来获取更准确的运动向量。通过使用所获取的运动向量来执行运动补偿,能够提高当前块的重建速率。4.3残差跳过方法在关于当前块的运动信息和关于对应块的运动信息之间的相似度非常高,并且如果在完成当前块的运动补偿之后的重建速率非常高的情况下,当前块的残差几乎是0。在该情况下,能够通过根本不传送残差值来降低残差编码所需的比特速率。在比特流中不包括残差的情况下,能够在比特流中包括指示是否传送残差数据的标志信息(例如,30residual_coding—flag)。具体地,如果标志信息是0,则不执行残差解码并且不提取残差数据。如果标志信息是l,则提取残差数据,并且然后将所提取的残差数据添加到当前块的预测值。另外,能够在程序记录介质中将本发明的编码/解码方法实现为计算机可读代码。计算机可读介质包括其中存储了可由计算机系统读取的数据的所有类型的记录设备。计算机可读介质包括,例如,ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等,并且还包括载波类型的实现(例如,经由因特网传输)。并且,将由编码方法产生的比特流存储在计算机可读记录介质中,或者能够经由有线/无线通信网络来传送。工业实用性因此,本发明可用于编码/解码视频信号。尽管这里已经参考本发明的优选实施例描述和图示了本发明,但是对于本领域技术人员来说显而易见的是,在不脱离本发明的精神和范围的情况下,能够在本发明实施例中做出各种修改和改变。因此,希望本发明涵盖所附权利要求和其等价物的范围内的本发明的修改和改变。3权利要求1.一种处理视频信号的方法,包括获取包括在参考列表中的第一参考视图的第一对应块的块类型;如果所述第一对应块的所述块类型是帧内块,则获取包括在所述参考列表中的第二参考视图内的第二对应块的块类型和运动信息;以及如果所述第二对应块的所述块类型不是所述帧内块,则使用所述第二对应块的所述运动信息来解码当前块。2.根据权利要求1所述的方法,其中,所述参考列表包括第一参考列表和第二参考列表。3.根据权利要求2所述的方法,其中,所述第一参考列表包括前向参考视图,并且所述第二参考列表包括后向参考视图。4.根据权利要求l所述的方法,其中,基于当前视图的视图相关性来获取所述参考列表。5.根据权利要求l所述的方法,其中,所述第一参考视图对应于包括在所述参考列表中的多个参考视图中的具有指示包括在所述视频信号的比特流中的顺序的最低索引的参考视图。6.根据权利要求l所述的方法,其中,所述第一参考视图对应于包括在所述参考列表中的多个参考视图中最接近当前视图的参考视图。7.根据权利要求l所述的方法,其中,基于所述第一参考视图的全局运动向量来获取所述第一对应块。8.根据权利要求1所述的方法,其中,所述第一对应块属于所述参考列表的第一参考列表内的参考视图,并且所述第二对应块属于所述参考列表的第二参考列表内的参考视图。9.根据权利要求l所述的方法,其中,基于用于所述第二参考视图的全局运动向量来获取所述第二对应块。10.根据权利要求1所述的方法,其中,所述运动信息包括运动向量和参考图像索引。11.根据权利要求io所述的方法,所述解码进一步包括获取视图内方向上的参考图像。12.根据权利要求1所述的方法,其中,从广播信号接收所述视频信号。13.根据权利要求1所述的方法,其中,在数字介质上接收所述视频信号。14.一种计算机可读记录介质,包括用于执行根据权利要求1所述的方法的程序。15.—种用于处理视频信号的装置,包括运动信息获取单元,所述运动信息获取单元获取包括在参考列表中的第一参考视图内的第一对应块的块类型,所述运动信息获取单元,如果所述第一对应块的所述块类型是帧内块,则所述运动信息获取单元获取包括在所述参考列表中的第二参考视图内的第二对应块的块类型和运动信息;以及解码单元,如果所述第二对应块的所述块类型不是所述帧内块,则所述解码单元使用所述第二对应块的所述运动信息来解码当前块。16.—种处理视频信号的方法,包括重新排序第一参考列表和第二参考列表的至少一个;使用从比特流提取的第一运动信息或在参考视图上的对应块的第二运动信息来判定运动向量;使用从所述比特流提取的运动间信息和从所述参考视图上的所述对应块提取的运动内信息的至少一个运动信息来判定运动向量;使用所述运动向量获取参考块;以及使用所述参考块来解码当前图像的当前块。17.根据权利要求16所述的方法,其中,如果所述当前图像是锚图像,则所述运动向量仅使用所述运动间信息。18.根据权利要求17所述的方法,其中,所述参考块与所述运动间信息相关联,并且所述参考块在所述当前块的相同时间上存在于与所述当前块的视图不同的视图中。19.一种用于处理视频信号的装置,包括运动信息获取单元,所述运动信息获取单元重新排序第一参考列表和第二参考列表的至少一个,所述运动信息获取单元使用从比特流提取的第一运动信息或在参考视图上的对应块的第二运动信息来判定运动向量,所述运动信息获取单元使用从所述比特流提取的运动间信息和从所述参考视图上的所述对应块提取的运动内信息的至少一个运动信息来判定运动向量;以及解码单元,所述解码单元使用所述运动向量来获取参考块,所述解码单元使用所述参考块来解码当前图像的当前块。全文摘要公开了一种用于处理视频信号的装置及其方法,通过该装置和方法,能够解码从其中消除了视图间图像的冗余的视频信号。本发明包括获取包括在参考列表中的第一参考视图内的第一对应块的块类型,如果所述第一对应块的块类型是帧内块,则获取包括在参考列表中的第二参考视图内的第二对应块的块类型和运动信息,以及如果所述第一对应块的块类型不是帧内块,则使用所述第二对应块的运动信息来解码当前块。文档编号H04N7/24GK101647279SQ200880008776公开日2010年2月10日申请日期2008年1月24日优先权日2007年1月24日发明者梁正休申请人:Lg电子株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1