专利名称：用于视讯译码及消除交错的方法及相关装置的制作方法
技术领域：
本发明涉及一种用于视讯译码以及消除交错的方法以及相关装置，特别是涉及一种使用一共享储存装置进行视讯译码以及消除交错运算的方法以及相关装置。
背景技术：
MPEG2标准可以用来对视讯信号(video signal)进行数字压缩编码(digital encoding)。一般而言，MPEG2标准进行编码的视讯信号可以是交错(interlaced)或是循序(progressive)的视讯信号。
「交错」这个用词是用来表示影像数据是使用多个(例如两个)交错的影像场(video field)来表示。一交错视讯帧(interlaced video frame)中的一个场通常对应于帧中单数行的像素(pixel)，另一个场则对应于帧中偶数行的像素。而在显示时，一个场所包含的各行先会被扫瞄(或是输出)至一显示装置，然后再轮到另一个场所包含的各行被扫瞄(或是输出)至该显示装置。如此一来，当影像被交错式显示时，影像数据的单数行和偶数行会基于轮流的方式被依序更新。
至于循序扫描，影像数据则会被连续式逐行地显示(例如，从一影像的左上角开始输出，至到达右下角为止)。因此，在循序显示之中，一影像的各行会以循序的方式，依序被显示出来(而不会有单数行或偶数行被漏掉未显示的情形)。
在一循序视讯显示序列(progressive video display series)当中，影像与影像间水平显示行的定位(positioning)是具有一贯性的。因此，每一个新显示出来的循序影像通常都会完全覆盖掉前次显式的循序影像(假设各影像具有相同的大小)。至于交错视讯显示(interlaced video display)中，每一个帧则包含有两个场，分别对应到一显示装置的不同位置(例如单数行以及偶数行)。因此，对于交错视讯显示而言，每一个场在被显示出来时只会覆盖掉显示影像的部分区域而已。
由于交错视讯源的各场通常都会对应到位于不同时间点拍摄的影像，因此若仅是简单的组合交错帧中的两个场，则在影像有移动的情形下，很容易造成影像模糊(blurring)、梳状(combing)或是影像失真(distorting)的情形。因此，在将交错影像转换成循序影像的过程中，通常都会使用某些形式的移动感测(motion detection)，且依据移动感测的结果，使用特定的处理方式来进行交错转循序的影像转换运算。
现今的视讯信号通常都以交错视讯的格式显示出来。但是，越来越多的显示装置，包含有计算机监视器以及投影机，都是用来显示循序影像。因此，有效率地进行交错影像和循序影像格式转换的能力变得越来越重要。尤其是当交错影像要被显示在一循序显示装置上时，首先必须执行的工作就是将交错影像数据转换成循序影像数据。
在用来转换影像格式的各种视讯处理应用(video processingapplications)中，通常都必须要使用具有高速度的内存。如此一来才有办法实现实时的(或是接近实时的)视讯数据处理。虽然内存的价格在近几年已经大幅的下跌，但是在各种影像及视讯处理系统中，内存依旧占据了一大部分的成本。这是由于在视讯应用上通常都必须使用相对较大量的内存。不管在任何的应用领域中，成本都是很重要的考虑，因此最好是可以在一影像处理系统或装置中尽量减少所需的内存数量，将硬件成本压低。
请参阅图1，图1为已知技术一视讯显示系统100的功能方块图。视讯显示系统100包含有一MPEG2译码器110，可自一视讯来源(未显示于图中)接收MPEG2编码的视讯数据流(video data bitstreams)，对视讯数据进行译码，产生已译码视讯数据(decoded video data)。为了要使解码器110所执行的解码工作能够有效率的进行，视讯显示系统100还包含有一第一存储器，耦合于解码器110，以进行视讯帧缓冲(video frame buffering)的工作。视讯显示系统100还包含有一交错显示单元125，耦合于第一存储器120。交错显示单元125可处理储存於第一存储器120中的已解码影像数据，以显示于一交错显示装置中(未显示于图上)。视讯显示系统100還包含有一交错/循序转换器130，耦合於交错显示单元125，用来消除自交错显示单元125传来的交错影像数据中的交错情形，以产生相对应的循序视讯数据，並且将转换过的视讯数据输出至一循序显示装置中(未显示于图上)。为了能在转换器130中执行消除交错的功能，视讯显示系统100还包含一第二存储器140，耦合於转换器130，用来进行视讯帧缓冲的工作。
为了使已知技术的译码器110可对不同形式的视讯帧(例如I画面帧、P画面帧以及B画面帧。而I画面帧及P画面帧则可合称为参考画面帧)进行译码的工作，第一内存120通常包含有用来缓冲存放(buffering)至少三张视讯帧(包含有六个场)的存储空间。而为了使交错/循序转换器130可以执行移动感测的运算，并依据感测结果选择使用场内(intra-field)或是场间(inter-field)内差(interpolation)的方式，第二内存140中需要包含有用来缓冲两张视讯帧(包含有四个场)的存储空间。因此整体来说，为了要使已知技术的视讯显示系统100可正常执行其工作，整体系统需要具有可储存至少五张视讯帧的存储空间。
受限于第二内存140有限的存储空间，已知技术的交错/循序转换器130通常只能在使用不超过四个视讯场信息的情形下，执行移动适应性消除交错运算(即motion-adaptive de-interlacing)。亦即，对于每一个正被显示的帧而言，系统只可以基于至多四个视讯场的视讯信息决定使用场内或是场间内差的方式进行处理。对于已知技术的视讯显示系统100而言，并无法藉由更多的场信息来执行移动适应消除交错的运算，而得到更精准预测出来的显示结果。
如图1所示，已知技术的视讯显示系统100的操作牵涉到第一内存120与译码器110间的数据交换(data exchange)，第一内存120与交错显示单元125间的数据交换，以及第二内存140与交错/循序转换器130间的数据交换。因此，已知技术的视讯显示系统100有相当大的整体内存频宽需求。而这通常不是系统设计者所乐见的情形。
发明内容
因此本发明的目的之一，在于提供一种用于视讯译码与消除交错的方法以及装置，使用了包含有四个帧缓冲器的共享储存装置，以解决已知技术所面临的问题。
根据本发明披露的一种用于一视讯译码/消除交错显示装置中的视讯译码方法，该方法使用了一包含有四个帧缓冲器的储存装置，该方法包含有(a)对一次一画面的视讯数据进行译码；(b)若解码出的该次一画面为一B画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放目前译码使用的参考画面也并未存放一目前显示画面也并未存放一前次显示画面的帧缓冲器内；以及(c)若步骤(b)无法被执行，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个存放了该前次显示画面的帧缓冲器内。
根据本发明披露的另一种用于一视讯译码/消除交错显示装置中的视讯译码方法，该方法使用了一包含有四个帧缓冲器的储存装置，该方法包含有(a)对一次一画面的视讯数据进行译码；以及(b)若解码出的该次一画面为一参考画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放之前一个解码出的参考画面也并未存放一目前显示画面的帧缓冲器内。
根据本发明披露的一种用于视讯解码以及消除交错的装置，包含有一视讯解码器，用来解码视讯数据以产生一次一画面的已解码视讯数据；一储存装置，耦合於该视讯解码器，该储存装置包含有四个帧缓冲器，用来依据储存于该四个帧缓冲器内的数据，将该次一画面已解码出的视讯数据缓冲存入该四个帧缓冲器的其中一个之内；一交错/循序转换器，耦合於该储存装置，用来对储存于该四个帧缓冲器内的数据进行消除交错，以产生相对应的循序视讯数据；以及一控制器，耦合於该视讯解码器以及该交错/循序转换器，用来控制该视讯解码器及该交错/循序转换器对储存于该储存装置中该四个帧缓冲器内的数据的存取操作。
本发明的方法以及装置的优点在于，视讯译码器以及交错/循序转换器仅共享了一个包含有四个帧缓冲器的储存装置。藉由使用本发明的方法，本发明的视讯译码及消除交错装置可以在比已知技术的视讯译码及消除交错装置更低的硬件需求的情形下，执行进阶的消除交错运算，例如移动适应消除交错运算或是三二下拉恢复运算等等。
图1为已知技术一视讯显示系统的功能方块图。
图2为本发明用来进行视讯解码消除交错运算的装置的功能方块图。
图3为本发明装置的运作方法的流程图。
图4为说明本发明缓冲存放策略的表格。
图5为说明本发明缓冲存放策略的表格。
附图符号说明100 视讯显示系统110、210 译码器120 第一内存125 交错显示单元130、230 交错/循序转换器140 第二内存200 视讯解码消除交错装置220 储存装置222 帧缓冲器240 控制器具体实施方式
请参阅图2。图2为本发明用来进行视讯解码消除交错运算的装置200的功能方块图。装置200包含有一视讯解码器210，一储存装置220，一交错/循序转换器230，以及一控制器240。视讯解码器210用来对视讯数据进行译码以产生次一画面(next picture)的已解码视讯数据(decoded videodata)。储存装置220耦合于视讯译码器210，于储存装置220中包含有四个帧缓冲器222，用来依据储存于各个帧缓冲器222中的数据，将次一画面的已译码视讯数据缓冲存入四个帧缓冲器222其中之一。交错/循序转换器230耦合於储存装置220，用来对储存於帧缓冲器222中的数据进行消除交错的运算，以产生相对应的循序视讯数据。控制器240耦合於视讯解码器210以及交错/循序转换器230，用来控制视讯解码器210与交错/循序转换器230对储存装置220中的帧缓冲器222的数据存取(data access)的操作。
通常由转换器230所产生的循序视讯数据会被直接送至一循序显示装置(未显示于图上)以进行显示。然而，於本发明的其他实施架构中，循序视讯数据亦可以被传送至其他的储存装置，以储存于其中。而所储存的数据之后可以再被一循序显示装置读取并进行显示。
请参阅图3。图3为本发明装置200的运作方法的流程图。本发明的方法包含有以下步骤
步骤300开始。
步骤310使用视讯译码器210对自一视讯来源输入的次一画面的视讯数据进行译码。
步骤320使用控制器240判断步骤310译码出的次一画面是一B画面还是一参考画面(亦即一I画面或一P画面)。若次一画面是一B画面，则进入步骤330。若次一画面是一参考画面，则进入步骤350。
步骤330将次一画面的已译码视讯数据缓冲存入储存装置220中一个并未存放目前译码使用的参考画面也并未存放目前显示画面也并未存放前次显示画面的帧缓冲器222内。
步骤340若步骤330无法被执行，则将次一画面的已译码视讯数据缓冲存入储存装置220中一个存放了前次显示画面的帧缓冲器222内。
步骤350将次一画面的已译码视讯数据缓冲存入储存装置220中一个并未存放前一个已解码参考画面也并未存放目前显示画面的帧缓冲器222内。
步骤360结束。
请注意，如本领域的技术容易所熟知的，本发明方法所指的一个画面(不论是B画面、I画面、或是P画面)除了可以是一个视讯帧数据(video framedata)，亦可以是包含有一帧数据中一半信息的视讯场数据(video fielddata)(可以是帧数据的上场或是下场)。当译码出的次一画面是一个视讯场时(该视讯场为一个视讯帧的其中一个场，且该视讯帧的另一个场尚未被译码出来)，则图3所示本发明的方法可被直接执行；至于当解码出的次一画面是一个视讯场时(该视讯场为一个视讯帧的其中一个场，且该视讯帧的另一个场已经被译码出来)，则译码出的次一画面可以被缓冲存入原先用来储存该视讯帧中另一个场的帧缓冲器内。
藉由采用图3所示本发明所提出的方法，本发明用来进行视讯译码及消除交错的装置200即可在仅使用一个共享的储存装置(具有四个帧缓冲器)的情形下，执行MPEG格式的视讯译码以及交错/循序转换的运算，而不需像已知技术一样，使用两个分别为译码器或转换器所设置独立的储存装置进行工作。
请参阅图4以及图5，这两个图显示了两个缓冲存放策略的表格，依据本发明缓冲存放译码出的视讯帧。
图4列出了当解码出的次一画面是一个参考画面(亦即一I画面或是一P画面)时，储存装置220中的各个帧缓冲器222所有可能的缓冲存放情形。当考虑次一画面以及之前三个最后被译码出来的画面时，在图4中列出了八种不同译码顺序的可能性，分别是RRRR、RRBR、RBRR、RBBR、BRRR、BRBR、BBRR、以及BBBR。请注意，在图4中，R代表一个参考画面，而B则代表一个B画面，至于R或是B后方所跟随的数字则是表示该画面被译码的顺序。也请注意，B......B1则表示直接在B1之前可能有多个连续的B画面被译码出来。
以R1R2R3R4的情形为例，在这样的译码顺序中，前三个最后被译码出来的画面以及次一画面分别是R1、R2、R3、以及R4。因此目前显示画面R2、前次显示画面R1，以及前一个参考画面R3会被存放在储存装置220中的四个帧缓冲器222其中三个之内。因此当次一画面R4被视讯译码器210译码出来时，依据本发明于图3所示的方法(步骤350)，次一画面R4可以被缓冲存入储存装置220中剩余的那个帧缓冲器222内，如图4所示。
接下来则以B1R2B3R4的情形为例。与上述的例子相似，在这样的译码顺序中，前三个最后被译码出来的画面以及次一画面分别是B1、R2、B3、以及R4。另外，请注意，在图4所示的译码顺序中，B1之前还出现过一个参考画面R0。因此，目前显示画面B3，前次显示画面R0，以及前一个参考画面R2会被存放在储存装置220中的四个帧缓冲器222其中三个之内。因此当次一画面R4被视讯译码器210译码出来时，依据本发明于图3所示的方法(步骤350)，次一画面R4可以被缓冲存入储存装置220中剩余的那个帧缓冲器222内，如图4所示。
至于图4中其它的例子，本领域的技术人员则可藉由图3所示本发明的方法类似上述两个例子所做的说明进行分析，当解码出的次一画面为一参考画面时，储存装置220中总是有一个帧缓冲器222(即剩余的那个框缓冲器)可用来缓冲存放次一画面。
不同于图4，图5则列出了当解码的次一画面是一个B画面时，储存装置220中的各个帧缓冲器222所有可能的缓冲存放情形。当考虑次一画面以及之前三个最后被译码出来的画面时，在图5中列出了八种不同译码顺序的可能性，分别是RRRB、RRBB、RBRB、RBBB、BRRB、BRBB、BBRB、以及BBBB。相似于对图4所做的描述，在图5中，R代表一个参考画面，而B则代表一个B画面，至于R或是B后方所跟随的数字则是表示该画面被译码的顺序，B......B1则表示直接在B1之前可能已经有多个连续的B画面被译码出来。
以R1R2R3B4的情形为例，在这样的译码顺序中，前三个最后被译码出来的画面以及次一画面分别是R1、R2、R3、以及B4。因此目前显示画面R2、前次显示画面R1，以及前两个参考画面R3、R2会被存放在储存装置220中的四个帧缓冲器222的其中三个之内(请注意此处R2被重复的分类为目前显示画面以及前两个参考画面之一)。因此当次一画面B4被视讯译码器210译码出来时，依据本发明于图3所示的方法(步骤330)，次一画面B4会被缓冲存入储存装置220中剩余的那个帧缓冲器222内，如图5所示。
接下来则以B1B2B3B4的情形为例。与上述的例子相似，在这样的译码顺序中，前三个最后被译码出来的画面以及次一画面分别是B1、B2、B3、以及B4。另外，请注意，在图5所示的译码顺序中，B1之前还出现过两个参考画面R-1以及R0。因此，目前显示画面B3，前次显示画面B2，以及前两个参考画面R-1以及R0会被存放在储存装置220中的四个帧缓冲器222之内。因此当次一画面B4被视讯译码器210译码出来时，依据本发明于图3所示的方法(步骤340)，次一画面B4可以被缓冲存入储存装置220中原先用来存放前次显示画面(即B2)的那个帧缓冲器222内，如图5所示。
至于图5中其它的例子，已知技术者则可藉由图3所示本发明的方法类似上述两个例子所做的说明进行分析，当解码出的次一画面为一B画面时，储存装置220中总是有一个帧缓冲器222(即剩余的那个框缓冲器或是原先用来存放B2的那个框缓冲器)可以被用来缓冲存放次一画面。
在图4以及图5所示的所有例子中，有两种情形，分别是RBBB以及BBBB，解码出的次一画面会被缓冲存入原先用来存放前次显示画面的帧缓冲器中。而为了要在任一时间点皆保存关于目前显示画面以及前次显示画面的信息(特别是在上述两种情形下)，本发明的装置200可以将译码出的次一画面跟随在目前存放于同一帧缓冲器中的视讯数据进行播放工作之后，缓冲存放入该帧缓冲器之内。亦即，存放于该帧缓冲器内的视讯数据会先被显示出来，然后该帧缓冲器的空间即可被用来存放解码出次一画面的数据。换句话说，对译码出次一画面进行缓冲存放的操作会在对目前存放的视讯数据进行显示的操作之后。
在图4以及图5所示本发明视讯译码方法的其它实施例中，对图4所列出的例子而言(解码出的次一画面为一参考画面)，除了可以将次一译码画面缓冲存放入剩余的帧缓冲器222内之外，亦可以将次一解码画面缓冲存放入原先用来存放前次显示画面的帧缓冲器222内。而为了要实现上述的实施方式，则必须使用到一个具有高速度译码器210的装置200或是一个可以将解码出的次一画面跟随在同一帧缓冲器中的视讯数据被播放使用之后，缓冲存放入该帧缓冲器之内的装置200，如前段所述。
藉由使用上述本发明的方法，本发明的装置200可以执行使用了三个到至多八个场(存放于储存装置220中的帧缓冲器222内)的移动适应消除交错运算(因为储存装置220具有四个帧缓冲器222，可以存放连续的视讯帧所包含的八个场)。
本发明的装置200亦可以对电传电影(telecine)来源的视讯数据进行复原的运算(recovery operations)，因为在任一个时间点，关于目前显示画面以及前次显示画面的信息都会被保留在储存装置220中的帧缓冲器222内。在从三二下拉(3-2pull-down)运算所转换出的电传电影视讯数据中，会在每五个视讯帧中发生两个场合成的现象(field combiningphenomenon)。场合成现象是视讯帧分别由两个不同的电影帧抽取(extract)出的两个视讯场合成。藉由使用一目前显示画面以及一前次显示画面的信息，接收自一电传电影来源的视讯数据即可被本发明的装置200检测(detect)、复原、以及显示出来。
相较于已知技术，本发明所提出的方法以及装置使用了具有四个帧缓冲器，且由视讯译码器以及交错/循序转换器所共享的储存装置。藉由使用本发明的方法，本发明的译码与消除交错装置可以在使用比已知技术更低硬件的需求下，便实现进阶的消除交错运算，例如移动适应消除交错运算或是三二下拉复原运算。
以上所述仅为本发明的较佳实施例，凡依本发明的权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1.一种用于一视讯译码/消除交错显示装置中的视讯译码方法，该方法使用了一包含有四个帧缓冲器的储存装置，该方法包含有(a)对一次一画面的视讯数据进行译码；(b)若解码出的该次一画面为一B画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放目前译码使用的参考画面也并未存放一目前显示画面也并未存放一前次显示画面的帧缓冲器内；以及(c)若步骤(b)无法执行，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个存放了该前次显示画面的帧缓冲器内。
2.如权利要求1所述的方法，其中该方法还包含有(d)若解码出的该次一画面为一参考画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放前一个解码出的参考画面也并未存放该目前显示画面的帧缓冲器内。
3.如权利要求2所述的方法，其中该参考画面为一I画面。
4.如权利要求2所述的方法，其中该参考画面为一P画面。
5.一种用于一视讯译码/消除交错显示装置中的视讯译码方法，该方法使用了一包含有四个帧缓冲器的储存装置，该方法包含有(a)对一次一画面的视讯数据进行译码；以及(b)若解码出的该次一画面为一参考画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放前一个解码出的参考画面也并未存放一目前显示画面的帧缓冲器内。
6.如权利要求5所述的方法，其中该参考画面为一I画面。
7.如权利要求5所述的方法，其中该参考画面为一P画面。
8.如权利要求5所述的方法，其中该方法还包含有(c)若解码出的该次一画面为一B画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放目前译码使用的参考画面也并未存放该目前显示画面也并未存放该前次显示画面的帧缓冲器内。
9.如权利要求8所述的方法，其中该方法还包含有(d)若步骤(c)无法执行，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个存放了该前次显示画面的帧缓冲器内。
10.一种用于视讯解码以及消除交错的装置，包含有一视讯解码器，用来对视讯数据进行译码，以产生一次一画面的已解码视讯数据；一储存装置，耦合於该视讯解码器，该储存装置包含有四个帧缓冲器，用来依据储存于该四个帧缓冲器内的数据，将该次一画面已解码出的视讯数据缓冲存入该四个帧缓冲器的其中一个之内；一交错/循序转换器，耦合於该储存装置，用来对储存于该四个帧缓冲器内的数据进行消除交错运算，以产生相对应的循序视讯数据；以及一控制器，耦合於该视讯解码器以及该交错/循序转换器，用来控制该视讯解码器及该交错/循序转换器对该储存装置中该四个帧缓冲器的数据存取操作。
11.如权利要求10所述的装置，其中该控制器依据以下原则控制该视讯解码器的数据存取操作(a)若解码出的该次一画面为一B画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放前两个参考画面也并未存放一目前显示画面也并未存放一前次显示画面的帧缓冲器内；以及(b)若步骤(a)无法执行，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个存放了该前次显示画面的帧缓冲器内。
12.如权利要求10所述的装置，其中该控制器依据以下原则控制该视讯解码器的数据存取操作若解码出的该次一画面为一参考画面，则将该次一画面已译码出的视讯数据缓冲存入该储存装置中一个并未存放前一个解码出的参考画面也并未存放一目前显示画面的帧缓冲器内。
13.如权利要求10所述的装置，其中该交错/循序转换器可执行移动适应消除交错的运算。
14.如权利要求13所述的装置，其中该交错/循序转换器可利用储存于该储存装置中该四个帧缓冲器内三至八个场的视讯数据进行移动适应消除交错的运算。
15.如权利要求10所述的装置，其中该装置可对一电传电影来源的视讯数据进行复原的运算。
全文摘要
一种装置，用来进行视讯译码及消除交错的运算，包含有一视讯译码器，用来译码压缩视讯数据以产生次一视讯画面；一储存装置，包含有四个帧缓冲器，耦合于该视讯译码器，用来依据其中的数据将次一译码视讯画面数据缓冲存入其中一个帧缓冲器内；一交错/循序转换器，耦合于该储存装置，用来对储存于该四个帧缓冲器中的数据进行消除交错以产生相对应的循序视讯数据；以及一控制器，耦合于该视讯译码器以及该交错/循序转换器，用来控制该视讯译码器及该交错/循序转换器对储存装置中的帧缓冲器内的数据的存取操作。
文档编号H04B1/66GK1604651SQ20041008526
公开日2005年4月6日 申请日期2004年10月8日 优先权日2003年10月5日
发明者连锜晋 申请人:联发科技股份有限公司