高分辨率视频信号的抽取的制作方法

专利名称：高分辨率视频信号的抽取的制作方法
技术领域：
本发明涉及数字视频信号的二次抽样或抽取。
高分辨率电视(HDTV信号通常与当前广播标准诸如NTSC不兼容。适合用于HDTV兼容信号的优选信号编码标准是在美国使用的由Grand A11iance采用的MPEG-2(Motion Picture Experts Group(运动图像专家组)，“Information Technology-Coding of Moving Picture and AssociatedAudio Information:Video，(信息技术-运动图像编码和相关音频信息视频)”ISO/IEC 13818-2,1996年5月15日)。该公知的标准为编码和压缩视频、音频和辅助数据提供了格式化指导。
采用MPEG-2格式化的电视信号要求电视广播发送和接收系统均要重新设计。设计者引入了减少广播数据量的压缩系统。HDTV接收机解码和解压缩接收的编码HDTV数据，并且重构用于显示的全分辨率信号。由于采用了编码/解码和重构技术的先进组合，信号的损耗最小，并且在人眼感观受限的地方，例如对角线运动的精细细节方面，通常发生预期的损耗。
尽管已经在HDTV的发送和接收各方面进行了更多的研究和开发，然而，由于以最低成本生产具有最好特性的消费品的竞争，设计者精力集中在HDTV接收机。第一批消费者使用的HDTV接收机所包含的性能可能比当前标准分辨率电视接收机包括的性能要少，但是提供了诸如16∶9显示之类的性能。现在生产者正设计这样的消费者电视机，不仅包括当前在标准分辨率接收机中有的特性，诸如PIP，而且包括支持其它应用的性能，诸如交互式电视机和互联网访问。生产者挑战设计包括HDTV接收机新服务和当前TV接收机中具有的、或仅通过机顶盒或某些其它接口才具有的特性的系统体系。
HDTV接收机将能够显示图形，例如电子数据表节目(spread sheetprogram)，以及传统的节目。例如如果观看者正在使用HDTV接收机访问互联网上的信息，也可能发生显示图形。在正显示图形的时候，观看者可能希望监视传统高分辨率(HD)节目或另一HD视频信号。这是公知的图中画或PIG。或观看者可能希望使用画中画(PIP)或画上画(POP)性能观看两个节目，至少一个是HD。按照MPEG2标准发送的HDTV信号由于视频信号被格式化成块和宏块而不是行，出现了要解决的不同类的设计问题。
通过PIP、POP或PIG在大的图像中出现一个辅助的、小的图像，小图像需要被滤波和二次采样，以达到用于显示的需要的尺寸。这在水平方向上容易做到。然而，视频信号的垂直抽取对设计者处理隔行扫描视频信号时一直是一个挑战，因为新行的相位必须计算，所以隔行扫描信号的垂直抽取产生了很明显的人工痕迹。为了得到正确的相位，必须使用前场或后场，需要在存储器中存储需要的场。这增加了存储和带宽需求。为了减少混叠，信号必须被带限滤波，但是并不是所有行都可滤波，因此产生的频谱不正确。
这些传统的问题由MPEG2格式的像素块和宏块的复杂性组合一起。传统的行存储器不足以容纳不是逐行顺序的输入数据流。所知的HDTV接收机在将高分辨率信号转换成要显示的PIP、POP或PIG之前，将数据重新格式化成光栅扫描格式。
按照本发明的原理，通过抽取像素块数据，提供用于显示的减少分辨率的图像，以便被抽取的像素数据从其各个未抽取像素块单独得到。
附图简述

图1是包括本发明的HDTV接收机的方框图；图2是图1的单元30的方框图；图3到6是基于场和帧的图像的垂直抽取的示例；图7是图1的单元30的另一方框图示例；图8是本发明的数据处理方法的流程图示例。
图1示出了按照本发明的包括MPEG2兼容解码器10和单元30的HDTV接收机的一部分。所接收的HDTV信号在广播之前以与解码器10执行的解压缩和解码实质上相反的方式被压缩。示出的解码器10的结构是公知的。
从调谐器和解调器(未示出)接收压缩数据，并且输入到缓冲器12。缓冲器12监视被压缩输入数据流的数据率，并且提供给可变长度解码器(VLD)14。VLD 14解码可变长度编码数据流。VLD 14将解码数据流传递到逆量化器16，在此将解码数据流返回到代表视频数据的解量化系数。逆量化器16将解量化系数输入到逆离散余弦变换(IDCT)18，在此将解量化系数逆转换成像素数据。
像素数据被格式化成与MPEG2标准兼容的块和宏块。同样按照MPEG2标准，像素决定义I、P或B帧或场。I和P帧或场以及可选的B帧或场通过组合器20存储在帧存储器24中，用于在整个帧或场的重构期间使用。在局部存储器控制器28的控制下，将数据写入存储器24和从存储器24读出数据。
当IDCT 18存在像素数据时，从存储器24中提取图像重构需要的相关像素数据，并且发送到运动补偿器22。运动补偿器22计算重构一场或帧的当前像素需要的信息，并且将数据发送到组合器20。组合器20将来自IDCT 18和运动补偿器22的像素数据组合，并且将重构结果存储在存储器24中。存储该新的重构数据，直到需要从包括P或B场和帧的新解码像素数据重构后面的场和帧。重构数据还发送到显示处理器26，用于在显示之前进行处理，或输出到存储器设备等(未示出)。
当观看者通过PIP、POP或PIG选择观看一节目时，在按照本发明原理的微控制器控制下，重构的图像场或帧从组合器20发送到滤波器和抽取器30。
为了减少混叠的目的，单元30对水平和垂直方向上的数据均滤波，并且将像素数据抽取到希望数目的像素，以产生减少分辨率的图像用于显示。抽取的图像存储在存储器24中，直到显示处理器26需要。在本文中，抽取包括通过任何方式，如二次采样、像素的加权组合等来减少像素。
在滤波器和抽取器30将抽取的第一图像提供给存储器24的同时，背景辅助图像也通过输入端32提供给存储器24用于显示。背景图像包括在选择PIP、POP或PIG选项之前显示的图形或节目。由单元30提供的抽取图像是前景图像，该图像由已知的方法切换或映射成背景图像。例如，已知的集成电路包括从存储器访问两个图像并且在背景图像内的一个窗口中显示抽取的图像。
如果辅助图像是由计算机提供的图形图像，例如该图像被存储在存储器24之前被按照显示处理器26的要求格式化。在电视接收机中可以进行或可以不进行格式化。如果辅助图像是广播的电视节目，辅助调谐器提供解码的图像到显示处理器26。如同所知的，在电视接收机和录像机中能发现提供PIP、POP和PIG显示的这种系统。辅助调谐器将按照显示处理器26的要求格式化的辅助图像提供给存储器24。将辅助图像存储在存储器24中的一种选择是用于这样的设备，该设备将辅助图像提供到其自己拥有的、连接到显示处理器26并且由显示处理器26访问的存储器，或实时处理图像并且将图像直接提供给显示处理器26。
图2示出了按照本发明原理包括单元30的滤波器和抽取器的一种可能结构。宏块缓冲器90从解码器10接收像素的解压缩和解码宏块，并且保持数据直到垂直滤波器抽取器100需要。垂直滤波器/抽取器100执行垂直方向上的混叠滤波和抽取。水平滤波器/抽取器200执行水平方向上的混叠滤波和抽取。
单元100包括由滤波器单元110、112和114构成的混叠多相低通滤波器。这里也可以采用其它滤波器类型，诸如有限脉冲响应(FIR)滤波器。因为位流代表表示各宏块的连续图像的连续光栅扫描行，所以MPEG2兼容系统类似于光栅扫描系统。在光栅扫描系统中，垂直FIR滤波器实现起来是昂贵的，因为对于每个抽头需要大量的存储器。MPEG2兼容系统的每个抽头需要的存储器将是每行中的数据量乘以一个宏块中行的数目。
单元110到114的输出分别将数据提供给乘法器120、122和124，这些乘法器将一个希望的加权系数应用到它们各自的输入信号。乘法器122和124的加权输出在加法器130中相加，并且加法器130和乘法器120的输出在加法器132中相加。或者，可以构建三个输入加法器以接收乘法器120到124的输出。加法器132的输出将数据提供给水平滤波器/抽取器200。
单元200包括由各个FIR滤波器210、212到210+2n构成的混叠滤波器，其中n+1等于用来实现希望的水平抽取的滤波器数目。每个FIR滤波器的输出分别提供给乘法器220、222到220+2n，每个乘法器对输入信号应用一个希望的加权系数。乘法器的加权输出在加法器230中相加，并且发送到存储器24存储直到显示处理器26需要。水平滤波器/抽取器200的结构是采用FIR滤波器的采样率转换器的结构，并且在视频处理领域中是公知的。
图2在任何给定时间对单个块例如一个宏块或子块的数据操作。即使在边界情况下，从像素数据的输入块中单独得到每个抽取像素值。不会发生与先前或相邻块的像素值的混合。
例如，图1的滤波器抽取器30可以包括图2的结构。对于该结构，三个或更少的像素从缓冲器90进入单元100内部的多相滤波器，并且被适当地加权。当少于三个像素进入滤波器时，用到乘法器的加权系数没有有效数据被设定为零，从而不导致产生差错。或者，图2的结构可以并行重复，以同时从一个宏块接收全部垂直行的像素。重复图2的结构增加了处理速度，但也增加了成本和芯片体积。
垂直滤波器/抽取器100的结构有利地展示了PIP、POP或PIG的性能。单元100的每个输出行是最多三个输入行的函数，并且是单个宏块或那个宏块的子块的行的函数。如果少于三行输入到单元100的结构，零加权系数输入到接收无效数据的乘法器。该结构提供了几个优点，简化了其设计。首先，通过限制将要从同一各宏块或子块输入到单元30(图1)的数据，消除了垂直滤波器(单元110-114)需要多行存储器或访问一整行必须的其它存储器结构。由此存储器要求减少到能够存储一个块或宏块的缓冲器。该存储器可以驻留或放置在垂直滤波器/抽取器100(未示出)之前，或它可以包含在帧存储器24中。先前滤波器/抽取器结构需要一整行存储器用于垂直滤波器/抽取器。对于包括每个图像1920×1080像素的高分辨率信号(每个图像被表示为宏决)，单行包括来自120个宏块的部分。所知的在宏块环境下的行抽取器将要求在垂直滤波和抽取一视频信号之前，120个宏块全部被解码并且存储。
其次，8∶3(=2.67∶1)的垂直抽取率实际获得与现在用于PIP、POP或PIG图像3∶1减少等效的结果。选择所知的垂直抽取率3∶1，这是因为2∶1对于PIP、POP或PIG应用提供太少的抽取，而4∶1对于PIP、POP或PIG应用提供太多的抽取。对于光栅行格式化视频信号，3∶1抽取提供期望的垂直图像尺寸和需要的三行存储器。对于观看者8∶3和3∶1之间的视觉差别可以忽略。
再者，在此例中，单元100从每个亮度宏块产生六个亮度行段。因为数据以宏块的形式得到处理，单元100将接收场和帧格式的二者视频信号。
对于色度数据，可以使用滤波器/抽取器30的相同或类似结构。色度数据已经在垂直分辨率方面减少百分之五十。因此，在单元30中，色度像素块按4∶3比率被进一步垂直抽取。为了完成垂直抽取，在一个块中四个像素中二个像素绕过单元100到单元200或不改变地通过单元100到单元200用于水平滤波和抽取。其它二个像素在传递到单元200之前，通过单元100的结构滤波、加权并且加起来。这两个像素实际上与上述亮度像素相同的方式进行处理。
图3示出了在场中像素的垂直抽取。亮度像素在垂直抽取之前表示为圆圈，并且色度像素在抽取之前由正方形表示。抽取的亮度和色度像素由星号表示。图3仅示出了包含在每个亮度宏块场中每个八像素行段中的三个像素，和包含在每个色度宏块场中每个四像素行段中的三个像素。
在图3中，例如，源是包含每秒30帧的1H隔行扫描视频信号。抽取的输出信号是以相同速率发生的1H隔行扫描视频信号。第一场的前两个垂直像素处理成一个像素。后面三个像素也被处理成一个像素，并且第一场的像素块的最后三个垂直像素被处理成一个像素。对于交替场，被垂直滤波和抽取的垂直像素的分组是不同的。两组三垂直像素都被处理成一个像素，并且各交替场块的最后两个垂直像素被处理成一个像素。
对于被抽取成一个像素的垂直像素分组，用到乘法器的加权系数和等于一(1)。例如，所示实施例将三像素组的第一和第三像素乘以0.25，以及该组的中间像素乘以0.50。对于两像素组，每个像素乘以0.50。其它加权函数可用于当加起来的和等于1时的每一组。也可希望加权函数和不等于1，但是块或宏块的所有系数和等于某个预定值。
对于色度像素块，交替场以基本相同的方式垂直抽取。如图3所示，保持第一和最后垂直像素的值，而中间两个像素被处理成一个像素。对于所示的实施例，通过乘法单元应用到两个中间像素的加权系数等于0.50。对于色度像素按照期望或按照需要可以应用交替加权系数，以调节亮度和色度垂直滤波和抽取之间的正确平衡。
对于基于场数据的滤波器系数仔细选择，以给新行合适的相位，这是因为滤波器系数确定了被滤波行相对于输入行的有效位置。对于给定的输出行将输入行限制到位于同一宏块内并没有增加确定所述系数的困难，但是它确实将滤波器质量限制到滤波器阶数。滤波器阶数是用来构建一个输出行的输入行数目的函数。然而，因为减少率是8∶3，所以将图2的结构限制到单个16行宏块不会明显地影响PIP、POP或PIG图像。
图4示出了一帧中像素的垂直抽取。在该例中，视频信号源是以每秒24或30或60帧的速率发生的逐行扫描信号。抽取的输出信号是以相同速率发送的1H隔行扫描信号。如同图3所示，圆圈代表亮度像素，正方形代表色度像素，和星号代表被抽取的像素。数据以60Hz的速率从存储器中读出。对于每个垂直行以每秒24或30帧发生的数据被读取两次，而对于每个垂直行以每秒60帧发生的数据被读取一次。以每秒24帧发生的数据在显示处理器中被转换成显示速率。图4示出了以60Hz读取的帧、并且在每个读取期间从16个输入垂直像素产生3个像素。结果是对于每16个输入像素宏块产生6个像素，这等于在每秒30帧的8∶3的抽取率。在每秒24和30帧的帧速率中，没有发生数据遗漏，这是因为相同数据被读取两次。在每秒60帧的帧速率中，某些数据被遗漏，但是对于观看者并没有明显地影响，结果产生以每秒30帧的显示率发生的图像。这消除了在显示处理器中进一步的抽取。如同图3中所示，对输出像素有影响的用到每个输入像素的加权系数作为分数示于输入像素的旁边。下面将讨论加权系数。
图5和6示出了2H逐行扫描格式中的抽取输出。图5和6分别与图3和4有相同的源视频信号输入。对于此种情况，因为要求逐行扫描格式输出，所以对于亮度数据抽取率是8到6。对于色度数据，对于4个垂直输入像素的每一个，4×4像素块必须实际上采样成6个像素。图2和7的电路结构可包括附加的乘法器和加法器，以支持这些例子增加的分辨率。
对于基于场和帧两者的图像块数据，可以利用相同的基本电路结构。对于此例，直到4个像素被处理成一个输出像素。滤波器/抽取器的结构示于图7中。在图3到6中给出了用于像素组的示例加权系数。加权系数是输入像素旁边的数字。如果输入像素值用来确定多于一个输出像素，在顶部的加权系数对应于向上的箭头所指的输出像素，并且在底部的加权系数对应于向下的箭头所指的输出像素。
基于色度帧的宏块滤波/抽取结构也以60Hz的速率读取数据。滤波器/抽取器30的输入输出示例示于图4和6中。如上所述表示用于像素组的示例加权系数。基于帧的亮度和色度系数均作为示例，并且可以变化以达到希望的相位或其它的效果。
对于上述实施例，滤波器/抽取器30位于帧存储器24之前，如图1所示。通常，因为需要的存储容量和存储带宽减少，所以滤波和抽取在存储之前进行。然而，能够将单元30放在存储器24之后。对于MPEG兼容系统，将单元30放在存储器之前减少了存储带宽，但是，因为用于重构I和P帧必须被存储，所以存储器容量只能最小化减少。因为在临界显示间隔期间，只从存储器中读取抽取的PIP、POP或PIG，所以存储带宽被减少。将单元30放在存储器24之后，需要在显示间隔期间读取高分辨率图像。
垂直和水平滤波/抽取是相互独立的过程，并且可以被分开，例如一个在存储器24之前一个在存储器24之后，或任意。所知的系统在垂直滤波/抽取之前通常具有水平滤波/抽取。由于上述原因，垂直滤波/抽取将通常位于存储器30之前。水平滤波/抽取功能可以以采样率转换器的形式设在显示处理器26内。而垂直滤波/抽取在帧存储器存储之前最有效的进行，以及能够扩展和有限抽取的垂直采样率转换器可能在显示处理器中很有效。
图2和7的电路可以由微处理器或可编程逻辑代替，在程序控制下，执行滤波和抽取。微处理器可以花费更多时间处理数据流，但是通常更便宜地实现。利用硬件处理数据流更快，但通常更昂贵。然而作为现有的处理状态，上述电路实现通过微处理器可能更快。所有这些实现是在本发明的范围内。
图8是包括抽取网络30的数据处理方法的流程图。在步骤80中，编码图像表示数据的数据流输入到解码器处理。例如，数据流可以是通过地面广播由调谐器接收的MPEG-2兼容数据。在步骤82中，对数据流解码，并且解码数据流是像素块的形式。在步骤84中，数据流被垂直抽取。一次执行对单个像素块的抽取处理。例如，像素块还可以是MPEG-2兼容像素块。通过对将被抽取成单个像素值的垂直输入像素值进行第一混叠滤波而抽取像素块。然后对滤波像素值加权，并且最后加权的像素值被求和成单个像素值。每个抽取的输出像素值是单独从各输入像素块选择的输入像素值的组合。因为对于亮度数据一个宏块通常是16×16像素，所以当像素块是MPEG兼容宏块时，有效抽取因子是8输入像素到3输出像素。然而，其它抽取率可以如上所述使用，或由输入数据建议使用。步骤86通过水平抽取块完成像素块的抽取，以提供一减少分辨率像素块，该减少分辨率像素块可以与另外减少的分辨率像素块组合，按所知方法格式化并且作为PIP、POP或PIG显示中的前景图像被显示。
权利要求
1.一种基于块的视频处理器，包括视频解码器(10)，响应于一数据流，用于提供像素数据块；和抽取网络(30)，用于抽取所示像素块数据，以提供被抽取的像素值；其中每个所述抽取像素值从其相关输入像素块中唯一得到。
2.如权利要求1所述的处理器，进一步包括所述解码器和所述抽取网络之间的存储器，用于存储将被抽取的像素块。
3.如权利要求1所述的处理器，进一步包括帧存储器，耦合到所述解码器；其中所述解码器是MPEG兼容的，并且像素数据的所述块是宏块。
4.如权利要求1所述的处理器，其中所述抽取网络包括宏块存储器，混叠减少滤波器和像素抽取器。
5.一种处理编码图像表示数据的数据流的方法，包括步骤解码所述数据流，以产生一解码数据流；和抽取所述数据流，以产生一减少的数据流；其中，所述解码数据流由像素块构成；所述抽取步骤产生被抽取像素值；和每个所述抽取像素值从其相关输入像素块中唯一得到。
6.如权利要求5所述的方法，进一步包括步骤格式化所述减少的数据流，以产生适合于显示的减少分辨率的图像数据。
7.如权利要求5所述的方法，其中所述数据流是MPEG兼容的，并且所述像素数据块是宏块。
8.如权利要求5所述的方法，其中所述抽取步骤包括混叠减少滤波和像素抽取步骤。
9.如权利要求1或5所述的发明，其中所述抽取基于8到3的抽取因子。
10.一种在数字视频信号处理系统中的装置包括输入网络，用于接收包含编码图像代表信息的数字数据流；解码器(14-18)，用于解码所述数字数据流，以提供像素数据块；缓冲器(12)，用于接收像素数据块；抽取网络(30)，用于抽取像素数据的所述缓冲块，以产生减少分辨率的图像数据；和显示处理器(26)，用于将所述减少分辨率的图像数据与代表背景图像的图像帧数据(34)组合；其中来自所述抽取网络的每个抽取像素值从其相关输入像素块唯一得到。
11.如权利要求10所述的系统，进一步包括存储器，用于存储所述像素数据块和所述减少分辨率的图像数据。
12.如权利要求11所述的系统，其中所述存储器是一帧存储器。
13.如权利要求1、5或10所述的发明，其中所述抽取垂直抽取所述数据流。
14.如权利要求1、5或10所述的发明，其中所述抽取水平抽取所述数据流。
15.如权利要求10所述的系统，其中所述抽取网络包括混叠减少滤波器和抽取网络。
16.如权利要求10所述的系统，其中所述解码器是与MPEG兼容的能够解码高分辨率视频信号的解码器，并且包括一运动补偿网络；所述存储器是一帧存储器；和所述像素数据的块是宏块。
17.如权利要求10所述的系统，其中所述减少分辨率的图像数据包括适于使用所述背景图像的帧，用于产生画中画显示、画上画显示和图中画显示中的一种。
全文摘要
一种视频处理器(10)接收解码(12－20)成MPEG兼容像素块的编码数字图像数据。水平和垂直抽取(30)像素块,以产生适合于画中画、画上画、或图中画显示(26)的减少尺寸的图像。到抽取网络的解码输入数据被混叠滤波(36)并且以8到3的因子抽取。抽取的输出像素数据(24)从相应相关解码输入像素块唯一得到。
文档编号H04N5/45GK1309868SQ99808793
公开日2001年8月22日 申请日期1999年7月7日 优先权日1998年7月31日
发明者巴思·A·坎菲尔德 申请人:汤姆森特许公司