专利名称：视频序列的辅助数据的处理的制作方法
技术领域：
本发明涉及用于处理视频序列的辅助数据的方法和信号处理器。特别地，本发明涉及为了实现视频序列的改进处理、特别是用于插值目的而进行的视频序列的辅助数据的预处理。
背景技术：
在越来越多的应用中、特别是在现代电视接收机的数字信号处理中使用运动预测。具体地，现代电视接收机执行帧频转换，尤其是以上变换(up-conversion)或运动补偿上变换的形式，来提高再现图像的画面质量。例如，对具有50Hz的场或帧频的视频序列执行运动补偿上变换到更高的频率，如60Hz、66.67Hz、75Hz、100Hz等。50Hz的输入信号频率主要应用于基于PAL或SECAM标准的电视信号广播，而基于NTSC的视频信号具有60Hz的输入频率。可将60Hz的输入视频信号上变换到更高的频率，如72Hz、80Hz、90Hz、120Hz等。
在上变换期间，要生成中间图像，其反映50Hz或60Hz的输入视频序列未表示的时间位置上的视频内容。为此目的，必须考虑对象的运动，以适当地反映由对象的运动所引起的随后图像之间的改变。基于块来计算对象的运动，并基于在先前和随后图像之间的新生成图像的相对时间位置来执行运动补偿。
为了允许画面改进算法的处理，需要要被处理的视频序列的很多特征信息项。最好基于块而得到这些信息项。特征信息包括指明块是包括静止图像数据还是运动图像数据的数据、指明块的图像信息是否源自运动画面(胶片模式)的数据、以及指明在胶片模式情况下的运动相位图案的数据。这些数据允许为了插值的目的而选择适当的图像数据。
发明内容
本发明旨在允许基于要被处理的视频序列的辅助数据的增强、具有改进的画面质量的图像处理。
这通过独立权利要求的特征来实现上述目的。
根据本发明的第一方面，提供了用于处理视频图像序列的辅助数据的方法。以包括用于图像的每个块的信息项的场的形式来接收辅助信息。对接收的辅助信息场进行滤波，以检测并消除不规则性(irregularity)。
根据本发明的另一个方面，提供了信号处理器，用于处理视频图像序列的辅助数据。该信号处理器接收辅助信息场。将每个视频图像划分为多个块，并且，辅助信息场包括用于图像的每个块的信息项。该信号处理器包括滤波器部件，用于对接收的辅助信息场进行滤波，以检测并消除不规则性。
本发明的特有方法是检测辅助信息的不正常图案，并从中消除这种图案。这样，将与其周围信息项相比而反映出不正常状态的辅助信息项消除、并将其替换为更可能的信息值。因而，由于不真实的信息项被替换为更真实的信息项，所以画面改进处理能够应用平滑的辅助信息场。
优选地，辅助信息表示视频序列的特征信息。通过应用本发明，可从辅助数据中移除有缺陷的确定。
根据优选实施例，辅助信息指明图像块是包含运动还是静止图像数据。因而，通过移除不可能的数据项，可在更可靠的基础上应用运动补偿插值。
优选地，为每个块提供单个位，以指明运动或静止图像数据。
优选地，辅助信息包括指明图像块是否包含胶片模式或视频模式数据的信息。更优选地，为其提供单个位。通过移除不可能的胶片模式或视频模式指示，可得到改进的运动补偿插值结果。
优选地，辅助信息还指明胶片模式块的各自运动方案(motion scheme)。这样，画面质量改进算法可在插值处理期间精确地考虑下拉方案的运动相位图案。
优选地，为各自运动方案的指示而提供三个位。最优选地，这三位指明了表示PAL运动相位图案的至少两个位组合、表示NTSC运动相位图案的五个位组合、以及表示图像场景改变的单个位组合。这样，对于世界范围的应用，可使用少量的位来表示所有最可能的下拉运动图案。
优选地，沿行或列方向来执行滤波。这样，可通过仅采用小计算量来有效地检测不规则性。
优选地，移除在水平或垂直方向上不具有对应值的至少两个相邻数据项的那些辅助数据项。根据替代实施例，移除在水平方向上不具有对应值的至少单个相邻数据项、且在垂直方向上不具有对应值的至少单个相邻数据项的各自辅助数据项。根据另一个替代实施例，移除在相邻位置上不具有至少两个对应数据项的辅助数据项。因而，可从数据项的场中有效地移除各自的不规则性。
优选地，用相邻块的数据项来替换被移除的数据项。这样，可应用具有低计算和硬件负担的有效率的隐蔽方案(concealment scheme)。
优选地，通过将块数据的当前图案与预先存储的不规则图案相比较，来执行不规则性的检测。一旦检测出当前图案与预先存储的不规则图案相匹配，便替换当前图案。通过提供多个预先定义的不规则图案，能够可靠地检测并移除可能的不规则配置。
优选地，与各个不规则图案相关联地存储替换图案。由此，一旦基于存储的不规则图案而检测出不规则性，便可采用最适当的替换图案。
低硬件复杂度的实施例采用三个数据项长度的图案，而更复杂的方法采用在两个方向上延伸的图案。这种二维图案方法能够以更高的效率和可靠性来检测多个不合理的不规则性。
本发明的优选实施例是从属权利要求的主题。
从下面的优选实施例的描述中，本发明的其它实施例和优点将变得更为清楚，附图中图1图解了用于将视频图像划分为多个统一大小的块的示例，图2图解了为视频图像的每个块提供的辅助信息的示例，图3图解了为了将运动画面数据转换为隔行PAL和NTSC视频序列的通用下拉方案，图4图解了指明运动相位的辅助数据的示例编码，图5图解了辅助数据的示例场，其中，通过应用水平和垂直滤波来移除各个不规则性，图6图解了为了移除一个块宽度的不规则而应用的水平滤波，图7是示出滤波处理的步骤的流程图，图8是示出一旦替换了模式数据项、便对运动相位数据应用的滤波处理的步骤的流程图，以及图9图解了各个垂直滤波所需要的存储容量。
具体实施例方式
本发明涉及数字信号处理，尤其涉及在现代电视接收机中的信号处理。现代电视接收机采用上变换算法，以提高再现的画面质量。为此目的，从两幅后续图像而生成中间图像。为了生成中间图像，必须考虑对象的运动，以使对象位置适当地与由插值图像所反映的时间点相适应。
基于块来执行运动估计。为此目的，如图1所示，将每个接收图像划分为多个块。通过确定先前图像中的最佳匹配块，对每个当前块各自进行运动估计。
图1图解了将每个视频图像划分为多个块B(x，y)。每块具有宽度X和高度Y，其中，X和Y分别表示在行和列方向上的像素的数目。可采用下面的公式来计算每行或列的块数xmax＝每行的像素数/Xymax＝每列的像素数/Y现代电视接收机中的数字信号处理应用画面改进算法，其利用反映要被处理的视频序列的特征信息的辅助数据。为此目的，最好将静止图像/运动图像指示、胶片/视频指示、以及运动相位指示基于块而包括在辅助数据中。从块模式检测(BMD)处理产生这些数据。块模式检测是现代媒体显示设备，如CRT、TFT或等离子显示器的部分特征。BMD的主要功能是自动选择信号处理的设置，以实现当前视频数据的最佳画面质量。
辅助信息可用于每个输入视频场的每个块，其中，以块矩阵的形式来存储各个数据项。图2中图解了为每个块检索出的各个信息的示例。从中可以看出，对于每个块来说，辅助信息包括静止/运动指示30、胶片/视频模式指示20、以及运动相位指示10。
运动/静止信息30有1个位宽(Bs)，并能够确定输入场的当前块与运动还是静止对象相关。如果指明了静止块，则可使用来自两个后续场的图像数据来进行重新隔行扫描(reinterleaving)，以实现最佳画面质量输出。优选地，将静止/运动位定义如下0＝运动
1＝静止使用另一个位(Bm)指明胶片模式或视频模式。如果当前块的数据源自胶片模式，则两个(A+B)或三个(A+B+A)场与相同的运动相位有关。反之，在视频模式中，每个场与不同的运动相位有关。最好将胶片/视频模式位(Bm)定义如下0＝视频照相机1＝运动画面胶片在运动画面数据的情况中，额外提供三位相位信息(BP)。该三位信息(BP)反映了当前胶片数据的运动相位图案。
与隔行扫描视频信号相反，运动画面数据由全部的帧构成。运动画面数据最普遍的帧频是24Hz。当将运动画面数据变换为用于在电视接收机上显示的隔行扫描视频序列时，通过使用“下拉”技术而将24Hz的帧频转换为隔行扫描视频序列。
为了将运动画面胶片转换为场频50Hz的隔行扫描PAL，采用2-2下拉技术。2-2下拉技术从每个胶片帧中生成两个场。以每秒25帧来播放运动画面胶片。由此，两个连续的场包含来源于相同帧的信息。
当将运动画面转换为场频60Hz的NTSC时，采用3-2下拉技术将24Hz的帧频转换为60Hz的场频。3-2下拉技术从给定运动画面帧中生成两个视频场，并从下一个运动画面帧中生成三个视频场。如可从上述下拉技术中得知的，所得到的视频序列包括反映相同运动相位的成对或三个一组的相邻场。图3中图解了用于根据PAL或NTSC标准将运动画面帧转换为的视频场而采用的下拉技术。
在图4中，通过示例的方式示出了由运动相位位(BP)反映的运动相位。第一列区分了为PAL和NTSC运动相位提供的各个位组合，而在第4列中示出了各自的运动相位序列。第二列表示其各自的三位编码，而第三列表示相应的十六进制值。
本画面质量改进算法必须处理不规则或有缺陷的辅助信息，特别是对于静止/运动指示、胶片/视频模式指示、和/或运动相位指示。这些不规则导致了各个画面质量的损害。
本发明通过对辅助信息项的场应用滤波而移除这种不规则。为此目的，本发明利用每个辅助数据项的空间相邻数据项来检测不规则的数据项。图5用中图解了用于移除不规则数据项的示例。
图5图解了20×16个块的场。指明的示例有关二进制指示，如模式/静止数据指示或胶片/视频模式指示。所有白色块与二进制值0相关，黑色块与二进制值1相关。此外，图5的虚线块还表示二进制值1，然而其仅有1个块的宽度。通过水平滤波(X2，X4)、或通过垂直滤波(X1，X3)来检测并移除这些块。可以通过水平或可替代地通过垂直滤波(X5)来移除所述不规则性中的一些。仅通过应用水平(X1)或垂直滤波(X2)来移除位于所示出的数据项的场的边界的单个块。
图6中图解了水平滤波器的应用的示例。估计出三位B2、B3、B4的当前图案。比较位置B2、B3和B4上的数据值，并且，一旦检测出中间值B3不同于相邻值B2、B4，便用相邻数据项的值来替换中间值B3。由此，如果水平滤波器检测出二进制序列“010”或“101”中的不规则，则将此不规则改变为序列“000”或“111”。以对应的方式，用于检测并移除不规则的估计出的序列可具有更大的宽度，例如5个数据项B1-B5。因而，将二进制序列“00100”或“11011”中的不规则分别改变为“00000”或“11111”。
图7中图解了用于如上面所估计的三个数据项的处理。在步骤S10中，将不规则的图案与块位置B2、B3和B4上的当前数据值相比较。如果中间图案B3不同于相邻图案B2、B4，则检测出不规则，并且，在步骤S20中，用相邻位置的值来替换该不规则。反之，如果未检测出不规则，则不改变当前数据项(步骤S30)。
Bm的模式处理类似于Bs的该处理。
与图8结合描述的用于运动相位数据项的滤波过程和上面的过程略有不同。最好通过三位值(BP)来表示运动相位指示。另外，运动相位直接取决于检测出的胶片/视频模式。如果由于在步骤S10中的不规则检测而改变了胶片/视频模式信息(Bm)，则在步骤S60中，相应地改变各个运动相位(BP)(参照图8)。一旦由于检测出的不规则而改变了胶片/视频模式指示，则基于先前和后续块B2、B4的运动相位来计算新的运动相位值。将这两个运动相位取平均并舍入(round up)，以得到中间块B3的相位信息。另一方面，如果胶片/视频模式值未改变(步骤S30)，则也保持该运动相位信息(步骤S70)。
当进行如通过参照图6、图7和图8中的水平滤波而以示例方式描述的滤波时，以各种方式来执行垂直滤波。然而，硬件负担略有增加，因为水平滤波操作仅需要用于与所估计的块(即，优选为三个相邻块)的数目相对应的多个数据项的存储容量。相比之下，垂直滤波操作需要用于存储各个数目的行(即，优选为两行块、以及用于估计三个垂直相邻块的附加块)的数据项的存储容量。图9中示出了这种存储器要求。
附图标记900指示完整图像的辅助数据的场。在图9中，将为处理垂直相邻数据项910、920和930而存储的数据项940标记为灰色块。
上述滤波操作适用于除了边界行和边界列的所有块位置。为了适当处理这些块，由于缺少相邻数据而禁止垂直或水平滤波操作。对于第一和最后一行，禁止垂直滤波，而对于第一和最后一列，禁止水平滤波。
根据优选实施例，将多个不规则图案存储在查找表中。将要估计的图案与一组存储的不规则图案相比较。在当前图案与存储的图案中的一个相匹配的情况中，检测出不规则并将其从数据项的场中移除。
优选地，记录的不规则图案已存储了相关联的替换图案。可使用这些替换图案，作为结合图6、图7和图8描述的替换处理的替代实施例。
查找表的使用还允许采用二维不规则图案，例如，4×4块大小的块图案。在图5中，通过X6来表示其示例。二维块图案可以更精确地消除对角线、水平和垂直、以及其它种类的不理想的辅助数据配置。
综上所述，本发明涉及视频序列的辅助数据的预处理，以允许用于应用画面改进算法的改进的处理结果。检测并移除在基于块而提供数据项的辅助数据场内出现的不规则。特别地，相应地处理胶片/视频模式指示或运动/静止指示。不规则的移除允许各个改进的图像处理，例如，在上变换和隔行扫描/逐行扫描转换期间的插值处理。
权利要求
1.一种用于处理视频图像序列的辅助信息的方法，每个视频图像被划分为多个块，该方法包括以下步骤接收包括用于图像的每个块的信息项(10、20、30)的辅助信息场，以及对接收的辅助信息场进行滤波，以检测并消除不规则性。
2.如权利要求1所述的方法，其中，所述辅助信息是所述视频序列的特征信息。
3.如权利要求1或2所述的方法，其中，所述辅助信息指明图像块是否包含运动或静止图像数据。
4.如权利要求3所述的方法，其中，为每个块提供单个位(Bs)，以指明运动或静止图像数据。
5.如权利要求1至4中的任一个所述的方法，其中，所述辅助信息指明图像块是否包含胶片模式或视频模式数据。
6.如权利要求5所述的方法，其中，为每个块提供单个位(Bm)，以指明胶片模式或视频模式。
7.如权利要求5或6所述的方法，其中，所述辅助信息还包含指明胶片模式块的各自运动方案的相位信息。
8.如权利要求7所述的方法，其中，为每个块提供至少3位(Bp)，以指明各自运动方案。
9.如权利要求8所述的方法，其中，所述至少3位(Bp)包括表示PAL运动图案的两个位组合(PAL0、PAL1)。
10.如权利要求8或9所述的方法，其中，所述至少3位(Bp)包括表示NTSC运动图案的5个位组合(NTSC0-NTSC4)。
11.如权利要求8至10中的任一个所述的方法，其中，所述至少3位包括表示图像场景改变的位组合(剪接)。
12.如权利要求1至11中的任一个所述的方法，其中，所述滤波沿行或列方向检测并消除不规则性。
13.如权利要求12所述的方法，其中，检测并消除在水平或垂直方向上不具有对应值的至少两个相邻数据项(B2、B4)的各自辅助数据项(B3)。
14.如权利要求12所述的方法，其中，检测并消除在水平方向上不具有对应值的至少单个相邻数据项、且在垂直方向上不具有对应值的至少单个相邻数据项的各自辅助数据项。
15.如权利要求12所述的方法，其中，检测并消除不具有至少两个对应的相邻数据项的各自辅助数据项。
16.如权利要求1至15中的任一个所述的方法，其中，通过用相邻块的各个数据项(B2)来替换检测出的不规则数据项(B3)，消除所述数据项(B3)。
17.如权利要求1至16中的任一个所述的方法，其中，所述检测步骤包括以下步骤将块数据的当前图案与预先存储的不规则图案相比较(S10)，以及一旦检测出当前图案与预先存储的不规则图案相匹配，就替换(S20)当前图案。
18.如权利要求17所述的方法，其中，与各个不规则图案相关联地存储替换图案。
19.如权利要求17或18所述的方法，其中，所述当前图案(B2、B3、B4)具有3或5个数据项之间的长度，特别是3个数据项。
20.如权利要求17或18所述的方法，其中，所述当前图案(X6)是二维延伸的。
21.一种用于基于运动补偿而对视频图像序列进行插值的方法，其中，所述插值器根据权利要求1至20中的任一个的处理方法，对接收的辅助数据进行处理。
22.一种用于处理视频图像序列的辅助数据的信号处理器，该信号处理器接收辅助信息场，其中，每个视频图像被划分为多个块，并且，所述辅助信息场包括用于图像的每个块的信息项，该信号处理器包括滤波器部件，用于对所述接收的辅助信息场进行滤波，以检测并消除不规则性。
23.如权利要求22所述的信号处理器，其中，所述辅助信息是所述视频序列的特征信息。
24.如权利要求22或23所述的信号处理器，其中，所述辅助信息指明图像块是否包含运动或静止图像数据。
25.如权利要求24所述的信号处理器，其中，为每个块提供单个位(Bs)，以指明运动或静止图像数据。
26.如权利要求22至25中的任一个所述的信号处理器，其中，所述辅助信息指明图像块是否包含胶片模式或视频模式数据。
27.如权利要求26所述的信号处理器，其中，为每个块提供单个位(Bm)，以指明胶片模式或视频模式。
28.如权利要求26或27所述的信号处理器，其中，所述辅助信息还包含指明视频模式块的各自运动方案的相位信息。
29.如权利要求28所述的信号处理器，其中，为每个块提供至少3位(Bp)，以指明各自运动方案。
30.如权利要求29所述的信号处理器，其中，所述至少3位(Bp)包括表示PAL运动图案的两个位组合(PAL0、PAL1)。
31.如权利要求29或30所述的信号处理器，其中，所述至少3位(Bp)包括表示NTSC运动图案的5个位组合(NTSC0-NTSC4)。
32.如权利要求29至31中的任一个所述的信号处理器，其中，所述至少3位包括表示图像场景改变的位组合(剪接)。
33.如权利要求22至32中的任一个所述的信号处理器，其中，所述滤波器部件沿行或列方向执行滤波操作。
34.如权利要求33所述的信号处理器，其中，所述滤波器部件检测并消除在水平或垂直方向上不具有对应值的至少两个相邻数据项(B2、B4)的各自辅助数据项(B3)。
35.如权利要求33所述的信号处理器，其中，所述滤波器部件检测并消除在水平方向上不具有对应值的至少单个相邻数据项、且在垂直方向上不具有对应值的至少单个相邻数据项的各自辅助数据项。
36.如权利要求33所述的信号处理器，其中，所述滤波器部件检测并消除不具有至少两个对应的相邻数据项的各自辅助数据项。
37.如权利要求22至36中的任一个所述的信号处理器，其中，所述滤波器部件通过用相邻块的各个数据项(B2)来替换检测出的不规则数据项(B3)，消除所述数据项(B3)。
38.如权利要求22至37中的任一个所述的信号处理器，其中，所述滤波器部件包括存储器，用于存储至少一个不规则图案，比较器，用于将相邻块数据的当前图案与所述预先存储的不规则图案相比较，以及替换单元，用于一旦检测出当前图案与预先存储的不规则图案相匹配，就替换当前图案。
39.如权利要求38所述的信号处理器，其中，所述存储器还与各个不规则图案相关联地存储替换图案。
40.如权利要求38或39所述的信号处理器，其中，所述当前图案具有3或5个数据项之间的长度，特别是3个数据项。
41.如权利要求38或39所述的信号处理器，其中，所述当前图案是二维延伸的。
42.一种用于基于运动补偿对视频图像序列进行插值的插值器，其中，所述插值器包括根据权利要求22至41中的任一个的、用于对接收的辅助数据进行处理的信号处理器，用于执行所述运动补偿插值。
全文摘要
本发明涉及视频序列的辅助数据的预处理，以允许应用画面改进算法的改进的处理结果。检测并移除在基于块而提供数据项的辅助数据场内出现的不规则。特别地，相应处理胶片/视频模式指示或运动/静止指示。不规则的移除使能各个改进的图像处理，例如，上变换期间的插值处理。
文档编号H04N7/64GK1694504SQ200510069618
公开日2005年11月9日 申请日期2005年4月29日 优先权日2004年4月30日
发明者洛萨·沃纳, 蒂洛·兰西德尔 申请人:松下电器产业株式会社