专利名称：视频图像去隔行装置以及用于执行视频图像去隔行的方法
技术领域：
本申请涉及视频图像生成器及设备，更具体地说，本申请涉及执行去隔行操作的视频图像生成器及设备。
背景技术：
视频图像数据通常以隔行格式生成，然后被转换为与逐行显示器(例如，计算机显示器、高清晰度电视(HDTV))相兼容的更高密度的非隔行格式。在隔行格式中，包含二维像素阵列的视频数据的每个帧包括典型地在重复偶奇场的序列中顺序生成的偶场数据和奇场数据。偶场数据包括位于帧内偶数编号扫描线上的像素，奇场数据包括位于帧内奇数编号扫描线上的像素。
与之相比，在通常被称为逐行扫描格式的非隔行格式中，每个视频图像由包括位于偶和奇二者的扫描线上的像素的单个帧表示。因此，将视频数据从隔行格式转换为逐行扫描格式的去隔行技术通常涉及使有效扫描线的数目加倍的操作。两种基本的去隔行技术包括视频模式去隔行和胶片(film)模式去隔行。视频模式去隔行包括场间(interfield)处理和场内(intrafield)处理。在视频模式去隔行期间生成附加的扫描线的最简单的方法包括仅使用来自正在被处理的每个场的信息的场内处理。这些方法之一被称为扫描线复制，其不可操作以增加作为结果的数据帧内的垂直分辨率。在扫描线复制中，每个将被生成的扫描线都简单地复制先前的有效扫描线。这意味着对于奇场数据，每个将被生成的偶扫描线2、4、6、8......仅仅是相应的奇扫描线1、3、5、7......的副本。同样，对于偶场数据，每个将被生成的奇扫描线1、3、5、7......仅仅是相应的偶扫描线2、4、6、8......的副本。利用场内处理的另一种方法称作扫描线插值，其在原始的有效扫描线之间生成插值的扫描线。扫描线插值的最简单的实施是利用线性插值来生成每个增加的扫描线来作为紧邻的上方有效扫描线和紧邻的下方有效扫描线的平均。
利用场间处理生成附加扫描线的最简单方法之一包括场合并。该技术将两个连续的场合并在一起以生成每个帧的视频数据。具体而言，与每个视频数据帧有关的有效扫描线同与紧邻的先前场视频数据有关的有效扫描线相合并，由此以与生成原始视频数据场的速率等同的帧速率，而生成帧序列。利用该方法，仅仅在没有发生移动的区域，每个数据帧的垂直分辨率加倍。然而，在所生成的每个数据帧内的移动对象通常具有由用于生成相应帧的每对场之间的时间差所导致的假像(artifact)(例如，双重图像)。
为了解决此假像的问题，开发了运动自适应去隔行技术。在公开号为2005/0270417、由Jiang等人申请、标题为“Deinterlacing Video Images withSlope Detection”的美国专利公报中公开了这样一种技术。具体而言，Jiang等人公开了一种视频图像去隔行器，所述视频图像去隔行器中具有斜率保护系统，其确定沿正被显示的对象边缘的斜线的方向(即斜率)。在公开号为2005/0168633、由Neuman等人申请、标题为“Method and System for MotionAdaptive Deinterlacer with Integrated Directional Filter”的美国专利公报中公开了一种类似的技术。具体而言，Neuman等人公开了一种用于检测图像边缘并确定边缘方向的方法。然后利用图像中边缘的方向选择滤波器，并利用所选择的滤波器生成图像中边缘的空间平均值。
发明内容
本发明的实施方式包括一种视频图像去隔行装置，所述装置具有场内及场间处理器。场内处理器响应于描绘时变(time-varying)的视频图像的场数据(例如，视频图像场序列)。场内处理器被配置成确定时变视频图像场内多个被忽略的像素的边缘和边缘陡度特性。也响应于场数据的场间处理器被配置成标识拥有时不变(time-invariant)特性的像素。
具体而言，场内处理器被配置成通过确定在第一场内多个像素的像素值之间的第一一阶差，其中所述第一场内多个像素沿以第一角度延伸过忽略像素的第一线，来确定第一场内忽略像素的边缘和边缘陡度特性。场内处理器还被配置成通过确定在第一场内多个像素的像素值之间的第二一阶差，其中所述第一场内多个像素沿以同第一角度垂直的第二角度延伸过第一场的第二线，来确定第一场内忽略像素的边缘和边缘陡度特性。此外，场内处理器被配置成通过由一阶差确定二阶差，来确定第一场内忽略像素的边缘和边缘陡度特性。这些计算还包括确定与在围绕忽略像素的预定像素范围内的像素有关的像素值差阈值。对图像数据场内的每个忽略像素执行这些相同的操作。
与之相比，场间处理器被配置成，通过评估在后续场像素和具有与所述后续场相同的有效线的先前场中的相应象素之间的像素值差，来标识在第一场内的忽略像素的时不变特性。场间处理器还通过评估在与所忽略像素相对应的先前场中的像素和邻接第一场中所忽略像素的上一线像素之间的像素值差，并评估在先前场中的像素和邻接第一场中所忽略像素的下一线像素之间的像素值差，来确定时不变特性。
图1是根据本发明实施方式的操作的流程图，其说明了视频图像去隔行的方法。
图2是根据本发明实施方式的视频图像去隔行装置的框图。
图3说明7×9场的图像数据，该图像数据具有实际图像数据的四个有效扫描线、以及将由图1所说明的去隔行操作近似的三个忽略扫描线。
图4说明跨过三个时间间隔((t-1)，t，(t+1))的多个视频图像数据场。
具体实施例方式
现在将参照附图更详细的说明本发明，在所述附图中显示了本发明的优选实施方式。然而，本发明可以以多种不同的形式来实现，不限于在此阐述的实施方式；而是，提供这些实施方式以使得本公开是充分和完整的，并且将本发明的范围传达给本领域的技术人员。自始至终相同的附图标记指代相同的元件，并且其信号线和其中的信号可以由相同的参考字符指代。
根据本发明实施方式的视频图像去隔行方法包括操作，用于确定在时变的视频图像的多个连续场中的每个上的多个忽略扫描线中的像素的近似值。这些由图1示出的操作1000包括由场内处理器执行的操作和由场间处理器执行的操作。如参见图2更充分地描述，场内处理器的实施方式包括斜率变化检测器210，场内处理器的实施方式包括边界图案检测器220。该斜率变化检测器210和该边界图案检测器220在图形边界检测器110中操作，该图形边界检测器110产生到自适应运动检测器130的输出。该场内处理器至少执行图1的流程图左侧说明的操作，其由块1101-1106所示出，并且场间处理器至少执行图1的流程图右侧说明的操作，其由块1201-1203所示出。
具体而言，由斜率变化检测器210执行的操作包括操作1101，该操作确定与具有有效扫描线和忽略扫描线的视频图像的场相关的阈值像素级，其中所述有效扫描线显示实际的视频数据，所述忽略扫描线最终显示由此处描述的去隔行操作所确定的所计算(即，近似)的视频数据。这些确定阈值像素级的操作1101包括确定在同整个场(或整个场的子集)相关的三个(3)最大像素值之和、与同整个场(或整个场的子集)相关的三个(3)最小像素值之和之间的差的绝对值；以及将该差除以3，以获得平均像素值。该平均像素值然后可以乘以实验预定的数字常数α，以得到用于上述操作中的精确阈值像素级。三个最大像素值以及三个最小像素值的使用可以根据应用向上或向下调整。
现在参见块1102，通过比较像素的像素值而计算导数值，其中该像素值是(i)与数据场中的有效扫描线相关；(ii)与穿过具有要确定值的忽略像素的线交叉。这些操作针对数据场中的每一个忽略像素执行。这些给定斜线方向的导数值(即，像素值差)的计算支持确定该忽略像素是否沿着由数据场显示的对象边缘延伸。这些计算针对多个斜线中的每一个而作出，所述多个斜线沿着不同的方向穿过忽略的像素。由块1103所示出的，还针对位于沿垂直于穿过忽略像素的斜线延伸的线的不同点上的有效像素，计算导数值。
这些计算出的、与穿过忽略像素的相应线(以及至少一个相应的垂直线)相关的导数值，然后被处理以确定该忽略像素是否沿着被显示对象的边缘，如果是的话，则该边缘的锐度(sharpness)(即，刚度(stiffness))，块1104。确定边缘锐度的操作包括从一阶差分确定二阶差分。这些操作针对不同角度的线的每个而执行，所述线穿过评估下的忽略像素，块1105-1106。
图3示出7×9场的图像数据，该图像数据具有实际图像数据的四个有效扫描线和利用此处描述的操作将被近似的三个忽略扫描线。这些扫描线图示为线L1-L7，其跨越9列C1-C9。基于上述的关于图1左侧的操作，导数值的第一集合能够通过比较与有效扫描线L1，L3，L5和L7(在数据场的4×7块中)相关、和与穿过将被近似的忽略像素(例如，像素45)的斜线D1交叉的像素的像素值而被计算。因此，如果与斜线D1交叉的像素12，34，56和78具有分别等于0，20，80和100的数据值，那么该一阶差分等于20(即，20-0)，60(即，80-20)和20(即，100-80)，二阶差分等于40(即，60-20)和40(即，|20-60|)。类似地，导数值的第二集合能够通过比较与斜线D2交叉的像素的像素值而计算，其中该斜线D2穿过评估下的忽略像素45。导数值的第三、第四、第五、第六和第七集合也能够相对于斜线D3-D7而被计算出。类似地，与垂直于斜线D4的斜线D8和D9相关的导数值也能够随着关于垂直于斜线D1-D3和D5-D7的其他斜线(未示出)的导数值而被计算出。
现在参见图1的右侧，由边界图案检测器220执行的操作包括通过计算被评估的视频数据的场的有效扫描线中的像素数据的变化，来确定阈值像素值，块1201。该变化是像素值标准偏差的平方。该边界图案检测器1202也计算多个差值。具体来说，由图1和图4中的块1202所示出的，在位于多个连续场((t-1)，t，(t+1))中的多个像素之间进行比较，以确定将被近似的忽略像素是否拥有时不变特性，并且因此能够被当作穿过视频图像数据的多个连续帧而保持恒定的边界图案。在块1202示出的比较操作包括确定与先前场中的像素相关的像素值和与位于当前场中的评估下的忽略像素上方以及紧邻位置的像素相关的像素值之间的第一差。因此，如图4中的箭头所示出的，(t-1)场中的像素4，5的像素值与当前场t中的像素3，5的像素值进行比较，像素3，5紧邻于当前场的忽略像素4，5的上方。该比较操作还包括确定与先前场中的像素相关的像素值和与位于当前场中的评估下的忽略像素下方以及紧邻位置的像素相关的像素值之间的第二差。因此，如图4的箭头所示，(t-1)场中的像素4，5的像素值与当前场t中的像素5，5的像素值进行比较，像素5，5紧邻于当前场的忽略像素4，5的下方。更进一步，该比较操作包括确定与先前场中的像素相关的像素值和与位于随后场中的像素相关的像素值之间的第三差。因此，如图4的箭头所示，(t-1)场中的像素4，5的像素值与(t+1)场中的像素4，5的像素值进行比较。然后，这些第一、第二和第三差以及方差值(variance value)被用于确定被近似的忽略像素是否拥有时不变特性(例如，作为连续边界图案的一部分)，块1203。
图2是视频图像去隔行装置100的框图，该装置被配置为执行由图1示出的操作。如图2所示出的，视频图像去隔行装置100包括运动计算器120、自适应运动检测器130、和图形边界检测器110，其连接如图所示。该运动计算器被配置以接收经过缓冲的视频图像数据(隔行数据)，该数据由常规的线缓冲器和场存储器产生。该图形边界检测器110包括斜率变化检测器210和边界图案检测器220。这些检测器210和220接收来自线缓冲器的经过缓冲的视频图像数据。
斜率变化检测器210包括斜率变化阈值计算器310、分别的第一和第二斜率变化计算器320和330、以及边缘确定器340。如所示出的，该边缘确定器340被配置以接收由斜率变化阈值计算器310和第一和第二斜率变化计算器320和330产生的输出信号。斜率变化阈值计算器310通过确定围绕目标像素的像素值中的最大值和最小值组，以及通过确定在这些最大值和最小值组之间的差，来确定与主方向(例如，参见图3中的斜线)相关的阈值像素级(Tm)、与垂直方向相关的阈值像素级(To)、以及第二导数的阈值级(T2)。第一斜率变化计算器320确定与主方向上的像素相关的第一导数值的绝对值的和(Sm1)，并确定与主方向上的像素相关的第二导数值的绝对值的和(Sm2)。与之相比，第二斜率变化计算器330根据垂直方向的像素的值，确定与垂直方向上的像素相关的第一导数值的绝对值的和(So)。边缘确定器340产生提供给自适应运动检测器130的输出信号。边缘确定器340可以通过比较Sm1和Tm(即，Sm1＞Tm？)以及比较Sm2和To(即，Sm2＜To？)，来确定边缘的存在。边缘确定器340也通过比较So和T2(即，So＞T2？)，来确定边缘陡度。
边界图案检测器220包括散射度计算器410、段差计算器420、和连续边界图案检测器430，该连续边界图案检测器430产生提供给自适应运动检测器130的输出信号。散射度计算器410确定围绕目标像素的像素的像素值的标准偏差，并利用该标准偏差和预定值来确定边界的阈值级。再次参见图2和4，对于目标像素是“t”场中的(4，5)的情况，段差计算器420确定“t+1”场的标识像素(示为(4，5))和“t-1”场的标识像素(示为(4，5))的像素值之间的第一差。段差计算器420还确定“t-1”场的标识像素(示为(4，5))和“t”场的标识的上一像素(示为(3，5))的像素值之间的第二差。类似地，段差计算器420还确定“t-1”场的标识像素(示为(4，5))和“t”场的标识的下一像素(示为(5，5))的像素值之间的第三差值。利用该信息，连续边界图案检测器430检测目标像素(例如“t”场中的像素(4，5))是否与所显示图像的边缘相联系。具体而言，如果第一差小于预定阈值级并且第二差大于预定阈值，或者如果第三差大于预定阈值，则目标像素可以被检测成与边缘相关联。
现在将参照下述实施例详细描述由散射度计算器410、段差计算器420和连续边界图案检测器430执行的操作。在该实施例中，向图像提供利用在此描述的操作可以识别的明显边缘特性。由帧(t-1)，t和(t+1)的以下像素值来标识图像，其中帧t的图像是4×7的像素块，并且“X”表示28个相关像素(4行×7列)中的目标像素。
由散射度计算器执行的操作包括确定阈值像素值。根据本发明一个实施方式，该阈值像素值可以等同于下列量的平方根而计算(相关像素的矩阵B/#的3个条目值)。矩阵B的像素值等同于矩阵A的像素值减去矩阵A的像素值的平均的平方。矩阵A等同于在帧(t-1)和t中提供的组合的像素值，其如下所示
矩阵A基于矩阵A的这些值，其产生平均像素值2(92/49)，矩阵B的值可以按如下得到
矩阵B矩阵B的值之和等于132(7(行1)+7(行2)+10(行3)+39(行4)+23(行5)+23(行6)+23(行7)＝132)。基于这些值，阈值像素值能够被计算为等于2.17＝(132/28)0.5。
段差计算器420评估多个像素值相对于目标像素(在帧“t”中以X示出)的差，如上所描述(例如，参见图4)。所考虑的像素通过帧(t-1)，t，(t+1)的下列突出显示的值示出
基于这些值，差可以通过评估(i)t帧中的上部像素相对于t-1帧的相应目标像素之间的差，(ii)t帧中的下部像素相对于t-1帧的相应目标像素之间的差，以及(iii)t-1帧的目标像素和t+1帧的目标像素之间的差，而计算。这些计算导致下列的计算的差(3×5矩阵)i(5 5 5 5 1)-(1 1 4 1 1)＝(4 4 1 4 0)
ii(5 5 5 5 1)-(1 5 5 1 1)＝(4 0 0 4 0)iii(5 5 5 5 1)-(5 5 5 5 1)＝(0 0 0 0 0)连续边界图案检测器430通过将经过计算的3×5差矩阵乘以权向量而计算值的矩阵，该权向量示为具有值(1 2 2 2 1)的5×1向量，以产生上部行、下部行、和目标行的下列值上部4 8 2 8 0下部4 0 0 8 0目标0 0 0 0 0这些值用于计算下列量diff_upper＝3 4+8+2+8+0＝22(用于上部行)，diff_lower＝3 4+0+0+8+0＝12(用于下部行)和diff_prev＝3 0+0+0+0+0＝0(用于目标行)。这些量diff_upper＝22，diff_lower＝12和diff_prev＝0然后与由散射度计算器410确定的阈值像素值(2.17)进行比较。具体来说，每当两个条件中的至少一个存在时(i)值diff_prev小于阈值像素值并且值diff_upper大于阈值像素值；或者(ii)值diff_prev小于阈值像素值并且值diff_lower大于阈值像素值，考虑的目标像素能够被标识作为“边缘”像素。基于这两个条件，目标像素(X)能被标识为边缘像素，因为diff_prev＝0(2.17；diff_upper＝22＞2.17；并且diff_lower＝12＞2.17。
在附图和说明书中，公开了本发明的典型优选的实施方式，并且，尽管使用特定的术语，但是它们被用作通用的和描述的含义，并不用作限制目的，本发明的范围在权利要求中阐明。
对在先申请的引用本申请根据35 USC’119要求2006年2月28日提交的、申请号为10-2006-0019531的韩国申请的优先权，将其全部内容在此并入作为引用。
权利要求
1.一种视频图像去隔行装置，包括场内处理器，响应于描绘时变视频图像的场数据，所述场内处理器配置为确定该时变视频图像的第一场中的多个忽略像素的边缘和边缘陡度特性；以及场间处理器，响应于该场数据，所述场间处理器配置为标识具有时不变特性的第一场中的像素。
2.按照权利要求1的去隔行装置，其中，所述场内处理器被配置成，通过确定在第一场内多个像素的像素值之间的第一差，其中所述第一场内多个像素沿以第一角度延伸穿过忽略像素的第一线而设置，来确定第一场内忽略像素的边缘和边缘陡度特性。
3.按照权利要求2的去隔行装置，其中，所述场内处理器还被配置成，通过确定在第一场内多个像素的像素值之间的第二差，其中所述第一场内多个像素沿以与第一角度垂直的第二角度延伸穿过第一场的第二线而设置，来确定第一场内忽略像素的边缘和边缘陡度特性。
4.按照权利要求3的去隔行装置，其中，所述场内处理器被配置成，通过由第一差确定二阶差，来确定第一场内忽略像素的边缘和边缘陡度特性。
5.按照权利要求2的去隔行装置，其中，所述场内处理器被配置成，通过由第一差确定二阶差，来确定第一场内忽略像素的边缘和边缘陡度特性。
6.按照权利要求1的去隔行装置，其中，所述场内处理器被配置成，通过确定与围绕该忽略像素的多个像素相关的阈值像素值差，来确定第一场内忽略像素的边缘和边缘陡度特性。
7.按照权利要求1的去隔行装置，其中，所述场间处理器被配置成，通过评估在后续场像素和具有与后续场相同的有效线的先前场的相应像素之间的像素值的差，来标识在第一场内的忽略像素的时不变特性。
8.按照权利要求7的去隔行装置，其中，所述场间处理器被配置成，通过评估在先前场中相应像素和第一场中邻接所忽略像素的上一线像素之间的像素值的差，来标识第一场中的忽略像素的时不变特性。
9.按照权利要求8的去隔行装置，其中，所述场间处理器被配置成，通过评估在先前场中相应像素和第一场中邻接所忽略像素的下一线像素之间的像素值的差，来标识第一场中的忽略像素的时不变特性。
10.一种视频图像去隔行装置，包括场内处理器，响应于描绘时变视频图像的场数据，所述场内处理器配置为，确定该时变视频图像的第一场中的多个忽略像素的边缘和边缘陡度特性。
11.按照权利要求10的去隔行装置，其中，所述场内处理器被配置成，通过确定在第一场内多个像素的像素值之间的第一差，其中所述第一场内多个像素沿以第一角度延伸穿过忽略像素的第一线而设置，来确定第一场内忽略像素的边缘和边缘陡度特性。
12.按照权利要求11的去隔行装置，其中，所述场内处理器还被配置成，通过确定在第一场内多个像素的像素值之间的第二差，其中所述第一场内多个像素沿以与第一角度垂直的第二角度延伸穿过第一场的第二线而设置，来确定第一场内忽略像素的边缘和边缘陡度特性。
13.按照权利要求12的去隔行装置，其中，所述场内处理器被配置成，通过由第一差确定二阶差，来确定第一场内忽略像素的边缘和边缘陡度特性。
14.一种视频图像去隔行装置，包括场内处理器，响应于描绘时变视频图像的场数据，所述场内处理器配置为确定该时变视频图像的第一场中的多个忽略像素的边缘特性；以及场间处理器，响应于该场数据，所述场间处理器配置为标识具有时不变特性的第一场中的像素。
15.按照权利要求14的去隔行装置，其中，所述场内处理器被配置成，通过确定在第一场内多个像素的像素值之间的第一差，其中所述第一场内多个像素沿以第一角度延伸穿过忽略像素的第一线而设置，来确定第一场内忽略像素的边缘特性。
16.按照权利要求15的去隔行装置，其中，所述场内处理器还被配置成，通过确定在第一场内多个像素的像素值之间的第二差，其中所述第一场内多个像素沿以与第一角度垂直的第二角度延伸穿过第一场的第二线而设置，来确定第一场内忽略像素的边缘特性。
17.按照权利要求16的去隔行装置，其中，所述场内处理器被配置成，通过由第一差确定二阶差，来确定第一场内忽略像素的边缘特性。
18.按照权利要求15的去隔行装置，其中，所述场内处理器被配置成，通过由第一差确定二阶差，来确定第一场内忽略像素的边缘特性。
19.按照权利要求14的去隔行装置，其中，所述场内处理器被配置成，通过确定与围绕该忽略像素的多个像素相关的阈值像素值差，来确定第一场内忽略像素的边缘特性。
20.按照权利要求14的去隔行装置，其中，所述场间处理器被配置成，通过评估在后续场像素和具有与后续场相同的有效线的先前场的相应像素之间的像素值的差，来标识在第一场内的忽略像素的时不变特性。
全文摘要
一种视频图像去隔行装置，其中包括场内和场间处理器。该场内处理器响应于描绘时变视频图像的场数据(例如，视频图像场序列)。该场内处理器配置为确定在时变视频图像的场中的多个忽略像素的边缘和边缘陡度特性。也响应于场数据的场间处理器配置为标识具有时不变特性的像素。
文档编号H04N7/01GK101079961SQ20071012923
公开日2007年11月28日 申请日期2007年2月28日 优先权日2006年2月28日
发明者裵基星 申请人:三星电子株式会社