专利名称：隔行视频图像中的缺失行的恢复方法
隔行视频图像中的缺失行的恢复方法技术邻域本发明属于数字视频信号处理邻域，具体地说，涉及一种隔行视频图像中的缺失行的恢复方法。
背景技术：
对于隔行数字视频信号，传统的运动自适应解隔行方法通常是对于静止的图像使用3D的信息进行插值，而对于运动的图像使用2D的信息进行插值。这里，2D的意思是指一场隔行图像中的信息，即场内信息。本发明讨论的问题就是如何通过2D场内插值的方法来产生隔行视频图像中的缺失行。如图1所示，对于一场隔行图像，其中只有或奇行或偶行的一半图像信息，即奇场图像只含有图像的奇数扫描行，而偶场图像只含有图像的偶数扫描行。奇场与偶场图像交替传送就形成了通常所说的隔行视频图像流。在传统的运动自适应解隔行方法中，当图像内容发生变化时，我们要使用2D场内插值的方法来产生隔行视频图像中的缺失行，这通常也称为2D解隔行操作，即对于一幅奇场图像，利用该场图像内的信息产生缺失的偶数行像素，而对于一幅偶场图像，则利用该场图像内的信息产生缺失的奇数行像素。如图1所示，在通常情况下，2D解隔行的操作是对奇场图像来说，利用奇行1和奇行3来插值产生缺失的偶行a，利用奇行3和奇行5来插值产生缺失的偶行b，等等；对偶场图像来说，利用偶行2和偶行4来插值产生缺失的奇行c，利用偶行4和偶行6来插值产生缺失的奇行d，等等。对于图像最上面和最下面的缺失行，我们可以简单的进行特殊处理， 如重复缺失行的下一行或上一行来表示缺失行。这种特殊处理由于发生在图像的最上边缘和最下边缘，故不会影响观看。最常见的2D解隔行操作是利用缺失行的上一行与下一行的像素平均值来作为缺失行的像素值，例如，图1中的缺失偶行a可以这样得到a =(奇行 1+奇行 3)/2也就是说，缺失行a中的一个像素的值等于该像素上方奇行1中的像素值与该像素下方奇行3中的像素值的平均值。这种“上下平均”的简单方法可以处理大部的2D解隔行问题，但对于“小角度边缘”的情况却力不从心。从图2中可以清楚的看到，当图像中存在小角度的边缘时，采用上下平均的简单插值法不能恢复出原始的逐行图像，其结果会使原逐行图像中的小角度边缘呈现出阶梯状。在这种情况下，如果能检测到小角度边缘的走向并沿着边缘的方向进行插值，如图中所示缺失行的“ ”像素是沿着边缘的方向由“■”像素插值得到的，那么2D解隔行的结果就可以完全恢复原逐行图像的边缘。小角度边缘的走向通常是通过窗口匹配的技术来确定的。在图中，我们看到在缺失行的上一行和下一行中可以找到匹配的两个检测窗口，而这两个窗口的位置就决定了边缘的走向，进而也就决定了缺失行对应的“ ”像素的位置。可以预想到，针对角度越小的边缘，匹配检测窗口就需要越宽，也就越耗费芯片资源。另外，由于视频图像中总存在噪音，所以这里的“匹配”并不是指两个匹配检测窗口中对应的像素都完全相同，而是指总体来说两个检测窗口中的像素“最相近”。小角度插值方法的关键是准确检测小角度边缘的走向。由于隔行图像只含有原逐行图像的一半信息，所以在很多情况下准确判断小角度边缘的走向会变得非常困难，而误判的情况也会经常发生。以图3所示为例，原逐行图像显示了四个英文字母“BETH”。如果它们之间的间隔行如图所示是隔行图像中的一行缺失行，则我们要利用缺失行的上一行和下一行进行匹配检测及小角度插值。从缺失行的上一行和下一行的像素分布来看，匹配检测窗口 3和匹配检测窗口 4比别的方向上的匹配检测窗口都“相近”，也就是说匹配检测的结果说明沿着匹配检测窗口 3和匹配检测窗口 4的方向存在着一条小角度的边缘。然而， 在原逐行图像中我们可以知道对应的缺失行中并没有任何深色的像素，也就不存在一条小角度的边缘，故上面的匹配检测结果其实是错误的。如果按照这样错误的匹配检测结果来进行小角度的插值，那么得到的缺失行中就会出现不应该存在的一些深色像素。类似图3中的容易引起匹配检测误判的情况在实际中会经常遇到。所以利用小角度插值来实现2D解隔行的方法极大的依赖于能否降低误判的发生几率。
发明内容
本发明的目的在于提供一种隔行视频图像中的缺失行的恢复方法，以解决目前的小角度插值方法容易导致匹配检测误判从而无法最接近地恢复出原始的逐行图像的技术问题。为了达到上述目的，本发明的技术方案如下一种隔行视频图像中的缺失行的恢复方法，包括如下步骤a)设定三个小角度插值窗口的步骤，包括以当前缺失像素为中心的2N+1个像素组成的小角度插值窗口，以该当前缺失像素上方像素为中心的2N+1个像素组成的上方小角度插值窗口，和以该当前缺失像素下方像素为中心的2N+1个像素组成的下方小角度插值窗口，其中N为正整数；b)分别以该当前缺失像素上方像素为中心的2N+1个像素和当前缺失像素下方像素为中心的2N+1 个像素为中心设定4N+2个匹配检测窗口的步骤，所有匹配检测窗口由不少于2N+3的奇数个像素组成，其中N为正整数；c)以穿过当前缺失像素且分别连接所述上方小角度插值窗口和下方小角度插值窗口中像素的2N+1条直线所对应的方向为匹配方向分别计算出2N+1 个匹配检测值并以其中最小的匹配检测值作为最佳匹配检测值；d)确定并存储最佳匹配方向信息的步骤；e)沿该最佳匹配检测值所对应的方向得到上一缺失行中对应的像素H; f)判断该最佳匹配方向信息和上一缺失行中的对应的像素H的最佳匹配方向信息的差的绝对值是否小于等于用户设定的阈值；若是，则采用该最佳匹配方向上的插值计算恢复该当前缺失像素；若否，则上下平均计算恢复该当前缺失像素；若因匹配检测窗口的宽度不够而无法形成本步骤中的匹配检测窗口进行处理的当前缺失像素，则将最佳匹配方向记为垂直方向并插值计算恢复该当前缺失像素；g)按照上述步骤a)至步骤f)处理当前缺失像素同一行中的下一个像素直到当前缺失行处理完毕；h)按照上述步骤a)至步骤g)处理下一缺失行的步骤。采用上述方法，通过利用上一缺失行的匹配检测结果来判断当前缺失行的匹配检测有效性，能够极大的减少匹配检测误判情况的发生，提高匹配检测的准确性，从而使得小角度插值方法可顺利应用于隔行视频图像中的缺失行的恢复中，此时图像的缺失行的恢复能够更为准确。
图1是隔行视频流的奇场图像与偶场图像的示意图；图2是“上下平均”插值与小角度插值方法的对比图；图3是采用小角度插值方法后匹配检测误判的示意图；图4是本发明的小角度插值方法中的小角度插值窗口示意图；图5是本发明的小角度插值方法中的匹配检测结果的有效性检验示意图；图6是本发明的隔行视频图像中的缺失行的恢复方法的处理流程图。
具体实施例方式下面根据图4至图6，给出本发明的较佳实施例，并予以详细描述，使能更好地理解本发明的功能、特点。本发明中的小角度插值方法与系统利用了上一缺失行的匹配检测结果来检验当前缺失行的匹配检测结果，并判断当前缺失行的匹配检测结果是否有效。对判断为有效的匹配检测结果进行小角度的插值，而对于判断为无效的匹配检测结果进行传统的上下平均法处理。第一步是匹配检测。首先我们要限定小角度插值操作中角度的最小值，这是通过规定小角度插值窗口的宽度来实现的。如图4所示，小角度插值窗口是一个宽度为2N+1个像素的窗口。缺失行的上一行和下一行中各定义一个小角度插值窗口，分别以缺失行中当前插值像素“X”的上方像素“A”和下方像素“B”为中心。将缺失行的上一行中的小角度插值窗口记为pup，其中从左到右的2N+1个像素记为pup(l)，pup (2)，. . ·，pup QN+1)，而其中中心像素A为pup (N+1)。类似的，缺失行的下一行中的小角度插值窗口记为pdn，其中从左到右的2N+1个像素记为pdn (l),pdn(2),... , pdn (2N+1)，而其中中心像素B为pdn (N+1)。 当像素pup (1)被匹配到像素pdn ON+1)，或当像素pdn (1)被匹配到像素pup (2N+1)时，匹配走向的角度达到最小，而这个最小角度可以这样计算θ min = arctan [3/ (2N+1)]举例来说，如果小角度插值窗口的宽度为9个像素，那么所能处理的最小插值角度应当为θ min = arctan [3/9] ^ 18. 435degrees也就是说，如果用户想要小角度插值对应的最小角度约为18 19度，那么就选取宽度为9的小角度插值窗口。在实际中，随着小角度边缘对应的角度小于θπ η并逐渐减小，小角度插值的效果也会逐渐变差。显然，越小的θ min也意味着越大的小角度插值窗口，从而需要越多的数字视频处理芯片的资源。在确定了小角度插值窗口的宽度后，我们定义匹配检测窗口的宽度M为不小于 2N+3的奇数。在匹配检测中，我们共有2M2N+1)个匹配检测窗口，分别以缺失行的上一行中的pup⑴，pup⑵，...，pup (2N+1)和缺失行的下一行中的pdn(l)，pdn (2),...， pdn(2N+l)为窗口中心。这里要注意的是，越大的匹配检测窗口虽然在一定程度上可能提高匹配检测的准确性，但同时也会导致更多的运算从而增加芯片的成本。而且，很大的匹配检测窗口有可能包含了过多与插值像素相关性很弱的信息一一这是因为很大的匹配检测窗口会包含距离插值像素位置很远的像素，故检测的准确性也会受到影响。所以，在实际的小角度插值电路的设计中，匹配检测窗口的宽度不应选取的过大，本发明的推荐值即为M = 2N+3。因为匹配检测窗口的宽度为M，所以一行缺失行的开始(M+l)/2个像素和结尾(M+l)/2个像素会因窗口宽度不够而无法处理的，对于这些图像边界附近的像素，我们可以简单的规定进行上下平均处理，即X= (A+B)/2。此处也可以理解为，若因匹配检测窗口的宽度不够而无法形成本步骤中的匹配检测窗口进行处理的当前缺失像素，则将最佳匹配方向记为垂直方向。为了方便叙述，我们进一步定义匹配检测窗口中的M个像素为
权利要求
1.一种隔行视频图像中的缺失行的恢复方法，包括如下步骤a)设定三个小角度插值窗口的步骤，包括以当前缺失像素为中心的2N+1个像素组成的小角度插值窗口，以该当前缺失像素上方像素为中心的2N+1个像素组成的上方小角度插值窗口，和以该当前缺失像素下方像素为中心的2N+1个像素组成的下方小角度插值窗口，其中N为正整数；b)分别以该当前缺失像素上方像素为中心的2N+1个像素和当前缺失像素下方像素为中心的2N+1个像素为中心设定4N+2个匹配检测窗口的步骤，所有匹配检测窗口由不少于 2N+3的奇数个像素组成，其中N为正整数；c)以穿过当前缺失像素且分别连接所述上方小角度插值窗口和下方小角度插值窗口中像素的2N+1条直线所对应的方向为匹配方向分别计算出2N+1个匹配检测值并以其中最小的匹配检测值作为最佳匹配检测值；d)确定并存储最佳匹配方向信息的步骤；e)沿该最佳匹配检测值所对应的方向得到上一缺失行中对应的像素H；f)判断该最佳匹配方向信息和上一缺失行中的对应的像素H的最佳匹配方向信息的差的绝对值是否小于等于用户设定的阈值；若是，则采用该最佳匹配方向上的插值计算恢复该当前缺失像素；若否，则上下平均计算恢复该当前缺失像素；若因匹配检测窗口的宽度不够而无法形成本步骤中的匹配检测窗口进行处理的当前缺失像素，则将最佳匹配方向记为垂直方向并插值计算恢复该当前缺失像素；g)按照上述步骤a)至步骤f)处理当前缺失像素同一行中的下一个像素直到当前缺失行处理完毕；h)按照上述步骤a)至步骤g)处理下一缺失行的步骤。
2.如权利要求1所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述定义最佳匹配方向信息的步骤具体为若最佳匹配检测值所对应的方向所指向的上方小角度插值窗口中的像素是该上方小角度插值窗口中的第k个像素，则定义最佳匹配方向信息为k ； 所述用户设定的阈值为曲率设置寄存器APT中用户设定的值，该值为0到2N中的一个。
3.如权利要求1所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述定义最佳匹配方向信息的步骤具体为若最佳匹配检测值所对应的方向所指向的下方小角度插值窗口中的像素是该下方小角度插值窗口中的第k’个像素，则定义最佳匹配方向信息为 k’;所述用户设定的阈值为曲率设置寄存器APT中用户设定的值，该值为0到2N中的一个。
4.如权利要求1至3中任一权利要求所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述插值计算的具体方法为，所述当前缺失像素的像素值为最佳匹配方向上所确定的上方小角度插值窗口中像素的像素值和下方小角度插值窗口中像素的像素值之和的平均值。
5.如权利要求4所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述对应缺失行中的一个缺失像素的最佳匹配方向信息存储在最佳匹配方向存储器中，该最佳匹配方向存储器对应每一个缺失像素的存储单元的位宽大于等于log2QN+l)。
6.如权利要求5所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述最佳匹配方向存储器为两个，用于轮流存储当前缺失行的最佳匹配方向信息和上一缺失行的最佳匹配方向信息。
7.如权利要求5所述的隔行视频图像中的缺失行的恢复方法，其特征在于，利用一小块临时存储器作为缓存器来实现当前缺失行的最佳匹配方向信息和的上一缺失行的最佳匹配方向信息的读写与覆盖操作。
8.如权利要求5所述的隔行视频图像中的缺失行的恢复方法，其特征在于，在每一幅隔行图像的恢复处理之前，所有的最佳匹配方向存储器先清零。
9.如权利要求4所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述像素值是亮度值。
10.如权利要求1所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述定义最佳匹配方向信息的步骤具体为最佳匹配方向信息为最佳匹配方向的斜率值。
11.如权利要求10所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述计算的具体方法为，所述当前缺失像素的像素值为最佳匹配方向上所确定的上方小角度插值窗口中像素的像素值和下方小角度插值窗口中像素的像素值之和的平均值。
12.如权利要求11所述的隔行视频图像中的缺失行的恢复方法，其特征在于，所述像素值是亮度值。
全文摘要
本发明公开了一种隔行视频图像中的缺失行的恢复方法，包括步骤设定小角度插值窗口的步骤；设定匹配检测窗口的步骤；计算最佳匹配检测值；沿该最佳匹配检测值所对应的方向得到上一缺失行中对应的像素H；判断该最佳匹配方向信息和上一缺失行中的对应的像素H的最佳匹配方向信息的差的绝对值是否小于等于用户设定的阈值；若是，则采用该最佳匹配方向上的插值计算恢复该当前缺失像素。采用上述方法，通过利用上一缺失行的匹配检测结果来判断当前缺失行的匹配检测有效性，能够极大的减少匹配检测误判情况的发生，提高匹配检测的准确性，从而使得小角度插值方法可顺利应用于隔行视频图像中的缺失行的恢复中，此时图像的缺失行的恢复能够更为准确。
文档编号H04N7/01GK102196232SQ201010120648
公开日2011年9月21日 申请日期2010年3月9日 优先权日2010年3月9日
发明者俞诚, 张琦, 朱舸, 鲁恒 申请人:富士通微电子(上海)有限公司