专利名称：：用于在隔行与逐行扫描视频之间进行转换的设备和方法
技术领域：
：本发明涉及图像处理。视频图像捕获代表一种空间及时间采样处理。图像作为一组设置在各行或线中的像素而被捕获。在间隔开的时刻处捕获连续图像。一种复杂情况是对于隔行视频捕获和处理的共同使用。在隔行视频信号中，每个图像作为两组交替像素线或者交替像素线的两个场而#皮操纵。例如，可以把奇数编号的各线包括在一个场内，同时可以把偶数编号的各线包括在下一个场内。所述隔行技术的一个优点在于，其给出了图像速率的表观加倍，从而在不显著增大视频信号带宽的情况下减轻了闪烁效应。所述隔行在水平和垂直方向上给出了不同的空间采样频率如果期望在隔行视频与逐行扫描(非隔行)视频之间进行转换，则对于非移动图像来说仅仅需要对两个连续场进行交织以重建存在所有像素线的非隔行帧。然而，如果有任何显著的场间运动，则上述方法可能不适用。在这种情况下，更为适当的做法可能是从一个场中的其他像素导出在该相同场中所缺失的像素线。换句话说，即使用内插处理。由于一个场可能表示处于任何指向上的项目的图像，因此适当的做法是根据附近的图像素材选择用于进行内插的方向，即尝试与所述项目的特征大致对准地进行内插。例如可以通过使用块匹配技术来4企测适当的内^翁方向。这种技术对于远离垂直的图像特征角度可能工作良好，但是在接近垂直角度的情况下则可能导致缺乏精度。参照附图4a到4c,下面将对其进行更加详细的描述。这三幅图示意性地说明了利用块匹配来尝试检测图像特征的角度，其中用不同的阴影像素(正方形)来指示所述图像特征。图中的小圆圈表示将被内插的缺失像素，并且所考虑的特定像素在其圆圏中有一个问号。应当注意到，在真实系统中，可以在不同的块尺寸和位移下实施许多块匹配操作，以便尝试识别出特定像素位置处的图像特征角度。可以利用真实像素实现图4a和4c的设置。但是为了检测出比图4a中所示出的更加接近垂直的梯度，需要利用分数像素位移来进行块匹配。这对于真实像素来说是不可能的。为了解决这一问题，已经提出应当在针对图像特征角度检测应用块匹配之前对图像进行上变换，以便在水平方向上将其像素数加倍。本发明提供图像处理设备，其中从输入图像的一个或多个像素的组生成输出图像的各像素，所述各组是根据所述输入图像中的图像特征方向而选择的，该i殳备包4舌内插器，其用于对所述输入图像的各像素之间的中间像素进行内插；以及块比较器，其用于检测所述输入图像中的各组测试像素块之间的相关性，所述各组测试块关于当前像素位置被定向成使得具有最大相关性的组的指向表明适用于所述当前像素位置的可能图像特征方向；其中对于其关于当前像素位置的角度指向处于垂直指向附近的预定范围内的至少一些测试块组，所述测试块包括所述输入图像的像素以及从所述输入图像的像素内插的中间像素；以及对于其他测试块组，所述测试块仅仅包括所述输入图像的像素。本发明认识到，上述类型的像素加倍(或者更一般来说是过采样)对于检测接近垂直的图像特征角度来说可能是非常有用的，但是其缺点在于，必须生成并且存储所述图像的经过上变换的版本以便允许实施各种块匹配测试。在通过一个或少数基于用户可编程逻辑元件的集成电路(比如专用集成电路(ASIC)或现场可编程门阵列(FPGA))来实现所述技术的情况下，存储双倍分辨率图像可能是特别成问题的，这是因为双倍分辨率场存储需要相对较大数目的这种逻辑元件。本发明通过提供对经过缩放的图像的选择性使用而解决和减轻了上述问题，其中认识到所述缩放在距离垂直的较小角度位移下更具相关性。这种设置允许在需要时生成经过缩放的像素，从而无需存储整个经过缩放的图像。下面将参照附图仅以举例的方式来描述本发明的各实施例，其中:图1示意性地示出了平屏显示器设置；图2示意性地示出了工作室环境中的视频混合操作；图3示意性地示出了隔行到逐行变换器；图4a到4c示意性地示出了梯度检测；图5和6a到6e示意性地示出了空间块匹配操作；图7a和7b示意性地示出了混叠情况；图8a到8d示意性地示出了混叠^r测技术；图9示意性地示出了Kell因数滤波操作；图10和11示意性地示出了Kell因数滤波操作中的各级；图12a示意性地示出了运动自适应内插器；图12b示意性地示出了连续^见频场之间的运动^r测；图13示意性地示出了高频检查操作；图14a和14b示意性地示出了一种降低对于图像缩放的需求的变型；图15、16a、16b、17a和17b示意性地示出了主要的和替换的像素测试策略；以及图18示意性地示出了差值的生成；图1示意性地示出了平屏显示器设置10，其包括隔行视频素材源20、隔行到逐行扫描变换器30以及显示面板40,所述显示面板比如是液晶(LCD)或等离子显示器。该图示出了对于隔行到逐行扫描变换的典型使用，其中许多广播信号具有隔行格式，而许多平板显示器则在逐行扫描格式下最为成功地操作。相应地，在图1中，由所述隔行素材源20接收的广播信号被用来生成隔行信号以供显示。所述隔行信号被传递到所述隔行到逐行扫描变换器30,以便从该隔行信号生成逐行扫描信号。该逐行扫描信号被传递到显示器40。应当认识到，所述隔行素材源20不必是广播接收机，而可以是诸如DVD播放器之类的视频回放设备以及诸如互联网连接之类的网络连接等等。图2示意性地示出了工作室环境中的视频混合操作，以便给出使用隔行到逐行扫描变换的另一个例子。在这里提供了隔行素材源50和逐行扫描素材源60。这些源可以是摄影机、诸如录像机或硬盘记录器之类的视频回放设备、广播接收机等等。来自所述隔行素材源50的隔行输出被提供到隔行到逐行扫描变换器70，以便生成逐行扫描信号。可以由视频混合器80把该逐行扫描信号连同来自源60的逐行扫描素材一起处理，以便生成经过处理的逐行扫描输出。当然，如果需要的话可以把该视频混合器80的逐行扫描输出变换回到隔行格式，以便例如用于后续的广播或记录。还应当认识到，该视频混合器80仅仅是视频处理设备的一个例子；在图2中的该位置处例如可以替换地使用数字视频效果单元。图3示意性地示出了隔行到逐行扫描变换器。概括地说，该变换器包括空间内插器100、运动自适应内插器110和一组三个场存储装置120。图3的变换器可操作地在与输入隔行场相同的重复频率下生成输出逐行扫描帧。因此，所述变换器的主要要求是生成每个隔行场中的"缺失的"像素，以便把该隔行场变成逐行扫描帧。这一点可以按照两种方式当中的一种来实现。一方面，所述空间内插器IOO通过在所涉及到的场内进行空间内插而生成所述"缺失的"像素。换句话说，这是场内操作。另一方面，所述运动自适应内插器通过插入来自具有相反极性的相邻场的像素而生成所述缺失的像素。这一点只有在场之间没有图像运动时才是有效的，因此图3的基本组织是在检测到图像运动的图像位置处使用所述空间内插器IOO的输出，而在没有检测到图像运动的像素位置处则使用所述运动自适应内插器IIO的输出。为了操作简单，所述空间内插器在每个像素位置处操作，而所述运动自适应内插器则选择该空间内插器的输出，或者选择来自具有相反极性的另一个场的像素以供输出，或者混合所述二者。下面将更加详细地描述所述运动自适应内插器。首先将描述所述空间内插器。所述空间内插器包括1-2水平像素缩放器130、空间块匹配器140、最小误差选择器150、对角线内插器160、点噪声减少器170以及Kell因数校正器180。下面将更加详细地描述其中的每一个的操作。所述缩放器130使用水平线性内插在所述输入隔行场的每两个像素之间生成一个附加像素值。因此，水平分辨率(至少在可用像素值数目方面)被加倍，但是在此阶段对于垂直分辨率没有差别。下面将参照图4A到4C描述水平缩放是适当的原因。正如下面将描述的那样，空间块匹配器140和对角线内插器160的总体操作是检测关于将在其中内插新像素的像素位置的图像特征的指向，以及随后沿着该图像特征方向应用内插。因此，如果将被内插的当前像素位置位于例如与水平成45。的对角线图像特征(线、边缘等等)之内，则对于该新像素的内插将沿着该45°方向发生。这可能往往会给出比起把所述内插限制到水平或垂直内插的情况更好的输出结果。因此，这一处理的关键部分显然是检测在每个像素位置处的图像特征的方向。所述检测是利用块匹配处理实施的。下面将更加详细地描述实际的块匹配处理。但是在此阶段，图4A示意性地示出了未知像素220(内部带有问号的圆圏)的位置周围的两个像素块200、210之间的成功块匹配。实际上，在这里的附图中所使用的符号是用正方形表示已知像素，同时用圆圈表示将被对角线内插器160内插的像素。图4A到4C中的阴影是图像特征的示意性表示。因此，参照图4A,在未知像素位置220周围的块200、210之间获得成功的块匹配，从而表明1/2的图像特征梯度。现在参照图4C，图像特征是垂直的，并且同样地在重叠的块230、240之间存在成功的块匹配。然而，在图4B中，所述图像特征的梯度是1/1。不可能获得与处在整凝j象素位置处的块的成功的块匹配。块250、260之间的成功匹配在半整数像素位置处发生。相应地，为了检测这种性质的梯度(实际上是比1/2更急剧的任何梯度)，必须在子像素(subpixel)精度下进行操作。在本例中采用了半像素精度。如果使用更高的精度(例如四分之一像素精度)，则将检测到更加接近垂直的梯度。在该实施例中，半像素精度被选择为处理要求与在非常尖锐的梯度下的精度之间的平衡。实际上，在下面将描述的本发明的实施例中，并不是通过任一级处的缩放器130对所有图像进行1:2缩放。下面将更加详细地描述对缩放的选择性使用。图5和6A到6E示意性地示出了所述空间块匹配操作。如上所述，在子像素精度下实施空间块匹配；在本例中是半像素精度。使用具有相应的搜索范围(相对于待测像素位置的最大位移)的块尺寸范围。考虑到所述1:2缩放操作，在下表中给出了示例性块尺寸和搜索范围块尺寸(以经缩放的像素计)搜索范围(以经缩放的像素计)3vx3h0h3vx5h3vx7h±2h…..'3vx41h±19h图5示意性地示出了未知像素位置320周围的两个3vx7h像素块300、310之间的块匹配操作。变量d表示所述块的水平中心与待测像素位置的水平位移。适用于所迷块匹配的一个条件是，所述块必须总是与待测像素位置重叠。此外，所述块在整数的真实像素位移下;^皮移位(因此位移w对应于2w个内插^^素的位移)。相应地，在图5中示出的特定块尺寸允许在-2像素(图6A)、-1像素(图6B)、0像素(图6C)、+1像素(图6D)、和+2像素(图6E)的位移下进行5个可能的测试。应当注意到，所述位移被按照经缩放的像素表示为与中心的位移。所述两个块被移位相等的数量，但是是在相反的方向上。使用对称的位移是因为否则的话所述块匹配可能会检测到与待测像素不相关的线或边缘。对于每个块匹配计算绝对差值和(SAD)。其被如下定义■S^DOc,;^,")-22Hp(je-"血，；；+办)-；(;(;+"a&i;,少+办+2)1其中，x、y表示当前像素坐标(y是帧线号)，d是所测试的位移，并且n是所述块的半径(该块宽度是n^2n+l)。一般来说，组合对应于三个颜色分量(红色、绿色和蓝色)的所述SAD值，并且最小归一化SAD值确定用于内插的梯度。进行各种检查以避免不良内插，正如下面所描述的那样。采取各种措施以避免由混叠情况所导致的问题。图7A和7B示出了可能的混叠情况。参照图7A,块340与350之间的块匹配暗示未知《象素330应当是暗灰色。这里，所述块匹配是100%成功的，因此所述SAD值将是O(应当注意，这是一个示意性的例子)。然而，在图7B中，块360与块370之间的块匹配也是100%成功的，同样给出为0的SAD值。图7B的块匹配暗示所述未知像素330应当是亮灰色。块匹配结果的这一冲突是在图7A和7B中示出的图像部分内的紧密间隔的对角线图像特征之间的混叠的产物。虽然最初看起来任一条对角线都是同样有效的(即从左上到右下的陡峭的对角线或者从右上到左下的更为平緩的对角线)，但是已经建立了处理规则以允许做出适当的选择。下面将描述所述规则。所述规则的基础是所述块匹配处理被限制到仅仅检测被视为"线段，，的区域。也就是说，块匹配中的每个块应当包含线段。经过数字化的线段被视为具有两种属性。首先，其沿着所讨论的块的中心扫描线行是单调的，其次，在所讨论的块内的各扫描线之间有垂直跳变。下面将参照图8A到8D描述应用这些测试的方式。在图8A中，源场包含多条对角线。图8B示意性地示出了图8A的图像内的一个像素行。图8C和8D示出了图8B中所示的对角线的两个边缘。可以看出，这些边缘当中每一个都具有表现出单调亮度变化的像素区域。此外，参照图8A，可以看出这种片段在相邻像素行之间展现出垂直跳变。因此，回到图7A和7B,根据上面描述的规则，图7A的块匹配将被拒绝，而图7B的块匹配将是优选的。这是因为图7B的两个块的中心像素线表现出单调亮度变化，而图7A中的块340、350的中心像素线则不是这样。实际上，所述规则并不是这么刻板地表示的。实际的规则涉及到所述线的以下各种属性之间的平衡单调性=<formula>formulaseeoriginaldocumentpage10</formula>平均垂直能量=<formula>formulaseeoriginaldocumentpage10</formula>所述规则是单调性+C1十(C2/块宽度)<平均垂直能量其中，Cl、C2是虑及数据中的噪声的常数。如果满足该条件，则把相关的块匹配用作有效内插方向。应当注意到，所述测试是关于每一个颜色分量(例如R、G和B)而单独执行的。必须单独通过所有三个测试。可替换地，例如为了节省硬件，可以执行少于三个测试。例如，可以但J又测试亮度或者^U又测试一个颜色分量。当然，可以替换地测试YcbCr或YpbPr表示法。上面所暗示的适用于块匹配的第二条规则是最小归一化SAD值确定用于后续内插的梯度。一般来说，所述方向是从具有最小误差(最小归一化SAD)的块匹配选择的。在这种情况下，如果所述归一化SAD小于阈值KFCthresh,则将不在后面使用所述校正器180的Kell因数校正。然而，如果所述归一化SAD值对于多个块偏移量是类似的(在阔值数量内)，或者如果在所有块匹配上获得的最小归一化SAD值大于预定的最大值，则将使用垂直内插，在这些情况下将总是使用Kell因数校正，并且所述归一化SAD值被设置到上面提到的预定最大值。适用于块匹配的第三条规则如下。该规则的基础是相邻的"未知"(将被内插的)像素应当表明与所考虑的当前像素类似的梯度。对于当前的"未知"像素，令G是预测梯度。令所述搜索范围是问/4+1(由于"G，，是按照经缩放的像素表示的，因此所述除法是必要的)。令C3…是可编程的常数。为了应用所述规则，检查处在相对于所述当前像素的-搜索范围到+搜索范围(闭区间)处的当前缺失线中的所有像素。在该范围内的满足下面不等式的每个预测梯度g令"计数器"值递增(IG卜d)<=C3(g-G)<=(|G|+d)随后，如果计数器^4〈C5，2x范围+l),则令v是原始值，令v，是垂直内插后的值，并且把结果设置到C6v，+(l-C6)v(优选形式)或者C6v，+C7v(更一般的形式)。把用于所述像素的归一化SAD值递增C8,该常数可以被设置成鼓励使用所述KFC。所述对角线内插器160是简单的像素平均器给定一个方向后，该对角线内插器选取下面的线中的该方向上的像素以及上面的线中的该方向上的像素，并且对其求平均。所述点噪声减少器170涉及到#皮应用于对角线内插器160的输出的处理。应用一个测试以检测内插后的像素是否处在4个垂直和水平像素(即在上、下、左、右四方紧接所述内插后的像素的各像素)的最大值与最小值之内。应当注意到，在该内插后的像素上方和下方的像素将是真实像素，而在其左侧和右侧的像素本身也将被内插。如果所述内插后的像素不在该范围内，贝'J:令v是所考虑的像素的原始值，令v，是v,其被限幅成处在所述4个局部相邻像素的范围内。令新的像素值是kDNRv，+(l-kNDR)v,其中kDNR是可编程的。下面将参照图9到11描述Kell因数校正器180的操作。Kell因数校正在这里的讨论中，提到所述Kell因数仅仅是为了帮助解释所述系统的该部分的操作。滤波器实际所利用的仅仅是关于所述源图像没有使用其可获得的完全带宽的知识，而不管这是由于扫描伪像还是由于低通滤波处理所造成的。所述Kell因数是表示逐行扫描和隔行图像的属性的量。为了表示所扫描的信息，通常认为仅仅表示了(或者应当表示)可能的垂直带宽的700/()(Kell因数)。因此，当执行隔行到逐行扫描变换时，尝试产生完全垂直带宽图像可能是有害的。相反，可以使用针对小于1的Kell因数的补偿。一种用以补偿所述Kell因数的方法将是对于任何隔行到逐行扫描算法的帧输出使用70%带宽滤波器。然而，该帧中的其中一个场是"真实"数据，也就是说，其^^皮正确地采样，因此来自该场的内容在定义上肯定是完美的。因此使用一种仅仅对内插的线进行滤波的方法。在图9中示意性地示出了通用Kell因数滤波操作。下面的数学和算法描述了一种适于对内插的线执行70%带宽滤波的滤波器。在经验测试中已经发现，该滤波器可以大大减少伪像，并且很重要的是应当注意到其结果也显著好于简单地对输入隔行视频执行l:2垂直放大(up-scaling)操作的情况。图IO和11示意性地证明了所述概念。在图10中示出了一般的想法，其中对逐行扫描帧中的真实像素I和内插像素s(选择性地)应用垂直滤波器。为了解释所述技术，考虑某些不存在的数据(特别是隔行场的缺失线)将是有用的。通过(对于所述导出的一部分)把这些线视为是确实存在的而进行处理，可以导出滤波器技术以便应用于这些线的经过内插的形式，从而生成对所述缺失线的经滤波的形式的近似。从下面的解释中可以明显看出这一点。参照图11,考虑假设的100%垂直带宽逐行图像500。这当然不存在；由于所述采样处理中的固有的滤波，其在最好的情况下将是70%滤波的。这样就形成了可以实现的逐行帧510。然而，即使是该帧我们也无法获得；替换地，以隔行形式作为场520来提供。该场520是到本隔行到逐行扫描变换处理的源数据。所述隔行场520被提供到隔行到逐行变换器，该变换器随后生成缺失的场线，以便产生重建帧530。然而，该帧530现在可能包含高于可用带宽的70%的频率。并不总是希望生成这种频率，这是因为该信息不存在于到所述隔行到逐行扫描变换器的源数据中。因此，应当产生该帧的不超出所述带宽极限的某一形式540,并且应当通过仅仅调节所述重建场线而不调节源场线来实现这一点一所述源场线是来自已经通过这种滤波器的图像，因此其是"完美"的。因此，产生所需的输出可以被视为理论图像550的低通滤波器输出，所述理论图像550是从来自与所述重建场隔行的原始100%垂直带宽图像的各线构造的。然而，所述原始100。/。垂直带宽图像不可用，因此下面将描述一种用以规避该问题的技术。3抽头源滤波器方法这是用以产生适当的滤波器的三种方法当中的第一种；仅仅推荐后两种方法，在这里的描述中包括该第一种方法以显示出演进。考虑具有下面的形式的3抽头低通对称滤波器滤波器=并且还考虑来自已经被从隔行转换到逐行扫描的视频的5条线的像素列尸<formula>formulaseeoriginaldocumentpage14</formula>其中，F是来自真实数据场的像素，/是内插的像素。应当注意到，这些值是已知的。所述真实场像素F必须从所述系统输出。在记录所述视频的过程中已经根据所述Kell因数对这些像素进行了滤波。因此，考虑所述滤波之前的原始视频一这是概念上的视频源，这是因为在对光学信息的采样中，实际的Kell因数滤波器将是固有的。如下描述该原始或伪输入视频伪输入=<formula>formulaseeoriginaldocumentpage14</formula>工-1/，其中，；c是来自所述概念上的100%垂直带宽源的未知的值，/是已经被空间内插的像素，并且有输出=伪输入*滤波器我们现在考虑输出像素^,其与伪输入像素/。垂直对准。<formula>formulaseeoriginaldocumentpage14</formula>我们不知道;m和a的值，因此输出像素的》值并不是直接已知的。然而，我们知道,尸i^以及y尸R，这是因为对于当前场的输出场线是已知的。因此可以找到H和Jd,并且随后可以找到少o:<formula>formulaseeoriginaldocumentpage15</formula>现在，通过下面的矢量给出适当的70%垂直带宽滤波器:32768.5138224925138因此有a=5138以及6=22492。从而有:<formula>formulaseeoriginaldocumentpage15</formula>对于与内插的线对准的p。否则因此，实际上利用5抽头滤波器解决了所述问题。5抽头源滤波器方法所述初始的对称3抽头滤波器的滤波特性相对较差，因此开发了一种通过使用初始的对称5抽头滤波器来改进这一点的方法。然而，该方法还要求使用所述3抽头滤波器，否则所述问题不会有解。令所述对称5抽头滤波器由3个系数a、b、c构成，并且可以通过[a,b,c,b,a]T来描述完整滤波器。类似地，令所述3抽头滤波器由两个系数d、e构成，并且可以通过[d,e,d]T来描述完整滤波器。根据前述内容，但是扩展到使用所述5抽头滤波器:<formula>formulaseeoriginaldocumentpage16</formula>如果我们尝试使用与之前相同的方法来对其求解，则所述问题需要求解一组联立等式，其中的未知数的数目多达所述图像的高度的一半。因此，这将不适用于切合实际的硬件设计。相反，考虑所述滤波器的预测形式，来自更远的相邻像素的结果对于输出的影响很可能要小于，的紧邻像素标准的低通滤波器具有这种形式的围绕中心抽头的较重权重。因此，当考虑像素w时，来自所述中心抽头和各紧邻像素的结果可以被视为从5抽头滤波器形成，而更远的结果则来自3抽头滤波器。因此有下面的等式<formula>formulaseeoriginaldocumentpage16</formula><formula>formulaseeoriginaldocumentpage17</formula>上面定义的示例性3抽头滤波器如下:<formula>formulaseeoriginaldocumentpage17</formula>因此，可以利用下面的矩阵计算输出像素^:<formula>formulaseeoriginaldocumentpage17</formula>其中，十2被用来确保有单位DC增益(由于舍入误差因而需要这样做)。7抽头源滤波器方法与所述5抽头方法类似，所述7抽头方法需要使用7抽头滤波器、5抽头滤波器以及3抽头滤波器。令所述对称7抽头滤波器由4个系数a、6、c、t/构成，并且可以通过[a,6,c,《c,6,a]T来描述完整滤波器。类似地，令所述5抽头滤波器由3个系数e、/、g构成，并且可以通过[e,/g,/e]T来描述完整滤波器。最后，令所述3抽头滤波器由两个系数y'、A构成，并且可以通过[/',A,/]T来描述完整滤波器。现在我们考虑所述输出像素W及其相邻像素<formula>formulaseeoriginaldocumentpage18</formula>同样地，该等式求解起来不实际，因此我们应当利用7抽头头和3抽头滤波器的组合来求解该等式<formula>formulaseeoriginaldocumentpage18</formula>该等式可以被如下求解:<formula>formulaseeoriginaldocumentpage19</formula><formula>formulaseeoriginaldocumentpage20</formula>上面定义的示例性3抽头滤波器如下:<formula>formulaseeoriginaldocumentpage20</formula>因此，可以利用下面的矩阵计算所述输出像素w:<formula>formulaseeoriginaldocumentpage20</formula>该等式被用在每一个空间内插的像素上。其响应是带阻滤波器，其阻带在0.66到0.8f;/2之间；然而，解释该响应是非常复杂的，这是因为其仅被用于交替的输出像素。图12a示意性地示出了所述运动自适应内插器IIO的操作。该内插器110包括场间块匹配器600、高频检查器610以及混合器620。所述场间块匹配器600使用来自当前输入场和所述三个场存储装置120的数据来实施场间运动比较。这涉及到把当前场(图12b中的FN)的各像素块与其相同类型的在前场(FN-2)中的相应定位的各块进行比较，同样还涉及到把前一场(Fn^)与其相同类型的在前场(FN_3)进行比较。这些比较的结果被用来检测图像中的运动程度。特别地，如下生成绝对差值的加;^又和(SWAD)。执行4个块匹配以产生两个加权SAD。它们是-场FN和FN-2上的5hx4v加权块匹配。块匹配。-场Fn"和FN-3上的lhxlv加权块匹配。-场FN和FN_2上的lhx2v加权块匹配。各加权块匹配对重合像素之间的加权绝对差值进行求和，即SWAD。其中，fn-i(dx,dy)是在与当前像素的帧相对位置dx、dy处的值。可以在附录中找到w的示例性值。对前两个SWAD求和给出了基于区域的块匹配，即SWADAREA。对后两个SWAD求和给出了局部化的块匹配，即SWADlocal。所有三个颜色分量都按照相同的方式为所述SWAD做出贡献。所述系统仅仅需要为每个像素保持所述三个分量的SAD,随后对该SAD进行加权并且将其与来自所述块中的其他像素的值相组合。这意味着所述处理的这方面仅仅需要大约10bpp(比特每像素)的5个线存储装置。所迷高频检查器610被设置成检测输入场中的高频。所述算法是基于下面的原理。如果对两个源场进行交织产生许多高频能量，则适当的做法是尝试确保所述输入是合理地静态的。只有静态视频才会产生可靠的高频；高度混叠的运动可能产生高频，但是这对于场间内插来说并不是所期望的情况。如杲存在运动，则可能在所述场4支不正确地交织的位置处产生高频。参照图13,所述高频检查器使用来自当前场Fw的处于当前内插的像素的上方和下方的线以及来自前一场F>m的对应于所述缺失线的线。所述HFC可以祐j见为5x31象素邻域4企查。令HFQhresM和HFCth^h2是两个可编程的常数，其中前者大于后者。设置一个标志exceededHighEnergy二假在每一个分量(或其子集)(RGB/YPbPr)上一其中YPbPr按照与标准清晰度系统中的YCbCr类似的方式表示高清晰度系统中的颜色空间设置energy(能量)=0对于具有水平位置x=-2,-l,0,l,2(相对于当前像素)的像素，令经过交织的场值是v。，并且其上方和下方的线的当前场值是V-!和Vl,则有ifv0<min(vi,v—i),i殳置diff=min(vi,v—i)隱v0elseifvO〉max(vl，v國l),i殳置diff=vO画max(vl,v國l)else设置diff=0If(dif&HFCthreshi),^殳置energy=energy+(HFCthreshi-HFCthresh2)*weighting[x]elseif(diff^HFQhresh2),i殳置energy=energy+(diff-HFCthresh2)*weighting[x]Ifenergy〉HFCaiio丽ce，设置标志exceededHighEnergy二真这样就结束了在每个分量上实施的处理。随后，如果exceededHighEnergy-真，则把SWADAREA增大一个可编程的常数值HFCpenaity。SWADAREA的所述增大将往往会违反在该输出位置处使用运动自适应像素。所述混合器620根据SWADarea和SWADlocal以及各种阈值thresh等标准来操作。IfSWADLOCAL〉threshi,仅仅使用空间内插的场FN，ElseifSWADAREA>thresh2,仅仅使用空间内插的场FN，ElseifSWADAREA<thresh2,仅仅使用场Fj^Else混合场F^与FN，4^a=(thresh2-SWADAREA)/(thresh2-thresh3)所得到的像素值=&+(1-a)FN，图14a和14b示意性地示出了降低了对于图像缩放的需求的变型。特别地，图14a示意性地示出了上面描述的实施例的操作，其中每一个像素行(在该图中被表示为no口o...)包含真实像素以及来自缩放器130的经过1:2内插的像素。示出了两个块700、710之间的示例性块匹配以及两个块720、730之间的另一个块匹配。在图14a中的两个块匹配之间的共同之处在于，所述各块的最边缘的像素是经过1:2内插的像素o。因此，该方法依赖于已经被1:2缩放器缩放过的整个图像。在图14b中对于所述块的尺寸做了非常小的改变，从而所述最边缘的像素是真实像素而不是经过内插的像素。在图14b的上部中，测试与图14a的上部中相同的图像特征角度，但是使得块740、750略微更宽，从而使其边缘像素是真实像素口。类似的考虑适用于图14b的下部，其中示出了块760、770之间的匹配，所述匹配测试与图14a的下部中示出的匹配相同的图像特征角度。于是情况就是对于例如在图14a和14b中示出的那些大块来说，实际上不需要在各对经过内插的像素之间进行比较。可以从真实(非内插)像素的基本比较中获得相同的信息。然而，回想起之所以引入像素内插的最初原因是允许检测陡峭(接近垂直)的图像特征角度。因此，在一种设置中，本实施例保留对于较小块偏移量的1:2内插操作，以便允许更好地检测这种陡峭角度。例如，±1和0的块偏移量范围可以使用经过1:2内插的像素，而大于这一范围的块偏移量则不需要使用所述经过1:2内插的像素。在另一种变型中，仅仅对于其最大正偏移量和最大负偏移量在匹配操作中使用每个块尺寸。这样可以大大减少所需要的块匹配操作的数目，同时实际上不损失任何信息，这是因为先前的方案例如对于每个块尺寸在O位移处(垂直图像特征)重复了所述块匹配测试。当结合在一起时，上述措施可以允许"按照需要"实施所述1:2内插，也就是说，响应于该子集内的像素包含在将由例如所述块匹配器内的块比较器测试的测试块中，单独地处理1:2像素块，而不是由所述缩放器130处理整个内插像素场。这样降低了对于用来保存内插像素场的场存储装置的需求。相反，仅仅需要由所述块匹配器緩冲几条线上的几个内插像素。图15、16a、16b、17a和17b示意性地示出了主要和替换像素测试策略。针对上面描述的设置的另一个替换方案是对于适用于块匹配的所述规则的另一种改变，以便降低该操作的硬件要求。对于上面描述的水平能量的原始等式如下<formula>formulaseeoriginaldocumentpage23</formula>其中x指代所述块的中心行。其可以被以下等式替代。广f块宽度i￡《M,力l+(块宽度,力-"l，y所述经过修正的测试是关于内插的行对称的。图15示意性地示出了块匹配。图16a和16b示意性地示出了将关于该块匹配执行的针对水平和垂直能量的原始测试。图17a和17b示意性地示出了所述经过修正的测试，其中示出了相同的两行:故用于全部两个测试。这意味着相同的逻辑可以实施全部两个测试，从而导致减少了实现该规则所需的硬件。最后，图18示意性地示出了差值的生成。利用图18的设置，可以作为滚动平均值来计算SAD值，其中在插入一个新值时丟弃一个旧值。这同样可以减少实现该特征所需要的处理和硬件。虽然关于隔行到逐行扫描变换描述了各实施例，但是相同的技术也适用于改变图像(比如逐行扫描图像)的尺寸(例如高度)。例如，所述技术可以^丸行1:3或1:4缩放。应当认识到，可以用在适当软件的控制下操作的可编程或半可编程硬件来实现本发明。这可以是通用计算机或者诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)之类的设置。所述软件可以在诸如盘或固态存储器之类的存储介质上提供，或者可以通过诸如网络或互联网连接之类的传输介质提供，或者可以通过二者的组合来提供。附录<table>tableseeoriginaldocumentpage25</column></row><table>权利要求1、图像处理设备，其中从输入图像的一个或多个像素的组生成输出图像的像素，所述组是根据所述输入图像中的图像特征方向而选择的，该设备包括内插器，其用于对所述输入图像的各像素之间的中间像素进行内插；以及块比较器，其用于检测所述输入图像中的各组测试像素块之间的相关性，所述各组测试块关于当前像素位置被定向成使得具有最大相关性的组的指向表明适用于所述当前像素位置的可能图像特征方向；其中对于其关于当前像素位置的指向处于垂直指向附近的预定范围内的至少一些测试块组，所述测试块包括所述输入图像的像素以及从所述输入图像的像素内插的中间像素；以及对于其他测试块组，所述测试块仅仅包括所述输入图像的像素。2、根据权利要求1所述的设备，其中，对于其关于所述当前像素位置的指向处于垂直指向附近的预定范围内的全部测试块组，所述测试块包括所述输入图像的像素以及从所述输入图像的像素内插的中间像素。3、根据权利要求1或2所述的设备，其中，所述内插器可操作地关于所述输入图像的各像素子集来内插所述中间像素，其中响应于每个子集内的像素^C包括在将由所述块比较器测试的测试块中而单独处理该子集。4、根据权利要求3所述的设备，其中，每个子集包括一个测试像素块。5、根据先前任一权利要求所述的设备，其中，所述测试块的尺寸通常随着与垂直指向的角度位移的增大而增大。6、视频混合设备，其包括根据先前任一权利要求所述的图像处理设备。7、视频显示设备，其包括根据权利要求1到5中的任一权利要求所述的图像处理设备。8、图像处理方法，其中从输入图像的一个或多个像素的组生成输出图像的像素，所述组是根据所述输入图像中的图像特征方向而选择的，该方法包括以下步骤对所述输入图像的各像素之间的中间像素进行内插；以及检测所述输入图像中的各组测试像素块之间的相关性，所述各组测试块关于当前像素位置被定向成使得具有最大相关性的组的指向表明适用于所述当前像素位置的可能图像特征方向；其中对于其关于当前像素位置的指向处于垂直指向附近的预定范围内的至少一些测试块组，所述测试块包括所述输入图像的像素以及从所述输入图像的像素内插的中间像素；以及对于其他测试块组，所述测试块仅仅包括所述输入图像的像素。9、具有程序代码的计算机软件，当由计算机执行所述程序代码时，其被设置成使得该计算机实施根据权利要求8所述的方法。10、一种介质，其中通过该介质来提供根据权利要求9所述的软件。11、根据权利要求IO所述的介质，该介质是存储介质。12、根据权利要求IO所述的介质，该介质是传输介质。全文摘要本发明涉及图像处理设备，其中从输入图像的一个或多个像素的组生成输出图像的像素，所述组是根据所述输入图像中的图像特征方向而选择的，该设备包括内插器，其用于对所述输入图像的各像素之间的中间像素进行内插；以及块比较器，其用于检测所述输入图像中的各组测试像素块之间的相关性，所述各组测试块关于当前像素位置被定向成使得具有最大相关性的组的指向表明适用于所述当前像素位置的可能图像特征方向；其中对于其关于当前像素位置的指向处于垂直指向附近的预定范围内的至少一些测试块组，所述测试块包括所述输入图像的像素以及从所述输入图像的像素内插的中间像素；以及对于其他测试块组，所述测试块仅仅包括所述输入图像的像素。文档编号H04N5/44GK101283585SQ200680037397公开日2008年10月8日申请日期2006年10月27日优先权日2005年10月31日发明者K·J·沙曼申请人:索尼英国有限公司