专利名称：内插的制作方法
技术领域：
本发明涉及内插(interpolation)。
背景技术：
内插配置被用来例如，从图像或者视频处理配置中的输入像素生成输出像素。图像处理一般至少是二维操作。基本技术包括将用于在水平方向进行缩放的一维 (ID)滤波器与用于在竖直方向进行缩放的相应滤波器卷积(convolve)，以产生能够利用单个2D滤波器矩阵在两个方向对图像进行滤波和缩放的滤波器。通过对两个正交滤波器的卷积得到的二维滤波器被对准到水平和竖直轴。已经提出，内插滤波应该被配置为与所检测出的图像特征的方向或角度对准。一种角度定向滤波技术是对这样的二维滤波器矩阵进行旋转，从而使得该滤波器的主轴对准所检测出的边缘或者图像特征。该原则背后的理论是，沿着图像特征的长度方向对准滤波器的大多数能量。额外的阶段是在垂直于边缘的朝向的方向中增大滤波器的带宽，以保留边缘的锐度。带宽增大的目的在于，进一步增大沿着图像特征线方向的滤波器能量。尽管这种2D边缘定向滤波器方法可以产生一些好的结果，但是存在基础性的技术困难。旋转的作用在于，带宽在两个方向中被不期望地改变，结果输出像素并非所期望的输出像素。该方法的问题对于非零偏移值(没有与输入或源像素对准的输出像素位置)进一步增加；边缘定向旋转滤波器在被用于具有角度特征的图像时会产生显著的条带型伪像 (striping artefacts)。本发明的目的在于，提供用于像素内插的改进技术。
发明内容
本发明提供了一种像素内插方法，其中二维数字滤波器被配置为从输入像素的二维阵列内插得出输出像素，该方法包括检测将要内插的像素位置处的图像特征的方向； 将剪切变换应用于数字滤波器和/或输出像素的阵列，以相对于二维滤波器的两个轴中的至少第一轴将滤波器的操作映射到所检测出的图像特征方向；以及应用数字滤波器来获取输出像素。所以，本发明的实施例不是使用旋转，而是提供了通过剪切滤波器和/或输入数据来对滤波器进行整形的另一种方法。滤波器操作的剪切(即，剪切滤波器和/或输入数据)可以沿着边缘或者图像特征方向对准滤波器的能量；这使得在滤波器对准边缘时能够更好地控制滤波器的带宽；并且在本发明的实施例中，其不会像旋转法一样引入很多伪像。本发明的进一步的各个方面和特征在所附权利要求中被限定。
结合附图，根据说明性实施例的以下详细描述，本发明的以上和其他目的、特征及优点将是显而易见的，其中
图I和图2示意性地示出了图像缩放处理；
图3是图像缩放设备的示意性框图4a和图4b示意性地示出了偏差(variance)最小化处理；
图5示意性地示出了方向计算模板；
图6a至图6h示意性地示出了用于角度检测的模板；
图7示意性地示出了一组模板偏移位置；
图8和图9示意性地示出了来自相邻模板的结果的组合；
图10示意性地示出了角度平均处理；
图11示意性地示出了图像角点(corner)；
图12示意性地示出了角点软化处理；
图13示意性地示出了角点验证处理中的像素位置；
图14示意性地示出了点估计处理；
图15示意性地示出了角点一致性检验；
图16和图17示意性地示出了 Sinc滤波器响应；
图18和图19示意性地示出了旋转后的Sinc滤波器响应；
图20和图21示意性地示出了剪切后的Sinc滤波器响应；
图22和图23示意性地示出了分别使用Sinc和Bicubic滤波器的数据剪切处理;
图24至图29示意性地示出了数据剪切处理的示例；
图30和图31示意性地示出了角度平均处理；
图32示意性地示出了滤波器融合值(filter blend value)生成处理；
图33示意性地示出了确定性值的内插；
图34示意性地示出了像素估计处理；
图35示意性地示出了垂直滤波(perpendicular filtering)处理；
图36和图37示意性地示出了用于滤波的像素值的估计；
图38和图39示意性地示出了垂直滤波处理；
图40和图41示意性地示出了以前提出的滤波配置；
图42和图43示意性地示出了连续滤波操作；
图44示意性地示出了滤波配置的实施例；
图45示意性地示出了电视显示设备；
图46示意性地示出了摄影机；
图47示意性地示出了双三次(Bicubic)内插；以及
图48示意性地示出了双三次样条(Bicubic Spline)内插。
具体实施例方式现在参考附图，图I和图2示意性地示出了应用于源图像10的图像缩放处理。在每种情况中，源图像(输入像素的二维阵列)10被图像缩放设备20处理，以生成由输出像素形成的更大的输出图像30 (图I)或者更小的输出图像40 (图2)。这里，术语“更大”和“更小”是指各个输出图像中的像素数目，而不是图像被实际显示的格式。所以，例如，如果输入图像具有1920(水平)X 1080(竖直)个像素，则更大的输出图像30可能具有2880X1620 个像素，并且更小的输出图像40可能具有960X540个像素。显然，这些像素数目只是示例，并且在一般情况下图像缩放器20可以操作以在某个缩放因子范围内对图像进行缩放， 其中该缩放因子范围可以包括大于I的缩放因子(用于图像放大)和/或小于I的缩放因子(用于图像尺寸减小)。在本说明中，作为示例，缩放因子将被表达为线性缩放因子，并且将被认为在水平和竖直轴二者中是相同的(水平和竖直是正交方向，并且分别与水平和竖直图像方向有关；一般，在本发明的实施例中将要讨论的两个轴是正交的)。但是，在其他实施例中，针对两个轴的缩放因子可以不同。这里描述的图像缩放配置使用二维数字内插滤波技术(其中，二维数字滤波器被配置为从输入像素的二维阵列内插得出输出像素)来生成缩放后的输出图像的像素，从而使得每个输出像素是以包括两个或更多个输入像素的群组的算术组合为基础的。这种滤波技术是适当的，因为(a)当输入图像将被放大时，需要在输入图像中不存在的像素位置处生成新的像素值；(b)如果图像尺寸将被减小，存在相同的情况，因为取决于缩放因子，输出像素位置可能并不完全与输入像素位置对准；(C)即使尺寸减小后的输出图像中的输出像素位置与输入图像位置对准，使用滤波处理而不是简单地丢弃不想要的输入像素可以获取在美学上更令人愉快的结果。视频缩放是图像缩放技术的一种重要应用。在一个简单的水平，图像缩放设备20 可以对形成视频信号的图像序列中的每个图像进行缩放(缩放得更大或者更小)，以形成缩放后的视频信号。视频缩放通常被用于不同视频标准(诸如，标准清晰度(SD)视频和所谓的高清晰度(HD)视频)之间的转换、视频特效、视频的精准分析(诸如，在分析与天文观测有关的视频信号或者监视视频信号时)、以及其他目的。图I和图2的设备在被配置为对视频信号的一个或多个连续图像进行操作时可以被认为是视频缩放设备。本领域技术人员将明白，视频缩放设备、方法、软件、计算机程序产品等全部被认为是本发明的实施例，并且被包括在本说明的范围中。特别地，当这里描述的技术涉及图像处理时，将明白的是该技术可以被应用于视频信号的每个连续图像的缩放。在本说明中，很多技术可以被应用于图像缩放或者视频缩放。在描述仅可以应用于这些技术领域之一或者更适合被用在这些技术领域之一的技术时，该特定的有效性的限制或区域将被指示出来。图3是诸如图I和图2的设备之类的图像缩放设备的示意性框图。源图像(即，将要缩放的图像)被作为输入供应给该设备，如图的左侧所示。该设备生成缩放后的输出图像，如图的右侧所示。源图像被可选的预内插滤波器100处理。预内插滤波器执行诸如图像的软化或者锐化之类的可能需要的带宽调整。滤波器100具有用于水平和竖直方向的单独参数。滤波器是可分离的普通11抽头水平和竖直对称滤波器，其中系数可以完全由用户限定。滤波器的输出被传递给内插器130。图像内插的传统方法一般使用两个一维滤波器分别在水平和竖直方向对图像进行缩放。这种滤波器的示例是多相Sinc滤波器。该方法对水平和竖直线执行地非常好，但是对角线不能被精确地求解并且画面质量会受到影响。本实施例涉及使用二维方法来“剪切(shear)”数据的算法。换言之，本实施例将剪切变换应用于二维数字滤波器和/或输入像素的阵列，以在两个轴中的至少一个轴中将滤波器的操作映射(或者对准)到所检测出的图像特征方向(诸如，通过对边缘特征进行整形从而使得该边缘特征对准水平或者竖直轴但是(在本发明的实施例中)保持两个轴中的另一个轴中的滤波器操作(至少在其操作方向方面)不变)。一旦数据(或者内插滤波器)被剪切了所需要的数量，则可以通过应用数字内插滤波器对数据进行内插来获得输出像素。当剪切结果不能用时，所需要的内插值是使用标准Bicubic内插方法产生的。这种组合算法的实施例已经在经验测试中被示出为显著提高了画面质量。所以，内插滤波处理的特征在于，沿着图像特征(诸如，线或者边缘)的方向有效地进行内插。为此，图像中存在的特征的角度被内插角度确定单元110找出，其中内插角度确定单元110检测将要内插的像素位置处的图像特征的方向。对于图像特征，角度和角度的确定性的度量(换言之，所检测出的图像特征方向中的置信度)是使用基于统计的方法或者其他检验(其细节在下面提供)计算得出的。一旦角度被确定，限定角度的信息被传递给剪切内插器140，其中，该剪切内插器 140还从滤波器100接收滤波后的源图像数据，并且基于沿内插角度确定单元110检测出的图像特征方向的内插生成输出像素。滤波后的源图像数据还被传递给非剪切内插器150，其中该非剪切内插器150通过水平/竖直内插法(B卩，不参考图像特征方向)生成输出像素。限定当前检测出的图像特征角度中的确定性的度量的信息被传递给控制器160。 控制器160控制混合器170的操作，其中混合器170混合剪切内插器140和非剪切内插器 150的输出或者(作为混合的极端不例)在剪切内插器140和非剪切内插器150的输出之间进行选择，以提供输出图像的像素。实际上，输出像素是根据所检测出的图像特征方向中的所检测出的置信度通过应用和/或不应用剪切变换有选择地生成的。更具体地，输出像素的第一版本是通过应用剪切变换生成的；输出像素的第二版本是不应用剪切变换生成的；并且第一和第二版本被根据取决于所检测出的置信度的比率混合从而生成输出像素。 在本发明的实施例中，混合操作是所检测出的图像特征方向中的置信度越高，从第一版本得出的输出像素的比例越高的混合操作。图3的配置可以被实现在诸如一个或多个专用集成电路、一个或多个现场可编程门阵列、在适当的软件、固件或者它们二者的控制下操作的通用计算机、或者它们的组合之类的硬件、可编程或者传统硬件中。当软件或者固件被包括在本发明的实施例的实施方式中时，将明白的是这样的软件或固件、以及诸如存储介质(例如，光盘)或者网络连接(例如，互联网链接)(软件或固件通过它们被提供)之类的提供介质被认为是本发明的实施例。将理解的是，在具体功能在下面被描述的情况中，执行这种功能的单元可以被作为图3中的相应单元提供。内插角度确定现在将描述内插角度确定单元110的操作。单元110检测与源图像的每个像素相关联的内插角度，并且进行一些质量检验以检测所检测出的角度是否是用在内插中的可靠角度。特别地,单元110生成内插角度(Θ )和确定性度量(certaintyFactor)。该可变的certaintyFactor提供关于该特征与所找出的角度(Θ)的匹配程度的置信等级，并且稍后被用在计算用于混合器170的混合值的处理中。在使用所检测出的角度进行任何滤波处理之前进行内插角度确定。角度确定模块根据基于通过偏差的最小化找出用于内插的最佳方向的技术进行操作。可以(例如)对灰度图像或者单独对每个GBR(绿、蓝、红)分量进行角度确定处理。如果使用后者，则GBR结果可以被结合在一起(例如，根据用在生成亮度(Y)值的处理中的G、B、和R的标准比率)以生成单个输出结果。在一个实施例中，单独的GBR结果可以被结合在一起，以优先得出G结果，然后得出R结果，最后得出B结果。为了避免在低画面细节区域中找出不正确的角度，如果经受测试的当前像素周围的3X3邻域中的像素的偏差(或者标准偏离)在可编程的阈值之下，则角度的确定性等级被设置为指示零确定性。该3X3邻域中的偏差还被用作GBR到灰度转换处理中的图像活动性度量。可以节省硬件或者处理需求的一种替代的图像活动性度量是使用相对于3X3块上的平均像素值计算得出的绝对差之和(所检测出的图像活动性代表群组中的像素之间的像素值之差，所以较大的像素差代表较大的图像活动性)。在每种情况中，相对于将要内插的像素位置周围的输入像素的群组，分别针对三种颜色分量G、B、R中的每种颜色分量得出图像活动性度量。将图像转换为灰度(对于单元110来说，仅需要对一个通道而不是三个单独通道进行角度查找处理)的好处在于硬件需求的潜在降低。可以使用以下公式将GBR数据转换为灰度Y = gCoefT*G+bCoefT*B+rCoefT*R其中，gCoeff和bCoeff、rCoeff是标准颜色转换系数(即，用于从G、B和R值生成标准Y值的系数，一个示例是Y = O. 2126R+0. 7152G+0. 0722B)。但是，以这种方式使用固定的系数，GBR颜色空间中的两种非常不同的颜色会产生相同的灰度颜色，所以在作为结果的灰度图像中可能会无法检测到特定的图像特征。因此，一种自适应地改变颜色系数的方法被用在本发明的实施例中，以克服这个问题。在这种自适应技术中，为了捕捉图像中的细节，当图像中的来自特定分量的细节明显大于其他颜色分量中的细节时，该特定颜色分量的权重增大。所以，通过根据所检测出的图像活动性以相对比例将相应的输入像素的颜色分量结合在一起，得出了单色测试像素。如上所述，细节数量是使用图像活动性测量出来的。使用图像活动性来调整默认的颜色转换系数，如下所示gCoeff' = gCoeff+α X ImageActivity (绿色)bCoeff' = bCoeff+β X ImageActivity (蓝色)rCoeff' = rCoeff+Y X ImageActivity (红色)
…一 V gCoeff '* G + bCoeff B + rCoeff '* RY 一. '~~
gCoeff ’+ bCoeff'+ rCoeff ’其中，α、β、Y是可编程的参数，Y是作为该部分处理的输出并且被单元110用于角度确定(即，用于将要内插的像素位置周围的单色测试像素群组中的图像特征方向的检测)的灰度像素。方向检测可以包括检测该单色测试像素群组中的方向，其中沿着该方向的像素展示出了像素值的最低变化(诸如，标准偏离、偏差、或者从平均得出的绝对差值之和)。该处理的目的在于，提高将在标准转换方法期间被隐藏的细节等级。更一般地，该配置的目的在于，改变单色测试像素中的颜色分量的相对比例从而使得具有较高图像活动性的颜色分量通常对单色测试像素的贡献比例较高(例如，通过根据检测出的与每种颜色分量相关的图像活动性来修改限定每种颜色分量对于单色像素的贡献的一组系数)。下一阶段的处理的目的在于，通过确定具有最低变化的方向来找出用于内插的最佳角度。这里，术语“最低”和(其他地方用到的)“最小化”仅被用来指示最低变化是从所测试的变化值中检测得出的。图4a示意性地示出了源图像的5X5像素区域，其中经受测试的当前像素位置200 在该5X5区域的中心。其目的在于检测与像素200相关的图像特征方向。黑线(作为其角度应该被检测出来的图像特征的示例)从该区域的左上方延伸到该区域的右下方。使用图4a的符号，该图像特征的角度被认为是45°，其中0°被认为是水平的，并且角度被认为是从水平方向开始以顺时针方向增大。图4a是其中的虚线210、220、230和240指示可能的内插角度或搜索方向的示例的简要示例。图4b中示出了位于每个特定的可能内插方向中的5个像素，其中图4b的每行代表沿着该可能方向的经过像素位置200的5个像素。通过考虑每个搜索方向的像素偏差可以清楚地看出，45°的可能内插方向(沿着线210)包含具有最低偏差的像素。这个简单示例已经示出，特定特征的方向可以由具有最低像素变化的方向限定。一般，沿着与搜索或者测试方向有关的直线的像素值的变化可以使用搜索方向中的点的偏差(或者标准偏离)来测量。为了获得最佳角度，可以使用对于(本系统的分辨率限制内的)每个角度的穷尽搜索。但是，该处理将需要大量硬件或者其他处理资源。所以，在本发明的实施例中，在本发明的分辨率限制内，用于偏差的一组数学表达式可以被计算出来并被最小化以找出所需要的方向。在本发明的实施例中，对于最小偏差的搜索是在5X5像素邻域上计算得出的，其中其角度正被计算的像素位于该像素邻域的中心。所使用的配置意味着，不可能仅使用一个等式搜索每个方向。相反，所有方向的各个子集被检查，然后最小偏差被从这些结果中找出。每个方向子集在下面被称为“模板”。为了测试每个可能的方向，总共需要八个模板。 一个特定的模板在图5中被示意性示出。图5示出了源(输入图像、或者滤波后的输入图像)像素的5X5阵列，其中，角度是从该阵列确定出来的，并且经受测试的当前像素200 (在图5中被标记为像素e)位于该阵列的中心。每个像素由一个正方形指示。像素a至i代表该模板需要的源像素。该特定的模板被用来找出介于0°到26°之间的最佳角度；其他七个模板在其他角度集合之间进行搜索，如图6a至图6h所示。图5的特定示例对应于图6h所示的模板。在图6a至图6h 中所示的每个模板中，利用该模板测试的角度范围被示出为被标记为φ=O和φ=I的两条直线的锐角交叉之间(包括该两条直线)的这些角度。对于每个模板，变量φ被允许从O变到I。所以，φ的值映射到角度的度量。也就是说，对于图5中所示的模板，使用图4a中引入的角度符号，当φ = 0时，相应的角度为0°，并且当φ= I时，角度为26°，更确切地
权利要求
1.一种像素内插方法，其中二维数字滤波器被配置为从输入像素的二维阵列内插得出输出像素，该方法包括检测将要内插的像素位置处的图像特征的方向；将剪切变换应用于所述数字滤波器和/或所述输入像素的阵列，以相对于所述二维滤波器的两个轴中的至少第一个轴将所述滤波器的操作映射到所检测出的像素特征方向；以及应用所述数字滤波器来获取所述输出像素。
2.根据权利要求I所述的方法，其中所述应用所述剪切变换的步骤被配置为相对于所述两个轴中的另一个轴维持所述滤波器的操作不变。
3.根据权利要求2所述的方法，其中所述应用步骤包括选择所述两个轴中的一个轴用于所述滤波器操作的映射，所述选择取决于所检测出的图像特征方向。
4.根据权利要求3所述的方法，其中所述选择步骤包括检测所述两个轴中的哪个轴在角度上最接近所检测出的图像特征方向；以及选择所述两个轴中的另一个轴用于所述滤波器操作的映射。
5.根据前述权利要求中的任一项所述的方法，其中所述两个轴是正交的。
6.根据权利要求5所述的方法，其中所述两个轴包括分别在水平图像方向上的一个轴和在竖直图像方向上的一个轴。
7.根据前述权利要求中的任一项所述的方法，其中所述二维滤波器是从包括以下滤波器的群组中选择的二维Sinc滤波器；二维Bicubic滤波器；二维Bicubic Spline滤波器；以及二维基于多项式的滤波器。
8.根据前述权利要求中的任一项所述的方法，包括检测所检测出的图像特征方向中的置信度；以及根据所检测出的置信度，通过应用和/或不应用所述剪切变换来有选择地生成所述输出像素。
9.根据权利要求8所述的方法，包括通过应用所述剪切变换生成输出像素的第一版本；不应用所述剪切变换而生成该输出像素的第二版本；以及根据取决于所检测出的置信度的比率混合所述第一和第二版本，以生成所述输出像素。
10.根据权利要求9所述的方法，其中所述混合步骤可操作以使所检测出的图像特征方向中的置信度越高，从所述第一版本得出的输出像素的比例越高。
11.根据前述权利要求中任一项所述的方法，包括相对于所述第一轴对输入像素的群组进行滤波，以生成各个中间像素值，其中所述群组沿着所检测出的图像特征方向被间隔开；以及相对于所述另一轴对所述中间像素值进行滤波，以生成输出像素。
12.根据权利要求I至10中任一项所述的方法，其中所述应用步骤包括将所述剪切变换应用于所述二维数字滤波器的滤波器系数，以根据所检测出的图像特征方向将所述系数映射到二维域中的各个不同位置。
13.根据前述权利要求中任一项所述的方法，包括用于对所检测出的方向进行滤波从而对相邻的输入或输出像素位置之间的所检测出的方向的偏差进行平滑处理的滤波器。
14.一种像素内插方法，所述方法在前面被参考附图进行了基本描述。
15.用于实现根据前述权利要求中任一项所述的方法的计算机软件。
16.一种二维数字滤波器，被配置为从输入像素的二维阵列内插得出输出像素，该滤波器包括检测器，该检测器检测将要内插的像素位置处的图像特征的方向；及滤波器操作调节器，该滤波器操作调节器可操作将剪切变换应用于所述数字滤波器和 /或所述输入像素的阵列，以在所述二维滤波器的两个轴中的至少一个轴中将所述滤波器的操作映射到所检测出的图像特征方向。
17.—种二维数字滤波器，在前面被参考附图进行了基本描述。
18.—种视频处理设备，包括根据权利要求16或17所述的滤波器，该滤波器用于内插得出输出视频信号的连续输出图像的像素。
19.一种摄影机，包括根据权利要求18所述的视频处理设备。
20.一种视频显示设备，包括根据权利要求18所述的视频处理设备。
全文摘要
本发明涉及内插。一种像素内插方法，其中二维数字滤波器被配置为从输入像素的二维阵列内插得出输出像素，该方法包括检测将要内插的像素位置处的图像特征的方向；将剪切变换应用于数字滤波器和/或输入像素的阵列，以相对于二维滤波器的两个轴中的至少第一轴将滤波器的操作映射到所检测出的图像特征方向；以及应用数字滤波器来获取输出像素。
文档编号H04N5/225GK102595088SQ20121002497
公开日2012年7月18日 申请日期2012年1月17日 优先权日2011年1月17日
发明者卡尔·沙曼, 曼尼史·戴维诗·平多里亚 申请人:索尼公司