过将已根据上述权重系数特别加权的像素的获取的值相加而在两个维度上应用的线性卷积的过程。卷积在构造位置周围的邻近位置进行。
[0144]在图24的等式中，下标I是像素传感器阵列中的层数。卷积是在所有层I上的总和。
[0145]各个区块T可具有识别下标T(i，j)，并且可针对各个区块(i，j)中的位置P执行卷积。矢量x(i，j，p，l)代表在区块T(i，j)的核心、区块内位置P和层I中的获取的值。
[0146]权重系数(也被称作权重)可由矢量滤波器H给定。可存在多个这种滤波器H，各个这种滤波器H用于层1、区块内构造位置P和颜色的各个组合。对于红色、绿色、蓝色，这些滤波器可为H (p，l)K、H(p，I)I)B。各个这种滤波器可具有合适尺寸，诸如先前提及的7X7。
[0147]因此，可通过图24来计算R、G、B的值。应该理解，可忽略在核心H内并对应于不存在物理像素的位置，这是因为未提供获取的值。可通过从计算中排除这些、将合适的权重系数设为零等来执行这种忽略步骤。
[0148]通过利用亮度-色度色空间可执行替代形式的计算。如果使用这些，则它们可进一步转换为R、G、B，在这种情况下，可比上述直接的R、G、B计算需要更少的计算。现在描述特定实施例。
[0149]图25A示出了用于估计针对额外值的亮度Y(i，j，p)的等式。在给定亮度的性质时，可使用不同的滤波器，即H(p，1)Y，滤波器的尺寸可较大，比如7X7。再次提醒，可在所有层I上相加。
[0150]图25Β示出了用于估计色差C(i，j，p，l)的等式。色差在获取的或感测的值之间，并且通过图25A的亮度计算得到。
[0151]图25C示出了用于估计分别针对R、G、B颜色的色度值C(i, j, p)K、C(i, j, p)G和C(i，j，p)B的等式。该估计使用通过图25B的等式估计出的色差。可使用不同的滤波器，即H(p，1)CK、H(p，1尸和H(p，l)ra，滤波器的尺寸可较小，比如5X5。再次提醒，在所有层I上执行相加。
[0152]图2邪示出了用于估计RGB值的等式，诸如图24的那些。然而，在图25D中，通过图25A的亮度值和图25C的色度差来再构造RGB值。
[0153]当然，上述操作假设一个或多个滤波函数或者仅滤波器对于计算是已知的。根据实施例，可首先训练滤波器以确定用于它们的参数的良好的值。随后，将经训练的滤波器用于就绪的装置。现在描述示例。
[0154]图26是用于描述根据实施例的滤波器训练操作的示图2600。可选择参考图像2610，并将其作为源来处理。参考图像2610可选自自然和人造的典型景物的合集。在优选的实施例中，在选择的图像中的景物类型的频率反映了由成像装置100的代表性用户(诸如摄影师)获取的那些类型的景物的频率。
[0155]根据多种可能的导出方法之一的实施例，可通过选择的参考图像2610导出目标图像2612。在本文中稍后描述用于这种导出方法的示例算法。目标图像2612也可被看作是参考图像2610的目标版本，并且还被称作目标参考图像。目标图像2612对应于期望通过实施例构造参考图像2610的程度。
[0156]关于参考图像2610已知一组RGB值2614。根据处理2635 (其模拟根据实施例的处理)，通过一组值2614构造输出测试图像2640，并且使用用于滤波函数的参数的试验值。处理2635可包括计算额外测试值和去马赛克。可联合地将额外测试值与输入测试值去马赛克。可通过联合去马赛克处理构造输出测试图像2640。
[0157]随后可将输出测试图像2640与目标图像2612比较以确定它们的接近程度，即它们的匹配程度。可利用不同的参数值将该处理重复数次，直至它们达到令人满意的接近程度。这样，通过使误差(即构造的输出测试图像2640与目标图像2612之间的差)最小化来对滤波器进行训练或学习。在本文中稍后描述用于使误差最小化的示例算法。
[0158]在一些实施例中，可通过将测试阵列实际暴露于参考图像来确定输入测试值，从而获取图像。参考图像可为印刷在测试图上的景物。优选地，该景物的图像未过度曝光并且具有低噪声。
[0159]在这种情况下，可通过将参考图像2610与获取的图像尽可能精确地对齐、并预计可存在于测试像素阵列中的可能的几何扭曲来获得目标图像2612。因此，可计算目标图像2612。
[0160]在其它实施例中，可通过计算由于暴露于参考图像而导致的像素的期望响应来确定输入测试值。可按照任意多种方式来实现这一点。
[0161]一种这种方式是确定点扩散函数(Point Spread Funct1n, PSF)。可针对测试像素阵列测量PSF。可替换地，可测量调制传递函数(Modulat1n Transfer Funct1n, MTF)以获得PSF。如果不能进行测量，则可例如利用透镜参数和已知或目标传感器PSF来估计PSF，可通过系统模拟获得。
[0162]在这种情况下，可通过计算构造网格的期望响应模拟目标图像2612。例如，可采用自然景物的高分辨率位图图像作为参考图像，该图像为获取的景物的忠实线性表示。噪声可为低的，可存在少量或不存在截取了 RGB值的过度曝光的区域，并且无过度锐化。如果已对图像进行伽马校正，则可通过施加反伽马变换来线性化。另外，可应用能够对应于图像的色空间的反色彩校正。可计算在物理图素处的期望响应。可通过应用从先前步骤获得的PSF来实现这一点。在图像构造网格上去马赛克之后，可计算期望的响应以获得目标图像2612。
[0163]图27示出了用于描述根据实施例的滤波器训练方法的流程图2700。也可通过上述实施例来实施流程图2700的方法。或者，可以通过执行行为的分离的处理器来训练一个或多个滤波函数。这些行为可导致诸如以下的操作。
[0164]根据操作2710，可针对参考图像接收输入测试值。参考图像可为参考图像2610，并且输入测试值可为集合2614。可按照任意多种方式来确定输入测试值。
[0165]根据另一操作2720，针对滤波函数的参数选择试验值。如果操作2720是第一次执行，则可通过试验性地设置来选择值。如果操作2720是再次执行，则可通过试验性地设置的值来对值进行调整。鉴于在操作2750中的误差的确定，可进一步进行调整。
[0166]根据另一操作2730，可通过关于参考图像的输入测试值来计算额外测试值。可利用上一次执行的操作2720的试验值来计算额外测试值。另外，可如上执行去马赛克。
[0167]根据另一操作2750，参考图像的目标版本可与输出测试图像进行比较。可通过输入测试值并通过额外测试值(诸如通过操作2730)构造输出测试图像。可执行比较以观察匹配程度。如上所述，可通过将差量化作为误差来确定匹配程度，随后尝试使误差最小化。如果匹配不令人满意，则可继续执行至操作2720，并且可基于比较进一步调整参数值。
[0168]现在描述用于使误差最小化的实施例。
[0169]图28示出了根据实施例的可用于训练滤波器的等式，以形成具有RGB值的图像。在这些情况下，训练将用于直接RGB构造。
[0170]等式2810是线性等式的超定(over-determined)系统。训练涉及等式2810中的误差最小化。R'G'B*的值是来自目标图像的值。示为具有上标的矢量(诸如H’)是没有上标的矢量(诸如H)的转置矢量。
[0171]等式2810的挑战在于关注的未知数是没有解析地给出的H’。将等式2820写为等式2810的每一个的概要表达可应对该挑战。然后，等式2830针对A的值显示了解决等式2820的方式。这样，等式2830的形式将用于针对H’解决等式2810。
[0172]可替换地，可利用首先计算亮度色度的实施例通过较少的计算量解决训练。以下使用以上已参照图25A至2?描述的概念。
[0173]图29A、图29B、图29C、图29D示出了根据实施例的可用于首先在亮度和色度值方面训练滤波器的等式。图29A的等式至少针对目标参考图像给出了亮度的值。图29B的等式表示出包括亮度滤波器H’(p，1)Y的转置的过度约束的问题。然后，可为滤波器训练解决亮度滤波器Η(ρ，1)γ。可利用数字方法(诸如最小均方差)来完成这种解决步骤。
[0174]然后，可为滤波器训练解决色度滤波器H(p，1)CK、H(p，1严和H(p，1)CB。图29C的等式与图25A、图25B和图25D中的那些相似。图29C的等式表示出与图28的等式2810相同的过度约束的问题,并且可相似地解决。
[0175]现在描述额外的图像操作。
[0176]图30是示出示例图像操作的示图3077。输入图像3014可经历一个或多个操作3070，然后它们呈现输出图像3040。根据实施例，多个这种操作是可能的。例如，可与去马赛克一起改变图像尺寸。现在描述示例。
[0177]图31是示出改变尺寸的示图。示出了阵列的部分3111，其为图8的阵列811的部分。部分3111还示出了单元区块2080、水平像素间距884和为水平像素间距884的尺寸的一半的水平偏离距离885。
[0178]根据改变尺寸操作3170，可将图像改变尺寸为新的示例图像构造网格3116。图像构造网格3116在新的各行3172和各列3174的交叉点处通过点标记限定了位置。这些新的各行和各列为图像构造网格3116提供了其自身的间距，其可被称作构造间距。构造间距可与像素间距不同。通过改变尺寸，图像构造网格3116将不再以相同方式映射至物理像素。
[0179]更具体地说，在部分3111中，像素中心点根据像素间距884沿着特定方向分布。在图31中，所述特定方向是水平方向，但也可等同地描述竖直方向。另外，在图像构造网格3116中，至少一些额外中心点可根据构造间距沿着特定方向分布。这里，所述特定方向是水平方向，水平方向的构造间距3194大于物理示例网格间距885。通过对比指示3113指示了这一点，其将两倍间距885(即，像素间距884)的尺寸与两倍构造间距3194的尺寸进行对比。
[0180]在图31的示例中，示出了新的单元区块3180，其也被称作改变尺寸的区块和初级改变尺寸的区块。应该注意，改变尺寸的区块3180不由区块2080限定，而是通过相对于物理像素图素唯一地布置在构造网格3116上的最少数量的位置来限定。区块3180具有以点示出的九个这种位置或定位，针对所述位置或定位需要计算滤波器值。仅指示出所述九个位置中的四个位置S1、S6、S8、S9，以便不使附图混乱。
[0181 ] 就水平标度比(水平构造间距除以水平物理间距)和竖直标度比(竖直构造间距除以竖直物理间距)而言，可量化从输入图像至输出图像的扩展。总标度比将为水平标度比乘以竖直标度比。总标度比的示例可为约1.5x。
[0182]实际上，在改变尺寸的实施例中，可同时存在水平方向和竖直方向上的扩展或收缩。在实施例的特定情况下，有利地，扩展是可能的，这是因为可在获取的值之间计算额外值。在一些实施例中，可将输出图像改变尺寸，以满足在有限分辨率中约20%的增大。
[0183]在诸如图31的实施例中，选择了图像构造网格3116以使得在各个位置都存在一个绿色像素图素，总标度比对应于输出图像中的样本量/输入图像中的绿色像素的量。因此，2兆像素相机可有效地产生3兆像素相机的图像，与约1.5x的总标度比一致。本领域技术人员将确定在给定任何图像构造网格时进一步选择什么样的构造间距对于改变尺寸才是有利的。
[0184]此外，针对各个滤波器位置，将不得不首先针对各个唯一滤波器位置限定核心。在图像构造网格3116上的各个构造位置周围限定图像构造网格3116上的滤波器核心。应该清楚的是，将必须针对不在物理像素网格上的那些核心位置计算值，例如通过额外中心点2339在图23中所指示的那些。可枚举核心H中的滤波器系数位置。可忽略不存在物理像素中心的位置处的系数或将其设为O。
[0185]当应用改变尺寸时，核心尺寸可更大。更大的尺寸可产生自尝试