在不改变尺寸的情况下匹配原始核心尺寸，从而避免颜色混杂。例如，如果水平地和竖直地应用2x缩小时，改变尺寸的新核心尺寸可水平地和竖直地覆盖2x更多的图素样本。算法的其余部分可与之前一样。
[0186]对于图30的改变尺寸操作可实施额外图像操作(可选地与上述各个操作一起作为单个操作)。这种额外图像操作包括色彩校正，降噪和锐化。这些额外图像操作还包括色空间转换，例如通过从RGB线性转换输出YUV或反之。此外，这些额外图像操作包括当丢失时重构样本的坏像素校正。随后，可利用适当训练的核心来执行坏像素校正。现在描述样本实施例。
[0187]在实施例中，一旦实施滤波器，利用滤波器将这些额外操作进一步实施为单个操作就可有利地消除对于包括用于这些额外操作的分离的处理阶段的需要。实际上，可将这些额外操作实施为已经实施的滤波器的值相对于这些值应该具有的值的变化。此外，甚至可将其定制为成像装置(诸如成像装置100)的特定部件。
[0188]图32是与图26相似的根据实施例的用于描述滤波器训练操作的示图3200。可与参考图像2610相似地选择参考图像3210。
[0189]可通过选择的参考图像3210导出目标图像3212。目标图像3212也可被看作是参考图像3210的目标版本。目标图像3212对应于期望通过实施例构成的参考图像3210的程度。导出可为两部分的。初始导出可为如本文先前描述的那样。除此之外，导出包括将一个或多个期望的额外图像操作3288应用于参考图像3210，以得到目标图像3212。额外图像操作3288可包括色彩校正、降噪、锐化、色空间转换、坏像素校正、改变尺寸等中的一个或多个。
[0190]根据处理3235(其模拟根据实施例的处理)，通过一组值3214并利用针对滤波函数的参数的试验值构成输出测试图像3240。与处理2625相似，处理3235可包括计算额外测试值和去马赛克。
[0191]随后可将输出测试图像3240与目标图像3212比较以确定它们的接近程度。可利用不同的参数值将该处理重复多次，直至它们达到令人满意的接近为止。这样，通过如上使构成的输出测试图像3240与目标图像3212之间的误差最小化来对滤波器进行训练或学习。因此，将对处理3235中的滤波器进行训练以执行同样期望的额外图像操作3288。
[0192]根据实施例可对额外图像操作3288进一步增加定制。例如，可针对构造对像素阵列位置、透镜缩放定位、聚焦定位进行定制。这样，可出于校准目的为各个制造的相机模块进行定制；这种相机模块可提供测试阵列。相机PSF/MTF相对于像素阵列位置(中心或周边)、透镜缩放和焦点定位、单独的模块特征等变化。通过考虑和补偿这些PSF/MTF变化，这些定制可有助于实现更好的图像质量。可针对各种构造训练额外的多组滤波器，然而每次可针对最终图像仅应用一组滤波器。
[0193]根据实施例，额外图像操作3288可具有其它用途。可训练滤波器，使得还可以使用其它色彩构成。这些其它色彩构成可包括除三种颜色通道以外的情况，诸如单色、RGBW(RGB+ 白色)等。
[0194]挑战在于，虽然色彩校正可与去马赛克(和锐化)组合，但有时色彩校正需要非线性处理。这样，色彩校正有时可不能与去马赛克联合完成。在色彩校正之后应用锐化的情况下，锐化会与去马赛克脱离，并且可需要更多的阶段。
[0195]图33是示出特定合成图像操作3300的示图。将联合的去马赛克和锐化信号操作3305应用于输入图像3310。所述结果之一是包括RGB值的重构的图像3340，而另一个是锐化信号3382，其包括指示锐化信号的幅值的S值。更具体地说，可针对各个位置增加滤波器。可训练该滤波器以通过提供用于锐化信号的(模拟)目标图像来产生锐化信号。在该实施例中，在色彩校正之后，将锐化信号加至图像以获得锐化图像。色彩校正操作3342可随后应用于重构的图像3340，并且随后锐化操作3384应用锐化信号3382，以使得重构的图像3340变为最终输出图像3386。
[0196]在上述方法中，可将各个操作执行为进行可发生的所写内容或导致该所写内容发生的肯定步骤。这种进行或导致发生的步骤可通过整个系统或装置实现，或仅通过其一个或多个部件实现。另外，操作的次序不限于示出的次序，并且根据不同实施例，不同的次序可以是可能的。此外，在特定实施例中，可增加新操作，或者可修改或删除单独操作。例如，增加的操作可来自提及的内容，同时主要描述不同的系统、装置或方法。
[0197]本说明书包括一个或多个示例，但是不限制可实施本发明的方式。实际上，可根据描述的内容实施本发明的示例或实施例，或者不同地实施本发明的示例或实施例，并且与其它现在或未来的技术结合实施本发明的示例或实施例。
[0198]在本说明书中对任何现有技术的说明不是并且不应理解为对于该现有技术形成了任何国家公知常识的一部分的确定或任何形式的建议。
[0199]本领域技术人员应该能够鉴于作为一个整体的本说明书实施本发明。已包括了细节以提供彻底的理解。在其它情况下，未描述公知的方面，以免不必要地使本发明模糊。
[0200]其它实施例包括本文描述的特征的组合和子组合，包括例如等同于以下实施例的实施例，所述实施例即:按照与在所述实施例中的不同次序提供或应用特征；从一个实施例中提取单独特征，并且将该特征插入另一实施例中；从实施例中去除一个或多个特征；或者从实施例中去除特征和增加从另一实施例中提取的特征二者，同时提供按照这种组合和子组合并入的特征的优点。
[0201]权利要求限定了元件、特征和步骤或操作的特定组合和子组合，它们被认为是新颖的并且不是显而易见的。在本文和相关文档中可提供针对其它这种组合和子组合的额外权利要求。
【主权项】
1.一种成像装置，包括: 阵列，其具有构造为针对输入图像获取各个值的一组像素，获取的值对应于获取这些值的各个像素的像素中心点； 处理器，其构造为通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与任何所述像素中心点不同的额外中心点；以及一个或多个存储器，其构造为存储所述获取的值和所述额外值。
2.根据权利要求1所述的成像装置，其中 在存储所述额外值时使所述额外值与所述获取的值进一步合并。
3.根据权利要求1所述的成像装置，还包括: 显示器，其构造为显示通过所述获取的值和所述额外值二者构成的输出图像。
4.根据权利要求3所述的成像装置，其中 联合地将所述额外值与所述获取的值去马赛克，并且 通过联合去马赛克处理来构成所述输出图像。
5.根据权利要求1所述的成像装置，其中 通过所述像素中心点限定实质上相同的区块，并且 通过特定区块中的一个获取的值和所述特定区块以外的一个获取的值来计算对应于所述特定区块中的一个额外中心点的一个或多个额外值。
6.根据权利要求1所述的成像装置，其中 所述获取的值的数量加上所述额外值的数量之和大于所述阵列中的像素的数量。
7.根据权利要求1所述的成像装置，其中 所述阵列的各个像素至少布置在下层和竖直堆叠在所述下层之上的上层中，并且所述像素中心点限定为所述上层的像素的像素中心点加上所述下层的像素在所述上层的平面上的投影的像素中心点。
8.根据权利要求7所述的成像装置，还包括: 显示器，其构造为显示通过所述获取的值和所述额外值二者构成的输出图像。
9.根据权利要求8所述的成像装置，其中 联合地将所述额外值与所述获取的值去马赛克，并且 通过联合去马赛克处理来构成所述输出图像。
10.根据权利要求1所述的成像装置，其中 利用滤波函数计算所述额外值。
11.根据权利要求10所述的成像装置，其中 通过处理器来训练所述滤波函数，所述处理器执行导致以下操作的行为，所述操作包括: 接收针对参考图像的输入测试值； 选择用于所述滤波函数的参数的试验值； 利用所述试验值通过输入测试值来计算关于所述参考图像的额外测试值；以及 调整参数值。
12.根据权利要求11所述的成像装置，其中 通过将测试像素阵列暴露于所述参考图像来确定所述输入测试值。
13.根据权利要求11所述的成像装置，其中 通过计算由于暴露于所述参考图像导致的像素的期望响应来确定所述输入测试值。
14.根据权利要求11所述的成像装置，其中 所述滤波函数的参数是滤波器的尺寸和滤波器的权重系数中的一者。
15.根据权利要求11所述的成像装置，其中 将所述参考图像的目标版本与通过所述输入测试值和所述额外测试值构成的输出测试图像进行比较，并且 基于所述比较调整所述参数值。
16.根据权利要求15所述的成像装置，其中 联合地将所述额外测试值与所述输入测试值去马赛克，并且 通过联合去马赛克处理来构成所述输出测试图像。
17.根据权利要求15所述的成像装置，其中 对所述参考图像执行额外图像操作，以得到所述参考图像的目标版本。
18.根据权利要求1所述的成像装置，其中 所述像素中心点根据像素间距沿着特定方向分布，并且 所述额外中心点中的至少一些根据与所述像素间距不同的构造间距沿着所述特定方向分布。
19.一种成像装置，包括: 阵列，其具有构造为针对输入图像获取各个值的一组像素，获取的值对应于获取这些值的各个像素的像素中心点； 处理器，其构造为通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及 显示器，其构造为显示通过所述获取的值和所述额外值构成的输出图像。
20.一种图像处理方法，包括步骤: 针对输入图像接收获取的值，所述获取的值对应于获取这些值的各个像素的像素中心占.通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及 使得所述获取的值和所述额外值存储在一个或多个存储器中。
21.一种用于成像装置的方法，所述成像装置具有像素的阵列、处理器和显示器，各个像素处于所述阵列的各个像素中心点，所述方法包括步骤: 在一组像素中针对输入图像获取值，获取的值对应于获取这些值的各个像素的像素中心点； 通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及 显示通过所述获取的值和所述额外值构成的输出图像。
22.一种用于成像装置的方法，所述成像装置具有像素的阵列、处理器和一个或多个存储器，各个像素处于所述阵列的各个像素中心点，所述方法包括步骤: 在一组像素中针对输入图像的元素获取值，获取的值对应于获取这些值的各个像素的像素中心点； 由处理器通过所述获取的值来计算关于所述输入图像的额外值，所述额外值中的至少一些对应于与所述像素中心点不同的额外中心点；以及 将所述获取的值和所述额外值存储在所述一个或多个存储器中。
【专利摘要】本发明提供了一种成像装置和成像方法。阵列的各个像素针对输入图像获取值。获取的值对应于获取这些值的各个像素的像素中心点。还可通过获取的值来计算关于输入图像的额外值。这些额外值可对应于可与任何像素中心点不同的额外中心点。可通过获取的值加上额外值构成输出图像。这些值可存储在一起和/或作为输出图像一起显示。实施例可应用于诸如来自多层传感器的图像。由于可通过比由可用数量的像素获取的那些值总数更多的值来产生输出图像，因此这种图像处理可被称作超分辨率，并且可针对静止图片、视频和运动图片等应用于成像装置中的图像处理。
【IPC分类】H04N9-64, H04N9-04
【公开号】CN104601970
【申请号】CN201410601507
【发明人】伊利亚·欧弗西亚尼科夫, 石立龙
【申请人】三星电子株式会社
【公开日】2015年5月6日
【申请日】2014年10月30日
【公告号】EP2869551A2, EP2869551A3, US20150116545