专利名称：照相机传感器校正的制作方法
照相机传感器校正背景技术
数字照相机包括至少一个照相机传感器，诸如电荷耦合器件或“CCD”或互补金属 氧化物半导体(CM0Q传感器。数字照相机包括多个光敏电池，每个光敏电池响应于曝光而 积累或积聚电荷。针对任何给定像素的积聚电荷与曝光的强度和持续时间成比例，并用来 生成数字照片。
设计紧凑的高分辨率照相机的最有挑战性的方面之一是照相机的总体积的限制。 在典型的目标高度小于6mm的情况下，必须使用非常紧凑的传感器。这些传感器要求表现 出降低的灵敏度、增大的噪声、增大的色彩串扰以及增大的色彩不均衡性的小型像素设计。 这些紧凑设计常常由于撞击照相机传感器的中心(可能直接位于照相机透镜的后面)的光 线对比撞击照相机传感器边缘的光线(其以高度倾斜的角度撞击)的入射角变化而表现出 过度渐晕。
除了非色彩相关渐晕之外，数字照相机还可能表现出色彩相关渐晕。例如，当捕捉 到被均勻照亮的中性表面(例如，白墙)的图像时，结果得到的数字图像可能不期望地被粉 红色、绿色、或蓝色色调着色。这些区域的准确颜色和形状随照明器类型和被拍照的场景而 变化。取决于光学系统、传感器、电子装置及其相互作用，这些观察到的色调偏移存在许多 原因。
图Ia是示出在沿着成像传感器的不同位置处色差的位置相关性的图示。
图Ib是示例性照相机系统的部件图。
图2是示例性照相机传感器的高级图示。
图3示出在示例性传感器上的不同空间位置处传感器和透镜光谱响应的示例性 图表。
图4示出在归一化并绘制在一起之后的图3的针对示例性传感器的传感器和透镜 光谱响应的示例性图表。
图5示出关于另一示例性传感器的在传感器上的不同空间位置处传感器和透镜 光谱响应的图表。
图6示出在归一化并绘制在一起之后的图5的针对示例性传感器的传感器和透镜 光谱响应的示例性图表。
图7是示出可以实现以进行照相机传感器校正的示例性操作的流程图。
具体实施方式
本文公开了用于数字照相机传感器的色彩相关和非色彩相关渐晕的校正的系统 和方法。由于这些效应跨越传感器的区域在空间上变化，可以使用图像处理算法来校正这 些不期望的效应。这些算法可以利用数学模型来拟合校正掩模(多边形、椭圆形、圆形等 等)或者可能由于存储器约束而以较小的分辨率存储实际校正掩模。
照相机传感器校正的某些方法可以假设可以从已知参考色温下的平场图像获取 单个校正因数。虽然这种方法可以为未展示出色彩串扰的传感器和透镜组合及为光学串扰 不随着来自不同类型的表面的反射光的波长而变化的传感器提供充分的校正，但这些假设 可能不适用于超紧凑的设备(例如，在移动成像设备中所使用的)。也就是说，如本文将描 述的，单个线性乘法常数可能不产生重叠的光谱效应。
用于数字成像设备的紧凑透镜系统通常由三个至四个透镜元件和用来限制透射 过透镜的光的光学通带的红外截止滤光器构成。此类透镜具有非常陡的射线角，其在图像 上引起两种不期望的效应光学串扰和光谱串扰。
用于许多成像设备中的区域传感器通常包括布置成Bayer模式的彩色滤光器的 马赛克。Bayer模式被构造为具有包含交替的红色和绿色像素(R和Gr)的一排传感器，第 二排传感器包含交替的蓝色和绿色像素(B和( )。因此，当目的地是红色、绿色或蓝色像素 的光被不同颜色的相邻像素收集时，发生光学串扰。由光学串扰引起的色调偏移的量沿成 像传感器的水平和垂直轴变化。光学串扰具有降低被每个像素收集的光的量以及使得用于 处理图像中的色彩信息产生像差的效应。因此，在本发明的示例性实施例中，如下文更详细 地解释的，当红色排的绿色通道和蓝色排的绿色通道的光谱响应存在差异时，实施四色彩 空间变化校正方案。
光学串扰还可能受到IR(红外)截止滤光器的影响，所述顶截止滤光器限制图像 传感器所捕捉的光的波长。当入射在滤光器上的光不垂直于传感器的涂层表面时，存在截 止波长朝向较短波长的空间变化的光谱透射偏移。此空间变化的光谱透射引起跨越传感器 的空间变化的色调偏移。有时将彩色滤光器的不均衡色彩分离称为光谱串扰。
图Ia是示出在沿着成像传感器的不同位置处色差的位置相关性的图示10。图Ia 包括成像透镜12、包括离轴微型透镜14和16的传感器阵列、同轴像素18、同轴微型透镜 20、入射光线角22。当光针对角22的小值(Θ 0)在同轴微型透镜20处入射时，来自成 像透镜12的基本上所有的光被同轴像素18收集。相反，当光例如在离轴微型透镜14处以 倾斜的角度22(θ 0)入射时，入射光的相当一部分未被下面的像素捕捉而被损失。因此， 随着光的角度22 ( θ )的增大，从而光向同轴微型透镜20的右侧或左侧移动，更多的入射光 被损失。因此，像素所捕捉的光量取决于其相对于成像阵列的中心的位置，并且发生位置相 关的色差。
图Ib是示例性照相机系统100的部件图。虽然对特定的数字静止照片照相机系统 100进行了参考，但应注意的是可以用现在已知或稍后可能开发的、用于多种应用中的任何 一种(例如照相机电话、数字照相机、视频摄像机、扫描仪、医学成像及其它电子成像设备) 的各类传感器中的任何一种来实现本文所述的系统和方法。
存在可以在示例性照相机系统100中使用的许多不同类型的图像传感器。将图像 传感器分类的一种方式是按照其色彩分离机制。数字成像系统中的典型图像传感器由马赛 克型传感器组成，在该传感器上形成有包括加成的色彩红色、绿色、和蓝色的滤光器阵列。 传感器的每个像素包括以重复两行的模式布置的相应红色、绿色或蓝色滤光器区域。第一 行包括交替的红色和绿色像素，第二行包含交替的蓝色和绿色像素。然后，将由每个像素形 成的图像的单独色彩阵列组合以在适当的处理之后产生全色图像。
还可以有其它马赛克彩色滤光器模式。本发明的实施例可以包括具有青色、品红色、黄色和关键色(CMYK)；或红色、绿色、蓝色、凫蓝色(RGBT)；红色、白色、蓝色、绿色 (RWBG)等等的彩色滤光器。在马赛克传感器的一个变体中，可以使用包含被布置成跨越阵 列的条带的彩色滤光器的传感器。另一类型的传感器依赖于光的不同波长穿透到硅的不同 深度的现象。此类传感器可以使用照片站点(site)阵列，每个照片站点由被组织成二维网 格的三个垂直堆叠的光电二极管组成。在此类实施例中，三个堆叠光电二极管中的每一个 对光的不同颜色进行响应。处理来自这三个光电二极管的信号以形成图像。然而，本文所 述的所有实施例将适用于任何上述传感器。
现在返回图Ib，示例性照相机系统100可以包括位于照相机系统100中以将从场 景145中的一个或多个对象140反射的光130聚焦到照相机传感器150上的透镜12。示例 性透镜12可以是将从场景145反射的光130聚焦到照相机传感器150上的任何适当的透^Ml O
照相机系统100还可以包括模数转换器(“A/D”)160。在数字照相机中，模数转 换器160将来自照相机传感器150的模拟信号数字化并将其输出到被连接到图像处理管线 170和曝光/聚焦/WB分析模块164的空间变化色彩校正模块162。A/D 160生成表示在暴 露于场景145期间捕捉的光130的图像数据信号。传感器控制器155向图像传感器提供信 号，其可以通过照相机来实现，用于进行自动聚焦、自动曝光、预闪计算、图像稳定和/或检 测白平衡，这仅是几个示例。
可以为照相机系统100提供与传感器控制器155可操作地相关联的图像处理管线 或模块170并可选地提供照相机设置180。图像处理模块170可以从空间变化色彩校正模 块162接收图像数据信号作为输入。可以将图像处理模块170实现为对所述图像数据信号 执行各种计算或处理，例如以便在显示器190上输出。
在示例性实施例中，可以将空间变化色彩校正模块162实现为校正由光学串扰、 光谱串扰或传感器光谱灵敏度的变化引起的数字图像中的缺陷。空间变化色彩校正模块 162可以基于照相机传感器150上的像素或像素组的位置对每个像素(或像素组)应用校 正因数。
应注意的是由于多种因素中的任何一种(例如，测试条件、光波长、海拔、温度、背 景噪声、传感器损坏、变焦、聚焦、光圈等)，照相机传感器150的输出在各种条件下可以是 不同的。改变成像系统的光学特性的任何事物都可能影响色差。因此，在示例性实施例中， 可以针对每个数字图像或在各种时间(例如各种季节、地理位置，或基于照相机设置或用 户选择)“即时”校正传感器，而不是使校正基于由研究和开发团队或制造商进行的照相机 传感器150的初始校准。参照图2所示的示例性照相机传感器和图3 6所示的图示，可 以更好地理解照相机传感器校正的示例性实施例。
图2是示例性照相机传感器150的高级图，诸如用于图Ib所示的照相机系统100 的上文所述的照相机传感器。出于此图示的目的，照相机传感器150被实现为隔行CCD。然 而，照相机传感器150不限于行间CCD。例如，照相机传感器150可以被实现为帧传输CCD、 交织CCD、CMOS传感器或现在已知或稍后开发的各类其它照相机传感器中的任何一种。例 如，虽然本文的讨论意在校正照相机中的色彩相关的色差，但是还可以在计算机上对未处 理的(“原始的”)图像执行这些操作。
在行间CXD中，每隔一列的硅传感器基板被掩蔽以形成有源光电池(或像素)200和与每个有源光电池200相邻的用作移位寄存器(未示出)的非活性区域。虽然示出了 η 列和i行的光电池，但应注意的是照相机传感器150可以包括任何数目的光电池200 (和相 应的移位寄存器)。光电池200(和移位寄存器)的数目可以取决于许多考虑因素，诸如，例 如图像大小、图像质量、工作速度、成本等。
在操作期间，有源光电池200在暴露于从场景反射的光期间变得带电。然后，此电 荷积聚(“像素数据”)在期望的曝光时间之后被传输到移位寄存器，并且可以被从移位寄 存器读出。
在示例性实施例中，可以如光电池窗口 210a i所示的那样对照相机传感器进行 采样。出于图示的目的，示出了九个窗口 210a i，它们基本上对应于照相机传感器的拐 角、边缘和中间部分。
可以将图像描述为具有宽度DimX和图像高度DimY。然后，使用以下坐标来描述每 个窗口的中心的空间位置(从左到右且从上到下)
权利要求
1.一种用于校正传感器的光学串扰和光谱串扰的方法，包括在传感器上的不同空间位置处针对多个色彩通道对光谱响应进行采样； 在由所述传感器捕捉的图像中的不同空间位置处应用4X4色彩校正矩阵；以及 转换每个空间位置处的光谱响应以匹配图像上的任何一个位置处的光谱响应。
2.权利要求1的方法，其中，针对图像上的多个窗口来确定光谱响应。
3.权利要求1的方法，其中，针对图像上的每个像素来确定光谱响应。
4.权利要求1的方法，还包括首先确定光谱响应是否根据空间位置而变。
5.权利要求1的方法，还包括首先确定给定空间位置处的色彩通道的光谱响应是否不 是线性可缩放的。
6.权利要求1的方法，还包括确定色彩通道的光谱响应是否根据空间位置而重叠。
7.权利要求1的方法，还包括对色彩通道的光谱响应进行归一化。
8.权利要求1的方法，还包括对未被采样的其它空间位置进行内插。
9.权利要求1的方法，还包括在不需要附加校准图像的情况下找到传感器的光谱响应。
10.一种用于校正传感器的光学串扰和光谱串扰的系统，包括 传感器，其被配置为输出与被拍照的场景相对应的像素值；以及信号处理逻辑，其执行以确定在所述传感器上的不同空间位置处多个色彩通道的光谱 响应，在由所述传感器捕捉的图像中的不同空间位置处应用色彩校正矩阵，并转换每个空 间位置处的光谱响应以匹配图像上任何一个位置处的光谱响应。
11.权利要求10的系统，其中，所述色彩校正矩阵是4X4矩阵。
12.权利要求10的系统，其中，所述色彩校正矩阵被定义为RKOOKOlK02K03R
13.权利要求10的系统，其中，所述信号处理逻辑还确定针对图像上的多个窗口的光 谱响应。
14.权利要求10的系统，其中，所述信号处理逻辑还确定针对图像上的每个像素的光 谱响应。
15.权利要求10的系统，其中，所述信号处理逻辑还确定光谱响应是否根据空间位置 而变化。
16.权利要求10的系统，其中，所述信号处理逻辑还归一化色彩通道的光谱响应。
17.权利要求16的系统，其中，所述信号处理逻辑还确定给定空间位置处色彩通道的 光谱响应是否不是线性可缩放的。
18.权利要求16的系统，其中，所述信号处理逻辑还确定色彩通道的光谱响应是否根据空间位置而重叠。
19.一种用于照相机传感器校正的系统，包括用于在传感器上的不同空间位置处针对多个色彩通道对光谱响应进行采样的装置，以及用于转换每个空间位置处的光谱响应以匹配图像上的中心处传感器的光谱响应以便 校正照相机传感器的光学串扰和光谱串扰的装置。
20.权利要求19的系统，还包括用于在由所述传感器捕捉的图像中的不同空间位置处 应用4X4色彩校正矩阵的装置。
21.一种用于校正色彩相关渐晕的方法，包括 将未校正的色彩通道数据输入到矩阵；通过所述矩阵对所述未校正的色彩通道数据进行操作；以及 输出色差校正后的数据集。
22.权利要求21的方法，其中，在去马赛克过程之前通过mXη校正矩阵对未校正的色 彩通道数据进行操作，所述mXn校正矩阵返回色彩通道的校正后的矢量。
23.权利要求21的方法，其中，在通过校正矩阵对所述未校正的色彩通道数据进行操 作之前对所述未校正的色彩通道数据进行去马赛克，所述校正矩阵返回去马赛克后的传感 器值的色差校正后的矢量。
24.权利要求21的方法，其中，对未校正的色彩通道值进行去马赛克并校正空间变化 色彩相关渐晕作为去马赛克过程的一部分。
25.权利要求对的方法，还包括从一个色彩空间到另一个色彩空间的变换。
全文摘要
本发明公开了用于照相机传感器校正的系统和方法。在示例性实施例中，一种方法可以包括在传感器上的不同空间位置处针对多个色彩通道对光谱响应进行采样。该方法还可以包括在由传感器捕捉的图像中的不同空间位置处应用4×4色彩校正矩阵。该方法还可以包括转换每个空间位置处的光谱响应以匹配图像上的任何一个位置处传感器的光谱响应。
文档编号H04N9/67GK102037734SQ200880129381
公开日2011年4月27日 申请日期2008年5月22日 优先权日2008年5月22日
发明者K·马瑟森, R·索波尔, Y·王 申请人:惠普开发有限公司