专利名称：使用全色像素的像素纵横比校正的制作方法
技术领域：
本发明涉及从具有不同像素纵横比的全色图像和彩色图像中形成具有期望的像 素纵横比的彩色图像。
背景技术：
摄像机和数字静态照相机通常采用具有滤色器阵列的单个图像传感器来记录场景。这种方法始于稀疏分布的单信道图像，其中彩色信息由滤色器阵列图形编码。随后对 邻近像素值的内插允许重构完整的三通道全色图像。通常理解的假设是这个全色图像由在 正方形像素网格上采样的像素值组成，即图像像素是正方形。这对于大量的图像显示器是 重要的并且打印装置使用正方形像素进行随后的图像再现。然而，在全色图像中需要正方 形像素并不要求单个图像传感器使用正方形像素。使用矩形(非正方形)像素的传感器 在本领域中是众所周知的。从矩形像素捕获中产生正方形像素图像的一般实践是用矩形 像素产生全色图像并且然后作为最后步骤将全色图像转换成具有正方形像素的图像。这 种方法由美国专利No. 5，778，106 (Juenger等人)所例证。参见图2，配有矩形像素的单个 传感器的数码相机200产生RGB CFA图像202。CFA内插方框204从RGB CFA图像202产 生全色图像206。像素纵横比校正方框208从全色图像206中产生像素纵横比校正的全色 图像210。在这个示例中，能够看出在图像处理链中需要额外的操作(方框208)以便从具 有非正方形像素的初始图像(方框202)中产生具有正方形像素的图像(方框210)。更好 的解决方案将是将像素纵横比校正方框208直接并入CFA内插方框204中。在美国专利 No. 7，092，020 (Yoshikawa)中教导了这种方法的相关示例。参见图3，数码相机212 (配有 正方形像素的单个传感器)产生RGB CFA图像214。通过直接计算数字缩放(放大)的全 色图像而不用将该操作分成两个单独步骤(内插然后调整大小)或产生对应的中间图像， CFA内插和调整大小方框216从RGB CFA图像214中产生调整大小后的全色图像218。在低光成像情形下，有利的是让滤色器阵列中的一个或多个像素未经过滤，即光 谱敏感度中的白色或全色。这些全色像素具有捕获系统的最高光敏感度能力。采用全色 像素代表捕获系统中光敏感度和彩色空间分辨率之间的折衷。为此，已经描述了许多四色 滤色器阵列系统。美国专利No. 6，529，239 (Dyck等人)教导了绿-青-黄-白图形，其被 布置成镶嵌在传感器表面上的2X2块。美国专利No. 6，757，012 (Hubina等人)公开了 红-绿-蓝-白图形和黄-青-品红_白图形两者。在这两种情况下，彩色被布置成镶嵌 在成像器表面上的2X2块。使用这样的系统的困难在于滤色器阵列中的像素的仅四分之 一具有最高光敏感度，因而限制捕获装置的整体低光性能。为了解决在滤色器阵列中具有更多具有最高光敏感度的像素的需要，美国专利申 请公开No. 2003/0210332 (Frame)描述了其中大多数像素未经过滤的像素阵列。相对少 的像素专用于从场景捕获彩色信息，从而产生具有低彩色空间分辨率能力的系统。另外， Frame教导了使用对图像中的高频彩色空间细节不做响应或保护的简单线性内插技术。
发明内容
本发明的目标是从具有有不同像素纵横比的全色和彩色像素的数字图像中产生具有期望的像素纵横比的数字彩色图像。这个目标是通过一种形成具有第一像素纵横比的增强的数字全色图像的方法而完成的，所述方法包括(a)使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的 第二像素纵横比；(b)从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；(c)从捕获的图像中提供数字低分辨率色差滤色器阵列图像；(d)从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及(e)使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增 强的数字全色图像。本发明的一个特征是能够用具有有第一像素纵横比的全色和彩色像素的传感器 在低光条件下捕获图像并且处理产生从全色和彩色像素中产生的数字彩色图像中期望的 像素纵横比。本发明利用具有适当组成的全色和彩色像素的滤色器阵列以便允许上述方法提 供改进的低光敏感度和改进的彩色空间分辨率保真度。上述方法保留并增强了全色和彩色 空间细节并且产生全色全分辨率图像。
图1是用于实施本发明的包括数码相机的计算机系统的透视图；图2是现有技术像素纵横比校正图像处理链的方框图；图3是组合CFA内插和调整大小图像处理链的现有技术的方框图；图4是本发明的优选实施例的方框图；图5A是更详细示出图4中的方框302的方框图；图5B是更详细示出本发明替代实施例的图4中的方框302的方框图；图6A是更详细示出图4中的方框316的方框图；图6B是更详细示出本发明替代实施例的图4中的方框316的方框图；图6C是更详细示出本发明替代实施例的图4中的方框316的方框图；图6D是更详细示出本发明替代实施例的图4中的方框316的方框图；图6E是更详细示出本发明替代实施例的图4中的方框316的方框图；图6F是更详细示出本发明替代实施例的图4中的方框316的方框图；图7A和7B是图6A中的方框316中所用的像素区域；图8A和8B是图6C中的方框316中所用的像素区域；图9A和9B是图6D中的方框316中所用的像素区域；图IOA和IOB是图6E中的方框316中所用的像素区域；以及
图IlA和IlB是图6F中的方框316中所用的像素区域；
具体实施例方式在以下描述中，本发明的优选实施例将以通常实施为软件程序的方式进行描述。 本领域技术人员将容易意识到这样的软件的等同物也能够以硬件进行构造。因为图像操纵 算法和系统是众所周知的，本描述将具体涉及于形成依据本发明的系统和方法的一部分的 或者更直接地与所述系统和方法协作的算法和系统。这样的算法和系统的其它方面以及用 于产生和以其它方式处理其中所涉及的图像信号的硬件或软件(这里未具体示出或描述) 能够从本领域已知的这样的系统、算法、部件和元件中加以选择。鉴于在以下材料中根据发 明所描述的系统，在这里未具体示出、提出或描述的、用于实施发明的软件是常规的并且属 于本领域的通常技术。更进一步，如在这里所用的，计算机程序能够存储在计算机可读存储介质中，所述计算机可读存储介质能够例如能够包括磁存储媒介，诸如磁盘(诸如硬盘驱动器或软盘) 或磁带；光存储媒介，诸如光盘、光带、或机器可读条形码；固态电子存储装置，诸如随机存 取存储器(RAM)、或只读存储器(ROM)；或者任何其它用来存储计算机程序的物理装置或介 质。在描述本发明之前，要注意为便于理解起见本发明优选用在任何众所周知的计算 机系统诸如个人计算机上。因此，在这里不将详细描述计算机系统。注意图像被直接输入 到计算机系统中(例如通过数码相机)或者在输入到计算机系统中之前被数字化(例如通 过扫描原件，诸如卤化银胶卷)也是有益的。参照图1，说明了用于实施本发明的计算机系统110。尽管计算机系统110被示出 用于说明优选实施例的目的，但是本发明不限于所示的计算机系统110，而是能够用于诸如 在家用计算机、信息亭、零售或批发照相洗印加工中见到的任何电子处理系统或者任何其 它用于处理数字图像的系统。计算机系统Iio包括基于微处理器的单元112以用于接收 和处理软件程序以及用于执行其它处理功能。显示器114被电连接到基于微处理器的单元 112以例如通过图形用户接口来显示与软件相关联的用户相关信息。键盘116还连接到基 于微处理器的单元112以允许用户把信息输入到软件。作为使用键盘116进行输入的备选 方案，鼠标118能够用于移动显示器114上的选择器120并且用于选择选择器120覆盖其 上的项，这在本领域中是众所周知的。一般包括软件程序的光盘只读存储器(⑶-ROM) 124被插入到基于微处理器的单 元中以提供一种向基于微处理器的单元112输入软件程序和其它信息的方式。另外，软盘 126也能够包括软件程序，并且插入到基于微处理器的单元112以输入软件程序。光盘只读 存储器(⑶-ROM) 124或软盘126能够可替代地插入到位于外部的盘驱动单元122，所述盘驱 动单元122连接到基于微处理器的单元112。更进一步，基于微处理器的单元112能够如本 领域众所周知地进行编程以把软件程序存储在内部。基于微处理器的单元112还能够具有 到外部网络诸如局域网或互联网的网络连接127，诸如电话线。打印机128也能够连接到基 于微处理器的单元112以打印从计算机系统110输出的硬拷贝。图像也能够经由个人计算机卡(PC卡)130显示在显示器114上，所述个人计算机 卡，诸如先前已知的PCMCIA卡(基于个人计算机存储卡国际协会的规范)，其含有被电子实现在PC卡130中的数字化图像。PC卡130最终插入到基于微处理器的单元112以允许 图像在显示器114上的视觉显示。可替代地，PC卡130能够插入到位于外部的PC卡读取 器132中，所述PC卡读取器132连接到基于微处理器的单元112。也能够经由光盘只读存 储器(⑶-ROM) 124、软盘126或者网络连接127来输入图像。在PC卡130、软盘126或光盘 只读存储器(⑶-ROM) 124中存储的或者经过网络连接127所输入的任何图像能够从各种源 诸如数码相机(未示出)或扫描仪(未示出)获取。图像也能够经由连接到基于微处理器 的单元112的相机底座端口(docking port) 136而直接从数码相机134输入或者经由到基 于微处理器的单元112的电缆连接138或经由到基于微处理器的单元112的无线连接140 而直接从数码相机134输入。
依据该发明，算法能够存储在以前提及的任何存储装置中并且应用于图像以便内 插稀疏分布图像。图4是优选实施例的高级图。数码相机134(图1)负责创建原始的数字红-绿-蓝 全色(RGBP)滤色器阵列(CFA)图像300，也称为数字RGBP CFA图像或RGBP CFA图像。在 这一点上要注意，其它彩色通道组合诸如青_品红_黄全色能够在以下描述中用来替代 红-绿-蓝全色。关键项是包括全色信道。这个图像被认为是稀疏采样图像，因为图像中的 每个像素仅含有红、绿、蓝或全色数据中的一个像素值。全色内插方框302从RGBP CFA图 像300中产生高分辨率全色图像304和低分辨率全色图像306。在这一点上在图像处理链 中，每个彩色像素位置具有相关的全色值以及红、绿或蓝色值。低分辨率彩色抽取方框310 从RGBP CFA图像300中产生低分辨率RGB CFA图像312。色差生成方框308从低分辨率 RGB CFA图像312和低分辨率全色图像306中产生低分辨率色差CFA图像314。色差CFA 内插和调整大小方框316从低分辨率色差CFA图像314和低分辨率全色图像306中产生校 正后的高分辨率色差图像318。像素纵横比校正方框320从高分辨率全色图像304中产生 校正后的高分辨率全色图像322。最后，色差和全色图像总和方框324从校正后的高分辨率 色差图像318和校正后的高分辨率全色图像322产生增强的全色图像326。图5A是优选实施例的方框302 (图4)的更详细视图。高分辨率全色内插方框328 从RGBP CFA图像300 (图4)中产生高分辨率全色图像330。高分辨率全色图像330的拷贝 变成高分辨率全色图像304(图4)。低分辨率全色抽取方框332从高分辨率全色图像330 产生低分辨率全色图像306 (图4)。在图5A中，高分辨率全色内插方框328和低分辨率全色抽取方框332能够以对 本领域技术人员已知的任何方式被执行。在上面引用的共同转让的美国专利申请公开 No. 2007/0024934和美国专利申请序列No. 11/564，451中教导了合适的方法。图5B是替代实施例的方框302 (图4)的更详细视图。高分辨率全色内插方框328 从RGBP CFA图像300 (图4)中产生高分辨率全色图像304 (图4)。低分辨率全色内插方框 334从RGBP CFA图像300 (图4)中产生低分辨率全色图像306 (图4)。高分辨率全色内插 方框328已经根据图5A进行了讨论。低分辨率全色内插方框334与高分辨率全色内插方框 328不同仅在于所捕获的全色像素值在内插计算后被自动丢弃以便产生内插的全色像素值 的低分辨率全色图像。图6A是优选实施例的方框316 (图4)的更详细视图。色差CFA内插方框336从 低分辨率色差CFA图像314(图4)中产生低分辨率色差图像338。高分辨率调整大小方框340从低分辨率色差图像338中产生高分辨率色差图像342。像素纵横比校正方框344从 高分辨率色差图像342中产生校正后的高分辨率色差图像318 (图4)。在图6A中，色差CFA内插方框336可以以对本领域技术人员已知的任何方式被执 行。在上面引用的共同转让的美国专利申请公开No. 2007/0024934和美国专利申请序列 No. 11/564，451中教导了合适的方法。高分辨率调整大小方框340是用也在共同转让的美 国专利申请公开No. 2007/0024934中描述的适当方法的标准数字图像调整大小(内插或重 采样)操作。像素纵横比校正方框344也是具有水平比例因子不同于垂直比例因子的显著 特征的标准数字图像调整大小操作。作为示例，图7B(QfQc)代表图TA(P1-Pc)的像素纵横 比校正版本。使用双线性内插，像素纵横比计算如下Q1 = P1Q2 = (2P2+P3) /3Q3 = (P3+2P4) /3Q4 = (Ρ^3Ρ5) /4Q5 = (2Ρ2+Ρ3+6Ρ6+3Ρ7)/12Q6 = (Ρ3+2Ρ4+3Ρ7+6Ρ8)/12Q7 = (Ρ5+Ρ9) /2Q8 = (2Ρ6+Ρ7+2ΡΑ+ΡΒ) /6Q9 = (P7+2P8+Pb+2Pc) /6Qa = (3P9+Pd) /4Qb = (6Pa+3Pb+2Pe+Pf)/12Qc= (3Pb+6Pc+Pf+2Pg)/12对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替 代双线性内插。图6B是替代实施例的方框316 (图4)的更详细视图。色差CFA内插方框336从低 分辨率色差CFA图像314(图4)中产生低分辨率色差图像338。像素纵横比校正方框346 从低分辨率色差图像338中产生校正后的色差图像348。高分辨率调整大小方框350从校 正后的色差图像348中产生校正后的高分辨率色差图像318 (图4)。在图6B中，色差CFA内插方框336如同先前根据图6A所描述的。像素纵横比校 正方框346与图6A的像素纵横比校正方框344相同，除了方框346对低分辨率数据操作而 方框344对高分辨率数据操作。高分辨率调整大小方框350与高分辨率调整大小方框340 相同，除了方框350对像素纵横比校正数据操作而方框340不是。图6C是替代实施例的方框316 (图4)的更详细视图。色差CFA内插方框336从低分辨率色差CFA图像314(图4)中产生低分辨率色差图像338。高分辨率调整大小和像素 纵横比校正方框352从低分辨率色差图像338中产生校正后的高分辨率色差图像318(图 4)。在图6C中，色差CFA内插方框336如同先前根据图6A所描述的。高分辨率调整 大小和像素纵横比校正方框352将高分辨率调整大小和像素纵横比校正执行为单个操作。 方框352通过具有对水平和垂直方向的不同比例因子的标准调整大小操作来完成。作为示 例，图8B(Q「Qm)代表图SA(P1-Pc)的高分辨率调整大小后且像素纵横比校正后的版本。使用双线性内插，像素纵横比计算部分地如下Q1=P1Q2 = (Ρ^2Ρ2) /3Q3 = (2Ρ2+Ρ3) /3Q7 = (5PJ3P5) /8Q8= (5Ρ1+10Ρ2+3Ρ5+6Ρ6)/24Q9= (10Ρ2+5Ρ3+6Ρ6+3Ρ7)/24Qd = (P^P5) /4Qe= (Ρ1+2Ρ2+3Ρ5+6Ρ6)/12Qf = (2Ρ2+Ρ3+6Ρ6+3Ρ7) /6Qj = (7Ρ5+Ρ9) /8Qk= (7Ρ5+14Ρ6+Ρ9+2Ρα)/24Ql= (14Ρ6+7Ρ7+2Ρα+Ρβ)/24如何扩展这些计算以产生图8Β中的其它Q值对本领域技术人员将是显而易见的。 对本领域技术人员也将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线 性内插。图6D是替代实施例的方框316 (图4)的更详细视图。色差CFA内插和像素纵横比 校正方框354从低分辨率色差CFA图像314 (图4)中产生校正后的低分辨率色差图像356。 高分辨率调整大小方框358从校正后的低分辨率色差图像356中产生校正后的高分辨率色 差图像318 (图4)。在图6D中，高分辨率调整大小方框358与高分辨率调整大小方框340 (图6Α)相 同，除了方框358对像素纵横比校正后的数据进行操作。色差CFA内插和像素纵横比校正 方框354是组合的内插操作。作为示例，图9B(QrQc)代表图9A(R1-Gc)的CFA内插后且像 素纵横比校正后的版本。注意在图9A中，每个像素值是色差值而不是原始色值。由于像素 QjP R1是一致的，所以对于Q1不需要像素纵横比校正。因此，仅执行CFA内插。采用如下 的标准双线性内插Qie = R1Qig = (Ge+Gj+G2+G5) /4Qib = (Bd+Bf+Bl+B6) /4在仏的情况下，执行CFA内插和像素纵横比校正二者。中间步骤被示出以说明最 终计算的确定。Q2e = (2R2+R3) /3 — (2 (R^R3) /2+R3) /3 — (RpR3) /3Q2g = (2G2+G3)/3— (2G2+(Gg+G2+G7+G4)/4)/3 — (9G2+Gg+G7+G4)/12Q2b = (2B2+B3) /3 — (2 (BF+B6) /2+ (BF+BH+B6+B8) /4) /3 — (5BF+5B6+BH+B8)/12因此，为确定Q2像素值而由方框354执行的计算为Q2e =(队+21 3) /3Q2G= (9G2+GC+G7+G4)/12Q2b = (5Bf+5B6+Bh+B8)/12下面给出该示例中的其余计算。
Q3e = (2R3+Rk) /3Q3g= (9G4+Gg+G2+G7)/12Q3b = (5Bh+5B8+Bf+B6)/12Q4e = (5^+3^) /8Q4g= (13G5+G2+Ge+Gj)/16Q4b = (7Bl+7B6+Bd+Bf)/16Q5e= (10R3+6Rb+5R1+3R9)/24Q5g= (Gg+15G2+6G5+G4+19G7+6Ga) /48Q5b = (35B6+7B8+5Bf+Bh) /48Q6e= (10R3+6Rb+5Rk+3Ro)/24Q6g= (Gg+G2+15G4+19G7+6Gm+6Gc) /48Q6b = (Bf+5Bh+7B6+35B8) /48Q7r = (R1+3R9)/4Q7g = (Ga+5G5+Gn+Gq) /8Q7b = (3B6+3BL+BP+BE) /8Q8e= (6Rb+R1+2R3+3R9)/12Q8g= (1 1Ga+Gc+2G2+2G5+7G7+Gs) /24Q8b= (15B6+3B8+5Be+Bt)/24Q9e= (6Rb+Rk+3R0+2R3)/12Q9g= (Ga+1 1Gc+2G4+7G7+2Gm+Gs) /24Q9b= (3B6+15B8+Be+5Bt)/24Qae = (7R9+Rff) /8Qag= (3Ga+3G5+3Gn+7Gq)/16Qab = (3B6+3BL+5BP+5BE) /16Qbe = (14RB+7R9+Rff+2RY) /24Qbg = (29Ga+3Gc+3G7+2Gq+9Gs+2Gx) /48Qbb= (15B6+3B8+25Be+5Bt) /48Qce = (Ra+14RB+7R。+2RY) /24Qcg = (3Ga+29Gc+3G7+9Gs+2Gu+2Gz) /48Qcb= (3B6+15B8+5Be+25Bt) /48对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替 代双线性内插。图6E是替代实施例的方框316 (图4)的更详细视图。色差CFA内插和高分辨率调整大小方框360从低分辨率色差CFA图像314(图4)中产生高分辨率色差图像362。像素 纵横比校正方框364从高分辨率色差图像362中产生校正后的高分辨率色差图像318(图 4)。在图6E中，像素纵横比校正方框364与像素纵横比校正方框344 (图6A)相同。色 差CFA内插和高分辨率调整大小方框360是组合的内插操作。作为示例，图IOB(Q1-Qe)代 表图IOA(R1-B4)的CFA内插后且高分辨率调整大小后的版本。注意在图IOA中，每个像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以对于Q1不需要高分辨率调整大小。因此，仅执行CFA内插。采用如下的标准双线性内插QIE = R1Qig = (G6+Ga+G2+G3) /4Qib = (B5+B7+Bd+B4) /4在仏的情况下，执行CFA内插和高分辨率调整大小二者。中间步骤被示出以说明 最终计算的确定。Q2e = (RJR2) /2 — (R1+ (R^Rb) /2) /2 — (SR^Rb) /4Q2g = (GJG2) /2 — ((GA+G2+G6+G3) /4+G2) /2 — (5G2+GA+G6+G3) /8Q2b = (B^B2) /2 ^ ((B5+B7+BD+B4)/4+(B7+B4)/2)/2 — (3B4+B5+3B7+BD) /8因此，为确定Q2像素值而由方框360执行的计算为Q2e = (SR^Rb) /4Q2g = (5G2+Ga+G6+G3) /8Q2b = (3B4+B5+3B7+Bd) /8下面给出该示例中的其余计算。Q3e = (R^Rb) /2Q3g = G2Q3b = (B7+B4) /2Q4r = (R1+3RB)/4Q4g = (3G2+Gc) /4Q4b = (3B4+B9+3B7+Bf) /8Q5e = (SR^Rh) /4Q5g = (Ga+G2+5G3+G6) /8Q5b = (3B4+B5+B7+3Bd) /8Q6e=Q6g= (GA+6G2+6G3+G6+GE+GJ) /16Q6b = (9B4+B5+3B7+3Bd)/16Q7e = (SRB+Rh+RJ+SRJ) /8Q7g = (SG^Gg+GE+Gj) /8Q7b = (3B4+B7) /4Q8e=Q8g= (GC+6G2+G3+G8+6GE+GJ) /16Q8b= (9B4+3B7+B9+3Bf)/16Q9e = (R^Rh) /2Q9g = G3Q9b = (Bd+B4) /2Qae = (RB+SRh+RJ+SRJ) /8Qag = (G^SGg+GE+Gj) /8Qab = (3B4+Bd) /4
Qbe = (Rj+RB+RH+RJ) /4Qbg=(GJGJGJGi)/^Qbb = B4Qck = (3RB+RH+3RJ+R》/8Qcg=(GJG^SGJGi)ZSQcb = (3B4+Bf) /4Qde = (SRh+R^ /4Qdg = (G^G.+G^+G,) /8Qdb = (3B4+3Bd+Bl+Bn) /8QEE=Qeg= (GG+G2+6G3+GM+GE+6GJ) /16Qeb = (9B4+3Bd+Bl+3Bn)/16Qfe = (RB+SRh+SRJ+RJ) /8Qfg = (GdGJGdSG1) /8Qfb = (3B4+Bn) /4Qge=Qgg= (G2+G3+GK+G0+6GE+6GJ) /16Qgb = (9B4+3BF+3BN+BP)/16对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替代双线性内插。图6F是替代实施例的方框316 (图4)的更详细视图。色差CFA内插、高分辨率调 整大小和像素纵横比校正方框366从低分辨率色差CFA图像314(图4)中产生校正后的高 分辨率色差图像318 (图4)。方框366是组合的内插操作。作为示例，图IlB(Q1-Qtl)代表 图IlA(R1-G6)的经CFA内插、高分辨率调整大小和像素纵横比校正后的版本。注意在图IlA 中，每个像素值是色差值而不是原始色值。由于像素Q1和R1是一致的，所以对于Q1不需要 高分辨率调整大小或像素纵横比校正。因此，仅执行CFA内插。采用如下的标准双线性内 插Qie = R1Qig = (G8+Gd+G2+G4) /4Qib = (B7+B9+Bg+B5) /4在Q2的情况下，执行CFA内插、高分辨率调整大小和像素纵横比校正。中间步骤 被示出以说明最终计算的确定。 Q2e = (R^SR2) /4 —(队+3 (R^R3) /2) /4 — (5队+31 3) /8Q2g = (G^SG2) /4 — ((G8+GD+G4+G2) /4+3G2) /4 — (GD+13G2+G4+G8)/16Q2b = (B^SB2) /4 — ((B7+B9+BG+B5) /4+ (B9+B5) /2) /4 — (7B5+B7+7B9+BG)/16因此，为确定Q2像素值而由方框360执行的计算为Q2e = (SR^SR3) /8Q2g= (Gd+13G2+G4+G8)/16Q2b = (7B5+B7+7B9+Bg)/16
下面给出该示例中的其余计算。<formula>formula see original document page 12</formula>
Qfb = (3B5+Bh) /4Qge= (Rf+7Rm+R0+7R3)/16Qgg = (13G6+GN+GE+GD/16Qgb = (3B5+5Bh) /8Qhe = (2RK+R!) /3Qhg= (9G4+Gj+Gl+Gq) /12Qhb = (5B5+5BG+BP+BE)/12Qie= (10Rk+6Rm+5R1+3R3)/24Qig= (6G2+15G4+6G6+Gj+19Gl+Gq) /48Qib = (35B5+5BG+BP+7BE) /48Qje= (2Rk+6Rm+R1+3R3)/12Qjg= (2G2+2G4+1 1G6+7Gl+Gn+Gs) /24Qjb= (15B5+5Bh+3Be+Bt)/24Qke= (Rf+14Rm+2R0+7R3)/24Qkg= (29G6+3GL+9GN+3GS+2GE+2G!)/48Qkb= (15B5+25Bh+3Be+5Bt)/48Qle = (5&+礼)/6Qlg = (3G4+Gj+Gl+Gq) /6Qlb = (2B5+2BG+BP+BE) /6Qme= (25Rk+15Rm+5R1+3R3)/48Qmg = (3G2+9G4+3G6+2Gj+29Gl+2Gq) /48Qmb= (14B5+2Bg+Bp+7Be)/24Qne= (5Rk+15Rm+R1+3R3)/24Qng= (G3+G4+7G6+1 1Gl+2Gn+2Gs) /24Qnb= (6B5+2Bh+3Be+Bt)/12Qoe = (Rf+35Rm+5R0+7R3) /48Qog = (19G6+6GL+15GN+6GS+GE+GD/48Qob= (6B5+10Bh+3Be+5Bt)/24对本领域技术人员将显而易见的是，其它内插方法诸如三次卷积内插能够用于替 代双线性内插。本发明的优选实施例中所公开的像素纵横比校正算法能够被用于各种用户上下 文和环境中。示例性上下文和环境包括但不限于批发数字照相洗印加工(其涉及诸如装 胶卷、数字处理、打印输出的示例性处理步骤或阶段)、零售照相洗印加工(装胶卷、数字处 理、打印输出)、家庭打印(家庭扫描的胶卷或数字图像、数字处理、打印输出)、桌面软件 (将算法应用于数字打印以使得它们更好_或者甚至仅改变它们)、数字实现(数字图像输 入_从媒介或通过网络，数字处理，图像输出_以媒介上的数字形式，网络上的数字形式，或 者打印在硬拷贝印刷品上)、信息亭(数字或扫描输入、数字处理、数字或扫描输出)、移动 装置(例如PDA或蜂窝电话，其能够用作处理单元、显示单元或用于给出处理指令的单元) 以及作为经由万维网提供的服务。
在每种情况下，像素纵横比校正算法能够独立存在或者能够是较大系统解决方案的部件。而且，与算法的接口，例如扫描或输入、数字处理、向用户显示(如果需要的话)、输 入用户请求或处理指令(如果需要的话)、输出，每个都能够位于相同或不同装置和物理位 置上，并且装置和位置之间的通信能够是经由公共或专用网络连接、或者基于媒介的通信。 这些算法在符合本发明的前面公开的情况下能够是全自动的，能够让用户输入(是全部或 部分人工的)，能够让用户或操作员查看以接收/拒绝结果，或者能够由元数据(能够由用 户提供、由测量装置(例如在相机中)提供、或由算法确定的元数据)辅助。此外，算法能 够与各种工作流用户接口方案接口。在这里依据该发明所公开的像素纵横比校正算法能够具有利用各种数据检测和 简化技术(例如人脸检测、眼睛检测、皮肤检测、闪光检测)的内部部件。部件列表110计算机系统112基于微处理器的单元114显示器116 键盘118 鼠标120显示器上的选择器122盘驱动单元124光盘只读存储器(⑶-ROM)126 软盘127网络连接128打印机130个人计算机卡(PC卡)132PC卡读取器134数码相机136相机底座端口138电缆连接140无线连接200数码相机202RGB CFA 图像204CFA 内插206全色图像208像素纵横比校正210校正后的全色图像212数码相机214RGB CFA 图像216CFA内插和调整大小218调整大小后的全色图像300RGBP CFA 图像
302全色内插304高分辨率全色图像306低分辨率全色图像308色差生成310低分辨率彩色抽取312低分辨率RGB CFA图像314低分辨率色差CFA图像316色差CFA内插和调整大小318校正后的高分辨率色差图像320像素纵横比校正322校正后的高分辨率全色图像324色差和全色图像总和326增强的全色图像
328高分辨率全色内插330高分辨率全色图像332低分辨率全色抽取334低分辨率全色内插336色差CFA内插338低分辨率色差图像340高分辨率调整大小342高分辨率色差图像344像素纵横比校正346像素纵横比校正348校正后的色差图像350高分辨率调整大小352高分辨率调整大小和像素纵横比校正354色差CFA内插和像素纵横比校正356校正后的低分辨率色差图像358高分辨率调整大小360色差CFA内插和高分辨率调整大小362高分辨率色差图像364像素纵横比校正366色差CFA内插、高分辨率调整大小、和像素纵横比校正.
权利要求
一种形成具有第一像素纵横比的增强的数字全色图像的方法，包括(a)使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的第二像素纵横比；(b)从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；(c)从捕获的图像中提供数字低分辨率色差滤色器阵列图像；(d)从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及(e)使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增强的数字全色图像。
2.权利要求的方法1，其中步骤(a)包括具有光响应红、绿和蓝的彩色像素。
3.权利要求的方法1，其中步骤(a)包括具有光响应青、品红和黄的彩色像素。
4.权利要求的方法1，其中步骤(c)包括从高分辨率全色图像中产生数字低分辨率全 色图像并且使用低分辨率全色图像和捕获的彩色像素来产生数字低分辨率色差滤色器阵 列图像。
5.权利要求的方法1，其中步骤(d)包括滤色器阵列内插色差像素值。
6.权利要求的方法1，其中步骤(d)包括将色差像素值的像素纵横比从第二像素纵横 比改变到第一像素纵横比。
7.权利要求的方法1，其中步骤(d)包括将色差像素值从低分辨率调整大小到高分辨率。
8.权利要求的方法1，其中第一像素纵横比定义正方形而第二像素纵横比定义非正方 形的矩形。
全文摘要
一种形成具有第一像素纵横比的增强的数字全色图像的方法包括使用图像传感器来捕获图像，所述图像传感器具有全色像素和对应于至少两种彩色光响应的彩色像素，其中彩色和全色像素每个均具有与所述第一像素纵横比不同的第二像素纵横比；从所捕获的图像中提供数字高分辨率全色图像并且将全色像素值的纵横比从第二像素纵横比改变到第一像素纵横比以产生数字纵横校正的高分辨率全色图像；从捕获的图像中提供数字低分辨率色差滤色器阵列图像；从所述低分辨率色差滤色器阵列图像中提供数字纵横校正的高分辨率色差图像；以及使用纵横校正的高分辨率全色图像和纵横校正的高分辨率色差图像来产生增强的数字全色图像。
文档编号H04N9/04GK101803391SQ200880103332
公开日2010年8月11日 申请日期2008年8月6日 优先权日2007年8月14日
发明者J·E·亚当斯, J·F·哈米尔顿, M·奥布赖恩 申请人:伊斯曼柯达公司