图像处理方法、图像处理装置以及成像装置的制作方法

专利名称：图像处理方法、图像处理装置以及成像装置的制作方法
技术领域：
本发明涉及一种用来处理由光学系统捕捉到的图像的技术，该光学系统是 一种具有广角和大的4咅率色^象差(chromatic aberration of magnification)的光 学系统。
背景技术：
近来，微型广角成像装置已经越来越多地应用到诸如车辆的倒车监视器 (back monitor)等当中。然而，却很难设计出一种具有的小像差和失真的微 型光学系统，并且与图像处理相结合需要提高性能。例如，在已经公布的曰本 专利申请No. 2006-345054中，说明了一种在利用存在失真的光学系统的成像 装置中，通过对于诸如电荷耦合器件(CCD )和互补金属氧化物半导体(CMOS ) 等成像器件获取的R (红色)、G (绿色)、以及B (蓝色)信号都执行座标变 换而产生不同的失真，来校正光学系统中产生的倍率色像差的方法。
通常，在成像器件中设置有诸如具有拜耳阵列(Bayerarray)的彩色滤波 器(color filter )。在现有技术中，在内插了由诸如拜耳阵列的彩色滤波器阵列 引起的缺陷像素之后，对于由成像器件所获取的信号执行倍率色像差的校正。
然而，为了对应于具有大的倍率色像差的光学系统，关于倍率色像差(关 于座标变换)需要非常大的存储容量，并且这使得器件变得非常昂贵。进一步， 由于每种颜色成分的倍率色像差都不同，需要能够独立地应对每种颜色成分的
存储器来校正倍率色像差，并且需要使用昂贵的具有3-芯片配置的三端口随机 存储器(RAM)(例如，静态RAM(SRAM))或是以时间共享方式驱动RAM, 这都使得器件变得更加昂贵。 发明内容本发明的目的在于至少部分地解决现有技术中的问题。
根据本发明的一个方面，提供了 一种用于处理彩色滤波器阵列中的图像数 据的方法，所述图像数据至少包括由成像器件捕捉到的倍率色像差。所述方法
包括通过对图像数据中的各像素执行座标变换来校正所述倍率色像差；和对 倍率色像差校正后的图像数据补偿由彩色滤波器阵列引起的缺陷像素。
进一步，根据本发明的另一方面，提供了一种用于处理彩色滤波器阵列中 的图像数据的装置，所述图像数据至少包括由成像器件捕捉到的倍率色像差。 所述装置包括倍率色像差校正单元，通过对图像数据中的各像素执行座标变 换来校正所述倍率色像差；和补偿单元，对倍率色像差校正后的图像数据补偿 由彩色滤波器阵列引起的缺陷像素。
此外，根据本发明的再一方面，提供了一种成像装置，包括光学系统， 具有广角并且至少具有大的倍率色像差；成像器件，包括预定的颜色阵列中的
彩色滤波器并且通过所述光学系统捕捉图像；以及根据本发明的装置。
当联系所述附图 一起考虑时，通过阅读如下的关于本发明的当前优选的实 施例的详细说明，可以对本发明的上述和其它目的、特征、优点以及技术上和 工业上的重要性获得更佳的理解。


图1是根据本发明实施例的成像装置的操作系统的完整方框图； 图2A至图2C描绘了具有拜耳阵列的彩色滤波器； 图3是MTF校正单元的示例的配置图； 图4是FIR过滤器的示例；
图5A和图5B是用来说明本发明的倍率色像差校正的原理的示意图； 图6是图1中示出的倍率色像差校正单元的整体配置图； 图7描绘了源的座标值、通过四舍五入(roundoff)座标值而得到的座标 值、以及这些座标值的偏差之间的关系；
图8是用来说明图6所示的阵列确定单元执行的操作的示意图； 图9A至图9E描绘了图6所示的座标校正单元执行的运算的内容； 图IO描绘了由阵列确定单元执行的操作；
图ll是在第二示例中图11所示的倍率色像差校正单元的整体配置图;图12A至图12E描绘了由图ll所示的座标校正单元A执行的运算的内容;
图13A至图13E描绘了由图ll所示的座标校正单元B执行的运算的内容；
图14A至图14E描绘了在根据第三示例的倍率色像差校正单元的座标校 正单元A中的运算的内容；以及
图15A至图15E描绘了在根据第三示例的倍率色像差校正单元的座标校 正单元B中的运算的内容。
具体实施例方式
下面将会参考所附附图对本发明的示例性实施例作出更加详细的说明。在 本发明的实施例中，假定成像器件包括具有拜耳阵列的彩色滤波器；然而，本 发明还可应用到包括诸如CMYG阵列或RGB+Ir (红外射线)阵列在内的另一 种彩色滤波器的成像器件中。图像的颜色成分不仅可以是加色法原色中的红色 (R)、绿色(G)、以及蓝色(B)，而且它们还可以是減色法原色中的黄色(Y)、 绛红色(M)、以及青色(C)。
图1是根据本发明实施例的成像装置中的图像处理系统的功能性方框图。' 除了图1中所示的部件之外，根据实施例的成像装置还包括图1中没有示出的 操作单元、图像存储单元、以及图像显示单元。例如，成像装置可以用作车载 相机，但是并未限制本发明仅应用于此。
如图1所示，控制单元100向各个单元提供所需的控制信号(时钟、水平 /垂直同步信号等)以便按照流水线方式控制各个单元的操作。
例如，成像器件110包括CCD或CMOS传感器，用来将使用具有广角和 大的倍率色像差和失真的光学系统(未示出)捕捉到的光学图像转换成电信号 (像素信号)。在成像器件110中设置有拜耳彩色滤波器阵列，并且基于控制 单元100给出的座标值(x， y)顺序地输出具有拜耳阵列的RGB像素信号。 通过推移预定时间，控制单元100将向成像器件110提供的座标值(x， y)顺 序地提供到后续阶段。可基于时钟、水平/垂直同步信号在成像器件110中产 生座标值(x， y)并且将这些座标值顺序地提供给后续阶段。
模拟-数字(A/D)转换器120将作为成像器件110输出的模拟信号的、具 有拜耳阵列的rgb图像信号转换成数字信号(图像信号)，并且将数字信号输 出到倍率色像差校正单元130。例如，图像数据对于RGB中的每一种都包括8位。通常，在A/D转换器120的先前阶段设置有AGC电路；然而，在这里省 略了 AGC电if各。
倍率色像差校正单元130接收具有拜耳阵列的的RGB图像数据，当倍率 色像差校正单元130执行校正倍率色像差时根据预定方程式对具有拜耳阵列 的图像数据执行座标变换，并且将倍率色像差校正后的、具有拜耳阵列的的 RGB图像数据发送到拜耳补偿单元140。因此，通过直接地对具有拜耳阵列的 的RGB图像数据校正倍率色像差，存储器容量能够是在拜耳内插(Bayer interpolation)后校正倍率色像差的传统方案中所需的存储器容量的三分之一。 然而，在简单的座标变换中，在座标变换之前和之后拜耳阵列都发生改变，并 且在后续阶段的拜耳补偿单元140处不能正确地执行拜耳内插。即，在座标变 换之前和之后都需要保持拜耳阵列。因此，当源的拜耳阵列的颜色与目标的拜 耳阵列的颜色相同时，倍率色像差校正单元130就会保持源的座标不变。然而， 当源的拜耳阵列的颜色与目标的拜耳阵列的颜色不同时，例如，倍率色像差校 正单元130就会将源的座标改变为最靠近这个源的具有与目标的颜色相同的 座标。相应地，即使直接地对具有拜耳阵列的的RGB图像执行倍率色像差的 校正，也可保持拜耳阵列不变。随后将会详细地说明倍率色像差校正单元130。
拜耳补偿单元140接收倍率色像差校正后的、具有拜耳阵列的的RGB图 像数据，通过对RGB的每种颜色线性内插以便在所有的座标位置上产生图像 数据(像素数据)，并且将像素数据输出到MTF校正单元150。
图2A至图2C是具有拜耳阵列的的彩色滤波器的示例。出于方便的目的， 在图2A至图2C中将R、 G、 B分别示出；然而实际上，RGB是混合排列的 (拜耳阵列)，其中由方程式(1)至方程式(6 )得到G0。
G0=(G2+G4+G6+G8)/4 (1)
(2)
R4=(R3+R5)/2 P) R6=(R5+R7)/2 (4) R『(R+R7)/2 (5) Rd+R3+R禹)/4 (6)
B2、 B4、 B6、 B8、以及B0与R2、 R4、 R6、 R8、以及R0的情形是相同的。MTF校正单元150接收倍率色像差校正后的和拜耳内插后的RGB图像数 据以便使用FIR过滤器执行MTF校正并且输出各个MTF校正后的RGB图像 数据。
图3是MTF校正单元150的方框图。变换单元152基于方程式(7)至方 程式(9 )将RGB图像数据变换成YCbCr图像数据。
Y=0.299R+0.587G+0.114B (7) Cr=0.500R-0.419G_0.081B (8) Cb=-0.169R-0.332G+0.500B (9) FIR过滤器(5 x 5过滤器)154仅接收YCbCr的亮度信号Y,并且执行 预定的MTF校正。通过只对Y信号过滤(执行MTF校正)而获得颜色噪声 的放大被抑制的高质量图像。图4是用来说明FIR过滤器的示例的示意图。由 于对Y信号进行了过滤，因此在倍率色像差校正后需要执行MTF校正。然而， 当失真校正后执行MTF校正时，如下面将会说明的一样，在失真校正中座标 变换中的变换距离会很大并且非常容易出现算术误差。优选地，在本实施例中， 在倍率色像差校正的后续阶段以及失真校正的先前阶段处执行MTF校正，从 而避免了由于MTF校正导致误差被放大而不利地影响图像质量。
逆变换单元156接收CbCr信号和MTF校正后的Y信号，并且基于方程 式(10)至方程式(12)输出逆变换后的RGB图像数据。 R=Y+1.402Cr (10) G=Y-0.714Cr-0.344Cb (11) B=Y+1.772Cb (12) 失真校正单元160接收倍率色像差校正后的和MTF校正后的RGB图像 数据，根据预定的方程式对RGB中的各种颜色成分共同地执行座标变换(失 真座标变换)，并且输出失真校正后的RGB图像数据。尽管失真很大，但是对 于RGB中的各种颜色成分而言失真是一致的。因此，尽管对于失真校正单元 160中的座标变换需要很大的存储器容量，仍可使用单端口的存储器，因而可 以使用高延迟性存储器(DRAM )。
伽马校正单元170接收从失真校正单元160输出的RGB图像数据，通过 使用RGB的各个查询表或等同方式执行预定的伽马校正，并且输出伽马校正后的RGB图像数据。
上面说明了根据图1所示的实施例的成像装置的整体操作。下面将会详细 地说明作为实施例的主要配置的倍率色像差校正单元130。
首先，参考图5A和图5B说明本发明的倍率色像差校正的原理。图5A 描绘了座标变换前的拜耳阵列，而图5B描绘了座标变换后的拜耳阵列。在图 5A和图5B中，拜耳阵列具有简单的6x6像素。然而，分辨率VSA具有640 x640像素，其中重复图5A和图5B中所示的拜耳阵列。
倍率色像差示出了关于RGB中的每种颜色成分的不同移位(shift);然而， 由于基于光学系统的设计数据可以看见倍率色像差的大小，因此可以计算得到 RGB中的各种颜色成分将要移动到的位置。在图5A中，假定位于座标(O, 0) 位置处的像素(G)移动到座标(1， 1)位置处，同样，位于座标(1, 0)位 置处的像素(B)移动到座标(3, l)位置处。通过将位于座标(l， 0)和(3， 1)处的像素的像素值复制到原始座标位置(0， O)和(l， 0)，即，通过执行 座标变换，基本上实现了倍率色像差的校正。座标(1, 0)和(3， 1)被称为 源的座标(X, Y)，而座标(0， 0)和(1, 0) -故称为目标的座标(x, y)。 当参考座标值时，(x， y)和(X， Y)都可以作为座标值，从而根据需要正确 地使用座标和座标值。
如上所述，当对具有拜耳阵列的RGB图像数据筒单地执行座标变换时， 在座标变换之前和之后拜耳阵列都发生改变，并且在后续阶段不能正确地执行 拜耳内插。因此，当源的颜色与目标的颜色相同时，可以将源的像素的像素值 直接地复制到目标。当源的颜色与目标的颜色不同时，可以将源的座标校正到 与目标相同的颜色的、最靠近源的座标的座标，并且将校正后座标处的像素的 像素值复制到目标。
在图5A中，座标(O, 0)处的目标的颜色和座标(1， l)处的源的颜色 都是绿色(G)。在这种情况下，直接地将源的座标(1, 1)处的像素(G)的 像素值设定为目标的座标(O， O)处的像素的像素值。另一方面，座标(l， 0) 处的源是蓝色(B)，而座标(3， 1)处的目标是绿色(G)。在这种情况下， 将源校正到与目标的座标(1, 0)处的相同颜色的、最靠近座标(3, 1)的座 标的蓝色(B)的座标(图5A中的座标(3, 2)),并且将校正后的座标(3,
102)处的像素(B)的像素值设定为目标的座标(1, 0)处的像素的像素值。 相应地，如图5B所示，将座标变换后的拜耳阵列维持为图5A所示的座标变 换前的拜耳阵列。下面给出了倍率色像差校正单元130的特定配置的三个示 例。
图6是根据第一示例的倍率色像差校正单元130的整体配置图。如图5A 和图5B所示，当源座标处的颜色与目标座标处的颜色相同时，将源座标处的 像素的像素值设定为目标座标处的像素的像素值；然而，当源座标处的颜色与 目标座标处的颜色不同时，将最靠近源座标的、与目标座标处的颜色相同颜色 的座标处的像素的像素值设定为目标座标处的像素的像素值。在图6中，由倍 率色像差校正座标变换运算器1301、座标变换系数表1302、颜色确定单元 1303、选择单元1304和1305、四舍五入单元1306和1307、阵列确定单元1308、 座标校正单元1309、阵列选^,单元1310、以及选择单元1311构成了用来产生 关于目标的座标值(x, y)的源的座标值(X, Y)的座标变换单元。通过使 用单端口 RAM等构成线緩冲器(座标变换存储器)1320。线緩冲器1320需 要至少具有对应于倍率色像差的y方向上的最大偏移量的线数量，然而线緩冲 器1320还可具有数量更多的线。
根据座标值(x, y)按照先进先出(FIFO)格式将具有倍率色像差和失 真的、具有拜耳阵列的RGB图像数据从顶端线顺序地写入线緩冲器1320。与 写操作并行地(实际上，延迟了预定时间)，基于从选择单元1311输出的座标 值(X, Y),从线緩冲器1320顺序地读取倍率色像差校正后的、具有拜耳阵 列的RGB图像数据。即，读取座标(X， Y)处的像素的像素值作为座标(x， y)处的像素的像素值。如下面将会说明的一样，当座标(X， Y)处的拜耳阵 列颜色与座标(x， y)处的拜耳阵列颜色不同时，将座标(X, Y)校正为与 最靠近座标(X, Y)的座标(x, y)相同颜色的座标，从而保持从线緩冲器 1320输出的RGB图像数据的拜耳阵列不变。下面将会详细地说明图6所示的 配置。
倍率色像差校正座标变换运算器1301接收目标的座标值(x, y)以便根 据诸如多项式等座标变换的预定公式计算出对应于RGB的源的座标值(X， Y)，并且将座标值输出到选择单元1304和1305。例如，假定屏幕的中心作为原点，则座标变换的公式可以表示为 X = x + [a(l) + "(2) *+ "(3) *+ "(4) * ;;2 ] * x F 二 " Wl)+6(2) * ,力+ 6(3) * ,x) + 6(4) * x2 ] * y (13) 其中，abs ()表示绝对值，a(l)至a(4)和b(l)至b(4)表示座标变换 系数。事先在座标变换系数表1302中设定'座标变换系数。
颜色确定单元1303接&座标值(x， y)，并且根据查询表(LUT)等获取 对应于拜耳阵列中所关注的目标的座标(x， y)的颜色的颜色ID。例如，在 LUT中事先存储了颜色ID，这些颜色ID将座标值(x， y)指定为地址。在这 里，假定颜色ID为R-O、 G=l、以及B二2。
基于由颜色确定单元1303获取的颜色ID,选择单元1304和1305从对应 于倍率色像差校正座标变换运算器1301计算得到的RGB的源的座标值X， Y 中选择一种颜色的座标值X, Y。根据方程式(13)，座标值X, Y并不局限 于整数。四舍五入单元1306和1307四舍五入由选择单元1304和1305选择了 的座标值X, Y(成为整数)，并且输出对应于像素的源的座标值rX， rY的整 数。同时，四舍五入单元1306和1307输出X与rX之间以及Y与rY之间的 偏差(差值)dX, dY,其中dX和dY都取从-0.5到0.5之间的值。图7描 绘了通过运算得到的源的座标值X， Y、通过四舍五入座标值X, Y得到的座 标值rX、 rY、以及它们之间的偏差dX, dY的关系。图7中用方框环绕的一 个正方形描绘了一个^f象素。
阵列确定单元1308接收rX，rY并且根据查询表获取拜耳阵列中的源的所 关注的座标(rX， rY)的阵列值。在图8中示出了图5A和图5B所示的拜耳 阵列中的阵列值的示例。在图8中，每个像素内的括号中的数值都表示阵列值。 在这里，假定阵列值处于0到3之间，然而，只要能够识别阵列，还可使用任 何其它的数值。
另一方面，座标校正单元1309接收rX、 rY、 dX、以及dY，并且根据dX 和dY的值校正rX和rY。即，座标校正单元1309计算出校正之后的源的座标 值。对于从拜耳阵列中可以获得的每种类型的相同颜色的阵列图案，座标校正 单元1309分别计算出校正之后的源的座标值。
图9A至图9E描绘了由座标校正单元1309所执行的运算的内容。图9A至图9E中由方框环绕的一个正方形表示了图7中的<象素。在拜耳阵列中，相 同颜色的阵列图案被分类成图9A至图9E中所示的五种，即1至5。 3x3正 方形的中间正方形是所关注的将要被校正的源。如图7所示，座标rX和rY 对应于中间正方形的中心位置。座标校正单元1309对于图9A至图9E中的各 个图案1至5根据dX和dY来校正rX和rY。具体的，座标校正单元1309 根据图9A至图9E所示的图案1至图案5下面所写的(a)至(e)来执行运 算，并且分别输出XI和Yl、 X2和Y2、 X3和Y3、 X4和Y4、以及X5和 Y5。即，校正后的座标表示图9A至图9E所示的各个图案中的任何一个阴影 正方形。
在图9A至图9E中，在目标和源是相同颜色的情况下应用图案1。另一方 面，在目标和源是不同颜色的情况下应用图案2至图案5。可对RGB中的任 意颜色应用图案l。在源的颜色是R或B的情况下应用图案2、图案3、以及 图案5，而在源的颜色是G的情况下应用图案4。
阵列选择单元1310接收XI、 Yl、 X2、 Y2、 X3、 Y3、 X4、 Y4、 X5和 Y5，并且基于由阵列确定单元1308获取的阵列值来选择在对R、 G、 B中的 每种颜色分别校正后的源的座标值X, Y。图IO描绘了阵列值以及X, Y之 间的对应关系。例如，当阵列值是O时，图案3中的一组X3和Y3被指定为 R的X, Y,图案l中的一组X1和Y1被指定为G的X, Y,并且图案2中的 一组X2和Y2被指定为B的X， Y。当阵列值是l、 2或3时按照同样的方式 应用。
选择单元1311接收R、 G、 B中各种颜色的一组X, Y,基于由颜色确定 单元1303获取的颜色ID选择与目标相同颜色的一组X, Y,并且将该组发送 到线緩沖器1320。结果，线緩冲器1320读取座标(X， Y)处的像素的像素 值作为座标(x， y)处的像素的像素值。由于座标(X, Y)和座标(x， y) 保持相同的颜色，因此在座标变换之前和之后拜耳阵列不会发生改变。
参考图5A和图5B来说明处理的具体示例。说明了目标的座标(x, y) 是(0， 0)并且源的座标(X, Y)是(1， 1)的情况。在这种情况下，颜色 确定单元1303输出G( 1 )作为颜色ID。倍率色像差校正座标变换运算器1301 通过输入座标(0， 0)分别计算出RGB的(X， Y)，并且选择单元1304和1305输出G的(X， Y)。四舍五入单元1306和1307四舍五入(X， Y),并 且输出(1， l)作为(rX， rY)。阵列确定单元1308基于图8输出3作为阵列 值。这里省略了由座标校正单元1309执行的单个运算。阵列选择单元1310 基于图10选择(X2， Y2)作为R的(X， Y)，选择(Xl, Yl )作为G的(X， Y),并且选择(X3， Y3)作为B的(X， Y)。由于颜色ID是G(l)，选择 单元1311选择(Xl， Yl )作为G的(X, Y)。根据图9A至图9E, (Xl， Yl ) =(rX， rY)，并且最后源的座标(l， 1 )直接地变为选择单元1311的输出。 线緩冲器1320读取座标(1, 1)处的像素的像素值作为座标(0, 0)处的像 素的像素值。
接下来，说明目标的座标(x， y)是(1, 0)并且源的座标(X， Y)是 (3， l)的情况。在这种情况下，颜色确定单元1303输出B(2)作为颜色ID。 倍率色像差校正座标变换运算器1301通过输入座标(1,0)分别计算出RGB 的(X， Y)，并且选择单元1304和1305输出B的(X， Y)。四舍五入单元 1306和1307四舍五入(X, Y),并且输出(3， 1 )作为(rX， rY)。进一步， 假定四舍五入单元1306和1307输出dX = 0, dY = + 0.2作为偏差dX, dY。 阵列确定单元1308基于图8输出3作为阵列值。这里省略了由座标校正单元 1309执行的单个运算。阵列选择单元1310基于图IO选择(X2， Y2)作为R 的(X, Y)，选择(X1， Y1)作为G的(X， Y)，并且选择(X3， Y3 )作为 B的(X, Y)。由于颜色ID是B(2),选择单元1311选择(X3， Y3 )作为B 的(X, Y)。根据图9A至图9E，关于(X3, Y3 )，在dY>0的情况下，X3 =rX,而Y3-rY+l;其它情况下，Y3=rY-1。由于dY-十0.2, (X3, Y3) =(rX， rY+l),最后选择单元1311的输出变为(3， 2)。线緩冲器1320读 取座标(3, 2)处的像素的像素值作为座标(1, 0)处的像素的像素值。
根据图5A和图5B的配置，当源的座标的颜色与目标的座标的颜色相同 时，源的座标保持不变；当上述两者之间颜色不同时，可将源的座标校正为与 目标相同颜色的并且最靠近源的座标的座标。结果，即使直接地对具有拜耳阵 列的RGB图像数据执行倍率色像差的校正，仍可以在座标变换之前和之后保 持拜耳阵列不变。进一步，还可使用单端口 RAM作为座标变换存储器。相应 地，在第一示例中，与需要三端口的大容量存储器的通常情况相比较，可使用存储容量为1/3的价格便宜的单端口 RAM。
图11是根据第二示例的倍率色像差校正单元130的整体配置图。当源座 标处的颜色与目标座标处的颜色相同时，第二示例采用与第一示例相同的应 用。然而，当颜色彼此之间不同时，选择与靠近源的座标的目标的座标相同颜 色的两个座标，基于两个座标中的每一个的像素值来内插对应于目标的座标的 像素的像素值，并且将内插的像素值指定为目标的座标的像素值。
在图11中，由于倍率色像差校正座标变换运算器1301、颜色确定单元 1303、选择单元1304和1305、四舍五入单元1306和1307、以及阵列确定单 元1308的处理与图6所示的这些单元都相同，因此省略了对于这些单元的说 明。
如同图6所示的座标校正单元1309,座标校正单元A 1312和座标校正单 元B 1315分别输入rX、 rY、 dx、以及dy,从而计算出对于拜耳阵列中的相同 颜色的阵列图案可获得的所有类型(图案1至图案5)校正后的源的座标值， 即，计算出需要被校正的源的所关注的座标(dx， dy)的诸如左右、上下、或 是对角线等不同座标的座标值。同时，座标校正单元B 1315还新计算出值d。 如后面所说明的一样，当对于两个座标的像素执行内插时，d被用作权重系数。
图12A至图12E描绘了由座标校正单元A1312执行的运算的内容。图12A 至图12E所示的图案1至图案5都与图9A至图9E所示的图案相同。在第二 示例中，座标校正单元A 1312接收rX, rY， dX， dY，根据图12A至图12E 所示的图案1至图案5下面所写的(a)至(e)执行运算，并且分别输出XI 和Y1、 X2和Y2、 X3和Y3、 X4和Y4、以及X5和Y5。在图案1中，源的 座标(rX， rY)(中心座标)被指定为(XI, Yl )。在图案2中，源的座标(rX, rY)的左座标被指定为(X2， Y2)。在图案3中，在座标(rX， rY)紧上方的 座标被指定为(X3， Y3)。在图案4中，与图案2—样，座标(rX， rY)的左 座标被指定为(X4， Y4)。这里忽略了垂直方向。在图案5中，根据dY将座 标(rX, rY)的左下方或左上方的座标指定为(X5, Y5 )。
图13A至图13E描绘了由座标校正单元B 1315执行的运算。座标校正单 元B1315接收rX、 rY、 dX、 dY,根据图13A至图13E所示的图案1至图案 5下面所写的(a)至(e)执行运算，并且分别输出X1和Y1、 X2和Y2、 X3和Y3、 X4和Y4、以及X5和Y5。座标校正单元B 1315还同时输出dl 、 d2、 d3、 d4和d5。在图13A至图13E中，图案1与图12A中的图案1相同。图案 2至图案5与图12B至图12E中的图案2至图案5不同。即，在图案2中，源 的座标(rX, rY)(中心座标)的右座标被指定为(X2， Y2 )，并且还输出d2 =dx0.5。在图案3中，在座标(rX， rY)紧下方的座标被指定为(X3, Y3 ), 并且还输出d3 = dY + 0.5。在图案4中，与图案2—样(忽略垂直方向)，座 标(rX, rY)的右座标被指定为(X4， Y4 )，并且还输出d4 = dX + 0.5。在图 案5中，根据dY将座标(rX, rY)的右下方或右上方的座标指定为(X5, Y5)，并且还输出d5 = dX + 0.5。如随后将会说明的一样，根据dl至d5，在 对两个座标的像素执行内插时，执行根据小于或等于一个像素的距离的加权操 作。
如上所述，对于目标和源是相同颜色的情况应用图案1,并且对于目标和 源是不同颜色的情况应用图案2至图案5。可以对RGB中的任何颜色应用图 案l。对于源的颜色是R或B的情况可应用图案2、图案3和图案5，而对于 源的颜色是G的情况可应用图案4。
阵列选择单元A1313接收从座标校正单元A1312输出的XI、 Yl、 X2、 Y2、 X3、 Y3、 X4、 Y4、 X5、 Y5,并且基于由阵列确定单元1308获取的阵列 值来选择在对R、 G、 B中的每种颜色分别校正后的源的座标值X， Y。选择 单元A 1314接收从阵列选择单元A 1313输出的R、 G、 B中的各种颜色的多 组X, Y,并且基于由颜色确定单元1303获取的颜色ID来选择相同颜色的一 组X， Y作为目标的X, Y,并且将这组X, Y发送到线緩冲器1320。阵列选 择单元A 1313和选择单元A 1314中的处理与图6中的阵列选择单元1310和 选择单元1311相同。
阵列选择单元B 1316接收从座标校正单元B 1315输出的XI、 Yl、 dl、 X2、 Y2、 d2、 X3、 Y3、 d3、 X4、 Y4、 d4、 X5、 Y5， d5，并且基于由阵列确 定单元1308获取的阵列值来选择对R、 G、 B中的每种颜色分别校正后的源的 座标值X， Y以及权重系数d。选择单元B 1317接收从阵列选择单元B 1316 输出的R、 G、 B中的各种颜色的多组X， Y, d,并且基于由颜色确定单元1303 获取的颜色ID来选4奪相同颜色的一组X， Y, d作为目标的X, Y， d，并且将这组X， Y发送到线緩冲器1320，将权重系数d发送到减法器1321和模拟 乘法器1323。阵列选择单元B 1316和选择单元B 1317中的处理与图6中的阵 列选择单元1310和选^奪单元1311相同；然而，在新输出系数d这一点上是不 同的。
如上所述，线緩冲器1320仅需要至少具有对应于在倍率色像差的y方向 上的最大偏差量的线数量，然而线緩冲器1320还可具有数量更多的线。然而， 在第二示例中，线缓冲器1320是由双端口 RAM等构成的。
根据座标值(x， y)以FIFO方式从顶端线将具有倍率色像差和失真的具 有拜耳阵列的RGB图像数据顺序地写入线緩冲器1320。基于从选择单元A 1314和选择单元B 1317输出的座标(X, Y),与写操作并行地(实际上，延 迟了预定时间)，根据座标值(X， Y)从线緩冲器1320中读取两组不同座标
(X, Y)的像素的像素值作为对应于座标(x, y)的像素的像素值。根据图 8、图12和图13,两组不同座标(X, Y)和(x, y)是相同颜色的。在相同 颜色图案1的情况下，两个座标(X， Y)变为同一座标(rX， rY)。
减法器1321从1减去和座标(X， Y) —起从选择单元B 1317输出的值 d。模拟乘法器1322将基于来自选择单元A1314的座标值(X， Y)从线緩沖 器1320读取的座标(X， Y)处的像素的像素值乘以减法器1321的输出值。 另一方面，模拟乘法器1323将基于来自选择单元B 1317的座标值(X， Y) 从线緩冲器1320读取的座标(X， Y)处的像素的像素值乘以和座标值(X, Y)—起从选择单元B 1317输出的值d。加法器1324使得来自模拟乘法器1322 和1323的输出值相加并且指定相加后的值作为座标(x, y)处的像素的像素 值。即，从加法器1324输出通过根据权重系数d加权操作靠近源的座标(rX, rY)的两个座标(X， Y)的像素的像素值并且将这些像素相加而获得的像素 值被从加法器1324输出作为目标的座标的像素值。由于座标(X， Y)和座标
(x， y)都保持为同一颜色，因此拜耳阵列在座标变换之前和之后都不会发生 改变。
参考图5A和图5B来说明处理的特定示例。首先，说明目标的座标(x， y)是(0， 0)并且源的座标(rX， rY)是(1， 1)的情况。在这种情况下， 选择单元A1314输出(1,1)作为(X， Y),选择单元B 1317也输出(1， 1 )作为(X， Y)并同时输出d = 0 (省略了中间处理)。相应地，线緩沖器1320 读取同一座标(l， l)的像素的两个像素值。由于d-0，减法器1321的输出 是1,因此模拟乘法器1322直接地输出座标(1， 1)处的像素的像素值。减 法器1321的输出是0。最后，加法器1324输出座标(1, l)处的像素的像素 值作为座标(0, 0)处的像素的像素值。
接下来，将会说明目标的座标(x， y)是(l， O)并且源的座标(rX， rY) 是(3， 1)的情况。在这种情况下，选择单元A1314输出(3， 0)作为(X， Y)(省略了中间处理)。选择单元B 1317输出(3， 2)作为(X, Y),并且同 时输出d = 0.7 (d3 = dY + 0.5， dY = 0.2 )(省略了中间处理)。相应地，线緩冲 器1320分别读取座标(3， 0)处的像素的像素值A和座标(3, 2)处的像素 的像素值B。由于(1 = 0.7,减法器1321的输出是0.3，模拟乘法器1322的输 出是0.3xA，并且模拟乘法器1323的输出是0.7 xB。加法器1324输出通过 相加模拟乘法器1322和1323的输出而得到的值。因此，加法器1324输出通 过根据权重系数d对两个座标(X， Y)的像素的像素值进行加权操作并且将 这些像素值相加作为座标(x, y)处的像素的像素值而得到的像素值。
根据图11所示的配置，线緩冲器需要双端口 RAM等。然而，当源的座 标的颜色与目标的座标的颜色不同时，就对与靠近源的座标的目标的座标的颜 色相同的两个座标的像素值内插对应于目标的座标的像素值，从而实现提高目 标的座标处的图像质量。当然，在座标变换之前和之后都保持拜耳阵列不变。
通过扩展图11的配置(例如，内插了四个像素的像素值)，对与靠近源的 座标的目标的座标的颜色相同的大于等于三个座标的像素值内插对应于目标 的座标的像素值。在这种情况下，可以进一步提高目标的像素的图像质量。然 而，线緩冲器的端口的数量随之增多。
第三示例基本上与第二示例相同，然而，当源的座标的颜色与目标的座标 的颜色不同时，作为与靠近源的座标的目标的座标颜色相同的两个座标，这些 座标都被统一为与成像器件110的读取方向相同的方向(x)上的两个座标。 倍率色像差校正单元130的整体配置与图ll所示的相同，因此省略了对其的 说明。座标校正单元A1312和座标校正单元B 1315的运算内容都与第二示例 中的座标校正单元的运算内容不完全相同。图14A至图14E描绘了座标校正单元A1312的运算内容，而图15A至图 15E描绘了座标校正单元B 1315的运算内容。在图14A至图14E中，仅是图 案3与图12和图13不同。即，对于图案l、图案2、图案4和图案5，在图 12和图13中都选择了与成像器件110的读取方向相同的方向(x)上该组的 两个座标(图案1中的相同座标)。对于图案3，在图12和图13中，选择了 y 方向上的该组的两个座标。另一方面，在第三示例中，如图14和图15所示，
权重系数d3被设定为0。相应地，与图案1相同的方式执行内插。因此，可 以对图案1至图案5中任何一种情况都选择与成像器件IIO的读取方向相同的 方向(x)上的该组两个座才示。
当成像器件110的读取方向是y方向时，可通过改变座标校正单元A 1312 和座标校正单元B 1315的运算内容来选择y方向上的该组的两个座标。
根据第三示例，可以容易地执行线緩冲器中的突发读取，并且减少对于 RAM等的随机访问。因此，可以使用低成本及低速的RAM等。
参考图1的配置，已经说明了倍率色像差校正单元130的三个示例。然而， 还可采用倍率色像差校正单元130能够同时地校正倍率色像差和失真的配置。 在这种情况下，可以省略失真校正单元160,并且不需要用于校正失真的座标 变换存储器。同时校正倍率色像差和失真的配置基本上与图6和图11所示的 配置相同，并且可将倍率色像差校正座标变换运算器1301改变成用来校正倍 率色像差和失真的座标变换运算器。在这种运算器中，输入目标的座标值(x， y),根据座标变换的预定公式计算出通过对倍率色像差增加失真而得到的座标 值，并且将该座标值输出为对应于RGB的源的座标值X， Y。随后的处理与 第一、第二和第三示例中说明的基本上相同。
根据本发明的一个方面，通过对彩色滤波器阵列中的图像数据直接地执行 倍率色像差校正，可减少执行倍率色像差校正所需的座标变换存储器的容量。
在座标变换之前和之后，倍率色像差的校正都可保持彩色滤波器阵列不变。
根据本发明的另一方面，可进一步提高图像质量。
当使用靠近源的两个座标时，可使用两端口 RAM等作为座标变换存储器。进一步，还可使用低成本的及低速的RAM等。
通过包括本发明的图像处理装置，可以提供低成本的成像装置。
尽管已经参考特定实施例清楚地并且完整地说明了本发明，但是所附的权
利要求并非局限于此，而是包括落入这里给出的基本教示范围内的、本领域技
术人员可以想到的所有修改和可选构造。
权利要求
1. 一种用于处理彩色滤波器阵列中的图像数据的方法，所述图像数据至少包括由成像器件捕捉到的倍率色像差，所述方法包括通过对图像数据中的各像素执行座标变换来校正所述倍率色像差；和对倍率色像差校正后的图像数据补偿由彩色滤波器阵列引起的缺陷像素。
2. 根据权利要求1所述的方法，其中所述校正包括列的颜色相同时，将座标变换源的像素的像素值设定成座标变换目标的像素的 像素值，并且当座标变换源的彩色滤波器阵列的颜色与座标变换目标的彩色滤波器阵 列的颜色不同时，将与最靠近所述座标变换源的座标变换目标的颜色相同的座 标处的像素的像素值设定成座标变换目标的像素的像素值。
3. 根据权利要求1所述的方法，其中所述校正包括 当座标变换源的彩色滤波器阵列的颜色与座标变换目标的彩色滤波器阵列的颜色相同时，将座标变换源的像素的像素值设定成座标变换目标的像素的 ^象素值，并且列的颜色不同时，对于与靠近所述座标变换源的座标变换目标的颜色相同的多 个座标处的像素的像素值内插对应于座标变换目标的像素的像素值，并且将通 过所述内插得到的像素值设定成座标变换目标的像素的像素值。
4. 根据权利要求3所述的方法，其中，存在有两个与靠近所述座标变换源的座标变换目标的颜色相同的座标。
5. 根据权利要求4所述的方法，其中，所述与靠近座标变换源的座标变换目标的颜色相同的两个座标是与成像 器件的读取方向相同的方向上的座标。
6. 根据权利要求1至5中任一项所述的方法，其中， 所述校正包括校正所述图像数据的失真。
7. 根据权利要求1至5中任一项所述的方法，进一步包括校正关于所述图像数据的失真，其中在所述图像中，在所述补偿的后续阶 段内插了所述倍率色像差校正后的图像数据中的彩色滤波器阵列所引起的缺 陷像素。
8. —种用于处理彩色滤波器阵列中的图像数据的装置，所述图像数据至少包括由成像器件捕捉到的倍率色像差，所述装置包括倍率色像差校正单元，通过对图像数据中的各像素执行座标变换来校正所 述倍率色像差；和补偿单元，对倍率色像差校正后的图像数据补偿由彩色滤波器阵列引起的 缺陷像素。
9. 根据权利要求8所述的装置，其中，当座标变换源的彩色滤波器阵列的颜色与座标变换目标的彩色滤波器阵 列的颜色相同时，所述倍率色像差校正单元将座标变换源的像素的像素值设定 成座标变换目标的像素的像素值，并且当座标变换源的彩色滤波器阵列的颜色与座标变换目标的彩色滤波器阵 列的颜色不同时，所述倍率色像差校正单元将与最靠近所述座标变换源的座标 变换目标的颜色相同的座标处的像素的像素值设定成座标变换目标的像素的 像素值。
10. 根据权利要求8所述的装置，其中，当座标变换源的彩色滤波器阵列的颜色与座标变换目标的彩色滤波器阵 列的颜色相同时，所述倍率色像差校正单元将座标变换源的像素的像素值设定 成座标变换目标的像素的像素值，并且列的颜色不同时，所述倍率色像差校正单元对与靠近所述座标变换源的座标变 换目标的颜色相同的多个座标处的像素的像素值内插对应于座标变换目标的 像素的像素值，并且将通过所述内插得到的像素值设定成座标变换目标的像素 的像素值。
11. 根据权利要求IO所述的装置，其中，存在有两个与靠近所述座标变换源的座标变换目标的颜色相同的座标。
12. 根据权利要求11所述的装置，其中，器件的读取方向相同的方向上的座标。
13. 根据权利要求8至12中任一项所述的装置，其中， 所述倍率色像差校正单元进一步校正所述图像数据的失真。
14. 根据权利要求8至12中任一项所述的装置，进一步包括 失真校正单元，用来校正关于所述图像数据的失真，其中在所述图像中，在所述补偿单元的后续阶段内插了所述倍率色像差校正后的图像数据中的彩 色滤波器阵列所引起的缺陷像素。
15. —种成像装置，包括光学系统，具有广角并且至少具有大的倍率色像差； 成像器件，包括预定的颜色阵列中的彩色滤波器并且通过所述光学系统捕 捉图像；和根据权利要求8至14中任一项所述的装置。
全文摘要
本发明公开了一种图像处理方法、图像处理装置、以及成像装置。通过对图像数据中的各像素执行坐标变换来校正由成像器件捕捉到的彩色滤波器阵列的图像数据中包括的倍率色像差。对倍率色像差校正后的图像数据补偿由彩色滤波器阵列引起的缺陷像素。
文档编号H04N1/60GK101510944SQ20091000634
公开日2009年8月19日 申请日期2009年2月10日 优先权日2008年2月13日
发明者笠原亮介 申请人:株式会社理光