专利名称：成像装置的制作方法
技术领域：
本发明涉及一种成像装置。
背景技术：
越来越多地需要在诸如车辆的后视监视器(rearview monitor)的应用.中 的广角成像装置。随着角度变得更宽，光学系统的倍率色像差和失真也会随 之增大，并且越来越难设计出一种具有小像差的光学系统。因此，为了提高 广角成像装置的图像质量，需要执行图像处理。例如，专利文件l公开了用 来校正成像装置中的图像的像差的方法，其中该成像装置使用了具有倍率色 .像差和失真的光学系统。在专利文件l公开的方法中，沐R(红色)、G(绿 色)、B (蓝色)信号(RGB颜色分量)中的每一个单独地执行坐标变换 (transformation),以便同时校正倍率色像差和失真，其中R(红色)、G(绿 色)、B (蓝色)信号都是利用诸如电荷耦合器件(CCD)或CMOS传感器 等成像器件所获取的。在专利文件l公开的另一种方法中，忽略了倍率色像 差，并且对RBG颜色分量共同地执行坐标变换来只校正失真。
专利文件1:日本公开专利申请No. 2006-345054
通常，成像器件包括诸如拜耳(Bayer)彩色滤波器阵列的彩色滤波器。 在具有大的倍率色像差的图像的周边，由于彩色滤波器具有宽的光谱特性， 即使执行坐标变换以校正倍率色像差，各颜色分量的光点扩散函数(optical point spread flmction)仍然会趋于增大，并且分辨率(调制传递函数MTF) 仍然会趋于减小。例如，通过具有图17所示的光谱特性的彩色滤波器的成像 器件，经由具有倍率色像差的光学系统捕捉到目标图像时，由于倍率色像差， 在图像周边处RGB的各颜色分量的PSF如图18所示地(每个单元表示一个 像素)增大，结果，MTF随之减小。出于上述原因，如图19所示，在黑点 的原始位置的周边会看到模糊，并且即使对各颜色分量执行坐标变换而校正 了倍率色像差之后，分辨率(MTF)仍然会很低。
4发明.内容
本发明的方面提供了 一种成像装置，可以解决或是减少现有技术中的限 制和不利方面所导致的一个或多个问题。
根据本发明的方面， 一种成像装置，包括广角光学系统，至少存在倍 率色像差；成像器件，包括彩色滤波器，用于通过所述彩色滤波器从所述光 学系统接收光学图像，并且将所述光学图像转换为图像数据；以及倍率色像 差校正单元，用于转换所述图像数据的坐标，并且从而校正所述图像数据的 倍率色像差。该倍率色像差校正单元在校正倍率色像差之前，将图像数据转 换为不同波长的图像数据，该不同波长的图像数据具有不同于彩色滤波器的 原始波段的波段。
图1是说明根据本发明的第一实施例的倍率色像差校正单元的图表； 图2是说明根据第一实施例的示例性波长转换(conversion)的图表； 图3是示出波长转换与倍率色像差之间关系的图表； 图4是说明在校正倍率色像差之后的图像的图表； 图5是说明根据本发明的第二实施例的倍率色像差校正单元的图表； 图6是说明根据第二实施例的示例性波长转换的图表； 图7是说明根据本发明的第三实施例的倍率色像差校正单元的图表； 图8是说明根据本发明的第四实施例的倍率色像差校.正单元的图表； 图9是说明根据第四实施例的示例性波长转换的图表； 图IO是说明图1所示的坐标变换单元的示例性配置的图表； 图IIA至图IIC是说明图IO所示的目标坐标计算单元的示例性配置的 图表图表；
图12是说明才艮据本发明实施例的成像装置的方框图13是说明拜耳彩色滤波器阵列的图表；
图14是说明图12所示的MTF校正单元的示例性配置的图表；
图15是说明示例性FIR滤波器的图表；
图16是说明图12所示的失真校正单元的示例性配置的图表；
图17是示出彩色滤波器的示例性光镨特性的曲线5图18是示出彩色滤波器与倍率色像差之间关系的图表；以及 图19是示出根据现有技术在校正倍率色像差之后的图像的图表。
具体实施例方式
下面将会参考附图来描述本发明的优选实施例。
首先，描述根据本发明实施例的成像装置中的倍率色像差校正单元。 图1是说明根据本发明的第 一实施例的倍率色像差校正单元100的图表。 倍率色像差校正单元100包括波长转换单元110,用来将成像器件获得的 RGB图像数据转换为具有不同于该成像器件的彩色滤波器的波段(例如，比 彩色滤波器的波段更窄的波段)的R， G， B，数据；坐标变换单元120,用 来对R， G， B，数据分量中的每一个单独地执行坐标变换以校正倍率色像差； 以及波长逆转换单元130，用来将倍率色像差校正后的R， G， B，数据转换 为具有成像器件中的彩色滤波器的原始波段的RGB或YUV图像数据。下面 将会详细地说明坐标变换单元120。
如下的公式(1 )表示通过波长转换单元110和波长逆转换单元130执行 的计算<formula>formula see original document page 6</formula>
在公式(l)中，A、 B、 C表示输入；X、 Y、 Z表示输出；并且e(l) 至e (9)表示系数。对于波长转换单元110, A、 B、 C对应于R、 G、 B; 并且X、 Y、 Z对应于R， G， B，。对于波长逆转换单元130, A、 B、 C对应 于R， G， B，；并且X、 Y、 Z对应于R、 G、 B或Y、 U、 V。除系数e(l) 至e (9)的值不同之外，波长转换单元110和波长逆转换单元130执行相似 的计算。因此，波长转换单元IIO和波长逆转换单元130都执行颜色空间转 换。
波长转换单元IIO根据公式(1 )执行计算以等同地改变成像器件中的彩 色滤波器的光镨特性，佳:得如图2所示各种颜色的透射(transmission)范围 变得更小。结果，如图3所示，与图18所示的示例相比较，各种颜色的扩散 (spread)变得更小。图4示出了在校正倍率色像差之后的图像。与图19所示的示例相比较，降低了图像的模糊并且提高了分辨率。
下面给出通过改写波长转换单元110的公式(1)和波长转换单元110 的系数e (1)至e (9)的示例性取值而得到的公式(2)。
R' =e G'=e(l"i + e(2)承G + e(3)M (4)*/ + e(5)*G + e(6)*S
e (1)=1;
e (2)=-0.10;
e (3)=0;
e (4)=-0.30;
e (5)=i;
e (6)=-0.10;
e (7)=0;
e (8:> =-0.20;
e (9:> =i;
在坐标变换单元120校正了倍率色像差之后，无需转换即可将R， G， B， 数据输出到成像装置的后续处理部件。然而，在这种情况下，R， G， B，数 据的光谙特性不同于人眼的光谙特性，并且很难重现图像的色调(hue)。因 此，如图l所示，优选地由波长逆转换单元130将R' G' B'数据转换为具 有彩色滤波器的原始光谱特性或是接近人眼特性的光谱特性的RGB或YUV 数据。
下面给出通过改写波长逆转换单元130的公式(1)和波长逆转换单元 130的系数e (1)至e (9)的示例性取值而得到的公式(3)。在校正了倍率 色像差之后，使用公式(3)来将R， G， B，数据转换为具有彩色滤波器的 原始光语特性的RGB数据。通过对如上所述的波长转换单元110中的除e (1 )、 e ( 5 )、 e ( 9 )之外的相对应系数的值的符号取反，来得到波长逆转换 单元130的系数的值。<formula>formula see original document page 8</formula>
与简单地校正RGB图像数据的倍率色像差的情况相比较，图1所示的 配置可以提高图像的分辨率(提高图像的周边的对比度)。，
同时，当从RGB传感器输出的RGB颜色分量中的一种达到饱和时，很 难准确地执行颜色空间变换，因此对于倍率色像差的校正会不利地影响到图 像质量。因此，优选地不对从传感器输出的饱和像素执行倍率色像差的校正 (不转换其坐标)。此外，倍率色像差校正单元IOO还可被配置用来不将饱和 像素转换为具有不同于成像器件中的彩色滤波器的波^:的数据。
进而，为了降低处理负荷，可将波长转换单元110和波长逆转换单元130 配置为不对出现了倍率色像差的屏幕的中心部分执行如上所述的颜色空间变 换。换句话说，将倍率色像差校正单元IOO配置为仅将对应于图像的周边部 分的部分图像数据转换为具有不同于彩色滤波器的波革更的数据。
图5是说明根据本发明的第二实施例的倍率色像差校正单元200的图表。 与图l相类似，倍率色像差校正单元200包括波长转换单元210、坐标变换 单元220以及波长逆转换单元230。在该实施例中，々支定使用补色 (complementary color)滤波器作为成像器件。波长转换单元210对CMYG 补色图像数据执行颜色空间变换并且输出R' G' B，图像数据。坐标变换单 元220和波长逆转换单元230具有与图1所示的对应单元实质上相同的功能。
8波长转换单元210执行与图1所示的波长转换单元IIO执行的计算相类 似的计算，以等同地改变补色滤波器的光语特性，从而如图6所示使得各种 颜色的透射范围变得更小。
甚至当使用应用了补色滤波器的成像器件时，图5所示的配置仍可以有 效地校正倍率色像差。
图7是说明根据本发明的第三实施例的倍率色像差校正单元300的图表。 与第二实施例的不同之处在于，第三实施例的倍率色像差校正单元300还能 够获得具有红外波段的IR，数据。换句话说，倍率色像差校正单元300将 CMYG图像数据转换为包括具有红外波段的红外波长数据分量的波长数据 分量。
当使用对于红外光线高度灵敏的CMOS传感器时，特别优选地是在分离 红外波段的IR，数据之后校正倍率色像差。此外，得到的IR，数据可以与 RGB图像数据分开地被输出，并且还可以用于例如夜—见设备的红外传感。
图8是根据本发明的第四实施例的倍率色像差校正单元400的图表。在 该实施例中，在将图像数据划分(或转换)为数目大于成像器件中彩色滤波 器的颜色数目的波长数据分量之后，校正倍率色像差。在图8中，假定RGB 彩色滤波器用作图l所示的成像器件，并且在校正倍率色像差之前将所得到 的RGB图像数据划分为R' 、 G' 、 B' 、 X， 、 Y，波长数据分量。图9示出了 RGB波长与R， G， B， X， Y，波长之间的关系。
尽管图8所示的配置会略微增大电路尺寸，但是其可以准确地校正倍率 色像差。类似的，当使用补色(CMYG)滤波器作为成像器件时，可在校正 倍率色像差之前将所得到的CMYG数据划分为波长数据分量，并且上述波长 数据分量的数目大于补偿彩色滤波器的颜色的数目。
接下来，将会描述坐标变换单元的示例性配置。尽管将第一实施例中的 坐标变换单元120作为下面描述的示例，但是如下的描述还可应用到其他实 施例中的坐标变换单元。
在现有技术中，通常对RGB图像数据中的各个颜色分量分开执行坐标 变换来校正倍率色像差。在本实施例中，坐标变换是针对通过对RGB图像 数据执行颜色空间变换得到的R' G' B'数据执行的。例如，下面将会描述，通过对R，和B，分量执行坐标变换并且因而将R，和B，分量复制到G， 分量的位置来校正倍率色像差。上述配置可以减小用来校正倍率色像差的电 路的尺寸。
图IO是说明坐标变换单元120的示例性配置的图表。如图10所示，坐 标变换单元120包括目标坐标计算单元121，用来计算目标坐标以便根据 预定的坐标变换公式对R， G， B，分量中的每一个校正倍率色像差；以及包 括坐标变换公式所使用的系数的坐标变换系数表122。坐标变换单元120还 包括对应于R' G' B'分量的坐标变换存储器(行緩冲器)123 (R)、 123 (G)和123 (B)。
作为在校正倍率色像差的处理中使用的行緩冲器，优选地使用小容量三 端口存储器或是小容量低等待时间存储器。在本示例中，假定在Y方向上最 大倍率色像差是20行，并且通过具有20行容量的SRAM来实现各个坐标变 换存储器123(R)、 123 (G)、 123 (B)。 X方向上图像的大小由图像的分辨 率确定。例如，当图像的分辨率是VGA (640x480),则图像在X方向上的 大小是640点。假定RGB颜色分量中的每一个的色彩深度都是8比特。以8 比特为单位将数据写入各个坐标变换存储器123 (R)、 123 (G)、 123 (B)， 或是以8比特为单位从各个坐标变换存储器123 (R)、 123 (G)、 123 (B) 中读取数据。
因此，在本实施例中，通过使用图像处理芯片中设置的小容量三端口 SRAM的来实现各个坐标变换存储器123 (R)、 123 (G)、 123(B),并且具 有20行数据的存储区。可选地，还可通it用于上述目的的时间共享来将单端 口小容量存储器(例如SRAM)用作三端口存储器。
根据坐标(x, y)，从第一行开始将对RGB图像数据执行颜色空间变换 而获得的R， G， B，波长数据分量顺序地写入相对应的坐标变换存储器123 (R)、 123 (G)、 123 (B)中。当对各个存储器都写入了 20行数据时，从 第一行开始顺序地输出所写入的数据，并且将后续行的数据写入各自的存储 器。因此，可将坐标变换所需的20行的R， G， B，波长数据分量重复地存 储到相对应的坐标变换存储器123 (R)、 123 (G)、 123 (B)中。
坐标(x， y)表示所获取的一帧图像的读出位置。同时，坐标变换存储器123 (R)、 123 (G)、 123 (B)中的每一个都是具有20行容量的行緩沖器， 并且周期地改变该行緩沖器的写入行。相应地，如果不改变坐标(x， y)，则 其不能被用作坐标变换存储器123 (R)、 123 (G)、 123 (B)的写入地址。 因此，需要将坐标(x, y)转换成坐标变换存储器123 (R)、 123 (G)、 123 (B)的实际地址。在图10中省略了用于上述处理的配置。类似的，还需要 将坐标变换存储器123 (R)、 123 (G)、 123 (B)的读取地址转换成稍后所 述读取处理中的坐标(X， Y)。
目标坐标计算单元121接收原始坐标(x，y),计算并且输出目标坐标(X， Y)以使用预定的坐标变换公式(例如，多项式)，对于R， G， B，分量中 的每一个校正倍率色像差。在本实施例中，对R，和B，分量执行坐标变换 以便将R，和B，分量复制到G，分量的位置。因此，目标坐标计算单元121 无需改变即可输出G，分量的坐标(x， y)作为坐标(X， Y)。同时，目标 坐标计算单元121转换R，和B，分量的坐标(x， y)并且输出转换后的坐 标作为坐标(X, Y)。目标坐标计算单元121对于所有的各组坐标(x, y) 都重复上述处理。
当以屏幕的中心作为坐标系的原点时，坐标变换公式可以表示为例如下 面的7>式
X=x+[a(l)+a(2) x abs(x)+a(3) x abs(y)+a(4) x y2] x x Y=y+[b(l)+b(2) x abs(y)+b(3) x abs(x)+b(4) x x2] x y ( 4 )
在上面的公式中，abs()表示绝对值，并且a(l)至a(4)和b(l)至b(4)都表 示坐标变换系数。在坐标变换系数表122中预先存储了坐标变换系数。
与上面所描述的写入处理并行地(准确地，在特定的延迟之后)，基于从 目标坐标计算单元121输出的坐标(X， Y)(准确地，是通过变换坐标值(X, Y)而得到的地址)，从各个坐标变换存储器123 (R)、 123 (G)、 123 (B) 中顺序地读取R， G， B，数据。从坐标变换存储器123 (G)中读取的G， 分量具有在被写入存储器之前的G，分量相同的坐标。同时，从坐标变换存 储器123 (R)和123 (B)中读取的R，和B，分量具有从原始坐标移动倍 率色像差的量的坐标。
利用上述处理，校正了R， G， B，数据的倍率色像差，并且从坐标变换存储器123 (R)、 123 (G)、 123 (B)输出校正后的R， G， B，数据。换句 话说，具有原始坐标(x, y)的R， G， B，数据被变换为具有目标坐标(X， Y)的R， G， B，数据。
图IIA至图IIC是说明目标坐标计算单元121的示例性配置的图表。利 用图11A所示的配置，不对G'分量的坐标(x， y)进行转换并且不对其改 变将其输出为坐标G， (X， Y)。同时，通过坐标计算单元1211和1212转换 R，和B，分量的坐标(x， y)并且输出转换后的坐标作为坐标R， (X， Y) 和坐标B， (X， Y)。由于只有R，和B，分量需要坐标计算单元，因此上述 配置可以减小电路尺寸。
图IIB和图IIC所示的配置是基于倍率色像差通常会引起R和B颜色 分量关于G颜色分量对称地移动的假设。利用图IIB所示的配置，坐标计算 单元1213获得坐标(x， y)的校正值，减法器1214通过从坐标(x, y)减 去校正值来输出坐标B， (X， Y)，并且加法器1215通过将校正值加到坐标 (x, y)来输出坐标R， (X， Y)。此外，与图IIA相类似，无需改变G， 分量的坐标(x， y)即可将其输出作为坐标G， (X， Y)。
图11C所示的配置进一步包括增益电路1216，在考虑到对称的差异的前 提下调节R，分量的校正值。可选地，还可为B，分量设置增益电路1216。 图IIB和图IIC所示的配置仅需要一个坐标计算单元，因此可以进一步减小 电路尺寸。
还可使用对R和B颜色分量中每一个定义输入坐标(x， y)和输出坐标 (X, Y)之间对应关系的查询表(LUT)来代替图11A所示的坐标计算单 元1211和1212。在这种情况下，基于LUT来获得原始坐标(x， y)的目标 坐标(X， Y)。类似的，还可使用定义了输入坐标(x， y)和校正值之间对 应关系的LUT来代替图IIB和图IIC所示的坐标计算单元1231，并且基于 LUT来获得坐标(x， y)的校正值。LUT的使用消除了为坐标变换执行计算 的需要，并且可能仅使用基本的存储器芯片即可校正倍率色像差。
图12是说明根据本发明实施例的成像装置的方框图。除了图12中所示 的处理部件之外，该成像装置还包括操作单元、图像存储单元、以及图像显 示单元(监视器)。该成像装置的应用包括但不局限于车载相机。在本实施例中，假定成像装置使用了存在倍率色像差和失真的广角光学系统以捕捉对象 图像，并且该成像装置包括除了倍率色像差之外还校正失真的图像处理系统。
然而，本实施例还可应用到以下情况成像装置使用了至少存在倍率色像差 的广角光学系统以捕捉图像，并且该成像装置包括用来校正倍率色像差的图 像处理系统。另外，还假定成像装置中的成像器件使用加色(additive color) 滤波器，即RGB滤波器，并且图像数据包括红色(R)、绿色(G)、蓝色(B) 颜色分量。可选地，图像器件还可以使用补色滤波器并且图像数据可包括黄 色(Y)、红紫色(M)、蓝绿色(C)颜色分量。
如图12所示，控制单元100向成像装置中的其它处理部件发送控制信号 (时钟信号、水平/垂直同步信号等)，并且因此按照流水线方式控制这些处 理部件。
成像器件1100包括将存在倍率色像差和失真的广角光学系统(未示出) 输入的光学图像转换成电信号(图像数据)的CCD或CMOS传感器。成像 器件1100还包括拜耳彩色滤波器阵列，并且基于从控制单元1000给出的坐 标(x， y)输出具有拜耳排列(arrangement)的RGB图像数据。在延迟之 后，控制单元1000还向成像器件1100的后续处理部件提供坐标(x, y)。可 选地，基于时钟和水平/垂直同步信号通过成像器件1100生成坐标(x， y), 并且将所生成的坐标(x， y)提供给成像器件1100的后续处理部件。
A/D转换器1200将从成像器件1100输出的具有拜耳排列的模拟RGB 图像数据转换成数字信号，并且将该数字信号发送到拜耳内插单元1300。例 如，数字信号的RGB颜色分量中的每一个都可以由8比特来表示。尽管通 常在A/D转换器1200之前设置有AGC电路，但是在图12中省略了 AGC电 路。
拜耳内插单元1300接收具有拜耳排列的数字化RGB图像数据，通过对 RGB颜色分量中每一种单独地执行线性内插来生成所有坐标位置的图像数 据，并且特所生成的图像数据发送到倍率色像差校正单元1400。
图13示出了拜耳彩色滤波器阵列。在图13中，可以从如下的公式(5) 中得到Go:
G0=(G2+G4+G6+G8)/4 (5)可以从如下的7>式(6)至公式(10)中得到R2、 R4、 R6、 R8、 Ro。
Rf(R禹)/2 (6)
R4=(R3+R5)/2 (7)
R6=(R5+R7)/2 (8)
Rs,+R7)/2 (9)
RC+R3+Rs+R7)/4 (10)
获得B2、 B4、 B6、 B8、 B。的方式与获得R2、 R4、 Re、 Rg、 Ro的方式是 相同的，因此在此省略了用来获得B2、 B4、 B6、 B8、 Bo的公式。
在本实施例中，假设成像器件1100包括具有拜耳排列的RGB彩色滤波 器。然而，本实施例还可应用到包括诸如CMYG彩色滤波器或RGB+Ir (红 外)彩色滤波器等不同类型的彩色滤波器的成像器件。与包括三种颜色(例 如，RGB)的彩色滤波器的成像器件相比较，包括四种颜色的彩色滤波器的 成像器件为了校正倍率色像差需要具有更少等待时间或四端口的RAM的存 储器。
倍率色像差校正单元1400接收线性内插后的RGB图像数据，基于预定 的多项式等式对RGB颜色分量中的每一种单独地执行坐标变换以校正RGB 图像数据的倍率色像差，并且输出经过了倍率色像差校正后的RGB图像数 据。倍率色像差校正单元1400对应于图1所示的倍率色像差校正单元100。 倍率色像差校正单元1400将输入的RGB图像数据转换为具有不同于成像器 件IIOO的彩色滤波器的波段的R， G， B，数据，转换R' G， B，数据的坐 标以便校正倍率色像差，将坐标转换后的R， G， B，数据转换为具有彩色滤 波器的原始波段的RGB数据，并且输出该RGB数据。上述配置甚至可以对 存在大的倍率色像差的图像的边缘部分处提高图像质量。倍率色像差校正单 元1400优选地被配置用来仅对R，和B，分量扭^亍坐标变换。这使得可以减 小电路尺寸。对于校正倍率色像差的坐标变换而言，可优选地使用小容量、 低等待时间的存储器或是小容量、多端口的存储器(例如，SRAM)。
MTF校正单元1500接收倍率色像差校正后的RGB图像数据，利用FIR 滤波器校正RGB图像数据中的亮度信号的MTF,并且输出MTF校正后的 RGB图像数据。图14是说明MTF校正单元1500的示例性配置的图表。转换单元1501 利用下列公式(11)至公式(13 )将RGB像素数据转换成YCbCr像素数据:
FIR滤波器(5x5滤波器)1502仅接收YCbCr信号当中的亮度信号Y (Y信号)，并且校正该Y信号的MTF。通过只对Y信号执行滤波(仅对Y 信号执行MTF校正)，可以抑制颜色噪声的增大而相应地提高质量图像。图 15示出了示例性FIR滤波器的系数。由于对Y信号进行了滤波，因此优选 地在校正了倍率色像差之后执行MTF校正。同时，如下面所描述的，在用 来校正失真的坐标变换中，原始坐标和目标坐标之间的距离通常很大，因此 容易造成计算误差的出现。如果在用来校正失真的坐标变换之后执行MTF 校正，则计算误差会被MTF校正增加并且还会降低图像质量。为了防止上 述问题的出现，MTF校正单元1500优选地被设置在倍率色像差校正单元 1400之后并且在失真校正单元1600之前。
逆转换单元1503接收CbCr信号和MTF校正后的Y信号，并且利用下 列公式(14)至公式(16)将信号逆转换为RGB像素数据 R=Y+1.402Cr (14) G=Y - 0.714Cr- 0.344Cb (15) B=Y+1.772Cb (16) 失真校正单元1600接收经过了倍率色像差校正和MTF校正后的RGB 图像数据，使用预定的公式(例如，多项式)对RGB颜色分量共同地执行 坐标变换以校正RGB图像数据的失真，并且输出失真校正后的RGB图像数 据。为校正失真执行坐标变换而使用的存储器的容量(多达一个屏幕的数据) 需要大于为校正倍率色像差而使用的存储器的容量，但是只需要一个端口 。 因此，可以使用具有长等待时间的存储器(诸如DRAM)以实现上述用途。 图16是说明失真校正单元1600的示例性配置的图表。失真校正单元 1600包括RGB组合(combining)单元1601，用来将RGB颜色分量组合 到一起并且输出组合后的RGB图像数据；坐标变换存储器1602,用来存储
Y=0.299R+0.587G+0.114B
(11)
(12)
(13)
Cr=0.500R - 0.419G - 0.081B
Cb= - 0.169R — 0.332G+0.500B
15组合后的RGB图像数据；RGB分离单元1603，用来将组合后的RGB图像 数据分离回到RGB颜色分量；目标坐标计算单元1604，用来基于预定的坐 标变换公式计算目标坐标以校正失真；以及坐标变换系数表1605,包括在坐 标变换公式中所使用的系数。
由于失真造成的像素的移动量通常是大的，因此失真校正处理需要能够 存储多达一个屏幕的图像数据的緩冲存储器。同时，失真实质上相同地移动 各RGB颜色分量，因此失真校正处理只需要具有与RGB图像数据的总比特 宽度对应的比特宽度的一个緩冲存储器。在这里，假定图像的分辨率是VGA (640x480),则RGB颜色分量中的每一个的比特数目(色彩深度)是8比 特，并且坐标变换存储器1602是由能够存储640 x 480点、以24比特作为单 位执行输入/输出的DRAM实现。
由于坐标变换存储器1602需要具有非常大的容量，因此从成本角度而言 很难在图像处理芯片中提供作为存储器1.602的SRAM。因此，优选地在图 像处理芯片之外提供单端口的DRAM来实现坐标变换存储器1602。
RGB组合单元1601每次输入8比特的经过了倍率色像差校正后的RGB 颜色分量中的每个RGB颜色分量，将RGB颜色分量组合以形成组合后的 RGB图像数据(24比特)，并且输出组合后的RGB图像数据。根据原始坐 标(x, y)，从第一行开始将组合后的RGB图像数据顺序地写入坐标变换存 储器1602。
目标坐标计算单元1604接收原始坐标(x, y)并且计算目标坐标(X， Y)以便基于预定的坐标变换公式(例如，多项式)对组合后的RGB图像数 据共同地校正失真。除了使用不同的坐标变换系数之外，上述坐标变换公式 与在校正倍率色像差中使用的公式(4 )实质上相同。在坐标变换系数表1605 中预先存储了坐标变换系数。
与组合后的RGB图像数据(24比特)的写入处理并行地(准确地，在 特定的延迟之后)，基于从目标坐标计算单元1604输出的坐标(X, Y)从坐 标变换存储器1602中顺序地读取组合后的RGB邀:据。RGB分离单元1603 将从坐标变换存储器1602读取的组合后的RGB图像数据(24比特)分离回 到RGB颜色分量(每一种颜色分量的大小为8比特)。因此，RGB分离单元1603输出图像数据的失真校正后的RGB颜色分量。 换句话说，将RGB颜色分量复制到原始坐标(x， y)。
此外，在失真校正处理中，可利用定义了输入坐标(x， y)与输出坐标 (X， Y)之间对应关系的查询表(LUT)来获得原始坐标(x， y)的目标坐 标(X， Y)。 LUT的使用消除了为坐标变换执行计算的需求，并且基本上只 使用存储芯片即可校正失真。
再次参考图12,伽马校正单元1700从失真校正单元1600接收RGB图 像数据，利用例如为各个RGB颜色分量设置的查询表对RGB图像数据执行 伽马校正，并且输出伽马校正后的RGB图像数据。在显示单元(未示出) 上显示从伽马校正单元1700输出的伽马校正后的RGB图像数据。
图12所示的配置可以提供紧凑的并且低成本的成像装置，并且即使当使 用存在倍率色像差和失真的光学系统时该成像装置仍可提供高质量的图像。
本发明的实施例可以有效地校正包括存在倍率色像差的广角光学系统和 具有彩色滤波器的成像器件的成像装置中的倍率色像差。
本发明并不局限于特别公开的实施例，可以进行各种变化和修改而不脱 离本发明范围。
权利要求
1.一种成像装置，包括广角光学系统，至少存在倍率色像差；成像器件，包括彩色滤波器，用于通过所述彩色滤波器从所述光学系统接收光学图像，并且将所述光学图像转换为图像数据；以及倍率色像差校正单元，用于转换所述图像数据的坐标，并且从而校正所述图像数据的倍率色像差，其中，所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换为具有与所述彩色滤波器的原始波段不同的波段的不同波长图像数据。
2. 根据权利要求1所述的成像装置，其中， 所述成像器件的彩色滤波器是加色滤波器。
3. 根据权利要求l所述的成像装置，其中， 所述成像器件的彩色滤波器是补色滤波器。
4. 根据权利要求1至3中任一项所述的成像装置，其中，所述倍率色像差校正单元在校正倍率色像差之后，将所述不同波长图像 数据转换为具有所述彩色滤波器的原始波段的原始波长图像数据。
5. 根据权利要求1至3中任一项所述的成像装置，其中，所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换 为具有与所述彩色滤波器的原始波段相比更窄的波段的不同波长图像数据。
6. 根据权利要求1至3中任一项所述的成像装置，其中，所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换 为波长数据分量，所述波长数据分量的数目大于所述成像器件的颜色数目。
7. 根据权利要求1至3中任一项所述的成像装置，其中，所述倍率色像差校正单元在校正倍率色像差之前，将所述图像数据转换 为包括红外波长数据分量的波长数据分量。
8. 根据权利要求1至3中任一项所述的成像装置，其中，所述倍率色像差校正单元只将对应于光学图像的周边部分的一部分图像数据转换为具有与所述彩色滤波器的原始波段不同的波段的不同波长图像数 据。
9. 根据权利要求1至3中任一项所述的成像装置，其中，所述倍率色像差校正单元不对从所述成像器件输出的饱和像素的倍率色 像差进行校正。
10. 根据权利要求1至3中任一项所述的成^f象装置，其中，所述倍率色像差校正单元不将从所述成像器件输出的饱和像素转换为具 有与所述彩色滤波器的原始波段不同的波段的不同波长图傳_数据。
11. 根据权利要求1至3中任一项所述的成像装置，其中， 所述倍率色像差校正单元不转换图像数据的特定颜色分量的坐标，并且转换除所述图像数据的特定颜色分量之外的颜色分量的坐标。
12. 根据权利要求11所述的成像装置，其中，所述倍率色像差校正单元基于所述图像数据的特定颜色分量的坐标获取 校正值，并且基于所述校正值转换除所述特定颜色分量之外的颜色分量的坐 标。
13. 根据权利要求12所述的成像装置，其中，所述倍率色像差校正单元通过增益电路对除所述特定颜色分量之外的一 种颜色分量调节所述校正值。
14. 根据权利要求1至3中任一项所述的成像装置，进一步包括 失真校正单元，设置在所述倍率色像差校正单元之后，并且用于在校正倍率色像差之后转换图像数据的坐标，从而校正所述图像数据的失真。
全文摘要
本发明公开了一种成像装置，包括广角光学系统，至少存在倍率色像差；成像器件，包括彩色滤波器，并且用于经由彩色滤波器从光学系统接收光学图像，并且将光学图像转换为图像数据；以及倍率色像差校正单元，用于对图像数据执行坐标变换，从而校正图像数据的倍率色像差。该倍率色像差校正单元在校正倍率色像差之前，将图像数据转换为不同波长的图像数据，该不同波长的图像数据具有不同于彩色滤波器的原始波段的波段。
文档编号H04N9/04GK101540919SQ200910126600
公开日2009年9月23日 申请日期2009年3月16日 优先权日2008年3月18日
发明者笠原亮介 申请人:株式会社理光