成像装置的制作方法

专利名称：成像装置的制作方法
技术领域：
本发明涉及一种成像装置，用来获取由具有广角和大的倍率色像差和失真 的光学系统所捕捉到的图像，尤其涉及一种用来校正所获取的图像的倍率色像 差和失真的技术。
背景技术：
近来，微型广角成像装置已经越来越多地应用到诸如车辆的倒车监视器 (back monitor)等当中。然而，却很难设计出一种具有小的倍率色像差和失 真的微型光学系统，并且与图像处理相结合需要提高性能。在这种情况下，传 统上在诸如电荷耦合器件(CCD)和互补式金属氧化物半导体(CMOS)等成 像器件获取图像数据之后的后续阶段执行坐标变换，以便校正倍率色像差和失 真。
图17是上述类型的现有成像装置的配置示意图。在图17中，成像器件1 是CCD或CMOS传感器，用来将通过具有广角和大的倍率色像差和失真的光 学系统所捕捉到的光学图像(未示出)转换为电信号(图像数据)。计数器 (counter) 2基于外部提供的时钟和水平/垂直同步信号(未示出)生成作为帧 地址的坐标值(x， y )。基于计数器2的坐标值(x, y)从成像器件1顺序地 读出图像数据，并且将其顺序地写入帧存储器3当中。帧存储器3可以是具有 预定数量的线路的线緩冲器。同时，坐标变换单元4输入计数器2的坐标值(x，
y)以计算根据坐标变换的预定公式来校正倍率色像差和失真的变换后的坐标，
并且使用变换后的坐标值(x, y)从帧存储器3顺序地读出图像数据。如此， 从帧存储器3读出倍率色像差校正后和失真校正后的图像数据。
例如，在已经公开的日本专利申请No. 2006-345054中，描述了一种通过在后续阶段对由诸如CCD或CMOS传感器等成像器件获取的R (红色)、G (绿色)、以及B (蓝色)信号中的各种RGB颜色分量单独地执行坐标变换， 同时校正倍率色像差和失真的方法，以及一种对各种RGB颜色分量同时执行 坐标变换来仅校正失真，而忽略倍率色像差的方法。
在现有技术中，为了单独地校正倍率色像差和失真而执行坐标变换，需要 大容量的帧存储器或线緩冲器。特别是当通过对各种RGB颜色分量单独地执 行坐标变换而同时校正倍率色像差和失真时，需要一种能够对各种RGB颜色 分量单独寻址的存储器，并且需要使用昂贵的具有3-芯片配置的三端口随机存 储器(RAM)(例如，静态RAM (SRAM))或是以时间共享方式驱动RAM。 进而，当对RGB颜色分量共同地执行坐标变换来仅校正失真时，尽管可以使 用具有l-芯片配置的低成本动态RAM (DRAM)等，仍单独地需要存储器。
通常，在成像器件中设置有诸如具有拜耳阵列(Bayerarray)的彩色滤波 器。在现有技术中，在内插了由于诸如拜耳阵列的彩色滤波器阵列引起的缺陷 像素之后，关于成像器件获取的信号校正倍率色像差和失真，因此单独地需要 大容量的帧存储器或线緩冲器。

发明内容
本发明的目的在于至少部分地解决现有技术中的问题。 根据本发明的一个方面，提供了一种成像装置，包括成像器件，包括具 有预定的颜色阵列的彩色滤波器，所述成像器件将通过光学系统获得的光学图 像转换成电信号的图像数据；和坐标变换单元，根据对应于第一坐标值的颜色 阵列的颜色，以颜色阵列的状态将所述成像器件的第一坐标值转换成第二坐标 值。通过将第一坐标值作为坐标变换目标并且将第二坐标值作为坐标变换源， 所述成像器件读取所述第二坐标值处的像素的像素值作为所述第一坐标值处 的像素的像素值。
当联系所述附图一起考虑时，通过阅读如下的关于本发明的当前优选的实 施例的详细说明，可以对本发明的上述和其它目的、特征、优点以及技术上和 工业上的重要性获得更佳的理解。


图l是根据本发明的成像装置的基本方框图；图2是根据本发明实施例的成像装置的完整方框图； 图3A至图3C描绘了具有拜耳阵列的彩色滤波器； 图4是MTF校正单元的示例的配置图； 图5是FIR滤波器的示例；
图6A和图6B是用来说明本发明的倍率色像差的校正原理的示意图； 图7是根据本发明的第一示例的图2所示的坐标变换单元的整体配置图； 图8描绘了源的坐标值、通过四舍五入(roundoff)坐标值而得到的坐标
值、以及它们的偏差之间的关系；
图9是用来说明图6A和图6B所示的阵列确定单元执行的操作的示意图； 图IOA至图IOE描绘了图6A和图6B所示的坐标校正单元执行的运算的
内容；
图ll描绘了由阵列确定单元执行的操作；
图12是#4居本发明的第二示例的图2所示的坐标变换单元的整体配置图； 图13A至图13E描绘了由图12所示的坐标校正单元A执行的运算的内容； 图14A至图14E描绘了由图12所示的坐标校正单元B执行的运算的内容； 图15A至图15E描绘了根据本发明的第三示例的坐标变换单元A执行的 运算的内容；
图16A至图16E描绘了在根据第三示例的倍率色像差校正单元的坐标变 换单元B中的运算的内容；以及
图17是传统的成像装置的配置图。
具体实施例方式
下面将会参考所附附图对本发明的示例性实施例作出更加详细的说明。 图1是根据本发明的成像装置的基本方框图。在图1中，成像器件110包 括能够随机存取的CMOS彩色传感器等，用来将使用具有广角和大的倍率色 像差和失真的光学系统IO捕捉到的光学图像转换成电信号(图像数据)。成像 器件110包括具有诸如拜耳阵列等预定颜色阵列的彩色滤波器。基于外部提供 的时钟和水平/垂直同步信号(未示出)，计数器120生成成像器件110的原始 坐标值(x, y)。考虑对应于坐标值(x， y)的彩色滤波器的颜色，在预定颜 色阵列的状态下，坐标变换单元130接收计数器120的坐标值(x， y)来顺序地计算坐标变换源的坐标值(X, Y),以才艮据坐标变换的预定公式校正倍率色 像差和失真中的至少一个，并且将坐标值(X， Y)提供给成像器件110。利 用作为读地址的坐标值(X, Y)，成像器件110顺序地读取坐标(X, Y)处 的像素的像素值作为坐标(x， y)处的像素的像素值。
当以屏幕的中心作为原点时，例如，坐标变换的公式可以表示为<formula>formula see original document page 7</formula>其中，abs ()表示绝对值，a(l)至a(4)和b(l)至b(4)表示可在表等 中预先存储的坐标变换系数。
利用图1所示的配置，可从成像器件110中直接地读取以预定颜色阵列状 态校正倍率色像差和失真中的一个或是两者之后的图像数据，不再单独地需要 用于坐标变换的帧存储器或线緩沖器。
在图1中，可将计数器120和坐标变换单元130内置于成像器件110当中。 下面，将会详细地说明本发明的成像装置的一个实施例。在这个实施例中， 假定成像器件包括具有拜耳阵列的彩色滤波器；然而，本发明还可应用到包括 诸如CMYG阵列或RGB+Ir (红外)阵列在内的另 一种彩色滤波器的成像器件 中。图像的颜色分量不仅可以是加色法原色中的红色(R)、绿色(G)、以及 蓝色(B)，而且它们还可以是减色法原色中的黄色(Y)、红紫色(M)、以及 蓝绿色(C)。
在现有技术中，在内插了诸如拜耳阵列的预定颜色阵列引起的缺陷像素之 后，对由成像器件获取的信号执行倍率色像差的校正。然而，为了对应于具有 大的倍率色像差的光学系统，关于倍率色像差(关于坐标变换)需要非常大的 存储容量，并且这使得器件变得非常昂贵。进而，由于每种颜色分量的倍率色 像差都不同，需要能够独立地应对每种颜色分量寻址的存储器来校正倍率色像 差，并且需要使用昂贵的具有3-芯片配置的三端口随机存储器(RAM)(例如， 静态RAM (SRAM))或是以时间共享方式驱动RAM,这都使得器件变得更 力口昂贵。
在下面所述的实施例中，可从成像器件中直接地读取以拜耳阵列方式校正了倍率色像差的图像数据，并且对倍率色《象差校正后的、具有拜耳阵列的图像
数据内插由于拜耳阵列引起的缺陷像素。之后，执行MTF校正、失真校正、 以及伽马4交正。
图2是根据本发明实施例的成像装置的功能性方框图。除了图2中所示的 部件之外，根据实施例的成像装置还包括图2中没有示出的操作单元、图像存 储单元、以及图像显示单元。例如，成像装置可以用作车载相机，但是并未限 制本发明仅应用于此。
如图2所示，控制单元100向各个单元提供所需的控制信号(时钟、水平 /垂直同步信号等)以便按照流水线方式控制各个单元的"t喿作。
例如，成像器件110包括CMOS传感器，用来将使用具有广角和大的倍 率色像差和失真的光学系统(未示出)捕捉到的光学图像转换成电信号(图像 信号)，并且具有随机存取功能。在成像器件110中设置有拜耳彩色滤波器阵 列。
计数器120基于由控制单元100提供的时钟和水平/垂直同步信号生成坐 标值(x, y)，并且将坐标值提供给作为坐标变换单元的坐标变换单元130。 尽管没有在图2中示出，通过推移预定时间，还将计数器120生成的坐标值(x, y)顺序地提供到后续阶段。
坐标变换单元130接收从计数器120输出的坐标值(x, y)以根据诸如公 式(1)等坐标变换的预定公式来顺序地计算用于校正倍率色像差的变换后的 坐标，并且输出变换后的坐标值(X， Y)。利用作为读地址的坐标值(X， Y), 成像器件110顺序地读取坐标值(X, Y)处的像素的像素值。即，从成像器 件110中直接地读取倍率色像差校正后的并且具有拜耳阵列的RGB图像信号。
在简化的坐标变换中，在坐标变换之前和之后，拜耳阵列都发生变化，并 且在后续阶^:中不能由拜耳补偿单元150正确地执行拜耳内插。即，在坐标变 换之前和之后，需要保持拜耳阵列不变。因此，当源的拜耳阵列的颜色与坐标 变换目标的拜耳阵列的颜色相同时，坐标变换单元130就会保持坐标变换源的 坐标不变；而例如当源的拜耳阵列的颜色与目标的拜耳阵列的颜色不同时，坐 标变换单元130就会将源的坐标改变为最靠近这个源的、具有与目标的颜色相 同颜色的坐标。相应地，即使在具有拜耳阵列的RGB图像中校正倍率色像差，也可保持拜耳阵列不变。随后将会详细地说明坐标变换单元130。
如上所述，可将计数器120和坐标变换单元130内置于诸如CMOS传感 器的成像器件110当中。
模数(A/D)转换器140将作为从成像器件110输出的模拟信号的倍率色 像差校正后的并且具有拜耳阵列的RGB图像信号转换成数字信号(图像数 据)，并且发送数字信号。例如，图像数据对于RGB中的每一种都包括8位。 可以将A/D转换器140与计数器120和坐标变换单元130 —起内置于成像器 件110当中。
拜耳补偿单元150接收倍率色像差校正后的、具有拜耳阵列的RGB图像 数据，生成对RGB中的每一种颜色执行线性内插后的所有坐标位置处的图像 数据(像素数据)，并且将像素数据输出到MTF校正单元160。
图3A至图3C是具有拜耳阵列的彩色滤波器的示例。出于方便的目的， 在图3A至图3C中将R、 G、 B分别示出；然而实际上，RGB是混合排列的 (拜耳阵列的)，其中由方程式(2)至方程式(7)得到Go。
G0=(G2+G4+G6+G8)/4 (2)
Rf(R,+R3)/2 (3)
R4=(R3+R5)/2 (4)
R6=(R5+R7)/2 (5)
R『(R,+R7)/2 (6)
Ro-(R,+R3+R5+R7)/4 (7)
B2、 B4、 B6、 B8和B0与R2、 R4、 R6、 R8和R0的情形是相同的。
MTF校正单元160接收各个倍率色像差校正后的和拜耳内插后的RGB图 像数据，以便使用FIR滤波器执行MTF校正并且输出各个MTF校正后的RGB 图像数据。
图4是MTF校正单元160的方框图。变换单元162基于方程式(8)至方 程式(10)将RGB图像数据变换成YCbCr图像数据。 ' Y=0.299R+0.587G+0.114B (8) Cr=0.500R - 0.419G — 0.081B (9) Cb=-0.169R- 0.332G+0.500B (10)FIR滤波器(5x5滤波器)164仅接收YCbCr的亮度信号Y，并且执行 预定的MTF校正。通过只对Y信号滤波(执行MTF校正)而获得颜色噪声 的放大被抑制的高质量图像。图5是用来说明FIR滤波器的示例的示意图。由 于对Y信号进行了滤波，因此在倍率色像差校正后需要t丸^亍MTF校正。然而， 当失真校正后执行MTF校正时，如下面将会说明的一样，在失真校正中坐标 变换的变换距离会很大并且非常容易出现算术误差。在本实施例中，在倍率色 像差校正的后续阶段以及失真校正的先前阶段处优选地执行MTF校正，从而 避免了由于MTF校正导致误差被放大而不利地影响图像质量。
逆变换单元166接收CbCr信号和MTF校正后的Y信号，并且基于方程 式(11 )至方程式(13 )输出逆变换后的RGB图像数据。
R=Y+1.402Cr (l"
G=Y - 0.714Cr _ 0.344Cb (12)
B=Y+1.772Cb (13)
失真校正单元170接收倍率色像差校正后的和MTF校正后的RGB图像 数据，根据预定的方程式对RGB中的各种颜色分量共同地执行坐标变换(失 真坐标变换)，并且输出失真校正后的RGB图像数据。尽管失真很大，但是对 于RGB中的各种颜色分量而言失真是一致的。因此，尽管对于失真校正单元 170需要很大的存储器容量用于坐标变换，仍可使用单端口的存储器，因而可 以使用高延迟性存储器(DRAM )。
伽马校正单元180接收从失真校正单元170输出的RGB图像数据，通过 使用RGB的各个查询表等执行预定的伽马校正，并且输出伽马校正后的RGB 图像数据。
利用图2所示的配置，成像器件自身起到了帧存储器或线緩冲器(RAM) 的作用，因此对于坐标变换不再单独地需要RAM。因此，可以更低的成本和 更小的尺寸制造成像装置。通常，在内插了彩色滤波器的缺陷颜色之启需要执 行坐标变换，因此成像器件不能作为坐标变换的RAM来使用。图2所示的配 置可以通过以成像器件的彩色滤波器阵列的状态执行坐标变换的实施例来实 现。
下面，将会详细地说明作为实施例中主要部件的坐标变换单元130。首先，参考图6A和图6B说明以拜耳阵列的状态执行坐标变换来实现倍 率色像差校正的原理。图6A描绘了坐标变换前的拜耳阵列，图6B描绘了坐 标变换后的拜耳阵列。在图6A和图6B中，拜耳阵列具有简单的6x6像素。 然而，分辨率视频图形阵列(VGA)具有640x640像素，.例如在其中重复图 6A和图6B中所示的拜耳阵列。
倍率色像差示出了关于RGB中的每种颜色分量的不同移位(shift);然而， 由于基于光学系统的设计数据可以看到倍率色像差的大小，因此可以计算得到 RGB中的各种颜色分量将要移动到的位置。在图6A中，假定位于坐标(O, 0) 位置处的像素(G)移动到坐标(1， l)位置处，同样，位于坐标(l, O)位 置处的像素(B)移动到坐标(3，])位置处。通过将位于坐标O， 1)和(3, 1)处的像素的像素值复制到坐标(0， 0)和(1, 0)的原始位置，即，通过 执行坐标变换，基本上实现了倍率色像差的校正。坐标(1， 1 )和(3， 1 )被 称为源的坐标(X， Y),而坐标(O, O)和(l, O)被称为目标的坐标(x， y)。 当参考坐标值时，(x, y)和(X， Y)都可以作为坐标值，从而根据需要正确 地使用坐标和坐标it。
如上所述，当对具有拜耳阵列的RGB图像数据简单地执行坐标变换时， 在坐标变换之前和之后拜耳阵列都发生改变，并且在后续阶段不能正确地执行 拜耳内插。因此，当源的颜色与目标的颜色相同时，可以将源的像素的像素值 直接地复制到目标。当源的颜色与目标的颜色不同时，可以将源的坐标校正到 与目标颜色相同的并且最靠近源的坐标的坐标，并且将校正后坐标处的像素的 像素值复制到目标。
在图6A中，坐标(O, 0)处的目标的颜色和坐标(1， l)处的源的颜色 都是绿色(G)。在这种情况下，直接地将源的坐标(1， 1)处的像素(G)的 像素值设定为目标的坐标(O, O)处的像素的像素值。另一方面，坐标(l， 0) 处的源是蓝色(B)，而坐标(3， 1)处的目标是绿色(G)。在这种情况下， 将源校正为与目标的坐标(1, 0)处的相同颜色的并且最靠近坐标(3, l)的 坐标的蓝色(B)的坐标(在图6A中的坐标(3, 2)),并且将校正后的坐标 (3, 2)处的像素(B)的像素值设定为目标的坐标(1， 0)处的像素的像素 值。相应地，如图6B所示，在图6A所示的坐标变换前的拜耳阵列中保持坐标变换后的拜耳阵列。下面给出了坐标变换单元130的特定配置的三个示例。
图7是根据第一示例的坐标变换单元130的整体配置图。如图6A和图6B 所示，当源坐标处的颜色与目标坐标处的颜色相同时，将源坐标处的像素的像 素值设定为目标坐标处的像素的像素值；然而，当源坐标处的颜色与目标坐标 处的颜色不同时，将最靠近源坐标的、与目标坐标处的颜色相同颜色的坐标处 的像素的像素值设定为目标坐标处的像素的像素值。
在图7中，通过倍率色像差校正坐标变换运算器1301、坐标变换系数表 1302、颜色确定单元1303、选择单元1304和1305、四舍五入单元1306和1307、 阵列确定单元1308、坐标校正单元1309、阵列选择单元1310、以及选择单元 1311来生成与目标的坐标值(x, y)相关的源的坐标值(X, Y)。基于从选 择单元1311输出的坐标值(X, Y),从成像器件IIO顺序地读取倍率色像差 校正后的并且具有拜耳阵列的RGB图像数据。即，读取成像器件110的坐标 (X， Y)处的像素的像素值作为坐标(x, y)处的像素的^f象素值。如下面所 要说明的一样，当坐标(X， Y)处的拜耳阵列颜色与坐标(x， y)处的颜色 不同时，将坐标(X, Y)校正为最靠近坐标(X， Y)的、与坐标(x， y)处 的颜色相同的坐标。因此，可保持从成像器件IIO输出的RGB图像数据的拜 耳阵列。下面，将会更加详细地说明图7所示的配置。
倍率色像差校正坐标变换运算器1301接收目标的坐标值(x, y)，以便根 据诸如公式(1 )等坐标变换的预定公式计算出对应于RGB的源的坐标值X， Y，并且将计算得到的坐标值发送到选择单元1304和1305。在坐标变换系数 表1302中可预先保存坐标变换系数。
颜色确定单元1303接收坐标值(x， y)，并且根据查询表(LUT)等获取 对应于所关注的拜耳阵列中的目标的坐标(x, y)的颜色的颜'色ID。例如， 在LUT中预先存储了将坐标值(x, y)指定为地址的颜色ID。在这里，假定 颜色ID为R-O、 G-l、以及B-2。
基于由颜色确定单元1303获取的颜色ID,选择单元1304和1305从对应 于倍率色像差校正坐标变换运算器1301计算得到的RGB的源的坐标值X， Y 中选择一种颜色的坐标值X, Y。坐标值X, Y并不局限于整数。四舍五入单 元1306和1307四舍五入由选择单元1304和1305选择了的坐标值X, Y (成为整数)，并且输出对应于像素的源的坐标值rX， rY的整数。同时，四舍五入 单元1306和1307输出X与rX之间以及Y与rY之间的偏差(差值)dX, dY， 其中dX和dY可乂人-0.5到0.5之间取值。图8描绘了通过运算得到的源的坐 标值X， Y、通过四舍五入坐标值X, Y得到的坐标值rX、 rY、以及它们之间 的偏差dX， dY的关系。在图8中用方框环绕的一个正方形表示一个像素。
阵列确定单元1308接收rX,rY并且根据查询表获取所关注的拜耳阵列中 的源的坐标(rX, rY)的阵列值。在图9中示出了图6A和图6B所示的拜耳 阵列中的阵列值的示例。在图9中，每个像素内的括号中的数值都表示阵列值。 在这里，假定阵列值处于0到3之间，然而，只要能够识别阵列，还可使用任 何其它的数值。
另一方面，坐标校正单元1309接收rX、 rY、 dX、以及dY,并且根据dX 和dY的值校正rX和rY。即，坐标校正单元1309计算出4交正后的源的坐标值。 对于从拜耳阵列中可以获得的各种类型的相同颜色的阵列图案(array pattern), 坐标校正单元1309分别计算出校正后的源的坐标值。
图IOA至图10E描绘了由坐标校正单元1309所执行的运算的内容。图10A 至图10E中由方框环绕的一个正方形表示图8中的像素。在拜耳阵列中，相 同颜色的阵列图案#1分类成图IOA至图10E中所示的五种，即1至5。 3x3 正方形的中间正方形是所关注的将要被校正的源。如图8所示，坐标rX和rY 对应于中间正方形的中心位置。坐标校正单元1309对于图IOA至图IOE中的 各图案1至5，根据dX和dY来校正rX和rY。具体的，坐标校正单元1309 根据图IOA至图10E所示的图案l至5下面所写的(a)至(e)来执行运算， 并且分别输出XI和Yl、 X2和Y2、 X3和Y3、父4和Y4、以及X5和Y5。 即，校正后的坐标表示图IOA至图10E所示的各图案中的任何一个阴影正方 形。
在图IOA至图10E中，在目标和源是相同颜色的情况下应用图案1。另一 方面，在目标和源是不同颜色的情况下应用图案2至图案5。可对RGB中的 任意颜色应用图案l。在源的颜色是R或B的情况下应用图案2、图案3、以 及图案5，而在源的颜色是G的情况下应用图案4。
阵列选捧单元1310接收XI、 Yl、 X2、 Y2、 X3、 Y3、 X4、 Y4、 X5和Y5,并且基于由阵列确定单元1308获取的阵列值来选择在对R、 G、 B中的 每种颜色分别校正后的源的坐标值X, Y。图ll描绘了阵列值以及X, Y之间 的对应关系。例如，当阵列值是0时，图案3中的一组X3和Y3被指定为R 的X, Y，图案l中的一组X1和Y1被指定为G的X， Y，并且图案2中的一 组X2和Y2被指定为B的X, Y。当阵列值是l、 2或3时按照同样的方式应 用。
选择单元1311分别接收R、 G、 B中各种颜色的一组X, Y，基于由颜色 确定单元1303获^U々颜色ID选择与目标相同颜色的一iEL X, Y,并且将该组 发送到成像器件110。结果，成像器件110读取坐标(X, Y)处的像素的像 素值作为坐标(x， y)处的像素的像素值。由于坐标(X， Y)和坐标(x, y) 保持为相同的颜色，因此在坐标变换之前和之后拜耳阵列不会发生改变。
参考图6A和图6B来说明处理的具体示例。说明了目标的坐标(x， y) 是(0， 0)并且源的坐标(X， Y)是(1， 1)的情况。在这种情况下，颜色 确定单元1303输出G( 1 )作为颜色ID。倍率色像差校正坐标变换运算器1301 通过输入坐标(0， 0)分别计算出RGB的(X， Y)，并且选择单元1304和 1305输出G的(X, Y)。四舍五入单元1306和1307四舍五入(X, Y)，并 且输出(1， l)作为(rX， rY)。阵列确定单元1308基于图9输出3作为阵列 值。这里省略了由坐标校正单元1309执行的单个运算。阵列选择单元1310 基于图11选择(X2, Y2)作为R的(X， Y),选择(XI, Yl )作为G的(X, Y)，并且选择(X3， Y3)作为B的(X, Y)。由于颜色ID是G(l)，选择 单元1311选择(X1， Y1)作为G的(X, Y)。根据图10A至图10E， (XI, Yl) = (rX, rY)，并且最后源的坐标(1, 1)直接地变为选择单元1311的 输出。成像器件110读取坐标(1， 1 )处的像素的像素值作为坐标(0， 0)处 的像素的像素值。
接下来，说明目标的坐标(x, y)是(1， 0)并且源的坐标(X, Y)是 (3， l)的情况。在这种情况下，颜色确定单元1303输出B(2)作为颜色ID。 倍率色像差校正坐标变换运算器1301通过输入坐标(1， 0)分别计算出RGB 的(X, Y),并且选择单元1304和1305输出B的(X, Y )。四舍五入单元 1306和1307四舍五入(X， Y)，并且输出(3， 1 )作为(rX, rY)。进而，
14假定四舍五入单元1306和1307输出dX-O, dY = + 0.2作为偏差dX， dY。 阵列确定单元1308基于图9输出3作为阵列值。这里省略了由坐标校正单元 1309执行的单个运算。阵列选择单元1310基于图11选择(X2, Y2)作为R 的(X， Y),选择(Xl， Yl )作为G的(X, Y),并且选择(X3, Y3 )作为 B的(X, Y)。由于颜色ID是B (2)，选择单元1311选择(X3, Y3 )作为B 的(X, Y)。根据图IOA至图IOE，关于(X3, Y3),在dYX)的情况下，X3 -rX,而Y3-rY+l;其它情况下，Y3 = rY-1。由于dY-十0.2, (X3， Y3) =(rX, rY+l)，最后选择单元1311的输出变为(3， 2)。成像器件110读取 坐标(3, 2)处的像素的像素值作为坐标(1, 0)处的像素的像素值。
根据图7所示的配置，当源的坐标的颜色与目标的坐标的颜色相同时，源 的坐标保持不变；当上述两者之间颜色不同时，可将源的坐标;陵正为与目标相 同颜色的并且最靠近源的坐标的坐标。结果，即使对具有拜耳阵列的RGB图 像数据直接地执行倍率色像差的校正，仍可以在坐标变换之前和之后保持拜耳 阵列不变。进而，由于从成像器件110直接地读取倍率色像差校正后的图像数 据，因此不再需要坐标变换存储器。
图12是根据第二示例的坐标变换单元130的整体配置图。当源的坐标处 的颜色与目标的坐标处的颜色相同时，第二示例采用与第一示例相同的应用。 然而，当颜色之间彼此不同时，选择靠近源的坐标的与目标的坐标相同颜色的 两个坐标，基于两个坐标中的每一个的像素值来内插对应于目标的坐标的像素 的像素值，并且将内插后的像素值指定为目标的坐标的像素值。
在图12中，由于倍率色像差校正坐标变换运算器1301、颜色确定单元 1303、选择单元1304和1305、四舍五入单元1306和1307、以及阵列确定单 元1308的处理与图7所示的这些单元都相同，因此省略了对于这些单元的说 明。
如同图7所示的坐标校正单元1309 —样，坐标4交正单元A1312和坐标校 正单元B 1315分别输入rX、 rY、 dx、以及dy,从而计算出对于拜耳阵列中的 相同颜色的阵列图案可获得的所有类型(图案1至图案5)校正后的源的坐标 值，即计算出所关注的需要被校正的源的坐标(dx, dy)的诸如左右、上下、 或是对角线等不同坐标的坐标值。同时，坐标校正单元B 1315还新计算出值d。如后面所说明的一样，当对于两个坐标的像素执行内插时，d被用作权重 系数。
图13A至图13E描绘了由坐标校正单元A1312执行的运算的内容。图13A 至图13E所示的图案1至图案5都与图IOA至图IOE所示的图案相同。在第 二示例中，坐标校正单元A1312接收rX, rY, dX, dY，根据图13A至图13E 所示的图案1至图案5下面所写的(a)至(e)执行运算，并且分别输出XI 和Y1、 X2和Y2、 X3和Y3、 X4和Y4、以及X5和Y5。在图案l中，源的 坐标(rX， rY)(中心坐标)被指定为(Xl， Yl )。在图案2中，源的坐标(rX， rY)的左坐标被指定为(X2， Y2)。在图案3中，在坐标(rX, rY)紧上方的 坐标被指定为(X3， Y3)。在图案4中，与图案2—样，坐标(rX， rY)的左 坐标被指定为(X4， Y4)。这里忽略了垂直方向。在图案5中，根据dY将坐 标(rX, rY)的左下方或左上方的坐标指定为(X5, Y5)。
图14A至图14E描绘了由坐标校正单元B 1315执行的运算的内容。坐标 校正单元B 1315接收rX、 rY、 dX、 dY,根据图14A至图14E所示的图案1 至图案5下面所写的(a)至(e)执行运算，并且分别输出X1和Y1、 X2和 Y2、 X3和Y3、 X4和Y4、以及X5和Y5。坐标校正单元B 1315还同时输出 值dl、 d2、 d3、 d4和d5。在图14A至图14E中，图案1与图13A中的图案1 相同。图案2至图案5与图13B至图13E中的图案2至图案5不同。即，在 图案2中，源的坐标(rX, rY)(中心坐标)的右坐标被指定为(X2, Y2), 并且还输出d2 = dx0.5。在图案3中，在坐标(rX, rY)紧下方的坐标被指定 为(X3， Y3)，并且还输出d3 = dY + 0.5。在图案4中，与图案2(忽略垂直 方向) 一样，坐标(rX, rY)的右坐标被指定为(X4, Y4 )，并且还输出d4 =dX + 0.5。在图案5中，根据dY将坐标(rX， rY)的右下方或右上方的坐 标指定为(X5， Y5),并且还输出d5 = dX + 0.5。如随后将会说明的一样，根 据dl至d5，在对两个坐标的像素执行内插时，执行根据小于或等于一个像素 的距离的加权操作。
如上所述，对于目标和源是相同颜色的情况应用图案1,并且对于目标和 源是不同颜色的情况应用图案2至图案5。可以对RGB中的任何颜色应用图 案l。对于源的颜色是R或B的情况可应用图案2、图案3和图案5，而对于源的颜色是G的情况可应用图案4。
阵列选择单元A1313接收从坐标校正单元A1312输出的XI、 Yl、 X2、 Y2、 X3、 Y3、 X4、 Y4、 X5、 Y5,并且基于由阵列确定单元1308获取的阵列 值来选择在对R、 G、 B中的每种颜色分别校正后的源的坐标值X， Y。选择 单元A 1314接收从阵列选择单元A 1313输出的R、 G、 B中的各种颜色的多 组X, Y,并且基于由颜色确定单元1303获取的颜色ID来选择相同颜色的一 组X， Y作为目标的X, Y,并且将这组X， Y发送到线緩沖器1320。阵列选 择单元A 1313和选择单元A 1314中的处理与图7所示的阵列选择单元1310 和选择单元1311相同。
阵列选择单元B 1316接收从坐标校正单元B 1315输出的XI、 Yl、 dl、 X2、 Y2、 d2、 X3、 Y3、 d3、 X4、 Y4、 d4、 X5、 Y5, d5，并且基于由阵列确 定单元1308获取的阵列值来选择对R、 G、 B中的每种颜色分别校正后的源的 坐标值X, Y以及权重系数d。选择单元B 1317接收从阵列选择单元B 1316 输出的R、 G、 B中的各种颜色的多组X， Y, d,并且基于由颜色确定单元1303 获取的颜色ID来选择相同颜色的一组X, Y， d作为目标的X， Y， d,并且 将这组X, Y发送到线緩冲器1320，将权重系数d发送到减法器1321和模拟 乘法器1323。阵列选择单元B 1316和选择单元B 1317中的处理与图7所示的 阵列选择单元1310和选择单元1311相同；然而，在新输出系数d这一点上是 不同的。
在本实施例中，成像器件110具有能够随机存取的2端口配置。基于从选 择单元A1314和B 1317输出的坐标值(X, Y),从成像器件110中读取两个 不同坐标(X， Y)的像素的像素值作为对应于坐标(x， y)的像素的像素值。 根据图9、图13和图14可以理解的是，两个不同坐标(X, Y)以及(x， y) 可以是相同的颜色。在相同颜色图案1的情况下，两个坐标(X, Y)变为同 一坐标(rX, rY)。
减法器1321从1减去和坐标(X， Y)—起从选择单元B 1317输出的值 d。模拟乘法器1322将基于来自选择单元A1314的坐标值(X， Y)从线緩冲 器1320读取的坐标(X, Y)处的像素的像素值乘以減法器1321的输出值。 另一方面，模拟乘法器1323将基于来自选择单元B 1317的坐标值(X， Y)从线緩冲器1320读取的坐标(X， Y)处的像素的像素值乘以和坐标值(X, Y) —起从选择单元B 1317输出的值d。加法器1324将来自模拟乘法器1322 和1323的输出值相加并且指定相加后的值作为坐标(x, y)处的像素的像素 值。即，将通过根据权重系数d加权操作靠近源的坐标(rX, rY)的两个坐标 (X，Y)的像素的像素值并且将这些像素值相加而获得的像素值从加法器1324 输出作为目标的坐标的像素值。由于坐标(X, Y)和坐标(x, y)都被保持 为同一颜色，因此拜耳阵列在坐标变换之前和之后都不会发生改变。
参考图6A和图6B来说明处理的特定示例。首先，说明目标的坐标(x， y)是(0， 0)并且源的坐标(rX， rY)是(1, 1)的情况。在这种情况下， 选择单元A1314输出(1， 1 )作为(X, Y)，选择单元B 1317也输出(1， 1 ) 作为(X, Y)并同时输出d = 0 (.省略了中间处理)。相应地，成像器件110 读取同一坐标(l， l)的像素的两个像素值。由.于d-O,减法器1321的输出 是1,因此模拟乘法器1322直接地输出坐标(1， 1 )处的像素的像素值。，减 法器1321的输出是0。最后，加法器1324输出坐标(1, l)处的像素的像素 值作为坐标(0， 0)处的像素的像素值。
接下来，将会说明目标的坐标(x, y)是(l, O)并且源的坐标(rX, rY) 是(3, 1)的情况。在这种情况下，选择单元A1314输出(3, O)作为(X, Y)(省略了中间处理)。选择单元B1317输出(3, 2)作为(X, Y),并且同 时输出d = 0.7 (d3 = dY + 0.5, dY = 0.2 )(省略了中间处理)。相应地，成像器 件110分别读取坐标(3, 0)处的像素的像素值A和坐标(3, 2)处的像素 的像素值B。由于d-0.7,减法器1321的输出是0.3,模拟乘法器1322的输 出是0.3 x A,并且才莫拟乘法器1323的输出是0.7 x B。加法器1324输出通过 相加模拟乘法器1322和1323的输出而得到的值。因此，加法器1324输出通 过根据权重系数d对两个坐标(X， Y)的像素的像素值进行加权操作并且将 这些像素值相加作为坐标(x， y)处的像素的像素值而得到的像素值。
根据图12所示的配置，成像器件110需要能够随机存取的2端口配置。 然而，当源的坐标的颜色与目标的坐标的颜色不同时，就对靠近源的坐标的与 目标的坐标的颜色相同的两个坐标的像素值内插对应于目标的坐标的像素值， 从而实现了提高目标的坐标处的图像质量。当然，在坐标变换之前和之后都保持拜耳阵列不变。
通过扩展图12所示的配置(例如，内插四个像素的像素值)，对靠近源的 坐标的与目标的坐标的颜色相同的大于等于三个坐标的像素值内插对应于目 标的坐标的像素的像素值。在这种情况下，可以进一步提高目标处的像素的图 像质量。
第三示例基本上与第二示例相同，然而，当源的坐标的颜色与目标的坐标 的颜色不同时，作为靠近源的坐标的与目标的坐标颜色相同的两个坐标，这些 坐标都纟皮统一为与成l象器件110的读取方向相同的方向(X)上的两个坐标。
倍率色像差校正单元130的整体配置与图12所示的相同，因此省略了对其的 说明。坐标校正单元A1312和坐标校正单元B 1315的运算内容都与第二示例 中的坐标校正单元的运算内容部分不同。
图15A至图15E描绘了坐标校正单元A1312的运算内容，而图16A至图 16E描绘了坐标校正单元B 1315的运算内容。在图15A至图15E中，仅是图 案3与图13和图14不同。即，对于图案l、图案2、图案4和图案5，在图 13和图14中都选择了与成像器件110的读取方向相同的方向(x)上该组的 两个坐标(图案l中的相同坐标)。对于图案3，在图13和图14中，选择了y 方向上的该组的两个坐标。另一方面，在第三示例中，如图15和图16所示，
权重系数d3被设定为0。相应地，与图案1相同的方式执行内插。因此，可 以对图案1至图案5中任何一种情况都选择与成像器件IIO的读取方向相同的 方向(x)上的该组两个坐标。
当成像器件110的读取方向是y方向时，可通过改变坐标校正单元A1312 和坐标校正单元B 1315的运算内容来选择y方向上的该组的两个坐标。
根据第三示例，可以容易地执行成像器件中的突发读取(burst read),并 且减少随机访问。因此，可以使用低成本及低速的CMOS等。
在图2中，倍率色像差校正单元130可同时校正倍率色像差和失真。相应 地，可以省略失真校正单元170，并且不需要用于校正失真的坐标变换存储器。 同时校正倍率色像差和失真的配置与图7和图12所示的配置基本上相同，并 且可将倍率色像差校正坐标变换运算器1301改变成用来校正倍率色像差和失真的坐标变换运算器。在这种运算器中，输入目标的坐标值(x, y)，根据坐 标变换的预定公式计算出通过对倍率色像差增加失真而得到的坐标值，并且将 该坐标值输出为对应于RGB的源的坐标值X, Y。随后的处理与第一、第二 和第三示例中说明的基本上相同。
根据本发明的一个方面，不需要用于坐标变换的帧存储器或线緩冲器，可 以直接地从成像器件读取坐标变换后的颜色阵列的图像数据。
进而，根据本发明的另一方面，成像器件可以和坐标变换单元一起构造到 一个芯片当中，从而实现了微型化和成本上的降低。
进而，根据本发明的另一方面，在坐标变换之前和之后可以保持图像数据 的颜色阵列不变。
进而，根据本发明的另一方面，在坐标变换之前和之后可以保持图像数据 的颜色阵列不变，并且提高坐标变换目标处的像素质量。
进而，根据本发明的另一方面，在采用了包含颜色阵列的彩色滤波器的成 像器件的成像装置中，可以从成像器件直接地读取在预定颜色阵列的状态下执 行诸如倍率色像差的校正或失真的校正等坐标变换的图像数据，而无需为坐标 变换单独地设置帧存储器或线緩冲器，从而实现了降低整个装置的成本。
尽管已经参考特定实施例清楚地并且完整地说明了本发明，但是所附的权 利要求并非局限于此，而是包括落入这里给出的基本教示范围内的、本领域技 术人员可以想到的所有4务改和可选构造。
权利要求
1.一种成像装置，包括成像器件(110)，包括具有预定的颜色阵列的彩色滤波器，所述成像器件(110)将通过光学系统(10)获得的光学图像转换成电信号的图像数据；和坐标变换单元(130)，根据对应于第一坐标值的颜色阵列的颜色，执行以颜色阵列的状态将所述成像器件(110)的第一坐标值转换成第二坐标值的坐标转换，其中，通过将第一坐标值作为坐标变换目标并且将第二坐标值作为坐标变换源，所述成像器件(110)读取所述第二坐标值处的像素的像素值作为所述第一坐标值处的像素的像素值。
2. 根据权利要求1所述的成像装置，其中， 所述成像器件(110)包括随机存取配置。
3. 根据权利要求1或2所述的成像装置，其中， 所述坐标变换单元(130)内置于所述成像器件(110)当中。
4. 根据权利要求1或2所述的成像装置，其中，所述坐标变换单元(130)执行坐标变换以校正图像数据的倍率色像差和 失真的至少其中之一。
5. 根据权利要求1或2所述的成像装置，其中，坐标变化单元(130)执行坐标变换从而成像器件(110)读取颜色阵列的 图像数据中的每个像素，其中所述坐标变换为时，将坐标变换源处的像素的像素值设定为坐标变换目标处的像素的像素值，时，将最靠近坐标变换源的、与坐标变换目标具有相同颜色的坐标值处的像素 的像素值设定为坐标变换目标处的像素的像素值。
6. 根据权利要求1或2所述的成像装置，其中，所述坐标变换单元(130)执行坐标变换，从而当坐标变换源的颜色阵列 的颜色与坐标变换目标的颜色阵列的颜色相同时，成像器件(110)读取坐标变换源处的像素的像素值为坐标变换目标处的像素的像素值，并且当坐标变换 源的颜色阵列的颜色与坐标变换目标的颜色阵列的颜色不同时，成像器件(110)读取靠近坐标变换源的、与坐标变换目标具有相同颜色的多个坐标值处的像素的像素值作为坐标变换目标处的像素的像素值，并且所述成像装置进一步包括校正单元，用来在靠近坐标变换源的、与坐标变 换目标具有相同颜色的坐标处的像素的像素值当中补偿对应于所述坐标变换 目标处的像素的像素值，并且将获取的像素值设置为坐标变换目标处的像素的 像素值。
7. 根据权利要求6所述的成像装置，其中，靠近坐标变换源的、与坐标变换目标具有相同颜色的多个坐标的个数是两个。
8. 根据权利要求7所述的成像装置，其中，所述靠近坐标变换源的、与坐标变换目标具有相同颜色的两个坐标是在与 所述成像器件(110)的读取方向相同的方向上的坐标。
9. 根据权利要求1、 2、 7和8中任一项所述的成像装置，进一步包括补 偿单元(150),用来对颜色阵列的坐标变换后的图像数据补偿由于所述颜色阵 列所引起的缺陷像素。
10. 根据权利要求9所述的成像装置，进一步包括失真校正单元(170), 用来在所述补偿单元(150)的后续阶段，校正通过补偿由于倍率色像差校正 后的图像数据中的颜色阵列所引起的缺陷像素而获得的图像数据的失真。
全文摘要
一种成像装置。成像装置包括成像器件(110)，成像器件(110)包括具有预定的颜色阵列的彩色滤波器，并且将通过光学系统(10)获得的光学图像转换成电信号的图像数据。坐标变换单元(130)，根据对应于第一坐标值的彩色滤波器的颜色，以颜色阵列的状态将成像器件(110)的第一坐标值转换成第二坐标值。通过将第一坐标值作为坐标变换目标并且将第二坐标值作为坐标变换源，成像器件(110)读取第二坐标值处的像素的像素值作为第一坐标值处的像素的像素值。
文档编号H04N9/07GK101621623SQ20091014987
公开日2010年1月6日 申请日期2009年7月2日 优先权日2008年7月4日
发明者笠原亮介 申请人:株式会社理光