图像处理方法、图像处理装置、以及成像装置的制作方法

专利名称：图像处理方法、图像处理装置、以及成像装置的制作方法
技术领域：
本发明涉及一种用于处理由具有广角及较大失真的光学系统所捕捉的图 像的技术。
背景技术：
最近，在例如机动车后方监视器等的应用中，广角成像装置的需求不断增 力口 。然而，随着角度变宽，4咅率色i"象差(chromatic aberration of magnification ) 和失真也变大了，从而难于设计出一种具有较小色差的光学系统。因此，需要 提高图像处理的性能。
如公开号为2006-345054的日本专利申请所述在采用了具有倍率色像差 和失真的光学系统的成像装置中，用于校正失真的现有技术包括同时校正倍率 色像差和失真的方法，其对与R信号、G信号、B信号对应的每个色彩成分红
(R)、绿(G)、蓝(B)分别执行坐标变换，所述信号是由电荷耦合设备(CCD) 或者互补金属氧化物半导体(CMOS)传感器等成像设备在后续阶段获取的。 还已知一种仅;欧正失真的方法，通过为RGB的各个色彩成分共同执行坐标变 换来校正，而忽略倍率色像差。此外，如在SEI Technical Review的第162册
(2003年3月)中90-93页的，由Hatanaka等撰写的"Development ofln-Vehicle Image Processing Equipment ，， 中
(http:〃www.sei.co.ip/tr/pdf/automotve/seil0357.pdf )，通常采用复杂的多项式等 作为坐标变换的公式。
对，TOB,,个言彩成分百^TO象差X稀的「TOGF的好—IT彩威 分的失真是相同的。此外，失真远大于倍率色像差。因此，期望分别地校正倍
3率色像差和失真。
然而，在失真矫正中，惯用地在x和y方向执行坐标变化，并通常采用复 杂的多项式等作为坐标变换的公式。因此，增加了电路的尺寸，局限了成本降 低。尤其是，为了将由鱼眼(fisheye)光学系统所获取的具有较大失真的鱼眼 图像校正为适于人眼观察的图像，需要复杂的多项式，因此引起电路尺寸的增 加。鱼眼光学系统指的是不执行普通透镜中的投影方法y=ftane，而执行如下 列投影方法的光学系统立体投影y=2ftan(0/2)、等距投影y=fB、等立体角投 影(equisolidangle) y=2fsin(0/2)、以及直角投影y=fsin0;其中y是图像高度，
f是焦距，e是半视角。
本发明的目的在于至少部分解决现有技术中存在的问题。 根据本发明的一方面，提供了一种处理具有失真的图像数据的方法，该方 法包括通过基于
对图像数据执行坐标变换从而校正失真。其中，x和y表示以屏幕中心为原点 时变换目标的坐标；X和Y表示以屏幕中心为原点时变换源的坐标；a和b是 坐标变换系数。
此外，根据本发明的另一方面，提供了一种用于处理具有失真的图像数据 的装置，该装置包括失真校正单元，其基于
对图像数据进行坐标变换从而校正失真。其中，x和y表示以屏幕中心为原点 时变换目标的坐标；X和Y表示以屏幕中心为原点时变换源的坐标；a和b是 坐标变换系数。
另外，根据本发明的再一方面，提供了包括成像设备的一种成像装置，所 述成像设备采用具有较大失真的光学系统捕捉图像，并输出具有失真的图像数 -设絲絲錢顿像it^置-。---结合附图阅读下文具体说明的本发明优选实施例，将会更好地理解本发明

发明内容
义=x + (a + );c
卩=少
义=X + (<3 + )X的上述和其他目标、特征、有点以及技术和工业上的有效性。


图1示出了根据本发明实施例的成像装置的框图2A示出了用于G信号的Bayer彩色滤波器阵列的示意图2B示出了用于R信号的Bayer彩色滤波器阵列的示意图2C示出了用于B信号的Bayer彩色滤波器阵列的示意图3示出了根据实施例的MTF校正单元的框图4示出了 FIR滤波器示例的示意图5示出了用于说明倍率色像差和失真的图例；
图6示出了用于说明倍率色像差和失真的通常校正方法的图例；
图7A和7B的图例用于说明根据本发明进行倍率色像差和失真校正的方
法；
图8示出了根据实施例的倍率色像差校正单元的结构图； 图9A到9C示出了倍率色像差校正坐标变换计算器的示例； 图IO示出了根据实施例的失真校正单元的结构图。
具体实施例方式
下面参考附图详细说明本申请的示例实施例。实施例说明了 一种成像装 置，其采用具有较大倍率色像差和失真的广角光学系统以捕捉物体，以及具有 用于校正倍率色像差和失真的配置的图像处理系统。然而，本发明的主要特征 是失真的校正，并且图像需要由至少具有广角和较大失真的光学系统捕捉。图 像的色彩成分是加法三原色的红(R)、绿(G)、蓝(B),然而也可以是减法 三原色的黄(Y)、红紫(M)、蓝绿(C)。
图1是根据本发明实施例的成像装置中的图像处理系统的功能框图。除 了图l所示的组件，根据实施例的成像装置包括未在图1中显示的操作单元、 图像存储单元、以及图像显示单元。所述图像装置可以被用作车载相机，但是 本发明并不限于这种应用。
如图1所示，控制单元100为各个单元提供所需的控制信号(时钟、水平
-戯1W计等-h-f械會浙似t^fr封錄元^T齡。--
成像设备110包括，例如将光学图像转换为电信号(像素数据)的CCD
5或者CMOS传感器，所述光学图像是由例如具有广角、较大倍率色像差及失 真的鱼眼光学系统的光学系统所获取的。在成像设备110中提供了 Bayer彩色 滤波器阵列，并且基于来自控制单元100的坐标数据(x、 y)将Bayer阵列 RGB像素数据连续地输出。所述控制单元100将给予成像设备110的坐标数 据(x、 y)继续给予偏移(shift)预定时间后的后续步骤。所述坐标数据(x、 y)可以在图像设备110中生成，并继续给予后面的步骤。
模数(A/D)转换器120将Bayer阵列RGB像素数据转换为数字信号， 并将该数字信号输出到Bayer补偿单元130,所述Bayer阵列RGB像素数据是 输出自成像设备110的模拟信号。在本实施例中，假设对于RGB的每个，数 字信号包括8比特。通常，在A/D转换器120的前一个步骤提供AGC电路； 但是在这里省略了。
Bayer补偿单元130接收被转换为数字信号的Bayer阵列RGB像素数据， 通过线性内插生成全部坐标位置的图像数据，并且将像素数据输出到倍率色像 差校正单元140。
图2A-2C示出了 Bayer色彩滤镜阵列的示意性图例，其中G。、 i 2、 i 4、 i 6、 A和/ 。是由等式(1)到(6)获得的。
G。=(G2+G4+G6+G8)/4 (1)
/ 2 +i 3)/2 (2)
及4 =(i 3+i 5)/2 (3)
及6 =(i 5+i 7)/2 (4)
及8 =(/^+i 7)/2 (5)
i 。
+i 3+J 5+i 7)/4 (6)
52、化、56、 58及5。与及2、 i 4、 i 6、 A及i 。的情况相同。
尽管实施例涉及使用Bayer彩色滤波器阵列(color filter array )的成像设
滤波器阵列获得所述效果。特别是，相对于如RGB的三色彩类型，具有四种 色彩的彩色滤波器阵列的成像设备需要低延迟存储器或者4端口 RAM,并可 -IWf寻对更盲的效果:
倍率色像差校正单元140接收经Bayer补偿后的RGB数据，根据预定的等式对RGB的色彩成分分别执行坐标变换(倍率色像差坐标变换)，并将经倍 率色像差校正后的RGB像素数据输出。下面会结合失真校正单元160 —起说 明倍率色像差校正单元140。但是，低容量及低延迟存储器或者具有多个端口 的低容量存储器(如SRAM)可以用于校正倍率色像差的坐标变换。
调制传递函数(MTF， modulation-transfer-ftmction)校正单元150接收经 倍率色像差校正后的RGB像素数据，采用FIR文件执行MTF校正，并将经 MTF校正后的RGB像素数据输出。
图3示出了 MTF校正单元150的框图。转换单元152基于等式(7)至(9) 将RGB图像数据转换为YCbCr图像数据。
r = 0.299" 0.587G +0.1145 (7)
O = 0.500i — 0.419G —0.0815 (8)
C6 = -0.169i _0.332G +0.5005 (9)
FIR滤波器(5x5滤波器)154仅接收YCbCr的亮度信号Y，并执行预 定的MTF校正。通过仅对Y信号进行滤波(执行MTF校正)可以获得色彩 信号杂波的放大被抑制后的高质量图像。图4示出了 FIR滤波器的示例的框图。 由于Y信号被滤波，需要在倍率色像差校正后执行MTF校正。如下所述，在 失真校正后执行MTF校正时，失真校正的坐标变换中的变换距离较大，易于 发生算法错误。因此较佳的是如本实施例中的，在倍率色像差校正之后的阶段， 并在失真校正之前的阶段行MTF校正，从而避免错误被MTF校正放大，对
图像质量产生不良影响。
逆转换单元156接收CbCr信号和经MTF校正后的Y信号，并基于等式 (10 )至(12 )将经逆转换后的RGB图像输出。
/ = 7 + 1.4020 (10)
G = y-0.714O-0.344C6 (11)
5 = y + 1.772C6 (12)
失真校正单元160接收经倍率色像差校正和MTF校正后的RGB像素数 据，通常根据预定等式对RGB的各个色彩成分执行坐标变换(失真坐标变换)， 并将经失真校正后的RGB像素数据输出。在本发明中，可将小尺寸电路用于 失真校正单元160中的坐标变换，并且可以将最多用于一行(one line)的緩冲存储器作为存储器。如上所述，将具体说明失真校正单元160。
伽马校正单元170接收输出自失真校正单元160的RGB像素数据，采用 RGB的各个查找表等执行预定的伽马校正，并将经伽马校正后的RGB像素数 据输出。
上面说明了如图1所示的本实施例的总体运行。下面详细说明作为本实施 例中的主要部件的倍率色像差校正单元140和失真校正单元160。
首先说明倍率色像差校正和失真校正的原理。如图5所示，当采用具有倍 率色像差和失真的光学系统执行成像时，位于屏幕右上方由l表示的位置(像 素)的像素数据由于失真偏离了原来的位置，并由于倍率色像差而发生RGB 的色彩成分的不同偏离。因此，实际由成像设备捕捉的像素数据的位置变成了 位置2 (R)、 3 (G)和4 (B)。通过将在2 (R)、 3 (G)和4 (B)位置(像 素)的各个RGB色彩成分的像素数据复制到作为原始位置(像素)的位置1， 换句话说，通过坐标变换，执行对倍率色像差和失真的校正。位置2、 3、 4 是源坐标，位置l是目标坐标。
由于根据光学系统的统计数据可以得到倍率色像差的大小和失真的大小， 可以计算出RGB的各个色彩成分相对于原始位置偏离到了什么位置。
图6示出了校正倍率色像差和失真的通常方法。即，通常将位于位置(像 素)2 (R)、 3 (G)、 4 (B)的RGB的各个色彩成分的像素数据复制到是原 始位置的位置(像素)1。即，通过坐标变换同时矫正了倍率色像差和失真。 然而，根据该方法，需要具有用于RGB的每个色彩成分的大容量和低延迟的 存储器或者多端口存储器。例如，在图6的情况下，需要具有6行的高速存储 器对RGB的每个色彩进行坐标变换。
图7A和7B示出了分别进行倍率色像差校正和失真校正的方法。每个色 彩成分的倍率色像差不同；然而偏离很小。另一方面，尽管失真的偏离较大， 但对于每个色彩成分是相同的。关注于这一点，通过对RGB的各个色彩成分 的像素数据分别执行坐标变换来校正倍率色像差(将RB的色彩成分坐标变换， 并将色彩成分复制到G成分的位置)，其后，将经过倍率色像差校正后的RGB 像素数据共同地进行坐标变换从而校正失真。相应地，可以将用于坐标变换的 存储器划分为倍率色像差校正所需的小容量、高速(低延迟或者多端口)适用
8于RGB的存储器，以及失真校正所需的通用于RGB的大容量和低速(高延 迟或者单端口 )存储器，从而整体降低消耗。本发明在于通过简化特别用于倍 率色像差校正的坐标变换等式，并釆用简单、小型的电路扭i行倍率色像差校正， 从而进一步实现总体消耗降低。
在图7A中，对在位置(像素)2 (R)、 4 (B)的RB的色彩成分的像素 数据执行坐标变换，将数据复制到G成分的位置(像素)3 (G)。通过这一操 作将倍率色像差校正。在图7B中，对经过倍率色像差校正后的、在位置(像 素)3的RGB的色彩成分的像素数据共同地执行坐标变换，将数据复制到作 为原始位置的位置(像素)1。通过这一操作校正失真。
在图7A和7B所示的示例中，适用于RGB的3行存储器作为用于倍率色 像差校正的高速存储器是足够的。失真校正则单独需要5行存储器；然而，通 常可以将低速存储器用于RGB,并且与图6的情况相比可以整体上实现消耗 的降低。通过采用简单和小型的电路执行对倍率色像差和失真的校正，可以进 一步从整体上实现消耗降低。
如后文要说明的，在本发明中，将特别用于失真校正的坐标变换公式筒化， 从而采用简单、小型的电路校正失真；仅在x方向上执行坐标变换，并且最多 仅需要具有l行的存储器，从而从整体上实现最大限度地消耗降低。在本实施 例中，同样将用于倍率色像差校正的坐标变换公式进行简化，从而通过最小的 电路尺寸对倍率色像差进行校正。然而，倍率色像差校正不限于此(根据不同 情况可以省略)。
所述失真涉及经过特定投影方法的透镜的失真，例如，所述特定的投影方 法包括获取从照相机上方向下看的图像的投影方法，或者特定部分被放大并 显示的投影方法。
图8示出了根据本实施例的倍率色像差校正单元140的结构图。在本发明 中采用下列等式作为用于倍率色像差校正的坐标变换的公式(倍率色像差校正 公式)
其中x和y表示在屏幕中心被指定为原点时的目标坐标(原始坐标)，X、
9Y表示源坐标，而a和b是坐标变换系数。通过Ax二ax和Ay-by表示在x和 y方向的像素位移量Ax和Ay (校正量)。可以确定的是即使将倍率色像差公 式筒化为等式(13 )来代替复杂的多项式等，同样可以获得与使用多项式等时 所达到的相同的校正效果。特别是，在具有较大倍率色像差的鱼眼光学系统的 情况下，由于运算准确性的问题，要求高位数的比特，并且要求大型电路。然 而，根据本方法，由于仅需要对x轴和y轴中的每一个进行一次乘法，能够产 生大幅降低电路尺寸的效果。特别是，由于这里使用的模拟乘法器仅需执行"常 量x变量"的乘法，因此可以使用小型模拟乘法器，而无需采用在"近期流行 的像机标定方法"中所揭示的方法需要的、用于计算平方数的"变量x变量" 大型模拟乘法器。
在图8中，附图标记142表示用于倍率色像差校正的坐标变换存储器(行 緩冲器)，142 (R)、 142 (G)、 142 (B)则分别对应于RGB的色彩成分。附 图标记144表示倍率色像差校正坐标变换计算器，其根据等式(13 )的坐标变 换的公式，为将每个RGB的倍率色像差进行校正，计算变换坐标；146表示 坐标变换系数表，其保存用于坐标变换的公式中的系数a或b。
对于倍率色像差校正，需要用于RGB的小容量、三端口存储器，或者低 延迟存储器作为行緩冲器。这里假设坐标变换存储器142 (R)、 142 (G)、 142 (B)分别包括用于20行的SRAM，假设在y方向上的倍率色像差的最大偏 离量是20行。在x方向上的偏离量大小由解析度确定。例如，在解析度VGA (640x480)的情况下，在x方向上的尺寸是640点。色深是RGB8比特，并 且以8比特为单位执行坐标变换存储器142 (R)、 142 (G)、 142(B)的读写。 因此，由于用于倍率色像差校正的坐标变换存储器(行緩冲器)142 (R)、 142 (G)、 142 (B)具有较小容量，希望通过采用在成像装置的图像处理芯片 中准备的3端口 SRAM来分别保证20行的存储区域。在如SRAM的低延迟 存储器的情况下，可以通过时间共享采用一端口存储器作为三端口存储器。
根据坐标数据(x, y)，从最高行开始顺序地将具有倍率色^f象差和失真的 被捕捉的图像的各个RGB像素数据分别写入坐标变换存储器142 (R)、 142 (G)、 142(B)中。当20行的像素数据被各个写入后，从最高行开始顺序地 将像素数据丟弃，并重新写入后面的行的像素数据。在坐标变换存储器142说明书第9/12页
(R)、 142 (G)和142 (B)中，倍率色像差校正的坐标变换所分别需要的直 到20行的RGB像素数据，被顺序存储。
坐标数据(x、 y)表示对于一帧的被获取图像的读取位置。另一方面，由 于坐标变换存储器142 (R)、 142 (G)和142 (B)是20行的行存储器，并且 写入行被循环地改变，坐标数据(x， y)无法直接被用作坐标变换存储器142
(R)、 142 (G)和142 (B)的写入地址。相应地，需要将坐标数据(x， y) 的值改变为坐标变换存储器142 (R)、 142 (G)和142 (B)的实际地址；但 是，在图8中省略了变换的配置。同样的情况应用于经过稍后说明的读取操作 的变换之后的坐标数据(x， y)与坐标变换存储器142 (R)、 142 (G)和142
(B)的读取坐标之间的关系。
倍率色像差校正坐标变换计算器144，根据坐标变换的等式(13 )的公式， 指定目标的坐标数据(x， y)作为输入，为将每个RGB的倍率色像差进行校 正而计算变换坐标，并将作为每个RGB的源坐标的坐标数据(X, Y)输出。 如图7A所示，在本实施方式中，将RB的色彩成分坐标变换并复制到G成分 的位置。因此，倍率色像差校正坐标变换计算器144输出被输入的坐标数据(X， Y)直接作为G成分的坐标数据(X， Y)，并且采用等式(13)的坐标变换公 式将分别输入的坐标数据(X, Y)变换为RB成分的坐标数据(X， Y)，并 将坐标数据(X， Y)输出。为每个坐标数据(x， y)重复这一操作。
坐标变换存储器142 (R)、 142 (G)和142 (B),基于输出自倍率色像差 校正坐标变换计算器144的坐标数据'(X， Y)(实际上，基于通过将坐标数据
(X, Y)的地址进行变换所获得的数值)，与之前的写入操作并行地(实际上， 延迟预定时间)顺序读取各个RGB像素数据。在写入的时候，从坐标变换存 储器142 (G)中读出与(X, Y)位于相同位置的G成分。另一方面，在写 入的时候，将从坐标(X, Y)偏离预定位置(Ax, Ay)的RB成分像素数 据，即，将偏离倍率色像差部分的像素数据从坐标变换存储器142 (G)和142
(B)中读出。
通过执行上述操作，将经过倍率色像差校正的RGB像素数据分别从坐标 变换存储器142(R)、 142 (G)和142 (B)中输出。
图9A至9C是倍率色像差校正坐标变换计算器144的三个特殊示例。在
ii图9A的示例中，不为色彩成分G执行坐标变换，并直接将输入的坐标数据(x， y)作为G的坐标数据(X， Y)输出；而分别通过采用等式(13)的坐标变 换计算器1441和1442,仅对输入的R和B色彩成分的坐标数据(x， y )执行 坐标变换；并将R的坐标数据(X， Y)和B的坐标数据(X, Y)输出。由 于等式(13)具有简单的结构，可以降低坐标变换计算器的电路大小；进一步 地，由于坐标变换仅需要为R和B色彩成分执行坐标变换，因此进一步地减 小了电5各的尺寸。
图9B和9C关注于倍率色像差通常由于R和B色彩成分以对于G色彩成 分充分对称地方式位移而发生的事实(见图5)。在图9B的示例中，坐标变换 计算器1443为坐标数据获取校正量(Ax和Ay),并且把使用减法器1444将 校正量从坐标数据(x， y)减去所获得的数值指定为B色彩分量的坐标数据 (X， Y);反之，把使用加法器1445将校正量加入坐标数据(x, y)所获得 的数据指定为R色彩分量的坐标数据(X, Y)。如图9A所示，为G的坐标数 据(X, Y)将坐标数据(x， y)直接输出。
在图9C的示例中，考虑到在对称位置的位移，通过增益电路1446将R 的校正量进行调整。可以在分量B—端提供增益电路。根据图9B和9C所示 的示例，可以仅有一个坐标变换计算器，从而可以进一步减小电路大小。
代替图9A中的坐标变换计算器1441和1442，可以准备用于存储输入坐 标数据(x， y)和输出坐标数据(X， Y)之间对应关系的查询表(LUT)，从 而可以通过使用LUT直接获得对于目标坐标数据(x， y)的源坐标数据(X， Y)。同样地，代替图9B和9C中的坐标变换计算器1443，可以准备用于存储 输入坐标数据(x, y)和调整量之间对应关系的查询表(LUT)，从而可以通 过使用LUT直接获得对应于调整量的坐标数据(x, y)。相应地，可以省略对 于坐标变换的计算，并可以仅通过存储器芯片基本实现倍率色像差校正。
图IO示出了失真校正单元160的结构图。根据实施例，以下等式被用作 失真校正的坐标变换的公式(失真校正公式)。
其中x和y表示当将屏幕中心指定为原点时的目标坐标(原始坐标)；X、Y表示源坐标；a和b表示坐标变换系数。在x方向上的像素偏离量Ax (校 正量)由AZ-(a + 6/)x表示。可以通过仅根据如等式(14)的简单变换公式在 x方向上进行坐标变换，而不采用三角函数或者高次多项式，将具有较大失真 的图像校正为易于人眼观察的图像，所述变换公式。特别是，对于采用鱼眼光 学系统所获取的具有较大失真的鱼眼图像，其通常需要大型电路，而在本发明 中可以采用小型电路将其校正为易于人眼观察的图像。此外，由于仅在x方向 上进行像素位移，用于存储过去图像数据的存储器至多需要1行用于失真校 正，因此所需的存储器大小可以大幅降低。当然，具有较大存储容量是没有问 题的。
此外，通过用jc'和/代替等式(14)中的x和y，可以仅将左右部分从鱼 眼图像中切除，并在放大区域内显示。
;c'= A + (xy/ze-"/xy/z￡*;c (当x>0);和 y'=-& + (xs/ze —A;)/xs7'ze*;c (当 x^0)，
其中xsize是在图像的水平方向除以2后的像素数目，k是放大 (magnification)系It ( 0sk《xsize)。当k变大时，左和右部分的方丈大比例增 加。
通过采用这种左右部分的放大显示方法，例如来自安装在汽车前方的相机 中的图像，可以在丁字i 各口或者十字路口形成易于确定左部和右部的图像。用 户可以通过开关选择是否采用左右部被放大显示的方法，并且可以在如汽车速 度低于特定速度时或者在反向位置发生位移变换时进行转换。
在图10中，附图标记161表示RGB合成单元，其将RGB的三个像素数 据合成为一个像素数据；162表示坐标变换存储器，其校正对于RGB像素数 据常见的失真；163表示RGB分离单元，其将RGB像素数据分离成原始的色 彩成分；164表示失真校正坐标变换计算器，其根据等式(14)的坐标变换的 公式，对于经过合成的RGB像素数据为失真校正计算变换坐标；165表示坐 标转换系数表，其保存用于坐标变换公式中的系数a和b。
所述RGB合成单元161顺序接收各个经倍率色像差校正后的RGB像素 数据(分别为8比特)，将这些数据合称为一个像素数据(24比特)，并输出 合成后的像素数据。根据各个坐标数据(x， y)从最高行开始将合成后的RGB
13像素数据顺序写入坐标变换存储器162中。
另一方面，失真校正坐标变换计算器164,指定坐标数据(x， y)为输入, 根据等式(14)的坐标变换的公式，为校正RGB通常发生的失真计算坐标变 换，并输出变换后的坐标数据(X， Y)。特别是，失真校正坐标变换计算器 164根据等式(14)在x方向计算变换坐标，并输出数据变换后的坐标(X， Y)，而保持y方向的状态。用于等式(14)计算的坐标变换系数预先存储于 坐标变换系数表165中。由于等式(14)是用于失真校正的坐标变换的公式， 可以减小失真校正坐标变换计算器164的电路大小。
坐标变换存储器162基于输出自失真校正坐标变换计算器164的坐标数据 (X, Y)，与经过之前RGB合成后的像素数据的写入操作并行地(实际上， 延迟预定时间)顺序读取各个RGB像素数据。RGB分离单元163为RGB的 各个色彩成分,将从坐标变换存储器162读取的经RGB合成后的像素数据(24 比特)分离成像素数据(8比特)。釆用等式(14),仅在x方向上进行像素位 移。因此，坐标变换存储器162最多仅需要一行，从而极大地降低对于存储器 大小的需求。
根据上述处理，RGB分离单元163输出各个倍率色像差和失真已被校正 过的RGB像素数据。即，各个RGB像素数据被复制到原始位置(x, y)。
同样，在失真校正中，可以准备用于存储输入坐标数据(x， y)与输出坐 标数据(X， Y)的对应关系的查询表(LUT)，由此可以通过LUT直接获取 对于坐标数据(x, y)的变换后的坐标数据(X， Y)。相应地，可以省略坐标 变换，并仅通过存储芯片基本实现失真校正。
可以确定的是，通过根据等式(14)仅在x方向执行坐标变换，可以将具 有较大失真的鱼眼图像校正为易于人眼观察的图像。根据本发明的图像处理方 法和图像处理装置，在不会降低失真校正的性能的情况下可以采用最小的电路 大小。此外，根据本发明的成像装置，进一步的消耗降低变为可能。另外，通 过在等式(14)中将x和y替换为x'和/，可以仅将左右部分从鱼眼图像中切 除并在放大范围内显示。
尽管已经结合特定实施例对本发明进行了完整清楚的描述，但是上述描述 并不构成对所附权利要求的限制，而是用于解释落入前述基本教示中的本领域 技术人员可能遇到的所有变形和可选构造。
权利要求
1. 一种处理具有失真的图像数据的方法，该方法包括通过基于对图像数据执行坐标变换，从而校正失真，其中，x和y表示以屏幕中心为原点时变换目标的坐标；X和Y表示以屏幕中心为原点时变换源的坐标；a和b是坐标变换系数。
2. 根据权利要求1所述的方法，其中以x'-yt + 0/ze-yt)/xs/z一x (当x>0) 和7'=-* + (1^^-^:)/;^/^!^ (当x《0)分另'J替换x和y，其中xsize是图寸象中水 平方向上一半的像素数目，k是放大系数(0sk^xsize)。
3. —种用于处理具有失真的图像数据的装置，该装置包括 失真校正单元(160),该失真校正单元基于对图像数据进行坐标变换，从而校正失真，其中，x和y表示以屏幕中心 为原点时变换目标的坐标；X和Y表示以屏幕中心为原点时变换源的坐标；a 和b是坐标变换系数。
4. 根据权利要求3所述的装置，其中以x'= yt + (xs/ze - A:)/* ;c (当x > 0 ) 和/=—A: + (xy/ze —(当x^O )分另'J替换x和y,其中xsize是图像中水 平方向上一半的像素数目，k是放大系数(Osksxsize)。
5. —种成像装置，包括成像设备，采用具有较大失真的光学系统捕捉图像，并且输出具有失真的 图像数据；以及根据权利要求3或4所述的处理图像的装置。
6. 根据权利要求5所述的成像装置，其中所述光学系统是鱼眼光学系统。
全文摘要
提供了一种图像处理方法、图像处理装置、以及成像装置。通过基于X=x+(a+by²)x Y=y对图像数据进行坐标变换从而校正图像数据中的失真。其中，x和y表示以屏幕中心为原点时变换目标的坐标；X和Y表示以屏幕中心为原点时变换源的坐标；a和b是坐标变换系数。
文档编号H04N9/07GK101500077SQ20091000596
公开日2009年8月5日 申请日期2009年1月22日 优先权日2008年1月28日
发明者笠原亮介 申请人:株式会社理光