摄像装置制造方法

摄像装置制造方法
【专利摘要】本发明提供具有电路规模小而不产生析像度的劣化的透镜畸变修正功能的摄像装置。提供的该具有透镜畸变修正功能的摄像装置包括：同色插补部，使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正后的插补信号；亮度信号生成部，从来自该摄像元件的图像信号生成亮度信号；第一亮度生成部和第二亮度生成部，使用由该亮度信号生成部生成的亮度信号，生成透镜的畸变修正后的插补信号；透镜畸变特性表数据部，将透镜畸变特性修正后的坐标的信息保存在存储器中；坐标/插补系数设定部，根据来自该透镜畸变特性表数据部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地生成用于修正透镜畸变的插补系数；和修正部，通过根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而输出透镜畸变修正后的插补信号。
【专利说明】摄像装置

【技术领域】
[0001] 本发明涉及摄像装置。

【背景技术】
[0002] 作为本【技术领域】的【背景技术】有专利文献1。在其公报中记载有"本发明的视频信 号处理电路是在对由影像传感器输入的视频信号进行的图像处理中由于光学畸变像差而 发生图像畸变的视频信号处理电路，包括对YC处理前的RAW图像数据进行畸变修正处理的 畸变修正处理电路。根据该结构，对被转换为YC图像数据前的所谓的原始的数据即RAW图 像数据进行畸变修正处理，因此对于用于存储即将进行畸变修正处理之前的数据（RAW图 像数据）的存储器，能够缩小其存储器尺寸。"（参照摘要）。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1 :日本特开2008-301395号公报


【发明内容】

[0006] 发明所要解决的问题
[0007] 在上述那样的系统中，能够以小的电路规模进行没有析像度的劣化的图像处理而 优选。利用上述专利文献1，虽然与使用RGB或YUV信号的畸变修正相比能够减小电路规 模，但不是生成将RAW信号的位置移动至所期望的位置的RAW信号的结构。此外，在一般的 彩色摄像元件中，滤色片水平垂直地在2*2个像素规则地配置，在对RAW数据进行插补的情 况下，存在为了使用设置有像素间隔的同色的像素而析像度劣化的问题。
[0008] 因此，本发明解决上述问题，提供能够以小的电路规模进行析像度的劣化少的图 像处理的摄像装置。
[0009] 用于解决问题的方案
[0010] 对本申请中公开的发明中具有代表性的内容的概要进行简单说明如下。
[0011] (1) 一种对被拍摄体进行摄像的摄像装置，其特征在于，包括：具有多个滤色片的 摄像元件；同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变 修正后的插补信号；亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号；第 一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生成透镜 的畸变修正后的插补信号；透镜畸变特性表数据部，其将透镜畸变特性修正后的坐标的信 息保存在存储器中；坐标/插补系数设定部，其根据来自该透镜畸变特性表数据部的信息， 分别对所述同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地生成用于修正 透镜畸变的插补系数；和修正部，其输出根据由所述第一亮度插补部生成的插补信号与由 所述第二亮度插补部生成的插补信号之比来对来自所述同色插补部的信号进行修正而得 到的插补信号。
[0012] (2) -种对被拍摄体进行摄像的摄像装置，其特征在于，包括：具有多个滤色片的 摄像元件；同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变 修正后的插补信号；亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号；第 一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生成透镜 的畸变修正后的插补信号；透镜畸变特性函数运算部，其根据预先设定的透镜畸变特性函 数，按每像素计算透镜畸变特性修正后的坐标；坐标/插补系数设定部，其根据来自该透镜 畸变特性函数运算部的信息，分别对所述同色插补部、所述第一亮度插补部和所述第二亮 度插补部单独地设定用于修正透镜畸变的插补系数；和修正部，其输出根据由所述第一亮 度插补部生成的插补信号与由所述第二亮度插补部生成的插补信号之比来对来自所述同 色插补部的信号进行修正而得到的插补信号。
[0013] 这样，本申请的摄像装置使用与RAW信号的频率成分相关的亮度信号，在所期望 的位置生成与从同色像素生成的插补信号相比频率成分高的修正后RAW信号，由此使抑制 了析像度的劣化的RAW数据插补能够进行，并且能够实现电路规模的减小。
[0014] 此外，本申请的摄像装置通过适当地设定修正后RAW信号的修正位置，具备缩放 (扩大/缩小）、透镜畸变修正、旋转/视点转换、像素加法运算畸变修正等功能。
[0015] 发明效果
[0016] 根据本发明，能够提供以小的电路规模进行析像度的劣化少的图像处理的摄像装 置。

【专利附图】

【附图说明】
[0017] 图1是表示摄像装置的第一结构例的图。
[0018] 图2(a)是亮度信号生成部的动作说明图（1)，（b)是亮度信号生成部的动作说明 图⑵。
[0019] 图3 (a)是插补系数图案1 ( α < 〇. 5、β < 0. 5)的说明补充图（1)，（b)是插补 系数图案1 ( α < 〇. 5、β < 0. 5)的说明补充图（2)，（c)是插补系数图案1 ( α < 〇. 5、β < 〇. 5)的说明补充图（3)，（d)是插补系数图案1 ( α < 0. 5、β < 0. 5)的说明补充图（4)。
[0020] 图4(a)是插补系数图案2(α彡〇. 5、β < 0. 5)的说明补充图（1)，（b)是插补 系数图案2 ( α彡〇. 5、β < 0. 5)的说明补充图（2)，（c)是插补系数图案2 ( α彡〇. 5、β <〇.5)的说明补充图（3)，（d)是插补系数图案2(α彡0.5、β <0.5)的说明补充图（4)。
[0021] 图5(a)是插补系数图案3(α < 0.5、β彡0.5)的说明补充图（1)，（b)是插补 系数图案3(α <0.5、β彡0.5)的说明补充图（2)，（c)是插补系数图案3(α <0.5、 β彡0.5)的说明补充图（3)，（d)是插补系数图案3(α <0.5、β彡0.5)的说明补充图 ⑷。
[0022] 图6 (a)是插补系数图案4(α彡0.5、β彡0.5)的说明补充图（1)，（b)是插补 系数图案4(α彡0.5、β彡0.5)的说明补充图（2)，（c)是插补系数图案4(α彡0.5、 β彡0.5)的说明补充图（3)，（d)是插补系数图案4(α彡0.5、β彡0.5)的说明补充图 ⑷。
[0023] 图7是第二亮度插补部的说明补充图。
[0024] 图8是表示摄像装置的第二结构例的图。
[0025] 图9是放大时的说明补充图。
[0026] 图10是缩小时的说明补充图。
[0027] 图11是放大时的缩放运算例。
[0028] 图12是缩小时的缩放运算例。
[0029] 图13是表示摄像装置的第三结构例的图。
[0030] 图14是表示摄像装置的第四结构例的图。
[0031] 图15(a)是畸变修正功能的说明补充图（1)，（b)是畸变修正功能的说明补充图 ⑵。

【具体实施方式】
[0032] 以下，使用附图对本发明的实施方式进行说明。
[0033] 实施例1
[0034] 在本实施方式中，使用作为摄像装置的一个例子的照相机进行说明。
[0035] 如图1所示，本实施方式的摄像装置适当地使用以下部件构成：具有多个滤色片 的彩色摄像元件1〇〇 ;对从摄像元件输出的电信号进行A/D转换而输出数字信号的A/D转 换电路107 ;从自A/D转换电路输出的RAW信号生成亮度信号的亮度信号生成部101 ;使用 所生成的亮度信号分别生成插补信号而输出的第一亮度插补部102和第二亮度信号插补 部103 ;使用自A/D转换电路输出的RAW信号中的同色像素的信号来生成插补信号的同色 插补部104 ;使用各个插补信号、通过运算生成修正RAW信号而输出的修正部105。以下，对 各结构的动作进行详细说明。
[0036] 通过摄像透镜从被拍摄体射入的光被照射在摄像元件100,形成被拍摄体像。摄 像元件100利用通过定时发生器（Timing Generator)产生的驱动脉冲进行水平和垂直的 扫描，对被拍摄体像进行摄像，产生电信号。该电信号在A/D转换电路107被转换为数字信 号，被作为RAW信号输入信号处理电路。在信号处理电路，除实施YUV生成处理以外，还实 施噪声除去和伽马修正等各种照相机信号处理，并转换为TV信号等信号后输出。
[0037] 本实施方式的一个特征在于，在上述A/D转换电路与信号处理之间，进行在缩放 (扩大/缩小）和透镜畸变修正、旋转/视点转换、在摄像元件内被进行像素加法运算的情 况下产生的畸变的修正等使各像素的重心移动的修正，从而不改变RAW信号的滤色片排列 顺序且以少的成本实现析像度劣化少的输出RAW信号。
[0038] 使用图2对亮度信号生成部101的动作进行说明。
[0039] 自A/D转换电路输出的RAW信号按每像素被依次分别输入亮度信号生成部101和 同色插补部104。如果摄像元件为彩色单板摄像元件，则例如与A色、B色、C色、D色这4 色的滤色片对应的像素以2X2的对如图2(a)所示那样排列。如果摄像元件为原色拜尔 (Bayer)阵列，则例如表示为A = R、B = C = G、D = B即可。亮度信号生成部101通过进 行基于滤光处理而实现的插补来生成与RAW信号的各像素的取样位置对应的亮度信号。例 如，在 Y33 的情况下，通过（式 1)Y33 = (A33+(B32+B34)/2+(C23+C43)/2+(D22+D24+D42+ D44)/4)/4的运算生成，对其它位置的像素也能够通过进行同样的处理而生成亮度（Y)信 号。
[0040] 由亮度信号生成部101生成的亮度信号被分别输入至第一亮度插补部102和第二 亮度插补部103。
[0041] 同色插补部104使用邻近的同色像素信号，通过过滤对将重心移动后的像素信号 进行插补，由此生成插补信号，并输出至修正部105。
[0042] 在第一亮度插补部102,使用与在上述同色插补部104在过滤中使用的像素的位 置相同的取样位置的亮度信号，通过过滤对将重心移动后的像素信号进行插补，由此生成 插补信号，并输出至修正部105。
[0043] 在第二亮度插补部103,使用与在第一亮度插补部生成插补信号时使用的亮度信 号相比一部分或全部不同的亮度信号（例如相关性最高的邻近亮度信号），通过过滤对将 重心移动后的像素信号进行插补，由此生成插补信号，并输出至修正部105。
[0044] 在第一亮度插补部102、第二亮度插补部103和同色插补部104被插补的信号分别 在修正部105实施运算，对被输入的RAW信号的各像素输出将重心的位置移动至所期望的 位置的修正后的RAW信号。此处，在修正部105,使用在第一亮度插补部102生成的插补信 号与在第二亮度插补部103生成的插补信号之比，来对来自同色插补部104的信号进行修 正而输出。
[0045] 以上使用图3至图7、对第一亮度插补部102、第二亮度插补部103、同色插补部 104和修正部105的动作进行了详细说明。从图3至图7的各图表示对某个A色的1像素 进行插补生成时的例子。
[0046] 图3是生成与A33、A44、A53和A55之间带有★标记的重心位置对应的A色的插补 信号的情况，是其重心位置与A33、A44、A53和A55中的A33最近的情况的例子。将其定义 为插补系数图案1 ( α < 0. 5、β < 0. 5)。
[0047] 图4至图6也为同样情形，根据Α33、Α44、Α53和Α55中最近的像素的不同，定义 为 2(α 彡 0.5、β <0·5)、3(α <0.5、β 彡 0·5)、4(α 彡 0.5、β 彡 0.5)。如以上所述 那样，与生成的插补像素的位置相应地分为四个图案（Pattern)。
[0048] 关于同色4像素的位置和通过修正生成的RAW数据（AH)的位置，系数α表示水 平方向上的位置的比率，系数β表示垂直方向上的位置的比率。
[0049] 首先，使用图3,说明对于Α33的RAW，在插补系数图案1(α < 〇. 5、β < 0. 5)的 范围的位置生成修正后的RAW数据（AH)的例子。
[0050] 如图3(a)所示，同色插补部104利用从插补系数设定部106设定的插补系数α 和 β，使用 Α33、Α35、Α53、Α55,如
[0051] (式2)AL = A33*(l-a )*(1-β )+Α35*α *(1-β )+Α53*(1_α )*β +Α55*α *β 那样 求取插补信号（AL)。
[0052] 如图3(b)所示，第一亮度插补部102利用从插补系数设定部106设定的插补系数 a 和 β，使用Y33、Y35、Y53、Y55jn
[0053] (式 3) YL = Y33* (1- a ) * (1- β ) +Y35* a * (1- β ) +Y53* (1- a ) * β +Y55* a * β 那样 求取插补信号（YL)。
[0054] 如图3(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数 a 和 β ( a < 〇· 5、β < 0· 5)，使用 Y33、Y34、Y43、Y44,如
[0055] (式 4) YH = Υ33* (1-2 a ) * (1-2 β ) +Y34*2 a * (1-2 β ) +Υ43* (1-2 a ) *2 β +Y44*2 a *2 β那样求取插补信号（ΥΗ)。在第二亮度插补部103,与第一亮度插补部102使用的亮度 信号不同，因此在第一亮度插补部102使用的a、β在第二亮度插补部103中分别相当于 2 α、2 β 〇
[0056] 此处，利用同色插补部104计算出的AL由于插补中使用的像素的距离分开，因此 成为窄频带的（高频的增益低的、模糊的）图像信号。利用第一亮度插补部102计算出的 YL成为与利用同色插补部104计算出的AL相同的过滤特性，同样成为窄频带的亮度信号。 另一方面，利用第二亮度插补部103计算出的ΥΗ由于插补中使用的像素的距离近，成为宽 频带的（高频的增益比YL高、不模糊的）亮度信号。亮度信号相对于各A、B、C、D颜色信 号具有一定的相关性，因此（式5)ΑΗ(宽频带）：AL(窄频带）?ΥΗ(宽频带）：YL(窄频带） 成立。因此修正部105如图3(d)所示那样将上述（式5)变形，作为
[0057] (式6)AH = AL*YH/YL求取高频的增益高、不模糊的A色的插补信号AH。
[0058] 接着，使用图4,说明对于A33的RAW，在插补系数图案2(α彡〇. 5、β < 0. 5)的 范围的位置生成修正后的RAW数据（ΑΗ)的例子。此处，同色插补部104、第一亮度插补部 102、修正部105进行与图3相同的动作，因此省略说明，对第二亮度插补部103的动作进行 说明。
[0059] 如图4(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数 α 和 β ( α 彡 〇· 5、β < 0· 5)，使用 Y34、Y35、Y44、Y45,如
[0060] (式 7) YH = Υ34* (2- α ) * (1-2 β ) +Υ35* (2 α -1) * (1-2 β ) +Υ44* (2- α ) *2 β +Υ45* ( 2 α-1) *2 β那样求取插补信号（ΥΗ)。在第二亮度插补部103,与第一亮度插补部102使用 的亮度信号不同，因此在第一亮度插补部102使用的α、（1-α)、β在第二亮度插补部103 中分别相当于（2ci-l)、（2_α)、2β。
[0061] 接着，使用图5,说明对于Α33的RAW，在插补系数图案3(α < 〇. 5、β彡0. 5)的 范围的位置生成修正后的RAW数据（ΑΗ)的例子。与上述说明一样，对第二亮度插补部103 的动作进行说明。
[0062] 如图5(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数 α 和 β ( α < 〇· 5、β 彡 0· 5)，使用 Y43、Y44、Y53、Y54,如
[0063] (式 8) YH = Υ43* (1-2 α ) * (2- β ) +Υ44*2 α * (2- β ) +Υ53* (1-2 α ) * (2 β -1) +Υ54*2 α * (2 β -1)那样求取插补信号（ΥΗ)。在第二亮度插补部103,与第一亮度插补部102使用 的亮度信号不同，因此在第一亮度插补部102使用的α、β、（l-β )在第二亮度插补部103 中分别相当于2α、（2β_1)、（2-β)。
[0064] 接着，使用图6,说明对于Α33的RAW，在插补系数图案4( α彡0.5、β彡0.5)的 范围的位置生成修正后的RAW数据（ΑΗ)的例子。与上述说明一样，对第二亮度插补部103 的动作进行说明。
[0065] 如图6(c)所示，第二亮度插补部103利用从插补系数设定部106设定的插补系数 α 和 β ( α 彡 〇· 5、β 彡 0· 5)，使用 Y43、Y44、Y53、Y54,如
[0066] (式 9) YH = Υ44* (2- α ) * (2- β ) +Υ45* (2 α -1) * (2- β ) +Υ54* (2- α ) * (2 β -1) +Υ5 5* (2 α-1)* (2 β-1)那样求取插补信号（ΥΗ)。在第二亮度插补部103,与第一亮度插补部 102使用的亮度信号不同，因此在第一亮度插补部102使用的α、（1-α)、β、（l-β)在第 二亮度插补部103中分别相当于（2α-1)、（2-α)、（2β_1)、（2-β)。
[0067] 如上所述，在第二亮度插补部103需要使系数与生成的插补像素的重心位置相应 地变化。关于第二亮度插补部103的系数的切换方法，使用图7进行补充说明。
[0068] 在第二亮度插补部103,通过从插补系数设定部106设定的插补系数α和β划分 为四个图案的处理。
[0069] 在步骤（STEP)l中对从插补系数设定部106设定的插补系数α是否为α < 0. 5进行比较判定。在为"是"的情况下进行步骤（STEP) 2,在为"否"的情况下进行步 骤（STEP) 3。在步骤（STEP) 2中对从插补系数设定部106设定的插补系数β是否为β <0.5进行比较判定。在为"是"的情况下进行步骤（STEP)4,在为"否"的情况下进行步骤 (STEP) 5。在步骤（STEP) 4中实施上述的插补系数图案1(α <0.5、β <0.5)的处理。在 步骤（STEP) 5中实施上述插补系数图案2 ( α彡〇. 5、β < 0. 5)的处理。
[0070] 在步骤（STEP) 3中对从插补系数设定部106设定的插补系数β是否为β < 0. 5 进行比较判定。在为"是"的情况下进行步骤（STEP)6,在为"否"的情况下进行步骤 (STEP)7。在步骤（STEP)6中实施上述的插补系数图案3(α <0.5、β彡0.5)的处理。在 步骤（STEP) 7中实施上述插补系数图案4 ( α彡〇. 5、β彡0. 5)的处理。
[0071] 通过以上的动作，在第二亮度插补部103,根据从插补系数设定部106设定的插补 系数α和β，划分为四个处理，生成插补信号（ΥΗ)。
[0072] 通过以上的结构，能够抑制析像度的劣化，并且能够对RAW信号通过插补生成将 重心移动后的信号。进一步，RAW信号与一般RGB信号和YUV信号相比信号的位宽度少（位 数少），因此能够以小的电路规模生成插补信号。
[0073] 另外，在本实施例中，以在第二亮度插补部103对四个图案进行判定、根据图案对 进行处理划分为一例进行了说明，例如也可以在插补系数设定部106对四个图案进行判 定，将图案信息供给至第二亮度插补部103,在第二亮度插补部103根据图案信息进行处理 的划分。
[0074] 实施例2
[0075] 使用图8至图12对摄像装置的第二实施例进行说明。另外，在图8,对进行与图1 相同的动作的结构，适当地省略说明，主要对不同的结构进行说明。
[0076] 在本实施例2中，作为与实施例1的结构的不同点，具有：缩放运算部207,其在实 施例1的插补系数设定部106中，输入从未图示的控制微型计算机等指示的倍率和开始位 置，输入与从未图示的定时发生器等施加的RAW信号同步的水平（H)/垂直（V)的坐标信 息，从这些输入信息计算每个像素的缩放（放大/缩小）后的坐标，并按每像素依次向坐标 /插补系数设定部206输出；和坐标/插补系数设定部206,其将来自缩放运算部207的坐 标信息和从坐标信息计算出的插补系数α、β分别输出至第一亮度插补部202、第二亮度 插补部203和同色插补部204。
[0077] 在第一亮度插补部202、第二亮度插补部203、同色插补部204,选择包围来自缩放 运算部207的坐标信息的位置的同色4像素，对该同色4像素的位置实施与上述图1相同 的插补处理。
[0078] 接着，对放大/缩小的动作的例子，分别使用图9和图10进行说明。
[0079] 图9是对放大时的动作说明进行补充的图，是从左上部分放大至8/6 = 4/3倍的 例子。在与在水平垂直方向为6*6个的像素相同的面积内配置8*8个的像素，以成为8*8的 各像素的重心的方式分别依次分配起点与插补系数α、β的比率，通过上述的插补，生成 A11'、B12'、A13'、B14'、A15'、B16'、C21'、D22'、C23'、D24'、C25'、D26'、A31'、B32'、A33'、 B34'、A35'、B36'、C41'、D42'、C43'、D44'、C45'、D46'、A51'、B52'、A53'、B54'、A55'、B56'、 C61'、D62'、C63'、D64'、C65'、D66'的修正后的RAW信号。之后，通过以与原来的RAW信号 相同的速度对该修正后的RAW信号进行处理，成为所期望的4/3倍的放大处理。
[0080] 图10是对缩小时的动作说明进行补充的图，是从左上部分缩小至4/6 = 2/3倍的 例子。在与在水平垂直方向为6*6个的像素相同的面积内配置4*4个的像素，以成为4*4的 各像素的重心的方式分别依次分配起点与插补系数α、β的比率，通过上述的插补，生成 Air、B12'、A13'、B14'、C2r、D22'、C23'、D24'、A3r、B32'、A33'、B34'、C4r、D42'、C43'、 D44'的修正后的RAW信号。之后，通过以与原来的RAW信号相同的速度对该修正后的RAW 信号进行处理，成为所期望的2/3倍的放大处理。
[0081] 进一步，对上述图9、图10的情况，使用图11和图12分别对缩放运算的例子进行 说明。
[0082] 图11是对图9的放大时的B34'、D46'的缩放运算的例子。
[0083] B34'的重心坐标成为（3. 5*3/4, 2. 5*3/4) = (2. 625, L 875)，该值成为缩放运算 部207的输出。在坐标/插补系数设定部206输出坐标信息（2. 625, 1. 875)和从该坐标 信息求得的α = 0.5625、β = 0.6875。在第一亮度插补部202、第二亮度插补部203、同 色插补部204,选择包围该坐标的同色4像素 Β12、Β14、Β32、Β34。同样，在D46'时，坐标= (4. 125, 2. 625)，α = 〇· 3125、β = 0· 5625,同色 4 像素成为 D24、D26、D44、D46。
[0084] 图12是对图10的缩小时的Α33'、D44'的缩放运算的例子。Α33'的重心坐标成为 (2. 5*3/2, 2. 5*3/2) = (3. 75, 3. 75)，该值成为缩放运算部207的输出。在坐标/插补系数 设定部206输出坐标信息（3. 75, 3. 75)和从该坐标信息求得的α = 〇. 625、β = 0. 625。 在第一亮度插补部202、第二亮度插补部203、同色插补部204,选择包围该坐标的同色4像 素 Α33、Α35、Α53、Α55。同样，在D44' 时，坐标=(5·25,5·25)，α =〇·875、β = 0.875,同 色 4 像素成为 D44、D46、D64、D66。
[0085] 通过以上结构，本实施方式的摄像装置能够抑制析像度的劣化，并且能够生成进 行缩放（放大/缩小）而得到的RAW信号。进一步，RAW信号与一般RGB信号和YUV信号 相比信号的位宽度少，因此能够以小的电路规模提供具有缩放功能的摄像装置。
[0086] 实施例3
[0087] 使用图13至图15对摄像装置的其它变形例进行说明。另外，在图13、图14,对与 图1、图8相同动作的结构，适当地省略说明，以主要对不同的结构进行说明。
[0088] 图13是表示摄像装置的第三结构例的图，具备透镜的畸变修正功能。本实施例中 的透镜的畸变修正功能的结构例中，作为与实施例1的不同点，具有：透镜畸变特性表数据 部307,其在实施例1的插补系数设定部中，作为表数据存储有与透镜畸变特征相应的各像 素的坐标的偏移量，读出与水平（H)/垂直（V)的坐标信息对应的表数据，该水平（H)/垂直 (V)的坐标信息与从未图示的定时发生器等施加的RAW数据的位置同步，通过施加坐标信 息，计算透镜畸变修正后的坐标，并按每像素依次向坐标/插补系数设定部206输出；和坐 标/插补系数设定部206,其将来透镜畸变特性表数据部307的坐标信息和从坐标信息计 算出的插补系数α、β分别输出至第一亮度插补部202、第二亮度插补部203、同色插补部 204。
[0089] 图14是作为具备透镜的畸变修正功能的摄像装置的变形例表示第四结构例的 图。本实施例中的透镜的畸变修正功能的结构例中，作为与实施例1的不同点，具有：透镜 畸变特性函数运算部407,其在实施例1的插补系数设定部中，与从未图示的定时发生器等 施加的RAW数据的位置同步的水平（H)/垂直（V)的坐标信息，例如通过使用与透镜的特 性相应的计算式，根据从透镜中心至当前的坐标为止的距离对畸变量进行运算，并对从摄 像元件的中心位置至当前的像素为止的方向修正该畸变量，从而计算透镜畸变修正后的坐 标，并按每像素依次向坐标/插补系数设定部206输出；和坐标/插补系数设定部206,其 将来自透镜畸变特性函数运算部407的坐标信息和从坐标信息计算出的插补系数α、β分 别输出至第一亮度插补部202、第二亮度插补部203、同色插补部204。
[0090] 图15是对畸变修正功能的说明进行补充的图。图15(a)是畸变修正前的图，图 15(b)是畸变修正后的图，虚线表示透镜的畸变特性，点表示像素的重心的位置，箭头表示 在对透镜畸变进行修正前和修正后像素的重心移动的矢量。
[0091] 在摄像装置的第三结构例中，在透镜畸变特性表数据部307作为表数据存储该矢 量，坐标/插补系数设定部206基于该透镜畸变修正表数据，分别对第一亮度插补部202、第 二亮度插补部203、同色插补部204单独地生成而输出用于修正透镜畸变的插补系数。
[0092] 此外，在摄像装置的第四结构例中，在透镜畸变特性函数运算部407,作为与从摄 像元件的中心起的距离相应的函数预先确定该矢量，透镜畸变特性函数运算部407基于预 先设定的透镜畸变特性函数，按每像素计算透镜畸变特性修正后的坐标，在坐标/插补系 数设定部206,基于来自透镜畸变特性函数运算部407的信息，分别对第一亮度插补部202、 第二亮度插补部203、同色插补部204单独地设定而输出用于修正透镜畸变的插补系数。
[0093] 在任一摄像装置中均在各插补部根据透镜畸变修正后的坐标实施与上述实施例1 相同的处理，进行RAW数据的插补。
[0094] 如上所述，在本实施例中，仍旧能够获得上述实施例1的效果，并且能够通过进行 RAW数据的插补实现畸变修正功能。
[0095] 另外，在本实施例中，作为一个例子对桶形畸变的情况进行了说明，但是并不限定 于此，例如在线轴畸变的情况下等同样能够应用本实施例，能够获得与本实施例相同的效 果。
[0096] 此外，即使在上述表数据方式中减少表数据的数量、并且通过运算对减少数量后 的部分进行补充的方式构成，也能够应用本发明，获得与本实施例相同的效果。
[0097] 此外，在上述透镜畸变修正功能的结构例之一的表数据方式中，单独地保存与RAW 信号中各色对应的畸变数据而按各色信号单独地生成插补信号的结构，仍旧能够获得上述 实施例1的效果，并且在修正透镜畸变中不仅能够修正失真（Distortion)而且能够修正倍 率色像差。
[0098] 此外，在上述透镜畸变修正功能的结构例的两个透镜函数方式中单独地保存与 RAW信号中的各色对应的畸变函数而按各色信号单独地生成插补信号的结构，仍旧能够获 得上述实施例1的效果，并且在修正透镜畸变中不仅能够修正失真（Distortion)而且能够 修正倍率色像差。
[0099] 在上述的本发明的说明中，以在水平/垂直配置2*2像素的周期的滤色片为例进 行了说明，但是并不限定于2*2的排列，无论是2*4的排列的摄像元件还是多孔层状结构那 样的特殊的排列的摄像元件，还是其它的滤色片配置的情况下，均能够同样地应用本发明。
[0100] 进一步，在本发明的说明中对缩放（放大/缩小）、透镜畸变修正的功能进行了说 明，如果是这以外的通过对RAW信号进行使重心移动的修正而实现的功能，则能够在所有 技术中进行应用。
[0101] 此外，本发明并不限定于上述的实施例，而包括各种各样的变形例。例如，上述的 实施例为了将本发明说明得容易明白而进行了详细的说明，但是并不一定限定于包括所说 明的所有结构。此外，能够将一个实施例的结构的一部分替换到另一个实施例的结构，此 夕卜，还能够在一个实施例的结构中加入另一个实施例的结构。此外，能够对各实施例的结构 的一部分进行其它结构的追加/削除/替换。
[0102] 此外，上述的各结构既可以以硬件构成其一部分或全部，也可以通过利用处理器 运行程序而实现其一部分或全部。此外，对于控制线和信息线，仅说明了在说明上被认为需 要的部分，并不一定说明了产品上的所有的控制线和信息线。实际上也可以认为几乎所有 的结构相互连接。
[0103] 附图标记的说明
[0104] 101 亮度信号生成部
[0105] 102 第一亮度插补部
[0106] 103 第二亮度插补部
[0107] 104 同色插补部
[0108] 105 修正部
[0109] 106 插补系数设定部
[0110] 206 坐标/插补系数设定部
[0111] 207 缩放运算部
[0112] 307 透镜畸变特性表数据部
[0113] 407 透镜畸变特性函数运算部。
【权利要求】
1. 一种对被拍摄体进行摄像的摄像装置，其特征在于，包括： 具有多个滤色片的摄像元件； 同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正 后的插补信号； 亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号； 第一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生 成透镜的畸变修正后的插补信号； 透镜畸变特性表数据部，其将透镜畸变特性修正后的坐标的信息保存在存储器中； 坐标/插补系数设定部，其根据来自该透镜畸变特性表数据部的信息，分别对所述同 色插补部、所述第一亮度插补部和所述第二亮度插补部单独地生成用于修正透镜畸变的插 补系数；和 修正部，其输出根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部 生成的插补信号之比来对来自所述同色插补部的信号进行修正而得到的插补信号。
2. -种对被拍摄体进行摄像的摄像装置，其特征在于，包括： 具有多个滤色片的摄像元件； 同色插补部，其使用来自该摄像元件的图像信号中的同色像素，生成透镜的畸变修正 后的插补信号； 亮度信号生成部，其从来自该摄像元件的图像信号生成亮度信号； 第一亮度插补部和第二亮度插补部，其使用由该亮度信号生成部生成的亮度信号，生 成透镜的畸变修正后的插补信号； 透镜畸变特性函数运算部，其根据预先设定的透镜畸变特性函数，按每像素计算透镜 畸变特性修正后的坐标； 坐标/插补系数设定部，其根据来自该透镜畸变特性函数运算部的信息，分别对所述 同色插补部、所述第一亮度插补部和所述第二亮度插补部单独地设定用于修正透镜畸变的 插补系数；和 修正部，其输出根据由所述第一亮度插补部生成的插补信号与由所述第二亮度插补部 生成的插补信号之比来对来自所述同色插补部的信号进行修正而得到的插补信号。
3. 如权利要求1所述的摄像装置，其特征在于： 所述第一亮度插补部利用位于与由所述同色插补部进行插补信号生成时使用的像素 的位置相同的取样位置的亮度信号生成插补信号， 所述第二亮度插补部利用与由第一亮度插补部生成插补信号时使用的亮度信号相比 一部分或全部不同的亮度信号生成插补信号。
4. 如权利要求1所述的摄像装置，其特征在于： 所述透镜畸变特性表数据部单独地保存与来自摄像元件的像素信号中的各色对应的 畸变数据， 所述同色插补部与所述第一亮度插补部和所述第二亮度插补部按所述各色单独地生 成插补信号。
5. 如权利要求2所述的摄像装置，其特征在于： 所述透镜畸变特性函数运算部单独地保存与来自摄像元件的像素信号中的各色对应 的畸变函数， 所述同色插补部与所述第一亮度插补部和所述第二亮度插补部按所述各色单独地生 成插补信号。
6.如权利要求2所述的摄像装置，其特征在于： 所述第一亮度插补部利用位于与由所述同色插补部进行插补信号生成时使用的像素 的位置相同的取样位置的亮度信号生成插补信号， 所述第二亮度插补部利用与由第一亮度插补部生成插补信号时使用的亮度信号相比 一部分或全部不同的亮度信号生成插补信号。
【文档编号】H04N5/225GK104106261SQ201280067717
【公开日】2014年10月15日 申请日期:2012年9月14日 优先权日:2012年2月29日
【发明者】野中雄一, 木佐贯健 申请人:日立麦克塞尔株式会社