摄像装置、摄像方法及程序的制作方法
【技术领域】
[0001] 本发明设及摄像装置、摄像方法W及程序，并且更具体地设及适于通过W多个曝 光时序读取多个像素来扩大动态范围的摄像装置、摄像方法W及程序。
【背景技术】
[0002] 近年来，拍摄诸如人物等主体W产生图像（图像数据）并记录所产生的诸如图像 内容（图像文件）等图像（图像数据）的诸如摄像设备等电子设备得到了普及，例如，数字 静态照相机是摄像设备的示例。作为用于运种电子设备的摄像装置，CCD(电荷禪合器件） 传感器、CMOS(互补金属氧化物半导体）传感器等得到了广泛地应用。
[0003] 动态范围是图像传感器的性能轴之一。动态范围是可W被变换成有效图像信号的 入射光的亮度的宽度。动态范围越大，性能越佳，运是因为暗光至亮光都能够变换成图像信 号。
[0004] 例如，专利文献1提出了一种被称为空间变化曝光（SpatialIyVa^ing Exposure,SVE)的用于扩大图像传感器的动态范围的系统。
[0005] 普通图像传感器的像素包括通过光电变换将入射光变换成电荷的光电二极管 (PD)。由于像素的可累积电荷量是确定的，所W相对于过强的入射光会产生电荷溢出，且无 法拾取更多的信号。另外，由于在像素和读取电路中产生的噪声的原因，相对于过弱的入射 光产生的电荷被掩埋在噪声中，从而无法拾取信号。
[0006] 为此，在SVE系统中，具有不同灵敏度的像素W预定布置图案进行布置，使得可W 从位于场景的黑暗部分中的具有高灵敏度的像素和位于场景的明亮部分中的具有低灵敏 度的像素获取信号。作为改变各像素的灵敏度的方法，除改变像素孔径比的方法W及使用 具有不同光透射率的片上滤光器的方法之外，还存在使用图像传感器的电子快口控制机构 的方法。专利文献1提出了在CCD图像传感器中使用电子快口控制机构的方法。
[0007] 专利文献2提出了一种布置有4种类型的像素的图像传感器，运些像素包括具有 用于获取亮度信号的光谱灵敏度的像素和具有用于获取3种类型的颜色信号的光谱灵敏 度的像素。作为运种颜色布置的示例，在专利文献2披露的布置中，用于获取亮度信号的像 素布置成棋盘格布置（checkerboardarrangement)，并且具有R、G和B光谱灵敏度的用于 获取颜色信号的像素布置在棋盘格布置中的其余位置。
[0008] 专利文献3披露了一个在专利文献2所公开的像素布置中使用SVE系统来拍摄图 像的情况下的曝光图案的示例。
[0009] 专利文献1 :日本专利申请特开号2007-135200
[0010] 专利文献2 :日本专利申请特开号2007-243334
[0011] 专利文献3 :日本专利申请特开号2012-257193
【发明内容】
[001引技术问题
[0013] 专利文献I说明了一种在具有RGB(红、绿和蓝）3颜色的颜色布置的图像传感器 中使用SVE系统来拍摄图像的像素控制方法。专利文献2说明了一种将1个用于获取亮度 信号的像素和3个用于获取颜色信号的像素进行组合的技术。专利文献3披露了一种在专 利文献2所公开的像素布置中使用SVE系统来拍摄图像的情况下的曝光图案。
[0014] 然而，在使用1个用于获取亮度信号的像素和3个用于获取颜色信号的像素的组 合的图像传感器中，没有对使用SVE系统来实现摄像的像素控制方法或结构进行说明。即 使在使用4个像素时，也期望使用SVE系统来实现摄像的像素控制。通过利用4个像素的 SVE系统能够进行图像拍摄，期望扩大动态范围，并且同时改善性能。
[0015]本发明是鉴于如上所述的情况而提出的，且因此旨在扩大动态范围并同时改善性 能。
[001引技术方案
[0017]根据本发明的方面，提供了一种摄像装置，所述摄像装置包括4种光谱灵敏度类 型的像素，运些像素包括具有全色光谱灵敏度的像素并布置在摄像面上，对于所述4种光 谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的 像素布置在所述摄像面上。
[0018]具有所述全色光谱灵敏度的第一像素在特定方向上W2个像素为周期布置在第 一排中，所述第一像素在所述特定方向上W从所述第一排错开一个像素的方式布置在第二 排中，所述第一排和所述第二排在与所述特定方向正交的方向上交替地布置，并且，对于与 所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一者，具有该光谱灵敏度的像素在所 述特定方向上W2个像素或4个像素为周期进行布置并且二维地构成4X4像素周期性布 置，在所述4X4像素周期性布置中，所述第一光谱灵敏度像素布置成棋盘格布置。
[0019]摄像装置可W还包括每排的=条像素传输控制信号线，每条所述像素传输控制信 号线用于控制构成所述特定方向上的1排的多个像素的曝光开始时序和曝光结束时序，所 述第一排的所述像素传输控制信号线之中的第一像素传输控制信号线可向所述第一排中 的W2个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第 一排的所述像素传输控制信号线之中的第二像素传输控制信号线可向所述第一排中的W4 个像素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第一排的 所述像素传输控制信号线之中的第=像素传输控制信号线可向所述第一排中的W4个像 素为周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第二排的所述 像素传输控制信号线之中的第一像素传输控制信号线可向所述第二排中的W2个像素为 周期进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第二排的所述像素 传输控制信号线之中的第二像素传输控制信号线可向所述第二排中的W4个像素为周期 进行布置并具有相同的光谱灵敏度的像素传送传输控制信号；所述第二排的所述像素传输 控制信号线之中的第=像素传输控制信号线可向所述第二排中的W4个像素为周期进行 布置并具有相同的光谱灵敏度的像素传送传输控制信号；并且每条所述像素传输控制信号 线可按照用于实现所述第一曝光的第一时序或者用于实现所述第二曝光的第二时序来传 送像素传输控制信号。
[0020] 所述特定方向上的两个邻近像素可共用一个A/D变换器；并且可使用所述像素传 输控制信号线之中的至少两条像素传输控制信号线使所述两个邻近像素的曝光时序错开。
[0021] 由多个像素构成的像素组可共用一个浮动扩散部。
[0022] 所述4X4像素周期性布置可包括在与所述特定方向正交的方向上交替地布置的 所述第一排和所述第二排，在所述第一排中，所述第一像素和具有第二光谱灵敏度的第二 像素在所述特定方向上交替地布置，在所述第二排中，所述第一像素W2个像素为周期进 行布置并且具有第=光谱灵敏度的第=像素和具有第四光谱灵敏度的第四像素W4个像 素为周期布置在其余像素位置。
[0023] 所述第一排的所述第一像素传输控制信号线和所述第二排的所述第一像素传输 控制信号线可被控制W便W不同的时序传送控制信号；所述第一排的所述第二像素传输控 制信号线和所述第=像素传输控制信号线可被控制W便W不同的时序传送控制信号；所述 第二排的所述第二像素传输控制信号线和第四排的与所述第=像素有关的像素传输控制 信号线可被控制W便W不同的时序传送控制信号；并且所述第二排的与所述第四像素有关 的像素传输控制信号线和所述第四排的与所述第四像素有关的像素传输控制信号线可被 控制W便W不同的时序传送控制信号。
[0024] 摄像装置在各像素位置可在每个像素位置处还包括：第一处理部，其计算所述第 一光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；第二处理部，其计算所述 第一光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；第=处理部，其计算第 二光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；第四处理部，其计算所述 第二光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；第五处理部，其计算第 =光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；第六处理部，其计算所述 第=光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值；第屯处理部，其计算第 四光谱灵敏度的所述第一曝光的信号在所述像素位置处的插值；W及第八处理部，其计算 所述第四光谱灵敏度的所述第二曝光的信号在所述像素位置处的插值。
[00巧]摄像装置还可包括：第九处理部，其基于由所述第一处理部至所述第八处理部计 算的所述第一光谱灵敏度至所述第四光谱灵敏度的所述第一曝光的所述信号或所述第二 曝光的所述信号在所述像素位置处的所述插值，计算所述第二光谱灵敏度、所述第=光谱 灵敏度和所述第四光谱灵敏度中的每者的组合插值。
[0026] 摄像装置还可包括：变换部，其将从所述第九处理部输出的插值变换成拜耳布置。
[0027] 第九处理部还可包括将从像素中读取的信号变换成非线性刻度的处理。
[0028] 将信号变换成非线性刻度的所述处理可W包括基于向上凸的幕函数特性来变换 信号的处理。
[0029] 将信号变换成非线性刻度的所述处理可W包括基于对数刻度特性来变换信号的 处理。
[0030] 摄像装置还可包括：对数变换处理部，其将来自布置在所述摄像面上的像素的信 号进行对数变换；W及对数逆变换处理部，其将从所述第九处理部输出的所述插值进行对 数逆变换，并且所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获 得的值进行处理。
[0031] 摄像装置还可包括：对数变换处理部，其将来自布置在所述摄像面上的像素的信 号进行对数变换；W及对数逆变换处理部，其将从所述变换部输出的所述插值进行对数逆 变换，并且所述第一处理部至所述第八处理部使用通过所述对数变换处理部的变换获得的 值进行处理。
[0032] 根据本发明的方面，提供了一种用于摄像装置的摄像方法，所述摄像装置包括4 种光谱灵敏度类型的的像素，运些像素包括具有全色光谱灵敏度的像素并布置在摄像面 上，对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述第 一曝光的第二曝光的像素布置在所述摄像面上，具有所述全色光谱灵敏度的第一像素在特 定方向上W2个像素为周期布置在第一排中，所述第一像素在所述特定方向上W从所述第 一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向正 交的方向上交替地布置，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一 者，具有该光谱灵敏度的像素在所述特定方向上W2个像素或4个像素为周期进行布置并 且二维地构成4X4像素周期性布置，在所述4X4像素周期性布置中，所述第一光谱灵敏度 像素布置成棋盘格布置，所述方法包括如下步骤：W用于实现第一曝光的第一时序或者W 用于实现第二曝光的第二时序向针对每排设置的=条像素传输控制信号线传送像素传输 控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排的多个像素 的曝光开始时序和曝光结束时序。
[0033] 根据本发明的方面，提供了一种使计算机控制摄像装置的程序，所述摄像装置包 括4种光谱灵敏度类型的的像素，运些像素包括具有全色光谱灵敏度的像素并布置在摄像 面上，对于所述4种光谱灵敏度类型中的每一者，实现第一曝光的像素和实现不同于所述 第一曝光的第二曝光的像素布置在所述摄像面上，具有所述全色光谱灵敏度的第一像素在 特定方向上W2个像素为周期布置在第一排中，所述第一像素在所述特定方向上W从所述 第一排错开一个像素的方式布置在第二排中，所述第一排和所述第二排在与所述特定方向 正交的方向上交替地布置，对于与所述第一像素的光谱灵敏度不同的光谱灵敏度中的每一 者，具有该光谱灵敏度的像素在所述特定方向上W2个像素或4个像素为周期进行布置并 且二维地构成4X4像素周期性布置，在所述4X4像素周期性布置中，所述第一光谱灵敏度 像素布置成棋盘格布置，所述程序包含具有W下步骤的处理：W用于实现第一曝光的第一 时序或者W用于实现第二曝光的第二时序向针对每排设置的=条像素传输控制信号线传 送像素传输控制信号，每条所述像素传输控制信号线用于控制构成所述特定方向上的1排 的多个像素的曝光开始时序和曝光结束时序。
[0034] 在根据本发明的方面的摄像装置、摄像方法和程序中，4种光谱灵敏度类型的像素 布置在摄像面上，运些像素包括具有全色光谱灵敏度的像素，并且对于所述4种光谱灵敏 度类型中的每一者，实现第一曝光的像素和实现不同于所述第一曝光的第二曝光的像素布 置在所述摄像面上，W实现第一曝光和第二曝光。
[00对有益效果
[0036] 根据本发明的方面，可朗T大动态范围，并且同时可W改善性能。
【附图说明】
[0037] 图1示出安装在摄像装置的受光部上的颜色滤光器的布置示例。
[0038] 图2示出根据本发明实施例的关于安装在摄像装置的受光部上的颜色滤光器的 像素布置与曝光时间。
[0039] 图3示出摄像装置中的用于实现曝光时间控制的控制信号线的接线。
[0040] 图4示出表示安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间 的示例。
[0041] 图5示出表示安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间 的示例。
[0042] 图6示出表示安装在摄像装置的受光部上的颜色滤光器的像素布置与曝光时间 的示例。
[0043] 图7示出根据第一实施例的摄像装置中包含的像素的基本电路的结构示例。
[0044] 图8示出根据第一实施例的摄像装置中的像素控制电路和像素接线的结构示例。
[0045] 图9是示意地示出根据第一实施例的去往用于构成摄像装置的像素的控制信号 的时序图。
[0046] 图10是示意地示出根据第一实施例的去往用于构成摄像装置的像素的控制信号 的时序图。
[0047] 图11是示意地示出根据第一实施例的去往用于构成摄像装置的像素的控制信号 的时序图。
[0048] 图12是示意地示出根据第一实施例的构成摄像装置的像素的控制信号的时序 图。
[0049] 图13示出根据第二实施例的摄像装置中的像素控制电路和像素接线的结构示 例。
[0050] 图14是示意地示出根据第二实施例的去往用于构成摄像装置的像素的控制信号 的时序图。
[0051] 图15示出根据第S实施例的摄像装置中包含的像素的基本电路的结构示例。
[0052] 图16示出根据第=实施例的摄像装置中的像素控制电路和像素接线的结构示 例。
[0053] 图17是示意地示出根据第=实施例的去往用于构成摄像装置的像素的控制信号 的时序图。
[0054] 图18示出根据第四实施例的摄像装置中包含的像素的基本电路的结构示例。
[0055] 图19示出根据第四实施例的摄像装置中像素控制电路和像素接线的结构示例。
[0056] 图20是示意地示出根据第四实施例的去往用于构成摄像装置的像素的控制信号 的时序图。
[0057] 图21是示出根据第五实施例的摄像设备的功能性结构示例的框图。
[0058] 图22是示出根据第五实施例的图像处理部的功能性结构示例的框图。
[0059] 图23示出根据第五实施例的被WL高频插值部和WS高频插值部使用的插值滤波 器系数的示例。
[0060] 图24示出根据第五实施例的被WL低频插值部、WS低频插值部、化低频插值部、 GS低频插值部、化低频插值部、RS低频插值部、化低频插值部W及BS低频插值部使用的 插值滤波器系数的示例。
[0061] 图25是示出根据第五实施例的皿R合成部的功能性结构示例的框图。
[0062] 图26示意地说明根据第五实施例的皿R合成部的操作。
[0063] 图27示出根据第五实施例的皿R合成部的权重值特性。
[0064] 图28是示出根据另一个应用示例的摄像装置中的至RGB拜耳度ayer)数据的变 换处理的功能性结构示例的框图。
[0065] 图29是示出根据第五实施例的在图像处理部中改变对数变换（logarithm conversion)的处理位置的功能性结构示例的框图。
[0066] 图30是示出根据另一个应用示例的在摄像装置中的至RGB拜耳数据的变换处理 中改变对数变换的处理位置的功能性结构示例的框图。
[0067] 图31示出安装在可应用的摄像装置的受光部上的颜色滤光器的布置的另一个示 例。
[0068] 图32示出安装至可应用的摄像装置的受光部上的颜色滤光器的布置的另一个示 例。
[0069] 图33示出可应用的摄像装置的曝光控制图案的示例。
[0070] 图34示出可应用的摄像装置的曝光控制图案的示例。
[0071] 图35示出可应用的摄像装置的曝光控制图案的示例。
[0072] 图36示出可应用的摄像装置的曝光控制图案的示例。
[0073] 图37示出可应用的摄像装置的曝光控制图案的示例。
[0074] 图38示出可应用的摄像装置的曝光控制图案的示例。
[0075] 图39示出可应用的摄像装置的曝光控制图案的示例。
[0076] 图40示出可应用的摄像装置的曝光控制图案的示例。
【具体实施方式】
[0077] 在下文中，将说明本发明的实施结构（在下文中，被称为实施例）。应当注意，将按 照W下顺序进行说明。
[0078] 1.第一实施例（在水平方向上将=条像素传输控制信号线设置成1行的示例）
[0079] 2.第二实施例（使水平方向上的2个像素共用单个A/D变换器的摄像装置的示 例）
[0080] 3.第S实施例（使垂直方向上的4个像素共用单个抑的摄像装置的示例）
[0081] 4.第四实施例（使8个像素共用抑的摄像装置的示例）
[0082] 5.第五实施例（摄像设备的示例）
[0083] 6.其它应用示例
[0084] 本发明可W应用于摄像装置。作为摄像装置，存在有电荷禪合器件（CCD)传感器、 互补金属氧化物半导体（CM0巧传感器等。本发明还可W应用于布置有用于输出R(红）、 G(绿）、B(蓝）和W(白）颜色光的4个像素的图像传感器。
[00财例如，如图1所示，用于输出R(红）、G(绿）、B(蓝）和W(白）颜色光的4个像素 在显示区域中布置成矩阵。在图1中，矩形均示意地表示像素。另外，在矩形内部，示出了 均用于表示颜色滤光器的类型（由各像素输出的颜色光）的符号。例如，G像素被标注有 "G"，R像素被标注有"R"，B像素被标注有"B"，并且W像素被标注有"W"。运同样适用于下 面的说明。
[0086]W像素用作具有全色光谱灵敏度的像素，并且R、G和B像素用作具有各自颜色特 性的光谱灵敏度的像素。本发明可W应用于如上所述的在摄像面上布置具有4种类型的光 谱灵敏度（包括全色光谱灵敏度）的像素的摄像装置（图像传感器）。
[0087]图1所示的图像传感器具有如下布置：R像素、G像素、B像素和W像素布置在第一 行至第八行W及第一列至第八列中。图1示出图像传感器的一部分，并且除布置在第一行 至第八行W及第一列至第八列中的R像素、G像素、B像素和W像素之外的布置在其它行和 列中的R像素、G像素、B像素和W像素的结构也是如此。
[008引 当在下文中例如W像素l0(m，n)的方式进行说明时，m表示行，并且n表示列。此 夕F，行表示布置有水平信号线（未示出）的水平方向，且列表示布置有垂直信号线（未示 出）的垂直方向。例如，像素10化1)表示位于第二行第一列的像素。此外，使用左上像素 10(1,1)作为参考来描述像素的位置。运同样适用于其它附图。
[0089] 将说明水平方向（图1中的横向方向或行方向）上的图像传感器的结构。在第一 行中，布置有W像素10(1,1)、G像素10(1，2)、W像素10(1，3)、G像素10(1，4)、W像素10(1， 5)、G像素10(1，6)、W像素10(1,7)和G像素10(1，8)。在运种情况下，在第一行中布置有 W像素和G像素。
[0090] 在第二行中，布置有R像素10(2,1)、W像素10(2,2)、B像素10(2,3)、W像素10(2， 4)、R像素10 (2, 5)、W像素10 (2,6)、B像素10(2,7)和W像素10 (2,8)。在运种情况下，在 第二行中布置有R像素、W像素和B像素。
[0091] 在第=行中，如同在第一行中，W像素和G像素交替地布置。
[0092] 在第四行中，虽然如同在第二行中布置有R像素、W像素和B像素，但是第一个像 素不是R像素而是B像素。具体地，在第四行中，布置有B像素10(4,1)、W像素10 (4, 2)、R 像素 10 (4, 3)、W像素 10 (4,4)、B像素 10 (4, 5)、W像素 10 (4,6)、R像素 10 (4, 7)和W像素 10 (4,8)。
[0093] 在第五行和第屯行中，如同在第一行中，W像素和G像素交替地布置。在第六行中， 如同在第二行中，布置有R像素、W像素和B像素。在第八行中，如同在第四行中，布置有B 像素、W像素和R像素。
[0094] 当在图1所示的颜色布置中将行方向设定为特定方向，且关注该特定方向上的具 有全色光谱灵敏度的W像素时，存在有如下的第一排和第二排，在第一排中，W像素W2个 像素为周期进行布置，且在第二排中，W像素W从第一排沿该特定方向错开一个像素的方式 进行布置。此外，第一排和第二排在与该特定方向正交的方向（列方向）上交替地布置。
[0095] 具有与W像素的光谱灵敏度不同的光谱灵敏度的R像素、G像素和B像素针对各 光谱灵敏度在该特定方向上W2个像素或4个像素为周期进行布置。例如，在第一排中，G 像素W2个像素为周期布置，在第二排中，R像素和B像素W4个像素为周期布置。
[0096] 如上所述，按照获得使W像素布置成棋盘格布置的4X4像素的周期性布置的方式 进行颜色布置。
[0097] 当将空间变化曝光（SpatiallyVa巧ingExposure,SVE)系统应用至上述图像传 感器（其中如上所述地布置有包括RGBW运4种颜色的颜色滤光器（CF)、接收通过颜色滤光 器传送的光并输出颜色光的像素）时，将不同灵敏度的像素布置成图2所示的像素布置。
[0098] 第一实施例
[0099] 关于颜色滤光器的像素布置示例和曝光时间
[0100] 图2示出根据本发明的第一实施例的关于安装在摄像装置的受光部上的颜色滤 光器的像素布置的示例。除布置有具有不同灵敏度的像素之外，图2所示的像素布置基本 上与图1所示的像素布置相同。
[0101] 在