信号处理设备、摄像设备、摄像系统和信号处理方法

专利名称：信号处理设备、摄像设备、摄像系统和信号处理方法
技术领域：
本发明涉及一种信号处理设备、摄像设备、摄像系统和信号处理方法。
背景技术：
在数字照相机或数字摄像机等的传统摄像设备中，使用CCD图像传感器或CMOS图 像传感器等作为图像传感器。 图13所示的图像传感器IS设置有在沿着行的方向上和沿着列的方向上排列多个 像素的像素阵列PA。像素阵列PA中的像素P1 P5均包括光电转换单元PD、颜色滤波器 CF和显微透镜(microlens)ML。在像素P1 P5的每一个中，通过布线层WL限定颜色滤波 器CF和显微透镜ML与光电转换单元PD之间的开口区域0A。通过元件隔离区域IR使相邻 像素的光电转换单元PD相互电分离。将光电转换单元PD和元件隔离区域IR配置在半导 体基底SB内。 考虑这样一种情况在图13中，像素P1的颜色滤波器CF透过第一颜色的光，并且 像素P2的颜色滤波器CF透过第二颜色的光。可能存在这样的情况像素PI上的斜入射 光IL1中的第一颜色光IL1'通过像素P1的开口区域0A，然后第一颜色光IL1'的一部分 IL1 〃透过元件隔离区域IR，并且到达相邻像素P2的光电转换单元PD。在这种情况下，尽管 像素P2的光电转换单元PD正常应该接收第二颜色的光，然而该光电转换单元PD还接收从 相邻像素混入的第一颜色光IL1〃 ，并生成与第一颜色光IL1〃相对应的信号。也就是说， 可能发生相邻像素的信号相互干扰的所谓的颜色混合现象(color mixture phenomenon)。
如图14A和14B所示，发生这种颜色混合的难易根据摄像设备中的拍摄镜头的F 值(光圈的开口直径)而不同。与图14B所示的光圈的开口直径小的情况相比，在图14A 所示的光圈的开口直径大的情况下，斜入射光更容易混入相邻像素。也就是说，拍摄镜头的 F值越小，光圈的开口直径越大，存在混入相邻像素的斜入射光的量增大的趋势。
另外，如图15A和15B所示，发生颜色混合的难易根据摄像设备中的拍摄镜头的出 瞳距离(从图像面到拍摄镜头的出瞳位置的距离)而不同。与图15A所示的出瞳距离长的 情况相比，在图15B所示的出瞳距离短的情况下，斜入射光更容易混入相邻像素。也就是 说，随着出瞳距离变得越短，存在混入相邻像素的斜入射光的量增大的趋势。
如图16所示，像素P2的光电转换单元PD接收像素P2上的入射光IL2中已透过像 素P2的颜色滤波器CF的第二颜色光IL2'，并根据所接收到的第二颜色光IL2'生成电荷 (信号)。此外，如图16所示，由于图14A、14B、15A和15B所示的原因已接收来自相邻像素 Pl的第一颜色光IL1〃的像素P2的光电转换单元PD根据第一颜色光IL1〃生成电荷(信 号)。因此，像素P2的光电转换单元PD除根据第二颜色光IL2'生成信号以外，还根据第 一颜色光IL1〃生成信号，因此发生颜色混合。 另外，如图16和17所示，发生颜色混合的难易根据入射在光电转换单元PD上的 光的颜色而不同。这是因为相对于半导体基底SB的表面在光电转换单元PD中将光转换成 电荷的位置处的深度根据光的波长而不同。也就是说，这是因为，与波长短的光相比，在光电转换单元PD中的较深位置处对波长长的光进行光电转换。 这里，图16所示的像素PI的颜色滤波器CF透过红色(R)光，像素P2的颜色滤波 器CF透过绿色(G)光，并且图17所示的像素P6的颜色滤波器CF透过蓝色(B)光。
如图16所示，与已通过其它颜色(G、B)的颜色滤波器CF的光相比，在光电转换单 元PD中的较深位置处对已通过红色(R)光颜色滤波器CF的光进行光电转换。因此，红色 (R)光IL1'通过该光应该入射的像素P1的光电转换单元PD，并且该光的一部分ILl"容 易地入射在相邻像素P2的光电转换单元PD上。在相邻像素P2的光电转换单元PD上对入 射在那里的光IL1〃进行光电转换，因此在不产生该光应该入射的像素P1的电荷(信号) 的情况下，生成相邻像素P2的信号的混合颜色成分。 另一方面，如图17所示，与已通过其它颜色(R、G)的颜色滤波器CF的光IL1' 和IL2'相比，在光电转换单元PD中的较浅位置处对已通过蓝色(B)颜色滤波器CF的光 IL6'进行光电转换。因此，即使光线IL6斜入射在像素P6上，也存在光线在到达相邻像素 P7的光电转换单元PD之前在像素P6的光电转换单元PD中光电转换的趋势。也就是说，由 于蓝色(B)光IL6'不大可能通过该光应该入射的像素P6的光电转换单元PD而到达相邻 像素P7，因而不大可能生成相邻像素P7的信号的混合颜色成分。 另外，如图18所示，在半导体基底SB中的深位置处，在相邻像素的光电转换单元 PD之间，通过元件隔离区域IR的电分离不充分。因此，存储在像素P1的光电转换单元PD 的深位置处的电荷(信号)在半导体基底SB中的深位置处扩散，并且混入相邻像素P2和 P4的光电转换单元PD中。半导体基底SB内的该串扰(crosstalk)同样导致颜色混合。
如图19和20所示，由于该串扰导致发生颜色混合的难易根据入射在光电转换单 元PD上的颜色光而不同。 如图19所示，与已通过其它颜色(G、B)的颜色滤波器CF的光相比，在光电转换单 元PD中的较深位置处光电转换并存储已通过红色(R)颜色滤波器CF的光IL1'。因此，根 据红色(R)光IL1'存储在像素P1的光电转换单元PD中的电荷(信号)容易在半导体基 底SB中的深位置处通过比元件隔离区域IR更深的区域，并且扩散进相邻像素P2和P4的光 电转换单元PD中。在比元件隔离区域IR更深的区域中，可以想象，在相邻像素的光电转换 单元之间电分离不充分。因此，扩散在相邻像素P2和P4的光电转换单元PD中的电荷(信 号)容易地生成相邻像素P2和P4的信号的混合颜色成分，而不变成应该存储该扩散电荷 (信号)的像素P1的电荷(信号)。 另一方面，如图20所示，与已通过其它颜色(R、G)的颜色滤波器CF的光相比，在 光电转换单元PD中的较浅位置处对已通过蓝色(B)颜色滤波器CF的光IL6'进行光电转 换。因此，在半导体基底SB中的浅位置处，通过元件隔离区域IR阻挡根据蓝色(B)光IL6' 存储在像素P6的光电转换单元PD中的电荷(信号)，并且该电荷(信号)不大可能扩散进 相邻像素P8的光电转换单元PD中。根据蓝色(B)光IL6'存储在像素P6的光电转换单元 PD中的电荷(信号)不大可能生成相邻像素P8的信号的混合颜色成分。
由于以这种方式发生的颜色混合，从图像传感器输出的图像信号劣化，因而颜色 再现性劣化。 日本特开2004-135206号公报说明了在具有根据Bayer阵列的颜色滤波器阵列的 CCD摄像元件中，颜色混合校正从指定的颜色像素的信号减去根据指定的颜色像素的信号和除指定的颜色以外的颜色的相邻像素的信号所计算出的固定比。 在该校正处理中，假定相对于感兴趣的像素，各向同性地从与感兴趣的像素相邻 的多个周围像素发生颜色混合，即从多个周围像素以相同比率混入信号成分。在该假定下， 各向同性地减去固定比的信号成分。 另一方面，日本特开2007-142697号公报说明了下面的情况在实际的固态摄像 元件中，根据像素内或像素附近的布线模式和电极的布局，将光电转换单元的光接收面配 置在像素内的偏移位置处。结果，像素的物理中心和像素的光学中心不一致，从而使得可以 有方向性地发生从感兴趣的像素的周围像素的颜色混合。 为了解决该问题，日本特开2007-142697号公报提出相互独立地改变用于校正来 自分别位于左上、右上、左下和右下的周围像素的颜色混合的校正参数Ka、Kb、Kc和Kd。因 此，根据日本特开2007-142697号公报，可以实现对根据来自周围像素的颜色混合的量的、 具有方向性的颜色混合的校正处理。 在日本特开2007-142697号公报中，用于进行颜色混合校正处理的校正电路接收 通过通信I/F从外部所提供的方向性选择的控制信号，并根据所接收到的方向性选择控制 信号相互独立地改变校正参数Ka、 Kb、 Kc和Kd。具体地，当通过通信I/F从外部所提供的 方向性选择控制信号为0时，则设置Ka = Kb = Kl并且Kc = Kd = K2。当方向性选择控制 信号为1时，设置Ka = Kc = Kl并且Kb = Kd = K2，并且当方向性选择控制信号为2时，设 置Ka = Kd = Kl并且Kb = Kc = K2。在日本特开2007-142697号公报所述的校正电路中， 配置在固态摄像元件中的多个像素各自的信号所使用的校正参数Ka、Kb、Kc和Kd具有对各 像素共用的值。然而，严格地说，在实际的摄像设备中，像素上的入射光线的角度根据传感 器面中的像素的配置而不同。来自感兴趣的像素的相邻像素的颜色混合的量根据光线入射 角而不同，即各像素中的颜色混合的量根据传感器面中的各个像素的像素配置而不同。在 传感器面中以非均匀方式发生的这类颜色混合的情况下，利用日本特开2007-142697号公 报所述的校正电路，颜色混合校正处理的精度根据传感器面(像素阵列)中的像素的位置 而劣化的可能性高。

发明内容
本发明旨在提高对像素阵列中的各像素的颜色混合校正处理的精度。 根据本发明的第一方面，提供一种信号处理设备，其对从图像传感器输出的图像
信号进行预定信号处理，其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素
的像素阵列，所述信号处理设备包括存储单元，其存储特性信息，所述特性信息表示从相
邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特
性，所述特性与各像素在所述像素阵列中的位置相对应；以及校正单元，其根据所述特性信
息，计算与所述像素阵列中的被校正像素的位置相对应的校正系数，并且基于所述被校正
像素的相邻像素的输出图像信号和计算出的校正系数，校正所述被校正像素的输出图像信号。 根据本发明的第二方面，提供一种摄像设备，包括图像传感器，其具有沿着行方 向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元；存储单 元，其存储特性信息，所述特性信息表示从相邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与各像素在所述像素阵列中的位 置相对应；以及校正单元，其根据所述特性信息，计算与所述像素阵列中的被校正像素的位 置相对应的校正系数，并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输 出图像信号和计算出的校正系数，校正已由所述读出单元从所述被校正像素读出的输出图 像信号。 根据本发明的第三方面，提供一种摄像系统，包括摄像设备，其通过对被摄体进 行摄像，生成图像数据；以及处理设备，其从所述摄像设备接收图像数据，并处理所接收到 的图像数据；所述摄像设备包括图像传感器，其具有沿着行方向和沿着列方向排列多个 像素的像素阵列和从所述像素阵列读出信号的读出单元；存储单元，其存储特性信息，所述 特性信息表示从相邻(邻接或不邻接)像素混入所述图像传感器的所述像素阵列中的各像 素的信号成分的特性，所述特性与各像素在所述像素阵列中的位置相对应；以及生成单元， 其通过将所述特性信息添加至已由所述读出单元读出的图像信号，生成图像数据；所述处 理设备包括校正单元，所述校正单元根据包括在图像数据中的所述特性信息，计算与被校 正像素的位置相对应的校正系数，并且基于图像数据中的所述被校正像素的相邻像素的输 出图像信号和计算出的校正系数，校正图像数据中的所述被校正像素的输出图像信号。
根据本发明的第四方面，提供一种信号处理方法，用于对从图像传感器输出的图 像信号进行信号处理，其中，在该图像传感器中，沿着行方向和沿着列方向排列多个像素， 所述信号处理方法包括第一步骤，用于根据已预先存储的特性信息，计算与所述像素阵列 中的被校正像素的位置相对应的校正系数，其中，所述特性信息表示从相邻(邻接或不邻 接)像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与 各像素在所述像素阵列中的位置相对应；以及第二步骤，用于基于所述被校正像素的相邻 像素的输出图像信号和所计算出的校正系数，校正所述被校正像素的输出图像信号。
根据本发明，可以提高对像素阵列中的各像素的颜色混合校正处理的精度。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。


图1示出根据本发明第一实施例的摄像设备100的结构；
图2示出本发明第一实施例中的图像传感器3的结构； 图3示意性示出在被校正像素和与该像素相邻的像素之间发生的颜色混合；
图4示出分别入射在像素XI和X2以及沿着行的方向上的相邻像素上的光；
图5示出本发明第二实施例中的第一颜色混合特性信息和第二颜色混合特性信 息； 图6示出本发明第二实施例中的一维数据和光圈F值的表，即表示光圈(F值)和 颜色混合校正数据[xl]的表； 图7示出本发明第二实施例的一维数据和光瞳距离的表，即表示出瞳距离和颜色 混合校正数据[xl]的表； 图8示出本发明第二实施例中的各颜色的校正数据，其中校正数据i =对来自R 像素的泄露的校正，校正数据ii =对来自G像素的泄露的校正，校正数据iii =对来自B 像素的泄露的校正；
图9示出本发明第四实施例的图像传感器3j的结构； 图10A和10B示出本发明第五实施例中的图像传感器3k的结构和操作； 图11示出根据本发明第六实施例的包括摄像设备100p的摄像系统400的结构； 图12是本发明第六实施例中的校正单元201的数据流图； 图13示出现有技术； 图14A和14B示出现有技术； 图15A和15B示出现有技术； 图16示出现有技术； 图17示出现有技术； 图18示出现有技术； 图19示出现有技术； 图20示出现有技术； 图21示出本发明要解决的问题； 图22示出本发明要解决的问题。
具体实施例方式
在本说明书中，光入射角是指光的重心与光入射面的法线形成的角度。 本发明人注意到下面的情况如图21所示，通过光圈ST的开口部分入射在图像传
感器IS100的各像素上的光线PL的入射角根据像素阵列PA100的光学中心PC和像素阵列
PA100中的像素之间的位置关系而不同。本发明人认为，发生颜色混合的难易还依赖于各像
素上的光线的入射角的差异，即各像素在像素阵列PA100中的位置的差异。 然而，如图21所示，对于具有大像素尺寸(节距)的图像传感器IS100，在位于像
素阵列PA100的光学中心PC处的像素Pl和从光学中心PC偏移的位置处的像素P3之间，
在颜色混合上没有发现大的差异。 这里，像素P1接收具有形成小的入射角("0° )的重心CG1的光，并且像素P3 接收具有形成大的入射角的重心CG3的光。当像素尺寸(节距)大时，即使当存在斜入射 在处于从光学中心PC偏移的位置的像素P3上的光线(重心CG3)时，该光线也不大可能到 达相邻像素P8。换句话说，由于因像素阵列PA100中的各像素的位置的差异引起的颜色混 合的差异相对于各像素中的颜色混合的绝对量来说非常小，因而存在颜色混合的该差异不 会变得大到足以产生问题的趋势。 另一方面，如图22所示，对于具有小的像素尺寸(节距)的图像传感器IS200，在 位于像素阵列PA200的光学中心PC处的像素Pl和从光学中心PC偏移的位置处的像素P13 之间发现颜色混合的大的差异。 这里，像素Pl接收具有形成小入射角的重心CG1的光，并且像素P13接收具有形 成较大入射角的重心CG3的光。当像素尺寸(节距)小时，斜入射(以大的入射角)在处 于从光学中心PC偏移的位置处的像素P13上的光线(重心CG3)容易到达相邻像素P18。 换句话说，由于因像素阵列PA200中的各像素的位置的差异引起的颜色混合的差异相对于 各像素中的颜色混合的绝对量来说大，因而存在下面的趋势颜色混合的该差异变得大到 足以产生问题，因此不能忽视颜色混合的该差异。
特别地，像素的尺寸近年来日趋縮小，并且由于进一步縮小像素的尺寸，如图22 所示，可以想象，由像素阵列PA200中的各像素的位置的差异引起的颜色混合的差异将进 一步增大。因此，可以想象，由像素阵列PA200中的各像素的位置的差异引起的颜色混合的 差异将引起不可忽视的问题，并且将对颜色再现性具有大的影响。 接着参考图1说明根据本发明第一实施例的摄像设备100。图1示出根据本发明 第一实施例的摄像设备100的结构。 摄像设备100例如是数字照相机或数字摄像机。摄像设备100设置有下面的构件。 光学系统1包括透镜la和光圈lb。透镜la折射入射光以在图像传感器3的像素
阵列(摄像面)中形成被摄体的图像。在光路中将光圈lb设置在透镜la和图像传感器3
之间，并且光圈lb调整在通过透镜la之后被引导至图像传感器3的光的量。 在光路上将机械快门2设置在光学系统1和图像传感器3之间，并且机械快门2
控制图像传感器3的曝光。 图像传感器3将在像素阵列PA300所形成的被摄体的图像转换成图像信号。也就 是说，图像传感器3对被摄体进行摄像。图像传感器3读出并输出来自像素阵列PA300的 图像信号。图像传感器3例如是CMOS图像传感器或CCD图像传感器。
具体地，如图2所示，图像传感器3包括像素阵列PA300、读出单元31和放大器32。 图2示出本发明第一实施例中的图像传感器3的结构。 在像素阵列PA300中，在沿着行的方向和沿着列的方向上排列多个像素。各像素 均包括光电转换单元PD(参见图13)。光电转换单元PD根据光生成并存储电荷(信号)。
读出单元31从像素阵列PA300读出信号。也就是说，读出单元31从各像素读出 由像素阵列PA300的各像素的光电转换单元PD所存储的电荷(信号)或者与电荷相对应 的信号。读出单元31将已读出的信号提供至放大器32。例如，读出单元31是通过垂直信 号线从CMOS图像传感器中的各像素读出信号的电路，或者是CCD图像传感器中的垂直/水 平传输CCD。 放大器32通过放大所提供的信号来生成并输出图像信号。例如，放大器32是对通 过水平信号线从CMOS图像传感器中的读出单元31接收到的信号进行放大的输出放大器， 或者是CCD图像传感器中的浮动扩散放大器。 A/D转换器4接收从图像传感器3输出的图像信号(模拟信号)。A/D转换器4将 所接收到的图像信号(模拟信号)转换成图像信号(数字信号)，并输出转换后的信号。
时序信号生成电路5生成用作基准的时序信号，并将该时序信号提供至驱动电路 6。 驱动电路6与所提供的时序信号同步地分别驱动光学系统1、机械快门2、图像传 感器3和A/D转换器4。 电源开关(电源SW) 16从用户接收用以接通电源的指令。电源开关16将所接收 到的电源接通指令提供至系统控制单元13。 第一开关(SW1) 17从用户接收第一指令。第一指令例如是用于使得进行聚焦调节 处理、曝光控制处理和白平衡处理的指令。第一开关17将所接收到的第一指令提供至系统 控制单元13。 第二开关(SW2) 18从用户接收第二指令。第二指令例如是用于使得执行拍摄处理
10的指令。第二开关18将所接收到的第二指令提供至系统控制单元13。
系统控制单元13对摄像设备100的各部件进行整体控制。 例如，系统控制单元13响应于从电源开关16接收到的电源接通指令启动各部件。
例如，系统控制单元13响应于从第一开关17接收到的第一指令控制各部件，以进 行聚焦调节处理、曝光控制处理和白平衡处理。 例如，系统控制单元13响应于从第二开关18接收到的第二指令控制各部件，以进 行拍摄处理。 易失性存储器(RAM) 15临时存储预定数据。例如，使用易失性存储器15作为系统 控制单元13的工作区。也就是说，系统控制单元13将存储在非易失性存储器14中的程序、 控制数据和校正数据传送至易失性存储器15，将它们临时存储在易失性存储器15，并且在 对各部件进行控制时适当参考所存储的项。 非易失性存储器(ROM) 14存储用于描述由系统控制单元13执行的控制方法的程 序以及在执行该程序时所使用的参数和表等的控制数据。 另外，非易失性存储器14存储颜色混合校正处理所使用的信息，即第一颜色混合 特性信息和第二颜色混合特性信息。 第一颜色混合特性信息是表示与从相邻像素混入某像素的、同该像素在像素阵列 PA300(参见图2)中的位置相对应的信号成分有关的特性的信息。第一颜色混合特性信息 包括第一系数表。第一系数表是下面的表，在该表中，对于各像素，将在像素阵列PA300中 的位置与已预先确定的第一校正系数相关联，以校正从相邻像素混入像素的信号成分。
第二颜色混合特性信息是表示与从某像素泄露至相邻像素的、同在像素阵列 PA300(参见图2)中的位置相对应的信号成分有关的特性的信息。第二颜色混合特性信息 包括第二系数表。第二系数表是这样的表，在该表中，对于各像素，将在像素阵列PA300中 的位置与已预先确定的第二校正系数相关联，以校正从像素泄露至相邻像素的信号成分。
信号处理电路7接收已从A/D转换器4输出的图像信号(数字信号)。信号处理 电路7对所接收到的图像信号(数字信号)进行预定信号处理。 例如，信号处理电路(校正单元)7进行用于对由读出单元31(参见图2)从像素
阵列PA300中的被校正像素所读出的信号进行校正的颜色混合校正处理。 具体地，信号处理电路7根据被校正像素在像素阵列PA300中的位置和包括在第
一颜色混合特性信息中的第一系数表，计算用于校正从被校正像素的相邻像素混入被校正
像素的信号成分的第一校正系数。 信号处理电路7根据被校正像素在像素阵列PA300中的位置和包括在第二颜色混 合特性信息中的第二系数表，计算用于校正从被校正像素泄露至被校正像素的相邻像素的 信号成分的第二校正系数(第一步骤)。 信号处理电路7使用由读出单元31(参见图2)从被校正像素的相邻像素读出的 信号、第一校正系数和第二校正系数来校正由读出单元31从被校正像素所读出的信号(第 二步骤)。 信号处理电路7通过进行该信号处理生成图像数据。信号处理电路7将所生成的 图像数据提供至图像存储器8或系统控制单元13。可选地，信号处理电路7将所生成的图 像数据转换成记录用压縮图像数据，并将转换后的压縮图像数据提供至记录电路10。可选地，信号处理电路7将所生成的图像数据转换成显示用图像信号，并将转换后的显示用图 像信号提供至显示电路12。 图像存储器8临时存储从信号处理电路7所提供的图像数据。 将记录介质9可拆卸地连接至记录电路10。记录电路10将从信号处理电路7所
提供的记录用压縮图像数据记录至所连接的记录介质9。 显示电路12在图像显示装置11中显示与从信号处理电路7所提供的显示用图像 信号相对应的图像。 这样，信号处理电路7根据像素阵列PA300(参见图2)中的被校正像素的位置计 算第一校正系数和第二校正系数中的每一个，从而可以适当地设置与被校正像素的位置相 对应的第一校正系数和第二校正系数中的每一个。 另外，信号处理电路7使用从被校正像素的相邻像素读出的信号、第一校正系数 和第二校正系数来校正从被校正像素所读出的信号。因此，可以进行与像素阵列 PA300(参 见图2)中的被校正像素的位置相对应的适当的校正。 因此，可以减少由像素阵列PA300中的各像素的位置的差异引起的颜色混合的差 异对与图像信号相对应的图像的颜色再现性的影响，从而可以提高对像素阵列中各像素的 颜色混合校正处理的精度。 接着说明使用摄像设备100中的机械快门2的拍摄处理中的操作。后面所述的拍 摄处理包括曝光处理、显影处理和记录处理。 在拍摄处理中的操作(处理)之前，当开始系统控制单元13的操作时，例如当接 通摄像设备100的电源时，将必要的程序、控制数据和校正数据从非易失性存储器14传送 至易失性存储器15，并且将它们存储在易失性存储器15。 然后，开始拍摄处理。随着拍摄处理的开始，根据需要，系统控制单元13通过从非 易失性存储器14向易失性存储器15传送各种程序和数据，或者通过从非易失性存储器14 直接读出各种程序和数据，来使用各种程序和数据。 系统控制单元13控制拍摄处理中的曝光处理。利用来自系统控制单元13的控制 信号，对于光圈lb和透镜la驱动光学系统1以在图像传感器3上形成已被设置成适当亮 度的被摄体的图像。 利用来自系统控制单元13的控制信号，驱动机械快门2以根据图像传感器3的操 作在必要的曝光时间期间曝光图像传感器3。这里，当图像传感器3具有电子快门功能时， 可以与机械快门2 —起使用该功能，以确保必要的曝光时间。 通过由驱动电路6基于由系统控制单元13控制的时序信号生成电路5所生成的 工作脉冲而生成的驱动脉冲，驱动图像传感器3，并且图像传感器3将被摄体图像光电转换 成电信号，并作为模拟图像信号输出该信号。 利用由驱动电路6基于由系统控制单元13控制的时序信号生成电路5所生成的 工作脉冲而生成的驱动脉冲，通过A/D转换器4将从图像传感器3输出的模拟图像信号转 换成数字图像信号。 系统控制单元13控制拍摄处理中的显影处理。因此，信号处理电路7通过对数字 图像信号进行包括颜色混合校正的各种校正、颜色转换、白平衡和伽玛校正等图像处理、分 辨率转换处理和图像压縮处理，生成图像数据。
使用图像存储器8以在信号处理期间临时存储数字图像信号，并且存储作为信号 处理后的数字图像信号的图像数据。 系统控制单元13控制拍摄处理中的记录处理。因此，在记录电路10中，将已通过 信号处理电路7信号处理后的图像数据和已存储在图像存储器8中的图像数据转换成适于 记录介质9的压縮图像数据(例如，具有分层结构的文件系统的压縮数据)，并且将该压縮 图像数据记录至记录介质9。 另外，在对已通过A/D转换器4转换成数字图像信号的图像数据进行信号处理电 路7的分辨率转换处理之后，将该处理后的图像数据转换成适于显示电路12中的图像显示 装置ll的信号(例如，NTSC格式的模拟信号)。然后，在图像显示装置ll中显示该转换后 的信号。 这里，在信号处理电路7中，在不利用来自系统控制单元13的控制信号进行信号 处理的情况下，可以原样使用该数字图像信号作为图像数据，并且将该数字图像信号输出 至图像存储器8或记录电路10。 另外，当存在来自系统控制单元13的请求时，信号处理电路7将在信号处理过程 中所产生的数字图像信号或图像数据的信息或者从这种数字图像信号或图像数据所提取 的信息输出至系统控制单元13。例如，该数字图像信号或图像数据的信息可以是图像空间 频率、指定区域的平均值和压縮图像数据的量等的信息。 当存在来自系统控制单元13的请求时，记录电路10将记录介质9的类型和可用 空间等的信息输出至系统控制单元13。 接着说明在已将图像数据记录至记录介质9时摄像设备100中的重放操作。
系统控制单元13从第一开关17和/或第二开关18、或者从其它开关(未示出) 接收用以重放记录至记录介质9的图像数据的指令。系统控制单元13根据所接收到的重 放指令控制记录电路10。 利用来自系统控制单元13的控制信号，记录电路10从记录介质9读出图像数据。
利用来自系统控制单元13的控制信号，当图像数据为压縮图像时，信号处理电路 7进行图像解压縮处理，然后将该图像数据存储在图像存储器8中。在对存储在图像存储 器8中的图像数据进行信号处理电路7的分辨率转换处理之后，将该处理后的图像数据转 换成适于显示电路12中的图像显示装置11的信号，并且显示在图像显示装置11中。
接着参考图3说明在被校正像素和与该像素相邻的像素之间发生的颜色混合。图 3示意性示出在被校正像素和与该像素相邻的像素之间发生的颜色混合。
考虑关注一个特定像素(称为像素X)的情况。与理想信号SigX'相比，从像素X 读出的信号SigX的电平减小了泄露至相邻像素的信号成分SC11 SC14，并且该信号SigX 的电平增大了从相邻像素混入的信号成分SC1 SC4。 这里，信号成分SC11是已从像素X泄露至相对于像素X在第一方向(例如，左) 上相邻的像素L的信号成分。信号成分SC12是已从像素X泄露至相对于像素X在第二方 向(例如，右)上相邻的像素R的信号成分。信号成分SC13是已从像素X泄露至相对于像 素X在第三方向(例如，上)上相邻的像素U的信号成分。信号成分SC14是已从像素X泄 露至相对于像素X在第四方向(例如，下)上相邻的像素D的信号成分。
信号成分SC1是已从相对于像素X在第一方向(例如，左)上相邻的像素L混入像素X的信号成分。信号成分SC2是已从相对于像素X在第二方向(例如，右)上相邻的像素R混入像素X的信号成分。信号成分SC3是已从相对于像素X在第三方向(例如，上)上相邻的像素U混入像素X的信号成分。信号成分SC4是已从相对于像素X在第四方向(例如，下)上相邻的像素D混入像素X的信号成分。 已在预定方向上从像素X泄露的信号的量相对于理想信号SigX'具有固定比率，
但是这里为了简化，认为该信号的量相对于信号SigX具有固定比率。可以通过将SigX乘
以系数来计算已从像素X泄露至相邻像素的成分的信号量，其中该系数表示从像素X泄露
至各方向上的相邻像素的信号相对于已从像素X读出的信号SigX的比率。 同样，可以通过将已从各相邻像素读出的信号乘以系数来计算已从相邻像素混入
像素X的成分的信号量，其中该系数表示从各相邻像素混入像素X的信号相对于已从各相
邻像素读出的信号的比率。 这里，将已从像素X读出的信号称为SigX，并且将已从相对于像素X在第一方向(例如，左)上相邻的像素L读出的信号称为SigL。将已从相对于像素X在第二方向(例如，右)上相邻的像素R读出的信号称为SigR，并且将已从相对于像素X在第三方向(例如，上)上相邻的像素U读出的信号称为SigU。将已从相对于像素X在第四方向(例如，下)上相邻的像素D读出的信号称为SigD。 另外，将用于校正从像素X泄露至像素L的信号成分的系数称为[xl]，并且将用于校正从像素L混入像素X的信号成分的系数称为[12]。将用于校正从像素X泄露至像素R的信号成分的系数称为[x2]，并且将用于校正从像素R混入像素X的信号成分的系数称为[rl]。将用于校正从像素X泄露至像素U的信号成分的系数称为[x3]，并且将用于校正从像素U混入像素X的信号成分的系数称为[u4]。将用于校正从像素X泄露至像素D的信号成分的系数称为[x4]，并且将用于校正从像素U混入像素X的信号成分的系数称为[d3]。
这里，通过下面的公式1计算理想信号SigX'，其中已校正了包括在像素X的信号SigX中的颜色混合成分。 SigX' = SigX+SigXX ([xl] + [x2] + [x3] + [x4])-SigLX [12]-SigRX [rl]-SigUX[u4]-SigDX [d3]......公式1 如公式1所示，为了校正像素颜色混合，可以通过将四个颜色混合校正系数[12]、[rl]、[u4]和[d3]与各像素的位置(坐标)相关联来设置第一颜色混合特性信息。另外，可以通过将四个颜色混合校正系数[xl]、[x2]、[x3]和[x4]与各像素的位置(坐标)相关联来设置第二颜色混合特性信息。 可选地，根据公式1 ，可以收集用于校正从像素X泄露的信号成分的系数。因此，可以使用如下公式 [x] = [xl] + [x2] + [x3] + [x4]......公式2 并且通过将一个颜色混合校正系数[x]与各像素的位置相关联来设置第二颜色混合特性信息。 可选地，SigXX [xl]是当从像素X观察时泄露至在第一方向上相邻的像素L的信号成分，并且还是当从像素L观察时从像素X混入的信号成分。这两个信号成分在理论上是相等的。因此，可以通过将四个颜色混合校正系数[xl]、 [x2]、 [x3]和[x4]与各像素的位置相关联来设置第二颜色混合特性信息，并且可以根据第二颜色混合特性信息得到第一颜色混合特性信息。在进行颜色混合校正处理时，对于各像素的位置，信号处理电路7将四个颜色混合校正系数[12]、 [rl]、 [u4]和[d3]与四个相邻像素的、与各像素相关的四个颜色混合校正系数[xl]、 [x2]、 [x3]和[x4]相关联，对于第一颜色混合特性信息使用这些颜色混合校正系数[12]、 [rl]、 [u4]和[d3]。也就是说，可以使用将四个颜色混合校正系数[xl]、 [x2]、 [x3]和[x4]与各像素的位置相关联的系数表作为第二系数表，并且可以根据第二系数表得到第一系数表。 可选地，相反，可以通过将四个颜色混合校正系数[12] 、 [rl] 、 [u4]和[d3]与各像素的位置相关联来设置第一颜色混合特性信息，并且可以根据第一颜色混合特性信息得到第二颜色混合特性信息。在进行颜色混合校正处理时，对于各像素的位置，信号处理电路7将四个颜色混合校正系数[xl]、 [x2]、 [x3]和[x4]与四个相邻像素的、与各像素相关的四个颜色混合校正系数[12]、 [rl]、 [u4]和[d3]相关联，对于第二颜色混合特性信息使用这些颜色混合校正系数[xl]、 [x2]、 [x3]和[x4]。也就是说，可以使用将这四个颜色混合校正系数[12]、 [rl]、 [u4]和[d3]与各像素的位置相关联的系数表作为第一系数表，并且可以根据第一系数表得到第二系数表。 可以通过使用具有非常狭窄(小)的照射角的光源向图像传感器的感兴趣的单个像素上照射光来预先测量感兴趣的像素和与该像素相邻的像素的信号输出，从而计算该颜色混合校正系数。这里，从像素X或与该像素相邻的像素泄露的信号的比率根据各像素上的光线的入射角成分而改变，因此在测量时，需要在相对于感兴趣的单个像素改变照射光的角度而以多个照射角进行测量。 除相对于像素X的光的入射角与像素X及同该像素相邻的像素各自的信号量的关系以外，还基于从摄像设备的光学系统入射至图像传感器上的光线的角度和图像传感器上的各像素与摄像设备的光学中心的位置关系，来计算颜色混合校正系数。也就是说，可以创建将像素阵列中的各像素的位置与8个颜色混合校正系数[xl]、 [x2]、 [x3]、 [x4]、 [12]、[rl]、 [u4]和[d3]相关联的系数表。 可选地，可以基于通过模拟计算出的理论值确定颜色混合校正系数。可以根据图像传感器上的各像素与摄像设备的光学中心的位置关系、各像素上的光线的入射角、像素单元大小、像素节距、颜色滤波器高度和图像传感器的内部结构等，通过模拟来计算理论颜色混合校正系数。 接着参考图2和4说明像素阵列中的像素位置和颜色混合校正系数的关系。图2
示出包括像素Xc和Xl X4以及与这些像素相邻的像素的像素阵列中的各像素的位置。图
4示出分别入射在像素XI和X2以及沿着该行的方向上的相邻像素上的光。 如图2和4所示，在相对于像素阵列PA300中的光学中心PC被配置在左侧的像素
XI中，与位于该光学中心PC处的像素Xc相比，系数[xl]和[rl]大，相反地，系数[x2]和小。另一方面，在像素X1中，系数[x3]、 [x4]、 [u4]和[d3]与位于光学中心PC处的
像素Xc中的相同。 如图2和4所示，在相对于像素阵列PA300中的光学中心PC被配置在右侧的像素X2中，与位于光学中心PC处的像素Xc相比，系数[x2]和[12]大，相反地，系数[xl]和[rl]小。另一方面，在像素X2中，系数[x3]、 [x4]、 [u4]和[d3]与位于光学中心PC处的像素Xc中的相同。
15
如图2所示，在被配置在像素阵列PA300的光学中心PC上方的像素X3中，与位于光学中心PC处的像素Xc相比，系数[x3]和[d3]，相反地，系数[x4]和[u4]小。另一方面，在像素X3中，系数[xl]、[x2]、[12]和[rl]与位于光学中心PC处的像素Xc中的相同。
如图2所示，在相对于像素阵列PA300中的光学中心PC被配置在下方的像素X4中，与位于光学中心PC处的像素Xc相比，系数[x4]和[u4]大，相反地，系数[x3]和[d3]小。另一方面，在像素X4中，系数[xl]、 [x2]、 [12]和[rl]与位于光学中心PC处的像素Xc中的相同。 这样，颜色混合校正系数依赖于像素阵列PA300中的各像素与光学中心PC的位置关系，并且对于各像素具有不同值。因此，为了整个画面增加图像信号的颜色混合校正的精度，可以采用下面的系数表，在该系数表中，对于所有像素，将8个系数[xl]、 [x2]、 [x3]、[x4]、 [12]、 [rl]、 [u4]和[d3]与各像素的位置相关联。可选地，可以采用下面的系数表，在该系数表中，将5个系数[x]、[12]、[rl]、[u4]和[d3]与各像素的位置相关联。可选地，可以采用下面的系数表，在该系数表中，将4个系数[xl]、 [x2]、 [x3]和[x4]与各像素的位置相关联。可选地，可以采用下面的系数表，在该系数表中，将4个系数[12]、[rl]、[u4]和[d3]与各像素的位置相关联。 在本实施例中，说明了采用Bayer阵列的图像传感器，但是当实现本发明时，像素
中的颜色滤波器阵列不局限于Bayer阵列。另外，在本实施例中，使得各像素对于在各像素
与在上、下、左和右方向上邻接的像素之间发生的颜色混合具有各自的校正系数，但是，可
以使得各像素对于在对角方向上邻接的像素具有校正系数。此外，可以使得各像素具有不
仅用于校正在各像素与邻接像素之间发生的颜色混合而且还用于校正在各像素和与感兴
趣的像素分开预定数量的像素的像素之间发生的颜色混合的校正系数。 接着说明根据本发明的第二实施例的摄像设备100i。下面主要说明不同于第一实
施例的部分。 如图5所示，代替第一系数表，摄像设备100i的非易失性存储器14i存储第一行校正数据RD1和第一列校正数据CD1作为第一颜色混合特性信息。第一行校正数据RD1是这样的数据，在该数据中，将像素阵列PA300中沿着行的方向(水平方向)上的位置与已预先确定出的系数相关联，其中该系数用以校正从相邻像素(与被校正像素在沿着列的方向上相邻的像素)混入包括像素阵列PA300的光学中心PC的行中的像素的信号成分。第一列校正数据CD1是这样的数据，在该数据中，将像素阵列PA300中沿着列的方向(垂直方向)上的位置与已预先确定出的系数相关联，其中该系数用以校正从相邻像素(与被校正像素在沿着行的方向上相邻的像素)混入包括像素阵列PA300的光学中心PC的列中的像素的信号成分。图5示出本发明第二实施例中的第一颜色混合特性信息和第二颜色混合特性信息。 另外，如图5所示，代替第二系数表，非易失性存储器14i存储第二行校正数据RD2和第二列校正数据CD2作为第二颜色混合特性信息。第二行校正数据RD2是这样的数据，在该数据中，将像素阵列PA300中沿着行的方向(水平方向)上的位置与已预先确定出的系数相关联，其中该系数用以校正从包括像素阵列PA300的光学中心PC的行中的像素泄露至相邻像素(与被校正像素在沿着列的方向上相邻的像素)的信号成分。第二列校正数据CD2是这样的数据，在该数据中，将像素阵列PA300中沿着列的方向(垂直方向)上的位置与已预先确定出的系数相关联，其中该系数用以校正从包括像素阵列PA300的光学中心PC的列中的像素泄露至相邻像素(与被校正像素在沿着行的方向上相邻的像素)的信号成分。 摄像设备100i的信号处理电路7i根据被校正像素在像素阵列PA300中沿着行的方向上的位置和第一行校正数据RD1，计算沿着行的方向的第一校正系数[rl]和[12]。信号处理电路7i根据被校正像素在像素阵列PA300中沿着列的方向上的位置和第一列校正数据CD1，计算沿着列的方向的第一校正系数[u4]和[d3]。 另外，摄像设备100i的信号处理电路7i根据被校正像素在像素阵列PA300中沿着行的方向上的位置和第二行校正数据RD2，计算沿着行的方向的第二校正系数[xl]和[x2]。信号处理电路7i根据被校正像素在像素阵列PA300中沿着列的方向上的位置和第二列校正数据CD2，计算沿着列的方向的第二校正系数[x4]和[x3]。 这样，代替作为二维数据的第一系数表，非易失性存储器14i存储均为一维数据的第一行校正数据RD1和第一列校正数据CD1作为第一颜色混合特性信息。另外，代替作为二维数据的第二系数表，非易失性存储器14i存储均为一维数据的第二行校正数据RD2和第二列校正数据CD2作为第二颜色混合特性信息。因此，可以降低第一颜色混合特性信息的数据量和第二颜色混合特性信息的数据量。 例如，在确定颜色混合校正系数时，摄像设备的光学系统中的镜头的光圈的开口直径是影响从摄像设备的光学系统入射在图像传感器上的光线的角度的因素。因此，为了甚至在光学系统改变时也提高图像信号的颜色混合校正的精度，需要针对镜头的光圈的每一 F值改变颜色混合校正系数。这里，对于每一镜头光圈F值，摄像设备存储针对图像传感器的所有像素的颜色混合特性信息，该颜色混合特性信息包括根据像素而不同的多个颜色混合校正系数，因此颜色混合特性信息的数据量大大增加。 相反，在本实施例中，关注下面的情况由与像素阵列中的光学中心的距离确定颜色混合的量。基于所有像素的颜色混合校正系数，将配置在像素阵列中的光学中心的像素所属的像素行中的每一像素的各颜色混合校正系数[xl]、 [x2]、 [12]和[rl]转换成与[xl]、[x2]、[12]和[rl]相对应的水平方向上的一维数据。此外，将配置在像素阵列中的光学中心的像素所属的像素列中的每一像素的各颜色混合校正系数[x3] 、 [x4] 、 [u4]和[d3]转换成与[x3]、 [x4]、 [u4]和[d3]相对应的垂直方向上的一维数据。可以采用下面的结构，在该结构中，非易失性存储器14i存储颜色混合校正数据( 一维数据)，而不是颜色混合校正系数，并且信号处理电路7i通过基于该数据得到与各像素相对应的颜色混合校正系数来进行校正。 如图6所示，非易失性存储器14i存储一维数据和光圈F值的表。从该表中，信号处理电路7i选择与和拍摄条件相匹配的F值相对应的颜色混合校正数据( 一维数据)，获得与被校正像素相对应的颜色混合校正系数，因此可以进行信号校正。图6示出本发明第二实施例中的一维数据和光圈F值的表。 可选地，例如，在确定颜色混合校正系数时，镜头的出瞳距离是影响从摄像设备的光学系统入射在图像传感器上的光线的角度的因素。因此，为了即使在光学系统改变时也良好地校正图像信号的颜色混合，需要针对镜头的每一出瞳距离改变颜色混合校正系数。这里，对于镜头的每一出瞳距离，针对图像传感器的所有像素，摄像设备具有根据像素而不
17同的多个颜色混合校正系数，因此颜色混合特性信息的数据量大大增加。
相反地，在本实施例中，如图7所示，非易失性存储器14i存储一维数据和出瞳距离的表。从该表中，信号处理电路7i选择与和拍摄条件相匹配的出瞳距离相对应的颜色混合校正数据( 一维数据)，获得与被校正像素相对应的颜色混合校正系数，因此可以进行信号校正。图7示出本发明第二实施例中的一维数据和出瞳距离的表。 可选地，例如，在确定颜色混合校正系数时，当光学系统除透镜la(参见图1)以外还包括变焦透镜时，变焦透镜的变焦位置是影响从摄像设备的光学系统入射在图像传感器上的光线的角度的因素。透镜la(参见图l)的光圈和出瞳距离因改变变焦透镜的变焦位置而改变。因此，为了甚至在光学系统的工作状态改变时也提高图像信号的颜色混合校正的精度，需要针对镜头的每一变焦位置改变颜色混合校正系数。这里，对于镜头的每一变焦位置，针对图像传感器的所有像素，摄像设备具有根据像素而不同的多个颜色混合校正系数，并且因此颜色混合特性信息的数据量大大增加。 相反，在本实施例中，信号处理电路7i计算与镜头的变焦位置相匹配的光圈F值和出瞳距离。信号处理电路7i从图6所示的表中选择与计算出的F值相对应的颜色混合校正数据(一维数据)，并且从图7所示的表中选择与计算出的出瞳距离相对应的颜色混合校正数据(一维数据)。信号处理电路7i将该光圈用校正系数和该出瞳距离用校正系数相加，然后可以对被校正像素的信号进行校正。 非易失性存储器14i可以存储一维数据和变焦位置的表(未示出)。在这种情况下，从该表中，信号处理电路7i选择与和拍摄条件相匹配的变焦位置相对应的颜色混合校正数据( 一维数据)，获得与被校正像素相对应的颜色混合校正系数，因此可以进行信号校正。 可选地，例如，在确定颜色混合校正系数时，当将本发明应用于镜头可互换摄像设备等时，可以安装的镜头的类型是影响从摄像设备的光学系统入射在图像传感器上的光线的角度的因素。透镜la(参见图l)的光圈和出瞳距离由于改变安装的镜头的类型而改变。因此，为了甚至在光学系统改变时也提高图像信号的颜色混合校正的精度，需要针对安装的每一类型的镜头改变颜色混合校正系数。这里，对于安装的每一类型的镜头，针对图像传感器的所有像素，摄像设备具有根据像素而不同的多个颜色混合校正系数，因此颜色混合特性信息的数据量大大增加。 相反，在本实施例中，信号处理电路7i计算与实际安装的镜头的类型相匹配的光圈F值和出瞳距离。信号处理电路7i从图6所示的表中选择与计算出的F值相对应的颜色混合校正数据(一维数据)，并且从图7所示的表中选择与计算出的出瞳距离相对应的颜色混合校正数据(一维数据)。信号处理电路7i将该光圈用校正系数和该出瞳距离用校正系数相加，然后可以对被校正像素的信号进行校正。 非易失性存储器14i可以存储一维数据和镜头类型的表(未示出)。在这种情况下，从该表中，信号处理电路7i选择与实际安装的镜头的类型相对应的颜色混合校正数据( 一维数据)，获得与被校正像素相对应的颜色混合校正系数，因此可以进行信号校正。
可选地，例如，在确定颜色混合校正系数时，入射在光电转换单元上的光的颜色是影响从摄像设备的光学系统入射在图像传感器上的光线的角度的因素。因此，为了甚至在光学系统改变时也提高图像信号的颜色混合校正的精度，需要针对入射在光电转换单元上的光的每一颜色改变颜色混合校正系数。这里，对于入射在光电转换单元上的光的每一颜 色，针对图像传感器的所有像素，摄像设备具有根据像素而不同的多个颜色混合校正系数， 因此颜色混合特性信息的数据量大大增加。 相反，在本实施例中，非易失性存储器14i存储一维数据和光颜色的表。从该表 中，信号处理电路7i选择与被校正像素的颜色滤波器的颜色相对应的如图8所示的校正数 据(作为一维数据的行校正数据或列校正数据)。例如，当被校正像素为R像素时(当颜色 滤波器的颜色为红色时)，信号处理电路7i选择图8所示的校正数据'i'。例如，当被校正 像素为G像素时(当颜色滤波器的颜色为绿色时)，信号处理电路7i选择图8所示的校正 数据'ii'。例如，当被校正像素为B像素时(当颜色滤波器的颜色为蓝色时)，信号处理电 路7i选择图8所示的校正数据。因此，信号处理电路7i获得与被校正像素相对应的 颜色混合校正系数，并且可以进行信号校正。图8示出本发明第二实施例中的每一颜色的 校正表。 接着说明根据本发明第三实施例的摄像设备。下面主要说明不同于第一实施例的 部分。 尽管未示出，然而代替第一系数表，根据本实施例的摄像设备的非易失性存储器
存储第一关系式作为第一颜色混合特性信息。第一关系式是表示像素阵列中的位置和已确
定的用以校正从相邻像素混入像素的信号成分的第一校正系数之间的关系的公式。 另外，尽管未示出，然而代替第二系数表，该非易失性存储器存储第二关系式作为
第二颜色混合特性信息。第二关系式是表示像素阵列中的位置和已确定的用以校正从像素
泄露至相邻像素的信号成分的第二校正系数之间的关系的公式。 摄像设备的信号处理电路根据像素阵列中被校正像素的位置和第一关系式，计算 第一校正系数[rl]、 [12]、 [u4]和[d3]。 另外，摄像设备的信号处理电路根据像素阵列中被校正像素的位置和第二关系 式，计算第二校正系数[xl]、 [x2]、 [x3]和[x4]。 这样，代替作为二维数据的第一系数表，非易失性存储器存储作为O维数据的第 一关系式作为第一颜色混合特性信息。另外，代替作为二维数据的第二系数表，非易失性存 储器存储作为0维数据的第二关系式作为第二颜色混合特性信息。因此，可以进一步降低 第一颜色混合特性信息的数据量和第二颜色混合特性信息的数据量。 代替第一关系式，摄像设备的非易失性存储器可以存储第一行关系式和第一列关 系式作为第一颜色混合特性信息。第一行关系式是表示像素阵列中沿着行的方向(水平方 向)上的位置与已预先确定出的系数的关系的公式，其中该系数用以校正从相邻像素(在 沿着列的方向上相邻的像素)混入包括像素阵列的光学中心的行中的像素的信号成分。第 一列关系式是表示像素阵列中沿着列的方向(垂直方向)上的位置与已预先确定出的系数 的关系的公式，其中该系数用以校正从相邻像素(在沿着行的方向上相邻的像素)混入包 括像素阵列的光学中心的列中的像素的信号成分。 另外，代替第二关系式，非易失性存储器存储第二行关系式和第二列关系式作为 第二颜色混合特性信息。第二行关系式是表示像素阵列中沿着行的方向(水平方向)上的 位置与已预先确定出的系数的关系的公式，其中该系数用以校正从包括像素阵列的光学中 心的行中的像素泄露至相邻像素(与被校正像素在沿着列的方向上相邻的像素)的信号成分。第二列关系式是表示像素阵列中沿着列的方向(垂直方向)上的位置与已预先确定出
的系数的关系的公式，其中该系数用以校正从包括像素阵列的光学中心的列中的像素泄露
至相邻像素(与被校正像素在沿着行的方向上相邻的像素)的信号成分。 摄像设备的信号处理电路根据被校正像素在像素阵列中沿着行的方向上的位置
和第一行关系式，计算沿着行的方向的第一校正系数[rl]和[12]。信号处理电路根据被校
正像素在像素阵列中沿着列的方向上的位置和第一列关系式，计算沿着列的方向的第一校
正系数[u4]和[d3]。 另外，摄像设备的信号处理电路根据被校正像素在像素阵列中沿着行的方向上的 位置和第二行关系式，计算沿着行的方向的第二校正系数[xl]和[x2]。信号处理电路根据 被校正像素在像素阵列中沿着列的方向上的位置和第二列关系式，计算沿着列的方向的第 二校正系数[x3]和[x4]。 接着说明根据本发明第四实施例的摄像设备100j。下面主要说明不同于第一实施 例的部分。 摄像设备100j设置有图像传感器3j和信号处理电路7j。 如图9所示，图像传感器3j包括读出单元31j。在第一模式(全画面模式)下， 读出单元31 j从像素阵列PA300中的所有像素读出信号，并且在第二模式(亚采样模式 (sub-sampling mode))下，从像素阵列PA300中的一部分像素读出信号。例如，在第二模 式(亚采样模式)下，读出单元31j从图9中的黑色所表示的像素读出信号。图9示出本 发明第四实施例中的图像传感器3j的结构。 这样，在从像素阵列PA300对像素进行亚采样并且仅从所需的预定像素读取图像 信号的亚采样模式下，不从像素阵列PA300中的邻接像素读取信号，因此不可能校正邻接 像素的信号。因此，在第二模式(亚采样模式)下，在认为在所读出的图像信号中邻接的信 号的输出电平与未读出的邻接像素的信号的输出电平大致相同的情况下，以下面的方式进 行校正。 在第二模式下，信号处理电路7j使用与已由读出单元31j读出的一个帧的图像信 号中与被校正像素邻接的像素作为像素阵列PA300中被校正像素的相邻像素，来校正已从 被校正像素读出的信号。例如，在对像素X进行颜色混合校正处理时，信号处理电路7j使 用像素LL、 RR、 UU和DD作为像素X的相邻像素来校正像素X的信号。 具体地，进行下面的校正。将从像素X读出的信号称为SigX，并且将从像素LL读 出的信号称为SigLL。将从像素RR读出的信号称为SigRR，并且将从像素UU读出的信号称 为SigUU。将从像素DD读出的信号称为SigDD。如第一实施例中所述，作为与像素X相对 应的颜色混合校正系数，使用校正从像素X泄露的成分的系数[xl]、 [x2]、 [x3]和[x4]以 及校正从与像素X邻接的像素所泄露的成分的系数[12]、[rl]、[u4]和[d3]。信号处理电 路7j通过公式3所表示的计算来进行校正，从而获得校正后的信号SigX'。
SigX' = SigX+SigXX ([xl] + [x2] + [x3] + [x4])-SigLLX [12]-SigRRX [rl]-SigU UX [u4]-SigDDX [d3]......公式3 接着说明根据本发明第五实施例的摄像设备100k。下面主要说明不同于第一实施 例的部分。 摄像设备100k设置有图像传感器3k和信号处理电路7k。
如图10A所示，图像传感器3k包括读出单元31k。在第一模式(全画面模式)下， 读出单元31k从像素阵列PA300中的所有像素读出信号，并且在第三模式(加法模式)下， 通过将像素阵列PA300中位置相互靠近的相同颜色的至少两个像素各自的信号相加在一 起来进行读出。例如，在第三模式(加法模式)下，读出单元31k通过将来自图IOA中的黑 色所表示的相同颜色的像素的信号相加在一起来进行读出。图IOA示出本发明第五实施例 中的图像传感器3k的结构和操作。 在这样进行颜色混合校正之前，对于由图像传感器的各像素所生成的像素信号， 在对各组预定数量的像素进行相加之后生成图像信号的加法模式下，将图像传感器上具有 相同颜色的预定数量的像素的信号相加在一起，并且读出该结果。因此，对于校正来说，不 能原样使用与颜色混合被校正像素邻接的像素的信号。因此，在第三模式(加法模式)下， 在认为从相加的像素泄露至各邻接像素的信号的量与从位于相加的像素的重心处的像素 泄露至邻接像素的量大致相同的情况下，以下面的方式进行校正。 在第三模式下，信号处理电路7k使用相加在一起的至少两个像素的重心的位置 作为像素阵列PA300中被校正像素的位置，来校正已由读出单元31k从被校正像素读出的 信号。例如，当信号处理电路7k对图IOA中的黑色所表示的像素的信号进行相加并进行平 均以获得图10B所示的信号SigXX时，使用为黑色所表示的像素的重心的位置的像素X的 位置作为被校正像素的位置，来校正该被校正像素的信号SigXX。 具体地，进行下面的校正。对图10A中包括像素X的黑色所表示的像素的信号进行 相加并进行平均以获得图10B中的信号SigXX。对图10A中包括像素L的以粗体斜图案所 表示的像素的信号进行相加并进行平均以获得图10B中的信号SigLL。对图10A中包括像 素R的以斜线图案所表示的像素的信号进行相加并进行平均以获得图10B中的信号SigRR。 对图10A中包括像素U的以水平线图案所表示的像素的信号进行相加并进行平均以获得图 10B中的信号SigUU。对图IOA中包括像素D的以网格图案所表示的像素的信号进行相加 并进行平均以获得图10B中的信号SigDD。如第一实施例中所述，作为与像素X相对应的颜 色混合校正系数，使用校正从像素X泄露的成分的系数[xl]、 [x2]、 [x3]和[x4]以及校正 从与像素X邻接的像素所泄露的成分的系数[12]、 [rl]、 [u4]和[d3]。信号处理电路7k 通过公式4所表示的计算来进行校正，从而获得校正后的信号SigXX'。
SigXX' = SigXX+SigXXX ([xl] + [x2] + [x3] + [x4])-SigLLX [12]-SigRRX [rl]-S igUUX [u4]-SigDDX [d3]
......公式4 接着参考图11说明根据本发明第六实施例的包括摄像设备100p的摄像系统400。 图11示出根据本发明第六实施例的包括摄像设备100p的摄像系统400的结构。下面主要 说明不同于第一实施例的部分。 摄像系统400包括摄像设备100p和处理设备200。通过通信线路300将摄像设备 100p连接至处理设备200以使得能够进行通信。例如，通信线路300是串行线缆等能够进 行串行通信的有线通信线路或采用蓝牙(Bluetooth)等的无线通信线路。例如，处理设备 200是个人计算机。摄像设备100p通过通信线路300将图像数据提供至处理设备200。处 理设备200从摄像设备100p接收图像数据，并处理所接收到的图像数据。
摄像设备100p包括信号处理电路(生成单元)7p和通信接口 (I/F) 19p。
21
在本实施例中，不是在摄像设备内，而是在摄像设备外部进行颜色混合校正处理。 当在外部进行颜色混合校正处理时，需要随着图像数据一起输出进行校正所需要的信息。
因此，信号处理电路7p通过将像素阵列中的位置与已由读出电路所读出的一个 帧的图像信号相关联，来生成图像数据，并且还添加第一颜色混合特性信息和第二颜色混 合特性信息(参见图12)。信号处理电路7p将所生成的图像数据提供至通信接口 19p。
信号处理电路7p可以向图像信号(图像信息)添加与镜头F值、出瞳距离或变焦 位置等的拍摄条件相匹配的颜色混合校正系数(或者颜色混合校正数据、或者颜色混合校 正格式)。可选地，信号处理电路7p可以向图像信号(图像信息)添加与镜头F值、出瞳距 离或变焦位置等的拍摄条件有关的信息。 通信接口 19p通过通信线路300将所提供的通信数据发送至处理设备200。
处理设备200设置有通信接口 (1/F)202和校正单元201。 通信接口 202通过通信线路300从摄像设备100p接收图像数据。通信接口 202 将所接收到的图像数据提供至校正单元201。 如图12所示，校正单元201从通信接口 202接收图像数据。校正单元201根据由
图像数据所表示的像素阵列中被校正像素的位置和第一颜色混合特性信息，来计算用于校
正从相邻像素混入被校正像素的信号成分的第一校正系数。校正单元201根据由图像数据
所表示的像素阵列中被校正像素的位置和第二颜色混合特性信息，来计算用于校正从被校
正像素泄露至相邻像素的信号成分的第二校正系数。校正单元201使用图像数据中与被校
正像素相邻的像素的信号、第一校正系数和第二校正系数，来校正图像数据中被校正像素
的信号。如图12所示，校正单元201将校正后的图像信号输出至后级(例如，硬盘或存储
卡等的记录介质)。图12是本发明第六实施例中的校正单元201的数据流图。 尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开
的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
2权利要求
一种信号处理设备，其对从图像传感器输出的图像信号进行预定信号处理，其中所述图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列，所述信号处理设备包括存储单元，其存储特性信息，所述特性信息表示从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与各像素在所述像素阵列中的位置相对应；以及校正单元，其根据所述特性信息，计算与所述像素阵列中的被校正像素的位置相对应的校正系数，并且基于所述被校正像素的相邻像素的输出图像信号和计算出的校正系数，校正所述被校正像素的输出图像信号。
2. 根据权利要求l所述的信号处理设备，其特征在于，所述特性信息包括系数表，在所述系数表中，对于各像素，将像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入各像素的信号成分的校正系数相关联，以及所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述系数表，计算所述校正系数。
3. 根据权利要求l所述的信号处理设备，其特征在于，所述特性信息包括行校正数据，在所述行校正数据中，将像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数相关联；以及列校正数据，在所述列校正数据中，将像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数相关联；以及所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述行校正数据，计算沿着行方向的校正系数，并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述列校正数据，计算沿着列方向的校正系数。
4. 根据权利要求l所述的信号处理设备，其特征在于，所述特性信息包括表示像素在所述像素阵列中的位置与已预先确定的用以校正从相邻像素混入该像素的信号成分的校正系数之间的关系的关系式，以及所述校正单元根据所述被校正像素在所述像素阵列中的位置和所述关系式，计算所述校正系数。
5. 根据权利要求l所述的信号处理设备，其特征在于，所述特性信息包括行关系式，其表示像素在所述像素阵列中沿着行方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的行中的像素的信号成分的系数之间的关系；以及列关系式，其表示像素在所述像素阵列中沿着列方向的位置与已预先确定的用以校正从相邻像素混入包括所述像素阵列的光学中心的列中的像素的信号成分的系数之间的关系；以及所述校正单元根据所述被校正像素在所述像素阵列中沿着行方向的位置和所述行关系式，计算沿着行方向的校正系数，并且根据所述被校正像素在所述像素阵列中沿着列方向的位置和所述列关系式，计算沿着列方向的校正系数。
6. 根据权利要求1所述的信号处理设备，其特征在于，所述校正单元使用一帧的图像信号中与所述被校正像素邻接的像素作为所述像素阵列中所述被校正像素的相邻像素，校正所述被校正像素的输出图像信号。
7. 根据权利要求l所述的信号处理设备，其特征在于，将所述图像传感器的所述像素阵列中具有相同颜色的至少两个像素的信号相加在一起，以及所述校正单元使用相加在一起的所述至少两个像素的重心的位置作为所述被校正像素在所述像素阵列中的位置，来校正来自所述被校正像素的输出图像信号。
8. 根据权利要求1所述的信号处理设备，其特征在于，存储在所述存储单元中的所述特性信息包括表示与从各像素混入相邻像素的信号成分的特性有关的特性的信息，所述从各像素混入相邻像素的信号成分的特性与各像素在所述像素阵列中的位置相对应。
9. 一种摄像设备，包括图像传感器，其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元；存储单元，其存储特性信息，所述特性信息表示从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与各像素在所述像素阵列中的位置相对应；以及校正单元，其根据所述特性信息，计算与所述像素阵列中的被校正像素的位置相对应的校正系数，并且基于已由所述读出单元从所述被校正像素的相邻像素读出的输出图像信号和计算出的校正系数，校正已由所述读出单元从所述被校正像素读出的输出图像信号。
10. —种摄像系统，包括摄像设备，其通过对被摄体进行摄像，生成图像数据；以及处理设备，其从所述摄像设备接收图像数据，并处理所接收到的图像数据；所述摄像设备包括图像传感器，其具有沿着行方向和沿着列方向排列多个像素的像素阵列和从所述像素阵列读出信号的读出单元；存储单元，其存储特性信息，所述特性信息表示从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与各像素在所述像素阵列中的位置相对应；以及生成单元，其通过将所述特性信息添加至已由所述读出单元读出的图像信号，生成图像数据；所述处理设备包括校正单元，所述校正单元根据包括在图像数据中的所述特性信息，计算与被校正像素的位置相对应的校正系数，并且基于图像数据中的所述被校正像素的相邻像素的输出图像信号和计算出的校正系数，校正图像数据中的所述被校正像素的输出图像信号。
11. 一种信号处理方法，用于对从图像传感器输出的图像信号进行信号处理，其中，在该图像传感器中，沿着行方向和沿着列方向排列多个像素，所述信号处理方法包括第一步骤，用于根据已预先存储的特性信息，计算与所述像素阵列中的被校正像素的位置相对应的校正系数，其中，所述特性信息表示从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与各像素在所述像素阵列中的位置相对应；以及第二步骤，用于基于所述被校正像素的相邻像素的输出图像信号和所计算出的校正系数，校正所述被校正像素的输出图像信号。
全文摘要
本发明涉及一种信号处理设备、摄像设备、摄像系统和信号处理方法。该信号处理设备对从图像传感器输出的图像信号进行预定信号处理，其中，该图像传感器具有沿着行方向和沿着列方向排列多个像素的像素阵列。该信号处理设备包括存储单元，其存储特性信息，所述特性信息表示从相邻像素混入所述图像传感器的所述像素阵列中的各像素的信号成分的特性，所述特性与各像素在所述像素阵列中的位置相对应；以及校正单元，其根据特性信息，计算与像素阵列中被校正像素的位置相对应的校正系数，并且基于被校正像素的相邻像素的输出图像信号和计算出的校正系数，校正该被校正像素的输出图像信号。
文档编号H04N5/357GK101754029SQ20091020748
公开日2010年6月23日 申请日期2009年11月27日 优先权日2008年11月28日
发明者山内槙子 申请人:佳能株式会社