图像处理装置、图像处理方法、程序及记录介质的制作方法
【技术领域】
[0001]本发明涉及图像处理装置、图像处理方法、程序及记录介质，特别是涉及进行与有无异常倾斜入射光对应的混色校正的技术。
【背景技术】
[0002]一般来说，在具有马赛克状的滤色器排列的单板方式的摄像元件中，发生由来自相邻像素的光的漏入导致的混色。如果对混色的影响大的RGB的颜色信号进行数字信号处理而生成图像，则图像的颜色再现性(画质)降低，另外，难以根据混色的影响大的RGB的颜色信号来高精度地计算白平衡(WB)校正用的WB增益。
[0003]另外，如果在通过数码相机等摄像装置对被摄体图像进行摄影时强光入射到透镜，则有时由摄影透镜、大镜头的表面反射后的光在透镜内部、相机内部复杂地进行反射，以无法预料的角度前进的光由摄像元件接收。这样一来，从无法预料的角度入射到摄像元件的异常倾斜入射光会引起所谓的重影、眩光等现象，使摄影图像的画质劣化。
[0004]特别是在异常倾斜入射光的角度大的情况下，异常倾斜入射光的至少一部分入射到与所通过的滤色器相邻的像素的光电二极管。这样一来，在异常倾斜入射光所通过的滤色器与实际接收到光的光电二极管不完全对应的情况下，通过该异常倾斜入射光而较大程度地引起所谓的混色现象，导致摄影图像的颜色再现性劣化。
[0005]作为减轻混色的影响的方法，例如专利文献I公开抑制伴随着重影的颜色噪声的产生的摄像装置。在该摄像装置中，使用RAW数据来检测伴随着重影的颜色噪声的产生，校正被检测到颜色噪声的产生的像素数据的亮度电平值。
[0006]另外，专利文献2公开提高对各像素的混色校正处理的精度的摄像装置。在该摄像装置中，存储表示与从周边像素混入到校正对象像素的信号成分相关的特性的混色特性信息，根据像素排列中的校正对象像素的位置和混色特性信息来求出校正系数，对从校正对象像素读出的信号进行校正。
[0007]专利文献
[0008]专利文献1:日本特开2005-333251号公报
[0009]专利文献2:日本特开2010-130583号公报
【发明内容】
[0010]发明所要解决的课题
[0011 ] 以往一直使用的摄像元件大多具有比较单一的滤色器排列。例如，在广泛使用的拜耳排列中，由相邻配置的“R像素和G像素”及“G像素和B像素”构成的2个像素(水平方向)X 2个像素(垂直方向)的合计4个像素在水平方向和垂直方向上重复配置，从而构成滤色器排列。
[0012]在这样的具有单一的滤色器排列的摄像元件中，混色现象也比较简单，所以能够通过比较简单的混色校正来降低在图像数据上混色的影响。
[0013]然而，最近，具有比较复杂的滤色器排列的摄像元件也正在被使用，即使是具有同色的滤色器的像素彼此之间，有时相邻的像素(滤色器)的种类不同的像素也存在有多个。例如具有绿色的滤色器的像素(G像素)在拜耳排列中根据相邻的像素类型(滤色器类型)而被分为两类，但在复杂的滤色器排列中被分为非常多个种类(例如10种以上)。
[0014]混色的影响根据相邻像素的种类而变动，所以即使是具有同色的滤色器的像素，也优选进行与相邻的像素(滤色器)的种类对应的混色校正。
[0015]然而，在具有复杂的滤色器排列的摄像元件中，混色现象也复杂化，即使是本来输出相同或近似的像素数据的接近同色像素，由于混色现象，也有时从接近同色像素输出与相邻像素的滤色器的种类对应的不同的像素数据。
[0016]特别是，如果像重影光那样入射角与普通光不同的光(异常倾斜入射光)入射到摄像元件，则由于通过了相邻像素的滤色器的重影光的漏入，在接近同色像素之间产生像素数据的不自然的差异(同色级差)。关于该级差现象，即使是同色像素，与相邻像素类型对应的种类越多，则也越复杂化。在具有复杂的滤色器排列的摄像元件中，由于重影光的入射而产生的复杂的混色现象有时通过通常的混色校正无法充分地校正。特别是在从关于滤色器排列而具有由“3个像素(水平方向)X 3个像素(垂直方向)”以上的像素数构成的基本排列图案的摄像元件输出的图像数据中，有时通过通常的混色校正无法完全应对。
[0017]这样一来，在像重影光那样的异常倾斜入射光入射到摄像元件的情况下，有时显著地产生基于从接近同色像素输出的“与相邻的像素类型对应的不同的像素数据”的级差现象，所以优选尽可能地去除这样的级差。特别是，在重影光入射到具有复杂的滤色器排列的摄像元件的状态下得到的图像数据中，期望有效地去除重影光所引起的“同色像素之间的像素数据的级差”。
[0018]另一方面，即使在重影光不入射到摄像元件的情况下，根据摄像元件的像素特性(基于微透镜、滤色器、光电二极管、布线等的配置、尺寸、物性值等的特性)，会发生来自相邻像素的光的漏入而产生混色现象。因此，在重影光不入射到摄像元件的情况下，期望通过使这样的摄像元件的像素特性最优化的混色校正，降低由来自相邻像素的光的漏入导致的混色。
[0019]本发明是鉴于上述的情况而完成的，其目的在于，提供一种技术，对重影光等异常倾斜入射光入射到的像素的像素数据，降低该异常倾斜入射光所引起的同色像素间的像素数据的级差，另外对异常倾斜入射光未入射到的像素的像素数据，校正由像素特性引起的混色，从而得到高品质的图像数据。
[0020]用于解决课题的手段
[0021]本发明的一种方式涉及一种图像处理装置，具备:异常倾斜入射光检测单元，根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；第一混色校正单元，基于校正对象像素的相邻像素的像素数据，对校正对象像素的像素数据进行第一混色校正；第二混色校正单元，基于校正对象像素的周边像素的像素数据，对校正对象像素的像素数据进行第二混色校正；及混色校正判定单元，根据异常倾斜入射光检测单元的检测结果，判定由第一混色校正单元和第二混色校正单元中的哪一个混色校正单元进行图像数据的校正，混色校正判定单元进行以下判定:在由异常倾斜入射光检测单元未检测到异常倾斜入射光的情况下，由第一混色校正单元进行校正对象像素的像素数据的校正，在由异常倾斜入射光检测单元检测出异常倾斜入射光的情况下，由第二混色校正单元进行校正对象像素的像素数据的校正。
[0022]根据本方式，在未检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的相邻像素的像素数据的第一混色校正，在检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的周边像素的像素数据的第二混色校正。
[0023]因此，特别是对排列矩阵尺寸大的摄像元件，也能够应用本方式，能够解决由于异常倾斜入射光(重影光等)漏入到相邻像素的影响而产生的同色像素的级差，抑制由异常倾斜入射光导致的画质劣化。
[0024]在这里所说的“校正对象像素的相邻像素”是指与校正对象像素相邻的像素，例如具有与校正对象像素的滤色器相邻的滤色器的像素能够成为“校正对象像素的相邻像素”。例如，能够将包围校正对象像素的8个像素(在第一方向、第二方向及相对于第一方向和第二方向而具有角度的方向上与校正对象像素相邻的像素)、在第一方向和第二方向上与校正对象像素相邻的4个像素设为“校正对象像素的相邻像素”。另外，“校正对象像素的周边像素”是指在从校正对象像素起的规定范围内包含的像素，既可以与校正对象像素相邻，也可以不相邻。因此“校正对象像素的周边像素”是能够包含“校正对象像素的相邻像素”的概念。另外，从作为“校正对象像素的周边像素”的基准的校正对象像素起的范围能够根据第二混色校正的具体内容来适当确定。
[0025]在第一混色校正中，能够基于校正对象像素的相邻像素的全部或一部分像素数据，对校正对象像素的像素数据进行校正，在第二混色校正中，能够基于校正对象像素的周边像素的全部或一部分像素数据，对校正对象像素的像素数据进行校正。
[0026]在异常倾斜入射光不入射的情况下的混色主要是由来自相邻像素的光的漏入所导致的，所以能够基于校正对象像素的相邻像素的像素数据来有效地校正。另一方面，重影光等异常倾斜入射光入射到具有摄像元件内这样大小的范围(多个像素)内，所以异常倾斜入射光所引起的混色的影响能够通过综合考量了校正对象像素的周边像素的像素数据的混色校正来有效地降低。
[0027]此外，在这里所说的“异常倾斜入射光”是指与构成被摄体图像的普通光不同的未意料到的光要素，是指所通过的滤色器和光电二极管不包含在同一像素中的光要素。作为该异常倾斜入射光，例如可以包括引起重影、眩光等现象的光要素。一般来说，重影是指如下现象:通过经由透镜表面、摄像元件表面的反射而通过与本来的成像光(有效成像光)的光路不同的光路并到达像面上的光(无用光)来形成在视觉上能够辨认一定形状的光学图像。另外，眩光是指如下现象:在强光入射到光学系统的情况下，入射光的一部分被透镜表面、摄像元件表面反射而作为无用光到达像面上，导致在视觉上无法辨认一定形状的图像异常，在生成图像中产生对比度的降低、光的渗透等。
[0028]另外，对“第一方向”及“第二方向”没有特别的限定，只要是形成相互垂直(包括实质上垂直)的方向即可。例如，既可以将在由摄像装置进行摄像时的相对于被摄体的“水平方向”及“垂直方向”设为“第一方向”及“第二方向”，也可以将相对于这些“水平方向”及“垂直方向”而具有任意的角度的方向设为“第一方向”及“第二方向”。因此，在按照使在水平方向和垂直方向上二维地排列的多个像素旋转45度而得到的所谓“蜂窝型的排列”来配置多个像素的情况下，可以将与“水平方向”及“垂直方向”呈45度的方向作为“第一方向”及“第二方向”来处理。
[0029]优选的是，第二混色校正单元将具有与校正对象像素同色的滤色器的4个以上的像素作为周边像素，对校正对象像素的像素数据进行第二混色校正。
[0030]在这种情况下，在第二混色校正中，使用具有与校正对象像素同色的滤色器的像素的像素数据，并且使用4个以上的像素的像素数据，所以能够进行高精度的混色校正。
[0031]优选的是，周边像素由相对于周边像素而相邻的像素的滤色器的种类(相邻像素配置类型)相互不同的像素构成。
[0032]在这种情况下，基于相邻的像素的滤色器的种类相互不同的周边像素的像素数据来进行第二混色校正，对异常倾斜入射光所引起的各种类型的混色，能够灵活应对。
[0033]优选的是，摄像元件的多个像素具有基本排列图案，该基本排列图案是M像素XN像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与第一方向垂直的第二方向上排列有多个，周边像素是在包括校正对象像素的M像素XN像素的范围内包含的像素，并且具有与校正对象像素同色的滤色器。
[0034]在这种情况下，能够以基本排列图案为单位进行第二混色校正，能够高效地进行高精度的混色校正。
[0035]优选的是，摄像元件的多个像素具有基本排列图案，该基本排列图案是M像素XN像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与第一方向垂直的第二方向上排列有多个，周边像素是在比包括校正对象像素的M像素XN像素的范围大的范围内包含的像素，并且具有与校正对象像素同色的滤色器。
[0036]在这种情况下，能够基于在比基本排列图案大的范围内包含的像素的像素数据来进行第二混色校正，能够基于大量的像素数据来进行高精度的混色校正。
[0037]优选的是，第二混色校正单元基于从校正对象像素和周边像素的像素数据导出的代表值，进行校正对象像素的像素数据的第二混色校正。
[0038]在这种情况下，能够基于从校正对象像素和周边像素的像素数据导出的代表值来简化第二混色校正处理。
[0039]优选的是，代表值是校正对象像素和周边像素的像素数据的平均值或加权平均值。
[0040]优选的是，代表值是校正对象像素和周边像素的像素数据的中位数或众数。
[0041]通过将这些校正对象像素和周边像素的像素数据的“平均值”、“加权平均值”、“中位数”及“众数”中的任一个设为“代表值”，能够简化第二混色校正，有效地消除同色像素间的像素数据的级差。
[0042]优选的是，多个像素包括由包含至少I种以上的颜色的第一颜色的滤色器构成的第一色像素及由包含第一颜色以外的至少2种以上的颜色的第二颜色的滤色器构成的第二色像素，第一色像素具有用于得到亮度信号的贡献率比第二色像素的滤色器高的颜色的滤色器，校正对象像素是第一色像素。
[0043]亮度是影响画质的很大的原因，但根据本方式，通过将用于得到亮度信号的贡献率高的第一色像素设为校正对象像素，能够有效地改善所得到的图像的品质。
[0044]优选的是，第一色像素具有绿色、透明或白色的滤色器。
[0045]在这种情况下，将具有用于得到亮度信号的贡献率比其他颜色高的绿色、透明或白色的滤色器的像素设为校正对象像素，所以能够有效地改善所得到的图像的品质。
[0046]此外，透明的滤色器及白色的滤色器是红波长区域的光、蓝波长区域的光及绿波长区域的光中的任一个都透过的滤色器，透明的滤色器具有较高的光透射率(例如70%以上的光透射率)，白色的滤色器具有比透明的滤色器低的光透射率。
[0047]也可以是，摄像元件的多个像素具有基本排列图案，该基本排列图案是M像素XN像素(其中，M为3以上的整数，N为3以上的整数)的基本排列图案，并在第一方向和与第一方向垂直的第二方向上排列有多个，基本排列图案中，相邻像素的滤色器的种类相互不同的第一色像素包括至少5个。
[0048]根据本方式，特别是相邻像素的滤色器的种类相互不同的第一色像素在基本排列图案中包括5个以上的情况下，滤色器排列变得复杂，本发明所涉及的混色校正的有效性较高。
[0049]例如，关于拜耳排列的G(绿)像素，与相邻像素配置类型对应的种类为2种，由混色导致的同色G像素间的级差(同色级差)为I种图案，所以容易进行混色校正。另一方面，在M像素XN像素的基本排列图案中包括5个以上(例如Gl?G5)相邻像素的滤色器的种类相互不同的第一色像素的复杂的滤色器排列中，同色像素间的级差变得复杂，对画质劣化造成大的影响。根据本方式，基本排列图案包括至少5个相邻像素的滤色器的种类相互不同的第一色像素，即使对复杂的滤色器排列，也能够有效地进行第一混色校正及第二混色校正，抑制画质劣化。
[0050]本发明的其他方式涉及一种图像处理方法，具备以下步骤:根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；基于校正对象像素的相邻像素的像素数据，进行校正对象像素的像素数据的第一混色校正；基于校正对象像素的周边像素的像素数据，进行校正对象像素的像素数据的第二混色校正；及根据异常倾斜入射光检测单元的检测结果，判定通过第一混色校正和第二混色校正中的哪一个混色校正来进行图像数据设为校正，在判定是否进行图像数据的校正的步骤中，进行以下判定:在检测有无异常倾斜入射光的步骤中未检测到异常倾斜入射光的情况下，通过第一混色校正来进行校正对象像素的像素数据的校正，在检测有无异常倾斜入射光的步骤中检测到异常倾斜入射光的情况下，通过第二混色校正来进行校正对象像素的像素数据的校正。
[0051]本发明的其他方式涉及一种程序，用于使计算机执行以下步骤:根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；基于校正对象像素的相邻像素的像素数据，进行校正对象像素的像素数据的第一混色校正；基于校正对象像素的周边像素的像素数据，进行校正对象像素的像素数据的第二混色校正；及根据异常倾斜入射光检测单元的检测结果，判定通过第一混色校正和第二混色校正中的哪一个混色校正来进行图像数据的校正，在判定是否进行图像数据的校正的步骤中，进行以下判定:在检测有无异常倾斜入射光的步骤中未检测到异常倾斜入射光的情况下，通过第一混色校正来进行校正对象像素的像素数据的校正，在检测有无异常倾斜入射光的步骤中检测到异常倾斜入射光的情况下，通过第二混色校正来进行校正对象像素的像素数据的校正。
[0052]本发明的其他方式一种记录介质，记录有用于使计算机执行以下步骤的程序的计算机能够读取的代码:根据从具有多个像素的摄像元件输出的图像数据，检测有无异常倾斜入射光，该多个像素包括滤色器及光电二极管并且输出与受光量对应的像素数据；基于校正对象像素的相邻像素的像素数据，进行校正对象像素的像素数据的第一混色校正；基于校正对象像素的周边像素的像素数据，进行校正对象像素的像素数据的第二混色校正；及根据异常倾斜入射光检测单元的检测结果，判定通过第一混色校正及第二混色校正中的哪一个混色校正来进行图像数据的校正，在判定是否进行图像数据的校正的步骤中，进行以下判定:在检测有无异常倾斜入射光的步骤中未检测到异常倾斜入射光的情况下，通过第一混色校正来进行校正对象像素的像素数据的校正，在检测有无异常倾斜入射光的步骤中检测到异常倾斜入射光的情况下，通过第二混色校正来进行校正对象像素的像素数据的校正。
[0053]发明效果
[0054]根据本发明，在未检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的相邻像素的像素数据的第一混色校正，在检测到异常倾斜入射光的情况下，对校正对象像素的像素数据进行基于校正对象像素的周边像素的像素数据的第二混色校正。
[0055]因此，对重影光等异常倾斜入射光入射到的像素的像素数据，能够进行基于校正对象像素的周边像素的像素数据的第二混色校正，以降低该异常倾斜入射光所引起的同色像素间的像素数据的级差。另一方面，对异常倾斜入射光未入射到的像素的像素数据，能够进行基于校正对象像素的相邻像素的像素数据的第一混色校正，以降低像素特性所引起的混色的影响。
[0056]这样一来，根据本发明，能够通过与混色原因对应的灵活的混色校正处理来得到高品质的图像数据，能够有效地抑制通过简单的混色校正无法完全校正的“异常倾斜入射光所引起的同色像素间的像素数据的级差”。
【附图说明】
[0057]图1是表示数码相机的一个结构例的框图。
[0058]图2A是表示彩色摄像元件的滤色器(像素)的基本排列图案例的俯视图，表示在水平方向和垂直方向上排列了 4个基本排列图案P的状态。
[0059]图2B是表示彩色摄像元件的滤色器(像素)的基本排列图案例的俯视图，是I个基本排列图案P的放大图。
[0060]图3是图像处理电路的功能框图。
[0061]图4A是说明异常倾斜入射光(重影光等)所引起的混色现象的机制的剖视图，表示G像素、R像素和G像素的相邻配置例。
[0062]图4B是说明异常倾斜入射光(重影光等)所引起的混色现象的机制的剖视图，表示G像素、B像素和G像素的相邻配置例。
[0063]图5是混色判定校正部的功能框图。
[0064]图6是表示图2的滤色器排列中的G像素的种类的图。
[0065]图7是表示由混色判定校正部实施的混色校正的流程的流程图。
[0066]图8是表示第二实施方式的彩色摄像元件的滤色器排列(像素排列)的图。
[0067]图9是表示滤色器排列的基本排列图案的其他例子的图。
[0068]图10是表示滤色器排列的基本排列图案的其他例子的图。
[0069]图11是表示滤色器排列的基本排列图案的其他例子的图。
[0070]图12是表示滤色器排列的基本排列图案的其他例子的图。
[0071]图13A是表示滤色器排列的基本排列图案的其他例子的图。
[0072]图13B是表示滤色器排列的基本排列图案的其他例子的图。
[0073]图14是表示滤色器的分光灵敏度的图。
[0074]图15是表示2X2的4个像素共享I个放大器的摄像元件的一例的图。
[0075]图16是对表不混色率的校正表格的一例进行表不的图表。
[0076]图17是表示马赛克图像的8X8的分割区域的图。
[0077]图18是表示第一混色校正部的内部结构的一例的框图。
[0078]图19是表示混色校正A的一例的流程的流程图。
[0079]图20是表示在摄像元件中设置的滤色器排列的图。
[0080]图21A是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0081]图21B是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0082]图21C是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0083]图21D是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0084]图21E是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0085]图22A是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0086]图22B是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0087]图22C是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0088]图22D是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0089]图22E是说明将异常倾斜入射光的入射方向利用于混色校正的图。
[0090]图23是表示其他滤色器排列的图。
[0091]图24是表示将图23所示的滤色器排列的基本排列像素组分割成第一子排列及第二子排列的情形的图。
[0092]图25是表示其他滤色器排列的图。
[0093]图26是表示将图25所示的滤色器排列的基本排列像素组分割成第一子排列及第二子排列的情形的图。
[0094]图27是说明在图25所示的滤色器排列中判别异常倾斜入射光的入射方向的图。
[0095]图28是说明在图25所示的滤色器排列中判别异常倾斜入射光的入射方向的图。
[0096]图29是表示其他滤色器排列的图。
[0097]图30是表示将图29所示的滤