用于图像处理的设备、方法和程序、存储介质以及图像拾取设备的制作方法

用于图像处理的设备、方法和程序、存储介质以及图像拾取设备的制作方法
【专利摘要】本发明的方面的图像处理方法包括：获得由包括在水平方向和垂直方向上重复地部署基本阵列样式的图像拾取元件的图像拾取装置拾取的马赛克图像；以及存储第一校正数据和第二校正数据，所述第一校正数据包含图像拾取元件中的缺陷像素的坐标和与基本阵列样式中的缺陷像素的位置有关的校正信息，并且所述第二校正数据包含与校正信息相对应并且指示相对于缺陷像素具有与缺陷像素相同的颜色并且用于校正缺陷像素的多个周围像素的位置。然后，基于包含在第一校正数据中的校正信息，读出校正样式，基于第一校正数据和所读出的校正样式来计算将用于校正缺陷像素的周围像素的坐标，从马赛克图像提取与位于所计算的坐标处的周围像素相对应的像素值，以及通过内插所提取的像素值来计算缺陷像素的像素值。
【专利说明】用于图像处理的设备、方法和程序、存储介质以及图像拾取设备
【技术领域】
[0001]本发明涉及用于图像处理的设备、方法、程序和存储介质，以及图像拾取设备，更具体地说，涉及用于校正图像拾取元件像素中的缺陷像素的技术。
【背景技术】
[0002]已知当图像拾取元件中的像素有故障时，在图像中出现与该故障相对应的缺陷的事实。作为解决该问题的技术，已知一种缺陷校正处理(所谓的地址登记型缺陷校正处理)，其中，在图像拾取设备(相机)中预先记录图像拾取元件中的像素故障的位置，作为缺陷的坐标，以及图像拾取设备中的图像处理单元用周围像素的值或平均值替换所记录的坐标处的像素。
[0003]PTLl公开了一种图像校正方法，其中，预先确定指示在待校正的缺陷像素的周围像素中存在或不存在缺陷的校正样式(16种校正样式指示可用于内插的像素的布置)，以及与缺陷像素的地址一起，存储用于选择校正样式的4比特信息(校正样式编号)。由此，可以使用由对应于与缺陷像素的地址一起存储的校正样式编号的校正样式指定的无缺陷周围像素，来计算缺陷像素的像素值。
[0004]PTL2公开了一种彩色图像拾取元件，其颜色滤光器阵列是除拜耳阵列外的阵列，特别是随机阵列。
[0005]该彩色图像拾取元件的颜色滤光器阵列是满足感兴趣的像素的四侧的任何一个邻接具有与该感兴趣的像素相同的颜色的像素的约束条件的红(R)、绿(G)、蓝(B)的三种颜色随机阵列。由此，即使亮度定期改变的被摄体，也可以防止出现彩色莫尔条纹。此外，可以基本上阻止由于孤立的像素故障的存在而引起的分辨率劣化。
[0006]引用清单
[0007]专利文献
[0008]PTLl日本专利申请特开N0.2005-311732
[0009]PTL2日本专利申请特开N0.2000-308080

【发明内容】

[0010]技术问题
[0011]PTLl中描述的图像校正方法被应用于其颜色滤光器阵列为拜耳阵列的图像拾取元件。在拜耳阵列的情况下，取决于缺陷像素的颜色(G，或R/B)来固定可用于缺陷校正的周围像素的位置关系。因此，在PTLl中所述的图像校正方法不能应用于具有复杂颜色滤光器阵列的图像拾取元件，特别是，缺陷像素和处于缺陷像素的周围并且具有与缺陷像素相同的颜色的像素之间的位置关系变化的图像拾取元件。
[0012]在PTL2中所述的彩色图像拾取元件具有作为三种颜色随机阵列的颜色滤光器阵列。该颜色滤光器阵列需要满足感兴趣的像素的四侧的任何一个邻接具有与该感兴趣的像素相同的像素的约束条件。当校正缺陷像素时，邻接缺陷像素的四侧的任何一个的相同颜色像素的像素值被用作补充物(替换物)，以及不能执行内插处理以用于使用多个像素估
算像素值。
[0013]鉴于这种情况做出的本发明的目的是提供一种用于图像处理的设备、方法、程序和记录介质，以及图像拾取设备，它们不受颜色滤光器阵列限制、能通过最少校正数据校正具有复杂颜色滤光器阵列的图像拾取元件的缺陷像素，以及能适当地校正缺陷像素而不改变用于具有不同颜色滤光器阵列的图像拾取元件的硬件。
[0014]问题的解决方案
[0015]为实现上述目的，根据本发明的第一方面的一种图像处理设备包括:图像获取装置，该图像获取装置被配置成获取由图像拾取装置拍摄的马赛克图像，图像拾取装置包括具有在水平方向和垂直方向上重复布置的预定基本阵列样式的图像拾取元件，基本阵列样式由水平mX垂直η像素(m，η:—个是2或以上的整数，以及另一个是3或以上的整数)组成并且包括其中排列三种基色的颜色滤光器；第一存储装置，该第一存储装置被配置成存储第一校正数据，第一校正数据包含图像拾取元件中的缺陷像素的坐标和与基本阵列样式中的缺陷像素的位置相关联的校正信息；第二存储装置，该第二存储装置被配置成存储第二校正数据，第二校正数据包含用于缺陷像素的校正处理的校正样式，校正样式指示相对于缺陷像素的多个周围像素的位置，周围像素中的每个具有与缺陷像素相同的颜色，校正样式对应于校正信息；以及缺陷校正处理装置，该缺陷校正处理装置被配置成基于相应地在第一存储装置和第二存储装置中存储的第一校正数据和第二校正数据，通过内插具有相同的颜色的周围像素的像素值，计算每个缺陷像素的像素值，对缺陷像素确定周围像素，缺陷校正处理装置包括:被配置成基于包含在第一校正数据中的校正信息，从第二存储装置读取校正样式，以及基于包含在第一校正数据中的缺陷像素的坐标和所读取的校正样式，计算具有相同的颜色并且在缺陷像素的校正处理中使用的多个周围像素的坐标的装置；被配置成从马赛克图像提取与所计算的多个周围像素的坐标相对应的像素值的装置；以及被配置成通过内插与多个周围像素的坐标相对应的所提取的像素值，来计算缺陷像素的像素值的装置。
[0016]根据本发明的第一方面，通过使用周围像素的内插，校正与mXn (m，η:—个是2或以上的整数，以及另一个是3或以上的整数)像素的基本阵列样式的重复相对应的马赛克图像(图像拾取元件)中的缺陷像素。作为与图像拾取元件中的每个缺陷像素相对应的数据，存储第一校正数据和第二校正数据，所述第一校正数据包含缺陷像素的坐标和与基本阵列样式中的缺陷像素的位置有关的校正信息，所述第二校正数据包含相对于缺陷像素指示具有相同的颜色的多个周围像素的位置并且用在缺陷像素的校正处理中的校正样式，并且对应于校正信息。用于每个缺陷像素的第一校正数据包括缺陷像素的坐标和校正信息，以及校正信息是与基本阵列样式中的缺陷像素的位置有关的信息。另一方面，第二校正数据是用在校正所有缺陷像素中的共用信息。由此，可以最小化这些第一校正数据和第二校正数据的数据量。然后，基于这些第一校正数据和第二校正数据，通过内插对缺陷像素确定的相同颜色的周围像素的像素值，来计算每个缺陷像素的像素值。在此，即使基本阵列样式的大小很大以及颜色滤光器阵列复杂，第一校正数据的大小也不会改变。第一校正数据和第二校正数据是不受颜色滤光器阵列约束的数据。[0017]在根据本发明的进一步替代方面的图像处理设备中，优选的是，第二存储装置存储用于处于基本阵列样式中的相同位置的缺陷像素的第一候选校正样式至第η候选校正样式，并且包含在第一存储装置中存储的第一校正数据中的校正信息具有与一个候选校正样式至第η候选校正样式中的每个相对应的校正信息。在该方面中，不限制将用于缺陷像素的内插的校正样式(周围像素)，并且选择第一候选校正样式至第η候选校正样式的任何一个校正样式。由此，可以将最佳校正样式用于缺陷像素的校正来执行内插。
[0018]根据本发明的进一步替代方面的图像处理设备包括样式分析装置，该样式分析装置被配置成基于缺陷像素的周围像素，分析待校正的缺陷像素附近的被摄体样式；以及校正样式确定装置，该校正样式确定装置被配置成基于样式分析装置的被摄体样式的分析结果，确定与校正信息相对应的一个候选校正样式至第η候选校正样式中的任何一个校正样式，其中，缺陷校正处理装置基于包含在第一校正数据中的缺陷像素的坐标和所确定的校正样式，计算缺陷像素的像素值。在这一方面中，通过执行待校正的缺陷像素的周围像素的样式分析，确定一个候选校正样式至第η候选校正样式的任何一个校正样式，以及基于所确定的校正样式，执行内插处理。由此，可以执行不留下校正痕迹的最佳内插处理。
[0019]在根据本发明的进一步替代方面的图像处理设备中，优选地，样式分析装置基于待校正的缺陷像素的周围像素，分析水平方向、垂直方向、右上对角方向和右下对角方向上的哪一个方向是缺陷像素附近的像素的像素值的相关方向。由此，可以使用待校正的缺陷像素附近、具有相同颜色的像素的像素值或亮度的相关方向上的周围像素来执行内插处理，以及执行不留下校正痕迹的最佳内插处理。
[0020]根据本发明的进一步替代方面的图像处理设备优选地包括判别装置，该判别装置被配置成判别缺陷像素是否存在于具有与待校正的缺陷像素相同的颜色的周围像素中，以及校正样式确定装置，该校正样式确定装置被配置成基于判别装置的判别结果，确定与校正信息相对应的一个候选校正样式至第η候选校正样式中的一个校正样式，该一个校正样式不包含缺陷像素，其中，缺陷校正处理装置基于包含在第一校正数据中的缺陷像素的坐标和所确定的校正样式来计算缺陷像素的像素值。由此，作为将用在内插处理中的周围像素，可以使用不包含缺陷像素的周围像素。
[0021]在根据本发明的进一步替代方面的图像处理设备中，优选的是，缺陷校正处理装置通过加权平均具有相同颜色的周围像素的像素值来计算缺陷像素的像素值，以及在第二存储装置中存储的校正样式包含用于通过加权平均来计算缺陷像素的像素值的加权系数。由此，即使通过颜色滤光器阵列，不对称地布置待校正的缺陷像素的周围像素，也可以适当地执行内插。
[0022]在根据本发明的进一步替代方面的图像处理设备中，加权系数的总和被设定成2的乘方，以及缺陷校正处理装置在具有相同颜色的周围像素的像素值和指配给各个周围像素的加权系数之间执行积和运算，此后，将其结果除以加权系数的总和。在除以加权系数的总和的除法中，总和被设置成2的乘方。由此，可以简单地通过比特移位来执行除法。
[0023]在根据本发明的进一步替代方面的图像处理设备中，在第一存储装置中存储的第一校正数据具有用于每个缺陷像素的4字节数据，校正信息具有预定比特长度，将4个字节中的2个字节指配给缺陷像素的X坐标数据和校正信息的一些比特，以及将4个字节中的另外2个字节指配给缺陷像素的Y坐标数据和校正信息的其他比特。由此，可以减少用于每个缺陷像素的第一校正数据。此外，还可以将上述缺陷校正处理应用于具有大的图像大小并且具有大的X和Y坐标数据的图像，以及应用于要求大量校正信息的基本阵列样式。
[0024]在根据本发明的进一步替代方面的图像处理设备中，优选的是，在第一存储装置和第二存储装置中，第一校正数据和第二校正数据中的每个是可重写的。由此，可以通过重写第一校正数据和第二校正数据来处理任何图像拾取元件。
[0025]根据本发明的进一步替代方面的一种图像处理方法包括:图像获取步骤，该图像获取步骤获取由图像拾取装置拍摄的马赛克图像，图像拾取装置包括具有在水平方向和垂直方向上重复布置的预定基本阵列样式的图像拾取元件，基本阵列样式由水平mX垂直η像素(m，η:一个是2或以上的整数，以及另一个是3或以上的整数)组成并且包括其中排列至少三种颜色的颜色滤光器；使第一存储装置存储包含图像拾取元件中的缺陷像素的坐标和与基本阵列样式中的缺陷像素的位置相关联的校正信息的第一校正数据的步骤；使第二存储装置存储包含用于缺陷像素的校正处理的校正样式的第二校正数据的步骤，校正样式指示相对于缺陷像素的多个周围像素的位置，周围像素的每个具有相同的颜色，校正样式对应于校正信息；以及缺陷校正处理步骤，基于相应地在第一存储装置和第二存储装置中存储的第一校正数据和第二校正数据，通过内插具有相同颜色的周围像素的像素值，来计算每个缺陷像素的像素值，对缺陷像素确定周围像素，缺陷校正处理步骤包括:基于包含在第一校正数据中的校正信息，从第二存储装置读取校正样式，以及基于包含在第一校正数据中的缺陷像素的坐标和所读取的校正样式，计算具有相同颜色并且在缺陷像素的校正处理中使用的多个周围像素的坐标的步骤；从马赛克图像提取与所计算的多个周围像素的坐标相对应的像素值的步骤；以及通过内插与多个周围像素的坐标相对应的所提取的像素值，计算缺陷像素的像素值的步骤。
[0026]根据本发明的进一步替代方面的一种图像处理程序使计算机执行:图像获取功能，该图像获取功能获取由图像拾取装置拍摄的马赛克图像，图像拾取装置包括具有在水平方向和垂直方向上重复布置的预定基本阵列样式的图像拾取元件，基本阵列样式由水平mX垂直η像素(m，η:—个是2或以上的整数，以及另一个是3或以上的整数)组成并且包括其中排列至少三种颜色的颜色滤光器；使第一存储装置存储包含图像拾取元件中的缺陷像素的坐标和与基本阵列样式中的缺陷像素的位置相关联的校正信息的第一校正数据的功能；使第二存储装置存储包含用于缺陷像素的校正处理的校正样式的第二校正数据的功能，校正样式指示相对于缺陷像素的多个周围像素的位置，周围像素的每个具有相同的颜色，校正样式对应于校正信息；以及缺陷校正处理功能，该缺陷校正处理功能基于相应地在第一存储装置和第二存储装置中存储的第一校正数据和第二校正数据，通过内插具有相同颜色的周围像素的像素值来计算每个缺陷像素的像素值，对缺陷像素确定周围像素，缺陷校正处理功能包括:基于包含在第一校正数据中的校正信息来从第二存储装置读取校正样式，以及基于包含在第一校正数据中的缺陷像素的坐标和所读取的校正样式来计算具有相同颜色并且在缺陷像素的校正处理中使用的多个周围像素的坐标的功能；从马赛克图像提取与所计算的多个周围像素的坐标相对应的像素值的功能；以及通过内插与多个周围像素的坐标相对应的所提取的像素值，计算缺陷像素的像素值的功能。
[0027]根据本发明的进一步替代方面的一种图像拾取设备包括:图像拾取装置，该图像拾取装置包括拍摄光学系统，以及通过拍摄光学系统在其上形成被摄体图像的图像图像拾取元件；图像获取装置，该图像获取装置被配置成获取从图像拾取装置输出的图像；以及前述的任何图像处理设备。
[0028]发明有益效果
[0029]根据本发明，可以通过使用周围像素的内插，适当地校正与比拜耳阵列更复杂的基本阵列样式的重复相对应的马赛克图像(图像拾取元件)中的缺陷像素。本发明不限于任何特定的颜色滤光器阵列并且能适用于各种马赛克图像。此外，可以最小化校正缺陷像
素所需的信息量。
【专利附图】

【附图说明】
[0030]图1是图示根据本发明的图像拾取设备的实施例的框图。
[0031]图2是图示在图像拾取元件中布置的新颖的马赛克颜色滤光器阵列的图。
[0032]图3是图示将图1中所示的基本阵列样式分成3X3像素的四个集合的状态的图。
[0033]图4是图示第一校正数据的数据结构的例子的图。
[0034]图5是用于解释包含在第一校正数据中的校正信息的图。
[0035]图6是图示与图5所示的校正信息η (O≤η≤8)相对应的像素和将用在像素的校正中的周围像素之间的位置关系的图。
[0036]图7是图示表示校正信息η和校正样式之间的关系的校正样式表(第二校正数据)的第一实施例的图。
[0037]图8是图示缺陷校正处理方法的第一实施例的流程图。
[0038]图9是图示表示校正信息η和校正样式之间的关系、并且被应用于缺陷校正处理方法的第二实施例的校正样式表的图。
[0039]图10是图示表示校正信息η和校正样式之间的关系、并且被应用于缺陷校正处理方法的第三实施例的校正样式表的图。
[0040]图1lA是图示布置在图像拾取元件中的根据第二实施例的颜色滤光器阵列的图。
[0041]图1lB是图示布置在图像拾取元件中的根据第二实施例的颜色滤光器阵列的图。
[0042]图12是图示与将应用于根据第二实施例的颜色滤光器阵列的校正信息η相对应的像素和将在像素的校正中使用的周围像素之间的位置关系的图。
[0043]图13是图示说明将在缺陷像素的校正中使用的第一校正数据的替代实施例的数据结构的图。
[0044]图14Α是图示与第二候选校正信息相对应的校正样式的例子的图。
[0045]图14Β是图示与第三候选校正信息相对应的校正样式的例子的图。
[0046]图14C是图示与第四候选校正信息相对应的校正样式的例子的图。
[0047]图14D是图示与第五候选校正信息相对应的校正样式的例子的图。
[0048]图15是图示像素校正处理方法的第四实施例的流程图。
[0049]图16是将用于解释缺陷像素附近的相关方向的判别方法的图。
[0050]图17是图示缺陷校正处理方法的第五实施例的流程图。
[0051]图18是图示关联和存储在第一校正数据中包含的校正信息和第二候选校正样式至第五候选校正信息的表的图。
[0052]图19是图示布置在图像拾取元件中的根据第三实施例的颜色滤光器阵列的图。【具体实施方式】
[0053]在下文中，将参考附图，详细地描述根据本发明的用于图像处理的设备、方法、程序和存储介质，以及图像拾取设备的优选实施例。
[0054][图像拾取设备的实施例]
[0055]图1是图示根据本发明的图像拾取设备的实施例的框图。
[0056]该图像拾取设备10是将所拾取的图像存储在内部存储器(存储器单元26)或外部存储介质(图中未示出)中的数码相机。以综合方式，由中央处理单元(CPU) 12控制图像拾取设备10的整个操作。
[0057]图像拾取设备10配备有操作单元14，操作单元14包括快门按钮、模式旋钮、重放按钮、菜单/OK键、十字键、变焦按钮、返回键等等。将来自操作单元14的信号输入到CPU12，以及基于该输入信号，CPU12控制图像拾取设备10的每个电路。例如，CPU12通过设备控制单元16来控制镜头单元18、快门20和图像拾取元件22，以及执行拍摄操作控制、图像处理控制、图像数据记录/重放控制、显示单元25的显示控制等等。
[0058]镜头单元18包括对焦镜头、变焦镜头、虹膜等等。经过镜头单元18和快门20的光通量在图像拾取元件22的受光面上形成图像。
[0059]在图像拾取元件22中，按二维方式排列多个受光元件(光电二极管)。将在每个光电二极管的受光面上形成的被摄体图像转换成具有与入射光量相对应的数量的信号电压(或电子电荷)。
[0060]<图像拾取元件的第一实施例>
[0061]图2是图示上述图像拾取元件22的第一实施例的图，并且特别地图示布置在图像拾取元件22的受光面上的新颖的颜色滤光器阵列。
[0062]该图像拾取元件22的颜色滤光器阵列包含作为与6X6像素相对应的方形阵列样式的基本阵列样式P (由粗边框所示的样式)。在图像拾取元件22的受光面上，在水平方向和垂直方向上重复地布置该基本阵列样式P。即，在该颜色滤光器阵列中，通过预定周期排列用于红(R)、绿(G)和B (蓝)颜色的滤波器(R滤波器、G滤波器和B滤波器)。因此，通过预定周期排列R滤波器、G滤波器和B滤波器，因此，当执行从图像拾取元件22读取的基于RGB的RAW数据(马赛克数据)的图像处理等等时，可以根据重复样式执行该过程。
[0063]在图2所示的颜色滤光器阵列中，在颜色滤光器阵列的水平、垂直、右上对角和右下对角(NE，NW)线的每个上，布置与最有助于获得亮度信号的颜色(在本实施例中，G颜色)相对应的G滤波器。
[0064]如上所述，在颜色滤光器阵列的水平、垂直、NE和N线的每个上，布置与亮度像素相对应的G滤波器。因此，可以在高频区域中增强同步处理(色彩内插处理)(也称为去马赛克处理)的可再现性，而与高频出现在哪一方向无关。
[0065]此外，在图2所示的颜色滤光器阵列中，在颜色滤光器阵列的水平和垂直线的每个上，布置除上述G颜色外，与两个或多个其他颜色(在本实施例中，R和B颜色)相对应的R滤波器和B滤波器。
[0066]由于在颜色滤光器阵列的水平和垂直线上的每个上布置R滤波器和B滤波器，因此可以抑制彩色莫尔条纹(假色)出现。[0067]图3图示将图2中所示的基本阵列样式P分成3X3像素的四个集合的状态。
[0068]如图3所示，在基本阵列样式P中，在水平和垂直方向上，交替地布置由实线框包围的3 X 3像素的A阵列和由虚线框包围的3X3像素的B阵列。
[0069]在A阵列和B阵列的每个中，在布置在两条对角线上的四角和中心处布置G滤波器。在A阵列中，横跨中心处的G滤波器，在水平方向上排列R滤波器，以及在垂直方向上排列B滤波器。另一方面，在B阵列中，横跨中心处的G滤波器，在水平方向上排列B滤波器，以及在垂直方向上排列R滤波器。即，在A阵列和B阵列中，R滤波器和B滤波器之间的位置关系是相反的，以及其他布置是共同的。
[0070]由于在水平和垂直方向上交替地布置A阵列和B阵列，所以A阵列和B阵列的四个角处的G滤波器构成与2X2像素相对应的G滤波器方形阵列。
[0071]基于从设备控制单元16给出的读取信号，将在具有上述配置的图像拾取元件22中累积的信号电子电荷读取为与信号电子电荷相对应的电压信号。将从图像拾取元件22读取的电压信号提供给A/D转换器24，以及由A/D转换器24依序地转换成与颜色滤光器阵列相对应的R、G和B数字信号。将上述R、G和B数字信号保存在存储器单元26中。
[0072]存储器单元26包括作为易失存储器的SDRAM(同步动态随机存取存储器)、作为可重写非易失存储器的EEPR0M(电可擦可编程只读存储器)等等。当CPU12执行程序时，SDRAM用作工作区，并且用作用于临时地持有已经拾取和获取的数字图像信号的存储区。另一方面，在EEPROM中，例如，存储包括根据本实施例的图像处理程序的相机控制程序、图像拾取元件22的像素的故障信息、将在图像处理中使用的各种参数和表等等。
[0073]图像处理单元28对临时存储在存储器单元26中的数字图像信号，执行预定信号处理，诸如根据本实施例的缺陷校正处理、白平衡校正、伽马校正处理、同步处理和YC处理。稍后描述用于图像拾取元件22的故障像素(缺陷像素)的缺陷校正处理的细节。
[0074]由编码器38将由图像处理单元28处理的图像数据编码成图像显示数据，并且通过驱动器32，输出到在相机的背面上设置的显示单元25。由此，在显示单元25的图像屏幕上连续地显示被摄体图像。
[0075]通过操作单元14的快门按钮的第一步下压(半压)，CPU12开始自动对焦(AF)操作和自动曝光调整(AE)操作，以及通过设备控制单元16，在光轴方向上移动镜头单元18的对焦镜头，以执行对焦镜头到达对焦位置的控制。
[0076]在半压快门按钮时，CPU12基于从A/D转换器24输出的图像数据来计算被摄体的亮度(照相Ev值)，以及从该照相Ev值确定曝光条件(F值，快门速度)。
[0077]在完成AE操作和AF操作后，通过快门按钮的第二步下压(全压)，基于所确定的曝光条件来控制虹膜、快门20和图像拾取元件22中的电子电荷累积时间，以及执行实际的图像拾取。在实际图像拾取时从图像拾取元件22读取并由A/D转换器24A/D转换的RGB马赛克图像的图像数据临时存储在存储器单元26中。
[0078]由图像处理单元28适当地读取临时存储在存储器单元26中的图像数据，以及执行预定信号处理，包括缺陷校正处理、白平衡处理、伽马校正处理、同步处理、YC处理等等。根据预定压缩格式(例如，JPEG(联合图像专家组)格式)来压缩YC处理过的图像数据(YC数据)。以预定图像文件(例如，Exif (可交换图像文件格式)文件)格式，将压缩的图像数据存储在内部存储器或外部存储器中。[0079][缺陷校正处理]
[0080][将在缺陷像素校正中使用的第一校正数据和第二校正数据]
[0081]接着，描述将在缺陷像素校正中使用的第一校正数据和第二校正数据。
[0082]在存储器单元26中包括的非易失存储器(EEPROM)中，对图像拾取元件22的每个缺陷像素，存储由缺陷像素的坐标数据和与基本阵列样式中的缺陷像素的位置相关联的校正信息组成的第一校正数据。在此，通过在图像拾取元件22出厂前在像素基础上评估图像拾取元件22的输出数据和判别缺陷像素，对判别为缺陷像素的每个缺陷像素，生成第一校正数据，并记录在EEPROM中。[0083]如图4所示，对每个缺陷像素，第一校正数据具有4字节数据。关于4个字节中的2个字节，将低13比特指配给缺陷像素的X坐标数据，以及将高3比特指配给一些校正信息。关于4个字节中的另外两个字节，将低12比特指配给缺陷像素的Y坐标数据，以及将高4比特指配给剩余的校正信息。
[0084]由此，在能由13比特所示的O至8191范围中设置X坐标数据，以及在能由12比特图示的O至4095范围中，设置Y坐标数据。当分成3比特和4比特时记录的校正信息能具有总共7比特(=128)信息。
[0085]接着，描述上述校正信息。
[0086]校正信息是与图像拾取元件的基本阵列样式中的缺陷像素的位置相关联的信息，以及在图像拾取元件22的基本阵列样式的情况下，能由O至8的数字表示，如图5所示。
[0087]即，图像拾取元件22的基本阵列样式是6X6像素的方形阵列样式，如图2所示，以及具有在水平和垂直方向上交替地布置3X3像素的A阵列和B阵列的阵列。A阵列和B阵列对G像素具有相同的位置，并且尽管R像素和B像素之间的位置关系是相反的，但其他配置是共同的。
[0088]在图5中，通过数字0、2、4、6和8图示基本阵列样式中的G像素的位置。当指定
0、2、4、6和8中的任何一个时，也能指定该指定的G像素周围的G像素的位置关系。
[0089]通过数字1、3、5和7图示基本阵列样式中的R像素和B像素的位置。当指定1、3、5和7中的任何一个时，也能指定该指定的R像素或B像素的周围的R像素或B像素的位置关系。
[0090]因此，基本阵列样式中的上述数字O至8使得可以通过数字指定该基本阵列样式中的像素位置。这导致使得可以指定具有与该指定像素相同颜色的周围像素的信息(校正信息)。
[0091]图6是图示与图5中所示的校正信息(O < η < 8)相对应的像素和将在像素的校正中使用的周围像素之间的位置关系的图。
[0092]当5X5像素的图像大小(区域)中的中心像素是待校正的缺陷像素时，图6的例子图示作为具有与缺陷像素相同的颜色并且与图5所示的校正信息η(0 ^η^8)相对应的像素、并且最接近5X5像素的区域中的缺陷像素的三个像素或四个像素的位置关系。
[0093]当通过(00)，(01)，(02)，(03)，(04)，(10)，....，(44)图示5 X 5 像素的区域中的位置时，中心像素的位置是(22)。
[0094]例如，当与图5所示的校正信息O相对应的G像素是缺陷像素时，如由图6中的校正信息O所示，在(11)，(12)，(21)和(33)的4个位置处的G像素是最接近中心G像素的位置(22)的四个像素。当与图5所示的校正信息I相对应的像素(在A阵列的情况下为B像素，以及在B阵列的情况下为R像素)是缺陷像素时，如图6中的校正信息I所示，
(01)，(03)和(42)的3个位置处的像素是最接近中心像素的位置(22)的3个相同颜色的像素。因此，可以取决于校正信息η (O < η < 8)，指定将在缺陷校正中使用的相同颜色周围像素的位置关系(在缺陷像素的位置(22)的基础上的校正样式)。
[0095]图7是图不表不校正信息η(0 < η < 127)和校正样式之间的关系的校正样式表(第二校正数据)的第一实施例的图。在该校正样式表中，“I”被指配给在校正中使用的周围的5X2像素的像素，以及“O”被指配给不在校正中使用的像素。
[0096]如前所述，该实施例中的校正信息η是7比特(O至127)个数字，因此，可以指定128种校正样式。图7图示了 9种校正样式O至8。
[0097]图7中所示的校正样式表存储在存储器单元26的EEPROM中，作为第二校正数据。
[0098]在此，取决于图像拾取元件的基本阵列样式确定的第二校正数据是与图像拾取元件的缺陷像素的位置无关的数据。图6和图7中所示的校正样式仅是一个例子，并且即使当校正相同位置处的缺陷像素时，多个校正样式也是可能的。
[0099]<缺陷校正处理方法的第一实施例>
[0100]接着，描述在马赛克图像中包含的缺陷像素的缺陷校正处理方法的第一实施例。
[0101]图8是图示缺陷校正处理方法的第一实施例的流程图。
[0102]在图8中，首先，读取存储在存储器单元26中并且与某一缺陷像素相对应地存储的第一校正数据。如图4所示，第一校正数据是4字节数据。由该第一校正数据，读取缺陷像素的X坐标数据X和Y坐标数据Y，以及将相应地表示缺陷像素的坐标的自变量K_x，K_y设置成K_x=X和K_y=Y (步骤S10)。
[0103]随后，从上述第一校正数据读取校正信息P。即，如图4所述，读取7比特校正信息P，该7比特校正信息P由四个字节中、存储X坐标数据的2个字节的高3个比特和存储Y坐标数据的2个字节的高4个比特组成。然后，将表示校正样式的自变量Pat设置成Pat=p (步骤 S12) ο
[0104]接着，将在步骤SIO和S12中设置的自变量K_x=X、K_y=Y、Pat=p传递到函数Hosei [Pat, K_x, K_y],以及计算作为缺陷校正处理被摄体的缺陷像素的像素值Data[X, Y](步骤S14)。
[0105]S卩，函数Hosei [Pat, K_x, K_y]通过自变量K_x=X、K_y=Y,指定作为校正被摄体的缺陷像素的坐标，以及通过自变量Pat=P指定校正样式。然后，基于缺陷像素的坐标和校正样式，指定作为将在缺陷校正中使用的周围像素的多个相同颜色像素的坐标。读取这些指定像素的像素值，以及执行利用所读取的像素值的内插运算。由此，计算像素值Data[X，Y]。
[0106]对在存储器单元26中预先登记的所有缺陷像素，执行上述步骤SlO至S14中的缺陷校正处理。
[0107]<缺陷校正处理方法的第二实施例>
[0108]根据图7所示的校正样式，选择将在校正中使用的多个周围像素，以及通过这些像素的像素值的算术平均，计算缺陷像素的像素值。
[0109]在缺陷校正处理方法的第二实施例中，改进校正样式表(第二校正数据)，以及执行加权平均，以便将计算的像素的重心与待校正的缺陷像素的位置重合，或大致重合。[0110]图9是图不表不应用于缺陷校正处理方法的第二实施例的校正信息η和校正样式之间的关系的校正样式表的图。
[0111]在图9所示的校正样式中，对将在缺陷像素的校正中使用的周围像素，添加加权系数。设置这些加权系数的值，以便基于这些加权系数加权平均的像素的重心与待校正的缺陷像素的位置重合或大致重合。
[0112]即使通过颜色滤光器阵列，不对称地布置待校正的缺陷像素的相同颜色的周围像素，也可以通过使用上述校正样式表，利用加权执行算术平均，来适当地内插缺陷像素的像素值。
[0113]<缺陷校正处理方法的第三实施例>
[0114]图10是图示第三实施例的图，并且图示表示将应用于缺陷校正处理方法的第三实施例的校正信息η和校正样式之间的关系的校正样式表(第二校正数据)。
[0115]与图9所示的实施例类似，在图10所示的校正样式中，对将在缺陷像素的校正中使用的周围像素，添加加权系数。此外，在该实施例中，设置用于每个校正样式的加权系数，使得总和为64，其是2的乘方。
[0116]当通过加权平均周围像素的像素值来计算缺陷像素的像素值时，执行根据校正样式选择的周围像素的像素值和指配给各个周围像素的加权系数之间的积和运算，并且此后，执行除以加权系数的总和的除法。在该实施例中，由于加权系数的总和为64(2的6次方)，所以可以通过使积和运算后的值向低侧移位6比特来执行除以加权系数的总和的除法。这简化了用于计算缺陷像素的像素值的电路。
[0117]在此，加权系数的总`和不限于64，只是必须是2的乘方。
[0118]图7、图9和图10所示的校正样式表(第二校正数据)包含多个“0”，因此，在EEPROM中，可以将这些表记录为压缩数据，以及压缩数据可以当实际使用这些表时解压缩以及可以保持在诸如SDRAM的工作区中。
[0119]〈图像拾取元件的第二实施例〉
[0120]作为图示图像拾取元件的第二实施例的图的图1lA特别地图示在图像拾取元件的受光面上布置的颜色滤光器阵列。
[0121]该图像拾取元件的颜色滤光器阵列包含作为与6X6像素相对应的方形阵列样式的基本阵列样式。在水平方向和垂直方向上，该基本阵列样式重复地布置在上述受光面上。
[0122]图1lA所示的颜色滤光器阵列是在水平和垂直方向上交替地布置3X3像素的A阵列和3X3像素的B阵列的阵列。
[0123]在A阵列中，G滤波器被布置在中心，以及黄色Y颜色滤光器被布置在四个角。横跨中心处的G滤波器，在水平方向上排列B滤波器，以及在垂直方向上排列R滤波器。另一方面，B阵列具有相对于A阵列，G和Y颜色滤光器的位置相反以及R和B滤波器的位置相反的配置。在B阵列中，Y颜色滤光器被布置在中心，以及G滤波器被布置在四个角。横跨中心处的Y颜色滤光器，在水平方向上排列R滤波器，以及在垂直方向上排列B滤波器。
[0124]图1lB图示与上述基本阵列样式中的缺陷像素的位置相关联的校正信息η(0 < η < 8)。作为该校正信息η，指配与根据图5所示的第一实施例的基本阵列样式相同的数字。
[0125]图12是图示与图1lB中所示的校正信息η (O ^ n ^ 8)相对应的像素和将在像素的校正中使用的周围像素之间的位置关系的图。
[0126]与具有图2和图3所示的三种原色R、G和B的颜色滤光器阵列的图像拾取元件类似，具有图1lA和图1lB所示的四色R、G、B和Y的颜色滤光器阵列的图像拾取元件使得可以配置第一校正数据和第二校正数据，以及根据本发明的每个实施例来执行缺陷校正处理。
[0127]<第一校正数据的替代实施例>
[0128]图13是图示将在缺陷像素的校正中使用的第一校正数据的替代实施例的数据结构的图。
[0129]如图13所示，第一校正数据具有用于每个缺陷像素的8字节数据。8个字节中的4个字节具有与图4所示的第一校正数据相同的数据配置。在一个字节的基础上，可以将剩余4个字节指配给第二候选至第五候选校正信息。
[0130]上述第二候选至第五候选校正信息能用作说明缺陷像素附近的像素的像素值的相关方向的信息，即，用作相应地说明垂直方向(纵向)、水平方向(横向)、右上(NE)对角方向和右下(NW)对角方向的信息。
[0131]关于当与X坐标数据和Y坐标数据一起，相应地记录在2个字节中的校正信息(第一候选)为O的校正样式，用于第二候选至第五候选校正信息的校正样式可以是图14A至图14D所不的纵向样式、横向样式、NE对角样式和NW对角样式。
[0132]与第一候选校正样式一起，将这些第二候选至第五候选校正样式存储在EEPROM中，作为第二校正数据。然后，当执行缺陷校正处理时，选择上述第一候选至第五候选校正样式的最佳校正样式，以及使用被选校正样式。
[0133]<缺陷校正处理方法的第四实施例>
[0134]图15是图示缺陷校正处理方法的第四实施例的流程图。
[0135]在图15中，首先，从存储器单元26读取与缺陷像素相对应地存储的第一校正数据(步骤S20)。如图13所示，第一校正数据是8字节数据，以及从第一校正数据读取缺陷像素的X坐标数据、Y坐标数据和第一候选至第五候选校正信息。
[0136]随后，从存储器单元26读取与第一候选至第五候选校正信息相对应的第二校正数据(校正样式)(步骤S22)。
[0137]接着，分析所读取的缺陷像素的周围像素中的被摄体样式，以及检测具有与缺陷像素相同颜色的周围像素的相关方向(步骤S24)。
[0138]S卩，基于在步骤S20读取的缺陷像素的坐标数据和在步骤S22读取的第二候选至第五候选校正样式，指定用于检测具有相同颜色的像素的相关方向的像素。例如，关于当校正信息(第一候选)为O时的校正样式，如果如图14A所示，缺陷像素的位置为(0，0)，则通过作为第二候选的纵向样式指定像素位置(-3,0), (-1,0), (2,0)和(3，O)，然后，从这些像素的像素值的相关性，检测纵向方向上的相关性。类似地，如图14B至图14D所示，从作为第三候选至第五候选的横向样式、NW对角样式和NW对角样式,指定用于检测各个方向上的相关性的像素，然后，基于指定像素的像素值来检测相关性。
[0139]然后，在步骤S24中，通过样式分析检测的相关方向是纵向样式的方向的情况下，设置第二候选校正样式(步骤S26，S28)。在横向样式的方向的情况下，设置第三候选校正样式(步骤S30，S32)。在NE对角样式的方向的情况下，设置第四候选校正样式(步骤S34，S36)。在NW对角样式的方向的情况下，设置第五候选校正样式(步骤S38，S40)。
[0140]在不能判别上述四个方向的哪一方向展现出高相关性的情况下，设置第一候选校正样式(步骤S42)。
[0141]在步骤S44中，基于在步骤S20读取的缺陷像素的X坐标数据和Y坐标数据，以及由步骤S28、S32、S36、S40和S42的一个设定的校正样式，指定作为将用在缺陷校正中的相同颜色周围像素的多个像素的坐标。然后，读取这些像素的像素值，以及执行利用所读取的像素值的内插运算。由此，计算缺陷像素的像素值。
[0142]对先前登记在存储器单元26中的所有缺陷像素，执行上述步骤S20至S44中的缺陷校正处理。
[0143]<样式分析的替代实施例>
[0144]图16是用于解释缺陷像素附近的相关方向的判别方向的图。
[0145]如图16所示，从缺陷像素附近的马赛克图像挑选2X2像素的G像素。然后，按从左上到右下的顺序，将G像素的像素值定义为Gl、G2、G3和G4，以及在这种情况下，将差绝对值计算为相关方向的判别方法。
[0146]S卩，纵向方向上的差绝对值为(|Gl-G3| + |G2_G4|)/2，横向方向上的差绝对值为(IG1-G2 I +1G3-G4 I) /2，NE对角方向上的差绝对值为IG2-G3 |，以及NW对角方向上的差绝对值为 Gl-G4|。
[0147]判定相关性(相关方向)处于这四个差绝对值中具有最小差分绝对值的方向上。
[0148]对于R像素或B像素的缺陷像素，当从第一候选至第五候选校正样式选择高相关方向上的校正样式时，也能应用以该方法判别的相关方向。
[0149]<缺陷校正处理方法的第五实施例>
[0150]图17是图示缺陷校正处理方法的第五实施例的流程图。在此，对与图16所示的第四实施例共同或类似的步骤，指配相同的步骤编号，以及省略其详细描述。
[0151]在图17中，基于在步骤S20读取的缺陷像素的坐标数据和在步骤S22中读取的第一候选至第五候选校正样式，在步骤S50中，对第一候选至第五候选校正样式的每个，判别与该校正样式相对应的像素是否包含缺陷像素。基于缺陷像素的坐标数据和校正样式，导出将在缺陷校正中使用的像素的坐标数据，然后，通过坐标数据是否与所登记的缺陷像素的坐标数据相符来执行该判别。
[0152]然后，基于步骤S50中，对每个校正样式，像素中存在缺陷像素的判别结果，在第一候选校正样式不包含缺陷像素的情况下，设置第一候选校正样式(步骤S52，S28)。在第二候选校正样式不包含缺陷像素的情况下，设置第二候选校正样式(步骤S54，S32)。在第三候选校正样式不包含缺陷像素的情况下，设置第三候选校正样式(步骤S56，S36)。在第四候选校正样式不包含缺陷像素的情况下，设置第四候选校正样式(步骤S58，S40)。
[0153]在所有上述第一候选至第四候选校正样式均包含缺陷像素的情况下，设置第五候选校正样式(步骤S60)。在此，包含许多缺陷像素的图像拾取元件可以宣布为缺陷产品，因此，通常，不使用第五候选校正样式。如果将所有第一候选至第五候选校正样式均包含缺陷像素的情形添加为缺陷产品条件，那么可以使用校正样式中的一个来执行缺陷校正。
[0154]在上述实施例中，如图13所示，将第二候选至第五候选校正信息添加到第一校正数据，但本发明不限于此。例如，如图4所示，第一校正数据可以仅具有一个校正信息，以及如图18所示，可以与在第一校正数据中包含的校正信息关联地单独存储第二候选至第五候选校正信息。这使得可以具有多个候选校正信息，而不增加第一校正数据的数据量。
[0155][附加内容]
[0156]在上述实施例中，已经描述了图像拾取元件的颜色滤光器阵列的基本阵列样式具有6X6像素的情形，但本发明不限于此。例如，可以将基本阵列样式为图3所示的3X3像素的A阵列或B阵列应用于图像拾取元件。而且，本发明能应用于颜色滤光器阵列包含如图19所示与8X8像素相对应的基本阵列样式(由粗边框所示的样式)，以及在水平方向和垂直方向上在受光面上重复地布置该基本阵列样式的图像拾取元件。当将图19所示的基本阵列样式分成4X4像素的四个集合时，对角4X4图像具有相同的阵列。关于邻接水平方向或垂直方向的4X4像素集合的阵列，R滤波器和B滤波器之间的位置关系是相反的，但其他布置是共同的。因此，当准备了 16(=4X4)种校正样式时，即使基本阵列样式的任何一个像素有故障，也可以执行校正。
[0157]关于图像拾取元件的颜色滤光器阵列的基本阵列样式，具有复杂颜色滤光器阵列的各种样式是可能的。例如，在包括水平mX垂直η像素(m，η:—个是2或以上的整数，另一个是3或以上的整数)以及排列包括三原色的颜色滤光器的基本阵列样式中，即使随机地布置各个颜色滤光器，也能应用本发明。在这种情况下，当准备了 mXn种校正样式时，SP使基本阵列样式的任何一个像素有故障，也可以执行校正。
[0158]在图像处理中，优选的是，水平mX垂直η像素的基本阵列样式是在水平方向和垂直方向上具有相同周期的方形阵列样式(m=n)。在这种情况下，m和η是3或以上的整数。水平mX垂直n (m, η:一个是2或以上的整数，以及另一个是3或以上的整数)的基本阵列样式可以具有各种大小。优选地，考虑到图像处理，诸如摄像时的同步处理(去马赛克处理)和细化处理的方便，m和η应当为10或以下。
[0159]此外，根据本发明，可以简单地通过重写在诸如EEPROM的非易失存储器中存储的第一校正数据和第二校正数据，适当地校正具有不同颜色滤光器阵列的图像拾取元件中的缺陷像素，而不改变硬件。
[0160]在本实施例中，已经描述了具有包括缺陷校正处理的图像处理设备的图像拾取设备。然而，可以通过外部图像处理设备来执行包括缺陷校正处理的图像处理。在这种情况下，图像拾取设备可以记录不执行包括缺陷校正处理的图像处理的马赛克图像(RAW数据)，以及在RAW数据的RAW显影时，外部图像处理设备可以根据本发明执行缺陷校正处理。在这种情况下，有必要将在缺陷校正中使用的第一校正数据和第二校正数据传递到外部图像处理设备。此外，包括根据本发明的缺陷校正处理的图像处理程序(包括第一校正数据和第二校正数据)可以嵌入在用于图像拾取设备的专用RAW开发软件中。
[0161]不必说，本发明不限于上述实施例，以及在不背离本发明的精神的情况下可以在该范围中进行各种修改。
[0162]{参考符号清单}
[0163]10图像拾取设备
[0164]12中央处理单元(CPU)
[0165]14操作单元
[0166]18镜头单元[0167]22图像拾取元件
[0168]26存储器单元
[0169]28图像处理单元
【权利要求】
1.一种图像处理设备，包括: 图像获取装置，所述图像获取装置被配置成:获取由图像拾取装置拍摄的马赛克图像，所述图像拾取装置包括图像拾取元件，所述图像拾取元件具有在水平方向和垂直方向上重复布置的预定基本阵列样式，所述基本阵列样式由水平mx垂直η像素组成并且包括排列在其中的至少三个颜色的颜色滤光器，m、η:一个是2或以上的整数，以及另一个是3或以上的整数； 第一存储装置，所述第一存储装置被配置成:存储第一校正数据，所述第一校正数据包含所述图像拾取元件中的缺陷像素的坐标和与所述基本阵列样式中的所述缺陷像素的位置相关联的校正信息； 第二存储装置，所述第二存储装置被配置成:存储第二校正数据，所述第二校正数据包含用于所述缺陷像素的校正处理的校正样式，所述校正样式指示了相对于所述缺陷像素的多个周围像素的位置，所述周围像素的每个具有与所述缺陷像素相同的颜色，所述校正样式对应于所述校正信息；以及 缺陷校正处理装置，所述缺陷校正处理装置被配置成:基于相应地在所述第一存储装置和所述第二存储装置中存储的所述第一校正数据和所述第二校正数据，通过内插具有相同颜色的所述周围像素的像素值，来计算每个缺陷像素的像素值，所述周围像素是针对所述缺陷像素而确定的， 其中，所述缺陷校正处理装置包括: 坐标计算装置，所述坐标计算装置被配置成:基于包含在所述第一校正数据中的所述校正信息，来从所述第二存储装置读取所述校正样式，以及基于包含在所述第一校正数据中的所述缺陷像素的所述坐标和所读取的校正样式，来计算具有相同颜色并且在所述缺陷像素的所述校正处理中使用的所述多个周围像素的坐标； 像素值提取装置，所述像素值提取装置被配置成:从所述马赛克图像提取与所计算的所述多个周围像素的坐标相对应的所述像素值；以及 像素值计算装置，所述像素值计算装置被配置成:通过内插与所述多个周围像素的所述坐标相对应的所提取的像素值，来计算所述缺陷像素的所述像素值。
2.根据权利要求1所述的图像处理设备， 其中，所述第二存储装置存储第一候选校正样式至第η候选校正样式，用于所述基本阵列样式中的相同位置的所述缺陷像素，以及 在所述第一存储装置中存储的所述第一校正数据中包含的所述校正信息具有与所述一个候选校正样式至第η候选校正样式中的每个相对应的校正信息。
3.根据权利要求2所述的图像处理设备，进一步包括: 样式分析装置，所述样式分析装置被配置成:基于所述缺陷像素的周围像素，来分析待校正的所述缺陷像素附近的被摄体样式；以及 校正样式确定装置，所述校正样式确定装置被配置成:基于由所述样式分析装置对所述被摄体样式的分析结果，确定与所述校正信息相对应的所述一个候选校正样式至第η候选校正样式中的任何一个校正样式， 其中，所述缺陷校正处理装置基 于包含在所述第一校正数据中的所述缺陷像素的所述坐标和所确定的校正样式，来计算所述缺陷像素的所述像素值。
4.根据权利要求3所述的图像处理设备， 其中，所述样式分析装置基于待校正的所述缺陷像素的所述周围像素，来分析所述水平方向、所述垂直方向、右上对角方向和右下对角方向上的哪一方向是所述缺陷像素附近的像素的像素值的相关方向。
5.根据权利要求2所述的图像处理设备，进一步包括: 判别装置，所述判别装置被配置成:判别缺陷像素是否存在于具有与待校正的所述缺陷像素相同颜色的周围像素中；以及 校正样式确定装置，所述校正样式确定装置被配置成:基于由所述判别装置的判别结果，确定与所述校正信息相对应的所述一个候选校正样式至第η候选校正样式中的一个校正样式，所述一个校正样式不包含缺陷像素， 其中，所述缺陷校正处理装置基于包含在所述第一校正数据中的所述缺陷像素的所述坐标和所确定的校正样式，来计算所述缺陷像素的所述像素值。
6.根据权利要求1至5中的任何一个所述的图像处理设备， 其中，所述缺陷校正处理装置通过将具有相同颜色的所述周围像素的所述像素值进行加权平均，来计算所述缺陷像素的所述像素值，以及 在所述第二存储装置中存储的所述校正样式包含加权系数，用于通过所述加权平均来计算所述缺陷像素的所述像素值。
7.根据权利要求6所述的图像处理设备， 其中，所述加权系数的总和被设定成2的乘方，以及 所述缺陷校正处理装置在具有相同颜色的所述周围像素的所述像素值和指配给相应周围像素的所述加权系数之间执行积和运算，此后，将其结果除以所述加权系数的所述总和。
8.根据权利要求1至7中的任何一个所述的图像处理设备， 其中，在所述第一存储装置中存储的所述第一校正数据具有用于每个缺陷像素的4字节数据， 所述校正信息具有预定比特长度， 将所述4字节中的两个字节指配给所述缺陷像素的X坐标数据和所述校正信息的一些比特，以及 将所述4字节中的另外两个字节指配给所述缺陷像素的Y坐标数据和所述校正信息的其他比特。
9.根据权利要求1至8中的任何一个所述的图像处理设备， 其中，在所述第一存储装置和所述第二存储装置中，所述第一校正数据和所述第二校正数据中的每个是可重写的。
10.一种图像处理方法，包括: 图像获取步骤:获取由图像拾取装置拍摄的马赛克图像，所述图像拾取装置包括图像拾取元件，所述图像拾取元件具有在水平方向和垂直方向上重复布置的预定基本阵列样式，所述基本阵列样式由水平mx垂直η像素组成并且包括排列在其中的至少三种颜色的颜色滤光器，m、η:一个是2或以上的整数，以及另一个是3或以上的整数； 使第一存储装置存储第一校正数据的步骤，所述第一校正数据包含所述图像拾取元件中的缺陷像素的坐标和与所述基本阵列样式中的所述缺陷像素的位置相关联的校正信息； 使第二存储装置存储第二校正数据的步骤，所述第二校正数据包含用于所述缺陷像素的校正处理的校正样式，所述校正样式指示了相对于所述缺陷像素的多个周围像素的位置，所述周围像素的每个具有与所述缺陷像素相同的颜色，所述校正样式对应于所述校正/[目息;以及 缺陷校正处理步骤:基于相应地在所述第一存储装置和所述第二存储装置中存储的所述第一校正数据和所述第二校正数据，通过内插具有所述相同颜色的所述周围像素的像素值，来计算每个缺陷像素的像素值，所述周围像素是针对所述缺陷像素而确定的， 其中，所述缺陷校正处理步骤包括: 坐标计算步骤:基于包含在所述第一校正数据中的所述校正信息，从所述第二存储装置读取所述校正样式，以及基于包含在所述第一校正数据中的所述缺陷像素的所述坐标和所读取的校正样式，来计算具有所述相同颜色并且在所述缺陷像素的所述校正处理中使用的所述多个周围像素的坐标； 像素值提取步骤:从所述马赛克图像提取与所计算的所述多个周围像素的坐标相对应的所述像素值；以及 像素值计算步骤:通过内插与所述多个周围像素的所述坐标相对应的所提取的像素值，来计算所述缺陷像素的所述像素值。
11.一种图像处理程序，所述图像处理程序使计算机执行: 图像获取功能，所述图像获取·功能获取由图像拾取装置拍摄的马赛克图像，所述图像拾取装置包括图像拾取元件，所述图像拾取元件具有在水平方向和垂直方向上重复布置的预定基本阵列样式，所述基本阵列样式由水平mx垂直η像素组成并且包括排列在其中的至少三种颜色的颜色滤光器，m、n:—个是2或以上的整数，以及另一个是3或以上的整数； 使第一存储装置存储第一校正数据的功能，所述第一校正数据包含所述图像拾取元件中的缺陷像素的坐标和与所述基本阵列样式中的所述缺陷像素的位置相关联的校正信息； 使第二存储装置存储第二校正数据的功能，所述第二校正数据包含用于所述缺陷像素的校正处理的校正样式，所述校正样式指示了相对于所述缺陷像素的多个周围像素的位置，所述周围像素的每个具有与所述缺陷像素相同的颜色，所述校正样式对应于所述校正/[目息;以及 缺陷校正处理功能，所述缺陷校正处理功能基于相应地在所述第一存储装置和所述第二存储装置中存储的所述第一校正数据和所述第二校正数据，通过内插具有所述相同颜色的所述周围像素的像素值，来计算每个缺陷像素的像素值，所述周围像素是针对所述缺陷像素而确定的， 其中，所述缺陷校正处理功能包括: 坐标计算功能，所述坐标计算功能基于包含在所述第一校正数据中的所述校正信息，从所述第二存储装置读取所述校正样式，以及基于包含在所述第一校正数据中的所述缺陷像素的所述坐标和所读取的校正样式，来计算具有所述相同颜色并且在所述缺陷像素的所述校正处理中使用的所述多个周围像素的坐标；像素值提取功能，所述像素值提取功能从所述马赛克图像提取与所计算的所述多个周围像素的坐标相对应的所述像素值；以及 像素值计算功能，所述像素值计算功能通过内插与所述多个周围像素的所述坐标相对应的所提取的像素值，来计算所述缺陷像素的所述像素值。
12.—种非临时性计算机可读存储介质，被配置成使得当由处理器读取和执行在所述存储介质中存储的指令时，所述处理器执行: 图像获取步骤:获取由图像拾取装置拍摄的马赛克图像，所述图像拾取装置包括图像拾取元件，所述图像拾取元件具有在水平方向和垂直方向上重复布置的预定基本阵列样式，所述基本阵列样式由水平mX垂直η像素组成并且包括排列在其中的至少三种颜色的颜色滤光器，m、η:一个是2或以上的整数，以及另一个是3或以上的整数； 使第一存储装置存储第一校正数据的步骤，所述第一校正数据包含所述图像拾取元件中的缺陷像素的坐标和与所述基本阵列样式中的所述缺陷像素的位置相关联的校正信息； 使第二存储装置存储第二校正数据的步骤，所述第二校正数据包含用于所述缺陷像素的校正处理的校正样式，所述校正样式指示了相对于所述缺陷像素的多个周围像素的位置，所述周围像素的每个具有与所述缺陷像素相同的颜色，所述校正样式对应于所述校正/[目息;以及 缺陷校正处理步骤:基于相应地在所述第一存储装置和所述第二存储装置中存储的所述第一校正数据和所述第二校正数据，通过内插具有所述相同颜色的所述周围像素的像素值，来计算每个缺陷像素的像素值，所述周围像素是针对所述缺陷像素而确定的， 其中，所述缺陷校正处理步骤包括: 坐标计算步骤:基于包含在所述第一校正数据中的所述校正信息，来从所述第二存储装置读取所述校正样式，以及基于包含在所述第一校正数据中的所述缺陷像素的所述坐标和所读取的校正样式，来计算具有所述相同颜色并且在所述缺陷像素的所述校正处理中使用的所述多个周围像素的坐标； 像素值提取步骤:从所述马赛克图像提取与所计算的所述多个周围像素的坐标相对应的所述像素值；以及 像素值计算步骤:通过内插与所述多个周围像素的所述坐标相对应的所提取的像素值，来计算所述缺陷像素的所述像素值。
13.一种图像拾取设备，包括: 图像拾取装置，所述图像拾取装置包括拍摄光学系统和图像拾取元件，通过所述拍摄光学系统在所述图像拾取元件上形成被摄体图像； 图像图像获取装置，所述图像获取装置被配置成:获取从所述图像拾取装置输出的图像；以及 根据权利要求1至9中的任何一个的图像处理设备。
【文档编号】H04N5/367GK103828345SQ201280047885
【公开日】2014年5月28日 申请日期:2012年6月21日 优先权日:2011年9月29日
【发明者】河合智行, 矢村豪彦 申请人:富士胶片株式会社