图像处理装置及图像处理方法、摄像装置的制作方法

专利名称：图像处理装置及图像处理方法、摄像装置的制作方法
技术领域：
本发明涉及一种图像处理装置和图像处理方法、使用这些图像处理装置或图像处 理方法的摄像装置、以及计算机程序。其中，图像处理装置和图像处理方法用于处理具有规 定的颜色编码的滤波器(滤色器)的固体摄像装置的输出信号。
背景技术：
照相机作为记录视觉信息的装置具有长久历史。最近，取代使用胶片和感光板 进行摄像的银盐照相机，将利用 CCD(Charge Coupled Device)和 CMOS (Complementary Metal-Oxide Semiconductor)等固体摄像元件捕获的图像数字化的数码照相机广泛普及。利用固体摄像元件的图像传感器包括以下结构排列成二维的各像素(光电二极 管)利用光电效果将光转换为电荷。通常在受光面上设置包括R(红)、绿(G)、蓝(B)三种 颜色的滤色器，将入射光的颜色分解为人眼可见的三原色。并且，对于各像素读取与经过 滤色器的入射光量对应地累积的信号电荷，从而可得到人眼可见的RGB图像信号。而且，将RGB图像信号进行颜色空间转换，成为YUV图像信号，用于显示输出和图 像记录。YUV用亮度信号Y和包括红色色差U以及蓝色色差U的两个色度来表现颜色，通 过YUV转换，利用人们对于亮度的分辨率高、而对于颜色的分辨率低的视觉灵敏度特性，容 易进行数据压缩。例如，在 NTSC (National Television Standards committee)标准中，利 用以下三个式子进行由RGB到YUV的颜色空间转换。Y = O. 6G+0. 3R+0. IB......(1)Cr (R-Y) = R- (0. 3R+0. 6G+0. 1B)......(2)Cb (B-Y) = B- (0. 3R+0. 6G+0. 1B)......(3)例如，已知有一种三片式摄像装置，S卩、对于三个固体摄像装置，将R(红)、G(绿)、 B (蓝)原色滤色器配置在相同空间相位上，从而得到高分辨率的RGB信号，实现提高画质。 但是，三片式摄像装置需要使用棱镜，所以，很难实现装置的小型化和低成本，其中，该棱镜 使用三个固体摄像装置，将入射光分解为RGB的每个颜色。另一方面，还有一种单片式摄像装置，其通过在一个固体摄像装置上以像素为单 位适当排列RGB的滤色器，从而实现小型化、低成本化。在该单片式摄像装置上，进行以像 素为单位间歇地排列R、G、B的各滤色器的颜色编码。作为颜色编码的代表，可列举一直以 来广泛使用的拜尔(Bayer)排列(参照图24)。进行颜色编码时，在配置R滤色器的像素上，缺少G和B成分的信息；在配置G滤 色器的像素上，缺少R和B成分的信息；在配置B滤色器的像素上，缺少G和R成分的信息。 在后面的信号处理中进行颜色空间变换时，在各像素中需要全部的RGB信号。其原因是， 如果使用上式(1) (2)由空间上相位不同的RGB信号生成亮度信号Y和色差信号Cr、Cb时，将成为形成颜色伪信号的原因。为此，需要根据滤色器排列内插(interpolation)复原 在各像素中失去的颜色信号、并形成相同空间相位的RGB信号之后(参照图25)，进行颜色 空间变换。这种内插技术称为“除去马赛克”。RGB信号的内插精度依赖于颜色编码，所以固体摄像装置的特性根据颜色编码而 不同。图24所示的Bayer排列，在第奇数行上交错排列R滤色器和G滤色器，在第偶数行 上交错排列G滤色器和B滤色器。在Bayer排列上，采用相对于RB各滤色器较多地排列G 滤色器的构成，所以与RB相比可以用更高的精度插入G。由上式(1)可知，G在形成亮度信号之后为主要成分，亮度信号的分辨率很大程度 上依赖于G的分辨率。图像信号的分辨率与像素的抽样率Ι/fs成比例(fs为像素的抽样 频率)，但是，根据Bayer排列，通过提高G滤色器排列内插的精度，从而可得到G的分辨率 比RB的分辨率高的特性。因为人们具有对亮度的分辨率高、对颜色的分辨率低的视觉灵敏 度特性，所以，Bayer排列可以说是很好地利用人的视觉灵敏度特性的颜色编码。而且，重要的是，如何才能利用内插技术由空间上相位不同的RGB信号最适当地 形成相同空间相位的RGB信号。当不是最佳的图像信号的内插处理时，就会成为不能得到 高分辨率的图像、或者生成伪颜色信号的原因。例如，提出了下述一种图像处理装置(例如参照专利文献1)。当进行以Bayer排 列进行颜色编码的RGB图像信号的内插处理时，算出应该内插的像素的附近八个像素、即 重点像素的上、下、右、左、右上、右下、左上、左下共八个像素的变化量，对该算出的变化量 进行加权，算出相关值，同时以该算出的相关值为基础决定内插度，在分别对内插数据乘以 内插度后进行加法运算。采用这种图像处理装置，根据内插度、且以上述四个像素信息为基础进行内插处 理，所以，对于不与相关值的算出方向正交的方向的边缘，也可以很好地判断相关程度，因 此，内插处理后的倾斜边缘清晰、且可以很好地再现，同时对于折弯的线、弯成直角的角部 分等也可以很好地进行内插。但是，在Bayer排列中，由滤色器的排列决定的G的分辨率和RB的分辨率的临界 分辨率在斜45度方向上相同。G在形成亮度信号后为主要成分，且很大程度上依赖于亮度 分辨率；RB较大程度上依赖于色差信号的分辨率，所以，提高G的分辨率成为生成高分辨率 图像的重点。另外，人眼具有对亮度可识别到高频率、但对颜色难以识别高频率的特性，所 以可以认为Bayer排列的颜色分辨率和亮度分辨率的平衡还没有与人的视觉灵敏特性充 分匹配。鉴于该点，本申请人提出了一种颜色编码(例如，参照日本特愿2005-107037号 说明书)将形成亮度成分后成为主要成分的G成分配置成包围其他RB成分的各成分的周 围，取代相对于Bayer排列使RB的像素数为1/2的方式，并增加G，因此，虽然牺牲了一些颜 色分辨率，但是将亮度分辨率提高到大约两倍。这种颜色编码比Bayer排列的颜色编码更适合 人的视觉灵敏特性，但是，为了输出比Bayer排列时更高的分辨率，需要更高级的内插处理。特许文献1 特开平11-177994号公报

发明内容
本发明的目的在于提供卓越的图像处理装置和图像处理方法、摄像装置、以及计
8算机程序，通过用更高的精度对进行颜色编码后的RGB图像进行滤色器排列内插，从而可 以得到更高的亮度分辨率。为解决上述问题，本发明的第一方面提供一种图像处理装置，用于对通过具有颜 色编码用的滤色器的摄像单元进行拍摄的图像进行处理，其包括用于输入图像信号的单 元；相关值算出单元，对于上述图像信号，算出表示像素之间的相关程度的至少第一相关值 和第二相关值；内插用像素确定单元，根据上述第一相关值和上述第二相关值确定在内插 期望的像素时使用的其他像素；以及内插单元，由通过上述内插用像素确定单元确定的像 素内插上述期望的像素，其中，在上述颜色编码用的滤色器上，对于各像素在每一行和每一 列上各错开像素间距的1/2的倾斜像素排列，在算出亮度成分之后成为主要成分的颜色成 分被配置成包围其他各颜色成分的周围。对于Bayer排列，这种颜色编码取代使RB像素数为1/2而提高G，从而在理论上提 高了 G的临界分辨率。因此，通过G的进行高精度内插处理，从而G的分辨率提高至临界分 辨率附近，所以，虽然损失了一些颜色分辨率，但是可将亮度分辨率提高到大约二倍。对于成为内插对象的(即缺少了成为亮度信号的主要成分的G)空间位置的像素 内插G时，对于包围该像素的周围的图像信号，相关值算出单元在至少两个方向上算出在 像素之间表示G的相关强度的相关值。如果是图像的水平方向和垂直方向，作为像素之间的相关值，可以在正交的两个 方向上过滤图像信号，并从该滤波输出对于一个方向特性算出相关值。在此所说的滤波器 优选是除去DC成分的带通滤波器，可以使用以微分滤波器为代表的高通滤波器。将水平方向的带通滤波器输出设为BPF(H)，将垂直方向的输出设为BPF(V)，则水 平垂直方向HV的相关值S(HV)用BPF(H)/{BPF (H)+BPF (V)}来表示。并且，S (HV)取0 1 的值，但是当接近于1时，显示出在水平方向上具有图像信号的波动、对于垂直方向像素之 间的相关高，所以，优选方式是，将在包围期望的像素的周围像素中位于垂直方向上的像素 确定为内插用的像素。相反，当S(HV)接近于0时，显示出在垂直方向上具有图像信号的波 动、对于水平方向像素之间的相关高，所以，优选方式是，将期望的像素的位于水平方向上 的像素确定为内插用像素。相关值算出单元可以将水平垂直方向的相关值S(HV)作为第一相关值而算出。但 是，仅使用以单一方向特性算出的相关值时，当相关值S(HV)为0.5附近的值时，相对于垂 直轴，关于在+45度的方向上像素之间的相关高、还是在-45度的方向上像素之间的相关高 这一点是不明确的，因此不能确定内插用的像素。因此，对于与第一相关值不同的方向特性，相关值算出单元还要求出第二相关值， 补偿第一相关值成为中间值的情况，提高用于确定在内插用像素确定单元中内插像素的方 向的分辨率。相关值算出单元配设另外一组正交的滤波器，其方向特性与在算出第一相关值时 采用的一组正交的滤波器不同，根据这些滤波器的输出算出第二相关值。如上说述，作为第一相关值算出水平垂直方向HV的相关值S(HV)时，作为第二相 关值，可以采用非水平垂直方向NH/NV的相关值S(NH/NV)，非水平垂直方向NH/NV的相关 值S (NH/NV)根据非水平方向NH的通滤波器的输出BPF (NH)、以及与BPF (NH)正交的非水平 方向NH的带通滤波器输出BPF(NH)而算出。S(NH/NV)用BPF (NH) / {BPF (NH)+BPF (NV)}表不。将相对于垂直方向分别只旋转士45度的方向作为非水平方向NH、非垂直方向NV， 从分别配置在正交的NH和NV方向上的带通滤波器的输出取出第二相关值时，第一相关值 和第二相关值中的一个为0.5附近的相关值时，可以用另一个相关值补充，用于确定内插 方向的分辨率将达到最大限度。S卩，采用根据本发明的图像处理装置，内插用像素确定单元对通过相关值算出单 元求出的多个相关值进行比较，从而可在全方向(360度)判断相关方向，可以用更细的粒 度确定应该内插的方向。并且，内插单元只要根据在该确定的方向上存在的像素的周围像 素的信息，对作为内插对象的像素进行内插处理即可。另外，本发明的第二方面提供一种图像处理装置，用于处理通过具有颜色编码用 的滤色器的摄像单元拍摄的图像，包括用于输入图像信号的单元；相关值算出单元，对上 述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；可靠度算出 单元，用于算出与通过所述相关值算出单元算出的各相关值有关的可靠度；以及内插单元， 用与上述可靠度对应的内插处理内插期望的像素。根据本发明的第一方面，关于成为内插对象的像素的周围像素，求出方向特性不 同的两个以上相关值，通过比较上述多个相关值，从而可以在全方向(360度)上判断相关 值的方向，用更细的粒度确定应该内插的方向。但是，这种内插方向的确定方法是以在各 方向特性中求出的相关值是可靠的为前提的。因此，在根据本发明第二方面的图像处理装置中，算出与上述第一相关值和上述 第二相关值有关的可靠度，采用与可靠度对应的内插处理方法来内插期望的像素信号。例 如，可根据通过所述相关值算出单元算出的各相关值之和算出可靠度。在此，当算出的相关值具有可靠性时，与根据本发明第一方面的图像处理装置同 样，通过对求得的多个相关值与相关线进行比较，从而在全方向(360度)判断相关的方向， 决定应该内插的方向，进行更高精度的像素内插。其结果是，可以根据精度高的G信号得到 分辨率高的亮度信号。另一方面，当算出的相关值缺少可靠性时，使用成为内插对象的像素的周围像素 信息的平均值进行内插。此时，内插像素的精度被限制，不能得到分辨率高的亮度信号，而 另一方面，却可以通过平均化处理提高SN。另外，本发明的第三方面提供一种为了在计算机上执行通过具有颜色编码用的滤 色器的摄像装置所拍摄的图像的处理而以计算机可读形式记载的计算机程序，对于上述计 算机执行以下步骤相关值算出步骤，对于上述摄像单元的图像信号，算出表示像素之间的相关程度 的至少第一相关值和第二相关值；内插用像素确定步骤，根据上述第一相关值和上述第二 相关值，确定在内插期望像素时使用的其他像素；以及内插步骤，由执行上述内插用像素确 定步骤确定的像素内插上述期望的像素。其中，对于各像素在每一行和每一列各错开1/2 像素间距的倾斜像素排列，对通过滤色器进行颜色编码的图像信号执行所述各步骤，并进 行在算出所述亮度成分之后成为主要成分的颜色成分的滤色器排列内插，其中所述滤色 器是一种在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他颜色成分的各 成分的周围的滤色器。
本发明的第四方面为一种为了在计算机上执行通过具有颜色编码用的滤色器的 摄像装置所拍摄的图像的处理而以计算机可读形式记载的计算机程序，对于上述计算机执 行以下步骤相关值算出步骤，对于上述摄像单元的图像信号，算出表示像素之间的相关程 度的至少第一相关值和第二相关值；可靠度算出步骤，算出与执行上述相关值算出步骤而 算出的各相关值有关的可靠度；以及内插步骤，以与上述可靠度对应的内插处理内插上述 期望的像素。根据本发明第三和第四方面的计算机程序是一种定义以计算机可读形式记载的 计算机程序，以在计算机上实现规定的处理。换言之，通过将根据本发明第三和第四各方面 的计算机程序安装在计算机上，从而在计算机上发挥协作作用，分别获得与本发明第一和 第二各方面的图像处理装置同样的作用效果。本发明还涉及一种摄像装置，包括具有颜色编码用滤色器的摄像单元；相关值 算出单元，对于通过上述摄像单元拍摄的图像信号，算出表示像素之间的相关程度的至少 第一相关值和第二相关值；内插用像素确定单元，根据上述第一相关值和上述第二相关值， 确定在内插期望的像素时使用的其他像素；内插单元，由通过上述内插用像素确定单元确 定的像素内插上述期望的像素；以及信号处理单元，对于通过上述内插单元内插像素的图 像信息，进行颜色空间分离或其他的信号处理，其中，在上述颜色编码用的滤色器上，对于 各像素在每一行和每一列上各错开像素间距的1/2的倾斜像素排列，在算出亮度成分之后 成为主要成分的颜色成分被配置成包围其他各颜色成分的周围。本发明还涉及一种摄像装置，包括具有颜色编码用滤色器的摄像单元；相关值 算出单元，对于通过上述摄像单元拍摄的图像信号，算出表示像素之间的相关程度的至少 第一相关值和第二相关值；可靠度算出单元，算出与通过上述相关值算出单元算出的各相 关值有关的可靠度；内插单元，用与上述可靠度对应的内插处理进行期望的像素的内插； 以及信号处理单元，对于通过上述内插单元内插像素的图像信息，进行颜色空间分离或其 他的信号处理。本发明还涉及一种图像处理装置，其包括相关值算出单元，关于具有规定颜色 编码的滤波器的固体摄像装置上的内插对象的像素，算出表示图像的相关程度的多个相关 值；判断单元，通过将在上述相关值算出单元中算出的上述多个相关值与相关线比较，从而 判断应该内插的方向，其中，上述相关线是对于不同方向算出最低两个模式的相关值、并相 对各种角度的直线绘出该最低两个模式的相关值而得到的；以及内插单元，根据在通过上 述判断单元判断的方向上存在的上述内插对象的像素的周围像素信息，对该内插对象的像 素进行内插处理。本发明还涉及一种图像处理方法，其包括第一步骤，关于具有规定颜色编码的 滤色器的固体摄像装置上的内插对象的像素，算出表示像素的相关程度的多个相关值；第 二步骤，通过将通过上述第一步骤算出的上述多个相关值与相关线比较，从而判断应该内 插的方向，其中，上述相关线是对于不同的方向算出最低两个模式的相关值、并对于各个角 度的直线绘出该最低两个模式的相关值而得到的；以及第三步骤，根据在用上述第二步骤 判断的方向存在的上述内插对象的像素的周围像素信息，对该内插对象的像素进行内插处 理。本发明还涉及一种摄像装置，包括具有规定颜色编码的滤波器的固体摄像装置、以及用于处理上述固体摄像装置的输出信号的图像处理装置，上述图像处理装置包括相 关值算出单元，对于上述固体摄像装置上的内插对象的像素，算出表示图像的相关程度的 多个相关值；判断单元，通过将在上述相关值算出单元中算出的上述多个相关值与相关线 比较，从而判断应该内插的方向，其中，上述相关线是对于不同的方向算出最低两个模式的 相关值、并相对于各种角度的直线绘出该最低两个模式的相关值而得到的；内插处理单元， 根据在通过上述判断单元判断的方向上存在的上述内插对象的像素的周围像素信息，对该 内插对象的像素进行内插处理。根据本发明，可提供卓越的图像处理装置和图像处理方法、摄像装置、以及计算机 程序，对进行颜色编码后的RGB图像，以更高的精度进行滤色器排列内插，以获得更高的亮 度分辨率。根据本发明，尤其是，对于各像素在水平方向和垂直方向上等间隔地排列成正方 格状的像素排列，对于进行了颜色编码的图像信号，可高精度地进行用于算出亮度成分的 主要成分的滤色器排列内插，其中，颜色编码使用了在算出亮度成分之后成为主要成分的 颜色成分被配置成包围其他颜色成分的各成分的周围的滤色器。另外，根据本发明的图像处理装置，对作为内插对象的像素，可对全方向(360度) 判断相关的方向，所以，可以根据该判断的方向进行适当的内插处理。本发明的其他目的、保护范围和优势可根据后述本发明的具体实施方式
和附图进 行更详细的说明，从而了解本发明。


图1是表示采用本发明所涉及的图像处理装置或图像处理方法的摄像装置的构 成例框图；图2是在拜耳(Bayer)排列中只抽出G的像素排列的示意图；图3是分辨率图表的示意图；图4是带通滤波器的频率特性的示意图；图5是拜耳排列中的G分辨率和RB分辨率的临界分辨率示意图；图6是本发明的第一实施例涉及的作为内插处理对象的颜色编码例的示意图；图7是颜色编码例中的G分辨率和RB分辨率的临界分辨率的示意图；图8是在颜色编码例中的只抽出G的像素排列的示意图；图9是H方向、V方向、NH方向及NV方向的关系的示意图；图10是表示本发明的第一实施例涉及的内插处理的步骤的流程图；图11是HV方向的带通滤波器的频率特性的示意图；图12是NH、NV方向的带通滤波器的频率特性的示意图；图13是分辨率图表的示意图；图14是表示频率图表中各点、及其相关值的关系的相关线图；图15是相关值和内插值的关系的示意图；图16是表示第一实施例涉及的、进行内插处理的内插处理电路结构的一例框图；图17是本发明的第二实施例涉及的作为内插处理对象的颜色编码例的示意图；图18是通过正方格子表现颜色编码例的图19是第二实施例涉及的、进行内插处理的内插处理电路结构的一例框图；图20是前级内插处理电路的内插处理结果的示意图；图21是后级内插处理电路的内插处理结果的示意图；图22是拜耳排列、颜色编码1、颜色编码2中的空间分辨率特性的示意图；图23是表示第二实施例涉及的、进行内插处理的内插处理电路的变形例的框图；图24是拜耳排列的颜色编码的示意图；图25是对进行颜色编码的图像进行去掉马赛克处理的状态的示意图；图26是计算出分别以插值像素X的周围四个像素为中心的HV方向的相关值的状 态的示意图；图27是作为可信赖的相关值而选择S_H_G4和S_H_G13的示意图；图28是计算出以内插像素X为中心的HV方向的相关值的示意图；图29是计算出分别以插值像素X的周围四个像素为中心的NH以及NV方向的相 关值的示意图；图30是作为可信赖的相关值而选择S_NH_G5和S_NH_G9的示意图；图31是计算出以内插像素X为中心的NH及NV方向的相关值的示意图；以及图32是分别绘制由从S_H(图14中的相关线(A))中减去0. 5后的绝对值形成的相 关线和由从S_NH(图14中的相关线(B))中减去0.5后的绝对值形成的相关线的相关线图。附图标记11摄像透镜12摄像器件14照相机信号处理电路21光学系统校正电路22WB (白平衡)电路23、23A、23B、23B'内插处理电路 Interpolation processors24伽玛校正电路25Y (亮度)信号处理电路26C (色度)信号处理电路27频带限制LPF (低通滤波器)28间隔剔除的处理部31 34、37 40相关值计算电路35、41选择电路36、42平均值计算电路43比较电路44判断电路45内插电路
具体实施例方式下面，参照附图对本发明的实施例进行详细说明。图1中示出了采用本发明所涉及的图像处理装置或图像处理方法的摄像装置的构成例。在此所说的摄像装置包括照相机模块，具有作为摄像器件的固体摄像装置、在该 固体摄像装置的摄像面(受光面)上使被摄体的图像光成像的光学系统、以及该固体摄像 装置的信号处理电路；以及安装有该照相机模块的数码相机和摄像机等照相机装置、便携 式电话等电子设备。在图1中，来自被摄体(未图示)的图像光通过光学系统、例如摄像透镜11在摄 像器件12的摄像面上成像。作为摄像器件12使用固体摄像装置，该固体摄像装置将包含 光电转换元件的多个像素配置成二维成矩阵状，并将滤色器配置在像素的表面上，该滤色 器包含在形成亮度成分之后成为主要成分的颜色成分和其他颜色成分。作为具有滤色器的固体摄像装置，可以是以CCD (Charge Coupled Device 电荷耦 合装置)为代表的电荷传送型固体摄像装置、以MOS (Metal Oxide Semiconductor 金属氧 化型半导体)为代表的X-Y地址型固体摄像装置等中的任一种。而且，在下面的说明中，在滤色器中，作为在形成亮度成分之后成为主要成分的颜 色成分，例如列举了绿色(G)，作为其他颜色成分，例如列举了红色(R)、蓝色(B)。但是，本 发明的主旨并不只限于这些颜色成分的组合，也可以使用例如白色、青色、黄色等作为形成 Y成分之后成为主要成分的颜色成分，使用例如品红色、青色、黄色等作为其他颜色成分。在摄像器件12中，入射的图像光中仅各颜色成分的光通过滤色器并入射到各像 素。入射到各像素的光通过光电二极管等光电转换元件进行光电转换，然后，作为模拟图像 信号从各像素被读出，并在A/D转换器13中转换成数字信号后，将其输入给作为本发明所 涉及的图像处理装置的照相机信号处理电路14。照相机信号处理电路14包括光学系统校正电路21、WB(白平衡)电路22、内插处 理电路23、伽玛校正电路24、Y(亮度)信号处理电路25、C(色度)信号处理电路26、频带 限制LPF (低通滤波器)27、间隔剔除处理部28等。光学系统校正电路21用于对摄像器件12和光学系统进行如下校正使黑色电平 与输入到照相机信号处理电路14的数字图像信号一致的数字钳位(digital clamp)、校正 摄像器件12的缺陷的缺陷校正、以及校正摄像透镜11的周边光量落差的“黑点”校正等。WB电路22对经过光学系统校正电路21后的图像信号进行调整白平衡的处理，对 于白色被摄体，使RGB相同。内插处理电路23通过内插形成空间相位不同的像素，S卩、由相 位在空间上分别错开的RGB信号形成三个平面(空间位置相同的RGB信号)。该内插处理 电路23中的具体的内插处理为本发明的特征，将在后面对其进行详细说明。伽玛校正电路24对相同空间位置的RGB信号进行伽玛校正，然后提供给Y信号处 理电路25及C信号处理电路26。伽玛校正是这样的一种处理为了正确地表现被摄体的 颜色灰度，对从WB电路输出的R、G、B的颜色信号分别乘以规定的增益，以使包括摄像器件 12及后面的影像再生单元等的整个系统的光电转换特性为1。Y信号处理电路25通过上述算式(1)形成亮度(Y)信号，而且，C信号处理电路26 通过上述算式(2)及(3)形成色差信号Cr (R-Y)、Cb (B-Y)。频带限制LPF 27是截止频率为采样频率fs的1/8的滤波器，对于色差信号Cr及 Cb，使通带从(l/2)fs降到(1/8) fs。这是调整为TV信号格式的输出，在不进行频带限制就 输出的情况下，大于等于l/8fs的频率信号则作为伪颜色信号而输出。间隔剔除处理部28用于进行色差信号Cr、Cb的采样的间隔剔除。在此，所要指出的是，相对于亮度⑴信号，颜色(C)信号(色差信号Cr、Cb)仅需 要小于等于1/4的频带。这是因为，作为人眼的特性，具有对亮度可以识别到高频率、但是 对颜色则难以识别高频率的性质(如上所述)，TV信号的格式也是这样来确定。实际上，当在输出图像上观察Y Cr Cb = 4 4 4 (Y和C的输出通带相同) 的情况和Y Cr Cb = 4 1 1的情况的差异时，对于除特殊的被摄体例如红色、蓝色 的点光源以外的普通被摄体，难以辨别其差别。即可知，C信号通过具有Y信号的1/4的频 带而获得足够的分辨率，以便以TV信号格式来确定。在此，对作为本发明区别部分的内插处理电路23中的内插处理进行说明。如上所述，内插处理是滤色器排列内插，S卩、通过内插生成由于间隔地排列滤色器 而在像素中欠缺的颜色成分的信号，其中，该内插使用了其周围的像素、即空间相位不同的 像素的信号，该内插处理也被称为去掉马赛克。为了获得分辨率高的图像，该内插处理是一 种非常重要的处理。这是因为，当不能通过内插处理顺利地进行内插时，则生成伪信号，成 为分辨率降低和产生伪色彩的原因。而且，若无法准确地内插成为亮度信号的主要成分的 G成分，则会导致亮度信号的分辨率降低。作为用于实现高分辨率的内插处理，一直以来都是进行采用相关处理的内插处 理。在此所说的“相关处理”是指这样的的处理对于作为内插对象的像素，通过采用相关 高的方向上的像素的信息进行内插。例如，以图3所示的分辨率图构成的输入图像为例，考虑像素的内插处理。分辨率 图是中心部分为低频率的信号、且随着中心的距离增加而成为高频率的信号的示图。在分 辨率图中，即使是相同频率的信号也具有各种方向，并通过将分辨率图中的信号输入到信 号处理电路，可以分析对各种信号适用何种处理。在同一图中，如纵轴上的A点所示，当为 横线的被摄体时，在纵向上，在图像信号中观察到波形，另一方面，因为横向的图像信号的 相关高，所以使用横向的像素进行内插。另外，如横轴上的C点所示，当为纵线的被摄体时， 在横向上观察到波形，另一方面，因为纵向的图像信号的相关高，所以使用纵向的像素进行 内插。这样，通过使用相关高的方向上的周围像素进行内插处理，从而可实现更高的分辨 率。如图2所示，在将G排列为方格状的Bayer排列那样的颜色编码中，采用了相关处 理的内插处理对于在生成G不存在的空间位置上的像素、例如图中的像素X的空间位置上 的G信号时的处理是有效的。当然，不只是G信号，通常对其他的R信号以及B信号也进行 内插处理。在本说明书中，关于亮度信号，重点对用于实现高分辨率的G信号的内插处理 进行了说明，但是，对于R和B、或者其他颜色例如品红、黄色也可以适用与G同样的内插处 理。内插处理是通过采用了空间相位不同的周围像素的信号生成用于内插的像素的 信号的处理，所以，内插处理的顺序也依赖于周围像素的布局、即颜色编码。首先，说明 Bayer排列的内插处理。从图2可知，Bayer排列的G被配置为方格状，对于G信号的缺漏 部分(以下称为“内插像素”)进行内插处理。以空间位置(内插像素)X为中心，在水平和垂直方向上分别进行带通滤波器的滤 波，从而算出从水平和垂直方向上观察时是否存在具有何种程度的振幅的图像信号(即、
15水平和垂直的各方向上的像素信号的波形)。如图4所示，带通滤波器是在l/4fs(但是， fs为采样频率)上具有峰值、且对于直至l/2fs临界分辨率附近的信号仍输出值的滤波器。 当带通滤波器的输出大时，在该方向上存在振幅大的信号。相反，当带通滤波器的输出小 时，则在该方向上信号的变动小、即存在低频率的信号。例如，可以使用以微分滤波器为代 表的带通滤波器，但是，只要是具有用于去除DC成分的频带限制特性的滤波器即可。在此，将以空间位置(内插像素)X为中心、在水平方向上配置的带通滤波器的滤 波输出设为Bpf_H，同样将在垂直方向上配置的带通滤波器的带通输出设为Bpf_V，则这些 滤波输出分别用下式表示。Bpf_H = -(G3+G8)+2(G4+G9)-(G5+G10)Bpf_V = - (G1+G2) +2 (G6+G7) - (G11+G12)对于图3中的各点A C，观察这两个带通滤波器的输出Bpf_H和Bpf_V。对于A 点，在水平方向上没有图像信号的振幅，所以Bpf_H = 0 ；对于B点，因为在倾斜45度的方 向上具有图像信号的振幅，所以Bpf_H = Bpf_V ；对于C点，在垂直方向上没有图像信号的 振幅，所以Bpf_V = 0。接着，通过使用该带通滤波器的输出Bpf_H和Bpf_V，可由下式算出水平和垂直方 向上的各相关值SJ^n SJ。S_H = Bpf_V/ (Bpf_H+Bpf_V)S_V = 1-S_H这些水平及垂直方向相关值S_H和S_V表示水平和垂直方向上的相邻像素之间图 像信号的相关强度。在此所说的“相关”是指信号的变动比。如上式所示，相关值
V用分别位于水平和垂直方向上的带通滤波器的滤波输出Bpf_H和比例表示。当 信号的变动比大时，则相关变低，当信号的变动比小时，则相关变高。在图3所示的例子中，对于A点，S_H= 1、S_V = 0，在水平方向上可以看作是直线 成分(没有变动，或者为平坦)，所以信号的变动比小，因此在水平方向上相关高，而在垂直 方向上不相关。并且，通过用相关值大、即相关高的方向上的像素进行内插，从而提高内插 精度。对于G信号，只要实现了精度高的内插，则以G作为主要成分的亮度信号的分辨率也 随之提高。另外，对于B点，S_H= S_V = 0.5，表示水平、垂直方向上的相关相同，即水平、垂 直方向上都具有相同的像素变化。而且，对于C点，S_H = 0、S_V= 1，表示垂直方向上的相关尚。接着，按照下式，使用上下及左右的周围像素G信号，算出内插像素X的内插值X。X = {(G6+G7) X S_H+ (G4+G9) X S_V} /2从上式可知，对于内插像素X，对于相关高的方向，通过乘以更大的权数进行内插 处理。例如，对于A点，为X= (G6+G7)/2，使用水平方向上的像素进行内插。另外，对于B 点，为X = (G6+G7+G4+G9)/4，通过使用水平、垂直方向上的像素，用均衡的加权进行内插。 另外，对于C点，为X = (G4+G9) /2，使用垂直方向上的像素进行内插。这样，希望充分理解的是通过使用相关处理对图像信号的振幅变化少的方向、即 相关高的方向上的像素成分乘以权数(进行加权)并进行内插，从而可实现高分辨率。图5表示Bayer排列中的G分辨率和RB分辨率的各自的临界分辨率。从该图中可知G分辨率在水平、垂直方向上为l/2fs，在倾斜45度方向上为(1/2万)fs，尤其是 在倾斜45度方向上，G的分辨率和RB的分辨率相同。从用于进行颜色空间变换的上述式(1) (3)可知，G是形成亮度信号之后的主 要成分，较大程度地依赖于亮度分辨率，RB较大程度地依赖于色差信号的分辨率。因此，提 高G的分辨率成为生成高分辨率图像的重点。另外，人的眼睛具有如下性质，即可以对亮度 识别到高频率，但对颜色难以识别高频率，所以，Bayer排列的颜色分辨率和亮度分辨率之 间的平衡与人的视觉灵敏度特性不匹配。鉴于该点，本申请人在已经转让的日本特愿2005-107037号的说明书中提出了一 种颜色编码(上述)，即、将在形成亮度成分之后成为主成分的G成分配置成包围RB成分 的各成分周围。根据该颜色编码，对于Bayer排列，增加G，以取代使RB的像素数为1/2，因 此，虽然牺牲一些颜色分辨率，但可以使亮度分辨率提高到大约两倍。如上所述，本发明人认为用G成分包围RB成分的颜色编码比Bayer排列的颜色 编码更加适合人的视觉灵敏度特性。而且，尤其是在基于Y Cr Cb = 4 1 1的输 出格式的信号处理系统、例如摄像机等信号处理系统中，可以说优选上述频带的颜色编码。 但是，为了在高分辨率上得到以G为主要成分的亮度信号，与Bayer排列的颜色编码的情况 相比，则要求更加高级的内插处理。以下，作为将在形成亮度成分之后成为主要成分的、例如G配置成包围R、B各成分 的周围的颜色编码，列举了两个颜色编码，作为实施例1和实施例2，对这两个颜色编码例 子的每一例的内插处理进行说明。[实施例1]图6表示在本发明的实施例1中作为内插处理对象的颜色编码例1。该图所示的 颜色编码例1的构成如下为了使像素沿水平方向(沿着像素行的行方向)和垂直方向(沿 着像素列的列方向)为等间隔(像素间距)d，相对于配置为正方格状的像素排列，第一行以 水平方向的四个像素为单位重复排列RGBG，第二行仅排列G，第三行以水平方向的四个像 素为单位重复排列BGRG，第四行仅排列G，以下以这四行为单位重复排列。从该图中可知， 在形成亮度(Y)成分之后成为主要成分的颜色成分(在本例中为G)和其他颜色成分(在 本例中为R和B)被配置成用G包围R和B的各成分的周围，另外，R和B在水平、垂直方向 上以4d的间隔进行配置。将像素间的抽样率设为与像素间距对应的d，如果在水平和垂直方向上考虑抽样 率时，在水平和垂直方向上，每隔1列(在实施例1中为奇数列)及1行(在后述实施例2 中为奇数行)配置R和B，使R和B的抽样率为相对于G为1/2速率。即，G的抽样率为d， R和B的抽样率为2d，在G与R及B之间，在水平和垂直方向上具有两倍的分辨率之差。另 外，在倾斜45度方向上考虑抽样率时，G的抽样率为d/2V^,R及B的抽样率为2d/V^。在此，对空间频率特性进行研究。关于水平和垂直方向，G的抽样率为d，所以，根 据抽样定理，直到(l/2)fs的频率，都可以捕获G信号。另外，关于倾斜45度的方向，G的 抽样率为d/2 VJ,所以根据抽样定理，直到(1/ V2 )fs都可以捕获G信号。同样，还对R和B的空间频率特性进行研究。但是，R和B的像素排列的间隔相同， 可同样地进行考虑，所以，以下仅对R进行描述。关于水平和垂直方向，R的抽样率为2d，所 以根据抽样定理，直到l/4fs的频率都可以捕获R信号。另外，关于倾斜45度的方向，R的抽样率为d/2 ，所以，根据抽样定理，可以捕获直到(/4迟)fs的频率的信号。图7表示图6所示的颜色编码例1中的空间频率特性。对于水平和垂直方向，G直 到(l/2)fs的频率都可以捕获信号；对于倾斜45度的方向，G可以捕获直到(l/2)fs的信 号。另外，在水平和垂直方向上，R和B直到(l/4)fs的频率都可以捕获信号，在倾斜45度 的方向上，可以捕获直到(1/4频率的信号。即，从图5和图7的对比可明确得 知，通过采用图6所示的颜色编码例1，对于Bayer排列，G临界分辨率得到大幅度提高，所 以，以G信号为主要成分的亮度信号的分辨率大致为Bayer排列的两倍。接着，下面对图6所示的颜色编码例1中的补正处理进行详细说明。图8表示只 抽取出图6所示的颜色编码例1的G的像素排列。如图所示，在包围内插像素X的水平、垂直、倾斜方向上的共八个周围像素、即像 素G4、G5、G6、G8、G9、Gil、G12、G13中存在G信号，使用这些信号进行内插像素X的G信号 的内插处理。在Bayer排列的颜色编码中，仅在水平和垂直方向上存在G像素。与此相对， 在图6所示的颜色编码例1中，在水平、垂直以及倾斜方向上存在八个像素，当观察内插像 素X时，可知G像素配置成围棋盘的眼。这在实现高分辨率之后也非常重要。在本实施例1中，内插处理电路23不但在水平和垂直方向上，还在倾斜方向上求 出内插像素X和周围像素之间的相关关系，由水平和垂直方向上的相关和倾斜方向上的 相关的关系，判断实际上使用哪个周围像素进行内插合适，并进行内插处理。图10以流程图的形式表示在内插处理电路23中实施的内插处理的顺序。以下如 图9所示，将水平方向记为H方向，将垂直方向记为V方向，将相对H方向只向右旋转45度 的轴向记为NH方向，将相对H方向只向左旋转45度的轴向记为NV方向。以下参照图10 对内插处理进行详细说明。将图8的像素X设为内插像素(成为内插对象的像素)(步骤Sll)，首先，对该内 插像素X的各周围像素算出HV方向的相关值(步骤S12)。具体而言，以内插像素X的左 斜上方的像素G4为中心，在HV方向上进行带通滤波器的滤波，从而算出HV方向的相关值。 图11表示该HV方向的带通滤波器的频率特性(滤波器特性)。在此，若将带通滤波器的水平方向的输出设为Bpf_H_G4、将垂直方向的输出设为 Bpf_V_G4,则得到用下式表示的滤波结果。Bpf_H_G4 = -G3+2G4-G5Bpf_V_G4 = -G1+2G4-G8接着，按照下式算出相对像素G4的H方向的相关值S_H_G4。H方向的相关值S_H_ G4表示滤波器特性相同的带通滤波器的水平和垂直方向的滤波器输出Bpf_H和Bpf_V的比 例。S_H_G4 = Bpf_V/(Bpf_H+Bpf_V)V方向的相关值S_V_G4是S_V_G4 = 1_S_H_G4，只要算出H方向的相关值S_H_G4， 即可容易地算出，所以不必特别算出。即，此时，算出了以像素G4为中心的HV方向的相关 值S_H_G4和S_V_G4。例如，当H方向的相关值S_H_G4为1. 0、V方向的相关值S_V_G4为 0. 0时，如果用V方向的相关值S_V_G4内插像素X，则可得到良好的内插结果。与算出以内插像素X的左斜上方的像素G4为中心的H方向的相关值S_H_G4同样， 也可以算出分别以右斜上方的像素G6、左斜下方的像素G11、右斜下方的像素G13为中心的各个H方向的相关值S_H_G6、S_H_G11、S_H_G13。利用此前的处理、即在步骤S12中的处理，可以分别算出以包围内插像素X的四点 像素G4、G6、G1UG13的各像素为中心的HV方向的相关值S_H_G4、S_H_G6、S_H_G11、S_H_ G13(参照图26)。接着，从算出的四个相关值S_H_G4、S_H_G6、S_H_G 11、S_H_G 13中只选择两个适于 代替内插像素χ的相关值。具体而言说，作为内插像素χ的相关值，选择四个相关值中相关 最大、即相关值的可靠性高的两个相关值(步骤S13)。从图26中也可得知，在步骤S12中算出的各相关值S_H_G4、S_H_G6、S_H_G11、S_ H_G13分别是以周围四个像素G4、G6、G11、G13为中心的HV方向的相关值，并不是以期望的 内插像素X为中心的HV方向的相关值S_H。当出现不能装入以内插像素X为中心的带通滤 波器这种组装上的问题等时，则不能直接算出内插像素X的相关值。因此，根据对于相邻像 素相关值大致相等的想法，步骤S13的主旨就是用通过周围像素求得的可靠性高的HV方向 的相关值来代替内插像素X的HV方向的相关值S_V。作为用于选择相关值的可靠度，可以使用在计算四个相关值的过程中算出的带通 过滤器的输出值来表示。例如，由下式算出像素G4的相关可靠值Bpf_Max。Bpf_Max = | Bpf_H_G4 | +1 Bpf_V_G4对其他三个点的周围像素G6、G11、G13也同样进行该相关可靠值Bpf_Max的计算。 带通过滤器的输出大是指在其像素周围存在振幅大的信号，信号不是噪音，而是由图像引 起的。相反，当带通滤波器的输出小时，信号被噪音掩盖，相关的可靠性降低，难以信赖相关 值。即，当由水平和垂直正交的两个方向的带通滤波器的输出绝对值之和算出的相关可靠 值Bpf_Max大时，可以推定为利用这些带通滤波器的输出算出的相关值的可靠性高。并且，对用四个点的周围像素求出的各相关可靠值Bpf_Max的大小进行比较，从 大的中选择两个点的周围像素，作为取代以内插像素X为中心的HV方向的相关值，选择以 该两个点的周围像素为中心算出的HV方向的相关值。图27表示作为可以信赖的相关值， 选择S_H_G4和S_H_G13的情况。此外，在相关的可靠度计算中，也可以选择|Bpf_H_Bpf_V|的结果、即滤波器输出 的差分值大的，而不是相关可靠值Bpf_Max、即滤波器输出的合计值。其目的在于因为可 以说具有带通滤波器的H方向的输出Bpf_H和V方向的输出Bpf_V之差大、即水平方向和 垂直方向上强的相关，所以采用强相关部分的相关值。接下来，将采用的前两位的相关值平均，形成一个相关值(步骤S14)。平均后的相 关值作为在以下处理步骤中以内插像素X为中心的HV方向的相关值而使用。例如，当G4 和G6两个位置中相关值的可靠度高而被选择时，对以这两点为中心的HV方向的相关值进 行平均，并可作为关于内插像素X的HV方向的相关值(参照图28)。此时，通过选择相关可靠值Bpf_Max为最大的一点的周围像素的相关值，也可以 从四个相关值中选择一个水平和垂直方向的相关值。但是，通过采用前两位的相关值的平 均值，可得到更好的结果。另外，也可以考虑从四个相关值中采用前三位的相关值、并取其 平均值的方法。另外，当装入以内插像素X为中心的带通滤波器时，则可以直接算出内插像素X的 相关值，而不是可靠度高的周围像素的相关值的平均，并简化步骤S12 S14的处理。
另外，与步骤S12 S14中内插像素X的HV方向的相关值计算的处理并行执行步 骤S15 S17中内插像素X的NH和NV方向的相关值计算的处理。在此所说的NH方向是 相对H方向只右转45度的轴方向，NV方向是相对H方向只左转45度的轴方向(前述)。首先，对内插像素X的各周围像素算出NH和NV方向的相关值(步骤S15)。具体 而言，以内插像素X上方的像素G5为中心，通过在倾斜方向上进行带通滤波器的滤波，从而 算出NH和NV方向的相关值。图12表示NH和NV方向的带通滤波器的频率特性(滤波器 特性)。在此，若将带通滤波器的NH方向的输出作为Bpf_NH_G5，将NV方向的输出作为 Bpf_NV_G5,则得到用下式表示的滤波结果。Bpf_NH_G5 = -G1+2G5-G9Bpf_NV_G5 = -G2+2G5-G8接着，由下式算出对于像素G5的NH方向的相关值S_NH_G5。NH方向的相关值S_ NH_G5表示滤波器特性相同的带通滤波器的NH和NV方向的滤波器输出Bpf_NH和Bpf_NV 的比例。S_NH_G5 = Bpf_NV_G5/(Bpf_NH_G5+Bpf_NV_G5)对于NV方向的相关值S_NV_G5，因为S_NV_G5 = 1_S_NH_G5，且只要算出NH方向 的相关值S_NH_G5即可容易地算出，所以，在此没有必要特别算出。即，此时已算出以G5为 中心的NH和NV方向的相关值S_NH_G5和S_NV_G5。例如，当NH方向的相关值S_NH_G5为 1. 0、NV方向的相关值S_NV_G5为0.0时，若用NV方向的相关值S_NV_G5内插像素X，则得 到良好的内插结果。与算出以内插像素X上方的像素G5为中心的NH方向的相关值S_NH_G5的情况同 样，也同样算出分别以左侧的像素G8、右侧的像素G9、下方的像素G12为中心的各个NH方 向上的相关值 S_NH_G8、S_NH_G9、S_NH_G12。通过至此的处理、即步骤S15的处理，分别算出以分别位于内插像素X的上、左、 右、下方的四点的各个像素G5、G8、G9、G12为中心的NH方向上的相关值S_NH_G5、S_NH_G8、 S_NH_G9、S_H_G12 (参照图 29)。接下来，从算出的四个相关值S_NH_G5、S_NH_G8、S_NH_G9、S_NH_G12中只选择两 个代替内插像素χ的相关值。具体而言说，作为内插像素χ的相关值，在四个相关值中从可 靠度高的相关值中采用两个相关值(步骤S16)。从图29还可得知，在步骤S15中算出的各相关值S_NH_G5、S_NH_G8、S_NH_G9、S_ NH_G12分别是以周围的四个像素G5、G8、G9、G12为中心的HV方向的相关值，不是以期望的 内插像素X为中心的相关值。当出现不能组入以内插像素X为中心的带通滤波器这种组装 上的问题时，则不能直接算出内插像素X中的相关值。因此，步骤S16的主旨是，基于在相 邻像素中相关值大致相等的思考方式，通过用周围像素求得的可靠度高的NH方向的相关 值代替内插像素X的NH方向的相关值。使用在计算四个相关值的过程中算出的带通滤波器的输出值来表示用于选择相 关值的可靠度。例如，由下式算出像素G5的相关可靠值Bpf_Max。而且，对其他三点的周围 像素G8、G9、G12也同样进行相关可靠值Bpf_Max的计算。当由NH和NV正交的两个方向的 带通滤波器的输出绝对值之和形成的相关可靠值Bpf_Max大时，可以推定为从这些带通滤波器的输出算出的相关值的可靠性高(同上)。Bpf_Max = |Bpf_NH_G5| +1Bpf_NV_G5接着，将所采用的前两位的相关值进行平均，作为一个相关值(步骤S17)。图30 表示作为可信赖的相关值，选择S_NH_G5和S_NH_G9的情况。对于平均后的相关值，在以下处理步骤中，作为以内插像素X为中心的NH和NV方 向的相关值进行处理。例如，当G5和G9两个位置上的相关值的可靠度如果高而被选择时， 将以这两个点为中心的HV方向的相关值进行平均，并被看作为以内插像素X为中心的NH 和NV方向的相关值(参照图31)。此外，当装入以内插像素X为中心的带通滤波器时，可以直接算出内插像素X中的 相关值，而不是将可靠度高的周围像素的相关值平均，并简化步骤S15 S17中的处理(同 上)。利用至此的处理，可求出关于内插像素X的H方向的相关值S_H和NV方向的相关 值5_附(参照图28和图31)。接着，根据关于内插像素X的H方向和NH方向的各相关值S_H和S_NH，求出内插 像素X与哪个方向的周围像素之间强相关、即相关的方向性(步骤S18)。在此，以图13所示的分辨率图构成的输入图像为例，对于内插像素X，考虑分别在 H方向和NH方向上算出的相关值S_H和S_NH、以及内插像素X和包围内插像素X的周围像 素的相关程度。分辨率图是中心部分为低频信号、随着离开中心的距离越大而成为高频信 号的示图。在分辨率图中，即使是相同频率的信号也具有各种方向，并通过将分辨率图中的 信号输入给信号处理电路，从而可以对各种信号分析何种处理适用。例如，将图13的(a) (e)点的信号作为内插像素X输入，当执行上述步骤S12 S17的处理时，则两个相关值S_H和S_NH在(a)点上为S_H =1.0 (S_V = 0. 0)，S_NH = 0. 5 (S_NV = 0. 5)。由此可知内插像素X在HV方向上与H方向上的周围像素具有强相关。 还可知道，对于NH和NV方向，在NH和NV方向上没有相同关联，即内插像素X在倾斜方向 上与周围像素之间没有关联。还可知道，在(b)点上，S_H= 0. 5(S_V = 0. 5)，S_NH= 1.0(S_NV = 0. 0)。即，内 插像素X在HV方向上与周围像素不相关，但在NH和NV方向上与NH方向的周围像素具有 强相关。另外，在(c)点上，S_H= 0. 0(S_V = 1. 0)，S_NH = 0. 5 (S_NV = 0. 5)。艮口，内插像 素X在HV方向上与V方向的周围像素有强相关。还可知道，在NH和NV方向上，内插像素 X与周围像素不相关。还可知道，在(d)点上，S_H= 0. 5 (S_V = 0. 5)，S_NH = 0. 0 (S_NV = 1· 0)。即，内 插像素X在HV方向上与周围像素无关，但在NH和NV方向上与NV方向的周围像素具有强 相关。另外，可知道，在(e)点上，S_H=1. 0 (S_V = 0. 0)，S_NH = 0. 5 (S_NV = 0. 5)。即， 与(a)点相同，内插像素X在HV方向上与H方向的周围像素具有强相关，但在NH和NV方 向上与周围像素无相关。另外，图14表示频率图，该频率图表示将图13所示的分辨率图作为输入图像时内 插像素的空间相位与H和V方向、以及NH和NV方向的周围像素之间的相关值的关系。以下将表示内插像素和HV方向、以及NH和NV方向的周围像素的相关值的关系的该图中的 直线称为“相关线”。利用以下方法可以得到该相关线在不同方向上只算出最低两个模式 (pattern)的相关值，对于各种角度的直线，绘出该最低两个模式的相关值。在图14的相关 线图中，单点划线㈧相当于HV方向的相关值S_H，双点划线⑶相当于NH和NV方向的相 关值S_NH。相关线㈧和⑶的相位只错开45度。在仅使用HV方向的相关值S_H的情况下，当S_H接近于0或1时，可以确定内插 像素X在H方向或V方向上是强相关。但是，当S_H取0. 5附近的值时，具有在分辨率图上 内插像素X存在于(a)点和(c)点的可能性，仅仅参照相关线(A)，不能确定内插像素X具 有强相关的方向性。对此，通过参照绘出相关值S_NH的相关线(B)，即使S_H取0.5附近 的值时，也可以以高分辨率确定内插像素X在倾斜的哪个方向上具有强相关。其中，相关值 S_NH是由相对H方向只右转45度的NH方向、相对H方向只左转45度的NV方向、即相对水 平和垂直轴只旋转45度的正交的两个带通滤波器的输出算出的。即，通过比较S_H和S_ NH的相关线，可以在全方向(360度)上判断内插像素X与周围像素具有强相关的方向。另 外，在本实施例中，作为一例，采用了作为规定角度只旋转45度的正交的两个带通滤波器， 但是，即使是40度 50度等HV方向和NH/NV方向形成的角度为不同的角度，只要起到与 上述同样的效果即可。将图13所示的分辨率图作为输入图像时，在步骤S18中，对于图14所示的频率图 上的内插像素X位于的空间相位，比较用单点划线㈧和双点划线⑶表示的相关值，从而 可以求出内插像素与HV方向、以及NH和NV方向的周围像素分别具有何种程度的相关、即 相关强的方向性。在步骤S18中，在知道内插像素X具有的相关的方向性时，接着判断是否具有在步 骤S12 S14和步骤S15 S17中求得的相关值S_H和S_NH的可靠度(步骤S19)。如上所述，在步骤S12 S14以及S15 S17中，不直接算出以内插像素X为中心 的各方向的相关值，而是将在以包围内插像素X的各周围像素为中心算出的H方向和NH方 向的相关值中可靠度高的相关值进行平均，并作为内插像素X的相关值而代替。此时，相关 的可靠度核对尤其重要。在此，对核对相关的可靠度的具体方法进行说明。将图13所示的分辨率图作为输 入图像时的频率图、即内插像素和HV方向、以及NH和NV方向的周围像素之间的关系如图 14所示。将2组正交的带通滤波器分别配置在水平垂直方向、以及相对水平垂直方向只旋 转45度的方向上，由各组带通滤波器的输出可算出H方向的相关值S_H和NH方向的相关 值5_顯。SJ^PS_NH各自的相关线㈧和⑶的相位只错开45度。另外，图32分别绘出由从S_H(图14中的相关线(B))中减去0.5后的绝对值而 形成的相关线、由从S_NH(图14中的相关线(B))中减去0.5后的绝对值而形成的相关线。 从该图可知，相关值S_H和S_NH只要是图14所示的相关线上的理想值、即可靠度高的相关 值，则从S_H中减去0. 5后的绝对值和从S_NH中减去0. 5后的绝对值之和为接近于0. 5的 值。因此，将在步骤S12 S14和步骤S15 S17中求得的相关值S_H和S_NH代入由以下 不等式构成的条件式中，根据是否满足条件，可判断相关值3_!1和S_NH的可靠度。但是，THl 和TH2为接近于满足THl < TH2的关系的值(当使THl和TH2接近于0. 5时，则判断条件 更严格)。
22
THl < I S_H-0. 5 | +1 S_NH_0. 5 | < TH2在步骤S19中，当判断为有相关的可靠度时，将用于内插内插像素X的像素从在步 骤S18中判断为相关强的方向的周围像素中取出，并进行像素内插(步骤S20)。图15示出内插像素X具有的相关的方向性和用于内插的周围像素的关系。例如， 在步骤S18中，当判断为内插像素X具有的相关的方向性在(a)点(S卩，频率图上的90度) 时，H方向的相关强，所以用X= (G8+G9)/2进行内插像素X的G信号的内插。另外，在步 骤S18中，当内插像素X的相关的方向性在(b)点(S卩，频率图上的45度)时，NH方向的 相关强，所以用X= (G4+G13)/2进行内插像素X的G信号的内插。内插像素X的相关的方 向性为(c) (d) (e)点时也是同样。另外，如果为算出的(f)点、即内插像素X的相关的方向性为(C)点和(d)点之间 的相关值时，则表示S—H —0.25且S_NH—0.75,所以，采用该方向的像素，并用X = (Gl+G16)/2 来内插。另外，如(b)点和(f)点的中间点等，内插像素X的相关的方向性恰好不是在表示 内插像素X的相关的方向性的直线上的周围像素时，则进行对(b)点的内插值和(f)点的 内插值加权后内插、即基于相关值和内插值的关系的线性补正内插。例如，没有恰好在图 15中的相当于P点的方向上的周围像素，但是，通过以适用于与该方向相邻的方向性中的 两个内插值(G6+Gll)/2和(G7+G10)/2进行线性补正的下式算出内插像素X的相关值。但 是，a是加权系数。X = {(G6+G11) /2} X a+ {(G7+G10) /2} X (l_a)这样，在本实施例1中，不是象现有技术那样仅从HV方向的相关值S_H求取内插 像素X的相关的方向性，而是还使用由相对水平和垂直轴只旋转45度后的正交的两个带通 滤波器的输出所算出的相关值3_顯。HV方向的相关值S_H恰好为0. 5时，仅以S_H不能确 定相关的方向性。对此，对于NH和NV方向的相关值S_NH的相关线，相对于S_H，相位只错 开45度(参照图14)，所以，还可以参照S_NH用高分辨率确定内插像素X在倾斜的哪个方 向上具有强相关。因此，当使用图6所示的滤色器进行颜色编码时，与现有的Bayer排列相 比，可以以高精度内插G信号，其结果是可以得到高分辨率的亮度信号。另一方面，对于在步骤S12 S14和步骤S15 S17中求出的相关值S_H和S_NH， 在得不到充分的可靠度时(步骤S19的No)，使用周围像素的平均值进行针对S/N的像素内 插(步骤S21)。两个相关值S_NH不在图14所示的两个相关线㈧和⑶上时，可以看 作不相关。例如，当S_h=I.o、时，可以说具有相关。但是当s_H=I.O、 S_NHN 1.0时，因为不在图14中的任意一条相关线㈧和⑶上，所以可以说相关的可 靠度低。后者时，无论使用哪个方向的像素进行内插，能够正确地内插的概率低，相反，由于 错误的内插而生成伪颜色信号的可能性大。这样，当判明在步骤S12 S17中算出的相关值SJ^nS_NH不在图14所示的两 条相关线(A)和(B)上、相关值的可靠度低时，不是采用根据内插像素X具有的相关的方向 性而确定的周围像素进行针对分辨率的内插，而是适用针对S/N的内插处理。例如，使用周 围四个像素，根据X= (G5+G8+G9+G12)进行内插像素X的G信号的内插，从而可提高摄像 装置的性能。
在上述Bayer排列的内插中，只能根据配置在HV方向上的一组正交的带通滤波器 的输出来求出HV方向的相关S_H。因此，不能评价相关的可靠度，即使对例如NH和NV方 向，也只能进行与HV方向的情况同样的内插。对此，在本实施例1中，因为进行用G成分包围RB成分的颜色编码(参照图6)， 所以根据配置在相对HV方向只旋转45度的NH和NV方向上的一组正交的带通滤波器的输 出，还可以算出NH方向的相关。因此，可以在全方向(360度)上判断内插像素X与周围像 素具有强相关的方向，在该内插处理中，可对应倾斜方向的内插。另外，由图5和图7中分别表示的图像信号的临界分辨率的对比可知，根据本实施 例1中的颜色编码，关于G的分辨率，在倾斜45度的方向上，与Bayer排列相比可以获得两 倍的分辨率。另外，在步骤S19中评价相关的可靠度，当相关可以信赖时，由相关的方向进行针 对分辨率的内插，但是，当相关不可信赖时，为了进行针对S/N的内插，根据可靠度相应地 切换处理方法，所以，可以实现高精度的内插处理。在图13所示的人工的分辨率图中，基本上在整个区域上，输出较高的相关的可靠 度。对此，对于画有一般画中的沙砾路、树木茂盛这样的复杂曲线的被摄体，可引起相关的 可靠度降低的情况。此时，只要切换为相应地针对S/N的内插处理即可。也可以设计制造专用的硬件装置，用于执行根据本实施例一的一系列内插处理， 但是，利用例如在计算机上执行规定的计算机程序的所谓软件处理，也可以实现同样的内 插处理。图16表示用于执行根据本实施例1的内插处理的硬件构成的内插处理电路23A 的构成例。G4HV方向相关值算出电路31，以内插像素X的左斜上方的像素G4为中心，相对HV 方向进行滤波处理，从而算出HV方向的相关值。例如，可利用具有图11所示的频率特性的 带通滤波器构成G4HV方向相关值算出电路31。具体而言，G4HV方向相关值算出电路31通 过以下运算式算出相对像素G4的H方向的相关值S_H_G4。S_H_G4 = Bpf_V/(Bpf_H+Bpf_V)并且，G4HV方向相关值算出电路31还通过以下运算式算出V方向的相关值S_V_ G4。S_V_G4 = 1-S_H_G4关于包围内插像素X的其他的周围像素G6、GlU G13，各HV方向相关值算出电路 32、33、34与G4HV方向相关值算出电路31同样，分别算出以内插像素X的各右斜上方的像 素G6、左斜下方的像素G11、右斜下方的像素G13为中心的H方向的相关值S_H_G6、S_H_ G11、S_H_G13以及V方向的相关值S_V_G6、S_V_G11、S_V_G13。通过各相关值算出电路31 35，可实现相当于图10所示的流程图的步骤S12的处理。对于H方向和V方向的各方向，选择电路35分别从四个相关值中选择出适用于内 插像素X的相关值。具体而言，选择电路35对在各相关值算出电路31 35中分别算出相 关值的过程中算出的带通滤波器的输出值进行比较，作为内插像素X的相关值，采用四个 相关值中相关可靠值Bpf_Max最大的、即可靠性最高的两个相关值。通过选择电路35，实现 相当于图10所示的流程图的步骤S13的处理。
平均算出电路36算出由选择电路35选择的前两位(the higher order two places)的相关值的平均值，作为一个相关值S_H*S_V，从HV各方向输出。利用平均算出 电路36实现相当于图10所示的流程图的步骤S14。G5NH和NV方向相关值算出电路37，以内插像素X上方的像素G5为中心，相对于 正交的NH方向和NV方向进行滤波处理，从而算出NH方向和NV方向的相关值。例如，可通 过具有图12所示的频率特性的带通滤波器构成G5NH和NV方向相关值算出电路37。具体 而言，G5NH和NV方向相关值算出电路37通过以下算式算出相对于像素G5的NH方向的相 关值 S_NH_G5。S_NH_G5 = Bpf_NV_G5/(Bpf_NH_G5+Bpf_NV_G5)并且，G5NH和NV方向相关值算出电路37还通过以下算式算出NV方向的相关值 S_NV_G5。S_NV_G5 = 1_S_NH_G5关于包围内插像素X的其他周围像素G8、G9、G12，各NH和NV方向相关值算出电 路38、39、40与G5NH、NV方向相关值算出电路37同样，分别算出以内插像素X左方的像素 G8、右方的像素G9、下方的像素G12各像素为中心的NH方向的相关值S_NH_G8、S_NH_G9、S_ NH_G12以及NV方向的相关值S_NV_G8、S_NV_G9、S_NV_G12。通过各相关值算出电路37 40，实现了相当于图10所示的流程图的步骤S15的处理。对于各NH方向和NV方向，选择电路41从四个相关值中选择出适用于内插像素X 的相关值。具体而言，选择电路41对在算出四个相关值的过程中算出的带通滤波器的输出 值进行比较，作为内插像素X的相关值，采用四个相关值中相关可靠值Bpf_Max最大的、即 可靠性最高的两个相关值。通过选择电路41，实现相当于图10所示的流程图的步骤S16的处理。平均值算出电路42算出由选择电路41选择的上位两个位置的相关值的平均值， 作为一个相关值S_NH、S_NV，从各个NH方向和NV方向输出。通过平均值算出电路42，可实 现相当于图10所示的流程图的步骤S17的处理。比较电路43算出内插像素X具有的相关的方向性、即内插像素X在哪个方向上与 周围像素的相关强。具体而言，比较电路43将通过平均值算出电路36算出的HV各方向中 的一个相关值S_H和S_V、以及用平均值算出电路42算出的NH方向和NV方向的各个相关 值S_NH和S_NV与图14所示的相关线图进行比较，从而确定相关的方向性。通过比较电 路43，实现相当于图10所示的流程图的步骤S18的处理。对于比较电路43的算出结果、即相关强的方向性，判断电路44判断是否具有其相 关的可靠度。具体而言，当利用平均值算出电路36和42分别算出的两个相关值S_H和S_ NH在图14所示的两条相关线㈧和⑶上时，被认为具有相关，但是当这两个相关值S_H
不在两条相关线(A)和(B)上时，则被认为不相关。判断电路44的判断结果提供 给内插电路45。通过判断电路44，可实现相当于图10所示的流程图的步骤S19的处理。内插电路45由对内插像素X进行针对分辨率的内插处理的第一内插电路451、进 行针对S/N的内插处理的第二内插电路452构成，根据从判断电路提供的相关的可靠度，相 应地在任意一个内插电路451或452进行内插处理。第一内插电路451根据由判断电路44提供的相关的可靠度高的判断结果，采用有相关的方向的像素进行内插。用有相关的方向的像素进行的内插处理是针对分辨率的内插 处理。通过第一内插电路451，实现相当于图10所示的流程图的步骤S20的处理。另一方面，第二内插电路452根据由判断电路44提供的相关的可靠度低的判断结 果，使用内插像素X的周围像素的平均值进行内插。例如，采用贴近包围内插像素X的周围 的四个像素的图像信号，按照下式进行内插像素X的内插。这样，使用内插像素X的周围像 素的平均值进行的内插处理是针对S/N的内插处理。通过第二内插电路452，实现相当于图 10所示的流程图的步骤S21的处理。X= (G5+G8+G9+G12)/4前面已经描述了由带通滤波器构成各HV方向相关值算出电路31 34以及各NH 和NV方向相关值算出电路37 40，但是并不限定于带通滤波器。这些相关值算出电路也 可以使用例如微分滤波器等高通滤波器构成，或者通过低通滤波器和使该低通滤波器的输 出反转的反相器的组合而构成高通滤波器。对于图6所示的颜色编码，在形成亮度成分之后成为主成分的G相对于内插像素 X被配置在位于水平、垂直、倾斜各方向上的8个周围像素、即像素G4、G5、G6、G8、G9、Gl 1、 G12、G13中，与现有的Bayer排列相比，可实现高亮度分辨率。如上所述，根据本实施例1的 内插处理，对于具有这种颜色编码用的滤波器的固体摄像装置，通过求出多个相关值并与 相关线图比较，可对全方向(360度)判断相关性。即，对于图6所示的颜色编码可以更高 精度地对G信号进行内插处理，与现有的Bayer排列相比，可得到高分辨率的亮度信号。尤其是在本实施例1中，参照图32进行说明，通过比较多个相关值和相关线图，根 据相关的可靠性高还是低，适当地切换内插处理。即，当判断为相关的可靠性高时，则使用 该判断的方向上的像素信息，进行针对分辨率的内插处理，另外，当判断为相关的可靠性低 时，则采用补正像素的周围像素的信息平均值进行针对S/N的内插，从而实现更高分辨率、 且对S/N也是很强的高性能的内插处理。[实施例二]图17表示本发明实施例二涉及的作为内插处理对象的颜色编码例2。该图所示 的颜色编码将水平和垂直方向的各像素间距设为V^d,各像素在每行和每列上各错开像 素间距^的1/2(在奇数行和偶数行上，像素在水平方向上只错开像素间距的1/2，在奇数 列和偶数列上，像素在垂直方向上只错开像素间距的1/2)、S卩、对于所谓的倾斜像素排列， 第一行为G和R交替排列的GR行，第二行为仅排列G的G行，第三行为B和G排列交替的 GB行，第四行为仅排列G的G行，以下将以该四行为单位重复排列。图17所示的颜色编码例二构成为在形成亮度(Y)成分之后成为主要成分的颜色 成分(在本例中为G)、其他颜色成分(在本例中为R和B)被配置成用G包围R和B的周 围，对于水平、垂直方向，R和B以2力的间隔配置。该颜色编码就是使图6所示的颜色编 码例一中的颜色排列倾斜45度的颜色编码。在水平和垂直方向上考虑图17所示的颜色编码例二中的抽样率时，G的抽样率为 d/V^，R和B的抽样率为2V^d。即，每隔一列(在本实施例中为奇数列)及每隔一行(在 本实施例中为奇数行)配置R和B，使水平和垂直方向上的抽样率相对于G为1/4。因此， 在G和R及B之间，在水平和垂直方向上具有4倍的分辨率之差。另外，在倾斜45度方向 上考虑抽样率时，G的抽样率为d，R和B的抽样率为2d。
在此，对空间频率特性进行研究。在水平和垂直方向上，G的抽样率为d/VL·所 以，根据抽样定理，直至(1/W )fs的频率，都可以捕获G信号。对于倾斜45度方向，因 为G的抽样率为d，所以，根据抽样定理，可以捕获频率直至(1/4) fs的G信号。同样对R和B进行研究。由于R和B的像素排列间隔相同，故在此仅对R进行描 述。关于R的空间频率特性，对于在水平和垂直方向，R的抽样率为所以，根据抽 样定理，直至()fs的频率，可以捕获R信号。并且，对于倾斜45度方向，因为R的 抽样率为2d，所以，根据抽样定理，直至(1/2) fs的频率，可以捕获R信号。因此，倾斜像素排列的固体摄像装置与正方格状排列像素的情况相比，像素间距 狭窄，所以可得到高分辨率。另外，如果为与正方格状像素排列相同的分辨率时，可用比正 方格状像素排列的像素间距更宽的像素间距排列像素，所以可获取较宽的像素开口，其结 果是可提高S/N。关于图17所示的颜色编码的详细情况，可参照本申请人已经转让的日本特愿 2005-107037号说明书的0055 0072段。在本实施例二中，以图17所示的颜色编码例二的内插处理为特征。以下对该内插 处理进行详细说明。图18是用正方格重新表现图17所示的颜色编码例二。可以知道，图6所示的颜 色编码例一中的G排列和图18中的G排列在旋转45度的方向上具有关系。由此可理解， 相对图17所示的颜色编码例二，利用使上述实施例一的内插处理旋转45度后的位置关系， 可以高精度地内插R和B像素的空间位置上的G像素。图19表示用于执行本实施例二的内插处理的内插处理电路23的构成例。如该图 所示，根据本实施例的内插处理电路23B由包括前级内插处理电路231和后级内插处理电 路232的二级构成。前级内插处理电路231基本上用与实施例一同样的顺序执行内插处理，由此，对 于图18中的G像素排列，可以内插R和B像素的空间位置上的G像素。图20表示该前级 内插处理电路231的内插处理结果、即对于图18的像素排列内插R和B像素的空间位置的 G像素的结果。利用该内插处理，高精度地内插图20中的G排列。在此，当注意到图20的 G排列时，可知G配置成方格状。后级内插处理电路232基本上用与上述Bayer排列时同样的顺序进行内插处理， 由此，对于图20中的G像素排列进行内插处理。根据该Bayer排列的内插处理，对于全部 像素，由配置成方格状的G生成G。图21表示后级内插处理电路232的内插处理结果、即由 配置成方格状的G在全部像素G上内插的结果。这样，对于图17所示的颜色编码例二，通过将前级内插处理电路231的内插处理 即实施例一涉及的内插处理、以及后级内插处理电路232的内插处理即Bayer排列的内插 处理组合后执行内插处理，从而可以得到直至临界分辨率的G的分辨率。图22表示Bayer排列、图6所示的颜色编码例一、图17所示的颜色编码例二中的 各空间分辨率特性。如果对图6所示的颜色编码例一的分辨率和图17所示的颜色编码例 二的分辨率进行比较，在水平、垂直方向上，图17所示的颜色编码例二的分辨率具有优势。 通常，用照相机拍摄被摄体时，含有直线成分的图像多数分布在水平和垂直方向上。从该观 点出发，可以说图17所示的颜色编码例二比图6所示的颜色编码例一更有优势。
另外，考虑到作为照相机信号处理电路14(参照图1)的输出而需要将图像信号输 出为正方格状时，利用图17所示的颜色编码，可以作为像素2倍的输出大小而进行输出，这 一点具有优势。当然，从图22可以理解，与Bayer排列相比，分辨率显著提高。在照相机处理电路14中，通过将根据本实施例二的内插处理电路23B直接作为原 来的内插处理电路23而使用，可以得到上述作用效果。并且，也可以采用图23所示的、将 内插处理电路23B变形后的内插处理电路23B'的构成。图23所示的内插处理电路23B'构成为在后级内插处理电路232的输入侧设置 切换开关233，将前级内插处理电路231的输出信号和WB电路22(参照图1)的输出信号 (前级内插处理电路231的输入信号)中的一个可选择性地输入到后级内插处理电路232。 通过采用这种构成，可以用一个照相机系统与图17所示的颜色编码以及Bayer排列两种类 型的固体摄像装置对应。产业上的可利用性以上参照特定实施例对本发明进行了详细说明。但是，在不脱离本发明宗旨的范 围内，本领域技术人员当然可以对实施方式进行更改和替换。尤其是，关于本发明，对于为在水平方向和垂直方向成等间隔而将各像素排列成 正方格状的像素排列，在计算亮度成分时成为主要成分的颜色成分，对于进行颜色编码的 图像信号，可很好地适用于计算亮度成分的主要成分的滤色器排列内插的处理，其中，颜色 编码使用了为包围各个其他颜色成分的周围而配置的滤色器。但是本发明的宗旨不限定于 特定的颜色编码。另外，在本说明书中，作为利用在形成亮度成分之后成为主要成分的G来包围R和 B的各自的周围的颜色编码，以图8和图17所示的两个颜色编码例的实施例为中心进行 了说明，但是，可适用本发明的颜色编码并不限定于这两个颜色编码例。例如，即使是下述 颜色编码，即、对于正方格状的像素排列、第一行是以水平方向的四个像素为单位重复排列 RGGG、第二行仅排列G、第三行以水平方向的四个像素为单位重复排列GGBG、第四行仅排列 G、以下以这四行为单位重复排列，也同样适用根据本发明的内插处理。另外，在本说明书中，关于亮度信号，重点对用于实现高分辨率的G信号的内插处 理进行了说明，但是，对于其他颜色，例如品红、黄色，也适用与G同样的内插处理。总之，用列举的方式公开了本发明，不应该是限定地解释本说明书的记载内容。为 了判断本发明的宗旨，应该参考保护范围。
权利要求
一种图像处理装置，用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的图像，其特征在于，包括用于输入图像信号的单元；相关值算出单元，对于所述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；内插用像素确定单元，根据所述第一相关值和所述第二相关值确定在内插期望的像素时使用的其他像素；以及内插单元，由通过所述内插用像素确定单元确定的像素内插所述期望的像素，其中，在所述颜色编码用的滤色器上，对于各像素在每一行和每一列上各错开像素间距的1/2的倾斜像素排列，在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他各颜色成分的周围。
2.根据权利要求1所述的图像处理装置，其特征在于，所述相关值算出单元根据正交 的两个滤波器的输出算出所述第一相关值，同时，根据与算出所述第一相关值时具有不同 方向特性的正交的两个滤波器的输出算出所述第二相关值。
3.根据权利要求2所述的图像处理装置，其特征在于，在算出所述第二相关值时，所述 相关值算出单元使用方向特性与在算出所述第一相关值中使用的滤波器只错开规定角度 的滤波器。
4.根据权利要求2所述的图像处理装置，其特征在于，所述内插用像素确定单元通过 比较所述第一相关值和所述第二相关值的相关关系，根据将要内插的期望的像素周围360 度的相关性，确定在内插期望的像素时使用的其他像素。
5.根据权利要求1所述的图像处理装置，其特征在于，包括前级内插处理单元，利用内插处理，使对于所述倾斜像素排列的颜色编码形成为Bayer 排列的颜色编码；以及后级内插处理单元，对于所述Bayer排列的颜色编码进行使用了内插的Bayer排列内 插处理。
6.一种图像处理装置，用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的图 像，其特征在于，包括用于输入图像信号的单元；相关值算出单元，对于所述图像信号，算出表示像素之间的相关程度的至少第一相关 值和第二相关值；可靠度算出单元，用于算出与通过所述相关值算出单元算出的各相关值有关的可靠 度；以及内插单元，用与所述可靠度对应的内插处理进行期望的像素的内插。
7.根据权利要求6所述的图像处理装置，其特征在于，所述可靠度算出单元根据通过 所述相关值算出单元算出的各相关值之和算出可靠度。
8.根据权利要求6所述的图像处理装置，其特征在于，在所述可靠度为规定范围之外 时，所述内插单元采用内插的所述期望的像素的周围像素的信息平均值进行内插。
9.根据权利要求6所述的图像处理装置，其特征在于，当所述可靠度为规定范围内时， 所述内插单元根据所述第一相关值和所述第二相关值，从内插的所述期望的像素的周围像素中确定用于内插的像素，并使用该确定的像素进行内插。
10.一种图像处理方法，用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的 图像，其特征在于，包括相关值算出步骤，根据所述摄像单元的图像信号，算出表示像素之间的相关程度的至 少第一相关值和第二相关值；内插用像素确定步骤，根据所述第一相关值和第二相关值确定在内插期望的像素时使 用的其他像素；以及内插步骤，由在所述内插用像素确定步骤中确定的像素进行所述期望的像素的内插，其中，对于各像素在每一行和每一列各错开1/2像素间距的倾斜像素排列，对通过滤 色器进行颜色编码的图像信号执行所述各步骤，并进行在算出所述亮度成分之后成为主要 成分的颜色成分的滤色器排列内插，其中所述滤色器是一种在算出亮度成分之后成为主要 成分的颜色成分被配置成包围其他颜色成分的各成分的周围的滤色器。
11.根据权利要求10所述的图像处理方法，其特征在于，在所述相关值算出步骤中，根 据正交的两个滤波器的输出算出所述第一相关值，同时，根据具有与算出所述第一相关值 时不同的方向特性的正交的两个滤波器的输出算出所述第二相关值。
12.根据权利要求11所述的图像处理方法，其特征在于，在所述相关值算出步骤中，在 算出所述第二相关值中，使用方向特性与在算出所述第一相关值中使用的滤波器只错开规 定角度的滤波器。
13.根据权利要求11所述的图像处理方法，其特征在于，在所述内插用像素确定步骤 中，通过比较所述第一相关值和所述第二相关值的相关关系，从而根据将要内插的期望的 像素周围360度的相关性，确定在内插期望的像素时使用的其他像素。
14.一种图像处理方法，用于处理通过具有颜色编码用的滤色器的摄像单元所拍摄的 图像，其特征在于，包括相关值算出步骤，对于所述摄像单元的图像信号，算出表示像素之间的相关程度的至 少第一相关值和第二相关值；可靠度算出步骤，算出与在所述相关值算出步骤中算出的各相关值有关的可靠度；以及内插步骤，用与所述可靠度对应的内插处理来内插期望的像素。
15.根据权利要求14所述的图像处理方法，其特征在于，在所述可靠度算出步骤中，根 据在所述相关值算出步骤中算出的各相关值之和算出可靠度。
16.根据权利要求14所述的图像处理方法，其特征在于，在所述内插步骤中，当所述 可靠度在规定的范围之外时，使用内插的所述期望的像素的周围像素的信息平均值进行内 插。
17.根据权利要求14所述的图像处理方法，其特征在于，在所述内插步骤中，当所述可 靠度在规定的范围内时，根据所述第一相关值和所述第二相关值，从内插的所述期望的像 素的周围像素中确定使用于内插的像素，并使用该确定的像素进行内插。
18.一种摄像装置，包括具有颜色编码用滤色器的摄像单元；相关值算出单元，对于通过所述摄像单元拍摄的图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；内插用像素确定单元，根据所述第一相关值和所述第二相关值，确定在内插期望的像 素时使用的其他像素；内插单元，由通过所述内插用像素确定单元确定的像素内插所述期望的像素；以及 信号处理单元，对于通过所述内插单元内插像素的图像信息，进行颜色空间分离或其 他的信号处理，其中，在所述颜色编码用的滤色器上，对于各像素在每一行和每一列上各错开像素间 距的1/2的倾斜像素排列，在算出亮度成分之后成为主要成分的颜色成分被配置成包围其 他各颜色成分的周围。
19.一种摄像装置，包括具有颜色编码用滤色器的摄像单元；相关值算出单元，对于通过所述摄像单元拍摄的图像信号，算出表示像素之间的相关 程度的至少第一相关值和第二相关值；可靠度算出单元，算出与通过所述相关值算出单元算出的各相关值有关的可靠度； 内插单元，用与所述可靠度对应的内插处理进行期望的像素的内插；以及 信号处理单元，对于通过所述内插单元内插像素的图像信息，进行颜色空间分离或其 他的信号处理。
20.一种图像处理装置，其特征在于，包括相关值算出单元，关于具有规定颜色编码的滤波器的固体摄像装置上的内插对象的像 素，算出表示图像的相关程度的多个相关值；判断单元，通过将在所述相关值算出单元中算出的所述多个相关值与相关线比较，从 而判断应该内插的方向，其中，所述相关线是对于不同方向算出最低两个模式的相关值、并 相对各种角度的直线绘出该最低两个模式的相关值而得到的；以及内插单元，根据在通过所述判断单元判断的方向上存在的所述内插对象的像素的周围 像素信息，对该内插对象的像素进行内插处理。
21.根据权利要求20所述的图像处理装置，其特征在于，所述相关值算出单元以所述 内插对象的像素的周围像素为中心算出所述多个相关值。
22.根据权利要求20所述的图像处理装置，其特征在于，所述相关值算出单元算出所述多个相关值中的相关高的前多个平均值； 所述判断单元根据所述前多个平均值判断应该内插的方向。
23.根据权利要求20所述的图像处理装置，其特征在于，所述相关值算出单元由第一 滤波器的输出和第二滤波器的输出之间的比例算出所述多个相关值，其中，所述第一滤波 器的输出通过对于第一方向进行基于第一带通滤波器的滤波处理而得到，所述第二滤波器 的输出通过对于与所述第一方向正交的第二方向进行基于与所述第一带通滤波器的滤波 特性相同的第二带通滤波器的滤波处理而得到。
24.根据权利要求20所述的图像处理装置，其特征在于，所述不同的方向是只错开45 度的方向。
25.根据权利要求24所述的图像处理装置，其特征在于，所述判断单元在关于所述不 同的方向的两个相关值位于所述相关线上时认为相关的可靠性高，当该两个相关值不在所述相关线上时认为相关的可靠性低。1
26.根据权利要求25所述的图像处理装置，其特征在于，当所述判断单元判断出相关 的可靠性高时，所述内插单元采用在通过该判断单元判断的方向上存在的所述内插对象的 像素的周围像素信息进行内插，当所述判断单元判断为相关的可靠性低时，所述内插单元 采用所述周围像素信息的平均值进行内插。
27.根据权利要求20所述的图像处理装置，其特征在于，对于像素在水平方向和垂直 方向上等间隔地排列成正方格状的像素排列，所述规定的颜色编码被配置成在形成亮度成 分之后为主要成分的颜色成分包围其他颜色成分的各成分的周围。
28.根据权利要求20所述的图像处理装置，其特征在于，对于像素在每行和每列上各 错开1/2像素间距的倾斜像素排列，所述规定的颜色编码被配置成在形成亮度成分之后为 主要成分的颜色成分包围其他颜色成分的各成分的周围。
29.根据权利要求28所述的图像处理装置，其特征在于，还包括前级内插处理单元，通过内插处理，使所述倾斜像素排列的颜色编码为Bayer排列的 颜色编码；以及后级内插处理单元，对所述Bayer排列的颜色编码进行使用了内插的Bayer内插处理；其中，所述前级内插处理单元包括相关值算出单元，关于内插对象的像素，算出表示图像的相关程度的多个相关值；判断单元，通过将用所述相关值算出单元算出的所述多个相关值与相关线比较，从而 判断应该内插的方向，其中，所述相关线是对于不同方向算出最低两个模式的相关值、并相 对于各种角度的直线绘出该最低两个模式的相关值而得到的；以及内插单元，根据在通过所述判断单元判断的方向上存在的所述内插对象的像素的周围 像素信息，对该内插对象的像素进行内插处理。
30.一种图像处理方法，其特征在于，包括第一步骤，关于具有规定颜色编码的滤色器的固体摄像装置上的内插对象的像素，算 出表示像素的相关程度的多个相关值；第二步骤，通过将通过所述第一步骤算出的所述多个相关值与相关线比较，从而判断 应该内插的方向，其中，所述相关线是对于不同的方向算出最低两个模式的相关值、并对于 各个角度的直线绘出该最低两个模式的相关值而得到的；以及第三步骤，根据在用所述第二步骤判断的方向存在的所述内插对象的像素的周围像素 信息，对该内插对象的像素进行内插处理。
31.一种摄像装置，包括具有规定颜色编码的滤波器的固体摄像装置、以及用于处理所 述固体摄像装置的输出信号的图像处理装置，其特征在于，所述图像处理装置包括相关值算出单元，对于所述固体摄像装置上的内插对象的像素，算出表示图像的相关 程度的多个相关值；判断单元，通过将在所述相关值算出单元中算出的所述多个相关值与相关线比较，从 而判断应该内插的方向，其中，所述相关线是对于不同的方向算出最低两个模式的相关值、 并相对于各种角度的直线绘出该最低两个模式的相关值而得到的；内插处理单元，根据在通过所述判断单元判断的方向上存在的所述内插对象的像素的 周围像素信息，对该内插对象的像素进行内插处理。
全文摘要
本发明提供了一种图像处理装置及图像处理方法、摄像装置，用于对通过具有颜色编码用的滤色器的摄像单元进行拍摄的图像进行处理，其包括用于输入图像信号的单元；相关值算出单元，对于上述图像信号，算出表示像素之间的相关程度的至少第一相关值和第二相关值；内插用像素确定单元，根据上述第一相关值和上述第二相关值确定在内插期望的像素时使用的其他像素；以及内插单元，由通过上述内插用像素确定单元确定的像素内插上述期望的像素，其中，在上述颜色编码用的滤色器上，对于各像素在每一行和每一列上各错开像素间距的1/2的倾斜像素排列，在算出亮度成分之后成为主要成分的颜色成分被配置成包围其他各颜色成分的周围。
文档编号H04N9/04GK101924947SQ201010253720
公开日2010年12月22日 申请日期2006年6月20日 优先权日2005年6月21日
发明者千叶卓也, 小坂井良太, 松井启 申请人:索尼株式会社