专利名称：图像处理方法、图像处理程序以及图像处理器的制作方法
技术领域：
本发明涉及图像处理方法，通过该方法，可生成高图像质量的高分辨率数字彩色图像。
背景技术：
对彩色图像数据进行色彩差值处理后会出现色彩失真，其中，通过利用单片式彩色图像传感器等进行空间采样彩色分量可获得彩色图像数据。国际申请WO 02/060186公开了一种方法，其用于自适应地消除在彩色图像数据中出现的色彩失真，而不损坏图像结构，并且，更具体地，不损坏由该彩色图像数据表示的色彩结构(由本发明的发明者发明)。在该方法中，基于通过使用基于色差信号计算的色彩索引执行的色彩判定结果，在消色差区域内较大程度地执行色彩失真消除，并在彩色区域内较小程度地执行色彩失真消除。
发明内容
本发明要解决的问题然而，在国际申请WO 02/060186中公开的方法具有有待解决的问题，因为其并未提供一种对于在彩色图像区域内出现的色彩失真非常有效的解决方案。具体地，当色彩失真的幅度在高ISO感光度照片中增加时，色彩失真在彩色区域和消色差区域上以类似的彩色斑点的形式出现。这导致不能在整个图像区域上完全消除色彩失真的问题。
解决该问题的方法根据本发明的第一方面，一种图像处理方法，用于将第一图像转换为第二图像，其中，第一图像由多个彩色分量构成的色度系统表示，并由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息；第二图像由多个像素构成，都具有对应于至少一个公共彩色分量的彩色信息，该方法包括色差信息生成步骤，其中，通过利用第一图像中的彩色信息生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；以及图像转换步骤，其中，基于已经确定的彩色梯度将第一图像转换为第二图像。。
根据本发明的第二方面，在根据第一方面的图像处理方法中，优选的是图像转换步骤包括色差信息校正步骤，其中，对于通过利用第一图像中的彩色信息已经生成的色差信息，基于彩色梯度执行校正处理。
根据本发明的第三方面，在根据第二方面的图像处理方法中，优选的是在彩色梯度分析步骤，基于表示构成用于表示第一图像的色度系统的彩色分量间颜色差别的色差信息，生成色彩索引，并且通过确定色彩索引平面内颜色变化的程度确定彩色梯度。
根据本发明的第四方面，在根据第一方面的图像处理方法中，优选的是以匹配位置结构排列构成第一图像的多个像素和构成第二图像的多个像素，以实现直接对应；并且在图像转换步骤，在与第二图像中对应于彩色梯度陡度的处理目标像素位置对应的位置，通过调整第一图像中彩色信息的作用因子，将第一图像转换为第二图像。
根据本发明的第五方面，在根据第四方面的图像处理方法中，优选的是在彩色梯度分析步骤，利用表示构成用于表示第一图像的色度系统的彩色分量和对应于反色的彩色分量间颜色差别的色差信息，生成色彩索引，并且通过确定色彩索引平面内颜色变化的程度确定彩色梯度。
根据本发明的第六方面，一种图像处理方法包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为其所有像素都具有对应于至少两个公共彩色分量的图像的处理得到所述第二图像，所述第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色差信息生成步骤，其中，通过利用第二图像中的彩色信息生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，校正对应于第二图像的色差信息。
根据本发明的第七方面，在根据第一或第六方面的图像处理方法中，优选的是在彩色梯度分析步骤，基于色差信息，生成对应于每个像素的用于估计颜色的色彩索引，并且基于已经生成的色彩索引，确定彩色梯度。
根据本发明的第八方面，在根据第七方面的图像处理方法中，优选的是在彩色梯度分析步骤，通过在已经生成的色彩索引平面内执行确定梯度的微分运算，可确定彩色梯度。
根据本发明的第九方面，在根据第七方面的图像处理步骤中，优选的是在色差信息生成步骤，对应于单个处理目标像素生成多种类型的色差信息；并且在彩色梯度分析步骤，通过利用表示对应于多种类型的色差信息特定组合的至少三个彩色分量中颜色差别的色差信息，生成色彩索引。
根据本发明的第十方面，一种图像处理方法包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为所有像素都具有对应于至少三个公共彩色分量的彩色信息的图像的处理获得所述第二图像，所述第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色度信息生成步骤，其中，通过在第二图像上执行色彩空间转换，生成色度信息；彩色梯度分析步骤，其中，基于已经生成的色度信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，校正包含在第二图像中的色差信息。
根据本发明的第十一方面，在根据第二、第六和第十中任一个的图像处理方法中，优选的是在色差信息校正步骤中，如果目标像素具有小于预定值的彩色梯度，则向色差平面应用在预定范围上有效的校正滤波器，并且如果目标像素具有大于预定值的彩色梯度，则不执行校正处理，或应用在比预定范围窄的范围上有效的校正滤波器。
根据本发明的第十二方面，在根据第十一方面的图像处理方法中，优选的是在彩色梯度分析步骤中用于确定彩色梯度的微分滤波器具有与在预定范围上有效的校正滤波器的大小相匹配的大小。
根据本发明的第十三方面，在根据第一、第六和第十方面中任一个的图像处理方法中，优选的是在彩色梯度分析步骤中，通过沿多个方向各向同性地执行微分运算，确定彩色梯度。
根据本发明的第十四方面，在根据第十一方面的图像处理方法中，优选的是在彩色梯度分析步骤，通过一阶微分运算计算彩色梯度。
根据本发明的第十五方面，在根据第四方面的图像处理方法中，优选的是在图像转换步骤，根据彩色梯度调整第一图像中在对应于第二图像中处理目标像素位置的位置处彩色信息的作用因子，由此允许第一图像中的彩色信息影响对应于承载第二图像中的亮度的彩色分量的彩色信息。
根据本发明的第十六方面，在根据第十五方面的图像处理方法中，优选的是在图像转换步骤，通过采用至少第一方法和第二方法将第一图像转换为第二图像，通过第一方法，利用对应于第一图像中多个彩色分量的彩色信息，可生成对应于第二图像中一个彩色分量的彩色信息，通过第二方法，利用对应于第一图像中一个彩色分量的彩色信息，可生成对应于第二图像中一个彩色分量的彩色信息；在彩色梯度分析步骤，基于已经确定的彩色梯度，进行是否存在彩色边界的判定；以及在彩色转换步骤，采用第一方法处理通过彩色梯度分析步骤确定没有包含彩色边界的像素，并且采用第二方法处理通过彩色梯度分析步骤确定包含彩色边界的像素。
根据本发明的第十七方面，在根据第十六方面的图像处理方法中，优选的是当在图像转换步骤采用第一方法时，对于某像素，通过插值处理生成对应于承载第一图像中的亮度的彩色分量的彩色信息，其中，在所述像素处缺失对应于所述彩色分量的彩色信息，所述插值处理是通过利用对应于与该彩色分量匹配的彩色分量的彩色信息和对应于除该彩色分量之外的彩色分量的彩色信息来执行的，并且利用通过所述插值处理已经产生的、对应于承载第一图像中的亮度的彩色分量的彩色信息，将该第一图像转换为第二图像。
根据本发明的第十八方面，在根据第十七方面的图像处理方法中，优选的是当在图像转换步骤采用第一方法时，通过利用对应于构成第一图像的彩色分量的彩色信息，对所有像素生成彩色信息，该彩色信息对应于在除了用于表示第一图像的色度系统之外的色度系统中承载亮度的彩色分量，并且通过利用已经生成的、对应于在其它色度系统中承载亮度的彩色分量的彩色信息，将第一图像转换为第二图像。
根据本发明的第十九方面，在根据第一方面的图像处理方法中，优选的是在色差信息生成步骤，通过采用从至少三个不同方法中选择的方法，生成色差信息。
根据本发明的第二十方面，在根据第十九方面的图像处理方法中，优选的是在色差信息生成步骤，通过利用第一图像中的彩色信息，计算对应于至少两个方向的相似性因子，基于已经计算的相似性因子，在至少三个不同的类别中判断沿每个方向表现出的相似性，并且根据判断的类别，选择这三个不同方法中的一个。
根据本发明的第二十一方面，一种用于将第一图像转换为第二图像的方法，其中，第一图像由多个彩色分量构成的色度系统表示，并且由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息，第二图像由多个像素构成，这些像素都具有对应于至少一个公共彩色分量的彩色信息，该方法包括色差信息生成步骤，其中，通过利用第一图像中的彩色信息生成用于第二图像的色差信息；彩色梯度分析步骤，其中，基于已经产生的第二图像的色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，校正第二图像的色差信息，并且在色差信息校正步骤，与第二图像的亮度无关地进行第二图像色差信息的校正。
根据本发明的第二十二方面，一种图像处理方法包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为全部像素具有至少两个公共彩色分量的图像的处理获得所述第二图像，第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色差信息生成步骤，其中，通过利用第二图像中的彩色信息生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，与第二图像的亮度信息无关地校正对应于第二图像的色差信息。
根据本发明的第二十三方面，一种图像处理方法包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为全部像素都具有对应于至少三个公共彩色分量的彩色信息的图像的处理获得所述第二图像，第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色度信息生成步骤，其中，通过在第二图像上执行彩色空间转换，生成色度信息；彩色梯度分析步骤，其中，根据已经生成的色度信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，与第二图像中的亮度信息无关地校正第二图像中包含的色差信息。
根据本发明的第二十四方面，一种图像处理方法包括图像输入步骤，在该步骤输入由多个像素构成的图像，所有像素都具有对应于至少两个公共彩色分量的彩色信息；彩色转换步骤，其中，对应于构成该图像的彩色分量的彩色信息被转换为亮度信息和色差信息；彩色梯度分析步骤，其中，基于该色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，与亮度信息无关地校正该色差信息。
根据本发明的第二十五方面，在根据第二十一至第二十四方面中任一个的图像处理方法中，优选的是在色差信息校正步骤，根据在彩色梯度分析步骤中执行的用于确定彩色梯度的检测范围，确定将在色差校正中使用的彩色信息范围。
根据本发明的第二十六方面，在根据第二十一，第二十二和第二十四方面中任一个的图像处理方法中，优选的是在彩色梯度分析步骤，在确定彩色梯度前，校正在色差信息生成步骤中已经生成的色差信息。
根据本发明的第二十七方面，一种将第一图像转换为第二图像的方法，其中，第一图像由多个彩色分量构成的色度系统表示，并由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息，第二图像由多个像素构成，所有像素都具有对应于至少一个公共彩色分量的彩色信息，该方法包括第一彩色信息生成步骤，其中，通过利用对应于构成第一图像的多个彩色分量的彩色信息，生成对应于彩色分量的彩色信息，该彩色分量不同于构成用于表示第一图像的色度系统的彩色分量；第二彩色信息生成步骤，其中，通过利用对应于第一图像中一个彩色分量的彩色信息，生成对应于彩色分量的彩色信息，该彩色分量与用于表示第一图像的色度系统中的彩色分量相匹配；以及彩色信息合成步骤，其中，根据像素位置，选择使用通过第一彩色信息生成步骤已经生成的彩色信息或通过第二彩色信息生成步骤已经生成的彩色信息，或者都使用通过第一彩色信息生成步骤已经生成的彩色信息和通过第二彩色信息生成步骤已经生成的彩色信息，用于加权合成。
根据本发明的第二十八方面，在根据第二十七方面的图像处理方法中，优选的是在第一彩色信息生成步骤，生成彩色信息，该彩色信息对应于亮度分量，该亮度分量不同于用于表示第一图像的色度系统中的亮度分量。
根据本发明的第二十九方面，在根据第二十八方面的图像处理方法中，优选的是在第一彩色信息生成步骤，生成彩色信息，该彩色信息对应于色差分量，该色差分量不同于用于表示第一图像的色度系统中的彩色分量，并且如此生成的彩色信息，结合对应于亮度分量的彩色信息，该亮度分量不同于用于表示第一图像的色度系统中的亮度分量，被转换为一种对应于彩色分量的彩色信息，该彩色分量代表用于表示第一图像的色度系统中的亮度。
根据本发明的第三十方面，在根据第二十七至第二十九方面中任一个的图像处理方法中，优选的是在第二彩色信息生成步骤，生成彩色信息，该彩色信息对应于一种彩色分量，该彩色分量代表用于表示第一图像的色度系统中的亮度。
根据本发明的第三十一方面，在根据第二十八至第三十方面中任一个的图像处理方法中，优选的是在第一彩色信息生成步骤，通过采用从至少九个不同方法中选择的方法，生成对应于亮度分量的彩色信息，该亮度分量不同于用于表示第一图像的色度系统中的亮度分量。
根据本发明的第三十二方面，在根据第三十方面的图像处理方法中，优选的是在第二彩色信息生成步骤，通过采用从至少三个不同方法中选择的方法，生成对应于表示亮度的彩色分量的彩色信息。
根据本发明的第三十三方面，在根据第三十一方面的图像处理方法中，优选的是在第一彩色信息生成步骤，通过利用第一图像中的彩色信息，计算对应于至少四个方向的相似性因子，根据已经计算的相似性因子，在至少九个不同类别中判断沿每个方向表现出的相似性，并且根据判断的类别，选择这九个不同方法中的一个。
根据本发明的第三十四方面，在根据第三十二方面的图像处理方法中，优选的是在第二彩色信息生成步骤，通过利用第一图像中的彩色信息，计算对应于至少两个方向的相似性因子，根据已经计算的相似性因子，在至少三个不同类别中判断沿每个方向表现出的相似性，并且根据判断的类别，选择这三个不同方法中的一个。
根据本发明的第三十五方面，在根据第二十七至第三十四方面中任一个的图像处理方法中，优选的是进一步提供色差信息生成步骤，其中，基于第一图像中的彩色信息，生成色差信息，以及彩色梯度分析步骤，其中，基于已经确定的色差信息，确定表示颜色变化程度的彩色梯度；并且在彩色信息合成步骤，选择使用通过第一彩色信息生成步骤生成的彩色信息或通过第二彩色信息生成步骤生成的彩色信息，或者都使用通过第一彩色信息生成步骤生成的彩色信息和通过第二彩色信息生成步骤生成的彩色信息，基于已经确定的彩色梯度，在每个像素位置进行加权合成。
根据本发明的第三十六方面，一种图像处理程序使计算机能够执行根据第一至第三十五中任一个的图像处理方法中的步骤。
根据本发明的第三十七方面，一种计算机可读的记录介质在其中记录了根据第三十六方面的图像处理程序。
根据本发明的第三十八方面，一种图像处理装置在其中安装了根据第三十六方面的图像处理程序。
图1为在第一实施例中实现的电子照相机的功能框图；图2表示在转换目标像素[i，j]处包含R分量彩色信息的图像数据；图3表示在转换目标像素[i，j]处包含B分量彩色信息的图像数据；图4表示在转换目标像素[i，j]处包含G分量彩色信息的图像数据；图5表示在转换目标像素[i，j]处包含G分量彩色信息的图像数据；图6提供由图像处理单元执行的图像数据转换处理的示意流程图；图7是为了便于解释在第一实施例中执行的各种类型的处理间的关系而提供的框图；图8提供5×5像素分离型滤波器的示例；图9提供在5×5像素范围内执行的中值处理示例；图10说明在5×5像素范围内如何确定彩色梯度，该范围与临时色差校正滤波器的大小匹配；图11说明在9×9像素范围内如何确定彩色梯度，该范围与在第二实施例中使用的临时色差校正滤波器的大小匹配；图12是为了便于解释在第三实施例的示例2中执行的各种类型的处理间的关系而提供的框图；图13提供由第四实施例中图像处理单元执行的图像数据转换处理的示意流程图；图14是为了便于解释在第四实施例中执行的各种类型的处理间的关系而提供的框图；图15表示色差校正低通滤波器；图16表示彩色梯度与G分量合成比率间的关系；图17是为了便于解释在第五实施例中执行的各种类型的处理间的关系而提供的框图；图18表示对应方向索引进行的九个不同分类；图19表示当将G像素作为转换目标像素处理时，所使用的像素的位置和分配给像素的系数(G-位置亮度生成系数模式)；图20表示当将R像素或B像素作为转换目标像素处理时，根据特定的方向索引，所使用的像素的位置和分配给像素的系数(R/B-位置亮度生成系数模式)；
图21表示边缘加重滤波器；以及图22表示如何将程序提供至记录介质中，例如CD-ROM，或通过因特网上的数据信号等。
具体实施例方式
-第一实施例-(电子照相机的结构)图1为在第一实施例中实现的电子照相机的功能框图。该电子照相机1包括A/D转换单元10，图像处理单元11，控制单元12，存储器13，压缩/解压缩单元14和显示图像生成单元15。它包括用于实现与存储卡(卡片型可移动存储器)连接的存储卡接口单元17和用于实现通过特定类型的电缆或无线传输路径与诸如PC(个人计算机)的外部装置相连的外部接口单元19。这些模块通过总线29彼此相连。图像处理单元11可由例如专用于图像处理的单芯片微处理器构成。
电子照相机1还包括照相光学系统20，图像传感器(即图像捕获装置)21，模拟信号处理单元22以及时序控制单元23。在图像传感器21处形成在照相光学系统20处获得的物体图像，并且图像传感器21的输出连接至模拟信号处理单元22。模拟信号处理单元22的输出连接至A/D转换单元10。控制单元12的输出连接至时序控制单元23，而时序控制单元23的输出连接至图像传感器21，模拟信号处理单元22，A/D转换单元和图像处理单元11。该图像传感器21可为，例如单片CCD。
电子照相机1还包括操作单元24，其等效于快门释放按钮，操作用于切换模式等的选择按钮，和监视器25。操作单元24的输出连接至控制单元12，并且显示图像生成单元12的输出连接至监视器25。
需要注意，在CD-ROM28中记录的应用程序预安装在与监视器26、打印机27等相连的PC 18中。此外，PC 18包括用于实现与存储卡16相连的存储卡接口单元(未示出)和用于实现与除了CPU，存储器和硬盘(未示出)之外的诸如电子照相机1的外部装置相连的外部接口单元(未示出)。
当操作者通过采用图1所示结构的电子照相机1中的操作单元24选择拍照模式并按下快门释放按钮时，控制单元12启动时序控制单元23，为图像传感器21，模拟信号处理单元22和A/D转换单元10执行时序控制。图像传感器21生成对应于光学图像的图像信号。该图像信号然后在模拟信号处理单元21处进行预定类型的信号处理，在A/D转换单元10处数字化，随后作为图像数据提供至图像处理单元11。
在该实施例实现的电子照相机1中，对应于R(红色)、G(绿色)、B(蓝色)彩色分量的彩色滤光镜设置在图像传感器21处的Bayer阵列中，因此，以RGB色度系统表示提供至图像处理单元11的图像数据。构成该图像数据的每个像素包括对应于R、G和B中一个彩色分量的彩色信息。
除了将在后面详述的执行图像数据转换处理外，图像处理单元11还对图像数据执行诸如灰度转换和边缘增强的图像处理。然后在压缩/解压缩单元按照需要以预定格式压缩已经历图像处理的图像数据，并通过存储卡接口单元17将这些图像数据记录至存储卡16。
应当注意，一旦完成图像处理，可直接将图像数据记录至存储卡16，而不进行压缩处理，或可将其转换为以与PC 18相连的监视器26或打印机27中采用的色度系统表示的数据，或通过外部接口单元19提供至PC 18。此外，当用户通过操作单元24选择再现模式时，通过存储卡接口单元17读出在存储卡16中记录的图像数据，在压缩/解压缩单元12处解压缩这些图像数据，并通过显示图像生成单元15在监视器25显示图像数据。
应当注意，可不在监视器25显示已经历解压缩处理的图像数据，而将该图像数据转换为以与PC 18相连的监视器26或打印机27采用的色度系统表示的图像数据，并通过外部接口单元19将图像数据提供至PC 18。进而，通过采用公知技术，实现后面详述的为了将已经历转换处理的图像数据转换为以监视器25或26或打印机27采用的色度系统表示的图像数据而执行的处理。
(图像数据的转换)接下来，解释为了将以RGB色度系统表示的图像数据，这些数据通过图像传感器21获得，转换为高清晰度高质量的图像数据而执行的处理。图像数据最初在图像传感器21处捕获，并在模拟信号处理单元22和A/D转换单元10进行处理后输入至图像处理单元11，这些图像数据以采用Bayer阵列的RGB色度系统表示，并在单个彩色分量上包含对应于每个像素的信息，如前所解释，就好像与物体彩色图像相关的信息被子采样为对应于Bayer阵列的模式。在后面的说明中，这些图像数据称为预转换RGB图像数据。该预转换RGB图像数据被转换为高清晰度高质量的图像数据，其包含对应于每个像素的R分量、G分量和B分量的信息，好像从子采样的图像数据生成和恢复高质量的高清晰度图像数据。
图2至图5说明预转换RGB图像数据。图2至图5每一个都说明包围转换目标像素的各像素的彩色分量分布，转换目标像素具有对应于特定彩色分量的信息。[i，j]表示转换目标像素的坐标。在图2中，转换目标像素[i，j]具有R分量彩色信息，并且在图3中，转换目标像素[i，j]具有B分量彩色信息。在图4中，与具有G分量彩色信息的转换目标像素[i，j]垂直相邻的像素具有B分量彩色信息，并且与转换目标像素[i，j]水平相邻的像素具有R分量彩色信息。在图5中，与具有G分量彩色信息的转换目标像素[i，j]垂直相邻的像素具有R分量彩色信息，并且与转换目标像素[i，j]水平相邻的像素具有B分量彩色信息。
在构成预转换RGB图像数据的像素中，具有R分量彩色信息的像素被称为R像素，具有B分量彩色信息的像素被称为B像素，并且具有G分量彩色信息的像素被称为G像素。
图6提供了由图像处理单元11执行的图像数据转换处理的示意流程图。图7是为了便于解释各种类型处理间关系而提供的框图。参考图6和图7，总结了第一实施例中由图像处理单元11执行的图像数据转换处理。
根据从统计上证实的事实，由彩色莫尔条纹、彩色斑点引起的颜色变化率与物体中实际呈现的颜色的颜色变化率相比是非常小的，因此在第一实施例的图像数据转换处理中，通过将彩色梯度用作索引，执行自适应色彩失真消除处理。专门在Bayer插值中执行自适应色彩失真消除。应当注意，在下面将对每个步骤中执行的特定处理进行详细的解释。
在步骤S11，输入Bayer平面(图7中的301)，即预转换RGB图像数据。在步骤S12，计算相似性因子并执行垂直/水平方向判断(图7中的302)。在步骤S13，基于垂直/水平方向判断的结果，生成Cr平面和Cb平面，即利用对应于在预转换RGB图像数据中包含的各个彩色分量的彩色信息，针对每个像素生成色差信息Cr和Cb(图7中的303)。
在步骤S14，执行临时色差校正，以确保当彩色梯度根据索引分类时，不会将色彩失真边界错误地识别为彩色边界(图7中的304)。在步骤S15，利用色差信息Cr和Cb，执行彩色梯度分析(图7中的305)。在步骤S16，根据彩色梯度，进行是否执行色差校正处理的判定(图7的306)。在步骤S16执行的色差校正被称为自适应色差校正。文中使用的术语“自适应”意味着“按需执行”。通过自适应色差校正，可根据用于优化结果的特定条件，执行或不执行校正。
在步骤S17，基于在步骤S12执行的方向判断结果生成G平面(图7中的307)。也就是，通过插值处理，对所有像素生成对应于该G彩色分量的彩色信息。在步骤S18，基于从步骤S16得到的Cr平面与Cb平面和在已经在步骤S17中生成G平面，将该图像数据转换为以RGB色度系统表示的图像数据(图7中的308)，并输出从该转换获得的图像数据。如此输出的图像数据经历各种类型的图像处理并存储在存储器等中。
应当注意，构成预转换RGB图像数据的像素数与构成后转换图像数据的象素数彼此相等，并且预转换像素位置与后转换像素位置在二维平面上具有一对一的对应关系。通过在不同的目标局部区域内反复执行图像数据转换处理，对所有像素执行上述图像数据转换处理。因此，通过引用表示在各个目标区域内局部适用的关系的关系表达式，给出下面的解释。下面详细解释该处理的各个方面。
1 方向判断1-1 计算相似性因子通过使用对应于包含在已经输入的预转换RGB图像数据中各个彩色分量的彩色信息，计算相似性因子并执行垂直/水平方向判断。首先，对每个R像素和B像素计算相似性因子。术语“相似性因子”指的是一种数字值，该值表示在转换目标像素和周围像素间表现出的相似程度，通过使用包含转换目标像素的局部区域中的彩色分量信息计算该值。在该实施例中，沿垂直方向和水平方向计算相似性因子，并且判定垂直方向相似性或水平方向相似性哪一个更加显著。一组彩色信息表示通过预定处理，由数字化图像传感器21提供的彩色信号获得的值。可通过使用，例如一个字节数据256灰度，表示这样的值。
当用[x，y]表示给定像素的坐标时，[i，j]表示转换目标像素的坐标。G[x，y]表示G像素处的彩色信息，R[x，y]表示R像素处的彩色信息，B[x，y]表示B像素处的彩色信息，并且Z[x，y]总体表示R像素处彩色信息或B像素处彩色信息中的任何一个。可如(1)中所示计算沿垂直方向的相似性因子Cv[i，j]，并且可如(2)中所示计算沿水平方向的相似性因子Ch[i，j]。
Cv[i，j]＝{(|G[i，j-1]-Z[i，j]|+|G[i，j+1]-Z[i，j]|)/2+|G[i，j-1]-G[i，j+1]|}/2......(1)Ch[i，j]＝{(|G[i-1，j]-Z[i，j]|+|G[i+1，j]-Z[i，j]|)/2+|G[i-1，j]-G[i+1，j]|}/2......(2)应当注意，应采用目前已提出的各种方法中的优化方法并结合实施例，计算相似性因子。
1-2 相似性判断接下来执行相似性判断。基于如上所述计算的Cv[i，j]和Ch[i，j]，判断关于转换目标像素出现的相似性类型。也就是，进行是否沿垂直方向或水平方向出现明显相似性的判断，或者是否沿垂直或水平方向不能发现明显的相似性。更具体地，如果满足(3)中表示的条件，确定显著相似性的方向并不明显，即垂直方向或水平方向，并将方向索引HV[i，j]设置为0。换言之，如果垂直相似性因子或水平相似性因子的差别等于或小于门限值Th1，则不能确定沿垂直方向或水平方向出现显著的相似性。Th1为预定门限值，对于256灰度，假设其为约为10的值。如果在该图像中存在大量噪声，则应设置较大的值。
|Cv[i，j]-Ch[i，j]|≤Th1 ......(3)如果不满足(3)中表示的条件，即如果确定沿垂直方向或水平方向出现显著的相似性，则进行是否满足(4)中表示的条件的判定。如果满足条件(4)，则确定沿垂直方向出现更加显著的相似性，并且将方向索引HV[i，j]设置为1。如果不满足条件(4)，则确定沿水平方向出现更加显著的相似性，并且对方向索引HV[i，j]设置为-1。应当注意，当相似性因子Cv[i，j]或相似性因子Ch[i，j]出现更小的值时，表示更高的相似程度。
Cv[i，j]＜Ch[i，j] ......(4)2 色差生成2-1 Cr平面生成接下来解释R像素的色差信息即Cr平面的生成。在预转换RGB图像数据中，对R像素计算色差信息Cr。根据如上确定的相似性方向索引HV[i，j]的值，从不同的表达式中选择用于此目的的表达式。如果HV[i，j]＝1，则利用表达式(5)，如果HV[i，j]＝-1，则利用表达式(6)，并且如果HV[i，j]＝0，则利用表达式(7)，计算Cr[i，j]。
Cr[i，j]＝R[i，j]-(G[i，j-1]+G[i，j+1])/2 ......(5)Cr[i，j]＝R[i，j]-(G[i-1，j]+G[i+1，j])/2 ......(6)Cr[i，j]＝R[i，j]-(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4 ......(7)2-2 Cr平面插值接下来插值Cr平面。利用已经对R像素生成的色差信息Cr，通过对每个B像素和G像素的插值处理，计算色差信息Cr。如(8)中所示为对应于B像素的像素，如(9)中所示为对应于沿水平方向与R像素相邻的G像素的像素，并且如(10)中所示为对应于沿垂直方向与R像素相邻的G像素的像素，计算色差信息。
Cr[i，j]＝(Cr[i-1，j-1]+Cr[i-1，j+1]+Cr[i+1，j-1]+Cr[i+1，j+1])/4 ...(8)Cr[i，j]＝(Cr[i-1，j]+Cr[i+1，j])/2 ...(9)Cr[i，j]＝(Cr[i，j-1]+Cr[i，j+1])/2 ...(10)
2-3 Cb平面生成与插值如上关于色差信息Cr的解释，还可获得色差信息Cb。对于构成预转换RGB图像数据的所有像素，可获得色差信息Cr和色差信息Cb。
3 临时色差校正在如“2.色差生成”中所述获得的色差平面上存在大量的色差失真，并且这些色差失真可能引起彩色莫尔条纹或彩色斑点，这往往在高ISO感光度水平出现。尽管应该自适应地消除色彩失真而不影响色彩结构，但预先执行临时消除以确保当彩色梯度根据索引进行分类时，不将失真边界错误地识别为彩色边界，如下一部分详述。尽管下面说明了两种不同的方法，但也可采用除过这些之外的方法。
方法1(低通处理)表达式(101)和(102)和图8涉及5×5像素分离型滤波器。
水平低通滤波tmp_Cr[i，j]＝{6*Cr[i，j]+4*(Cr[i-1，j]+Cr[i+1，j])+Cr[i-2，j]+Cr[i+2，j}/16 ...(101)垂直低通滤波TCr[i，j]＝{6*tmp_Cr[i，j]+4*(tmp_Cr[i，j-1]+tmp_Cr[i，j+1])+tmp_Cr[i，j-2]+tmp_Cr[i，j+2]}/16 ...(102)还以类似方式计算TCb[i，j]。
方法2(中值处理)表达式(103)和图9涉及中值处理。在中值处理中，对图9中5×5范围内的所有像素排序，并且选择该范围的中间值(中值)。
TCr[i，j]＝Median{Cr[i+m，j+n]}m＝0，±1，±2，n＝0，±1，±2 ...(103)
4 彩色梯度分析4-1 计算色彩索引接下来，通过检查彩色梯度区分色彩失真和在图像中实际存在的色彩，以确保保持色彩结构不被破坏。由于即使经过上述3中说明的临时色差校正处理，实际的色彩往往较好地保持了颜色对比度，因而可基于该从统计上证实的特性，以非常高的置信度区分实际的色彩。为了尽可能准确地保持色彩结构，生成将提高实际色彩间颜色对比度和降低色差失真间颜色对比度的色彩索引平面。通常来讲，色彩失真易于在相反的颜色间出现，由于此原因，希望利用基色生成色彩索引。也就是，利用如上已经获得的色差信号Cr[i，j]和Cb[i，j]，通过下面(104)所示，获得评价各个像素单元中颜色的色彩索引Cdiff[i，j]。
Cdiff[i，j]＝(|Cr[i，j]|+|Cb[i，j]|+|Cr[i，j]-Cb[i，j]|)/3 ...(104)利用表示三元色，R、G和B，所有可能组合的全部色差信息计算的色彩索引提高了保护程度，通过其可保持色彩结构。通过替代色差的定义，可以改写彩色索引如下Cdiff＝(|R-G|+|G-B|+|B-R|)/3 ...(105)4-2 估计彩色梯度接下来，如(106)中所示，在包含颜色对比度信息的单个色彩索引平面内确定彩色梯度Cgrad。此时用于彩色梯度检测的微分滤波器的大小等于临时色差校正滤波器的大小，并且由此可检查存在色差结构毁坏机会的所有范围。结果，确保防止彩结构毁坏的高度保护。图10表示在与临时色差校正滤波器相匹配的5×5像素范围内如何确定彩色梯度。
Cgrad[i,j]=(Σm=±1,±2n=±1,±2|Cdiff[i+m,j+n]-Cdiff[i,j]`|)/{(2*mmax+1)(2*nmax+1)-1}=grad(Cdiff[i,j])---(106)]]>在上面的(106)中，m max＝2且n max＝2。对于所有的周围像素计算微分不是十分必要，可仅对于这些像素中的一些执行微分。在这种情况下，加速了算术运算的过程。
5 自适应色差校正接下来，如下面的条件表达式(107)所示，基于彩色梯度，进行是否执行色差校正处理的判定。直接在梯度大的彩色边界上使用初始Cr[i，j]。该彩色梯度由与亮度梯度无关的值表示。
if Cgrad[i，j]≤ThG Cr[i，j]＝TCr[i，j]…(107)如上所述，作为与亮度(即明亮度)信息无关的处理执行色差校正，即执行色差校正，而不使用亮度信息。换言之，仅仅基于色差信息和彩色梯度执行色差校正，而与亮度信息完全无关。需要将门限值ThG设置为非常小的值，以确保将出现彩色斑点和彩色莫尔条纹的区域指定为色差校正目标区域，而不管它们是彩色区域或是消色差区域，同时将色彩结构部分作为不破坏的区域保存。应当结合256灰度，假设等于或小于5的值。尽管在上面的解释中，当彩色梯度大于门限值ThG时直接使用初始Cr[i，j]，但可替代应用具有窄于临时色差校正滤波器的范围的滤波器。
G 平面插值接下来，基于在步骤S12执行的方向判断结果，如(108)、(109)或(110)中所示，计算Bayer平面上每个R/B位置的G值。
If HV[i，j]＝1 Gout[i，j]＝(G[i，j-1]+G[i，j+1])/2
+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/4…(108)else if HV[i，j]＝-1 Gout[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/4…(109)else Gout[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(4*Z[i，j]-Z[i，j-2]-Z[i，j+2]-Z[i-2，j]-Z[i+2，j])/8 …(110)在R位置Z＝R，在B位置Z＝B。在Bayer平面上的G位置，直接使用Gout[i，j]＝Bayer信号替换。
7 色度系统转换(彩色空间转换)如表达式(111)和(112)中所示，利用三种类型的彩色信息，即已经按照需要进行色彩失真消除的Cr和Cb和G平面，将图像数据转换为以RGB色度系统表示的图像数据。
Rout[i，j]＝Cr[i，j]+Gout[i，j]…(111)Bout[i，j]＝Cb[i，j]+Gout[i，j]…(112)如上所述，在第一实施例中提供利用最小化色差失真获得高质量插值图像，其由色彩插值处理产生。具体地，通过以类似方式在彩色图像区域和消色差区域自适应地减少色彩失真噪声，可实现高质量的插值图像。换言之，通过将彩色梯度用作索引，在色差分量上执行自适应校正处理，可产生不包含大量色彩失真的高质量插值图像。
在正常情况下，由于高ISO感光度造成的彩色莫尔条纹和彩色斑点往往如前所述在图像区域中出现，在此区域中，亮度分量的剧烈变化以Nyquist频率水平在图像中出现，该图像是通过对空间采样的彩色分量数据，例如从在Bayer阵列中排列的像素获得的数据，进行插值而恢复。也就是，在亮度以Nyquist频率水平变化的区域上，由R、G和B中轻微的插值预测误差引起的敲打现象表现为彩色莫尔条纹。此外，高ISO感光度水平的彩色斑点的主要原因是由接近Nyquist频率模式的插值预测误差导致的色彩失真，这是由随机噪声不稳定的幅度造成的，该噪声甚至在亮度以Nyquist频率水平均匀变化的平坦图像区域中出现。
因此，完全基于色差分量信息，根本不采用亮度分量，通过确定彩色梯度消除色差失真，如第一实施例中那样，能够以希望的方式消除彩色莫尔条纹和高ISO彩色斑点，而无须考虑亮度信号结构。此外，可有效地消除在高ISO感光度水平出现的彩色斑点，以清理单色字符和平坦图像区域等的边缘部分，彩色梯度在此处的变化不大。
-第二实施例-在第二实施例中，采用比在第一实施例中更加高效的色差校正滤波器。第二实施例与第一实施例的不同之处仅在于“3.临时色差校正”中使用的滤波器和“4.彩色梯度分析”中使用的微分滤波器。为了配合在临时色差校正中使用增大尺寸的滤波器，对彩色梯度判定中采用了更大的微分滤波器，以防止破坏色彩结构。
参考在第一实施例中的解释，由于在第二实施例中实现的电子照相机1的结构，由图像处理单元11执行的全部图像数据转换处理的流程图和表示各种处理间关系的框图将类似于图1、6和7的流程图或框图，因此将忽略它们的解释。
3 临时色差校正在第二实施例的临时色差校正中可能采用的校正滤波器包括以下各项。
方法1(低通处理)下面的表达式(113)与表达式(114)代表9×9像素分离型滤波器的示例。
水平低通滤波tmp_Cr[i，j]＝{70*Cr[i，j]+56*(Cr[i-1，j]+Cr[i+1，j])+28*(Cr[i-2，j]+Cr[i+2，j])+8*(Cr[i-3，j]+Cr[i+3，j])+(Cr[i-4，j]+Cr[i+4，j])}/256…(113)垂直低通滤波TCr[i，j]＝{70*tmp_Cr[i，j]+56*(tmp_Cr[i，j-1]+tmp_Cr[i，j+1])+28*(tmp_Cr[i，j-2]+tmp_Cr[i，j+2])+8*(tmp_Cr[i，j-3]+tmp_Cr[i，j+3])+tmp_Cr[i，j-4]+tmp_Cr[i，j+4]}/256…(114)类似的处理概念适用于TCb[i，j]。
方法2(中值处理)下面的表达式(115)表示中值处理的示例。
TCr[i，j]＝Median{Cr[i+m，j+n]}m＝0，±1，±2，±3，±4 n＝m＝0，±1，±2，±3，±4 …(115)4 彩色梯度分析4-1 计算色彩索引如第一实施例中计算色彩索引。
4-2 估计彩色梯度如下面的(116)中所示确定彩色梯度Cgrad。此时用于彩色梯度检测的微分滤波器的大小与临时色差校正滤波器的大小相匹配，以涵盖可能在其上损坏色彩结构的范围。结果，可有效地防止损坏色彩结构。图11表示如何在9×9像素范围上确定彩色梯度，该范围与临时色差校正滤波器的大小相匹配。
Cgrad[i,j]=(Σm=±1,±2,±3,±4n=±1,±2,±3,±4|Cdiff[i+m,j+n]-Cdiff[i,j]`|)/{(2*mmax+1)(2*nmax+1)-1}=grad(Cdiff[i,j])---(116)]]>在上述表达式中，m max＝4且m max＝4。在这种情况下，通过对于第一实施例解释的滤波，还可以剔除数据。
如上所述，第二实施例实现与第一实施例类似的优点，但使用比在第一实施例中更加高效的色差校正滤波器。更具体地，由于色差校正滤波器的大小从第一实施例中使用的5×5像素大小增加到9×9像素大小，可实现能够消除在较长周期上出现的色彩失真(彩色莫尔条纹或彩色斑点)的优点。
-第三实施例-在第一和第二实施例中，处理经历色彩插值的信号。在第三实施例中，本发明适用于处理插值的数据。例如，在第三实施例中可处理已经在电子照相机中插值然后由该电子照相机输出的JPEG数据。下面提供了这些应用的三个示例。由于在第三实施例的电子照相机1中采用的结构类似于图1所示的结构，第一实施例已经解释过此结构，因此忽略其解释。
(示例1)(1)彩色空间转换通过转换插值的RGB数据可获得下面定义的G、Cb、Cr数据。
Cr＝R-G…(117)Cb＝B-G…(118)不转换G分量。
(2)通过彩色梯度判定的自适应色彩失真消除执行与在第一实施例或第二实施例中执行的处理完全相同的处理，如在“3临时色差校正”至“7色度系统转换”中所述。
(示例2)在正常情况下，将对插值的数据进行用于图像增强目的的色彩校正处理。为了在数据中减轻彩色梯度处理的影响，以进行彩色梯度判定，在示例1中执行Lab空间转换，而不是彩色空间转换。作为Lab空间转换的替代，可执行Luv空间转换等。图12为表示在示例2中执行的各种处理间关系的框图。
1)彩色空间转换将插值的RGB数据(图12中的401)转换为Lab数据(图12中的402)。
2)通过彩色梯度的自适应色彩失真消除表示第一实施例中执行的处理的图7中的临时色差校正304、彩色梯度分析305、自适应色差校正306和色度系统转换308分别对应于表示本实施例中执行的处理的图12中的临时ab平面校正403、彩色梯度分析404、自适应色差校正405和彩色空间转换406。如在“3临时色差校正”至“7色度系统转换”中所述，在第一实施例或第二实施例中执行的对于Cb和Cr的处理转而对于a和b执行。下面定义对于a和b需要修改的处理的方面。
4 彩色梯度分析(图12中的404)如下面的(119)或(120)所示计算色彩索引Cdiff。
Cdiff[i,j]=(a[i,j])2+(b[i,j])2+(a[i,j]-b[i,j])2---(119)]]>Cdiff[i，j]＝(|a[i，j]｀|+|b[i，j]｀|+|a[i，j]-b[i，j]｀|)/3 ...(120)
(示例3)尽管在示例2中，用于确定彩色梯度的彩色空间和经历色差校正处理的彩色空间相匹配，但它们也可以不匹配。经历色差校正处理的彩色空间可为，例如Lab空间中的ab平面或Y IQ空间中的IQ平面。通过首先在ab平面或IQ平面上执行色差校正，然后将该彩色空间转换为例如HSV空间或LCH空间，可以确定彩色梯度。通过检查转换的数据中色度分量，即非亮度分量的变化，能够确定彩色梯度，如下面的表达式(121)或表达式(122)所示。HSV空间中的H与S和LCH空间中的C和H构成色度分量(信息)。简言之，术语“色度”指颜色的定量特性，其不包括亮度。颜色差别(色差)的概念为色度概念范围的一部分。
当转换为HSV空间数据时；Cgrad[i，j]＝|grad(S[i，j])|+|grad(H[i，j])| ...(121)当转换为LCH空间数据时；Cgrad[i，j]＝|grad(C[i，j])|+|grad(H[i，j])| ...(122)应当注意，“grad”是已经在第一实施例和第二实施例的说明中定义的运算符。
如上所述，数据被转换为包含色度分量的彩色空间中的数据，并基于第三实施例中的色度分量确定彩色梯度。然后，基于这样确定的彩色梯度，如在第一实施例中那样执行自适应色差校正，以实现类似于第一实施例的优点。
-第四实施例-在第四实施例中，根据彩色梯度判定的结果选择特定的亮度分量生成方法。由于在第四实施例中实现的电子照相机1采用类似于图1所示的结构，而第一实施例已解释过关于其的结构，因而忽略该结构的解释。
在相关领域中，对在图像传感器处捕获的图像进行插值的公知方法包括在美国专利No.5,382,976。其中，图像传感器具有设置在Bayer阵列中的彩色滤光镜。在上述公开中公开的方法中，通过检查Bayer平面的方向性对G平面插值，并对R平面和B平面插值，以便类似于G平面，同时在R平面和B平面上叠加G平面中存在的高频分量。为了对R和B平面进行插值而执行的处理等效于首先将数据转换为色差平面R-G和B-G中的数据，然后合并色差平面上的数据，然后将G平面加入到插值的数据，并且将数据转换回R和B数据。然而，由于仅利用插值目标像素附近的G分量数据的平均值执行G平面插值，因而不能准确地预测图像中的不均匀结构，这导致沿对角线出现对角线锯齿的问题。
该问题在美国专利No.5,629,734中得到解决，其公开了一种方法，其中，通过把R和B平面结合到G平面以便使它们类似，还对G分量数据进行插值。结合此方法使用的算法在色差R-G与B-G总是保持恒定和R、G与B全部表现出类似行为特性的前提下，得到逻辑上的支持。
该问题也在本发明发明者发明的方法中得到解决，该方法在国际公开No.02/071761中公开。在该方法中，当将亮度分量转换为由R、G和B加权合成形成的另一彩色空间时，不是对G平面中的亮度分量进行插值，而是利用与中央像素相关的信息，采取抗对角线锯齿的措施。
然而，如在美国专利No.5,629,734中公开，所采取的措施将导致在图像边界区域上恢复的图像中产生破坏的问题，在此区域中，色差恒定的前提不成立。也就是，对应于R分量和B分量的校正项，其在插值G分量数据时用于在多个邻近像素中校正G平均值，实际上成为破坏因子，并且，形成的过校正导致在整个彩色边界区域上出现黑色和白色斑点(过度)。
通过在国际公开No.02/071761中公开的方法，与在美国专利No.5,629,734中公开相比，可更为成功地解决对角线锯齿的问题，而不在彩色边界区域引入任何过度。然而，在存在特定颜色组合的边界区域会非常偶然地出现水平或垂直的条纹(彩色边界锯齿)。
在第四实施例中，说明一种方法，其通过采取抗对角线锯齿的优化措施，用于生成高清晰度高质量的彩色图像，同时解决如上所述在彩色边界区域可能出现的问题。
图13提供了由图像处理单元11执行的整体图像数据转换处理的流程图。图14是为了便于解释各种处理间关系而提供的框图。参考图13和14，总结了由图像处理单元11执行的图像数据转换处理。
在步骤S1中，输入Bayer平面(图14中的101)，即预转换RGB图像数据。在步骤S2，生成Cr平面和Cb平面，即通过利用对应于在预转换RGB图像数据中包含的各个彩色分量的彩色信息，对于每个像素生成色差信息Cr和Cb(图14中的103)。此时，通过计算相似性因子执行垂直/水平方向判定(图14中的102)，并基于垂直/水平方向判定的结果，生成色差信息Cr和Cb。
在步骤S3，通过利用色差信息Cr和Cb执行彩色梯度分析(图14中的104)。在彩色梯度分析中，首先计算色彩索引，其用于评价目标像素，以确定该目标像素是否为消色差像素或色度像素，并且如果确定该像素为色度像素，则确定该像素的色度。对于所有像素确定这样的色彩索引，并且生成色彩索引平面。然后，基于该目标像素的色彩索引和周围像素的色彩索引，对每个像素进行分析，以确定该像素的彩色梯度，和是否存在彩色边界。术语“彩色梯度”指颜色变化的程度。
在步骤S4，执行G平面生成1(图14中的105)。也就是，通过对所有像素的插值处理，生成对应于G彩色分量的彩色信息。用于G平面生成1的该插值方法实现了对角线分辨率。换言之，该插值方法并未引入对角线锯齿。接下来，在步骤S5，执行G平面生成2(图14中的106)。如同在G平面生成1中，通过对所有像素执行插值处理，生成该G彩色分量的彩色信息。尽管G平面生成2的插值方法可以允许出现对角线锯齿，但其不允许在彩色边界区域出现任何问题。
在步骤S6，基于在步骤3执行的彩色梯度分析结果，组合在步骤S4的G平面生成1中执行的插值结果和在步骤S5的G平面生成2中执行的插值结果。例如，如果彩色梯度小，即如果颜色变化平坦，则采用来自G平面生成1的插值结果，而如果彩色梯度大，即在彩色边界区域，则采用来自G平面生成2的插值结果。另外，可将利用对应于彩色梯度的系数加权的来自G平面生成1的插值结果和来自G平面生成2的插值结果加在一起。
在步骤S7，基于来自步骤S2的Cr平面与Cb平面和已经在步骤S6生成的G平面，将图像数据转换为以RGB色度系统表示的图像数据(图14中的108)，并输出通过该转换形成的数据。如此输出的图像数据经历各种图像处理并存储在存储器等中。
应当注意，构成预转换RGB图像数据的像素数与构成后转换图像数据的象素数彼此相等，并且预转换像素位置与后转换像素位置在二维平面上具有一对一的对应关系。通过在目标局部区域内反复执行图像数据转换处理，可实现对所有像素执行上述图像数据转换处理。因此，通过引用表示在各个目标区域内局部适用的关系的关系表达式，给出下面的解释。下面详细解释该处理的各个方面。
由于下面执行的直到对应于“1-2-3Cb平面生成与插值”步骤的处理与在第一实施例中执行的处理完全相同，因此忽略其解释。
1 Cr与Cb色差平面生成1-1 方向判定1-1-1 计算相似性因子1-1-2 相似性判定1-2 色差生成1-2-1 Cr平面生成1-2-2 Cr平面插值1-2-3 Cb平面生成与插值1-2-4 色差校正在色彩估计前，校正色差信息Cr和Cb。如前所解释，通过消除在已经获得的Cr色差平面和Cb色差平面中出现的色彩失真，校正色差信息，以准确估计色彩。尽管可通过采用色差中值滤波器执行色差校正，但在第四实施例中采用如下式(11)和图15所示工作的低通滤波器。通过这样的处理，可快速消除色彩失真。应当注意，可通过采用其它方法消除色彩失真。
Cr[i，j]＝{4*Cr[i，j]+2*(Cr[i-2，j]+Cr[i+2，j]+Cr[i，j-2]+Cr[i，j+2])+1*(Cr[i-2，j-2]+Cr[i+2，j-2]+Cr[i-2，j+2]+Cr[i+2，j+2])}/16 ...(11)以类似方法计算Cb[i，j]。
2 彩色梯度分析2-1 计算色彩索引采用已经如上所述获得的色差信息Cr[i，j]与Cb[i，j]，如下面(12)中所示获得色彩索引Cdiff[i，j]，其将用于估计各个像素单元中的颜色。
Cdiff[i，j]＝(|Cr[i，j]|+|Cb[i，j]|+|Cr[i，j]-Cb[i，j]|)/3...(12)
作为色彩索引计算的值表示目标像素是否为消色差像素或色度像素，并且如确定该目标像素为色度像素，还表示色度水平。为了确保色彩索引表示高精度的值，通过使用表示三元色R、G和B的所有可能组合的色差信息计算色彩索引。下面通过替代色差的定义，将表达式(12)改写为表达式(13)。在该实施例中采用这样的色彩索引使得同样有效地检测所有类型的彩色边界成为可能。
Cdiff＝(|R-G|+|G-B|+|B-R|)/3 ...(13)2-2 估计彩色梯度一旦准确确定期望在恢复的Bayer图像中出现的颜色，则在该色彩索引平面内确定彩色梯度，以识别在现有技术中易于出现问题的彩色边界区域。如下面的表达式(14)中所示，可以计算转换目标像素[i，j]处的彩色梯度grad_Cdiff[i，j]。
grad_Cdiff[i，j]＝(|Cdiff[i-1，j]-Cdiff[i，j]|+|Cdiff[i+1，j]-Cdiff[i，j]|+|Cdiff[i，j-1]-Cdiff[i，j]|+|Cdiff[i，j+1]-Cdiff[i，j]|+|Cdiff[i-1，j-1]-Cdiff[i，j]|+|Cdiff[i+1，j+1]-Cdiff[i，j]|+|Cdiff[i-1，j+1]-Cdiff[i，j]|+|Cdiff[i+1，j-1]-Cdiff[i，j]|)/8 ...(14)在(14)中所示的彩色梯度计算中采用相对于所有相邻像素确定差别的各向同性一阶微分滤波器，以检测可能同时沿所有方向出现的彩色边界区域。沿多个方向各向同性地执行微分运算，以检测沿所有方向出现的边缘。应当注意，也可替代使用二次(二阶)微分滤波器，该滤波器计算微分之间的微分。通过一阶微分检测前边缘与后边缘，而通过二次微分检测峰或谷。
3 G平面生成1
基于通过前述方向判定确定的方向索引HV[i，j]，对于预转换RGB图像数据中的每个R像素[i，j]和B像素[i，j]，可以获得对应于G彩色分量的彩色信息G[i，j]。也就是，通过插值处理获得在R像素或B像素处缺失的G分量彩色信息。在G平面生成1中采用的插值方法允许对角线分辨率，即防止对角线锯齿的出现。然而，这可能在彩色边界区域引起问题。g1表示通过该插值方法计算的G插值值。
当方向索引HV[i，j]＝1时，即当判定沿垂直方向出现明显的相似性时，如表达式(15)所示计算g1[i，j]。当方向索引HV[i，j]＝-1时，即当判定沿水平方向出现明显的相似性时，如表达式(16)所示计算g1[i，j]。当方向索引HV[i，j]＝0时，即当判定垂直/水平相似性不明显时，如表达式(17)所示计算g1[i，j]。
g1[i，j]＝(G[i，j-1]+G[i，j+1])/2+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/4…(15)g1[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/4…(16)g1[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(4*Z[i，j]-Z[i，j-2]-Z[i，j+2]-Z[i-2，j]-Z[i+2，j])/8…(17)应当注意，当目标像素为R像素时，Z＝R，当目标像素为B像素时，Z＝B。
在预转换RGB图像数据中的G像素[i，j]处表示的值直接当作g1[i，j]使用。
4 G平面生成2如同在G平面生成1中，基于通过前述方向判定确定的方向索引HV[i，j]，对于预转换RGB图像数据中的每个R像素[i，j]和B像素[i，j]，可以获得对应于G彩色分量的彩色信息G[i，j]。也就是，通过插值处理获得在R像素或B像素处缺失的G分量彩色信息。尽管结合G平面生成2所采用的插值方法可能引入对角线锯齿，但不存在可能在彩色边界区域出现的其它任何问题。g2表示通过该插值方法计算的G插值值。
当方向索引HV[i，j]＝1时，即当判定沿垂直方向出现明显的相似性时，如表达式(18)所示计算g2[i，j]。当方向索引HV[i，j]＝-1时，即当判定沿水平方向出现明显的相似性时，如表达式(19)所示计算g2[i，j]。当方向索引HV[i，j]＝0时，即当判定垂直/水平相似性不明显时，如表达式(20)所示计算g2[i，j]。
g2[i，j]＝(G[i，j-1]+G[i，j+1])/2…(18)g2[i，j]＝(G[i-1，j]+G[i+1，j])/2…(19)g2[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4…(20)在预转换RGB图像数据中的G像素[i，j]处表示的值直接当作g2[i，j]使用。
作为根据表达式(18)至(20)执行的算术运算的替代，可执行如表达式(21)至(23)所示执行的算术运算，通过该运算，可稍微抑制对角线锯齿的出现。由于通过在G彩色分量插值期间利用G彩色分量本身进行预测而获得与不均匀性相关的信息，因此在彩色图像边界不会出现问题，如同参考表达式(18)至(20)所做的解释。当方向索引HV[i，j]＝1时，即当判定沿垂直方向出现明显的相似性时，如表达式(21)所示计算g2[i，j]。当方向索引HV[i，j]＝-1时，即当判定沿水平方向出现明显的相似性时，如表达式(22)所示计算g2[i，j]。当方向索引HV[i，j]＝0时，即当判定垂直/水平相似性不明显时，如表达式(23)所示计算g2[i，j]。
g2[i，j]＝(G[i，j-1]+G[i，j+1])/2+(2*G[i-1，j]-G[i-1，j-2]-G[i-1，j+2])/8+(2*G[i+1，j]-G[i+1，j-2]-G[i+1，j+2])/8…(21)
g2[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*G[i，j-1]-G[i-2，j-1]-G[i+2，j-1])/8+(2*G[i，j+1]-G[i-2，j+1]-G[i+2，j+1])/8 …(22)g2[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(2*G[i-1，j]-G[i-1，j-2]-G[i-1，j+2])/16+(2*G[i+1，j]-G[i+1，j-2]-G[i+1，j+2])/16+(2*G[i，j-1]-G[i-2，j-1]-G[i+2，j-1])/16+(2*G[i，j+1]-G[i-2，j+1]-G[i+2，j+1])/16…(23)5 G平面合成5-1 确定加权比在通过上述用于G平面生成的两个不同方法获得的G插值值中，通常采用通过G平面生成1获得的G插值值g1，其能有效地防止对角线锯齿，并且在出现问题的彩色边界区域采用通过G平面生成2获得的G插值值g2。前述彩色梯度用作加权比，基于该加权比切换G插值值。利用在给定像素[i，j]处表示g1加权比的λ和表示g1加权比的1-λ，可如下面的表达式(24)至(26)中所示确定λ的值。
if grad_Cdiff[i，j]≤th1λ[i，j]＝0…(24)else if grad_Cdiff[i，j]≤th2λ[i，j]＝grad_Cdiff[i，j]/th2…(25)elseλ[i，j]＝1…(26)该运算在图16中示意性地说明。当作为256-灰度数据提供数据时，可假设门限值th1和th2的值例如为th1＝0～4和th2＝6～10。也就是，在彩色梯度小的范围内采用g1，在彩色梯度大的范围内采用g2，并且通过将彩色梯度本身的陡度用作中间范围上的索引，利用加权合成获得G插值值。在一些情况下，对th1和th2设置为同一值，并且可简单地选择g1或g2中的任何一个作为G插值值，而不指定任何中间范围。
5-2 加权合成处理利用上述加权比λ，通过加权合成组合两种类型的插值值，如表达式(27)中所示。
G[i，j]＝(1-λ[i，j])*g1[i，j]+λ[i，j]*g2[i，j]…(27)6 色度系统转换然后利用三种类型的彩色信息，即如表达式(8)至(10)所示获得的Cr与Cb平面或者如表达式(11)所示已经历所需的色差校正的Cr与Cb平面，和如表达式(27)所示获得的G平面，如表达式(28)和(29)所示，将图像数据转换为RGB色度系统数据。
R[i，j]＝Cr[i，j]+G[i，j]…(28)B[i，j]＝Cb[i，j]+G[i，j]…(29)通过根据彩色梯度的强度调整插值方法，实现了图像生成与恢复，其最小化了对角线锯齿和彩色边界区域上的损坏范围。具体地，通过采用第四实施例，可最小化在现有技术中可能出现的黑色或白色斑点(过度)。结果，可形成不含有任何明显人工结构的高质量插值图像。
-第五实施例-在第四实施例中，通过采用插值处理的标准概念，执行G平面生成1。参考第五实施例，解释了采用另一方法，其不同于在第四实施例中使用的方法，执行G平面生成1的示例。国际公开No.02/071761中公开了第五实施例中执行的G平面生成1采用的基本方法。
由于在第五实施例中实现的电子照相机1的结构类似于图1中示出的结构，其也适用于第四实施例，因而忽略其解释。此外，由图像处理单元11执行的整体图像数据转换处理的流程图仅在步骤S3中执行的彩色梯度分析和在步骤S4中执行的G平面生成1方面与图13中提供的对应于第四实施例的流程图不同。由于此原因，对于第五实施例没有提供流程图，并参考图13进行解释。
图17是为了便于解释在第五实施例中执行的各种类型的处理间的关系而提供的框图。它与对应于第四实施例的图14中的框图的不同之处在于，其额外包括了对角线方向判定201，还在于基于垂直/水平方向判定102与对角线方向判定的结果201执行G平面生成1(202)。此外，彩色梯度分析的内容203不同于在第四实施例中执行的彩色梯度分析104。以下为第五实施例的解释，其集中于彩色梯度分析203(步骤S3)和G平面生成1(202)(步骤S4)。
1 Cr与Cb色差平面生成与在第四实施例中一样生成Cr和Cb色差平面。如同在第四实施例中，执行垂直/水平方向判定以对于Cr和Cb色差平面生成判定相似性的类型。
2 彩色梯度分析2-1 计算色彩索引通过利用色差信息Cr[i，j]和Cb[i，j]，其通过Cr和Cb色差平面生成获得，确定用于估计对应于每个像素的颜色的色彩索引Cdiff[i，j]。尽管在第四实施例中有必要检测所有可能发生过度的彩色边界，但第五实施例的目的是在后面详细解释的Y平面生成期间提取引入了垂直或水平条纹的区域，和通过采用不同方法处理这样的区域。
由于在第五实施例中基本上通过在国际公开No.02/071761的方法执行G平面生成1，因此，可采取当对角线锯齿的措施，与在美国专利No.5,629,734中公开的方法相比，在彩色边界区域出现问题的可能性要小很多。然而，即使当通过在第五实施例中采用的G平面生成1的特定方法生成G平面时，在存在特定颜色组合的边界区域也可能出现垂直或水平条纹(彩色边界锯齿)。这些垂直或水平条纹(彩色边界锯齿)往往出现于同时存在红色和蓝色的彩色边界、同时存在绿色和橙色的彩色边界、同时存在粉色和淡蓝色的彩色边界、同时存在白色和黄色的彩色边界等。已经知道，在彩色边界上存在相反的颜色时，这种垂直和水平条纹的可能性增大。假设这可归因于在后合成亮度分量中局部出现的莫尔现象，这是由于在存在特定颜色组合的区域中，对应于R、G和B彩色分量的不同类型彩色信息的干扰造成的，但是通过考虑方向性，以特定RGB比合成而获得的亮度平面通常在规则彩色边界和对角线结构上具有平滑连续性。
相应地，由于彩色边界锯齿往往出现于存在相反颜色的彩色边界区域，而在通常的彩色边界处不出现，因而将相反颜色间的色差用作色彩索引可增大识别目标区域的对比度，以增强检测包含相反颜色的彩色边界区域的能力。也就是，如表达式(20)中所示计算色彩索引Cdiff[i，j]。
Cdiff[i，j]＝(|Cr[i，j]-Cb[i，j]/2|+|Cb[i，j]-Cr[i，j]/2|+|Cr[i，j]/2+Cb[i，j]/2|)/2 …(30)展开表达式(30)中定义色彩索引的色差项得到表达式(31)。R(红色)与Cy(青色)、G(绿色)与Mg(品红色)、B(蓝色)与Ye(黄色)为相反的颜色(补色)。
Cdiff＝(|R-(G+B)/2|+|G-(B+R)/2|+|B-(R+G)/2|)/3
＝(|R-Cy|+|G-Mg|+|B-Ye|)/3…(31)2-2 估计彩色梯度如同在第四实施例中那样估计彩色梯度。
3.G平面生成1通过采用不同于第四实施例中使用的，并且实现对角线分辨率，即防止对角线锯齿的方法，生成G分量信息。在此实施例中，不是执行G插值，而是首先在色度系统中生成亮度分量和色差分量，然后基于在国际公开No.02/071761中公开的方法将数据转换为RGB分量。
3-1 对角线方向判定3-1-1 计算相似性检测因子通过使用在包含转换目标像素的局部区域中可用的像素信息，在预转换RGB图像数据中，在每个R像素和B像素处进行关于沿对角线方向出现的相似性判定。对角线方向为45°对角线方向或135°对角线方向。在图18中，45°对角线方向表示为[HV，DN]＝
，135°对角线方向表示为[HV，DN]＝
。参考图18将给出进一步的解释。如表达式(32)所示计算表示沿45°对角线方向出现的相似性的相似性因子C45[i，j]，而如表达式(33)所示计算表示沿135°对角线方向出现的相似性的相似性因子C135[i，j]。
C45[i，j]＝{(|G[i，j-1]-G[i-1，j]|+|G[i+1，j]-G[i，j+1]|)/2+(|Z[i+1，j-1]-Z[i，j]|+|Z[i-1，j+1]-Z[i，j]|)/2}/2…(32)C135[i，j]＝{(|G[i，j-1]-G[i+1，j]|+|G[i-1，j]-G[i，j+1]|)/2+(|Z[i-1，j-1]-Z[i，j]|+|Z[i+1，j+1]-Z[i，j]|)/2}/2…(33)3-1-2 相似性判定接下来执行相似性判定。基于已经如上所述计算的C45[i，j]和C135[i，j]，判定关于转换目标像素出现的相似性方向。在此实施例中，进行关于是否沿45°对角线方向或135°对角线方向出现明显相似性的判定，或者是否沿45°对角线方向或135°对角线方向不能感觉到明显的相似性。更具体地，如果满足(34)所示的条件，则确定明显相似性方向，即45°对角线方向或135°对角线方向并不明确，并将方向索引DN[i，j]设置为0。Th2为特定的门限值，假设其类似于在垂直/水平方向判定中为Th1而假设的值。对于256灰度，该值应是约为10的值。如果为45°对角线方向和135°对角线方向计算的相似性因子间的差别等于或小于门限值Th2，则不能确定沿45°对角线方向或135°对角线方向出现明显的相似性。
|C45[i，j]-C135[i，j]|≤Th2 …(34)如果不满足在(34)中表示的条件，即如果确定沿45°对角线方向或135°对角线方向出现更明显的相似性，则进行关于是否满足(35)中表示的条件的判定。如果满足条件(35)，则确定沿45°对角线方向出现更为明显的相似性，并将方向索引DN[i，j]设置为1。如果不满足条件(35)，则确定沿135°对角线方向出现更为明显的相似性，并将方向索引DN[i，j]设置为-1。应当注意，当相似性因子C45[i，j]或相似性因子C135[i，j]表现出较小的值时，则表示更高程度的相似性。
C45[i，j]＜C135[i，j]…(35)3-2 亮度Y平面生成3-2-1 不像在第四实施例中那样生成G平面，在第五实施例中计算亮度信息Y，以通过Bayer平面信息的直接加权和生成亮度Y平面。也就是，通过利用彩色信息直接生成亮度信息Y，该彩色信息对应于还要进行插值处理的预转换RGB图像数据中的各个彩色分量。A[x，y]代表对于预转换RGB图像数据(Bayer平面数据)中给定的彩色分量的彩色信息。
基于如在第一实施例中确定的垂直/水平方向索引HV[i，j]和如上所述确定的对角线方向索引DV[i，j]，在预转换RGB图像数据中，对于对应于R像素或B像素的每个像素[i，j]计算亮度信息Y，即Y[i，j]。对应垂直/水平方向索引HV[i，j]与对角线方向索引DN[i，j]的不同组合，如图18所示，定义了可能出现相似性的9个特定方向。
通过利用从对应方向索引[HV，DN]，即对应可能出现相似性的特定方向的表达式(37)至(45)中选择的表达式计算Y[i，j]。当转换目标像素[i，j]为G像素时采用表达式(36)，而当转换目标像素[i，j]不是G象素时，对应该方向索引选择表达式(37)至(45)中的一个，如下所示。应当注意，图19表示当转换目标像素为G像素时，用于计算亮度信息Y的像素位置和分配给这些像素的系数(G位置亮度生成系数模式)。图20表示当转换目标像素为R像素或B像素时，用于计算亮度信息的像素位置和分配给这些像素的系数(R和B位置亮度生成系数模式)。
当方向索引为
时采用表达式(37)。
当方向索引为
时采用表达式(38)。
当方向索引为
时采用表达式(39)。
当方向索引为[1，0]时采用表达式(40)。
当方向索引为[1，1]时采用表达式(41)。
当方向索引为[1，-1]时采用表达式(42)。
当方向索引为[-1，0]时采用表达式(43)。
当方向索引为[-1，1]时采用表达式(44)。
当方向索引为[-1，-1]时采用表达式(45)。
Y[i，j]＝YG…(36)Y[i，j]＝YRBhv …(37)Y[i，j]＝YRB45 …(38)Y[i，j]＝YRB135 …(39)Y[i，j]＝YRBv …(40)Y[i，j]＝YRBv45 …(41)Y[i，j]＝YRBv135 …(42)Y[i，j]＝YRBh …(43)Y[i，j]＝YRBh45 …(44)Y[i，j]＝YRBh135 …(45)在下面的(46)至(55)中分别表示YG，YRBhv，YRB45，YRB135，YRBvYRBv45，YRBv135，YRBh，YRBh45，YRBh135。
YG＝α*A[i，j]
+(β/4)*{A[i-1，j]+A[i+1，j]+A[i，j-1]+A[i，j+1]} …(46)YRBhv＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]} …(47)YRB45＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{t 1*A[i+1，j-1]+t2*A[i-1，j+1]} …(48)YRB135＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]} …(49)YRBv＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t 1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]}…(50)YRBv45＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{t 1*A[i+1，j-1]+t2*A[i-1，j+1]}…(51)YRBv135＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]}…(52)
YRBh＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]} …(53)YRBh45＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{t1*A[i+1，j-1]+t2*A[i-1，j+1]} …(54)YRBh135＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]} …(55)应当注意，下列约束(56)适用于上面各表达式中的常量(系数)。此外，这些常量均为正值或0。
α+β＝1，p+q＝1，u1+u2＝1，v1+v2＝1，s1+s2＝1，t1+t2＝1 …(56)下面通常为常量设置的优选示例。
u1u2，v1v2，s1s2，t1t2(α，β)＝(1/3，2/3)，(4/9，5/9)，(5/11，6/11)，(1/2，1/2)，(5/9，4/9)，(3/5，2/5)，(2/3，1/3)常量α和β，其为用于确定亮度中R、G、B比例的参数，具有的关系为Y＝α*G+β*(R+B)/23-2-2 边缘增强由于这样获得的Y平面仅包含正系数，因而执行边缘增强处理以恢复实现此校正水平的对比度。通过利用简单的固定滤波器，而不考虑任何方向性，可执行边缘增强处理。用于边缘提取的带通滤波器可为，例如表达式(57)和图21中的Laplacian滤波器。然后如下面的(58)所示执行算术运算，以获得最终的亮度信息Y。应将表达式(58)中的常量K设置为正值，通常等于或大于1。
YH[i，j]＝{8*Y[i，j]-(Y[i-1，j]+Y[i+1，j]+Y[i，j-1]+Y[i，j+1]+Y[i-1，j-1]+Y[i+1，j-1]+Y[i-1，j+1]+Y[i+1，j+1])}/16…(57)Y[i，j]＝Y[i，j]+K*YH[i，j]…(58)3-2-3 色度系统转换然后利用三种类型的彩色信息，即如表达式(8)至(10)所示获得的Cr与Cb平面或者已经历如第四实施例中如(11)所示的所需色差校正的Cr与Cb平面，和如表达式(58)所示获得的Y平面，将图像数据转换为G分量信息，如表达式(59)所示。
g1[i，j]＝Y[i，j]-(β/2)*Cr[i，j]-(β/2)*Cb[i，j] …(59)4 G平面生成2如在第四实施例中那样执行G平面生成2。
5 G平面合成如在第四实施例中那样执行G平面合成。
6 色度系统转换如在第四实施例中那样执行色度系统转换。
通过根据彩色梯度的强度调整插值方法，实现了图像生成与恢复，其最小化了对角线锯齿和彩色边界区域上的损坏范围。在第五实施例中，可有效地消除彩色边界锯齿的出现，该锯齿表现为垂直或水平的条纹，这些条纹可能在存在相反颜色的彩色边界区域中出现。结果，可形成不含有任何明显人工结构的高质量插值图像。
在上述第一至第五实施例中，通过将彩色梯度作为索引，对色差分量和亮度分量执行自适应处理，结果，可形成不含有任何明显程度的色彩失真和人工结构的高质量插值图像。同时，具体地，所采取的抗色彩失真的自适应措施对于消除彩色莫尔条纹和在高ISO感光度水平出现的彩色斑点极为有效。
应当注意，尽管基于采用本发明处理数据的示例，这些数据以采用Bayer阵列的RGB色度系统表示，给出了各实施例的解释，但本发明并不限制于该示例，并可结合采用其它阵列的彩色滤波器采用本发明。
此外，可利用除了在解释各个实施例中引用的各种计算表达式之外的适当计算表达式执行相似性判定。尽管引用了用于G平面生成和Y平面生成的算术运算的各种计算表达式，但本发明并不限制于各个实施例中提供的示例。可使用不同于这些表达式的适当计算表达式生成亮度信息。
尽管在上述第四和第五实施例中将低通滤波器(参见图16)用于色差校正并将带通滤波器(参见图21)用于边缘增强，但本发明并不限于这些示例，并可转而使用采用不同特性的低通或带通滤波器。
此外，尽管上面给出了关于第四和第五实施例的解释，其中，选择通过插值获得彩色分量信息的方法，该彩色分量信息用于确定彩色边界区域中的亮度，或者通过加权和对该彩色分量进行插值，但本发明并不限于这些示例。例如，在6色度系统转换的处理之前，可执行色差校正低通滤波器处理，以校正色差，并可基于彩色梯度分析的结果开/关色差校正低通滤波器。在这种情况下，可消除在彩色边界区域之外的区域中出现的色彩失真，并可防止在彩色边界区域中出现彩色污点。另外，可根据彩色梯度分析的结果选择色差校正低通滤波器的类型和大小。
尽管在示例的基础上给出了对于各个实施例的解释，在该示例中，在电子照相机中采用本发明，但本发明并不限于该示例，并可应用于捕获动态图像的视频摄像机，或者配备了图像传感器的个人计算机或便携电话。也就是，本发明可应用于采用图像传感器生成彩色图像数据的所有类型的装置。
另外，尽管在示例的基础上给出了对于各个实施例的解释，在该示例中使用单片图像传感器，但本发明并不限于此示例。其也可用于处理在双片型图像传感器上捕获的图像数据。虽然在采用RGB Bayer阵列的单片图像传感器捕获的图像数据中，给定像素保存对应于单个彩色分量的信息，但在采用RGB Bayer阵列的双片图像传感器捕获的图像数据中，每个像素保存对应于两个彩色分量的信息。
本发明在个人计算机的应用中，可在例如CD-ROM的存储介质中记录，或通过因特网等的数据信号提供与上述处理相关的程序。图22表示如何以这些模式提供该程序。个人计算机400通过CD-ROM 404接收程序。个人计算机400还能够与通信线路401相连。计算机402为服务器计算机，其提供存储在诸如硬盘403的记录介质中的程序。通信线路401可为用于因特网通信、个人计算机通信等的通信线路，或者其可为专用通信线路。计算机402从硬盘403读取程序，并通过通信线路401向个人计算机400传输程序。也就是，通过通信线路401，在载波上传送作为数据信号实现的程序。从而，可采用包括记录介质和载波的各种模式中的任一种，作为计算机可读的计算机程序产品发布该程序。
在文中参考下列公开的在先申请于2003年6月12日提交的编号为No.2003-167923的日本专利申请。
权利要求
1.一种图像处理方法，用于将第一图像转换为第二图像，其中，第一图像由多个彩色分量构成的色度系统表示，并由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息；第二图像由多个像素构成，所有像素都具有对应于至少一个公共彩色分量的彩色信息，该方法包括色差信息生成步骤，其中，通过利用第一图像中的彩色信息，生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；图像转换步骤，其中，基于已经确定的彩色梯度将第一图像转换为第二图像。
2.根据权利要求1所述的图像处理方法，其中图像转换步骤包括色差信息校正步骤，其中，对于通过利用第一图像中的彩色信息已经生成的色差信息，基于彩色梯度执行校正处理。
3.根据权利要求2所述的图像处理方法，其中在彩色梯度分析步骤，基于表示构成用于表示第一图像的色度系统的彩色分量间颜色差别的色差信息，生成色彩索引，并且通过确定色彩索引平面内颜色变化的程度确定彩色梯度。
4.根据权利要求1所述的图像处理方法，其中以匹配位置结构排列构成第一图像的多个像素和构成第二图像的多个像素，以实现直接对应；以及在图像转换步骤，在与第二图像中对应于彩色梯度陡度的处理目标像素的位置对应的位置，通过调整第一图像中彩色信息的作用因子，将第一图像转换为第二图像。
5.根据权利要求4所述的图像处理方法，其中在彩色梯度分析步骤，利用表示构成用于表示第一图像的色度系统的彩色分量和对应于反色的彩色分量间颜色差别的色差信息，生成色彩索引，并且通过确定色彩索引平面内颜色变化的程度确定彩色梯度。
6.一种图像处理方法，包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为其所有像素都具有对应于至少两个公共彩色分量的图像的处理得到所述第二图像，所述第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色差信息生成步骤，其中，通过利用第二图像中的彩色信息生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，校正对应于第二图像的色差信息。
7.根据权利要求1或权利要求6所述的图像处理方法，其中在彩色梯度分析步骤，基于色差信息，生成对应于每个像素的用于估计颜色的色彩索引，并且基于已经生成的色彩索引，确定彩色梯度。
8.根据权利要求7所述的图像处理方法，其中在彩色梯度分析步骤，通过在已经生成的色彩索引平面内执行确定梯度的微分运算，可确定彩色梯度。
9.根据权利要求7所述的图像处理方法，其中在色差信息生成步骤，对应于单个处理目标像素生成多种类型的色差信息；以及在彩色梯度分析步骤，通过利用表示对应于多种类型的色差信息特定组合的至少三个彩色分量中颜色差别的色差信息，生成色彩索引。
10.一种图像处理方法，包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为其所有像素都具有对应于至少三个公共彩色分量的彩色信息的图像的处理获得所述第二图像，所述第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色度信息生成步骤，其中，通过在第二图像上执行色彩空间转换，生成色度信息；彩色梯度分析步骤，其中，基于已经生成的色度信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，校正包含在第二图像中的色差信息。
11.根据权利要求2、6和10中任一个所述的图像处理方法，其中在色差信息校正步骤中，如果目标像素具有小于预定值的彩色梯度，则向色差平面应用在预定范围上有效的校正滤波器，并且如果目标像素具有大于预定值的彩色梯度，则不执行校正处理，或应用在比预定范围窄的范围上有效的校正滤波器。
12.根据权利要求11所述的图像处理方法，其中在彩色梯度分析步骤中用于确定彩色梯度的微分滤波器具有与在预定范围上有效的校正滤波器的大小相匹配的大小。
13.根据权利要求1、6和10中任一个所述的图像处理方法，其中在彩色梯度分析步骤中，通过沿多个方向各向同性地执行微分运算，确定彩色梯度。
14.根据权利要求11所述的图像处理方法，其中在彩色梯度分析步骤，通过一阶微分运算计算彩色梯度。
15.根据权利要求4所述的图像处理方法，其中在图像转换步骤，根据彩色梯度调整第一图像中在对应于第二图像中处理目标像素位置的位置处彩色信息的作用因子，由此允许第一图像中的彩色信息影响对应于承载第二图像中的亮度的彩色分量的彩色信息。
16.根据权利要求15所述的图像处理方法，其中在图像转换步骤，通过采用至少第一方法和第二方法将第一图像转换为第二图像，通过第一方法，利用对应于第一图像中多个彩色分量的彩色信息，可生成对应于第二图像中一个彩色分量的彩色信息，通过第二方法，利用对应于第一图像中一个彩色分量的彩色信息，可生成对应于第二图像中一个彩色分量的彩色信息；在彩色梯度分析步骤，基于已经确定的彩色梯度，进行是否存在彩色边界的判定；以及在彩色转换步骤，采用第一方法处理通过彩色梯度分析步骤确定没有包含彩色边界的像素，并且采用第二方法处理通过彩色梯度分析步骤确定包含彩色边界的像素。
17.根据权利要求16所述的图像处理方法，其中当在图像转换步骤采用第一方法时，对于某像素，通过插值处理生成对应于承载第一图像中的亮度的彩色分量的彩色信息，其中，在所述像素处缺失对应于所述彩色分量的彩色信息，所述差值处理是通过利用对应于与所述彩色分量匹配的彩色分量的彩色信息和对应于除所述彩色分量之外的彩色分量的彩色信息来执行的，并且利用通过所述插值处理已产生的、对应于承载第一图像中的亮度的彩色分量的彩色信息，将该第一图像转换为第二图像。
18.根据权利要求17所述的图像处理方法，其中当在图像转换步骤采用第一方法时，通过利用对应于构成第一图像的彩色分量的彩色信息，对所有像素生成彩色信息，该彩色信息对应于在除了用于表示第一图像的色度系统之外的色度系统中承载亮度的彩色分量，并且通过利用已经生成的、对应于在其他色度系统中承载亮度的彩色分量的彩色信息，将第一图像转换为第二图像。
19.根据权利要求1所述的图像处理方法，其中在色差信息生成步骤，通过采用从至少三个不同方法中选择的方法，生成色差信息。
20.根据权利要求19所述的图像处理方法，其中在色差信息生成步骤，通过利用第一图像中的彩色信息，计算对应于至少两个方向的相似性因子，基于已经计算的相似性因子，在至少三个不同的类别中判断沿每个方向表现出的相似性，并且根据判断的类别，选择这三个不同方法中的一个。
21.一种用于将第一图像转换为第二图像的方法，其中，第一图像由多个彩色分量构成的色度系统表示，并且由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息，第二图像由多个像素构成，这些像素都具有对应于至少一个公共彩色分量的彩色信息，该方法包括色差信息生成步骤，其中，通过利用第一图像中的彩色信息生成用于第二图像的色差信息；彩色梯度分析步骤，其中，基于已经产生的第二图像的色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，校正第二图像的色差信息，其中在色差信息校正步骤，与第二图像的亮度信息无关地进行第二图像色差信息的校正。
22.一种图像处理方法，包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为其全部像素具有对应于至少两个公共彩色分量的彩色信息的图像的处理获得所述第二图像，第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色差信息生成步骤，其中，通过利用第二图像中的彩色信息生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，与第二图像的亮度信息无关地校正对应于第二图像的色差信息。
23.一种图像处理方法，包括输入第二图像的图像输入步骤，其中，通过将第一图像转换为其全部像素都具有对应于至少三个公共彩色分量的彩色信息的图像的处理获得所述第二图像，第一图像由多个彩色分量构成的色度系统表示，所述多个彩色分量具有对应于在每个像素处缺失的至少一个彩色分量的彩色信息；色度信息生成步骤，其中，通过在第二图像上执行彩色空间转换，生成色度信息；彩色梯度分析步骤，其中，根据已经生成的色度信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，与第二图像中的亮度信息无关地校正第二图像中包含的色差信息。
24.一种图像处理方法，包括图像输入步骤，在该步骤输入由多个像素构成的图像，所有像素都具有对应于至少两个公共彩色分量的彩色信息；彩色转换步骤，其中，对应于构成该图像的彩色分量的彩色信息被转换为亮度信息和色差信息；彩色梯度分析步骤，其中，基于该色差信息，确定表示颜色变化程度的彩色梯度；以及色差信息校正步骤，其中，基于已经确定的彩色梯度，与亮度信息无关地校正该色差信息。
25.根据权利要求21至24中任一个所述的图像处理方法，其中在色差信息校正步骤，根据在彩色梯度分析步骤中执行的用于确定彩色梯度的检测范围，确定将在色差校正中使用的彩色信息范围。
26.根据权利要求21、22和24中任一个所述的图像处理方法，其中在彩色梯度分析步骤，在确定彩色梯度前，校正在色差信息生成步骤中已经生成的色差信息。
27.一种将第一图像转换为第二图像的方法，其中，第一图像由多个彩色分量构成的色度系统表示，并由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息，第二图像由多个像素构成，所有像素都具有对应于至少一个公共彩色分量的彩色信息，该方法包括第一彩色信息生成步骤，其中，通过利用对应于构成第一图像的多个彩色分量的彩色信息，生成对应于彩色分量的彩色信息，该彩色分量不同于构成用于表示第一图像的色度系统的彩色分量；第二彩色信息生成步骤，其中，通过利用对应于第一图像中一个彩色分量的彩色信息，生成对应于彩色分量的彩色信息，该彩色分量与用于表示第一图像的色度系统中的彩色分量相匹配；以及彩色信息合成步骤，其中，根据像素位置，选择使用通过第一彩色信息生成步骤已经生成的彩色信息或通过第二彩色信息生成步骤已经生成的彩色信息，或者都使用通过第一彩色信息生成步骤已经生成的彩色信息和通过第二彩色信息生成步骤已经生成的彩色信息，用于加权合成。
28.根据权利要求27所述的图像处理方法，其中在第一彩色信息生成步骤，生成彩色信息，该彩色信息对应于亮度分量，该亮度分量不同于用于表示第一图像的色度系统中的亮度分量。
29.根据权利要求28所述的图像处理方法，其中在第一彩色信息生成步骤，生成彩色信息，该彩色信息对应于色差分量，该色差分量不同于用于表示第一图像的色度系统中的彩色分量，如此生成的彩色信息，结合对应于亮度分量的彩色信息，该亮度分量不同于用于表示第一图像的色度系统中的亮度分量，被转换为一种对应于彩色分量的彩色信息，该彩色分量代表用于表示第一图像的色度系统中的亮度。
30.根据权利要求27至29中任一个所述的图像处理方法，其中在第二彩色信息生成步骤，生成彩色信息，该彩色信息对应于一种彩色分量，该彩色分量代表用于表示第一图像的色度系统中的亮度。
31.根据权利要求28至30中任一个所述的图像处理方法，其中在第一彩色信息生成步骤，通过采用从至少九个不同方法中选择的方法，生成对应于亮度分量的彩色信息，该亮度分量不同于用于表示第一图像的色度系统中的亮度分量。
32.根据权利要求30所述的图像处理方法，其中在第二彩色信息生成步骤，通过采用从至少三个不同方法中选择的方法，生成对应于表示亮度的彩色分量的彩色信息。
33.根据权利要求31所述的图像处理方法，其中在第一彩色信息生成步骤，通过利用第一图像中的彩色信息，计算对应于至少四个方向的相似性因子，根据已经计算的相似性因子，在至少九个不同类别中判断沿每个方向表现出的相似性，并且根据判断的类别，选择这九个不同方法中的一个。
34.根据权利要求32所述的图像处理方法，其中在第二彩色信息生成步骤，通过利用第一图像中的彩色信息，计算对应于至少两个方向的相似性因子，根据已经计算的相似性因子，在至少三个不同类别中判断沿每个方向表现出的相似性，并且根据判断的类别，选择这三个不同方法中的一个。
35.根据权利要求27至34中任一个所述的图像处理方法，还包括色差信息生成步骤，其中，基于第一图像中的彩色信息，生成色差信息；以及彩色梯度分析步骤，其中，基于已经确定的色差信息，确定表示颜色变化程度的彩色梯度，其中，在彩色信息合成步骤，选择使用通过第一彩色信息生成步骤生成的彩色信息或通过第二彩色信息生成步骤生成的彩色信息，或者都使用通过第一彩色信息生成步骤生成的彩色信息和通过第二彩色信息生成步骤生成的彩色信息，基于已经确定的彩色梯度，用于在每个像素位置进行加权合成。
36.一种图像处理程序，使计算机能够执行根据权利要求1至35中任一个所述的图像处理方法中的步骤。
37.一种计算机可读的记录介质，在其中记录了根据权利要求36所述的图像处理程序。
38.一种图像处理装置，在其中安装了根据权利要求36所述的图像处理程序。
全文摘要
一种用于将第一图像转换为第二图像的方法，包括色差信息生成步骤，其中，通过利用第一图像中的彩色信息生成色差信息；彩色梯度分析步骤，其中，基于已经生成的色差信息，确定表示颜色变化程度的彩色梯度；以及图像转换步骤，其中，基于已经确定的彩色梯度将第一图像转换为第二图像。该方法中的第一图像由多个彩色分量构成的色度系统表示，并由多个像素构成，每个像素具有对应于单个彩色分量的彩色信息；第二图像由多个像素构成，都具有对应于至少一个公共彩色分量的彩色信息。
文档编号H04N9/07GK1806448SQ20048001628
公开日2006年7月19日 申请日期2004年6月10日 优先权日2003年6月12日
发明者石贺健一 申请人:株式会社尼康