专利名称：图像处理方法、图像处理程序、图像处理装置的制作方法
技术领域：
本发明涉及图像处理方法，该方法将由多个颜色分量构成的表色系表示的、由在1个像素中有1个颜色分量的颜色信息的多个像素构成的图像变换成由多个像素构成的、各个像素中至少有一个公共颜色信息的图像。
背景技术：
电子照相机等通过CCD等摄像元件拍摄被摄体。摄像元件例如是RGB(红绿蓝)3色滤色器拜耳(bayer)排列，输出每个像素中有RGB中任一颜色分量的颜色信息的图像数据。在该图像数据中，1个图像只有1个颜色分量的颜色信息。因此，提出了各种方法，通过内插处理等计算并求出各像素中缺失的颜色分量的颜色信息。
专利第2931520号公开了这样的技术检测像素的色阶(level)，根据色阶调整相关值，根据调整的相关值进行内插处理。
但是，在专利第2931520号的色阶检测方法中，在图像有结构的地方，无法区分由于结构引起的色差信号值和实际具有的颜色所产生的色差信号值，错误且不适当地使用相关值的可能性高。
发明内容
本发明提供一种图像处理方法，适当地解决这些问题并提供高画质的彩色图像。
本发明的第一图像处理方法将由多个颜色分量构成的表色系表示的、由在1个像素中有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共颜色信息的第二图像，具有颜色判定步骤，包括色差信息生成步骤，对于第二图像的处理对象像素，用至少3种方法中的任何一种方法，由第一图像的颜色信息生成色差信息；颜色评价步骤，对第二图像的处理对象像素，用上述色差信息对单位像素进行颜色评价；图像变换步骤，根据上述颜色判定步骤的颜色评价结果，将上述第一图像变换为第二图像。
第一图像处理方法中，颜色判定步骤还包括类似度计算步骤，对于第二图像的处理对象像素，利用第一图像的颜色信息计算与至少2个方向有关的类似度；类似性判定步骤，根据类似度，通过至少3个阶段判定对各方向类似性的强弱。色差信息生成步骤最好是根据类似性判定步骤的判定结果，用准备好的至少3种方法中的任何一种方法由第一图像的颜色信息生成色差信息。这时，颜色判定步骤的类似度计算步骤最好算出由不同颜色分量的颜色信息构成的异色间类似度作为类似度。
在第一图像处理方法中，图像变换步骤最好包括1)类似度计算步骤，利用第一图像的颜色信息算出与处理对象像素的至少2个方向有关、由不同颜色分量的颜色信息构成的异色间类似度和由相同颜色分量的颜色信息构成的同色间类似度，根据颜色评价结果，区分异色间类似度和同色间类似度并算出类似度，2)类似性判定步骤，根据类似度，判定对各方向类似性的强弱，3)第二图像生成步骤，根据类似性判定步骤的判定结果，利用第一图像的颜色信息生成第二图像的颜色信息。这时，图像变换步骤的类似度计算步骤最好是在颜色评价中判断为色度低时，主要利用异色间类似度作为类似度，判断为色度高时，主要利用同色间类似度。
在第一图像处理方法中，图像变换步骤最好包括1)类似度计算步骤，利用第一图像的颜色信息算出与处理对象像素的至少2个方向有关、由不同颜色分量的颜色信息构成的异色间类似度和由相同颜色分量的颜色信息构成的同色间类似度，根据颜色评价结果，加权相加异色间类似度和同色间类似度，通过改变其加权比算出类似度，2)类似性判定步骤，根据类似度，判定对各方向类似性的强弱，3)第二图像生成步骤，根据类似性判定步骤的判定结果，利用第一图像的颜色信息生成第二图像的颜色信息。这时，图像变换步骤的类似度计算步骤最好是在颜色评价中判断为色度低时，主要利用异色间类似度作为类似度，判断为色度高时，主要利用同色间类似度。
第一图像处理方法中，图像变换步骤最好包括第二图像生成步骤，利用对应于处理对象像素位置的第一图像像素的颜色信息及其周边像素的颜色信息生成第二图像的颜色信息，根据颜色评价结果改变其构成比。这时，图像变换步骤的第二图像生成步骤最好是在颜色评价中判断为色度低时，提高位于处理对象像素的第一图像像素的颜色信息的构成比。或者，图像变换步骤最好是在第二图像生成步骤之前，对于处理对象像素，具有1)类似度计算步骤，利用第一图像的颜色信息，算出与至少2个方向有关的类似度，2)类似性判定步骤，根据类似度，判定对各方向类似性的强弱，只在类似性判定步骤的判定结果是判定为对各方向是相同等级时，才根据颜色评价结果改变构成比。
第一图像处理方法中，图像变换步骤最好包括1)第二图像生成步骤，利用第一图像的颜色信息生成第二图像的色差信息，2)色差信息校正步骤，根据颜色评价结果校正第二图像的色差信息。这时，图像变换步骤的色差信息校正步骤最好是在颜色评价中判断为色度低时，对第二图像的色差信息进行广域型滤波处理，判断为色度高时，对第二图像的色差信息进行狭域型滤波处理。
第一图像处理方法中，最好是1)颜色判定步骤的色差信息生成步骤对1个处理对象像素生成多种色差信息，2)颜色判定步骤的颜色评价步骤还可通过多种色差信息的组合考虑新的色差信息来进行颜色评价。
第一图像处理方法中，颜色判定步骤的颜色评价步骤最好是通过不仅结合处理对象像素而且结合其周边像素来使用色差信息生成步骤所生成的色差信息进行颜色评价。
第一图像处理方法中，颜色判定步骤的颜色评价步骤最好是校正色差信息，用校正后的色差信息进行颜色评价。这时，颜色判定步骤的颜色评价步骤最好进行低通滤波处理，作为对色差信息的校正处理。
第一图像处理方法中，颜色判定步骤最好是在颜色评价步骤之后，具有1)色差信息校正步骤，根据颜色评价结果，校正色差信息，2)二次颜色评价步骤，利用通过色差信息校正步骤校正的色差信息，再次进行单位像素的颜色评价，根据二次颜色评价步骤的颜色评价结果，将第一图像变换为第二图像。这时，颜色判定步骤最好是在色差信息校正步骤之前，具有1)亮度信息计算步骤，利用第一图像的颜色信息算出亮度信息，2)亮度评价步骤，利用亮度信息，对单位像素进行亮度评价，色差信息校正步骤根据二次评价步骤的颜色评价结果和亮度评价步骤的亮度评价结果校正色差信息。而且，颜色判定步骤的色差信息校正步骤最好对色差信息进行中值滤波处理。
本发明的第二图像处理方法将由多个颜色分量构成的表色系表示的、由在1个像素中有1个颜色分量的颜色信息的多个像素构成的第一图像变换成在1个像素中由多种颜色信息的多个像素构成的第二图像，包括图像取得步骤，取得第一图像；色差信息生成步骤，根据取得的第一图像的颜色分量的颜色信息生成第二图像像素位置的色差信息；颜色评价步骤，用生成的第二图像的色差信息对单位像素进行颜色评价；亮度信息生成步骤，根据第二图像的单位像素的颜色评价结果，生成第二图像像素位置的亮度信息；输出步骤，使用通过色差信息生成步骤生成的色差信息和亮度信息生成步骤生成的亮度信息输出第二图像。
在第二图像处理方法中，第二图像的1个像素位置的色差信息由多种色差信息组成，颜色评价步骤最好还考虑可使多种色差信息组合起来的新的色差信息来进行颜色评价。这时，第一图像用第一颜色分量、第二颜色分量和第三颜色分量组成的表色系表示，第一颜色分量的像素密度配置得比其他的第二颜色分量或第三颜色分量的像素密度高，多种色差信息包括第一颜色分量的颜色信息和第二颜色分量的颜色信息的差分组成的第一色差信息以及第一颜色分量的颜色信息和第三颜色分量的颜色信息的差分组成的第二色差信息，新的色差信息最好由第一色差信息和第二色差信息的差分组成。
第二图像处理方法中，颜色评价步骤最好校正生成的第二图像的色差信息，用校正后的色差信息进行颜色评价。这时，颜色评价步骤最好通过进行低通滤波处理校正第二图像的色差信息。
第二图像处理方法中，包括类似度计算步骤，在亮度信息生成步骤之前，在对应第二图像像素的第一图像像素中，用包含该像素的局部区域的不同颜色分量的颜色信息，算出与周边像素之间的至少2个方向有关的异色间类似度，用包含该像素的局部区域的同一颜色分量的颜色信息，算出与周边像素之间的至少2个方向有关的同色间类似度；类似性判定步骤，在亮度信息生成步骤前且在颜色评价步骤后，在对应第二图像像素的第一图像像素中，根据颜色评价结果，区分通过类似度计算步骤算出的异色间类似度和同色间类似度，判定与周边像素之间的至少2个方向有关的类似性的强弱，亮度信息生成步骤最好是根据类似性判定步骤的判定结果生成第二图像像素位置的亮度信息。
第二图像处理方法中，最好以相同的位置关系对应第一图像的多个像素和第二图像的多个像素。
第二图像处理方法中，亮度信息生成步骤最好是使用对应第二图像像素的第一图像像素的颜色信息和周边像素的颜色信息，生成第二图像像素位置的亮度信息，根据第二图像的单位像素的颜色评价结果，改变对应第二图像像素的第一图像像素的颜色信息和周边像素的颜色信息的构成比。
第二图像处理方法中，包括类似性判定步骤，在色差生成步骤之前，在对应第二图像像素的第一图像像素中，用包含该像素的局部区域的颜色信息，判定与周边图像之间的至少2个方向有关的类似性的强弱，色差信息生成步骤最好是根据类似性判定步骤的判定结果生成第二图像像素位置的色差信息。这时，类似性判定步骤最好是在对应第二图像像素的第一图像像素中，用包含该像素的局部区域的不同颜色分量的颜色信息，判定与周边像素之间的至少2个方向有关的类似性的强弱。
本发明的第三图像处理方法是将由多个颜色分量构成的表色系表示的、由在1个像素中至少有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共的第一图像没有的颜色信息的第二图像，对于第二图像的处理对象像素，由以下步骤构成1)色差信息生成步骤，用第一图像的颜色信息生成色差信息，2)颜色评价步骤，用色差信息对单位像素进行颜色评价，3)色差信息校正步骤，根据颜色评价步骤的颜色评价结果从多种校正中选择1种校正，校正色差信息，4)输出步骤，使用校正后的色差信息，输出第二图像。
第三图像处理方法中，多个校正由第一校正和第二校正构成，第一校正通过进行广域型低通滤波处理校正生成的色差信息，第二校正通过进行狭域型低通滤波处理校正生成的色差信息，色差信息校正步骤最好是在颜色评价中判断为色度低时，选择第一校正，在判断为色度高时，选择第二校正。
第三图像处理方法中，多个校正由第一校正和第二校正构成，第一校正通过进行广域型中值滤波处理校正生成的色差信息，第二校正通过进行狭域型中值滤波处理校正生成的色差信息，色差信息校正步骤最好是在颜色评价中判断为色度低时，选择第一校正，在判断为色度高时，选择第二校正。
第三图像处理方法中，第二图像的1个像素位置的色差信息由多种色差信息构成，颜色评价步骤最好还考虑可使多种色差信息组合起来的新的色差信息来进行颜色评价。这时，第一图像用第一颜色分量、第二颜色分量和第三颜色分量构成的表色系表示，第一颜色分量的像素密度配置得比其他的第二颜色分量或第三颜色分量的像素密度高，多种色差信息包括第一颜色分量的颜色信息和第二颜色分量的颜色信息的差分构成的第一色差信息以及第一颜色分量的颜色信息和第三颜色分量的颜色信息的差分构成的第二色差信息，新的色差信息最好由第一色差信息和第二色差信息的差分构成。
第三图像处理方法中，颜色评价步骤最好是通过不仅结合处理对象像素而且结合其周边像素来使用通过色差信息生成步骤生成的色差信息而进行颜色评价。
第三图像处理方法中，颜色判定步骤的颜色评价步骤最好校正色差信息，用校正后的色差信息进行颜色评价。这时，颜色判定步骤的颜色评价步骤最好进行低通滤波处理作为对色差信息的校正处理。而且，低通滤波最好是广域型低通滤波。
第三图像处理方法中，具有类似性判定步骤，在色差生成步骤之前，在对应第二图像像素的第一图像像素中，用包含该像素的局部区域的颜色信息，判定与周边图像之间的至少2个方向有关的类似性的强弱。色差信息生成步骤最好是根据类似性判定步骤的判定结果生成第二图像像素位置的色差信息。这时，最好是1)类似性判定步骤通过至少3个阶段判定对各方向类似性的强弱，2)色差信息生成步骤根据类似性判定步骤的判定结果，用准备好的至少3种方法中的任何一种方法由第一图像的颜色信息生成色差信息。
本发明的第四图像处理方法将由多个颜色分量构成的表色系表示的、由在1个像素中至少有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共的第一图像没有的颜色信息的第二图像，对于第二图像的处理对象像素，由以下步骤构成1)亮度信息生成步骤，用第一图像的颜色信息，生成亮度信息，2)亮度评价步骤，用亮度信息进行单位像素的亮度评价，3)第二图像生成步骤，用第一图像的颜色信息，生成第二图像的颜色信息，4)第二图像校正步骤，根据第二图像的单位像素的亮度评价结果，校正第二图像的颜色信息。这时，亮度评价步骤最好通过导出位于包含处理对象像素的局部区域的多个像素的亮度信息的最大值和分散值进行亮度评价。而且，1)亮度评价步骤判别以下两种情况，即是否满足亮度信息的最大值和分散值分别在预定值以上的条件，2)第二图像校正步骤通过该条件的判别结果切换地进行两种校正，或者，仅在满足该条件时进行校正。而且，第二图像校正步骤在通过亮度评价满足条件时进行广域型的中值滤波处理，在不满足时进行狭域型的中值滤波处理，或者，仅在满足条件时进行中值滤波处理。
本发明的图像处理程序在计算机中执行上述记载的图像处理方法的步骤。
本发明的计算机可读的记录媒体记录上述图像处理程序。
本发明的图像处理装置装载上述图像处理程序。
图1是对应第一实施例至第九实施例的电子照相机的功能方框图；图2是作为内插处理的对象的图像数据的颜色分量的排列图；图3是第一实施例中图像处理部分的操作流程图；图4是第一实施例中图像处理部分的操作流程图；图5是第一实施例中图像处理部分的操作流程图；图6是第一实施例中图像处理部分的操作流程图；图7是第一实施例中图像处理部分的操作流程图；图8是在颜色判定用图像生成处理过程中参照的图；图9是在计算颜色指标的过程中参照的图；图10用于说明颜色指标的图；图11是在计算相对于纵向·横向的同色间类似度的过程中参照的图；图12表示第一实施例中类似性判定处理的另一个例子；图13是在计算相对于斜方向的同色间类似度的过程中参照的图；图14表示对应于(HV，DN)值的类似性强的方向的图；图15是第二实施例中图像处理部分的操作流程图；图16表示颜色指标和亮度指标的关系；图17是说明中值滤波的范围的图；图18表示第二实施例中内插值计算处理的另一个例子；
图19是第三实施例中图像处理部分的操作流程图；图20表示第三实施例中颜色判定处理的另一个例子；图21表示的图像数据变换的概念；图22是表示图像处理部分进行的图像数据变换处理的概要流程图；图23是用于说明第六实施例中处理的关系的方框图；图24表示广域型低通滤波；图25是用于第七实施例中处理的关系的方框图；图26表示在变换对象像素为R像素时，根据方向指标使用的像素位置及其颜色分量；图27是表示第八实施例中图像处理部分进行的图像数据变换处理的概要流程图；图28表示在变换对象像素为G像素时使用的像素位置及其系数(G位置的亮度生成系数图案)；图29表示在变换对象像素为R像素或B像素时，根据方向指标使用的像素位置及其系数(R、B位置的亮度生成系数图案)；图30表示边缘增强的滤波器；图31是表示第九实施例中图像处理部分进行的图像数据变换处理的概要流程图；图32是说明第九实施例中处理关系的方框图；图33是狭域型的低通滤波图；图34是对第6～第9实施例中利用通过颜色评价求出的颜色指标进行整理并说明的图；图35表示通过CD-ROM等记录媒体和因特网等的数据信号提供程序时的样子。
本发明的最佳实施例以下，根据附图对本发明的实施例进行详细说明。
在第一实施例～第四实施例中，在本发明的图像处理装置进行的图像复原处理中，尤其用具有内插处理功能的电子照相机进行说明。
图1是对应第一实施例至第四实施例的电子照相机的功能方框图。
电子照相机1具有A/D变换部分10、图像处理部分11、控制部分12、存储器13、压缩/拉伸部分14、以及显示图像生成部分15。而且，具有通过和存储卡(卡状可拆的存储器)16接口的存储卡用接口部分17以及通过规定的电缆和无线传输线路和PC(个人计算机)18等外部装置接口的外部接口部分19。它们中的各个块通过总线29相互连接。图像处理部分11例如由图像处理专用的1芯片·微处理器构成。
电子照相机1还具有摄影光学系统20、摄像元件21、模拟信号处理部分22、定时控制部分23。通过摄影光学系统20取得的被摄体的光学像在摄像元件21中成像，摄像元件21的输出连接模拟信号处理部分22。模拟信号处理部分22的输出连接A/D变换部分10。控制部分12的输出连接定时控制部分23，定时控制部分23的输出连接摄像元件21、模拟信号处理部分22、A/D变换部分10、图像处理部分11。摄像元件21例如由CCD等构成。
电子照相机1还具有相当于释放按钮和模式切换用的选择按钮等的操作部分24和监视器25。操作部分24的输出连接控制部分12，显示图像生成部分15的输出连接监视器25。
监视器26和打印机27等连接PC18，在CD-ROM 28中预先安装应用程序。而且，除了未示出的CPU、存储器、硬盘之外，PC18还具有和存储卡16接口的存储卡用接口部分(未示出)和通过规定的电缆和无线传输路径与电子照相机1等外部装置接口的外部接口部分(未示出)。
在图1所示结构的电子照相机1中，操作者通过操作部分24选择操作模式并按压释放按钮时，控制部分12通过定时控制部分23对摄像元件21、模拟信号处理部分22、A/D变换部分10进行定时控制。摄像元件21生成对应光学像的图像信号。该图像信号在模拟信号处理部分22中进行规定的信号处理，通过A/D变换部分10数字化，作为图像数据提供给图像处理部分11。
在电子照相机1中，摄像元件21的R(红)、G(绿)、B(蓝)滤色器被拜耳排列，因此，提供图像处理部分11的图像数据用RGB表色系表示。构成图像数据的各个像素中存在RGB的任何一个颜色分量的颜色信息。
图像处理部分11除了对这种图像数据进行后述的图像数据变换处理之外，还进行灰度等级变换和增强轮廓等图像处理。根据需要，这种图像处理完成后的图像数据在压缩/拉伸部分14中实施规定的压缩处理，通过存储卡用接口部分17记录在存储卡16中。
另外，图像处理完成后的图像数据也可以不实施压缩处理而记录在存储卡16中，变换成PC18侧的监视器26和打印机27所采用的表色系，通过外部接口部分19提供给PC18。而且，由操作者通过操作部分24选择再现模式时，通过存储卡用接口部分17读出记录在存储卡16中的图像数据并在压缩/拉伸部分14中实施拉伸处理，通过显示图像生成部分15显示在监视器25中。
另外，实施了拉伸处理的图像数据也可以不显示在监视器25中，变换成PC18侧的监视器26和打印机27所采用的表色系，通过外部接口部分19提供给PC18。而且，对于将进行了后述变换处理的图像数据变换成监视器25、26和打印机27所采用的表色系的处理，可通过公知技术来实现。
图2是作为内插处理对象的图像数据的颜色分量排列图。
但是，图2中，用R、G、B表示了颜色分量的种类，用坐标[X，Y]的值表示对应各个颜色分量的像素位置。
另外，在后述运算式中，将图2的R、B替换为Z，将各个像素的颜色分量的颜色信息表现为Z[i，j]。
第一实施例图3～图7表示第一实施例中图像处理部分11的操作流程图。
其中，图3～图7示出了图像处理部分11进行的图像处理中内插处理的操作。图3表示内插处理的粗处理操作，图4～图7分别表示包含在内插处理中的“颜色判定用图像生成处理”、“颜色判定处理”、“类似性判定处理”、“内插值计算处理”的操作。
以下说明第一实施例，但以下只说明图像处理部分11进行的图像处理中内插处理的操作，而其他的操作说明从略。
首先，图像处理部分11进行如图4所示的“颜色判定用图像生成处理”(图3S1)，生成“颜色判定用图像”。
另外，“颜色判定用图像”是用于计算“颜色指标”的图像，由同一像素的色调构成。这里，所谓同一像素的色调指各个像素中每个像素独立算出的色调。而且，“颜色指标”是表示各个像素的颜色特征、为了判定作为内插处理对象的像素是彩色部分还是非彩色部分(以下称为“颜色判定”)而参照的指标。即，生成颜色判定用图像的目标是使作为内插处理对象的图像与颜色有关，以单位像素进行全局的区域分类。
第一实施例中，生成与全部像素中色差Cr、Cb(相当于YCbCr表色系的Cr分量、Cb分量，其中，这里，定义为Cr＝R-G，Cb＝B-G)对应的图像作为颜色判定用图像，但作为达到颜色判定目的的颜色判定用图像，容许产生几个像素级的局部伪色，希望排除由于周期的细微结构等集团产生的伪色。
因此，在第一实施例中，优先对容易集团产生伪色的图像的细微结构部分进行析像，并且，为了反映图像本来具有的颜色特征(色度的高低等)，示出了在色差Cr、Cb的生成和内插过程中，用“异色间类似度”进行类似性判定的例子。另外，所谓“异色间类似度”是指用1个以上表示不同颜色分量的颜色信息构成的类似度分量来构成的类似度，具有“以一个像素色调来判定类似性的功能”。
《颜色判定图像生成处理》这里，参照图4，说明“颜色判定图像生成处理”。
首先，图像处理部分11算出对缺失绿色分量的像素的纵向和横向的异色间类似度(图4S1)。
例如，图像处理部分11在计算这些类似度的过程中，算出由以下所示式1和式2定义的值。
GR(GB)间类似度分量Cv0[i，j]＝(|G[i，j-1]-Z[i，j]|+|G[i，j+1]-Z[i，j]|)/2…式1Ch0[i，j]＝(|G[i-1，j]-Z[i，j]|+|G[i+1，j]-Z[i，j]|)/2…式2另外，如图2(a)所示的那样，在坐标[i，j]中存在红色分量的颜色信息时，用图8(a)所示的颜色分量的颜色信息算出式1和式2。
而且，式1和式2中，取绝对值的项(以下称为“类似度的要素”)由相邻2个像素的颜色信息构成。因此，如日本专利第2931520号公报中公开的Sv2、Sh2那样，和对大范围的颜色信息进行低通滤波后构成的值相比，在异色间类似度中包含很多和局部类似性有关的信息，能更准确地判定以一个像素色调变化的奈奎斯特(Nyquist)频率级的细微构造的类似性。
类似度的要素不限于差分绝对值，也可通过绝对值平方和n次方等算出。
Cv0[i，j]＝|-G[i，j-1]+2·Z[i，j]-G[i，j+1]|/2 …式1’Ch0[i，j]＝|-G[i-1，j]+2·Z[i，j]-G[i+1，j]|/2 …式2’通过式1和式2(或式1’和式2’)算出的值可原样作为对缺失绿色分量的像素纵向的异色间类似度、对横向的异色间类似度，但是这里示出了这样的例子不仅对该像素，而且对位于该像素周边的像素也算出同样的值，在各自方向上加权相加(以下称为“周边相加”)各个值，算出对缺失绿色分量的像素纵向和横向最终的异色间类似度。
即，图像处理部分11根据式1和式2(或式1’和式2’)对位于坐标[i，j]、[i-1，j-1]、[i+1，j-1]、[i-1，j+1]、[i+1，j+1]、[i，j-2]、[i，j+2]、[i-2，j]、[i+2，j]的像素进行运算，对通过该运算得到的值进行相当于以下所示式3和式4的周边相加，算出对纵向的异色间类似度Cv[i，j]、对横向的异色间类似度Ch[i，j]。式3和式4是相当于图8(b)所示进行周边相加。另外，周边相加的方式不限于这里所示的例子。Cv[i，j]＝(4·Cv0[i，j]+2·(Cv0[i-1，j-1]+Cv0[i+1，j-1]+Cv0[i-1，j+1]+Cv0[i+1，j+1])
+Cv0[i，j-2]+Cv0[i，j+2]+Cv0[i-2，j]+Cv0[i+2，j])/16…式3Ch[i，j]＝(4·Ch0[i，j]+2·(Ch0[i-1，j-1]+Ch0[i+1，j-1]+Ch0[i-1，j+1]+Ch0[i+1，j+1])+Ch0[i，j-2]+Ch0[i，j+2]+Ch0[i-2，j]+Ch0[i+2，j])/16…式4其中，通过式3和式4算出的各个类似度表示值小的程度、类似性强的情况。
另外，如图2(a)所示，在坐标[i，j]中存在红色分量的颜色信息时，用图8(c)所示颜色分量的颜色信息算出式1至式4。
因此，在周边相加后得到的类似度中包含绿色分量的颜色信息和红色分量的颜色信息构成的类似度分量以及绿色分量的颜色信息和蓝色分量的颜色信息构成的类似度分量。即，通过周边相加，一边考虑多个颜色分量一边考虑和周边像素的连续性来计算类似度，因此类似度的精度高。
接着，图像处理部分11根据对纵向的异色间类似度Cv[i，j]、对横向的异色间类似度Ch[i，j]判定(图4 S2)对绿色分量缺失的像素纵向和横向的类似性(以下称为“纵横类似性”)。这样，作为判定结果，图像处理部分11将以下值设定为表示纵横类似性的指标HV[i，j]。
例如，对于任意阈值Th0，|Cv[i，j]-Ch[i，j]|≤Th0 …条件1成立时，图像处理部分11判定为“纵向和横向类似性强或弱“，将指标HV[i，j]设定为“0”。而条件1不成立，并且Cv[i，j]＜Ch[i，j]| …条件2成立时，图像处理部分11判定为“纵向类似性强”，将指标HV[i，j]设定为“1”。而且，条件1和条件2都不成立时，图像处理部分11判定为“横向类似性强”，将指标HV[i，j]设定为“-1”。
接着，图像处理部分11对于存在红色分量的颜色信息或蓝色分量的颜色信息的像素，根据纵横类似性的判定结果生成对应各个颜色分量的色差，并且，对于不存在红色分量的颜色信息或蓝色分量的颜色信息的像素，通过内插对应各个颜色分量的色差来生成颜色判定用图像(图4S3)。
例如，对于有红色分量的颜色信息的像素指标HV[i，j]，HV[i，j]＝1 …条件3成立时(纵向类似性强时)，图像处理部分11通过以下所示的式5计算该像素的色差Cr[i，j]。
Cr[i，j]＝(2·Z[i，j]+Z[i，j-2]+Z[i，j+2])/4-(G[i，j-1]+G[i，j+1])/2…式5而且，对于有共色分量的颜色信息的像素的指标HV[i，j]，条件3不成立，HV[i，j]＝-1 …条件4成立时(横向类似性强时)，图像处理部分11通过下式6计算该像素的色差Cr[i，j]。
Cr[i，j]＝(2·Z[i，j]+Z[i-2，j]+Z[i+2，j])/4-(G[i-1，j]+G[i+1，j])/2…式6而且，对于有红色分量的颜色信息的像素的指标HV[i，j]，条件3和条件4不成立时(纵向和横向类似性强或弱)，图像处理部分11通过下式7计算该像素的色差Cr[i，j]。
Cr[i，j]＝(4·Z[i，j]+Z[i，j-2]+Z[i，j+2]+Z[i-2，j]+Z[i+2，j])/8-(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4…式7另外，图像处理部分11对于有蓝色分量颜色信息的颜色信息的像素，和式5至式7一样，计算出色差Cb[i，j]。
而且，如以上说明的，图像处理部分11在计算有红色分量的颜色信息或蓝色分量的颜色信息的像素的色差过程中，对于不存在各个颜色分量的颜色信息的像素的色差，设定并初始化为“0”。
接着，图像处理部分11对于有红色分量的颜色信息或蓝色分量的颜色信息的像素内插对应各个颜色分量的色差(Cr[i，j]或Cb[i，j])。作为这种内插方法，通常使用将相邻像素的色差平均值作为内插值的方法，但这里为了降低由于图像的周期结构产生的波纹引起的伪色，示出了在计算内插值的同时，对全部像素进行低通滤波的方式。
例如，图像处理部分11运算如下所示的式8，算出对应红色分量的色差Cr[i，j]。另外，如图8(d)所示，式8相当于加权相加各个像素的色差Cr。Cr[i，j]＝(36Cr[i，j]+24·(Cr[i-1，j]+Cr[i+1，j]+Cr[i，j-1]+Cr[i，j+1])+16·(Cr[i-1，j-1]+Cr[i+1，j-1]+Cr[i-1，j+1]+Cr[i+1，j+1])+6·(Cr[i-2，j]+Cr[i+2，j]+Cr[i，j-2]+Cr[i，j+2])+4·(Cr[i-1，j-2]+Cr[i+1，j-2]+Cr[i-2，j-1]+Cr[i+2，j-1]+Cr[i-2，j+1]+Cr[i+2，j+1]+Cr[i-1，j+2]+Cr[i+1，j+2])+1·(Cr[i-2，j-2]+Cr[i+2，j-2]+Cr[i-2，j+2]+Cr[i+2，j+2]))/64…式8而且，图像处理部分11也用式8计算色差Cb[i，j]。
如上所述，“颜色判定用图像生成处理”结束时，图像处理部分11进行图5所示的“颜色判定处理”(图3S2)。
《颜色判定处理》这里，参考图5说明“颜色判定处理”。
首先，图像处理部分11用“颜色判定用图像生成处理”生成的颜色判定用图像如下算出同一像素中由色差构成的颜色指标(图5S1)。
即，图像处理部分11通过下式10计算颜色指标Cdiff0[i，j]。
Cdiff0[i，j]＝(|Cr[i，j]|+|Cb[i，j]|+|Cr[i，j]-Cb[i，j]|)/3…式10这样，第一实施例的颜色指标和日本专利第2931520号公报中公开的色阶不同，可看成是用同一像素的色调值导出的。
因此，在第一实施例的颜色指标中，排除了现有技术中反映为色阶的图像构造的因素，可实现更接近人视觉判断的颜色判定。而且，在第一实施例的颜色指标中，还考虑现有技术中没有的RB间色差，因此，消除了因RB间色差大而误判定为无彩色的危险性，颜色判定的可靠性高。
通过式10算出的Cdiff0[i，j]可原样作为位于坐标[i，j]的像素的颜色指标，但这里示出了进行周边相加、计算位于坐标[i，j]的像素的颜色指标Cdiff0[i，j]的例子。
即，图像处理部分11根据式10对位于坐标[i，j]、[i-2，j-2]、[i+2，j-2]、[i-2，j+2]、[i+2，j+2]、[i，j-4]、[i，j+4]、[i-4，j]、[i+4，j]的像素进行运算，对于通过运算得到的值进行相当于如下所示式11的周边相加，算出颜色指标Cdiff0[i，j]。
Cdiff[i，j]＝(8·Cdiff0[i，j]+Cdiff0[i-2，j-2]+Cdiff0[i+2，j-2]+Cdiff0[i-2，j+2]+Cdiff0[i+2，j+2]+Cdiff0[i，j-4]+Cdiff0[i，j+4]+Cdiff0[i-4，j]+Cdiff0[i+4，j])/16…式11另外，式11如图9(a)所示相当于进行周边相加，但Cdiff0的周边相加也可如图9(b)和图9(c)那样进行。
这样，通过周边相加计算颜色指标在生成颜色判定用图像的构成中具有可减小由于色差内插时产生的局部错误所带来的伪色影响的效果。
而且，也同时降低了跨越10个像素级这种长周期的颜色波纹的影响，因此，在远方像素间进行周边相加，抵消了彼此成补色关系的颜色波纹分量，从而使颜色指标的可靠性提高。
如上所述，当算出颜色指标Cdiff0时，图像处理部分11根据各个像素算出的颜色指标Cdiff进行颜色判定(图5 S2)。
另外，在第一实施例中，作为颜色判定的结果，示出了根据颜色指标的大小将各个像素分类为4组(完全无彩色部分，无彩色部分，淡彩色部分，彩色部分)中任何一个的处理。其中，在以下所示的条件10至条件12中，颜色指标Cdiff[i，j]的灰度等级用0～255表示时，阈值ThBWz、ThBWa、ThBWb的值分别为2、5、10～15等级的值。
对于颜色指标Cdiff[i，j]，对于Cdiff[i，j]≤ThBWz…条件10成立的像素，图像处理部分11判定为完全无彩色部分，将表示颜色判定结果的颜色分类指标BW[i，j]设定为“z”。而且，对于条件10不成立并且Cdiff[i，j]≤ThBWa…条件11成立的像素，图像处理部分11判定为无彩色部分，将颜色分类指标BW[i，j]设定为“a”。而且，对于条件10和条件11不成立并且Cdiff[i，j]≤ThBWb…条件12成立的像素，图像处理部分11判定为淡彩色部分，将颜色分类指标BW[i，j]设定为“b”。对于条件10至条件12全部不成立的像素，图像处理部分11判定为彩色部分，将颜色分类指标BW[i，j]设定为“c”。
图10是用于说明颜色指标的图，特别地，图10(a)表示颜色指标和颜色分类指标的关系。
如上所述，“颜色判定处理”结束时，图像处理部分11进行图6所示的“类似性判定处理”(图3 S3)。
《类似性判定处理》这里，参考图6，说明“类似性判定处理”。
在“类似性判定处理”中，用异色间类似度(由表示不同颜色分量的颜色信息构成的类似度)和同色间类似度(用表示相同颜色分量的颜色信息构成的类似度)判定缺失绿色分量的像素的类似性。另外，异色间类似度是在“颜色判定用图像生成处理”时算出的，同色间类似度是各个新的式子来定义的。异色间类似度忽略颜色分量来构成，同色间类似度考虑颜色分量来构成，因此，可根据颜色指标或颜色分类指标来区分两者。实验中，异色间类似度适于判定属于无彩色部分和完全无彩色部分的图像的纵横类似性，同色间类似度适于判定属于淡彩色部分和彩色部分的像素的纵横类似性。
因此，在第一实施例中，作为属于无彩色部分和完全无彩色部分的像素纵横类似性判定，示出了原样使用通过“颜色判定用图像生成处理”进行的纵横类似性判定结果的例子。
首先，图像处理部分11对缺失绿色分量的像素判定“颜色判定处理”的结果(图6S1)。
这样，缺失绿色分量的像素中，对于分类为淡彩色部分或彩色部分的像素(颜色分类指标设定为“b”或“c”的像素)，图像处理部分11算出对纵向和横向的同色间类似度(用1个以上的同一颜色分量的颜色信息构成的类似度分量来构成的类似度)作为“颜色判定结果”(图6S2)，用其同色间类似度重新判定纵横类似性(图6S3)。
即，对于分类为淡彩色部分或彩色部分的像素，图像处理部分11算出由以下所示式20至式23定义的值。
GG间类似度分量Cvs1[i，j]＝|G[i，j-1]-G[i，j+1]| …式20Chs1[i，j]＝|G[i-1，j]-G[i+1，j]| …式21BB(RR)间类似度分量Cvs2[i，j]＝(|Z[i-1，j-1]-Z[i-1，j+1]|+|Z[i+1，j-1]-Z[i+1，j+1]|)/2…式22Chs2[i，j]＝(|Z[i-1，j-1]-Z[i+1，j-1]|+|Z[i-1，j+1]-Z[i+1，j+1]|)/2…式23另外，如图2(a)那样，在坐标[i，j]上有红色分量的颜色信息时，用图11(a)所示颜色分量的颜色信息算出式20和式21，用图11(b)所示颜色分量的颜色信息算出式22和式23。
而且，Cvs2[i，j]和Chs2[i，j]可如下算出。
RR(BB)间类似度分量Cv2[i，j]＝(|Z[i，j-2]-Z[i，j]|+|Z[i，j+2]-Z[i，j]|)/2…式22’Ch2[i，j]＝(|Z[i-2，j]-Z[i，j]|+|Z[i+2，j]-Z[i，j]|)/2…式23’Cv2[i，j]＝|-Z[i，j-2]+2·Z[i，j]-Z[i，j+2]|/2…式22”Ch2[i，j]＝|-Z[i-2，j]+2·Z[i，j]-Z[i+2，j]|/2…式23”如图2(a)所示，在坐标[i，j]上有红色分量的颜色信息时，用图11(c)所示颜色分量的颜色信息算出式22’、式23’和式22”、式23”。
接着，图像处理部分11算出由以下所示式24和式25定义的值。即，图像处理部分11加权相加由式20和式22(或式22’，式22”)算出的值，并且，加权相加由式21和式23(或式23’，式23”)算出的值。
Cvs0[i，j]＝(Cvs1+Cvs2)/2…式24Chs0[i，j]＝(Chs1+Chs2)/2…式25另外，在式24和式25中，加权相加的比例为“1∶1”，但这种比例也可是任何比例。
由式20至式25算出的值可原样作为对“绿色分量缺失且分类为淡彩色部分或彩色部分的像素”纵向的同色间类似度、对横向的同色间类似度，但这里示出了这样的例子进行周边相加，算出对纵向的同色间类似度、对横向的同色间类似度。
即，图像处理部分11根据式20至式25对坐标[i，j]、[i-1，j-1]、[i+1，j-1]、[i-1，j+1]、[i+1，j+1]、[i，j-2]、[i，j+2]、[i-2，j]、[i+2，j]的像素进行运算，对于通过该运算得到的值，进行相当于以下所示的式26和式27的周边相加，算出对纵向的同色间类似度Cvs[i，j]、对横向的同色间类似度Chs[i，j]。式26和式27相当于如图11(d)所示那样进行周边相加的情况。另外，周边相加的方式不限于这里示出的例子。
Cvs[i，j]＝(4·Cvs0[i，j]+2·(Cvs0[i-1，j-1]+Cvs0[i+1，j-1]+Cvs0[i-1，j+1]+Cvs0[i+1，j+1])+Cvs0[i，j-2]+Cvs0[i，j+2]+Cvs0[i-2，j]+Cvs0[i+2，j])/16…式26Chs[i，j]＝(4·Chs0[i，j]+2·(Chs0[i-1，j-1]+Chs0[i+1，j-1]+Chs0[i-1，j+1]+Chs0[i+1，j+1])+Chs0[i，j-2]+Chs0[i，j+2]+Chs0[i-2，j]+Chs0[i+2，j])/16…式27
其中，由式26和式27算出的各个类似度表示值小的程度、类似性强的情况。
另外，如图2(a)那样，在坐标[i，j]上有红色分量的颜色信息时，用图11(e)和图11(f)所示颜色分量的颜色信息算出式26和式27。
因此，在周边相加后得到的类似度中包含仅绿色分量的颜色信息构成的类似度分量、仅蓝色分量的颜色信息构成的类似度分量和仅红色分量的颜色信息构成的类似度分量。即，通过周边相加，一边考虑多个颜色分量一边考虑和周边像素的连续性来计算类似度，因此类似度的精度高。
接着，图像处理部分11根据对纵向的异色间类似度Cvs[i，j]、对横向的异色间类似度Chs[i，j]重新判定“绿色分量缺失且分类为淡彩色部分或彩色部分的像素”的纵横类似性，再次设定表示纵横方向类似性的指标HV[i，j]。
例如，对于任意阈值Th0，|Cvs[i，j]-Chs[i，j]|≤Th0…条件20成立时，图像处理部分11判定为“纵向和横向类似性强或弱“，将指标HV[i，j]设定为“0”。而条件20不成立，并且Cvs[i，j]＜Chs[i，j] …条件21成立时，图像处理部分11判定为“纵向类似性强”，将指标HV[i，j]设定为“1”。而且，条件20和条件21都不成立时，图像处理部分11判定为“横向类似性强”，将指标HV[i，j]设定为“-1”。
在以上说明的处理结束的状态下，在对“绿色分量缺失且分类为淡彩色部分或彩色部分的像素”的指标HV[i，j]中设定对应同色间类似度的值，在对“绿色分量缺失且分类为无彩色部分或完全无彩色部分的像素”的指标HV[i，j]中设定对应异色间类似度的值。
即，如图10(b)所示，在计算指标HV[i，j]时使用的类似度根据颜色指标Cdiff[i，j]和颜色分类指标BW[i，j]的值，切换为异色间类似度或同色间类似度。
另外，在计算指标HV[i，j]时使用的类似度不限于异色间类似度或同色间类似度。例如，进行图12所示的“类似性判定处理”来代替图6所示的“类似性判定处理”，可用异色间类似度和同色间类似度加权相加得到的类似度判定纵横类似性。
图12中，在判定“颜色判定处理”的结果之前，计算对纵向·横向的同色间类似度(图12S1)。这样，对于作为“颜色判定处理”的结果而被分类为无彩色部分或完全无彩色部分的像素，提高了通过图4中步骤S1算出的异色间类似度的加权比例，加权相加异色间类似度和同色间类似度来算出类似度(图12S3)。另一方面，对于分类为淡彩色部分或彩色部分的像素，增大异色间类似度的加权比例并加权相加异色间类似度和同色间类似度来算出类似度(图12S4)。用这样算出的类似度判定纵横类似性(图12S5)。
但是，异色间类似度和同色间类似度的加权系数比为图12S3的“1∶0”、图12S4中的“0∶1”时，纵横类似性的判定结果和图6所示的“类似性判定处理”完全一致。
接着，图像处理部分11计算对缺失绿色分量的像素倾斜45度和倾斜135度的类似度(由异色间类似度和同色间类似度构成的类似度)(图6S4)。
RB(BR)间类似度分量
C45_1[i，j]＝(|Z[i+1，j-1]-Z[i，j]|+|Z[i-1，j+1]-Z[i，j]|)/2 …式30C135_1[i，j]＝(|Z[i-1，j-1]-Z[i，j]|+|Z[i+1，j+1]-Z[i，j]|)/2 …式31GG间类似度分量C45_2[i，j]＝(|G[i，j-1]-G[i-1，j]|+|G[i+1，j]-G[i，j+1]|)/2 …式32C135_2[i，j]＝(|G[i，j-1]-G[i+1，j]|+|G[i-1，j]-G[i，j+1]|)/2 …式33BB(RR)间类似度分量C45_3[i，j]＝|Z[i+1，j-1]-Z[i-1，j+1]| …式34C135_3[i，j]＝(|Z[i-1，j-1]-Z[i+1，j+1]| …式35另外，如图2(a)那样在坐标[i，j]上有红色分量的颜色信息时，用图13(a)所示的颜色分量的颜色信息算出式30和式31，用图13(b)所示颜色分量的颜色信息算出式32和式33，用图13(c)所示颜色分量的颜色信息算出式34和式35。
而且，C45_3[i，j]和C135_3[i，j]可如下计算。
RR(BB)间类似度分量C45_3[i，j]＝(|Z[i-2，j-2]-Z[i，j]|+|Z[i+2，j+2]-Z[i，j]|)/2 …式34’C135_3[i，j]＝(|Z[i-2，j-2]-Z[i，j]|+|Z[i+2，j+2]-Z[i，j]|)/2 …式35’C45_3[i，j]＝|-Z[i-2，j-2]+2·Z[i，j]-Z[i+2，j+2]|/2 …式34”C135_3[i，j]＝|-Z[i-2，j-2]+2·Z[i，j]-Z[i+2，j+2]|/2 …式35”如图2(a)那样在坐标[i，j]上有红色分量的颜色信息时，用图13(d)所示的颜色分量的颜色信息算出式34’、式35’和式34”、式35”。
接着，图像处理部分11算出由以下所示式36和式37定义的值。即，图像处理部分11加权相加通过式30、式32、式34(或式34’、式34”)算出的值，并且，加权相加通过式31、式33、式35(或式35’、式35”)算出的值。
C45_0[i，j]＝(B1·C45_1+B2·C45_2+B3·C45_3)/(B1+B2+B3) …式36C135_0[i，j]＝(B1·C135_1+B2·C135_2+B3·C135_3)/(B1+B2+B3) …式37另外，在式36和式37中，加权相加的比例例如可为“B1∶B2∶B3＝2∶2∶1”的等级。
通过式30至式37算出的值可原样作为缺失绿色分量的像素倾斜45度的类似度和倾斜135度的类似度，但这里示出了进行周边相加算出倾斜45度的类似度和倾斜135度的类似度。
即，图像处理部分11根据式30至式37对位于坐标[i，j]、[i-1，j-1]、[i+1，j-1]、[i-1，j+1]、[i+1，j+1]、[i，j-2]、[i，j+2]、[i-2，j]、[i+2，j]的像素进行运算，对通过该运算得到的值进行相当于以下所示式38和式39的周边相加，算出对倾斜45的类似度C45[i，j]、对倾斜1 35度的类似度C135[i，j]。式38和式39相当于如图13(e)所示进行周边相加。另外，周边相加的方式不限于这里所示的例子。
C45[i，j]＝(4·C45_0[i，j]+2·(C45_0[i-1，j-1]+C45_0[i+1，j-1]+C45_0[i-1，j+1]+C45_0[i+1，j+1])+C45_0[i，j-2]+C45_0[i，j+2]+C45_0[i-2，j]+C45_0[i+2，j])/16 …式38C135[i，j]＝(4·C135_0[i，j]+2·(C135_0[i-1，j-1]+C135_0[i+1，j-1]+C135_0[i-1，j+1]+C135_0[i+1，j+1])+C135_0[i，j-2]+C135_0[i，j+2]+C135_0[i-2，j]+C135_0[i+2，j])/16 …式39其中，通过式38和式39算出的各个类似度表示值小的程度、类似性强的情况。
另外，如图2(a)那样在坐标[i，j]上有红色分量的颜色信息时，用图13(f)和图13(g)所示颜色分量的颜色信息算出式38和式39。
因此，在周边相加后得到的类似度中包含绿色分量的颜色信息和红色分量的颜色信息构成的类似度分量、仅绿色分量的颜色信息构成的类似度分量、仅蓝色分量的颜色信息构成的类似度分量和仅红色分量的颜色信息构成的类似度分量。即，根据周边相加，一边考虑多个颜色分量一边考虑和周边像素的连续性来计算类似度，因此类似度的精度高。
接着，图像处理部分11根据对倾斜45度的类似度C45[i，j]、对倾斜135度的类似度C135[i，j]判定(图6 S5)对绿色分量缺失的像素倾斜方向的类似性(以下称为“倾斜类似性”)。这样，作为判定结果，图像处理部分11将以下值设定为表示倾斜方向类似性的指标[i，j]。
例如，对于任意阈值Th2，|C45[i，j]-C135[i，j]|≤Th2 …条件30成立时，图像处理部分11判定为“倾斜45度方向和倾斜135度方向类似性强或弱”，将指标DN[i，j]设定为“0”。而条件30不成立，并且C45[i，j]＜C135[i，j] …条件31成立时，图像处理部分11判定为“倾斜45度方向类似性强”，将指标DN[i，j]设定为“1”。而且，条件30和条件31都不成立时，图像处理部分11判定为“倾斜135度方向类似性强”，将指标DN[i，j]设定为“-1”。
另外，在第一实施例中，展示了加权相加异色间类似度和同色间类似度来判定倾斜类似性的例子，倾斜类似性的判定和纵横类似性的判定一样，可通过切换异色间类似度和同色间类似度来进行。
以上说明的“类似性判定处理”结束时，图像处理部分11进行图7所示的“内插值计算处理”(图3S4)。
《内插值计算处理》这里，参考图7说明“内插值计算处理”。
首先，图像处理部分11根据纵横类似性和倾斜类似性计算G内插值(绿色分量的内插值)(图7S1)。即，图像处理部分11根据上述设定的表示纵横类似性的指标HV[i，j]和表示倾斜类似性的指标DN[i，j]计算G内插值。
另外，G内插值的计算可和现有技术相同，在计算G内插值时，色差不能假定为一定时和存在颜色像差时，绿色分量的平均项由于其他颜色分量(和内插对象像素相同的颜色分量)的项而出现被过度校正的现象(以下称为“过校正”)。因此，在第一实施例中，展示了抑制这种过校正的同时计算G内插值的例子。
首先，图像处理部分11判定表示纵横类似性的指标HV[i，j]和表示倾斜类似性的指标DN[i，j]为何值，将内插对象像素的类似性强度分为如下所示的情况1～情况9。
情况1(HV[i，j]，DN[i，j]＝(1，1)纵向和倾斜45度方向的类似性强。
情况2(HV[i，j]，DN[i，j]＝(1，0)纵向类似性强。
情况3(HV[i，j]，DN[i，j]＝(1，-1)纵向和倾斜135度方向的类似性强。
情况4(HV[i，j]，DN[i，j]＝(0，1)倾斜45度方向的类似性强。
情况5(HV[i，j]，DN[i，j]＝(0，0)所有方向的类似性强，或者所有方向的类似性弱(类似性的强度方向不明)。
情况6(HV[i，j]，DN[i，j]＝(0，-1)倾斜135度方向的类似性强。
情况7(HV[i，j]，DN[i，j]＝(-1，1)横向和倾斜45度方向的类似性强。
情况8(HV[i，j]，DN[i，j]＝(-1，0)横向的类似性强。
情况9(HV[i，j]，DN[i，j]＝(-1，-1)横向和倾斜135度方向的类似性强。
图14示出了对应(HV[i，j]，DN[i，j])的类似性强度方向图。
接着，图像处理部分11根据上述判定结果如下计算G内插值G[i，j]。
情况1时G[i，j]＝Gv45…式40情况2时G[i，j]＝Gv…式41情况3时G[i，j]＝Gv135…式42情况4时G[i，j]＝(Gv45+Gh45)/2…式43情况5时G[i，j]＝(Gv+Gh)/2…式44情况6时G[i，j]＝(Gv135+Gh135)/2…式45情况7时G[i，j]＝Gh45…式46情况8时G[i，j]＝Gh…式47情况9时G[i，j]＝Gh135…式48其中，Gv＝(G[i，j-1]+G[i，j+1])/2+(2·Z[i，i]-Z[i，j-2]-Z[i，j+2])/8+(2·G[i-1，j]-G[i-1，j-2]-G[i-1，j+2]+2·G[i+1，j]-G[i+1，j-2]-G[i+1，j+2])/16 …式50
Gv45＝(G[i，j-1]+G[i，j+1])/2+(2·Z[i，j]-Z[i，j-2]-Z[i，j+2])/8+(2·Z[i-1，j+1]-Z[i-1，j-1]-Z[i-1，j+3]+2·Z[i+1，j-1]-Z[i+1，j-3]-Z[i+1，j+1])/16 …式51Gv135＝(G[i，j-1]+G[i，j+1])/2+(2·Z[i，j]-Z[i，j-2]-Z[i，j+2])/8+(2·Z[i-1，j-1]-Z[i-1，j-3]-Z[i-1，j+1]+2·Z[i+1，j+1]-Z[i+1，j-1]-Z[i+1，j+3])/16 …式52Gh＝(G[i-1，j]+G[i+1，j])/2+(2·Z[i，j]-Z[i-2，j]-Z[i+2，j])/8+(2·G[i，j-1]-G[i-2，j-1]-G[i+2，j-1]+2·G[i，j+1]-G[i-2，j+1]-G[i+2，j+1])/16 …式53Gh45＝(G[i-1，j]+G[i+1，j])/2+(2·Z[i，j]-Z[i-2，j]-Z[i+2，j])/8+(2·Z[i+1，j-1]-Z[i-1，j-1]-Z[i+3，j-1]+2·Z[i-1，j+1]-Z[i-3，j+1]-Z[i+1，j+1])/16 …式54Gh135＝(G[i-1，j]+G[i+1，j])/2+(2·Z[i，j]-Z[i-2，j]-Z[i+2，j])/8+(2·Z[i-1，j-1]-Z[i-3，j-1]-Z[i+1，j-1]+2·Z[i+1，j+1]-Z[i-1，j+1]-Z[i+3，j+1])/16 …式55另外，式50～式55所示的运算意味着通过2次微分构成的校正项(相当于各个式的第2项、第3项)校正绿色分量的平均值(相当于各个式的第1项)。
如上所述计算G内插值时，图像处理部分11算出R内插值(红色分量的内插值)和B内插值(蓝色分量的内插值)。
首先，图像处理部分11对于存在红色分量的颜色信息或蓝色分量的颜色信息的像素，根据纵横类似性的判定结果生成对应各个颜色分量的色差，并且，对于不存在红色分量的颜色信息或蓝色分量的颜色信息的像素，内插对应各个颜色分量的色差(图7S2)。
另外，和“颜色判定用图像生成处理”一样，图像处理部分11减少了由于图像的周期构造产生的颜色波纹所引起的伪色，因此，在算出色差内插值的同时，可一起对像素的色差进行低通滤波处理。
对于这种色差的生成和内插，和图4S3的颜色判定用图像生成(式5～式8)一样进行，因此，这里详细说明从略。其中，在生成颜色判定用图像时，用根据异色间类似度设定的指标HV[i，j]生成色差，但是，这里通过“颜色判定处理”分类为淡彩色部分和彩色部分的像素色差根据同色间类似度用再次设定的指标HV[i，j]生成。
而且，通过将这里生成或内插的色差存储在存储颜色判定用图像的存储区域中，可削减内插处理的过程中利用的存储区域。但是，在如此削减存储区域时，作为“内插值计算处理”的前期处理，需要对存储颜色判定用图像的存储区域进行初始化。
接着，图像处理部分11用色差和绿色分量的颜色信息(包含G内插值)运算以下所示的式60和式61并计算R内插值和B内插值(图7S3)。原样利用一开始就存在的红色分量的颜色信息或蓝色分量的颜色信息时，对缺失红色分量的颜色信息和蓝色分量的颜色信息的像素最好进行式60和式61的运算，在第一实施例中，为了减小由于图像的周期构造产生的颜色波纹所引起的伪色而校正色差信号，因此，需要对所有像素运算式60和式61。
R[i，j]＝Cr[i，j]+G[i，j] …式60B[i，j]＝Cb[i，j]+G[i，j] …式61如上所述，在第一实施例中，可算出可靠性高的颜色指标，通过在类似性判定时使用该颜色指标，可实现现有技术难以实现的“复原细微构造与抑制伪构造和伪色等瑕疵相容的内插处理”。
另外，在第一实施例中，生成不同于RGB表色系的表色系的颜色分量(Cr分量，Cb分量)构成的图像作为颜色判定图像，颜色判定用图像也可由现有的内插处理和通过式60、式61算出的R、G、B等3个颜色分量构成的图像。其中，将R、G、B等3个颜色分量构成的图像作为颜色判定用图像时，需要运算以下所示的式10’来代替运算式10。
Cdiff0[i，j]＝(|R[i，j]-G[i，j]|+|B[i，j]-G[i，j]|+|R[i，j]-B[i，j]|)/3…式10’即，式10’中，通过计算|R[i，j]-G[i，j]|和|B[i，j]-G[i，j]|以及|R[i，j]-B[i，j]|，用同一像素中不同的颜色分量间的色调导出颜色指标。
第二实施例以下说明第二实施例。
其中，在第二实施例和第一实施例中，图像处理部分11进行的“内插值计算处理”是不同的，但其他处理是相同的，以下，仅说明“内插值计算处理”，省略其他处理的说明。其中，这里使用的“内插值计算处理”也包含算出内插值后的滤波等图像处理。
图15是第二实施例中图像处理部分11的操作流程图，尤其示出了“内插值计算处理”。
因此，即使第一实施例还进行其他什么样的内插处理，也必然产生摄影元件中滤波器排列的采样引起的伪色。通常，作为减少这种伪色的对策，执行对将色差、图像数据变换为Lab表色系得到的a、b面等的色调进行5×5等级的广域中值滤波的方法。但是，若对图像整个面进行广域的中值滤波，则同时会产生破坏彩色部分细微的颜色构造的不良影响。
因此，在第二实施例的“内插值计算处理”中，仅在需要的时候才进行适当的广域中值滤波处理。
这里，首先，说明“无彩色部分中值”和“亮点周边中值”。
《无彩色部分中值》通常，对色调进行中值滤波相当于通过用中间值替换接近且目前彼此成补色关系的伪色的色调来进行无彩色化，可减少伪色。因此，即使对在接近无彩色的区域中产生的伪色进行无彩色化，也不会产生任何不良的影响。
例如，虽然去除伪色，可是作为有效的对色调的中值滤波，考虑5×5等级的广域中值滤波，但实验判明，这种广域中值滤波在通过第一实施例的“颜色判定处理”将颜色分类指标BW设定为“c”的区域(彩色部分)中产生不良影响。因此，根据颜色指标在接近无彩色的区域中适当地进行中值滤波的方法是很好的。
以下，在彩色部分以外的区域中，对色调进行广域中值滤波称为“无彩色部分中值”。
《亮点周边中值》通常变成问题的伪色中，作为仅在上述“无彩色部分中值”处不能被除去的伪色，在亮的孤立的白点周边部分(以下称为亮点周边部分)等中有残留的伪色。这种伪色的减少也可通过对色调的广域中值滤波来进行。
因此，在第二实施例中，展示了不仅在上述彩色部分以外的区域而且在亮点周边部分中也对色调进行广域中值滤波处理。亮点周边部分的检测用亮度指标进行，所谓“无彩色部分中值”的颜色指标指单独以亮点为指标的亮度指标。
另外，以下，在亮点周边部分中，将对色调进行广域中值滤波称为“亮点周边中值”。其中，在检测亮点周边部分时，利用亮点周边部分具有以下特点的情况。
·在周边还存在亮度值高的点是1个像素。
·和其他部分相比，亮度随图像构造的变化非常大。
《内插值计算处理》以下，参考图15，说明第二实施例的“内插值计算处理”的操作。
首先，和第一实施例的图7S1一样，图像处理部分11根据纵横类似性和倾斜类似性计算G内插值(图15S1)。
而且，和第一实施例的图7S2一样，图像处理部分11对于有红色分量的颜色信息或蓝色分量的颜色信息的像素，根据纵横类似性的判定结果生成对应各个颜色分量的色差，并且，对于没有红色分量的颜色信息或蓝色分量的颜色信息，内插对应各个颜色分量的色差(图15S2)。但是，在第一实施例中，对色差进行低通处理。
接着，图像处理部分11用色差和绿色分量的颜色信息计算亮度值(图15S3)。
例如，图像处理部分11运算以下所示的式70，算出亮度值Y[i，j]。
Y[i，j]＝(Cr[i，j]|+4·G[i，j]+Cb[i，j])/4 …式70另外，式70相当于以R∶G∶B＝1∶2∶1这种比算出亮度值。
接着，为了削减亮点周边部分的检测处理，图像处理部分11仅对附加的中值滤波处理通过必要的“颜色判定处理”分类为彩色部分的像素(颜色分类指标BW设定为“c”的像素)用亮度值算出“亮度指标”，根据该“亮度指标”进行亮度解析(图15S4)。
另外，展示了这样的例子用位于各像素的局部区域内的多个像素亮度值的最大值max和该多个像素亮度值的局部分散值var作为亮度指标，将亮度解析结果设定为颜色分类指标BW[i，j]。
首先，对于以下所示条件40成立的像素，图像处理部分11进行以下所示式71至式73的运算，算出亮度指标max、var。
max＝Max_of{Y[i，j]，Y[i，j-1]，Y[i，j+1]，Y[i-1，j]，Y[i+1，j]，Y[i-1，j-1]，Y[i+1，j-1]，Y[i-1，j+1]，Y[i+1，j+1]} …式71其中，Max_of{ }表示计算多个亮度值的最大值的函数。
ave＝(Y[i，j]+Y[i，j-1]+Y[i，j+1]+Y[i-1，j]+Y[i+1，j]+Y[i-1，j-1]+Y[i+1，j-1]+Y[i-1，j+1]+Y[i+1，j+1])/9 …式72var＝((Y[i，j-1]-ave)2+(Y[i，j+1]-ave)2+(Y[i-1，j]-ave)2+(Y[i+1，j]-ave)2+(Y[i-1，j-1]-ave)2+(Y[i+1，j-1]-ave)2+(Y[i-1，j+1]-ave)2+(Y[i+1，j+1]-ave)2)/9 …式73接着，对亮度指标max、var，对于max＞ThLmax和var＞ThLdev2…条件41成立的像素，图像处理部分11判断为亮点周边部分，将颜色分类指标BW[i，j]设定为“m”。但是，在条件41中，亮度指标的灰度等级用0～255表示时，阈值ThLmax的值例如希望是220左右的值，阈值ThLmaxThLdev2的值例如希望是452左右的值。
另外，对于条件41不成立的像素(亮点周边部分以外的像素)的颜色分类指标BW[i，j]，是原来设定的“c”，不进行再次设定。
图16示出了颜色指标和亮度指标的关系。
接着，图像处理部分11判定“颜色判定处理”的结果(图15S5)，对于通过“颜色判定处理”的结果分类为彩色部分的像素，判定亮度解析的结果(图15S6)。
这样，图像处理部分11是这样的对于作为“颜色判定处理”的结果而被分类为完全无彩色部分、无彩色部分、淡彩色部分的像素(将“z”、“a”、“b”设定为颜色分类指标BW的像素)，作为“无彩色部分中值”，对色差进行广域的中值滤波处理，同时，对于亮度解析的结果，对于分类为亮点周边部分的像素(将“m”设定为颜色分类指标BW的像素)，作为“亮点周边中值”，对色差进行广域中值滤波的处理(图15S7)。
例如，对于以下所示条件42成立的像素，图像处理部分11进行以下所示式74和式75的运算并再次算出色差Cr[i，j]、Cb[i，j]，从而实现对色差进行广域中值滤波的处理。
BW[i，j]≠‘c’ …条件42Cr[i，j]＝Median_of{Cr[i，j]，Cr[i，j-2]，Cr[i，j+2]，Cr[i-2，j]，Cr[i+2，j]，Cr[i-2，j-2]，Cr[i+2，j-2]，Cr[i-2，j+2]，Cr[i+2，j+2]} …式74Cb[i，j]＝Median_of{Cb[i，j]，Cb[i，j-2]，Cb [i，j+2]，Cb[i-2，j]，Cb[i+2，j]，Cb[i-2，j-2]，Cb[i+2，j-2]，Cb[i-2，j+2]，Cb[i+2，j+2]} …式75其中，Median_of{ }表示计算多个要素的中值的函数，左边的Cr是通过一次缓冲右边的运算结果而再次代入Cr面的值。
另外，式74和式75相当于在图17(a)所示范围内进行中值滤波，但为了高速化，对色差进行广域中值滤波的处理可通过在图17(b)所示范围内进行中值滤波来实现。
接着，和第一实施例的图7S3一样，图像处理部分11计算R内插值和B内插值(图15S8)。
因此，根据第二实施例，用适当的广域中值滤波获得的色差算出R内插值和B内插值，从而避免了破坏彩色部分细微的颜色构造，并且可通过内插处理减少伪色的产生。
另外，在第二实施例中，对于通过亮度解析分类为亮点周边部分以外的像素的色差，在不进行广域中值滤波而算出R内插值和B内插值时使用，但如图18S8那样，由于进行狭域中值滤波处理，因此在计算R内插值和B内插值时也可使用。即，进行图18所示“内插值计算处理”来代替图15所示的内插值计算处理可实现内插处理。
例如，对于以下所示条件43成立的像素，对分类为亮点周边部分以外的像素的色差进行狭域中值滤波的处理可通过进行以下所示式76和式77的运算再次算出色差Cr[i，j]、Cb[i，j]来实现。
BW[i，j]＝‘c’ …条件43Cr[i，j]＝Median_of{Cr[i，j]，Cr[i，j-1]，Cr[i，j+1]，Cr[i-1，j]，Cr[i+1，j]，Cr[i-1，j-1]，Cr[i+1，j-1]，Cr[i-1，j+1]，Cr[i+1，j+1]} …式76Cb[i，j]＝Median_of{Cb[i，j]，Cb[i，j-1]，Cb[i，j+1]，Cb[i-1，j]，Cb[i+1，j]，Cb[i-1，j-1]，Cb[i+1，j-1]，Cb[i-1，j+1]，Cb[i+1，j+1]} …式77另外，式76和式77相当于图17(c)所示范围内进行中值滤波，但为了高速化，对色差进行狭域中值滤波的处理可通过在图17(d)所示范围内进行中值滤波来实现。
其中，在包含图15所示“内插值计算处理”的内插处理中色彩部分的伪色醒目时，进行图18所示的包含“内插值计算处理”的内插处理是有效的。
在第二实施例中，根据颜色判定和亮度解析的结果，对色差进行适当的中值滤波，但这种进行中值滤波的处理是根据由单板式摄影元件得到的数据，因此即使对于用现有内插技术来完成图像复原处理的图像也同样可作为事后的校正处理来使用。但是，在这种事后校正处理中，用图像复原处理完成后的图像的颜色信息生成颜色判定用图像，从该颜色判定用图像导出颜色指标。这里，对于通过图像复原处理从由二板式摄影元件生成的数据得到的图像和通过图像复原处理从Y∶Cb∶Cr为4∶1∶1的数据得到的图像等，用作完成了图像复原处理的图像也是有效的。
第三实施例以下说明第三实施例。
其中，在第三实施例和第一实施例及第二实施例中，图像处理部分11进行的“颜色判定处理”是不同的，但其他处理是相同的，因此，这里，仅说明“颜色判定处理”，其他处理的说明从略。
图19是第三实施例中图像处理部分11的操作流程图，尤其示出了“颜色判定处理”。
因此，在第一实施例的“颜色判定处理”中，用在“颜色判定用图像生成处理”时生成的颜色判定用图像算出颜色指标，根据该颜色指标进行判定，但由于在颜色判定用图像中产生的伪色，无彩色部分还可能被误判定为彩色部分。例如，本来被分类为无彩色部分且应通过异色间类似度进行纵横类似性判定的像素由于产生颜色波纹等伪色而误分类为彩色部分，成了通过同色间类似度进行纵横类似性判定的部分。
因此，在第三实施例的“颜色判定处理”中，为了提高类似性判定精度，对“颜色判定用图像”也用第二实施例所展示的方法，进行2次颜色判定处理。
《颜色判定处理》
以下，参考图19，说明第三实施例的“颜色判定处理”的操作。
首先，和第一实施例的图5S1一样，图像处理部分11用通过“颜色判定用图像生成处理”生成的颜色判定用图像计算颜色指标Cdiff(图19S1)。
和第一实施例的图5S2一样，图像处理部分11根据用各个像素算出的颜色指标Cdiff[i，j]进行第一次颜色判定(图19S2)，设定颜色分类指标BW[i，j]。
接着，图像处理部分11为了计算亮度值而计算G内插值，用其G内插值和原来的绿色分量的颜色信息构成的G面图像和颜色判定用图像(Cr、Cb面图像)算出亮度值(图19S3)。
例如，对于缺失绿色分量的像素，图像处理部分11算出相邻像素的绿色分量的颜色信息的平均值作为G内插值。另外，也可和现有技术一样计算G内插值。而且，亮度值(Y[i，j])和第二实施例的式70一样来计算。
接着，对于通过第一次颜色判定被分类为彩色部分的像素(将“c”设定为颜色分类指标BW的像素)，和第二实施例的图15S4一样，图像处理部分11用亮度值算出亮度指标，根据该亮度指标进行亮度解析(图19S4)。
接着，图像处理部分11根据上述颜色指标Cdiff进行颜色判定(图19S5)，对于根据该颜色判定结果被分类为彩色部分的像素，判定亮度解析的结果(图19S6)。
这样，对于作为颜色判定结果而被分类为完全无彩色部分、无彩色部分、淡彩色部分的像素(将“z”、“a”、“b”设定为颜色分类指标的像素)和对于作为亮度解析结果而被分类为亮点周边部分的像素(将“m”设定为颜色分类指标BW的像素)，和第二实施例的式74、式75一样，图像处理部分11对构成颜色判定用图像的色差进行广域中值滤波处理(图19S7)。
接着，和第一实施例的图5S1一样，图像处理部分11再次计算颜色指标Cdiff(图19S8)。
而且，和第一实施例的图5S2一样，图像处理部分11根据再次算出的颜色指标Cdiff进行第二次颜色判定(图19S9)，再次设定颜色分类指标BW。
即，在第三实施例中，用适当进行中值滤波的颜色判定用图像再次计算颜色指标Cdiff，进行第二次颜色判定。因此，例如，由于在颜色判定用图像中产生的伪色，在第一次的颜色判定中，即使有误分类为彩色部分的像素，通过第二次的颜色判定也能分类成无彩色部分。
因此，根据第三实施例，在“类似性判定处理”中，可抑制用同色间类似度来再次判定应被分类为无彩色部分的像素的纵横类似性的错误和未用同色间类似度再次判定应被分类为彩色部分的像素的纵横类似性的错误，可提高内插处理的类似性判定精度，减少伪色的产生。
另外，在第三实施例中，通过亮度解析被分类为亮点周边部分以外的像素的色差不进行广域滤波地用于颜色判定用图像，但如图20S8那样，由于进行狭域中值滤波，因此可作为颜色判定用图像。即，进行图20所示的“颜色判定处理”来代替图19所示的颜色判定处理可实现内插处理。例如，对于上述条件43成立的像素，对分类为亮点周边部分以外的像素的色差进行的狭域中值滤波处理可通过进行式76和式77的运算再次计算色差Cr[i，j]、Cb[i，j]来实现。
在第三实施例中，通过亮度解析附加地抽出亮点周边中值像素，但优先高速化的情况下，仅无彩色部分中值就行，这时，不需要计算亮度值(图19S3)和亮度解析(图19S4，S6)，可简化“颜色判定处理”。
第四实施例以下说明第四实施例，第四实施例和上述各实施例的不同点在于图像处理部分11进行的“内插值计算处理”中有计算G内插值的处理(图7S1，图15S1)，其他的处理是相同的。因此，在第四实施例中，省略了图示，仅说明图像处理部分11进行的“计算G内插值的处理”。
因此，在现有技术中，有格子花纹这种奈奎斯特频率级的细微构造不能被反映为内插值这样的问题。这种细微构造的复原可通过将内插值替换为原来的颜色信息来实现。但是，这种替换仅在表示奈奎斯特频率级的细微构造的区域中是有效的，但若乱用，则可以想像会带来多大的危险(例如，图像破裂等)。
因此，在第四实施例中，展示了原来的颜色信息替换为内插值仅适用于必要区域的处理。但是，用原来存在于该像素中的颜色信息完全替换内插对象像素的内插值时，奈奎斯特频率级的细微构造过于醒目，因此，在第四实施例中，为了保持和周围构造的平滑，将上述各实施例算出的内插值和原来的颜色信息的平均值作为内插对象像素的内插值。以下，将这种完全替换或仅一定比例替换地计算内插值的情况统称为“替换内插”。
这里，说明应适用“替换内插”的区域。
首先，作为容许“替换内插”的区域，例如完全为无彩色的区域，但实验证明，通过第一实施例和第三实施例的“颜色判定处理”将“z”设定为颜色分类指标BW的区域(完全无彩色部分)对应于这种区域。另外，色差的灰度等级用0～255表示时，属于将“z”设定为颜色分类指标BW的区域的像素的色差严格限制在2个以下，因此，仅在表示对最大灰度等级数不满1％的色差的区域容许“替换内插”。
但是，在上述各实施例中，完全无彩色部分的纵横类似性的判定用异色间类似度来进行，通过这种判定来指定类似性强度方向的区域构造是比奈奎斯特频率长的周期的细微构造的可能性高，考虑将这种细微构造的凹凸信息通过式50～式55的校正项反映给内插值。
即，需要“替换内插”的区域限于完全彩色部分中类似性强度不明的区域(通过“类似性判定处理”分类为情况5的像素)。
《计算G内插值的处理》以下，说明第四实施例的“计算G内插值的处理”。
首先，“颜色判定处理”(图5S1，S2，图19S1～S11)和“类似性判定处理”(图6S1～S5)结束时，图像处理部分11判定表示纵横类似性的指标HV[i，j]和表示倾斜类似性的指标DN[i，j]是什么值，和第一实施例一样将内插对象像素的类似性的强度分类为情况1～情况9中的一个。
这样，对于分类为情况1～情况4，情况6～情况9的内插对象像素，图像处理部分11如第一实施例的式40～式43、式45～式48那样计算内插值G[i，j]。
另一方面，对于分类为情况5的内插对象像素，图像处理部分11根据颜色判定结果进行是否被分类为完全无彩色部分的判定(相当于判定是否将“z”设定为颜色分类指标BW)。
这样，对于“分类为情况5且分类为完全无彩色部分的像素”，图像处理部分11如以下所示式80那样计算G内插值G[i，j]，由此适用“替换内插”。对于“分类为情况5且未被分类未完全无彩色部分的像素”，图像处理部分11用第一实施例的式44计算G内插值G[i，j]。
G[i，j]＝(Z[i，j]+(Gv+Gh))/2 …式80其中，Gv、Gh是通过式50、式53算出的值。
如上所述，在第四实施例中，通过进行适当的“替换内插”可复原奈奎斯特频率级的细微构造。
另外，在第四实施例中，将通过上述各实施例算出的内插值和原来颜色信息的平均作为内插对象像素的内插值，但内插处理结束后，对绿色分量和亮度分量进行低通滤波时，进行平均化操作，因此，可用原来存在的颜色信息完全替换内插对象像素的内插值。
第五实施例以下说明第五实施例的操作。
其中，在PC18中预装记录在CD-ROM28等记录媒体上的图像处理程序(和上述任一实施例的图像处理部分11一样执行内插处理的图像处理程序)。即，在PC18内未示出的硬盘中以可通过未示出的CPU执行的状态存储这种图像处理程序。
以下参考图1说明第五实施例的操作。
首先，电子照相机1由操作者通过操作部分24选择摄影模式并按压释放按钮时，由摄像元件21生成并经模拟信号处理部分22实施预定的模拟信号处理的图像信号通过A/D变换部分10数字化，作为图像数据提供给图像处理部分11。对于这样提供的图像数据，图像处理部分11进行灰度等级变换和γ校正等图像处理。图像处理完成后的图像数据通过存储卡用接口部分17记录在存储卡16中。
接着，电子照相机1在由操作者通过操作部分24选择PC通信模式的状态下，指示经外部接口部分19传送来自PC18的图像数据时，通过存储卡用接口部分17从存储卡16中读出对应该指示的图像数据。这样，读出的图像数据经外部接口部分19提供给PC18。
PC18内未示出的CPU如此提供图像数据时，执行上述图像处理程序。另外，通过执行图像处理程序进行内插处理的图像数据可根据需要进行压缩处理并记录在未示出的硬盘中，或者变换成监视器26和打印机27所采用的表色系分别提供。
如上所述，在第五实施例中，可通过PC18进行和上述任一实施例相同的内插处理。
另外，PC18内未示出的CPU安装记录上述图像数据的存储卡16时，可从存储卡16中读出图像数据，执行上述图像处理程序。
这种图像处理程序可通过因特网访问预定的主页而下载到PC18中。
而且，这种图像处理程序也可不通过PC18而通过经因特网连接的异地服务器来执行。即，PC18通过因特网将电子照相机1提供的图像数据仅传送给可执行上述图像处理程序的服务器，从而可对该图像数据进行和上述任一实施例相同的内插处理。
而且，在上述各实施例中，说明了对RGB表色系表示的、在各个像素中有R、G、B任一颜色分量的颜色信息的图像的内插处理，但同样的内插处理也同样适用于用其他表色系表示的图像。
而且，在上述各实施例中，展示了对如图2所示排列颜色分量的图像数据进行内插处理的例子，但本发明可适用的图像数据不限于图2所示的排列。
因此，在上述各实施例中，对图像复原处理中的内插处理进行了说明，最终使R、G、B等3个颜色分量的颜色信息与全部像素成对应关系，但本发明不限于内插处理，对使不同于RGB表色系的表色系的颜色分量与全部像素成对应关系的图像复原处理也同样适用。
例如，在后述的第八实施例中，使Y、Cb、Cr等3个颜色分量的颜色信息与全部像素成对应关系。因此，在这种状态下，对于使不同于RGB表色系(图像复原处理对象的图像所表示的表色系)的表色系(这里，相当于YCbCr表色系)的颜色分量与全部像素成对应关系的图像复原处理，适用本发明。
即，上述各实施例的“类似性判定处理”不仅适用于内插RGB表色系的图像复原处理，而且适用于新生成构成其他表色系的颜色分量的图像复原处理。
对于相当于第四实施例的“替换内插”的处理，不仅适用于内插RGB表色系的图像复原处理，还适用于新生成构成其他表色系的颜色分量的图像复原处理。
例如，对于R、G、B等3个颜色分量进行拜耳排列而形成的图像，给各个像素对应实施Y、Cb、Cr分量的图像复原处理时，原来红色分量的颜色信息存在的像素的Y分量用周边的绿色分量、蓝色分量以“(R+2·G+B)/4”算出的情况下，适用相当于“替换内插”的处理，相当于用“(2·R+G+B)/4”算出Y分量。即，G分量的一半被替换为红色分量的颜色信息。
以上说明的实施例的电子照相机具有下面的效果。
通过切换复原值的生成方法，实现细微构造的复原和抑制伪构造与伪色等瑕疵，进行保持整个图像和谐的图像复原处理。
通过提高同一像素间色调值的精度，提高颜色指标的导出精度，通过图像复原处理可进一步减少伪色的产生。
根据颜色指标适当地判定类似性，可生成复原值，因此，进一步提高了伪构造和伪色等瑕疵的抑制效果。
可用原来的颜色信息适当地替换复原值，因此，细微构造的复原精度得以提高。
在图像复原处理中提高了类似度的计算精度。
在图像复原处理中通过适当地进行校正，避免了细微颜色构造的破坏，减少了伪色的产生，实现了保持整个图像和谐的图像复原处理。
提高了颜色指标的计算精度。
在图像复原处理中，可适当地进行校正的同时，能抑制由于过度校正引起的不良影响。
在图像复原处理中可适当地进行校正。
提高了亮度指标的计算精度。
第六实施例(电子照相机的结构)
第六实施例的电子照相机1的结构和作为对应第一实施例～第四实施例的电子照相机的功能方框图说明的图1是一样的，因此，其说明从略。
(图像数据的变换)说明将通过摄像元件21取得的RGB表色系的图像数据变换为用GCrCb表示的图像数据的处理。用摄像元件21摄像、经模拟信号处理部分22、A/D变换部分10输入到图像处理部分11中的图像数据用拜耳排列的RGB表色系表示，如上述那样，1个像素中只包含1个颜色分量。以下，称该图像数据为变换前RGB图像数据。变换前RGB图像数据变换为各像素中包含亮度分量的信息G(称为亮度信息G或亮度信号G)和色差分量(色度)的信息Cr、Cb(称为色差信息Cr、Cb或色差信号)的图像数据。变换后的图像数据称为变换后GCrCb图像数据。图21示出了变换的概念，图21(a)是第六实施例中变换的概念图。图21(b)是后述第八实施例中变换的概念图。另外，变换前RGB图像数据以单位像素分离颜色分量，因此，也可称为空间上光谱分离的多重光谱图像数据。
使用图2(a)～图2(d)对变换前RGB图像数据进行说明。图2(a)～图2(d)示出了由于给变换对象像素配置哪个颜色分量而给周边像素配置哪个颜色分量。变换对象像素的坐标用[i，j]表示。图2(a)示出了在变换对象像素[i，j]中有R分量的颜色信息的情况，图2(b)示出了在变换对象像素[i，j]中有B分量的颜色信息的情况。图2(c)示出了在变换对象像素[i，j]中有G分量的颜色信息、在纵向相邻的像素中有B分量的颜色信息、在横向相邻的像素中有R分量的颜色信息的情况，图2(d)示出了在变换对象像素[i，j]中有G分量的颜色信息，在纵向相邻的像素中有R分量的颜色信息、在横向相邻的像素中有B分量的颜色信息的情况。
在变换前RGB图像数据中，有R分量的颜色信息的像素称为R像素，有B分量的颜色信息的像素称为B像素，有G分量的颜色信息的像素称为G像素。
图22示出了图像处理部分11进行的图像数据变换处理的概要流程图。图23是用于说明处理关系的方框图。使用图22、图23说明图像处理部分11进行的图像数据变换处理的概要。
步骤S1中，输入拜耳面(图23的101)，即变换前RGB图像数据。步骤S2中，使用变换前RGB图像数据的各颜色分量的颜色信息，在全部像素中生成Cr、Cb面，即色差信息Cr、Cb(图23的102)。这时，使用异色间类似度进行纵横方向判定1(图23的103)，根据纵横方向判定1生成色差信息Cr、Cb。步骤S3中，使用色差信息Cr、Cb进行颜色评价(图23的104)。颜色评价指评价相应像素是无彩色像素吗、是有彩色像素吗、有彩色时其彩色度程度怎样等。
步骤S4中，在全部像素中生成G面即亮度信息G。生成亮度信息G时，根据步骤S3中求出的颜色评价结果，选择(图23的106)是采用使用异色间类似度的纵横方向判定1(图23的103)，还是采用使用同色间类似度的纵横方向判定2(图3的105)。基于根据颜色评价结果选择的异色间类似度或同色间类似度的纵横方向判定，生成亮度信息G(图23的107)。即，根据类似性的纵横方向判定结果，一边使用包含相应像素的局部区域内的颜色信息一边生成亮度信息G。局部区域例如指从几个像素到几十像素范围的区域。但是，也可以是超过100像素的范围。即，局部区域指由相对于整个图像称为局部的几个像素构成的区域。
步骤S5中，步骤S2生成的色差信息Cr、Cb以及步骤S4中生成的亮度信息G作为图像数据被输出，既实施各种图像处理，又存储在存储器等中。
另外，变换前RGB图像数据的像素数和变换后GCrCb图像数据的像素数是相同的，在2维平面中，各像素的位置以1∶1对应。因此，上述全部像素的图像数据变换处理通过在着眼的局部区域中反复进行图像数据变换处理来实现。从而，由此用在着眼区域的满足局部的关系式来说话。以下，详细说明这些处理。将说明结构归纳如下。
(1.Cr、Cb面生成)(1-1.纵横方向判定1)(1-1-1.类似度的计算)(1-1-1-1.异色间类似度)(1-1-1-2.类似度的周边相加)(1-1-2.类似性判定)(1-2.色差生成)(1-2-1.R位置Cr面生成)(1-2-2.Cr面内插)(1-2-3.B位置Cb面生成、内插)(2.颜色评价)(2-1.色差校正)(2-2.颜色指标的计算)(2-3.颜色判定)(3.G面生成)(3-1.纵横方向判定2)(3-1-1.类似度的计算)(3-1-1-1.同色间类似度)(3-1-1-2.类似度的周边相加)(3-1-2.类似性判定)(3-2.方向指标的选择)(3-3.G的计算)(4.彩色图像输出)以下，开始说明。
(1.Cr、Cb面生成)(1-1.纵横方向判定1)(1-1-1.类似度的计算)(1-1-1-1.异色间类似度)使用输入的变换前RGB图像数据的各颜色分量的颜色信息，算出异色间类似度，进行纵横方向判定1。首先，就R像素和B像素，算出“异色间类似度”。“异色间类似度”是指使用包含变换对象像素的局部区域内的不同颜色分量的颜色信息、将变换对象像素和周边像素的类似性比例数值化。在本实施例中，求出纵向异色间类似度和横向异色间类似度，判定纵向类似性强还是横向类似性强。颜色信息是指对通过摄像元件21取得的颜色信号进行预定处理的数字化的值。例如，1字节(byte)用256个灰度等级表示。
像素坐标为[x，y]，变换对象像素的坐标为[i，j]。G像素的颜色信息用G[x，y]表示，R像素的颜色信息用R[x，y]表示，B像素的颜色信息用B[x，y]表示，R像素的颜色信息或B像素的颜色信息用Z[x，y]表示。纵向的异色间类似度Cv0[i，j]可通过式(101)求出，横向的异色间类似度Ch0[i，j]可通过式(102)求出。R像素时求出GR间类似度分量，B像素时求出GB间类似度分量。其中，这里类似度分量用于将构成类似度的颜色分量的组合分类为不同的情况来表现。
GR(GB)间类似度分量Cv0[i，j]＝(|G[i，j-1]-Z[i，j]|+|G[i，j+1]-Z[i，j]|)/2...(101)Ch0[i，j]＝(|G[i-1，j]-Z[i，j]|+|G[i+1，j]-Z[i，j]|)/2...(102)求出变换前RGB图像数据的着眼区域的R像素、B像素的纵向异色间类似度Cv0[x，y]、横向异色间类似度Ch0[x，y]。
另外，变换对象像素为R像素或B像素时，纵向横向的异色像素是近邻的G像素(图2(a)、图2(b))。即，“异色间类似度”以1个像素色调判定类似性，可对以1个像素色调变化的奈奎斯特频率级的细微构造进行更正确的类似性判定。
(1-1-1-2.类似度的周边相加)接着，进行类似度的周边相加。使用以上求出的纵向异色间类似度Cv0[x，y]、横向异色间类似度Ch0[x，y]，进行式(103)(104)的运算。这是通过考虑和周边像素的连续性来提高类似度精度的算法。另外，在简化性、处理速度优先时，可省略。
Cv[i，j]＝(4*Cv0[i，j]+2*(Cv0[i-1，j-1]+Cv0[i+1，j-1]+Cv0[i-1，j+1]+Cv0[i+1，j+1])+Cv0[i，j-2]+Cv0[i，j+2]+Cv0[i-2，j]+Cv0[i+2，j])/16...(103)Ch[i，j]＝(4*Ch0[i，j]+2*(Ch0[i-1，j-1]+Ch0[i+1，j-1]+Ch0[i-1，j+1]+Ch0[i+1，j+1])+Ch0[i，j-2]+Ch0[i，j+2]+Ch0[i-2，j]+Ch0[i+2，j])/16...(104)(1-1-2.类似性判定)接着，进行类似性判定。使用以上求出的Cv[i，j]、Ch[i，j]判定变换对象像素的类似性。即，在第六实施例中，判定纵向类似性强、横向类似性强、还是纵横不明。具体地说，满足条件(105)时，若纵横类似性不明则设定方向指标HVd[i，j]＝0。Th0是预定的阈值，256个灰度等级时为10前后的值。即，纵横类似度间的差分若为阈值Th0以下，则意味着不能判定纵向类似性强还是横向类似性强。
|Cv[i，j]-Ch[i，j]|≤Th0...(105)条件(105)不满足时，即能判定是纵横哪个方向的类似性时，判定是否满足条件(106)。满足条件(106)时，纵向类似性强，设定方向指标HVd[i，j]＝1。不满足条件(106)时，横向类似性强，设定方向指标HVd[i，j]＝-1。另外，异色间类似度Cv[i，j]、Ch[i，j]表示值越小类似性越强。
Cv[i，j]＜Ch[i，j]...(106)求出变换前RGB图像数据的着眼区域的R像素、B像素的方向指标HVd[x，y]。
(1-2.色差生成)(1-2-1.R位置Cr面生成)接着，对R像素的色差信息Cr面生成进行说明。求出与变换前RGB图像数据的R像素对应的变换后GCrCb图像数据的像素的色差信息Cr。这时，根据以上求出的类似性的方向指标HVd[i，j]使用不同的式子。HVd[i，j]＝1时，使用式(107)，HVd[i，j]＝-1时，使用式(108)，HVd[i，j]＝0时，使用式(109)，求出Cr[i，j]。
Cr[i，j]＝(2*R[i，j]+R[i，j-2]+R[i，j+2])/4-(G[i，j-1]+G[i，j+1])/2...(107)Cr[i，j]＝(2*R[i，j]+R[i-2，j]+R[i+2，j])/4-(G[i-1，j]+G[i+1，j])/2...(108)Cr[i，j]＝(4*R[i，j]+R[i，j-2]+R[i，j+2]+R[i-2，j]+R[i+2，j])/8-(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4...(109)(1-2-2.Cr面内插)接着，进行Cr面的内插。使用求出的对应R像素的像素的色差信息Cr，通过内插处理求出对应B像素、G像素的像素的色差信息Cr。对应B像素的像素时，使用式(110)，与R像素通过G像素在横向邻接的像素对应的像素时，用式(111)，与R像素通过G像素在纵向邻接的像素对应的像素时，用式(112)，求出色差信息Cr。
Cr[i，j]＝(Cr[i-1，j-1]+Cr[i-1，j+1]+Cr[i+1，j-1]+Cr[i+1，j+1])/4...(110)Cr[i，j]＝(Cr[i-1，j]+Cr[i+1，j])/2...(111)Cr[i，j]＝(Cr[i，j-1]+Cr[i，j+1])/2...(112)(1-2-3.B位置Cb面生成、内插)色差信息Cb也和上述色差信息Cr一样求出。这样，求出变换后GCrCb图像数据的着眼区域像素的色差信息Cr、Cb。另外，对于变换前RGB图像数据，以上求出的色差信息Cr、Cb和通过内插处理求出着眼区域像素的RGB颜色分量的颜色信息之后求出色差的情况在数学上是等价的。
而且，以上仅对异色间类似度使用类似性判定的方向指标HVd[i，j]。这可大幅度地抑制奈奎斯特频率附近伪色的产生。
(2.颜色评价)(2-1.色差校正)在颜色评价之前进行色差信息Cr、Cb的校正。为了正确地进行颜色评价，除去上述那样得到的Cr、Cb的色差面上生成的颜色波纹。也可使用色差中值滤波，但在第六实施例中，使用下式(113)和图24所示的低通滤波。该处理可快速地实现除去颜色波纹的目的。
TCr1[i，j]＝|4*Cr[i，j]+2*(Cr[i-2，j]+Cr[i+2，j]+Cr[i，j-2]+Cr[i，j+2])+1*(Cr[i-2，j-2]+Cr[i+2，j-2]+Cr[i-2，j+2]+Cr[i+2，j+2])}/16...(113)TCb1[i，j]也一样求出。
这样，通过以单位像素把握周边构造，将假定为在空间方向上有方向性地分布的色差信息变换为表示成单位像素的正确灰度等级的色差信息来生成色差信息Cr、Cb。从而，几乎完全排除了图像的构造因素，作为可用单位像素计算图像实际具有的色调的标量。作为颜色指标的色差信息Cr表示的RG间色差和色差信息Cb表示的BG间色差已经求出，但为了成为单位像素的标量，还可进一步评价RB间的色差。从而，可进行非常接近人视觉判断的颜色评价。
(2-2.颜色指标的计算)接着，示出颜色指标Cdiff的导出式(114)。
Cdiff[i，j]＝(|TCr1[i，j]|+|TCb1[i，j]|+|TCr1[i，j]-TCb1[i，j]|)/3...(114)
从而，通过现有技术的色阶评价将成问题的实际颜色和由于构造因素而搅乱的因素分离，并且通过评价全色分量间的色差，可得到非常正确的颜色指标。另外，这里为了进一步提高颜色指标的精度，可对颜色指标进行类似度的周边相加。
(2-3.颜色判定)接着，进行颜色判定。进行是否满足条件(115)～(118)的阈值判定，将上述连续的颜色指标Cdiff[i，j]变换为离散的颜色指标BW[i，j]的颜色判定结果。阈值为256灰度等级时，为Thza＝2、Thab＝5、Thbc＝15等级的值。
Cdiff[i，j]≤Thza...(115)Thza＜Cdiff[i，j]≤Thab...(116)Thab＜Cdiff[i，j]≤Thbc...(117)Thbc＜Cdiff[i，j] ...(118)满足条件(115)时，作为完全无彩色部分，设定BW[i，j]＝‘z’。满足条件(116)时，作为无彩色部分，设定BW[i，j]＝‘a’。满足条件(117)时，作为低彩色部分，设定BW[i，j]＝‘b’。满足条件(118)时，作为彩色部分，设定BW[i，j]＝‘c’。
(3.G面生成)(3-1.纵横方向判定2)(3-1-1.类似度计算)(3-1-1-1.同色间类似度)接着，使用以上求出的颜色指标BW[i，j]，求出变换后GCrCb图像数据的亮度信息G。首先，算出变换前RGB图像数据的R像素和B像素的“同色间类似度”。“同色间类似度”是指使用包含变换对象像素的局部区域内的同一颜色分量的颜色信息、将变换对象像素和周边像素的类似性比例数值化。在本实施例中，求出纵向同色间类似度和横向同色间类似度，判定纵向类似性强还是横向类似性强。
利用和邻接变换对象像素的G像素的颜色信息，通过式(119)求出纵向GG间类似度分量Cv1[i，j]，通过式(120)求出横向GG间类似度分量Ch1[i，j]。
Cv1[i，j]＝|G[i，j-1]-G[i，j+1]|...(119)Ch1[i，j]＝|G[i-1，j]-G[i+1，j]|...(120)利用具有与变换对象像素及G像素不同的颜色分量的像素的颜色信息，通过式(121)求出纵向BB(RR)间类似度分量Cv2[i，j]，通过式(122)求出横向BB(RR)间类似度分量Ch2[i，j]。
Cv2[i，j]＝(|Z[i-1，j-1]-Z[i-1，j+1]|+|Z[i+1，j-1]-Z[i+1，j+1]|)/2...(121)Ch2[i，j]＝(|Z[i-1，j-1]-Z[i+1，j-1]|+|Z[i-1，j+1]-Z[i+1，j+1]|)/2...(122)将以上求出的纵向GG间类似度分量Cv1[i，j]和纵向BB(RR)间类似度分量Cv2[i，j]代入式(123)，求出变换对象像素[i，j]的纵向同色间类似度Cv0[i，j]。而且，将横向GG间类似度分量Ch1[i，j]和横向BB(RR)间类似度分量Ch2[i，j]代入式(124)，求出变换对象像素[i，j]的横向同色间类似度Ch0[i，j]。
Cv0[i，j]＝(Cv1[i，j]+Cv2[i，j])/2...(123)Ch0[i，j]＝(Ch1[i，j]+Ch2[i，j])/2...(124)(3-1-1-2.类似度的周边相加)接着，进行类似度的周边相加。使用以上求出的纵向同色间类似度Cv0[x，y]、横向同色间类似度Ch0[x，y]，进行式(125)(126)的运算。这和上述异色间类似度一样，通过考虑和周边像素的连续性来提高类似度的精度。另外，简化性、处理速度优先时，可省略。
Cv[i，j]＝(4*Cv0[i，j]+2*(Cv0[i-1，j-1]+Cv0[i+1，j-1]+Cv0[i-1，j+1]+Cv0[i+1，j+1])+Cv0[i，j-2]+Cv0[i，j+2]+Cv0[i-2，j]+Cv0[i+2，j])/16...(125)Ch[i，j]＝(4*Ch0[i，j]+2*(Ch0[i-1，j-1]+Ch0[i+1，j-1]+Ch0[i-1，j+1]+Ch0[i+1，j+1])+Ch0[i，j-2]+Ch0[i，j+2]+Ch0[i-2，j]+Ch0[i+2，j])/16...(126)(3-1-2.类似性判定)接着，进行类似性判定。使用以上求出的Cv[i，j]、Ch[i，j]，和上述异色间类似性判定一样，判定变换对象像素的同色间类似性。在第六实施例中，判定纵向类似性强、横向类似性强还是纵横不明。具体地说，满足条件(127)时，纵横类似性为不明，设定为方向指标HVs[i，j]＝0。Th1是预定阈值，256个灰度等级时，是和异色间类似度的Th0同等级的10前后的值。即，若纵横类似度间的差分在阈值Th1以下，则意味着不能判定纵向类似性强还是横向类似性强。
|Cv[i，j]-Ch[i，j]|≤Th1...(127)条件(127)不满足时，即，在能判定纵横哪个方向的类似性强时，判定是否满足条件(128)。满足条件(128)时，纵向类似性强，设定方向指标HVs[i，j]＝1。不满足条件(128)时，横向类似性强，设定方向指标HVs[i，j]＝-1。另外，同色间类似度Cv[i，j]、Ch[i，j]表示值越小类似度越强。
Cv[i，j]＜Ch[i，j]...(128)求出变换前RGB图像数据的着眼区域的R像素、B像素的方向指标HVs[x，y]。
(3-2.方向指标的选择)接着，进行方向指标的选择。根据上述颜色判定结果，区分根据异色间类似度的方向判定结果和根据同色间类似度的方向判定结果。BW[i，j]为‘z’或‘a’时，HV[i，j]＝HVd[i，j]。BW[i，j]为‘b’或‘c’时，HV[i，j]＝HVs[i，j]。即，颜色判定为完全无彩色‘z’或无彩色‘a’时，使用以异色间类似度判定的方向指标HVd[i，j]。而且，颜色判定是低彩色‘b’或彩色‘c’时，使用以同色间类似度判定的方向指标HVs[i，j]。
无彩色时，像素的颜色信息认为是通过不反映色调差的大致亮度差改变值。从而，以1个像素色调判定类似性的异色间类似度可更正确地对细微构造进行类似性判定。有彩色时，像素的颜色信息根据色调的差改变其值。因此，若滤色器的颜色不同，则其测定值变化，不能用异色间类似度正确地判定类似性。从而，有彩色时，适合用同色间类似度判定类似性。
(3-3.G的计算)根据上述方向指标，求出对应变换前RGB图像数据的R像素或B像素的像素[i，j]的亮度信息G即G[i，j]。即，通过内插处理求出缺失R像素或B像素的G分量的颜色信息。方向指标HV[i，j]＝1时，即判断为纵向类似性强时，使用式(129)求出G[i，j]。方向指标HV[i，j]＝-1时，即，判断为横向类似性强时，使用式(130)求出G[i，j]。方向指标HV[i，j]＝0时，即判断为纵横类似性不明时，使用式(131)求出G[i，j]。
G[i，j]＝(G[i，j-1]+G[i，j+1])/2+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/4...(129)G[i，j]＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/4...(130)G[i，j]＝(G[i，j-1]+G[i，j+1]+G[i-1，j]+G[i+1，j])/4+(4*Z[i，j]-Z[i，j-2]-Z[i，j+2]-Z[i-2，j]-Z[i+2，j])/8...(131)(4.彩色图像输出)如上所述，对于各像素求出色差信息Cr、Cb、亮度信息G即Cr[i，j]、Cb[i，j]、G[i，j]，因此，变换为期望的彩色图像数据结束。变换后GCrCb图像数据存储在存储器13中，可实施伪色减少处理和颜色校正等各种图像处理。而且，也有时存储在存储卡16中。存储在存储卡16中时，也有时实施规定的表色变换处理和压缩处理(JPEG)。另外，最初存储在存储器13中的色差信息Cr[i，j]、Cb[i，j]原样使用通过(1-2.色差生成)所生成的内容。
RGB表色系的图像数据，即着眼区域各像素的所有RGB颜色分量的颜色信息为需要的图像数据时，使用式(132)(133)求出R[i，j]、B[i，j]。G[i，j]用使用以上求出的内容。
R[i，j]＝Cr[i，j]+G[i，j]...(132)B[i，j]＝Cb[i，j]+G[i，j]...(133)这样，在第六实施例中，以单位像素正确求出色差信息，使用求出的单位像素的色差信息对单位像素进行颜色评价。因此，可对去除图像构造因素带来的影响的单位像素进行正确的颜色评价。即，用单位像素正确地把握图像的周边构造，从认为最类似的方向开始加权集中色差信息。从而，与不看见杂乱和图像构造时由所有方向的像素间差分而生成色差信息的情况相比，排除了作为来自类似性低的方向的伪色因素的色差信息。因此，颜色指标不会由于图像的构造因素而受到搅乱的影响。
结果，对于视觉影响大的亮度信息，可正确区分异色间类似度和同色间类似度，奈奎斯特频率析像和彩色部分的析像可变换、复原成相容的高画质彩色图像。而且，事先生成色差面，将其用于颜色评价，进入用于亮度(G)面生成的过程，因此，不需要以前独立地由拜耳面计算的可靠性低的色阶计算，可简便高速地实现操作处理。而且，事先生成的色差面的色差信息用于原样图像数据输出，因此，不需要重新生成新的色差信息，处理变快。
第七实施例第七实施例展示了对包含光学系统的颜色变化的图像和颜色变化剧烈的图像有效的算法。第七实施例的电子照相机1的结构与用来说明第一实施例～第四实施例的电子照相机功能的方框图的图1一样，因此其说明从略。对于图像变换处理，以不同于第六实施例的部分为中心进行说明。
示出了图像处理部分11进行的图像数据变换处理概要的流程图和第六实施例的图22相同。其中，步骤S4的G面生成和步骤S5的GCrCb面输出的内容不同。在步骤S4的G面生成中，即，第六实施例说明的(3.G面生成)中，到(3-1.纵横方向判定2)(3-2.方向指标的选择)为止，和第六实施例是一样的。不同点在于(3-3.G的计算)中，考虑输入倾斜方向的类似性来生成亮度信息G。从而，在第七实施例中，在第六实施例的(3-3.G的计算)之前，重新进行(3-3.倾斜方向判定)，之后进行(3-4.G的计算)。
图25是用于说明第七实施例中处理关系的方框图。和第六实施例不同，附加倾斜方向判定201，倾斜方向判定201的输出DN、选择器106的输出HV和颜色评价104的结果BW与亮度生成202连接。这在亮度生成(G的计算)中通过使倾斜方向判定与纵横方向判定组合，进行规定的、精密的方向判定，根据规定的、精密的判定结果使用计算式。而且，为了对没有使用方向判定的部分也进一步提高亮度析像，还参照颜色评价104的结果BW来选择计算式。以下，进行详细说明。
第七实施例的(3.G面生成)的构成如下。
(3.Cr、Cb面生成)(3-1.纵横方向判定2)(3-1-1.类似度的计算)(3-1-1-1.同色间类似度)
(3-1-1-2.类似度的周边相加)(3-1-2.类似性判定)(3-2.方向指标的选择)(3-3.倾斜方向判定)(3-3-1.类似度的计算)(3-3-1-1.类似度)(3-3-1-2.类似度的周边相加)(3-3-2.类似性判定)(3-4.G的计算)以下，开始说明。
(3-3.倾斜方向判定)(3-3-1.类似度的计算)(3-3-1-1.类似度)使用变换前RGB图像数据的R信号或B像素中包含醒目像素的局部区域内的像素信息，判定倾斜方向的类似性。倾斜方向是指倾斜45度、倾斜135度的方向。如图14所示，倾斜45度是[HV，DN]＝
的方向，倾斜135度是[HV，DN]＝
的方向。下面说明图14。像素的坐标为[x，y]，变换对象像素的坐标为[i，j]。G像素的颜色信息用G[x，y]表示，R像素的颜色信息用R[x，y]表示，B像素的颜色信息用B[x，y]表示，R像素的颜色信息或B像素的颜色信息用Z[x，y]表示。
首先，通过式(140)求出45度方向的BR(RB)间类似度分量C45_1，通过式(141)求出135度方向的BR(RB)间类似度分量C135_1，通过式(142)求出45度方向的GG间类似度分量C45_2，通过式(143)求出135度方向的GG间类似度分量C135_2，通过式(144)求出45度方向的BB(RR)间类似度分量C45_3，通过式(145)求出135度方向的BB(RR)间类似度分量C135_3。
BR(RB)间类似度分量C45_1＝(|Z[i+1，j-1]-Z[i，j]|+|Z[i-1，j+1]-Z[i，j]|)/2...(140)C135_1＝(|Z[i-1，j-1]-Z[i，j]|+|Z[i+1，j+1]-Z[i，j]|)/2...(141)GG间类似度分量C45_2＝(|G[i，j-1]-G[i-1，j]|+|G[i+1，j]-G[i，j+1]|)/2...(142)C135_2＝(|G[i，j-1]-G[i+1，j]|+|G[i-1，j]-G[i，j+1]|)/2...(143)BB(RR)间类似度分量C45_3＝|Z[i+1，j-1]-Z[i-1，j+1]|...(144)C135_3＝(|Z[i-1，j-1]-Z[i+1，j+1]|...(145)BR(RB)间类似度分量计算对象像素[i，j]和位于倾斜方向的异色像素之间的类似度，GG间类似度分量计算位于对象像素周边的倾斜方向上的G像素彼此的类似度，BB(RR)间类似度分量计算由于夹着对象像素而位于倾斜方向上的同色像素的类似度。
使用上述式(140)～(145)求出的C45_1，C135_1，C45_2，C135_2，C45_3，C135_3，通过式(146)求出45度方向的类似度C45_0[i，j]，通过式(137)求出135度方向的类似度C135_0[i，j]。其中，常数a1、a2、a3的值可设定为a1＝a2＝a3＝1和a1＝a2＝2、a3＝1等。
C45_0[i，j]＝(a1*C45_1+a2*C45_2+a3*C45_3)/(a1+a2+a3)...(146)C135_0[i，j]＝(a1*C135_1+a2*C135_2+a3*C135_3)/(a1+a2+a3)...(147)求出变换前RGB图像数据着眼区域的R像素、B像素的45度方向的类似度C45_0[x，y]、135度方向的类似度C135_0[x，y]。
(3-3-1-2.类似度的周边计算)接着，进行类似度的周边相加。使用以上求出的45度方向的类似度C45_0[x，y]、135度方向的类似度C135_0[x，y]进行式(103)(104)的运算。这和纵横方向的类似度一样，通过考虑和周边像素的连续性来提高类似度的精度。另外，在简化性、处理速度优先时，可省略。
C45[i，j]＝(4*C45_0[i，j]+2*(C45_0[i-1，j-1]+C45_0[i+1，j-1]+C45_0[i-1，j+1]+C45_0[i+1，j+1])+C45_0[i，j-2]+C45_0[i，j+2]+C45_0[i-2，j]+C45_0[i+2，j])/16...(147)C135[i，j]＝(4*C135_0[i，j]+2*(C135_0[i-1，j-1]+C135_0[i+1，j-1]+C135_0[i-1，j+1]+C135_0[i+1，j+1])+C135_0[i，j-2]+C135_0[i，j+2]+C135_0[i-2，j]+C135_0[i+2，j])/16...(147)(3-3-2.类似性判定)接着，进行类似性判定。使用以上求出的C45[i，j]、C135[i，j]，判定变换对象像素的类似性。这里，判定在45度方向类似性强、在135度方向类似性强、还是不能判定45度方向135度方向。具体地说，满足条件(148)时，不能判定45度方向135度方向，设定方向指标DN[i，j]＝0。Th2是预定的阈值，是和纵横方向判定的Th0、Th1同等级的值。例如，256个灰度等级时，是10前后的值。若45度方向135度方向的类似度间的差分在阈值Th2以下，则意味着不能判定在45度方向类似性强还是在135度方向类似性强。
|C45[i，j]-C135[i，j]|≤Th2...(148)条件(148)不满足时，即，不能判定是45度方向135度方向哪个方向的类似性时，则判定是否满足条件(149)。满足时，45度方向类似性强，设定方向指标DN[i，j]＝1。不满足条件(149)时，135度方向类似性强，设定方向指标DN[i，j]＝-1。另外，类似度C45[i，j]、C135[i，j]的值越小类似性越强。
C45[i，j]＜C135[i，j]...(149)
求出变换前RGB图像数据着眼区域的R像素、B像素的倾斜方向指标DN[x，y]。
(3-4.G的计算)根据上述纵横方向指标HV[i，j]和倾斜方向指标DN[i，j]，求出与变换前RGB图像数据的R像素或B像素对应的像素[i，j]的亮度信息G，即G[i，j]。即，通过内插处理求出R像素或B像素中缺失的G分量的颜色信息。通过使纵横方向指标HV[i，j]和倾斜方向指标DN[i，j]组合，可将类似性方向分为9类。参照第一实施例说明的图14。图14中，示出了方向指标[HV，DN]。另外，方向指标
表示在纵横倾斜任一方向上没有类似性(即孤立点)，或者在任一方向上有类似性(即平坦部分)。
根据方向指标[HV，DN]即类似性的方向从以下所示的式(150)～(159)中选择一个来计算G[i，j]。另外，方向指标
时，进一步考虑输入通过(2-3.颜色判定)求出的颜色指标BW[i，j]来选择计算式。其中，简化性优先时可省略。BW[i，j]＝‘z’即颜色判定为完全无彩色时，不使用式(151)而使用式(150)。这时因为式(151)使用的式(160)(163)的第2项以后的校正项是根据2个像素色调来校正的，所以在使用式(161)时，不能正确校正黑白奈奎斯特格子花纹等图像。换言之，通过区分使用式(150)和式(151)，可根据颜色指标BW[i，j]改变对象像素的颜色信息和周边像素的颜色信息的相加比或构成比。图26示出了变换对象像素为R像素时，根据方向指标使用的像素位置及其颜色分量图。
方向指标
、BW[i，j]＝‘z’时，使用式(150)。
方向指标
、BW[i，j]≠‘z’时，使用式(151)。
方向指标
时，使用式(152)。
方向指标
时，使用式(153)。
方向指标[1，0]时，使用式(154)。
方向指标[1，1]时，使用式(155)。
方向指标[1，-1]时，使用式(156)。
方向指标[-1，0]时，使用式(157)。
方向指标[-1，1]时，使用式(158)。
方向指标[-1，-1]时，使用式(159)。
G[i，j]＝{Z[i，j]+(Gv+Gh)/2}/2...(150)G[i，j]＝(Gv+Gh)/2...(151)G[i，j]＝(Gv45+Gh45)/2...(152)G[i，j]＝(Gv135+Gh135)/2...(153)G[i，j]＝Gv...(154)G[i，j]＝Gv45...(155)G[i，j]＝Gv135...(156)G[i，j]＝Gh...(157)G[i，j＝Gh45...(158)G[i，j]＝Gh135...(159)这里，Gv、Gh、Gv45、Gh45、Gv135、Gh135通过下式(160)～(165)求出。
Gv＝(G[i，j-1]+G[i，j+1])/2+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/8+(2*G[i-1，j]-G[i-1，j-2]-G[i-1，j+2]+2*G[i+1，j]-G[i+1，j-2]-G[i+1，j+2])/16...(160)Gv45＝(G[i，j-1]+G[i，j+1])/2+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/8+(2*Z[i-1，j+1]-Z[i-1，j-1]-Z[i-1，j+3]+2*Z[i+1，j-1]-Z[i+1，j-3]-Z[i+1，j+1])/16...(161)Gv135＝(G[i，j-1]+G[i，j+1])/2+(2*Z[i，j]-Z[i，j-2]-Z[i，j+2])/8
+(2*Z[i-1，j-1]-Z[i-1，j-3]-Z[i-1，j+1]+2*Z[i+1，j+1]-Z[i+1，j-1]-Z[i+1，j+3])/16...(162)Gh＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/8+(2*G[i，j-1]-G[i-2，j-1]-G[i+2，j-1]+2*G[i，j+1]-G[i-2，j+1]-G[i+2，j+1])/16...(163)Gh45＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/8+(2*Z[i+1，j-1]-Z[i-1，j-1]-Z[i+3，j-1]+2*Z[i-1，j+1]-Z[i-3，j+1]-Z[i+1，j+1])/16...(164)Gh135＝(G[i-1，j]+G[i+1，j])/2+(2*Z[i，j]-Z[i-2，j]-Z[i+2，j])/8+(2*Z[i-1，j-1]-Z[i-3，j-1]-Z[i+1，j-1]+2*Z[i+1，j+1]-Z[i-1，j+1]-Z[i+3，j+1])/16...(165)说明上述式(160)～(165)。考虑R像素的处理时，第一个括号可称为G分量平均项，第二个括号可称为R分量校正项，第三个括号可称为B(G)分量校正项。在颜色变化剧烈的情况下，R分量校正项有可能在灰度等级方向引起过校正，但B(G)分量校正项完成了在灰度等级方向上反相位的任务，因此能防止过校正。另一方面，有颜色像差时，R分量校正项在空间上有偏差，但B(G)分量校正项在其反相位的方向上偏差来相互抵消，可防止颜色像差的影响。
而且，在方向指标[HV，DN]＝
的完全方向类似性不明的地方，通过颜色评价来假定完全无彩色时，若改变G分量生成时的中心像素和周边像素的贡献率，则也能析像奈奎斯特频率的格子花纹模样。
从而，在第七实施例中，优秀的奈奎斯特频率析像和彩色部分的析像可变换、复原成相容的高画质彩色图像。而且，对于颜色变化剧烈的图像和包含光学系统的颜色像差的图像也能变换、复原成耐性强的彩色图像。而且，作为软件处理，保证了十分高速的操作。
第八实施例在第六实施例和第七实施例中，考虑采用内插处理的方法生成G面。但是，在第八实施例中，展示了用不同于第六实施例和第七实施例的方式生成亮度信息。
第八实施例的电子照相机1的结构与作为对应于第一实施例～第四实施例的电子照相机的功能方框图说明的图1是一样的，因此说明从略。图27示出了第八实施例中图像处理部分11进行的图像数据变换处理的概要流程图。步骤S1～步骤S3和第六实施例的图22相同。步骤S14的Y面生成和步骤S15的YCrCb面输出和第六实施例不同。即，第六实施例和第七实施例的步骤S4的G面生成在第八实施例中变成步骤S14的Y面生成，步骤S5的GCbCr面输出变成步骤S15的YCbCr面输出。图21(b)中示出了变换的概念。
其中，在步骤S14的Y面生成中，上述第七实施例的(3.G面生成)中的(3-1.纵横方向判定2)(3-2.方向指标的选择)(3-3.倾斜方向判定)，在第八实施例中是一样的。因此，对不同于第七实施例的(Y的计算)和新附加的处理(边缘增强)进行说明。而且，对YCbCr面输出即(彩色图像输出)进行说明。第八实施例中的处理的关系方框图和第七实施例的图25相同。
第八实施例的(3.Y面生成)(4.彩色图像输出)的构成如下。
(3.Y面生成)(3-1.纵横方向判定2)(3-1-1.类似度的计算)(3-1-1-1.同色间类似度)(3-1-1-2.类似度的周边相加)(3-1-2.类似性判定)(3-2.方向指标的选择)
(3-3.倾斜方向判定)(3-3-1.类似度的计算)(3-3-1-1.类似度)(3-3-1-2.类似度的周边相加)(3-3-2.类似性判定)(3-4.Y的计算)(3-5.边缘增强)(4.彩色图像输出)以下开始说明。
(3-4.Y的计算)第八实施例的亮度信息Y的计算不是第六实施例和第七实施例的G面生成，而是直接加权相加拜耳面来生成亮度Y面的方式。即，使用还没有进行内插处理的变换前RGB图像数据的各颜色的颜色信息，直接生成亮度信息Y。变换前RGB图像数据(拜耳面的数据)的任意颜色信息用A[x，y]表示。
根据上述纵横方向指标HV[i，j]和倾斜方向指标DN[i，j]求出与变换前RGB图像数据的R像素或B像素对应的像素[i，j]的亮度信息Y，即Y[i，j]。通过将纵横方向指标HV[i，j]和倾斜方向指标DN[i，j]组合起来，可将类似性方向分成以下9类，和第七实施例一样(图14)。
根据方向指标[HV，DN]即类似性的方向，选择以下所示的式(170)～(179)其中之一来计算Y[i，j]。另外，方向指标
时，和第七实施例一样，还考虑输入通过(2-3.颜色判定)求出的颜色指标BW[i，j]来选择计算式。但是，简化性优先时可省略。
变换对象像素[i，j]是G像素时，使用式(170)，变换对象像素[i，j]是G像素以外时，根据以下的方向指标使用式(171)～(180)中的任一式。另外，图28示出了变换对象像素是G像素时使用的像素位置及其系数(G位置的亮度生成系数图案)。图29示出了变换对象像素是R像素或B像素时根据方向指标使用的像素位置及其系数(R、B位置的亮度生成系数图案)。
方向指标
、BW[i，j]＝‘z’时，使用式(171)。
方向指标
、BW[i，j]≠‘z’时，使用式(172)。
方向指标
时，使用式(173)。
方向指标
时，使用式(174)。
方向指标[1，0]时，使用式(175)。
方向指标[1，1]时，使用式(176)。
方向指标[1，-1]时，使用式(177)。
方向指标[-1，0]时，使用式(178)。
方向指标[-1，1]时，使用式(179)。
方向指标[-1，-1]时，使用式(180)。
Y[i，j]＝YG...(170)Y[i，j]＝YRBUNIa...(171)Y[i，j]＝YRBUNIb...(172)Y[i，j]＝YRB45...(173)Y[i，j]＝YRB135...(174)Y[i，j]＝YRBv...(175)Y[i，j]＝YRBv45...(176)Y[i，j]＝YRBv135...(177)Y[i，j]＝YRBh...(178)Y[i，j]＝YRBh45...(179)Y[i，j]＝YRBh135...(180)这里，上述YG、YRBUNIa、YRBUNIb、YRB45、YRB135、YRBv、YRBv45、YRBv135、YRBh、YRBh45、YRBh135用下式(181)～(191)表示。YG＝α*A[i，j]+(β/4)*{A[i-1，j]+A[i+1，j]+A[i，j-1]+A[i，j+1]}...(181)YRBUNIa＝p*A[i，j]+q*YRBUNIb...(182)YRBUNIb＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]}...(183)YRB45＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{t1*A[i+1，j-1]+t2*A[i-1，j+1]}...(184)YRB135＝(β/2)*A[i，j]+α*{(v1/2)*A[i-1，j]+(v2/2)*A[i+1，j]+(u1/2)*A[i，j-1]+(u2/2)*A[i，j+1]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]}...(185)YRBv＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]}...(186)YRBv45＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1])+(β/2)*{t1*A[i+1，j-1]+t2*A[i-1，j+1]}...(187)YRBv135＝(β/2)*A[i，j]+α*{u1*A[i，j-1]+u2*A[i，j+1]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]}...(188)YRBh＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{(s1/2)*A[i-1，j-1]+(s2/2)*A[i+1，j+1]+(t1/2)*A[i+1，j-1]+(t2/2)*A[i-1，j+1]}...(189)YRBh45＝(β/2)*A[i，j]
+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{t]*A[i+1，j-1]+t2*A[i-1，j+1]}...(190)YRBh135＝(β/2)*A[i，j]+α*{v1*A[i-1，j]+v2*A[i+1，j]}+(β/2)*{s1*A[i-1，j-1]+s2*A[i+1，j+1]}...(191)其中，上述常数(系数)中带以下的制约条件(192)。而且，这些作成完全正或零的值。
α+β＝1，p+q＝1，u1+u2＝1，v1+v2＝1，s1+s2＝1，t1+t2＝1 ...(192)通常好的常数设定例子如下。
u1u2，v1v2，s1s2，t1t2(α，β)＝(1/3，2/3)，(4/9，5/9)，(5/11，6/11)，(1/2，1/2)，(5/9，4/9)，(3/5，2/5)，(2/3，1/3)(p，q)＝(1/3，2/3)，(1/2，1/2)常数α、β在决定占亮度的R、G、B比例的参数中处于Y＝α*G+β*(R+B)/2的关系。常数p、q是改变包含在亮度值中的中心像素和周边像素的颜色信息构成比的参数，YRBUNIa完成了析像奈奎斯特频率的格子花纹的任务。
(3-5.边缘增强)上述Y面得到了保持细微构造且非常圆滑连接的图像。因此，在进行边缘增强处理时，可不考虑方向性地仅通过简化的固定滤波。作为边缘增强的滤波器，示出了式(193)和图30所示的拉普拉斯算符(laplacian)的例子。而且，进行式(194)的运算最终求出亮度信息Y。式(194)中的常数K为正值，通常设定为1以上。
YH[i，j]＝{8*Y[i，j]-(Y[i-1，j]+Y[i+1，j]+Y[i，j-1]+Y[i，j+1]+Y[i-1，j-1]+Y[i+1，j-1]+Y[i-1，j+1]+Y[i+1，j+1])}/16...(193)Y[i，j]＝Y[i，j]+K*YH[i，j]...(194)(4.彩色图像输出)以上，对各个像素求出了Cr[i，j]、Cb[i，j]、Y[i，j]，因此，得到了YCrCb表色系的彩色图像数据。之后，可实施某种色差校正处理等各种图像处理。而且，从YCrCb图像数据变换为RGB表色系时，使用下式(195)～(197)计算。从而，可为着眼区域的像素生成具有全部R、G、B的颜色分量的颜色信息的RGB表色系图像数据。
R[i，j]＝Y[i，j]+(1-β/2)*Cr[i，j]-(β/2)*Cb[i，j]...(195)G[i，j]＝Y[i，j]-(β/2)*Cr[i，j]-(β/2)*Cb[i，j]...(196)B[i，j]＝Y[i，j]-(β/2)*Cr[i，j]+(1-β/2)*Cb[i，j]...(197)在第八实施例中，通过使用了正确的方向判定结果的亮度面生成，对于包含颜色像差的所有种类的图像，都能变换、复原成优秀的奈奎斯特频率析像和彩色部分的析像相容的高画质彩色图像。而且，在第八实施例中，作为软件处理，可保证十分高速地操作。
第九实施例在第九实施例中，和第六实施例中求出的色差校正1不同，计算不同于色差校正1的色差校正2，根据颜色判定结果，区分最终输出的对色差面的色差校正。从而，可生成独立于亮度面、伪色少的颜色忠实性高的色差面。
第九实施例的电子照相机1的结构和作为对应第一实施例～第四实施例的电子照相机的功能方框图说明的图1是一样的，因此，其说明从略。图31示出了第九实施例中图像处理部分11进行的图像数据变换处理的概要流程图。步骤S1～S3以及步骤S4、S5与第六实施例的图22是一样的。但是，在步骤S3和步骤S4之间插入选择Cr、Cb面的新步骤S21。
图32是用于说明第九实施例中的处理的关系的方框图。抽出并示出了与第六实施例的图23的拜耳面101、色差生成102、纵横方向判定103、颜色评价104对应的部分。在第六实施例中，抽出颜色评价104中包含的色差校正1并表示为色差校正1(301)，设置新的色差校正2(302)，色差校正1(301)的生成TCr1、TCb1和色差校正2(302)的输出TCr2、TCb2与选择器303连接。这是为了根据颜色评价104的结果BW适当地选择色差校正1(301)和色差校正2。
以下，对新附加的Cr、Cb面选择进行说明。第九实施例的图像变换处理的构成如下。和第六实施例不同，在(4.G面生成)之前进行(3.Cr、Cb面选择)的处理。
(1.Cr、Cb面生成)(2.颜色评价)(2-1.色差校正1)(2-2.颜色指标的计算)(2-3.颜色判定)(3.Cr、Cb面选择)(3-1.色差校正2)(3-2.色差选择)(4.G面生成)(5.彩色图像输出)以下，开始说明。
(3.Cr、Cb面选择)(3-1.色差校正2)和第六实施例相同的(2.颜色评价)的(2-1.色差校正1)所示的低通滤波器(图24)在广域型的伪色减少和颜色评价目的的利用上是优秀的。但是，作为最终输出的色差面，在细微颜色图案的颜色忠实性方面稍差。因此，在第九实施例中，再准备一个在伪色减少方面差但细微颜色图案的颜色再现性好的狭域型低通滤波器。具体地说，使用式(200)进行色差校正2。图33示出了狭域型低通滤波器。但也可以不限于式(200)，可以是更弱的低通滤波器或不作任何处理的通过。
TCr2[i，j]＝[4*Cr[i，j]+2*(Cr[i-1，j]+Cr[i+1，j]+Cr[i，j-1]+Cr[i，j+1])+1*(Cr[i-1，j-1]+Cr[i+1，j-1]+Cr[i-1，j+1]+Cr[i+1，j+1])}/16...(200)TCb2[i，j]也同样计算。
(3-2.色差选择)接着，根据颜色判定结果，从通过两种方法进行校正处理的色差面中选择可靠性高的一方。具体地说，BW[i，j]≠‘c’时，选择TCr1[i，j]作为Cr[i，j]，选择TCb1[i，j]作为Cb[i，j]。BW[i，j]＝‘c’时，选择TCr2[i，j]作为Cr[i，j]，选择TCb2[i，j]作为Cb[i，j]。
即，根据颜色评价结果，色彩弱或无彩色时，使用广域型的伪色减少方面出色的低通滤波器，色彩强时，使用伪色减少方面差但细微颜色图案的颜色再现性好的狭域型低通滤波器。从而，可将以低伪色而生成颜色忠实性高的色差面作为色差面单独的处理来结束。特别地，具有在软件用途方面极容易实现的简化性。另外，相对于第六实施例，第九实施例还适当地处理色差面。其内容也可适用于第七实施例、第八实施例的处理。
图34是对以上说明的通过第六～第九实施例中颜色评价求出的颜色指标的利用进行整理并说明的图。图34(a)说明了各实施例中通过颜色评价求出的颜色指标BW。图的左侧是无彩色侧，右侧是彩色侧即色度、色调、色彩强的方向。图34(b)是在生成亮度信息过程中在完全无彩色时增大并计算中心像素(对象像素)的比的情况。例如，在第七实施例中，方向指标
、BW[i，j]＝‘z’时，使用式(150)，方向指标
、BW[i，j]≠‘z’时，使用式(151)。
图34(c)是在第六～第九实施例中进行类似性的方向判定时，根据颜色评价的结果区分是使用异色间类似度还是使用同色间类似度。颜色评价是在无彩色时，使用异色间类似度，有彩色时，使用同色间类似度。图34(d)是根据颜色评价的结果确定使用广域型低通滤波器进行色差校正，还是使用狭域型低通滤波器进行色差校正。
另外，在上述实施例中，说明了将RGB表色系的图像变换为由色差、亮度信息组成的图像(GCbCr和YCbCr)的例子，但不一定限于该内容。也可以是将其他的表色系图像变换为由色差、亮度信息组成的图像的情况。而且，也可以是通过RGB表色系的原样内插处理来变换RGB表色系的情况。
在上述实施例中，说明了拜耳排列的RGB表色系的例子，但不一定限于该内容。也可以是其他排列的滤色器。
在实施例中，在类似性的判定中示出了各种计算式，但不一定限于实施例所展示的内容。也可通过其他适当的计算式来判定类似性。而且，在亮度信息的计算中示出了各种计算式，但不一定限于实施例所展示的内容。也可以通过其他适当的计算式生成亮度信息。
在上述实施例中，展示了用于色差校正的低通滤波器(图24、图33)、用于边缘增强的带通滤波器(图30)的例子，但不一定限于这些内容。也可以是其他结构的低通滤波器和带通滤波器。
在上述实施例中，展示了在对象中处理图像数据的着眼区域的例子，但不一定限于这些内容。即，本发明也适用于1个像素和几个像素的处理、整个图像的处理。
在上述实施例中，展示了电子照相机的例子，但不一定限于该内容。也可以是拍摄动画的视频摄影机、带摄像元件的个人计算机或便携电话等。即，可适用于通过摄影元件生成彩色图像数据的所有装置。
在适用于个人计算机等时，与上述处理有关的程序可通过CD-ROM等记录媒体和因特网等数据信号来提供。图35示出了它的样子。个人计算机400通过CD-ROM404接收程序。而且，个人计算机400具有和通信线路401连接的功能。计算机402是提供上述程序的服务器计算机，程序存储在硬盘403等记录媒体中。通信线路401是因特网、个人计算机通信等通信线路或专用通信线路。计算机402使用硬盘403读出程序，通过通信线路401将程序发送给个人计算机400。即，将程序作为数据信息搭载在载波上，通过通信线路401发送。这样，可将程序作为记录媒体和载波等各种形式的计算机可读的计算机程序产品来提供。
权利要求
1.一种图像处理方法，将由多个颜色分量构成的表色系表示的、由在1个像素中有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共颜色信息的第二图像，具有颜色判定步骤，包括色差信息生成步骤，对于第二图像的处理对象像素，用至少3种方法中的任何一种方法，由第一图像的颜色信息生成色差信息；颜色评价步骤，对第二图像的处理对象像素，用所述色差信息对单位像素进行颜色评价；图像变换步骤，根据所述颜色判定步骤的颜色评价结果，将所述第一图像变换为第二图像。
2.根据权利要求1所述的图像处理方法，其中，所述颜色判定步骤还包括类似度计算步骤，对于第二图像的处理对象像素，利用第一图像的颜色信息计算与至少2个方向有关的类似度；类似性判定步骤，根据类似度，通过至少3个阶段判定对各方向类似性的强弱，所述色差信息生成步骤根据类似性判定步骤的判定结果，用准备好的至少3种方法中的任何一种方法，由所述第一图像的颜色信息而生成色差信息。
3.根据权利要求1所述的图像处理方法，其中，所述图像变换步骤包括1)类似度计算步骤，利用所述第一图像的颜色信息算出与所述处理对象像素的至少2个方向有关、由不同颜色分量的颜色信息构成的异色间类似度，和由相同颜色分量的颜色信息构成的同色间类似度，根据颜色评价结果，区分异色间类似度和同色间类似度并算出类似度；2)类似性判定步骤，根据所述类似度，判定对各方向类似性的强弱，3)第二图像生成步骤，根据所述类似性判定步骤的判定结果，利用所述第一图像的颜色信息生成所述第二图像的颜色信息。
4.根据权利要求1所述的图像处理方法，其中，图像变换步骤包括1)类似度计算步骤，利用所述第一图像的颜色信息算出与所述处理对象像素的至少2个方向有关、由不同颜色分量的颜色信息构成的异色间类似度，和由相同颜色分量的颜色信息构成的同色间类似度，根据颜色评价结果，加权相加所述异色间类似度和所述同色间类似度，并通过改变该加权比来计算类似度，2)类似性判定步骤，根据所述类似度，判定对各方向类似性的强弱，3)第二图像生成步骤，根据所述类似性判定步骤的判定结果，用所述第一图像的颜色信息生成所述第二图像的颜色信息。
5.根据权利要求1所述的图像处理方法，其中，所述图像变换步骤包括第二图像生成步骤，利用与所述处理对象像素位置对应的第一图像像素的颜色信息及其周边像素的颜色信息生成所述第二图像的颜色信息，根据所述颜色评价结果改变其构成比。
6.根据权利要求1所述的图像处理方法，其中，所述图像变换步骤包括1)第二图像生成步骤，用所述第一图像的颜色信息生成第二图像的色差信息，2)色差信息校正步骤，根据所述颜色评价结果，校正所述第二图像的色差信息。
7.根据权利要求1所述的图像处理方法，其中，1)所述颜色判定步骤的色差信息生成步骤对1个处理对象像素生成多种色差信息，2)所述颜色判定步骤的颜色评价步骤还考虑可使所述多种色差信息组合的新色差信息来进行颜色评价。
8.根据权利要求2所述的图像处理方法，其中，所述颜色判定步骤的类似度计算步骤将由不同颜色分量的颜色信息组成的异色间类似度作为类似度来计算。
9.根据权利要求1所述的图像处理方法，其中，所述颜色判定步骤的颜色评价步骤通过不仅结合所述处理对象像素而且结合其周边像素来使用色差信息生成步骤所生成的色差信息进行颜色评价。
10.根据权利要求3或4所述的图像处理方法，其中，所述图像变换步骤的类似度计算步骤，在所述颜色评价中判断为色度低时，主要利用所述异色间类似度作为类似度，判断为色度高时，主要利用所述同色间类似度作为类似度。
11.根据权利要求5所述的图像处理方法，其中，所述图像变换步骤的第二图像生成步骤，在所述颜色评价中判断为色度低时，提高位于所述处理对象像素的第一图像像素的颜色信息的构成比。
12.根据权利要求5所述的图像处理方法，其中，所述图像变换步骤在所述第二图像生成步骤之前，对于所述处理对象像素，具有1)类似度计算步骤，用所述第一图像的颜色信息，算出与至少2个方向有关的类似度，2)类似性判定步骤，根据所述类似度，判定对各方向类似性的强弱，所述类似性判定步骤的判定结果仅在判定为对各方向为相同等级时才根据所述颜色评价结果改变所述构成比。
13.根据权利要求6所述的图像处理方法，其中，所述图像变换步骤的色差信息校正步骤，在所述颜色评价中判断为色度低时，对所述第二图像的色差信息进行广域型滤波处理，判断为色度高时，对所述第二图像的色差信息进行狭域型滤波处理。
14.根据权利要求1所述的图像处理方法，其中，所述颜色判定步骤的颜色评价步骤校正所述色差信息，用所述校正后的色差信息进行颜色评价。
15.根据权利要求14所述的图像处理方法，其中，所述颜色判定步骤的颜色评价步骤进行低通滤波处理，作为对所述色差信息的校正处理。
16.根据权利要求1所述的图像处理方法，其中，所述颜色判定步骤在所述颜色评价步骤之后具有1)色差信息校正步骤，根据所述颜色评价结果，校正所述色差信息，2)二次颜色评价步骤，利用通过所述色差信息校正步骤校正的色差信息，再次进行单位像素的颜色评价，根据所述二次颜色评价步骤的颜色评价结果，将所述第一图像变换为所述第二图像。
17.根据权利要求16所述的图像处理方法，其中，所述颜色判定步骤在所述色差信息校正步骤之前具有1)亮度信息计算步骤，利用所述第一图像的颜色信息算出亮度信息，2)亮度评价步骤，利用所述亮度信息，对单位像素进行亮度评价，所述色差信息校正步骤根据所述二次评价步骤的颜色评价结果和所述亮度评价步骤的亮度评价结果，校正所述色差信息。
18.根据权利要求16所述的图像处理方法，其中，所述颜色判定步骤的色差信息校正步骤对所述色差信息进行中值滤波处理。
19.一种图像处理方法，将由多个颜色分量构成的表色系表示的、由在1个像素中有1个颜色分量的颜色信息的多个像素构成的第一图像变换成在1个像素中由多种颜色信息的多个像素构成的第二图像，其中，包括图像取得步骤，取得第一图像；色差信息生成步骤，根据所述取得的第一图像的颜色分量的颜色信息，生成所述第二图像像素位置的色差信息；颜色评价步骤，用所述生成的第二图像的色差信息对单位像素进行颜色评价；亮度信息生成步骤，根据所述第二图像的单位像素的颜色评价结果，生成第二图像像素位置的亮度信息；输出步骤，使用通过所述色差信息生成步骤生成的色差信息和亮度信息生成步骤生成的亮度信息输出所述第二图像。
20.根据权利要求19所述的图像处理方法，其中，所述第二图像的1个像素位置的色差信息由多种色差信息构成，所述颜色评价步骤还考虑可使所述多种色差信息组合起来的新的色差信息来进行颜色评价。
21.根据权利要求20所述的图像处理方法，其中，所述第一图像用第一颜色分量、第二颜色分量和第三颜色分量组成的表色系表示，第一颜色分量的像素密度配置得比其他的第二颜色分量或第三颜色分量的像素密度高，所述多种色差信息包括第一颜色分量的颜色信息和第二颜色分量的颜色信息的差分组成的第一色差信息、以及第一颜色分量的颜色信息和第三颜色分量的颜色信息的差分组成的第二色差信息，所述新的色差信息由所述第一色差信息和所述第二色差信息的差分组成。
22.根据权利要求19～21中任一项所述的图像处理方法，其中，所述颜色评价步骤校正所述生成的第二图像的色差信息，用所述校正后的色差信息进行颜色评价。
23.根据权利要求22所述的图像处理方法，其中，所述颜色评价步骤通过进行低通滤波处理来校正所述生成的第二图像的色差信息。
24.根据权利要求19～23中任一项所述的图像处理方法，其中，包括类似度计算步骤，在所述亮度信息生成步骤之前，在与所述第二图像像素对应的所述第一图像像素中，用包含该像素的局部区域的不同颜色分量的颜色信息，算出与周边像素之间的至少2个方向有关的异色间类似度，用包含该像素的局部区域的同一颜色分量的颜色信息，算出与周边像素之间的至少2个方向有关的同色间类似度；类似性判定步骤，在所述亮度信息生成步骤前且所述颜色评价步骤后，在与所述第二图像像素对应的所述第一图像像素中，根据所述颜色评价结果，区分通过所述类似度计算步骤算出的所述异色间类似度和所述同色间类似度，判定与周边像素之间的至少2个方向有关的类似性的强弱，所述亮度信息生成步骤根据所述类似性判定步骤的判定结果，生成所述第二图像像素位置的亮度信息。
25.根据权利要求19～24中任一项所述的图像处理方法，其中，所述第一图像的多个像素和所述第二图像的多个像素以相同的位置关系对应。
26.根据权利要求19所述的图像处理方法，其中，所述亮度信息生成步骤使用与所述第二图像像素对应的所述第一图像像素的颜色信息和周边像素的颜色信息，生成所述第二图像像素位置的亮度信息，根据所述第二图像的单位像素的颜色评价结果，改变与所述第二图像像素对应的所述第一图像像素的颜色信息和周边像素的颜色信息的构成比。
27.根据权利要求19所述的图像处理方法，其中，包括类似性判定步骤，在所述色差生成步骤之前，在与所述第二图像像素对应的所述第一图像像素中，用包含该像素的局部区域的颜色信息，判定与周边图像之间的至少2个方向有关的类似性的强弱，色差信息生成步骤根据所述类似性判定步骤的判定结果，生成所述第二图像像素位置的色差信息。
28.根据权利要求27所述的图像处理方法，其中，所述类似性判定步骤在与所述第二图像像素对应的所述第一图像像素中，用包含该像素的局部区域的不同颜色分量的颜色信息，判定与周边像素之间的至少2个方向有关的类似性的强弱。
29.一种图像处理方法，将由多个颜色分量构成的表色系表示的、由在1个像素中至少有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共的所述第一图像没有的颜色信息的第二图像，其中，对于第二图像的处理对象像素，由以下步骤构成1)色差信息生成步骤，用所述第一图像的颜色信息生成色差信息，2)颜色评价步骤，用所述色差信息对单位像素进行颜色评价，3)色差信息校正步骤，根据所述颜色评价步骤的颜色评价结果，从多种校正中选择1种校正，来校正色差信息，4)输出步骤，使用所述校正后的色差信息，输出所述第二图像。
30.根据权利要求29所述的图像处理方法，其中，所述多个校正由第一校正和第二校正构成，第一校正通过进行广域型低通滤波处理来校正所述生成的色差信息，第二校正通过进行狭域型低通滤波处理来校正所述生成的色差信息，所述色差信息校正步骤，在所述颜色评价中判断为色度低时，选择第一校正，在判断为色度高时，选择第二校正。
31.根据权利要求29所述的图像处理方法，其中，所述多个校正由第一校正和第二校正构成，第一校正通过进行广域型中值滤波处理来校正所述生成的色差信息，第二校正通过进行狭域型中值滤波处理来校正所述生成的色差信息，所述色差信息校正步骤，在所述颜色评价中判断为色度低时，选择第一校正，在判断为色度高时，选择第二校正。
32.根据权利要求29所述的图像处理方法，其中，所述第二图像的1个像素位置的色差信息由多种色差信息构成，所述颜色评价步骤还考虑可使多种色差信息组合起来的新的色差信息来进行颜色评价。
33.根据权利要求32所述的图像处理方法，其中，所述第一图像用第一颜色分量、第二颜色分量和第三颜色分量构成的表色系表示，第一颜色分量的像素密度配置得比其他的第二颜色分量或第三颜色分量的像素密度高，所述多种色差信息包括第一颜色分量的颜色信息和第二颜色分量的颜色信息的差分构成的第一色差信息、以及第一颜色分量的颜色信息和第三颜色分量的颜色信息的差分构成的第二色差信息，所述新的色差信息由第一色差信息和第二色差信息的差分构成。
34.根据权利要求29所述的图像处理方法，其中，所述颜色评价步骤通过不仅结合处理对象像素而且结合其周边像素来使用通过所述色差信息生成步骤生成的色差信息而进行颜色评价。
35.根据权利要求29所述的图像处理方法，其中，所述颜色判定步骤的颜色评价步骤校正所述色差信息，用所述校正后的色差信息进行颜色评价。
36.根据权利要求35所述的图像处理方法，其中，所述颜色判定步骤的颜色评价步骤进行低通滤波处理，作为对所述色差信息的校正处理。
37.根据权利要求36所述的图像处理方法，其中，所述的低通滤波为广域型低通滤波。
38.根据权利要求29所述的图像处理方法，其中，具有类似性判定步骤，在所述色差生成步骤之前，在与所述第二图像像素对应的所述第一图像像素中，用包含该像素的局部区域的颜色信息，判定与周边图像之间的至少2个方向有关的类似性的强弱，所述色差信息生成步骤根据所述类似性判定步骤的判定结果，生成所述第二图像像素位置的色差信息。
39.根据权利要求38所述的图像处理方法，其中，1)所述类似性判定步骤通过至少3个阶段判定对各方向类似性的强弱，2)所述色差信息生成步骤根据所述类似性判定步骤的判定结果，用准备好的至少3种方法中的任何一种方法，由所述第一图像的颜色信息而生成色差信息。
40.一种图像处理方法，将由多个颜色分量构成的表色系表示的、由在1个像素中至少有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共的所述第一图像没有的颜色信息的第二图像，其中，对于第二图像的处理对象像素，由以下步骤构成1)亮度信息生成步骤，用所述第一图像的颜色信息，生成亮度信息，2)亮度评价步骤，用所述亮度信息进行单位像素的亮度评价，3)第二图像生成步骤，用所述第一图像的颜色信息，生成所述第二图像的颜色信息，4)第二图像校正步骤，根据所述第二图像的单位像素的亮度评价结果，校正所述第二图像的颜色信息。
41.根据权利要求40所述的图像处理方法，其中，所述亮度评价步骤通过导出位于包含所述处理对象像素的局部区域的多个像素的亮度信息的最大值和分散值而进行亮度评价。
42.根据权利要求41所述的图像处理方法，其中，1)所述亮度评价步骤判别以下两种情况，即是否满足所述亮度信息的最大值和分散值分别在预定值以上的条件，2)所述第二图像校正步骤通过该条件的判别结果，切换地进行两种校正，或者，仅在满足该条件时进行校正。
43.根据权利要求42所述的图像处理方法，其中，所述第二图像校正步骤在所述亮度评价中满足所述条件时，进行广域型的中值滤波处理，在不满足时，进行狭域型的中值滤波处理，或者，仅在满足所述条件时进行中值滤波处理。
44.一种图像处理程序，用于在计算机中执行根据权利要求1～43中任一项所述的图像处理方法的步骤。
45.一种计算机可读的记录媒体，记录了权利要求44所述的图像处理程序。
46.一种装载了权利要求44的图像处理程序的图像处理装置。
全文摘要
一种图像处理方法，将由多个颜色分量构成的表色系表示的、由在1个像素中有1个颜色分量的颜色信息的多个像素构成的第一图像变换成由多个像素构成的、各个像素中至少有一个公共颜色信息的第二图像，这种方法具有颜色判定步骤，包括色差信息生成步骤和颜色评价步骤；以及图像变换步骤，根据颜色判定步骤的颜色评价结果，将第一图像变换为第二图像。所述的色差信息生成步骤，对于第二图像的处理对象像素，用至少3种方法中的任何一种方法，由第一图像的颜色信息生成色差信息；所述的颜色评价步骤，对第二图像的处理对象像素，用所述色差信息对单位像素进行颜色评价。
文档编号H04N9/04GK1488225SQ02804080
公开日2004年4月7日 申请日期2002年1月25日 优先权日2001年1月25日
发明者石贺健一 申请人:株式会社尼康