专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法和程序。特别地，本发明涉及对单板式成像元件的输出执行信号处理的图像处理设备、图像处理方法和程序。
背景技术：
在使用单板式固态成像元件作为成像设备的成像元件(图像传感器)的成像处理中，通过配置如下的滤色器来执行彩色成像使与该成像元件上的各像素相对应的特定颜色(诸如R、G和B)的波长分量透过该滤色器。利用该方法，由于针对每个像素仅可以获得一种颜色(例如，R、G和B中的任一种)，因此生成与这些颜色相对应的马赛克状的图像。
图I (I)示出成像设备所使用的滤色器的示例。针对每个像素单位，被称为拜耳 (Bayer)阵列的该阵列 可使特定波长分量光(R、G、B)透过。在拜耳阵列中，最小单位是用具有可使绿色(G)透过的两个滤波器、可使蓝色(B)透过的一个滤波器和可使红色(R)透过的一个滤波器的四个像素来构造的。
通过这样的滤波器所获得的图像根据R、G、B等的滤波图案(pattern)而变为针对每个像素仅具有颜色信息的图像。将该图像称为马赛克图像(mosaic image)。为了根据该马赛克图像生成彩色图像，需要针对所有像素生成R、G和B的所有颜色信息。
通过使用从周围像素获得的颜色信息在每个像素处执行插值，可以通过计算与所有像素相对应的所有颜色信息(例如，所有的R、G和B)来生成彩色图像。将该插值处理称为去马赛克处理。也就是说，将用以通过基于图I (I)的成像信号生成所有像素单位各自的颜色信息(R、G和B)来获得图I (2)所示的图像信号的处理称为插值处理、去马赛克处理和上采样处理等。
作为颜色插值处理(去马赛克处理)，例如，已提出了包括专利文献UUSP4642678) 的各种方法。
其中，已知专利文献2 (USP5652621)和专利文献3 (日本专利申请早期公开第 7-236147号)中所公开的如下方法使用相关性高的方向上的信号来对未知颜色进行插值， 该方法能够甚至对信号高频分量进行精确插值。
已基于在信号的S/N比优良的情况下叠加至这些信号的噪声可忽略这一隐含假设执行了这些传统处理。
然而，随着近来成像元件的精细化的进行，由于拍摄到的图像的S/N不断恶化，因而相关性检测越来越难。
针对S/N差的图像使用相关性的传统方法造成如下问题(通常称为迷宫伪影 (maze artifact)):通过在图像的平坦部处将噪声误识别为信号来执行相关性检测而生成包括正常不应存在的高频分量的插值像素值。
作为对比，当无需在图像的平坦部处执行相关性处理而执行各向同性的线性插值处理时，不会造成上述问题。然而，通过在成像像素和插值像素之间进行比较，后者不包括噪声高频分量。因此，插值结果变得在视觉上不自然。这样，利用传统的去马赛克处理，难以获得在平坦部处被插值成视觉上更好状态的插值图像。
关于用以改进图像的平坦部处的图像质量的处理，在不同于去马赛克处理的图像处理领域中已提出了各种方法。
通常已知有如下问题图像放大由于在图像的平坦部处高频分量不足而产生散焦图像。例如，专利文献4 (日本专利申请早期公开第2008-263465号)提出了一种用以通过利用图像分形性质向放大后图像的平坦部添加高频分量来生成自然的放大后图像的方法。
此外，专利文献5 (日本专利申请早期公开第2007-28348号)提出了一种用以通过在噪声降低之后重新添加高频噪声来将因噪声降低而丢失的图像粒度(高频分量)恢复为自然图像的方法。
此外，专利文献6 (日本专利申请早期公开第2004-304658号)提出了一种通过向图像的平坦部添加包括高频率的噪声来降低该平坦部处的噪声由此难以识别的方法。
如上所述，已经不同地设计了用以通过向图像的平坦部添加一些信号来提高图像可视性的方法。然而，这些方法无法直接应用于拍摄到的彩色马赛克图像。
在去马赛克处理中，由于所拍摄像素值是真值，所以无需改变。因此，需要仅估计插值像素位置处的像素值。
因此，在向平坦部添加噪声的情况下，为了自然的外观，需要仅向插值像素位置添加噪声，并且考虑到传感器特性来将要添加的噪声设置为如下噪声，其中该噪声使包括在成像像素和插值像素中的噪声量随机相等。
如上所述，为了在去马赛克处理中在平坦部处自然地执行插值，需要考虑传统方法中没有考虑的条件。
引用列表
专利文献
专利文献I :美国专利第4642678号
专利文献2 美国专利第5652621号
专利文献3 日本专利申请早期公开第7-236147号
专利文献4 日本专利申请早期公开第2008-263465号
专利文献5 日本专利申请早期公开第2007-28348号
专利文献6 日本专利申请早期公开第2004-304658号发明内容
发明要解决的问题
本发明是为了解决例如上述问题而作出的，并且其目的在于提供一种通过对由单板彩色成像元件所拍摄到的马赛克图像精确地执行插值处理来实现高质量彩色图像的生成的图像处理设备、图像处理方法和程序。
本发明的实施例的目的是提供如下的图像处理设备、图像处理方法和程序其例如用于在边缘处生成使信号从低频分量充分恢复为高频分量所利用的插值 (interpolation value)并且在平坦部处生成使传感器噪声特性充分恢复所利用的插值。
在视觉上更好的方法中，需要针对彩色马赛克图像的插值处理以在插值图像的所有像素位置处准备所有颜色。边缘部处的视觉更好表示该边缘部的所有像素位置处的信号从低频率到高频率都正确地存在。平坦部处的视觉更好表示在该平坦部的所有像素位置处噪声特性均匀。用于解决问题的方案
本发明的第一方面是一种图像处理设备，包括
低频分量计算处理单元，接收通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像的输入，并且计算与插值像素位置相对应的像素值低频分量；
噪声估计单元，接收所述彩色马赛克图像的输入，并且估计与所述插值像素位置相对应的噪声高频分量；以及
混合处理单元，通过应用与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果来计算所述插值像素位置处的像素值。
此外，根据本发明的图像处理设备的实施例还包括平坦部检测单元，计算所述插值像素位置处的平坦度；以及边缘自适应插值处理单元，通过使用位于边缘方向上的参考像素的像素值来计算所述插值像素位置处的像素值，其中，所述混合处理单元通过执行将所述平坦度计算单元所计算出的平坦度设置为如下混合比率的混合处理来计算所述插值像素位置处的像素值，其中所述混合比率为与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果与所述边缘自适应插值单元所计算出的像素值之间的混合比率。
此外，在根据本发明的图像处理设备的实施例中，所述平坦部检测单元通过对表示所述插值像素位置附近的像素值分布的统计量与预先定义的噪声模型进行比较来计算所述插值像素位置处的平坦度。
此外，在根据本发明的图像处理设备的实施例中，所述平坦部检测单元通过将像素值方差计算作为表示所述插值像素位置附近的像素值分布的统计量、并将所述像素值方差与所述预先定义的噪声模型进行比较，来计算所述插值像素位置处的平坦度。
此外，在根据本发明的图像处理设备的实施例中，所述平坦部检测单元通过将像素值平均值与像素值之间的差绝对值的总和计算作为表示所述插值像素位置附近的像素值分布的统计量、并将所述总和与所述预先定义的噪声模型进行比较，来计算所述插值像素位置处的平坦度。
此外，在根据本发明的图像处理设备的实施例中，所述平坦部检测单元基于所述插值像素位置附近的局部区域中的水平方向高频分量和垂直方向高频分量之间的差来计算所述插值像素位置处的平坦度。
此外，在根据本发明的图像处理设备的实施例中，所述平坦部检测单元基于所述插值像素位置处的高频分量来计算所述插值像素位置处的平坦度。
此外，在根据本发明的图像处理设备的实施例中，所述边缘自适应插值处理单元通过使用位于所述边缘方向上的参考像素的像素值的线性插值处理来计算所述插值像素位置处的像素值。
此外，在根据本发明的图像处理设备的实施例中，所述噪声估计单元将所述插值像素位置处的噪声高频分量计算作为与所述插值像素位置附近的像素位置处的高频分量相等的值。
此外，在根据本发明的图像处理设备的实施例中，所述噪声估计单元将所述插值像素位置处的噪声高频分量计算作为与从所述插值像素位置附近的像素中随机选择的像素的高频分量相等的值。
此外，在根据本发明的图像处理设备的实施例中，所述噪声估计单元通过使用所述单板彩色成像元件的噪声模型来计算所述插值像素位置处的噪声高频分量。
此外，在根据本发明的图像处理设备的实施例中，对通过由所述单板彩色成像元件进行的成像处理所生成的彩色马赛克图像中所包括的多种颜色中的每种颜色执行如下处理通过所述低频分量计算处理单元、所述噪声估计单元和所述混合处理单元的处理来计算所述插值像素位置处的像素值的处理。
此外，在根据本发明的图像处理设备的实施例中，对通过由所述单板彩色成像元件进行的成像处理所生成的彩色马赛克图像中所包括的多种颜色中具有密度最高的像素分布的颜色的高频分量进行计算，并且通过使用所计算出的高频分量作为其它颜色的高频分量来执行插值处理。
此外，本发明的第二方面是一种成像设备，包括
成像单元，其包括单板彩色成像元件；以及
图像处理单元，接收所述成像单元所拍摄到的马赛克图像的输入并且执行根据上述中任一项所述的成像处理。
此外，本发明的第三方面是一种图像处理设备执行的图像处理方法，该方法包括
低频分量计算处理步骤，其中，低频分量计算单元接收通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像的输入，并且计算与插值像素位置相对应的像素值低频分量；
噪声估计步骤，其中，噪声估计单元接收所述彩色马赛克图像的输入并且估计与所述插值像素位置相对应的噪声高频分量；以及
混合处理步骤，其中，混合处理单元通过应用与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果来计算所述插值像素位置处的像素值。
此外，本发明的第四方面是一种用于使图像处理设备执行成像处理的程序，包括
低频分量计算处理步骤，使低频分量计算单元接收通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像的输入，并且计算与插值像素位置相对应的像素值低频分量；
噪声估计步骤，使噪声估计单元接收所述彩色马赛克图像的输入并且估计与所述插值像素位置相对应的噪声高频分量；以及
混合处理步骤，使混合处理单元通过应用与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果来计算所述插值像素位置处的像素值。
这里，例如可以通过以计算机可读形式提供的记录介质或通信介质来将本发明的程序提供给能够执行各种程序代码的图像处理设备和计算机系统。通过以计算机可读形式提供这种程序，采用图像处理设备或计算机系统来实现与该程序相对应的处理。
通过基于后述的本发明实施例和附图的详细说明，本发明的其它目的、特征和优点将更加显而易见。此外，本说明书中的系统是多个设备的逻辑集合结构，并且不限于使各结构的设备容纳在单个机壳内的实体。
发明的效果
如上所述，根据本发明的实施例，可以对单板彩色成像元件所拍摄到的彩色马赛克图像执行插值。在边缘部处生成使信号从低频分量充分恢复为高频分量所利用的插值， 并且在平坦部处生成包括与传感器噪声特性相对应的噪声的插值。根据这些处理，例如，在防止规则图案出现的情况下生成了视觉上更好的插值图像。
具体地，输入通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像，对与插值像素位置相对应的像素值低频分量和噪声高频分量进行估计，并通过应用其相加结果来执行对插值像素位置处的像素值的计算。边缘自适应插值处理单元通过使用位于边缘方向上的参考像素的像素值来计算插值像素位置处的像素值。混合处理单元通过根据插值像素位置的平坦度将边缘自适应插值像素值以及与该插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果混合，来计算最终插值像素值。
根据这些处理，例如，在防止规则图案出现的情况下生成视觉上更好的插值图像。
图I (I)和图I (2)是去马赛克处理的说明图。
图2是本发明的图像处理设备的结构示例的说明图。
图3是作为本发明的图像处理设备的结构示例的成像设备的硬件结构示例的说明图。
图4是本发明的图像处理设备中的当前图像的示例的说明图。
图5是本发明的图像处理设备中的插值处理的示例的说明图。
图6是本发明的图像处理设备的平坦部检测单元101的第一结构示例的说明图。
图7是示出本发明的图像处理设备的当前输入图像的一部分的图。
图8是本发明的图像处理设备的平坦部检测单元101的第二结构示例的说明图。
图9是本发明的图像处理设备的平坦部检测单元101的第三结构示例的说明图。
图10是本发明的图像处理设备的边缘自适应插值处理单元102的实施例的详细结构示例的说明图。
图11是示出本发明的图像处理设备所执行的插值像素值计算处理的流程图的图。
图12是示出应用于本发明的图像处理设备的低频分量计算处理单元103的低通滤波器的系数的示例的图。
图13是示出本发明的图像处理设备的噪声估计单元104的第一结构示例的图。
图14是噪声估计单元104的高频分量计算单元801所使用的高通滤波器的系数的示例的说明图。
图15是图14所示的高通滤波器的应用处理中的像素值的使用示例的说明图。
图16是示出在图13所示的噪声估计单元104的随机选择单元802处随机选择的 G像素位置候选的图。
图17是示出本发明的图像处理设备的噪声估计单元104的第二结构示例的图。
图18是噪声估计单元104的第二结构示例中的噪声高频分量计算单元902所使用的高通滤波器的系数的示例的说明图。
图19是示出应用于如下处理的低通滤波器的系数的示例的图，其中该处理用于使用G的高频分量来于G的奈奎斯特频率附近估计R和B的高频分量。
图20是示出应用于如下处理的高通滤波器的系数的示例的图，其中该处理用于使用G的高频分量来于G的奈奎斯特频率附近估计R和B的高频分量。
具体实施方式
以下，将参照附图来描述本发明的图像处理设备、图像处理方法和程序。按以下顺序进行描述。
I.本发明的图像处理设备所执行的处理的概述
2.本发明的图像处理设备的结构示例
3.在单板彩色成像元件处发生的噪声以及本发明的插值处理
4.本发明的图像处理设备的硬件结构示例
5.本发明的图像处理设备所执行的处理的详情
(5-1.平坦部检测单元)·
(5-2.边缘自适应插值处理单元)
(5-3.低频分量计算处理单元)
(5-4.噪声估计单元)
(5-5.混合处理单元)
6.采用与G像素的插值处理不同的处理作为R和B像素的插值处理的实施例
7.其它实施例
(7-1.滤波器的变型实施例)
(7-2.平坦度计算处理的变型实施例)
(7-3.噪声估计单元的变型实施例)
(7-4.滤色器阵列的变型实施例)
(7-5. R和B的插值处理的变型实施例)
[I.本发明的图像处理设备所执行的处理的概述]
首先，将描述本发明的图像处理设备所执行的处理的概述。
本发明的图像处理设备通过对使用单板彩色成像元件所拍摄到的马赛克图像精确地执行插值处理来生成高质量彩色图像。为了实现该目的，本发明的图像处理设备区别各图像区域的属性，具体地，区别边缘部和平坦部，并且执行适合于边缘部的插值方法和适合于平坦部的插值方法。
采用上述处理，将单板彩色成像元件所拍摄到的颜色的马赛克图像插值成视觉上更好的图像。在边缘部处，信号振幅与噪声振幅相比占主导，并且适合执行可以使信号充分恢复为高频分量的插值处理。相比之下，在平坦部处，噪声振幅相对于信号振幅占主导，并且适合执行可以使噪声充分恢复为高频分量的插值处理。例如，在本发明的图像处理设备的实施例中，在边缘部处执行传统的优良插值处理，并且在平坦部处执行传统处理中没有考虑的用以恢复噪声高频分量的插值处理。
[2.本发明的图像处理设备的结构示例]
如上所述，本发明的图像处理设备区别边缘部和平坦部并执行分别适合于这两者9的插值处理。为了选择性地使用两种不同的插值方法，提供了以下处理装置。
关于每个像素位置的模糊颜色
(I)检测图像的平坦部的平 坦部检测装置
(2)计算像素值的低频分量的低频分量计算装置
(3)估计噪声高频分量的噪声估计装置
(4)沿着边缘方向的线性插值装置(边缘自适应插值处理单元)
(5)根据通过使用(I)所计算出的平坦度来将通过使用(2)和(3)所计算出的插值像素值与通过使用(4)所计算出的插值像素值混合的混合装置
图2示出设置有上述装置的本发明的框图。
将通过使用图2来描述本发明的图像处理设备的结构示例。图2所示的图像处理设备包括上述(I)至(5)的各个结构元件，即平坦部检测单元101、边缘自适应插值处理单元102、低频分量计算处理单元103、噪声估计单元104和混合处理单元105。本发明的图像处理设备例如可以在诸如成像设备和PC的各种设备中实现。图2所示的框图示出执行根据本发明的处理的元件，这些元件是从上述各设备提取的。
具体地，可以例如在成像设备的数字信号处理器(DSP)处或PC的CPU处通过根据预先存储在存储器中的程序的图像处理来执行与图2所示的结构相对应的处理。
本发明的图像处理设备中的当前图像是单板彩色成像元件所拍摄到的颜色的马赛克图像。在该图像中，如以上参照图I (I)所述，在每个像素单位处仅设置诸如R、G和B 的特定颜色的像素值。
边缘自适应插值处理单元102生成适合于边缘部的插值。
在低频分量计算处理单元103和噪声估计单元104处生成适合于平坦部的插值。
混合处理单元105通过使用平坦部检测单元101所计算出的平坦度来对这两个插值结果执行混合处理。利用上述处理，可以在所有插值像素位置处获得在视觉上更好的作为插值结果的插值图像。这里，该插值图像表示在所有像素位置处设置了各种颜色(例如， R、G和B)的图像。
[3.在单板彩色成像元件处发生的噪声以及本发明的插值处理]
在本发明的图像处理设备中，在当前图像中区别像素值变化大的边缘部和像素值变化小的平坦部。在边缘部处，执行传统的插值处理。在平坦部处，对低频分量执行线性插值并且对高频分量执行用以估计噪声高频分量的处理。
以下将描述用于执行上述处理的原因。
由于在每个像素处单独发生单板彩色成像元件处所发生的噪声并且噪声量随机波动，因此无法得知没有观察到的像素位置处的噪声值。也就是说，作为要处理的图像的马赛克图像针对每个像素单位可以提供例如R、G和B的颜色中的仅一种颜色。例如，在平坦部的R像素位置处，尽管可以计算与R相对应的噪声量，但无法计算与G和B相对应的噪声并且需要对该噪声进行随机估计。
插值处理例如是估计R像素位置的G或B的像素值的处理。因此,仅可以将随机意义上的可能噪声估计为插值像素位置处的噪声。可以考虑两种方法作为噪声估计处理。
以下将在图像的平坦部处的信号仅具有DC分量的假设下给出描述。
第一噪声估计方法是利用如下性质的噪声估计方法即使在平坦部处两个成像像素的像素值被调换，图像质量也不会劣化。
由于平坦部是像素值没有变化的图像区域并且在任何像素位置处信号均恒定，因此仅噪声由于像素值的调换而变化。
由于噪声在像素处独立发生，因此对于调换像素值之前的图像和调换之后的图像这两者，生成概率相同。因此，这两个图像被视为有可能。在利用上述概念时，平坦部处的插值处理变为用于在成像像素当中选择一个像素、并使用该像素的值作为插值的处理。
此时，需要执行不会导致被选择作为插值的像素位置的偏差的选择。
在继续使用相同像素位置的像素值作为多个插值位置的像素值的情况下，所有插值像素的值变为相同值。因此，出现如下问题除了造成正常不应当存在的空间图案以外， 还偏离了正常噪声概率分布。
优选使被选择作为插值的像素位置随机化以防止上述问题的发生。
第二噪声估计方法利用可以预先对在成像元件处发生的噪声进行建模的性质。已对成像元件的噪声进行了详细检查。例如，以下文献描述了详情。
[K. Irie et al. , 〃A model for measurement of noise in CCDdigital- video cameras' Meas. Sci. Technol. 19, 2008]
[H. Tian, 〃Noise Analysis in CMOS Image Sensors'Ph. D Thesis, Stanford University, CA, 2000]
[Kazuya Yonemoto, "Foundation and application of CCD/CMOSimage sensor", CQ publishing CO. , Ltd. , 2003]
详情在上述文献中进行了描述。
利用成像元件，在对多种因素的噪声进行相加的情况下仅观察一个噪声量。关于相加之后的噪声，例如，如以下文献所述，已知可以通过如由表达式I所表示的线性表达式来对信号值和噪声的方差进行近似。
[A. Bosco. et. al. , "Signal dependent raw image denoising usingsensor noise characterization via multiple acquisitions", IS&T/SPIEElectronic Imaging, 2010]
[表达式I]
Vn(I) = al+b---表达式 I
在上述表达式I中，“I”表示信号值，Vn (I)表示噪声方差，并且“a”和“b”表示依赖于成像元件的常数。
成像元件的噪声具有以简化方式根据上述表达式I计算的方差，并且被建模为平均值为O的高斯分布的白色噪声。
为了通过使用以上表达式I来获得噪声方差，需要得知当前图像的信号值(像素值)。由于噪声的期望值为0，因此可以通过对平坦部处的充足数量的像素进行平均来得知近似信号值。在得知了噪声模型和信号值的情况下，可以通过对根据噪声模型随机生成的噪声添加信号值来计算平坦部处的可能像素值。因此，可以使用该像素值作为插值像素位置的像素值。例如，优选使用与成像元件相对应地预先获得的噪声模型。
在上述两种方法的描述中，需要注意在图像的平坦部处的信号仅具有DC分量的假设下给出该描述。11
在实际图像中几乎不存在信号仅具有DC分量的区域。在大多数情况下，在平坦部处甚至还存在主要具有低频分量的振幅小的纹理。
因此，当直接使用上述两种类型的方法时，纹理结构被破坏并且获得了视觉上不自然的插值图像。这里，将图像划分成高频率和低频率这两个频带。线性插值用于低频率的插值并且上述两种方法用于高频率的插值。通过执行频带划分，尽管在确切意义上噪声的白色性略微变差，但在视觉上可以充分维持白色性。同时，由于对于平坦部处的纹理而言低频分量占主导，因此可以利用线性插值来获得充分的图像质量。
上述考虑概述如下。
在边缘部处执行传统的插值处理的情况下，在平坦部处，仅需对低频分量执行线性插值并且对高频分量执行噪声高频分量的估计。在以下实施例中，对如下示例进行描述 作为在边缘部处要进行的插值处理，应用上述美国专利第5652621号和日本专利申请早期公开第7-236147号中所公开的沿着边缘方向的线性插值处理。
[4.本发明的图像处理设备的硬件结构示例]
以下将基于附图来描述本发明的实施例。本实施例例示实现本发明的成像设备 (数码摄像装置)。首先，将描述总体的结构和操作，然后描述每个单元的结构和操作。最后， 将描述根据本实施例可以推导出的本发明的实施例变型。
图3是示出作为本发明的图像处理设备的实施例的数字摄像机系统的结构的框图。如图3所示，图像处理设备由以下构成镜头201、光圈202、CXD图像传感器203、相关双采样电路204、A/D转换器205、DSP块206、定时发生器207、D/A转换器208、视频编码器 209、视频监视器210、编解码器(CODEC) 211、存储器212、CPU 213和输入装置214。
输入装置214包括操作按钮等，诸如，配置在摄像装置本体的记录按钮。此外，DSP 块206是具有信号处理用处理器和图像RAM的块，并且该信号处理用处理器能够对存储在图像RAM中的图像数据执行预先编程的图像处理。以下将DSP块简称为DSP。
在通过光学系统之后到达CXD 203的入射光首先到达C⑶成像面上的每个光接收元件，并且通过光接收元件的光电转换而转换成电信号。然后，在由相关双采样电路204进行去噪并由A/D转换器205进行数字化之后，在DSP 206中的图像存储器中进行临时存储。
在成像状态下，定时发生器207控制信号处理系统以维持以恒定帧率进行的图像捕获。在也以恒定速率将像素流传送至DSP 206并且在DSP206处执行了适当图像处理之后，将图像数据传送至D/A转换器208和编解码器211中的任一个或这两者。从DSP 206 传送的图像数据由D/A转换器208转换成模拟信号并且随后由视频编码器209转换成视频信号，然后，可以在视频监视器210上监视该视频信号。在本实施例中，视频监视器210执行摄像装置取景器的功能。此外，编解码器211对从DSP 206传送的图像数据进行编码并将编码后的图像数据记录在存储器212中。这里，存储器212可以是使用半导体、磁性记录介质、磁光记录介质或光学记录介质等的记录装置等。
上述是对本实施例的数字摄像机的整个系统的描述。这里，DSP 206执行作为与本发明有关的图像处理的插值处理等。在作为图3所示的数码摄像装置的图像处理设备的情况下，图2的图像处理设备的结构与DSP206的处理结构相对应。
以下将描述作为图3所示的数码摄像装置的图像处理设备的DSP 206所执行的处理示例作为实施例。CN 102934447 A书明说10/21 页
在DSP 206中，实现了如下计算单元其用以对输入图像信号的流顺序地执行以预定程序代码描述的计算。在以下描述中，将该程序中的每个处理单位描述为功能块并且用流程图来描述执行各处理的序列。这里，除本实施例中要描述的程序的形式以外，可以通过对实现与以下所述的功能块相同的处理的硬件电路进行实施来构造本发明。
在本实施例中，将利用以下三个不同结构来描述图2中的平坦部检测单元101。
(a)使用像素值的统计量的结构
(b)使用像素值在水平方向和垂直方向上的高频分量的结构
(c)使用像素值的各向同性高频分量的结构
此外，关于图2中的噪声估计单元104，对以下两个不同的结构进行描述用以通过使用周围像素的噪声高频分量来估计插值位置的噪声高频分量的结构；以及用以通过使用噪声模型来进行估计的结构。例如，优选使用根据成像元件预先获得的噪声模型。
此外，在下述实施例中，对如下示例进行描述要对由具有图4所示的一般滤色器阵列的单 板彩色成像元件所拍摄的颜色的马赛克图像进行处理。图4所示的马赛克图像是与以上参照图I (I)所述的马赛克图像相似的图像。
可以通过对R、G和B这三种颜色单独应用本发明的插值处理来针对每个像素按三种颜色进行插值。因此，以下将描述G的插值处理作为代表示例。
在图4所示的滤色器阵列中，R和B的像素数仅是G的像素数的一半。这里，如图 5所示，仅需应用本发明以使得首先使R和B的像素数变为两倍，并且将本发明应用于插值后的R和B以使得使它们的像素数进一步变为两倍。
也就是说，仅需将要应用于G的处理针对R和B各自执行两次。此外，稍后将描述用以通过仅将本发明应用于G像素而利用其它方法对R和B的像素进行插值的方法作为另一有效方法。
[5.本发明的图像处理设备所执行的处理的详情]
以下将顺序地描述图2所示的图像处理设备的各处理单元的详细处理。
(5-1.平坦部检测单元)
平坦部检测单元101计算构成当前图像的每个图像区域的平坦度。也就是说，计算表示局部区域的平坦程度的平坦度(Flatness)。
作为O至I的连续值的平坦度(Flatness)是在局部区域完全平坦时为I而在存在大边缘时为O的参数。将平坦度(Flatness=(Tl)的值输出至混合处理单元105以用作混合比率。
也就是说,使用平坦度(Flatness=(Tl)作为混合比率(a =FlatnessX例如,混合处理单元105执行如下处理将边缘自适应插值处理单元102的输出乘以(I-α )，将低频分量计算处理单元103的输出与噪声估计单元104的输出的相加值乘以(α )，并将用于对两个相乘值进行相加的混合处理的结果输出作为插值像素值。后面将描述这些处理。
图6是示出平坦部检测单元101的第一结构示例的图。
对于以插值像素位置作为中心的局部区域，统计量计算单元301计算平均值以及方差或方差近似值作为表示像素值分布的统计量。
将参照图7来描述具体处理示例。图7示出当前输入图像的一部分。该输入图像是在每个像素位置处仅具有R、G和B中的任一个的像素值的马赛克图像。由图7所示的Gtl13CN 102934447 A书明说11/21 页到G11来表示马赛克图像中的像素设置位置。中心Ge表示设置有原本不是G像素的R或B 像素的像素值的像素位置。插值处理是用以计算中心的G像素值的处理，并且中心像素位置变为插值像素位置。
在Gtl至G11表示存在于Ge附近的成像的G像素值时，通过以下所示的表达式2来获得插值像素位置Ge的位置处的平均值Ave、方差Var和方差近似值ApxVar。
[表达式2]I /=11[οι so] Ave =——^ G-I 1/=0I /=11 [οι 81 ] Var =—工―(Gi - ylve) 12I ,=11[οι 82] Apx Var =——y[I OiZ
在上述表达式中，在满足“i=0到11”时,“i”表示图7所示的G像素的数量。
方差近似值ApxVar由Gtl至G11的各个像素值与平均值之间的差绝对值的总和来表不。
平坦度计算单元1302通过使用先前准备的噪声模型(例如，上述表达式I)来获得 Vn (Ave)0
Vn (Ave)表示在像素值为Ave时的噪声方差。因此，在局部区域平坦时，Ave变为信号值的充分近似值，并且期望Var和Vn (Ave)大致相等。相比之下，在局部区域处存在可与噪声区别开的边缘时，期望Var与Vn (Ave)大大不同。
平坦度计算单元1302通过利用上述现象来计算表示局部区域的平坦程度的平坦度。
通过以下表达式3来表示用以计算Ge处的平坦度的表达式。f f rr \ \ I CfTI
[表达式 3]= I - min max ^-r-1, 0 '，I ——表达式 3V I Ave I\ V ^ v f J )
使用方差近似值来替代方差作为统计量的情况与除了改变噪声模型以外还使用方差的情况相同。
如上述表达式I所示，信号值与噪声方差之间的关系是线性的。然而，信号值和噪声方差近似值之间的关系变得非线性。
非线性关系可以直接使用或利用几条虚线来近似。简单地，可以利用单条直线来将其近似为线性关系。
通过在所有插值像素位置处执行上述处理，可以在所有插值像素位置处获得平坦度。
图8是示出平坦部检测单元101的第二结构示例的图。
水平方向高频分量计算单元401获得在局部区域的多个位置处所计算出的水平方向高通滤波器的结果的绝对值的总和。
垂直方向高频分量计算单元402获得在局部区域的多个位置处所计算出的垂直(τ ~表达式214方向高通滤波器的结果的绝对值的总和。
以下表达式4是用以在图7的中心所示的插值像素位置Ge的位置处计算水平方向高频分量Hh和垂直方向高频分量Vh的表达式。
[表达式4]
Hh = IG0-G11 +1G2-G31 +1G3-G41 +1G5-G61 +1G7-G81 +1G8-G91 +1G10-G11
Vh = IG2-G71 +1G0-G51 +1G5-G101 +1G3-G81 +1G1-G61 +1G6-G111 +1G4-G91表达式 4
当局部区域平坦时，Hh和Vh仅包括噪声分量，并且期望Hh和Vh大致相等。
相比之下，当局部区域处存在可与噪声区别开的边缘时，期望Hh和Vh彼此大大不同。
平坦度计算单元2403通过利用上述现象来计算表示局部区域的平坦程度的平坦度。
通过以下表达式5来表示用以计算图7的中心处所示的插值像素位置Ge的位置处的平坦度的表达式。
权利要求
1.一种图像处理设备，包括 低频分量计算处理单元，接收通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像的输入，并且计算与插值像素位置相对应的像素值低频分量； 噪声估计单元，接收所述彩色马赛克图像的输入，并且估计与所述插值像素位置相对应的噪声高频分量；以及 混合处理单元，通过应用与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果来计算所述插值像素位置处的像素值。
2.根据权利要求I所述的图像处理设备，其中，还包括 平坦部检测单元，计算所述插值像素位置处的平坦度；以及 边缘自适应插值处理单元，通过使用位于边缘方向上的参考像素的像素值来计算所述插值像素位置处的像素值， 其中，所述混合处理单元通过执行将所述平坦度计算单元所计算出的平坦度设置为如下混合比率的混合处理来计算所述插值像素位置处的像素值，所述混合比率为与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果与所述边缘自适应插值单元所计算出的像素值之间的混合比率。
3.根据权利要求2所述的图像处理设备，其中，所述平坦部检测单元通过对表示所述插值像素位置附近的像素值分布的统计量与预先定义的噪声模型进行比较来计算所述插值像素位置处的平坦度。
4.根据权利要求3所述的图像处理设备，其中，所述平坦部检测单元通过将像素值方差计算作为表示所述插值像素位置附近的像素值分布的统计量、并将所述像素值方差与所述预先定义的噪声模型进行比较，来计算所述插值像素位置处的平坦度。
5.根据权利要求3所述的图像处理设备，其中，所述平坦部检测单元通过将像素值平均值与像素值之间的差绝对值的总和计算作为表示所述插值像素位置附近的像素值分布的统计量、并将所述总和与所述预先定义的噪声模型进行比较，来计算所述插值像素位置处的平坦度。
6.根据权利要求2所述的图像处理设备，其中，所述平坦部检测单元基于所述插值像素位置附近的局部区域中的水平方向高频分量和垂直方向高频分量之间的差来计算所述插值像素位置处的平坦度。
7.根据权利要求2所述的图像处理设备，其中，所述平坦部检测单元基于所述插值像素位置处的高频分量来计算所述插值像素位置处的平坦度。
8.根据权利要求2所述的图像处理设备，其中，所述边缘自适应插值处理单元通过使用位于所述边缘方向上的参考像素的像素值的线性插值处理来计算所述插值像素位置处的像素值。
9.根据权利要求I或2所述的图像处理设备，其中，所述噪声估计单元将所述插值像素位置处的噪声高频分量计算作为与所述插值像素位置附近的像素位置处的高频分量相等的值。
10.根据权利要求9所述的图像处理设备，其中，所述噪声估计单元将所述插值像素位置处的噪声高频分量计算作为与从所述插值像素位置附近的像素中随机选择的像素的高频分量相等的值。
11.根据权利要求9所述的图像处理设备，其中，所述噪声估计单元通过使用所述单板彩色成像元件的噪声模型来计算所述插值像素位置处的噪声高频分量。
12.根据权利要求I至11中任一项所述的图像处理设备，其中，对通过由所述单板彩色成像元件进行的成像处理所生成的彩色马赛克图像中所包括的多种颜色中的每种颜色执行如下处理通过所述低频分量计算处理单元、所述噪声估计单元和所述混合处理单元的处理来计算所述插值像素位置处的像素值。
13.根据权利要求I至11中任一项所述的图像处理设备， 其中，对通过由所述单板彩色成像元件进行的成像处理所生成的彩色马赛克图像中所包括的多种颜色当中具有密度最高的像素分布的颜色的高频分量进行计算，并且 通过使用所计算出的高频分量作为其它颜色的高频分量来执行插值处理。
14.一种成像设备，包括 成像单元，包括单板彩色成像元件；以及 图像处理单元，接收所述成像单元所拍摄到的马赛克图像的输入并且执行根据权利要求I至13中任一项所述的成像处理。
15.一种图像处理设备执行的图像处理方法，包括 低频分量计算处理步骤，其中，低频分量计算单元接收通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像的输入，并且计算与插值像素位置相对应的像素值低频分量； 噪声估计步骤，其中，噪声估计单元接收所述彩色马赛克图像的输入并且估计与所述插值像素位置相对应的噪声高频分量；以及 混合处理步骤，其中，混合处理单元通过应用与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果来计算所述插值像素位置处的像素值。
16.一种用于使图像处理设备执行成像处理的程序，包括 低频分量计算处理步骤，使低频分量计算单元接收通过由单板彩色成像元件进行的成像处理所生成的彩色马赛克图像的输入，并且计算与插值像素位置相对应的像素值低频分量; 噪声估计步骤，使噪声估计单元接收所述彩色马赛克图像的输入并且估计与所述插值像素位置相对应的噪声高频分量；以及 混合处理步骤，使混合处理单元通过应用与所述插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果来计算所述插值像素位置处的像素值。
全文摘要
提供了一种实现对通过单板彩色成像元件的成像处理所生成的彩色马赛克图像的插值处理的设备和方法。输入通过单板彩色成像元件的成像处理所生成的彩色马赛克图像，估计与插值像素位置相对应的像素值低频分量和噪声高频分量，并且对结果进行相加并用于计算插值像素位置的像素值。在边缘自适应插值处理单元中使用边缘方向上的参考像素的像素值来计算插值像素位置处的像素值。混合处理单元通过根据插值像素位置的平坦度将边缘自适应插值像素值以及与插值像素位置相对应的像素值低频分量和噪声高频分量的相加结果混合来计算最终插值图像。
文档编号H04N9/07GK102934447SQ20118002817
公开日2013年2月13日 申请日期2011年5月9日 优先权日2010年6月16日
发明者野村宜邦, 光永知生, 张婷, 松下伸行 申请人:索尼公司