专利名称：图像处理设备、图像处理方法以及程序的制作方法
技术领域：
本发明涉及一种图像处理设备、图像处理方法及程序。特别地，一种对具有RGBW 模式的图像获取元件的输出执行信号处理的图像处理设备、图像处理方法以及程序。
背景技术：
例如在图像获取设备中使用的图像获取元件(图像传感器)具有如下结构其中， 透射特定波长分量的光(R、G和B)的滤色器以各个像素为单位固定到元件前表面上。例如，利用具有图1(a)中示出的RGB模式的滤波器。在使用图像获取元件的输出信号的彩色图像生成处理中，执行通过多个像素的集合来重构必要的颜色分量的处理。对于滤色器的色彩模式存在多种类型，但是通常利用由仅透射红(R)、绿(G)以及蓝(B)的特定波长光的三种类型的滤波器构成的、图1(a)中示出的拜耳模式。近年来，图像获取元件(图像传感器)中的像素的小型化得到了发展，并且伴随于此，出现了如下问题各个像素上的入射光的量减小，并且S/N比率劣化。为了解决该问题， 如图1(b)所示，提出了如下图像传感器(图像获取元件)除了仅透射特定波长光(诸如 RGB)的滤波器之外，其还具有广泛地透射可见光范围中的光的白(W:White)。图1(b)示出了具有RGBW模式的滤波器的示例。图1(b)中示出的RGBW模式中的W像素是广泛地透射可见光范围中的光的滤波器。例如，在专利文献1(美国专利第2007/0024879号)和专利文献2 (美国专利第 2007/0024934号)中公开了安装有具有白(W=White)像素的滤色器的这种图像获取元件。通过使用具有图1(b)中示出的包括白(W=White)像素的滤色器的图像获取元件 (图像传感器)，增大了滤波器的透光因子，并且可以实现较高的灵敏度。然而，作为RGBW类型元件的问题点，存在以下问题点。图1 (a)中示出的RGB模式或者图1 (b)中示出的RGBW模式是R、G、B以及W中任意的滤波器以马赛克方式排列的一片元件，即，单个图像传感器。因此，当生成彩色图像时， 需要用作用于生成与各个像素对应的RGB像素值的彩色编码的去马赛克处理。在图1(b)中示出的RGBW模式中，与图1(a)中示出的RGB模式相比，R、G以及B 分量的采样速率降低。结果，在彩色图像生成处理时，在使用具有图1(b)中示出的RGBW模式的元件的获得数据的情况下，与图1(a)中示出的RGB模式相比，出现了易于产生假彩色的问题。另外，由于白(W)的波长分量包括R、G以及B的所有波长分量，因此当使用具有较大色差的光学透镜时，与具有单个颜色分量的光学透镜相比，对于RGB波长分量的集光率下降，并且还出现了引起分辨率降低的问题。随着像素小型化的发展，该问题点变得愈加突出ο作为用于防止分辨率由于光学透镜的色差而下降的技术，通过组合不同折射率的透镜来抑制色差的产生是有效的，但是在该情况下，出现了成本随着光学透镜的数量增加而增加的新问题。此外，对于这样的配置，还出现了如下问题由于对于上述RGB分量的采样速率的下降而导致的假彩色问题变得更加突出。
另外，由于单个图像传感器的各个像素仅具有关于信号颜色分量的信息，因此执行获得与所有像素对应的RGB像素值的去马赛克处理，以从离散地获得的R、G、B以及W信号获得彩色图像。在该去马赛克处理时，执行内插处理，同时假设在局部区域中颜色比率基本保持恒定并且存在较强的颜色相关性。具体地，当计算某一像素的特定颜色的像素值时， 广泛地采用使用周围像素值的内插方法。关于该方法，例如，在专利文献3(日本未审查专利申请公布第2009-17544号)中进行了描述。然而，在边缘附近，上述假设(即，在局部区域中颜色比率保持基本恒定并且存在较强的颜色相关性)不成立。结果，出现了在边缘附近易于产生假颜色的问题。引用列表专利文献PTL 1 美国专利第 2007/0024879 号PTL 2 美国专利第 2007/00249；34 号PTL 3 日本未审查专利申请公布第2009-17544号
发明内容
技术问题本发明的目的是提供一种图像处理设备、图像处理方法以及程序，通过该图像处理设备、图像处理方法以及程序，在应用具有例如包括白(W=White)的RGBW类型滤色器的图像获取元件(图像传感器)的获得数据的彩色图像生成处理中，实现了生成具有较少假彩色的高质量彩色图像。问题的解决方案本发明的第一方面在于一种包括数据转换处理单元的图像处理设备，该数据转换处理单元通过对二维像素阵列信号进行分析来执行像素转换，在该二维像素阵列信号中， 作为亮度信号的主分量的像素以棋盘式(checkered)方式布置，而作为颜色信息分量的多种颜色的像素布置在剩余部分中。此外，在根据本发明的图像处理设备的实施例中，作为亮度信号的主分量的颜色是白色或绿色。此外，在根据本发明的图像处理设备的实施例中，数据转换处理单元包括边缘检测单元，其通过对二维像素阵列信号进行分析来生成边缘信息；纹理检测单元，其通过对二维像素阵列信号进行分析来生成纹理信息；参数计算单元，其通过对二维像素阵列信号进行分析来计算应用于像素转换处理的参数；以及混和处理单元，其输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。此外，在根据本发明的图像处理设备的实施例中，设置有边缘检测单元，其通过对由RGB像素和白(W)像素构成的RGBW模式信号进行分析，来生成包括与各个像素对应的边缘方向和强度信息的边缘信息；纹理检测单元，其通过对RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；参数计算单元，其计算用于将RGBW模式转换为RGB模式的参数，并且生成与通过内插处理算出的内插像素值等同的参数，在该内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置；以及混和处理单元，其输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。此外，在根据本发明的图像处理设备的实施例中，参数计算单元具有通过内插处理生成参数的配置，在该内插处理中，应用于内插处理的像素位置被设置为沿边缘方向的像素位置。此外，在根据本发明的图像处理设备的实施例中，参数计算单元具有通过内插处理生成参数的配置，该内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性。此外，在根据本发明的图像处理设备的实施例中，图像处理设备还包括临时像素设置单元，其通过内插处理对于W像素位置设置RGB像素之一的像素值，该内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性，并且参数计算单元具有通过应用临时像素设置数据的内插处理来生成参数的配置。此外，在根据本发明的图像处理设备的实施例中，参数计算单元生成与通过内插处理算出的内插像素值等同的多个参数，在该内插处理中，根据作为垂直、水平、左斜上以及右斜上四种类型的边缘方向的边缘方向，将所应用的像素位置设置在沿边缘方向的像素位置，并且混和处理单元在垂直、水平、左斜上以及右斜上四种类型的边缘方向当中执行强度比较，并且执行根据比较结果来改变多个参数的混和比率的混和处理。此外，在根据本发明的图像处理设备的实施例中，混和处理单元计算与转换像素对应的垂直水平方向边缘和对角线方向边缘的边缘方向比率(ratioFlat)，并且还基于边缘方向比率(ratioFlat)计算垂直水平方向边缘方向权重(weightHV)，当值较大时，该垂直水平方向边缘方向权重(weightHV)表示垂直水平方向边缘比对角线方向边缘更强，而当值较小时，其表示对角线方向边缘比垂直水平方向边缘更强，并且在与转换像素对应的垂直水平方向边缘比对角线方向边缘更强的情况下，通过增加在边缘方向被设置为垂直或水平方向时算出的参数的混和比率来执行混和处理，而在与转换像素对应的垂直水平方向边缘比对角线方向边缘更弱的情况下，通过增加在边缘方向被设置为对角线方向时算出的参数的混和比率来执行混和处理。此外，在根据本发明的图像处理设备的实施例中，纹理检测单元计算与各个像素对应的平坦度权重(weightFlat)作为纹理信息，对于具有小纹理和高平坦度的像素区域， 该平坦度权重(weightFlat)表示高值，而对于具有大纹理和低平坦度的像素区域，其表示低值，参数计算单元计算对内插像素值执行对比度强调处理的、对比度强调处理可适用参数、以及不对内插像素值执行对比度强调处理的、对比度强调处理非适用参数，并且混和处理单元通过对于具有大平坦度权重的像素将对比度强调处理非适用参数的混和比率设置得较大而对于具有小平坦度权重的像素将对比度强调处理可适用参数的混和比率设置得较大，来执行混和处理。此外，在根据本发明的图像处理设备的实施例中，边缘检测单元具有通过仅利用 RGBW模式信号的白(W)像素的分析处理，生成与各个像素对应的边缘信息的配置，并且通过计算处理目标像素附近的W像素的信号值梯度，生成包括与各个像素对应的边缘方向和强度信息的边缘信息。此外，在根据本发明的图像处理设备的实施例中，纹理检测单元通过仅利用RGBW 模式信号的白(W)像素的分析处理，生成表示与各个像素对应的纹理比率的纹理信息。此外，本发明的第二方面在于一种在图像处理设备中执行图像信号处理的图像处理方法，该图像处理方法包括边缘检测步骤，其利用边缘检测单元，通过对由RGB像素和白(W)像素构成的RGBW 模式信号进行分析，来生成包括与各个像素对应的边缘方向和强度信息的边缘信息；纹理检测步骤，其利用纹理检测单元，通过对RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；参数计算步骤，其利用参数计算单元，生成与通过内插处理算出的内插像素值等同的参数，在该内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置，该参数计算单元是计算用于将RGBW模式转换为RGB模式的参数的参数计算单元；以及混和处理步骤，其利用混和处理单元，输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。此外，本发明的第三方面在于一种用于使图像处理设备执行图像信号处理的程序，该程序包括边缘检测步骤，其使边缘检测单元通过对由RGB像素和白(W)像素构成的RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；纹理检测步骤，其使纹理检测单元通过对RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；参数计算步骤，其使参数计算单元计算用于将RGBW模式转换为RGB模式的参数并且生成与通过内插处理算出的内插像素值等同的参数，在该内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置；以及混和处理步骤，其使混和处理单元输入参数计算单元算出的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。应注意，本发明的程序是例如可以通过以计算机可读方式设置于能够执行各种程序代码的图像处理设备和计算机系统的存储介质或通信介质来提供的程序。通过以计算机可读方式提供这样的程序，在图像处理设备或计算机系统上实现了根据该程序的处理。从基于以下将描述的本发明的实施例和附图的更详细描述中，本发明另外的目的、特征以及优点将变得明显。应注意，本说明书中的系统是多个设备的逻辑集合配置，并且各个配置的设备不限于同一外壳中的设备。发明的有利效果根据本发明的实施例的配置，可以通过输入包括白(W=White)的、例如具有RGBW 类型滤色器的图像获取元件(图像传感器)的获得数据，生成用于生成具有较少假彩色的高质量彩色图像的RGB模式数据。具体地，边缘检测单元对RGBW模式的图像获取元件的输出信号进行分析，以获得与各个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元执行内插处理以生成与内插像素值等同的参数，在该内插处理中，根据转换像素的边缘方向来改变所应用的像素位置。在混和处理单元中，输入参数计算单元生成的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变参数计算单元算出的参数的混和比率，执行混合处理，并且确定转换像素值。通过这些处理，可以生成RGB模式数据，用于生成具有较少假彩色的高质量彩色图像。
图1是用于描述作为在一般的滤色器中使用的颜色模式的拜耳模式和本发明中所应用的RGBW模式的示例的说明图。图2是用于描述作为根据本发明的实施例的处理的、作为从RGBW模式到RGB模式的转换处理而执行的重排马赛克(remosaic)处理的说明图。图3是用于描述根据本发明的、作为从RGBW模式到RGB模式的转换处理而执行的重排马赛克处理的各个处理的说明图。图4是用于描述根据本发明的、作为从RGBW模式到RGB模式的转换处理而执行的重排马赛克处理的各个处理的说明图。图5是用于描述与根据本发明的实施例的图像处理设备有关的图像获取设备的配置示例的说明图。图6是用于描述数据转换处理单元的配置和处理的说明图。图7是用于描述图6中示出的噪声去除单元201执行的处理的说明图。图8是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。图9是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。图10是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。图11是用于描述图6中示出的边缘检测单元209执行的边缘检测处理的说明图。图12是用于描述图6中示出的纹理检测单元210执行的纹理检测处理的说明图。图13是用于描述图6中示出的纹理检测单元210执行的纹理检测处理的说明图。图14是用于描述图6中示出的纹理检测单元210执行的纹理检测处理的说明图。图15是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图16是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图17是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图18是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图19是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图20是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图21是用于描述图6中示出的第一像素内插参数计算单元(GonW) 202执行的处理的说明图。图22是用于描述图6中示出的第一临时像素设置单元(RBonWaroundG) 203执行的处理的说明图。图23是用于描述图6中示出的第一临时像素设置单元(RBonWaroundG) 203执行的处理的说明图。图M是用于描述图6中示出的第二像素内插参数计算单元(RBonGofHV) 204执行的处理的说明图。图25是用于描述图6中示出的第二像素内插参数计算单元(RBonGofHV) 204执行的处理的说明图。图沈是用于描述图6中示出的第三像素内插参数计算单元(RBonGofAD) 205执行的处理的说明图。图27是用于描述图6中示出的第二临时像素设置单元(RBonWaroundRB) 206执行的处理的说明图。图28是用于描述图6中示出的第二临时像素设置单元(RBonWaroundRB) 206执行的处理的说明图。图四是用于描述图6中示出的第四像素内插参数计算单元(RBonRBofHV) 207执行的处理的说明图。图30是用于描述图6中示出的第四像素内插参数计算单元(RBonRBofHV) 207执行的处理的说明图。图31是用于描述图6中示出的第五像素内插参数计算单元(RBonRBofAD) 208执行的处理的说明图。图32是用于描述图6中示出的混和处理单元211执行的处理的说明图。图33是用于描述图6中示出的混和处理单元211执行的处理的说明图。图34是用于描述图6中示出的混和处理单元211执行的处理的说明图。图35是用于描述图6中示出的数据转换处理单元200执行的处理序列的流程图。
具体实施例方式在下文中，参照附图，将描述根据本发明的图像处理设备、图像处理方法以及程序。将按以下顺序进行描述。1.关于根据本发明的处理的概述
2.关于图像获取设备和图像处理设备的配置示例和处理示例
3.关于数据转换处理单元的处理的细节
3-1.关于噪声去除单元的处理
3-■2.关于边缘检测单元的处理
3-■3.关于纹理检测单元的处理
3-■4.关于像素内插参数计算单元的处理
3-■5.关于混和处理单元的处理
4.图像处理设备的数据转换处理单元执行的重排马赛克处理序列
[1.关于根据本发明的处理的概述]
首先，参照图2，将描述根据本发明的诸如图像获取设备的图像处理设备执行的处理的概述。根据本发明的图像处理设备对图像获取元件(图像传感器)的获得数据执行处理，其中，该图像获取元件除了选择性地透射各个RGB颜色的波长光的RGB滤波器之外，还具有透射包括白(W=White)的全部各个RGB波长光的RGBW类型滤色器。具体地，通过对二维像素阵列信号进行分析来执行像素转换，在该二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式方式布置，并且作为颜色信息分量的多种颜色的像素布置在剩余部分中。应注意，作为亮度信号的主分量的颜色是白色或绿色。根据本发明的图像处理设备执行被应用于如下处理的参数的计算处理该处理将具有图2(1)中示出的、例如包括白(W=White)的RGBW类型滤色器的图像获取元件(图像传感器)的获得数据转换为图2( 中示出的RGB模式(例如，拜耳模式)。此外，在该转换处理时，还执行减少生成假彩色的处理。如图2所示，执行将以RGBW颜色模式设置的各个RGBW像素的至少一部分转换或校正成另一颜色(RGB之一)的处理。具体地，在从RGBW模式到RGB拜耳模式的转换处理中，执行以下五个转换和校正处理。(a)将W像素位置转换为G像素(估计G像素值)=(Gonff)(b)将G像素位置转换为R像素(估计R像素值)=(RonG)(c)将G像素位置转换为B像素(估计B像素值)=(BonG)(d)将R像素位置转换为R像素(校正R像素值)=(RonR)(e)将B像素位置转换为B像素(校正B像素值)=(BonB)执行上述各个转换处理(a)至(e)作为将RGBW模式的各个RGBW像素转换成RGB
模式的RGB像素的像素值估计或校正处理。通过执行这些处理，从图2(1)中示出的RGBW 颜色模式生成图2( 中示出的RGB模式。在下文中，这样的颜色模式转换处理将被称为重排马赛克处理。在以下实施例中，将描述如下配置其中，执行将具有白(W)的RGBW类型颜色模式转换为RGB类型颜色模式(拜耳模式)的重排马赛克处理，并且在该重排马赛克处理时还执行减少生成假彩色的处理。对于根据本发明的图像处理设备中的像素转换处理，在将nXn像素的矩形像素区域设置为输入像素单位的情况下执行转换处理。即，为了确定nXn像素的中心处的一个像素的转换像素值，利用nXn像素的矩形像素区域的像素信息。具体地，例如，以图像的 5X5像素(宽度为5个像素并且高度为5个像素)为单位或7X7像素(宽度为7个像素并且高度为7个像素)为单位执行处理。例如，在处理单位设置为5X5像素时执行处理的情况下，图像处理设备以5X5像素为单位输入像素信息，并且使用5X5像素的像素信息来确定中心像素的转换像素值。5 X 5像素的中心像素是RGBW中任意的像素，并且按照上述转换模式(a)至(e)对这些RGBW进行转换。在以下描述中，被设置作为像素转换处理的单位的nXn像素的矩形像素被称作 “输入像素单位”，并且给出了描述。处理(a)是上述转换模式(a)至(e)之一，即，(a)将W像素位置转换为G像素(估计G像素值)=(Gonff)。在执行该转换处理的情况下，作为输入像素单位的5X5像素的像素模式包括图3 中示出的四种不同的模式(al)至(a4)。
在图3中，(al)至(a4)示出了输入像素单位(处理单位)，其中，W像素在5 X 5 像素的中心位置。左侧是输入像素单位，而右侧是成为最终处理结果的RGB模式数据。5X5像素的中心位置是W像素的输入包括图3(al)至3 (a4)中示出的四种不同的模式。在输入模式之一中的5X5像素的情况下，执行如下处理(a)将W像素位置转换为G像素(估计G像素值)=(GonW)。应注意，图3(al)至3(a4)的右侧表示最终改变结果，而对于在图3 (al)至3 (a4) 的左侧示出的输入像素单位，仅执行将中心像素W转换为G像素的处理。此后，在每次移动一个处理单位的情况下，执行转换处理(上述处理(a)至(e)之一)，并且获得在图3(al) 至3(a4)的右侧示出的最终改变结果。另外，上述(a)至(e)的转换模式的处理(b)至(e)是，即，(b)将G像素位置转换为R像素(估计R像素值)=(RonG)(c)将G像素位置转换为B像素(估计B像素值)=(BonG)(d)将R像素位置转换为R像素(校正R像素值)=(RonR)(e)将B像素位置转换为B像素(校正B像素值)=(BonB)在执行这些转换处理的情况下，输入像素单位(处理单位)和转换处理的最终输出之间的关系如图4(b)至4(e)所示。[2.关于图像获取设备和图像处理设备的配置示例和处理示例]参照图5和图6，将描述根据本发明的实施例的图像获取设备和图像处理设备的配置示例和处理示例。图5示出了根据本发明的实施例的图像获取设备100的配置示例。图像获取设备 100具有光学透镜105、图像获取元件(图像传感器)110、信号处理单元120、存储器130以及控制单元140。应注意，图像获取设备是图像处理设备的一种模式。图像处理设备还包括诸如例如PC(个人计算机)的设备。诸如PC的图像处理设备没有图3中示出的图像获取设备100的光学透镜105和图像获取元件110，而是由其它部件来配置，并且具有包括用于图像获取元件100的获得数据的输入单元或存储单元的配置。具体地，图像获取设备100 是照相机、摄像机等，并且图像处理设备100包括能够执行图像处理的、诸如PC的信息处理设备。在下文中，将描述图像获取设备100作为根据本发明的图像处理设备的代表性示例。图5中示出的图像获取设备100的图像获取元件(图像传感器)110具有设置有滤波器的配置，该滤波器具有参照图1(b)或图2(1)描述的、包括白(W)的RGBW模式181。具体地，通过对二维像素阵列信号进行分析来执行像素转换，在该二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式方式布置，而作为颜色信息分量的多种颜色的像素布置在剩余部分中。应注意，作为亮度信号的主分量的颜色是白色或绿色。图像获取元件(图像传感器)110是设置有具有如下这四种类型的谱特性的滤波器的图像获取元件透射红色附近的波长的红(R)，透射绿色附近的波长的绿(G)，透射蓝色附近的波长的蓝⑶，以及除了这些之外，
透射全部RGB的白(W)。具有该RGBW模式181滤波器的图像获取元件110以各个像素为单位、经由光学透镜105接收RGBW的任何光，并且通过光电转换生成与所接收的光信号强度对应的电信号以输出。通过该图像获取元件110获得包括四种类型的RGBW谱的马赛克图像。图像获取元件(图像传感器)110的输出信号被输入到信号处理单元120的数据转换处理单元200。如之前参照图2所述，数据转换处理单元200执行从RGBW模式181到RGB模式 182的转换处理。在该转换处理时，如上所述，执行如下这五种转换和校正处理将W像素位置转换为G像素(估计G像素值)=(Gonff)
将G像素位置转换为R像素(估计R像素值)=(RonG)
将G像素位置转换为B像素(估计B像素值)=(BonG)
将R像素位置转换为R像素(校正R像素值)=(RonR)
将B像素位置转换为B像素(校正B像素值)=(BonB)
在该转换/校正处理时，还执行抑制假彩色的处理。
数据转换处理单元200生成的RGB模式182 (即，具有拜耳模式的数据)是具有图
像获取元件(诸如传统摄像装置)获得的颜色模式的数据。该颜色阵列数据被输入到RGB 信号处理单元250。RGB信号处理单元250执行与设置于传统摄像装置等的信号处理单元类似的处理。具体地，通过执行去马赛克处理、白平衡调整处理、Y校正处理等，生成彩色图像183。 生成的彩色图像183被记录在存储器130中。控制单元140对一系列这些处理执行控制。例如，用于执行该系列处理的程序存储在存储器130中，并且控制单元140通过执行从存储器130读出的程序而执行该系列处理。将参照图6描述数据转换处理单元200的详细配置。数据转换处理单元200执行从RGBW颜色模式到RGB模式182的转换处理。此外，在该处理时，还执行抑制假彩色的处理。如图6所示，数据转换处理单元200具有噪声去除单元201、第一至第五像素内插参数计算单元202至208、边缘检测单元209、纹理检测单元210以及混和处理单元211。数据转换处理单元200以nXn像素为处理单位顺序地输入来自作为处理图像的RGBW模式 181的像素值，并且确定nXn像素的中心处的像素的转换像素值以输出。当完成所有像素的转换处理时，完成RGB模式182，并且将其提供到图5中示出的RGB信号处理单元250。噪声去除单元201对位于输入像素单位的中心处的W像素执行噪声去除。第一像素内插参数计算单元(GonW) 202执行被应用于将W像素转换为G像素的处理的参数的计算处理。第一临时像素设置单元(RBonWaroimdG) 203执行将G像素周围的W像素转换为R 或B像素的临时像素(R’)或(B’)的处理，作为将与G像素相邻的W像素位置转换为R像素或B像素的处理的在前处理。第二像素内插参数计算单元(RBonGofHV) 204计算与垂直或水平边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。
第三像素内插计算单元(RBonGofAD) 205计算与对角线边缘对应的参数作为被应用于将G像素转换为R像素或B像素的处理的参数。第二临时像素设置单元(RBonWaroundRB) 206执行将R或B像素周围的W像素转换为R或B像素的临时像素(R’)或(B’)的处理，作为将与R像素或B像素相邻的W像素位置转换为R像素或B像素的处理的在前处理。第四像素内插参数计算单元(RBonRBofHV) 207计算与垂直或水平边缘对应的参数，作为被应用于将R像素转换为R像素或者将B像素转换为B像素的处理的参数。第五像素内插参数计算单元(RBonRBofAD) 208计算与对角线边缘对应的参数，作为被应用于将R像素转换为R像素或者将B像素转换为B像素的处理的参数。边缘检测单元209使用W像素执行边缘方向检测处理。纹理检测单元210使用W像素执行纹理检测处理。混和处理单元211执行对通过上述各个处理输出的像素进行混和的处理。[3.关于数据转换处理单元的处理的细节]接下来，将描述由构成图6中示出的数据转换处理单元200的各个处理单元执行的处理的细节。(3-1.噪声去除单元的处理)首先，将参照图7描述噪声去除单元201的处理。噪声去除单元201对输入像素单位(5X5像素)中的中心像素是W像素的数据执行噪声去除处理。执行噪声去除作为针对位于输入像素单位的中心处的W像素的噪声降低像素值的计算处理。作为用于噪声去除的技术，可以应用多种技术。这里，将参照图7描述使用双边滤波器的噪声降低处理示例。图7是示出输入像素单位是5X5像素的情况的、用于描述向位于中心处的W像素(像素ρ)应用噪声去除的说明图。图7示出了这些。(a)处理目标数据(b)噪声降低像素值计算表达式(c)函数xp(r)的线性近似示例如(a)处理目标数据所示，噪声去除单元201执行在具有RGBW模式的输入像素单位(5X5像素)中的中心像素(ρ)是W像素的情况下的处理。该图示出的输入像素单位 (5X5像素)中的灰色部分是W像素，而其它白色部分是RGB像素之一。应注意，还是在用于以下描述的图中，灰色部分被设置作为W像素，而其它白色部分被设置作为RGB像素之
一ο噪声去除单元201通过使用作为处理目标数据301的中心像素(ρ)的W像素的像素值I (P)和包括在输入像素单位(5 X 5像素)中的像素的像素值I (q)，在按照图7(2)中示出的噪声降低像素值计算表达式的情况下，计算噪声降低像素值Ink(P)。即，在按照以下表达式(表达式1)的情况下，计算噪声降低像素值Ink(P)。[数字表达式1]
···(表达式 1)在上述表达式中，Ωρ表示包括在作为处理目标数据301的输入像素单位(5X5像素)中的像素集， I (q)表示其像素值，并且I (P)表示中心像素P ( = W像素)的像素值。函数.φ(ι·)—般使用指数函数。然而，为了抑制计算量，如图7(3)所示，可使用线性近似的函数。图7 (3)中示出的线性近似是在阈值被设置为Thl = 2. 0且Th2 = 3. 0的情况下的以下设置中的线性近似示例。r = 0 至 Thl (2. 0) —<P(r) = 1.0r = Thl (2. 0)至 Th2 (3. 0) -φ(Γ) = 1.0至 0 (线性改变)r =大于或等于 Th2—(p(r) = 0噪声去除单元201通过以此方式应用双边滤波器，在按照上述表达式(表达式1) 的情况下，计算输入像素单位(5X5像素)中的中心处的W像素的噪声降低像素值ΙΝΚ(ρ)。 算出的噪声降低W像素值(ΙΝΚ(ρ))被输出到图6中示出的第一像素内插参数计算单元 (GonW)202。应注意，参照图7描述的应用双边滤波器的处理是噪声去除处理的示例，并且噪声去除单元201不限于参照图7描述的应用双边滤波器的处理，而是还可采用使用另一噪声去除系统的配置。(3-2.关于边缘检测单元的处理)接下来，将描述边缘检测单元209的处理。边缘检测单元209验证包括在作为输入信号的RGBW模式中的离散白(W)信号，并且生成包括在图像中的边缘信息(例如，包括边缘方向和边缘强度的边缘信息)，以输出到混和处理单元211并且还输出到多个像素内插参数计算单元。参照图8和随后的图，将描述边缘检测单元209执行的、使用W像素以得到边缘方向和边缘强度的确定方法。边缘检测单元209通过仅利用输入的RGBW模式181的信号当中的白(W)信号，确定边缘方向和边缘强度。边缘检测单元209对7X7像素的区域单位中的输入数据执行边缘检测处理。边缘检测单元209顺序地执行边缘检测处理，同时移动7X7像素的区域。通过对一个7X7像素区域的处理，获得与7X7像素区域的中心像素对应的边缘信息(边缘方向和边缘强度)。将与各个像素对应的边缘信息输出到混和处理单元211以及第一至第五像素内插参数计算单元。多种技术可以应用于边缘检测处理。参照图8和图9，将描述边缘检测处理的一种技术。在以下将描述的方法中，利用7X7像素区域的中心附近的4X4像素。如图8所示，被设置作为7X7像素的处理目标的中心像素具有这两种情况(a)在W像素的情况下；以及(b)在除W像素之外的像素的情况下。应注意，图8中以灰色表示的像素是W像素，而其它对应于RGB像素之一。对于这两种类型的情况(a)和(b)，通过使用各自不同的计算表达式，执行估计边缘方向是水平、垂直、右斜上以及左斜上四个方向中的哪一个以及其强度的边缘确定处理。将参照图9描述具体的处理。在图9中，表示在这些情况(a)和(b)下被应用于边缘方向和边缘强度的确定处理的计算表达式。(a)中心像素是W像素的情况(b)中心像素是除W之外的像素的情况所应用的计算表达式是用于计算像素值在图像的特定方向上的梯度的表达式，并且是以下各个值的计算表达式。gradH:水平方向上的梯度绝对值平均gradV 垂直方向上的梯度绝对值平均gradA:右斜上方向上的梯度绝对值平均gradD 左斜上方向上的梯度绝对值平均这些gradH、gradV、gradA以及gradD等于像素值在各个不同方向上的梯度(差分)的绝对值的平均值。在下文中，将描述具体的计算处理。(a)关于中心像素是W像素的情况下的处理首先，将参照图9(a)描述中心像素是W像素的情况下的处理。在图9(a)中，(al) 至(a4)表示在中心像素是W像素的情况下对于gradH、gradV、gradA以及gradD的计算处
理示例。以双圆圈[◎]表示的位置是7X7像素中的中心像素位置。另外，以圆圈[〇]表示的位置是边缘重心位置。在中心像素是W像素的情况下，通过以下计算表达式(表达式幻计算gradH、 gradV λ gradA 以及 gradD。[数字表达式2]
权利要求
1.一种图像处理设备，包括数据转换处理单元，所述数据转换处理单元通过对二维像素阵列信号进行分析来执行像素转换，在所述二维像素阵列信号中，作为亮度信号的主分量的像素以棋盘式方式来布置，而作为颜色信息分量的多种颜色的像素布置在剩余部分中。
2.根据权利要求1所述的图像处理设备，其中，作为所述亮度信号的主分量的颜色是白色或绿色。
3.根据权利要求1或2所述的图像处理设备， 其中，所述数据转换处理单元包括边缘检测单元，其通过对所述二维像素阵列信号进行分析来生成边缘信息； 纹理检测单元，其通过对所述二维像素阵列信号进行分析来生成纹理信息； 参数计算单元，其通过对所述二维像素阵列信号进行分析来计算应用于像素转换处理的参数；以及混和处理单元，其输入所述参数计算单元算出的参数、所述边缘信息以及所述纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变所述参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。
4.根据权利要求3所述的图像处理设备， 其中，所述数据转换处理单元还包括边缘检测单元，其通过对由RGB像素和白W像素构成的RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；纹理检测单元，其通过对所述RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；参数计算单元，其计算用于将RGBW模式转换成RGB模式的参数，并且生成与通过内插处理算出的内插像素值等同的参数，在所述内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置；以及混和处理单元，其输入所述参数计算单元算出的参数、所述边缘信息以及所述纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变所述参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。
5.根据权利要求4所述的图像处理设备，其中，所述参数计算单元具有通过内插处理生成参数的配置，在所述内插处理中，应用于所述内插处理的像素位置被设置为沿边缘方向的像素位置。
6.根据权利要求4或5所述的图像处理设备，其中，所述参数计算单元具有通过内插处理生成参数的配置，所述内插处理利用构成 RGBff模式的W像素和其它RGB像素之间的局部区域中的相关性。
7.根据权利要求4至6中任一项所述的图像处理设备，还包括临时像素设置单元，其通过内插处理对于W像素位置设置RGB像素之一的像素值，所述内插处理利用构成RGBW模式的W像素和其它RGB像素之间的局部区域中的相关性，其中，所述参数计算单元具有通过应用所述临时像素设置数据的内插处理来生成参数的配置。
8.根据权利要求4至7中任一项所述的图像处理设备，其中，所述参数计算单元生成与通过内插处理算出的内插像素值等同的多个参数，在所述内插处理中，根据作为垂直、水平、左斜上以及右斜上四种类型的边缘方向的边缘方向，将所应用的像素位置设置在沿边缘方向的像素位置，并且其中，所述混和处理单元在垂直、水平、左斜上以及右斜上四种类型的边缘方向当中执行强度比较，并且执行根据比较结果来改变所述多个参数的混和比率的混和处理。
9.根据权利要求4至8中任一项所述的图像处理设备，其中，所述混和处理单元计算与转换像素对应的垂直水平方向边缘和对角线方向边缘的边缘方向比率ratioFlat，并且还基于所述边缘方向比率ratioFlat计算垂直水平方向边缘方向权重we i ghtHV，当值较大时，所述垂直水平方向边缘方向权重we i ghtHV表示所述垂直水平方向边缘比所述对角线方向边缘更强，而当值较小时，所述垂直水平方向边缘方向权重weightHV表示所述对角线方向边缘比所述垂直水平方向边缘更强，并且在与转换像素对应的所述垂直水平方向边缘比所述对角线方向边缘更强的情况下，通过增加在边缘方向被设置为垂直或水平方向时算出的参数的混和比率来执行混和处理，以及在与转换像素对应的所述垂直水平方向边缘比所述对角线方向边缘更弱的情况下，通过增加在边缘方向被设置为对角线方向时算出的参数的混和比率来执行所述混和处理。
10.根据权利要求4至9中任一项所述的图像处理设备，其中，所述纹理检测单元计算与各个像素对应的平坦度权重weightFlat作为所述纹理信息，对于具有小纹理和高平坦度的像素区域，所述平坦度权重weightFlat表示高值， 而对于具有大纹理和低平坦度的像素区域，所述平坦度权重weightFlat表示低值，其中，所述参数计算单元计算对内插像素值执行对比度强调处理的、对比度强调处理可适用参数，以及不对所述内插像素值执行对比度强调处理的、对比度强调处理非适用参数，并且其中，所述混和处理单元通过执行以下处理来执行混和处理对于具有大平坦度权重的像素，将所述对比度强调处理非适用参数的混和比率设置得较大，以及对于具有小平坦度权重的像素，将所述对比度强调处理可适用参数的混和比率设置得较大。
11.根据权利要求4至10中任一项所述的图像处理设备，其中，所述边缘检测单元具有通过仅利用所述RGBW模式信号的白W像素的分析处理来生成与各个像素对应的边缘信息的配置，并且通过计算处理目标像素附近的W像素的信号值梯度，生成包括与各个像素对应的边缘方向和强度信息的边缘信息。
12.根据权利要求4至11中任一项所述的图像处理设备，其中，所述纹理检测单元通过仅利用所述RGBW模式信号的白W像素的分析处理，生成表示与各个像素对应的纹理比率的纹理信息。
13.一种在图像处理设备中执行图像信号处理的图像处理方法，所述图像处理方法包括边缘检测步骤，其利用边缘检测单元，通过对由RGB像素和白W像素构成的RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；纹理检测步骤，其利用纹理检测单元，通过对所述RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；参数计算步骤，其利用参数计算单元，生成与通过内插处理算出的内插像素值等同的参数，在所述内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置，所述参数计算单元是计算用于将RGBW模式转换为RGB模式的参数的参数计算单元；以及混和处理步骤，其利用混和处理单元，输入所述参数计算单元算出的参数、所述边缘信息以及所述纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变所述参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。
14. 一种用于使图像处理设备执行图像信号处理的程序，所述程序包括 边缘检测步骤，其使边缘检测单元通过对由RGB像素和白W像素构成的RGBW模式信号进行分析，生成包括与各个像素对应的边缘方向和强度信息的边缘信息；纹理检测步骤，其使纹理检测单元通过对所述RGBW模式信号进行分析，生成表示与各个像素对应的纹理比率的纹理信息；参数计算步骤，其使参数计算单元计算用于将RGBW模式转换为RGB模式的参数并且生成与通过内插处理算出的内插像素值等同的参数，在所述内插处理中，根据与转换像素对应的边缘方向来改变所应用的像素位置；以及混和处理步骤，其使混和处理单元输入所述参数计算单元算出的参数、所述边缘信息以及所述纹理信息，根据与转换像素对应的边缘信息和纹理信息来改变所述参数计算单元算出的参数的混和比率，并且执行混和处理，以确定转换像素值。
全文摘要
提供了一种根据具有RGBW模式的图像获取元件的图像获取信号生成RGB模式数据的设备及方法。边缘检测单元对RGBW模式的图像获取元件的输出信号进行分析，以获得与各个像素对应的边缘信息，并且纹理检测单元生成纹理信息。此外，参数计算单元执行根据转换目标像素的边缘方向而改变所应用的像素位置的内插处理，以生成与内插像素值等同的参数。在混和处理单元中，输入参数计算单元生成的参数、边缘信息以及纹理信息，根据与转换像素对应的边缘信息和纹理信息，改变参数计算单元算出的参数的混和比率，执行混和处理，并且确定转换像素值。
文档编号G06T1/00GK102273208SQ201080003488
公开日2011年12月7日 申请日期2010年8月19日 优先权日2009年10月20日
发明者广田功, 斋藤泰 申请人:索尼公司