根据图像数据生成亮度信号的设备和方法
【专利摘要】本发明涉及根据图像数据生成亮度信号的设备和方法。其中，一种频带处理电路，其根据配置与不同颜色相对应的信号的图像信号生成与不同频带相对应的图像信号，并且通过合成所述不同频带的图像信号抑制噪声；一种采样电路，其通过根据预定排列采样从所述频带处理电路所输入的图像信号，生成与所述颜色相对应的图像信号；以及亮度/颜色生成电路，其使用从所述采样电路输出的图像信号生成抑制混叠的亮度信号。
【专利说明】根据图像数据生成亮度信号的设备和方法
[0001]本申请是申请日为2010年2月12日、国家申请号为201080063629.0、发明名称为“图像处理设备和图像处理方法”的申请的分案申请。
【技术领域】
[0002]本发明涉及为了抑制在图像信号中所生成的混叠所进行的图像处理。
【背景技术】
[0003]诸如CXD传感器或CMOS传感器等的摄像元件的各种类型的颜色滤波器已被使用，并且这类颜色滤波器的例子包括具有原色(红色、绿色和蓝色)的组合的颜色滤波器和具有补色(青色、品红色和黄色)的组合的颜色滤波器。
[0004]图13是示出摄像元件的原色拜耳排列的图。在2X2像素矩阵中，对角线配置红色(R)和蓝色(B)，在其余两个像素中对角线配置绿色(Gl和G2)，并且重复该模式。
[0005]在被摄体包括超过摄像元件的分辨能力的高频成分时，由于高频成分的不利影响，在通过摄像元件所生成的图像信号中生成混叠。因此，提出了用于抑制混叠的各种方法。例如，提出了使用以不同方法所生成的两个亮度信号的组合来抑制生成混叠的方法。
[0006]在不使用与R和B像素相对应的信号的情况下，仅使用与G (G1、G2)像素相对应的信号生成其中一个亮度信号。首先，在通过对从具有原色拜耳排列的摄像元件输出的信号进行数字化所获得的与R、G和B像素相对应的信号中，将除与G像素相对应的信号以外的信号的值设置成O。接着，进行限制垂直方向上的频带的垂直低通滤波(V-LPF)处理和限制水平方向上的频带的水平低通滤波(H-LPF)。这样，生成使用与G像素相对应的信号进行了补偿的像素的信号，并且获得G的亮度信号。以下，将通过使用与特定颜色相对应的信号对与该特定颜色不对应的像素进行补偿所获得的亮度信号称为第一亮度信号。
[0007]可选地，将除R像素的信号以外的信号的值设置成0，并且类似地，进行V-LPF处理和H-LPF处理，从而生成R的亮度信号。类似地，将除B像素的信号以外的信号的值设置成0，并且类似地，进行V-LPF处理和H-LPF处理，从而生成B的亮度信号。然后，将R和B的亮度信号与G的亮度信号相加，并且可以将作为结果的信号称为第一亮度信号。
[0008]使用图13所示的具有原色拜耳排列的所有颜色的信号来生成另一亮度信号。在不区分颜色的情况下，对通过将从具有原色拜耳排列的摄像元件输出的信号数字化所获得的、与所有R、G和B颜色的像素相对应的信号进行限制垂直方向上的频带的V-LPF处理和限制水平方向上的频带的H-LPF，从而新获得信号。以下，将在不区分颜色的情况下使用所有颜色的信号所获得的这类亮度信号称为第二亮度信号。
[0009]图14是示出可以分辨第一和第二亮度信号的空间频率特性的图。X轴表示被摄体在水平(H)方向上的频率空间，并且y轴表示被摄体在垂直(V)方向上的频率空间。点的位置离X轴和y轴的交点越远，则该点的空间频率越高。
[0010]仅使用与G像素相对应的信号所生成的第一亮度信号在水平方向和垂直方向上的分辨率极限与G像素的排列的奈奎斯特频率(π/2)相等。然而，由于某些对角线不包括G像素，所以对角线方向上的极限分辨频率低于水平和垂直方向上的极限分辨频率，并且图14所示的菱形的区域1401的内部对应于可以分辨第一亮度信号的空间频率。由于在R、G和B亮度信号中，仅使用与G像素相对应的信号所获得的G亮度信号具有最高的分辨率，所以即使在通过将R、G和B亮度信号相互合成生成第一亮度信号时，也获得能够分辨第一亮度信号的相同的空间频率。
[0011]另一方面，由于使用与所有彩色像素相对应的信号生成第二亮度信号，所以在被摄体是非彩色时，图14所示的外侧的正方形区域1402对应于可以分辨第二亮度信号的空间频率。不同于第一亮度信号，由于在对角线上延伸的所有行上包括彩色像素中的任一个，所以可以分辨第二亮度信号的对角线方向上的空间频率高于第一亮度信号的空间频率。然而，例如在拍摄红色被摄体时，可以忽视从除R像素以外的像素所输出的信号。因此，仅获得与区域1403相对应的分辨率，其中，区域1403是与非彩色被摄体相对应的区域的1/4。
[0012]考虑到上述第一和第二亮度信号的特性，提出了一种用于通过生成亮度信号来抑制图像信号中所包括的混叠的结构。例如，提出了一种用于通过根据对被摄体是非彩色还是彩色的判断而改变第一和第二亮度信号的混合比率、来生成亮度信号的配置(参考专利文献I)。此外，提出了一种用于通过根据图14所示的被摄体的对角线相关度而改变第一和第二亮度信号的混合比率来生成亮度信号的配置(参考专利文献2)。
[0013]然而，尽管这些方法在抑制混叠方面是有用的，但是未抑制除混叠以外的噪声信号。例如，近年来摄像元件的像素的小型化已在发展。因此，噪声可能由于像素的小型化而增大。尽管提出了用于通过进行信号处理抑制这类噪声的各种方法，但是在抑制这类噪声时生成图像模糊，这是不利影响。
[0014]为了解决该问题，提出了一种用于通过将图像信号分割成多个频率成分来抑制噪声的方法(参考专利文献3)。此外，提出了一种用于通过缩小图像信号、并且将缩小后的图像信号与原始图像信号进行合成而生成图像信号来抑制噪声的方法(专利文献4)。
[0015]具体地，对输入图像的信号进行缩小处理，从而生成包括低于输入图像的频率成分的频率成分的缩小图像。然后，使用具有低频成分的缩小图像信号检测边缘强度，并且根据边缘强度获得要保持边缘成分的区域。改变区域的权重以使得要保持边缘成分的区域所包括的图像不会模糊，并且将原始图像信号和具有低频成分的缩小图像信号相互合成，从而新生成图像信号。
[0016]文献列表
[0017]专利文献
[0018]PTL 1:日本特开 2003-348609 号公报
[0019]PTL 2:日本特开 2008-072377 号公报
[0020]PTL 3:日本特开 2008-015741 号公报
[0021]PTL 4:日本特开 2009-199104 号公报
【发明内容】
[0022]抟术问是页
[0023]然而，用于通过合成多个频带的图像信号来抑制噪声的方法没有考虑混叠。
[0024]这里，在诸如原色拜耳排列等的单板传感器的情况下，当在频带分割时进行下采样处理时，在不对与信号O相对应的颜色的像素进行补偿的情况下，所有像素可能具有颜色信号。在以摄像元件的拜耳排列的特定行为例时，如图15所示，依次配置颜色滤波器R、G、R、G、R、G等等。作为例子，将说明对水平方向上一半的像素进行下采样处理的情况。在该行中，当仅关注R信号时，通过下采样处理在每一个像素中配置最初每隔一个像素所配置的R信号。此外，在仅关注G信号时，通过下采样处理在每一个像素中也配置最初每隔一个像素所配置的G信号。注意，在对G信号所进行的下采样处理中，通过计算相邻像素的值的平均值来获得与各G信号相对应的像素的值，以使得G信号的重心的位置与R信号相一致。如上所述，通过进行下采样，在不对与信号O相对应的颜色的像素进行补偿的情况下，在每一像素位置处生成所有R、G和B颜色信号。因此，可以在通过下采样处理所生成的这类图像信号中抑制混叠。注意，将用于生成各像素的不同颜色的信号的处理称为同步化。
[0025]通过下采样处理所生成的图像信号经过了同步化。因此，在要将原始图像信号与已经过下采样处理的图像信号进行合成时，应当使原始图像信号经过同步化。然而，由于在原始图像信号中，单个像素对应于单个颜色，所以应当对与信号O相对应的各个颜色的像素进行补偿处理，以使得每一个像素具有所有颜色的信号。因此，由于尽管原始信号经过了下采样处理来抑制噪声，但是原始图像信号经过同步化，所以通过合成所获得的图像信号包括混叠。
[0026]考虑到上述问题做出了本发明，并且本发明的目的是提供一种图像处理设备，其中，该图像处理设备通过根据多个频带分割输入信号来进行噪声处理，并且能够抑制由通过摄像元件进行采样而生成的图像信号中的混叠。
[0027]问题的解决方案
[0028]为解决上述问题，本发明提供一种图像处理设备，包括:生成部件，用于接收排列有与多个颜色相对应的信号的图像信号，并且使用接收到的图像信号生成与不同频带相对应的多个图像信号；合成部件，用于合成通过所述生成部件所生成的所述多个图像信号；采样部件，用于根据通过所述合成部件进行合成所获得的图像信号，通过根据所述排列对与各颜色相对应的信号进行采样，来生成各颜色的图像信号；第一亮度信号生成部件，用于接收经过了通过所述采样部件进行的采样的各颜色的图像信号，并且使用通过使用第一颜色信号、对所接收到的图像信号的像素中不对应于所述第一颜色信号的像素进行补偿所获得的图像信号，生成第一亮度信号；第二亮度信号生成部件，用于接收与包括所述第一颜色信号的多个颜色信号相对应的图像信号，并且在不相互区分所述多个颜色信号的情况下，使用所述多个颜色信号生成第二亮度信号；以及亮度混合部件，用于输出通过合成所述第一亮度信号和所述第二亮度信号所获得的亮度信号、或者通过选择所述第一亮度信号和所述第二亮度信号中的一个所获得的亮度信号。
[0029]类似地，为解决上述问题，本发明还提供一种图像处理设备，包括:缩小部件，用于缩小排列有与多个颜色相对应的信号的图像信号，以生成缩小图像信号；生成部件，用于接收所述缩小图像信号，并且根据所述缩小图像信号生成与不同频带相对应的多个图像信号；合成部件，用于合成通过所述生成部件所生成的所述多个图像信号；第一亮度信号生成部件，用于接收通过所述合成部件进行合成所获得的图像信号，并且使用通过使用第一颜色信号、对输入的图像信号中不对应于所述第一颜色信号的像素进行补偿所获得的图像信号，生成第一亮度信号；第二亮度信号生成部件，用于接收通过所述合成部件进行合成所获得的图像信号，并且在不相互区分颜色信号的情况下，使用多个颜色信号生成第二亮度信号；第三亮度信号生成部件，用于使用通过所述合成部件进行合成所获得的图像信号，生成第三亮度信号；以及亮度混合部件，用于在所述缩小图像信号的大小相对于排列有与所述多个颜色相对应的信号的图像信号的大小的比率大于阈值的情况下，输出通过相互合成所述第一亮度信号和所述第二亮度信号所获得的亮度信号、或者通过选择所述第一亮度信号和所述第二亮度信号中的一个所获得的亮度信号，并且在所述比率等于或小于所述阈值的情况下，输出所述第三亮度信号。
[0030]本发明的有益.效果
[0031]如上所述，根据本发明，通过根据多个频带分割图像信号来进行噪声抑制处理，并且同时可以抑制混叠。
【专利附图】
【附图说明】
[0032]图1是示意性示出根据本发明实施例的数字静态照相机的结构的图。
[0033]图2是示意性示出根据本发明第一实施例的图像处理电路105的结构的一部分的图。
[0034]图3是示出通过图像处理电路105所进行的处理的流程图。
[0035]图4是示出通过同步化电路205所进行的同步化处理的图。
[0036]图5是示出通过合成比率计算电路207所进行的边缘检测处理中的滤波器系数的图。
[0037]图6是示出边缘成分中的高频层图像信号的混合比率α的图。
[0038]图7是示出通过第一亮度信号生成电路212所进行的用于生成第一亮度信号Ya的处理的图。
[0039]图8是示出通过第二亮度信号生成电路213所进行的用于生成第二亮度信号Yb的处理的图。
[0040]图9是示出根据饱和度S的第一亮度信号Ya的混合比率β的图。
[0041]图10是示意性示出根据本发明第二实施例的图像处理电路105的结构的一部分的图。
[0042]图11是示意性示出根据本发明第三实施例的图像处理电路105的结构的一部分的图。
[0043]图12是示出通过图11所示的图像处理电路105所进行的处理的流程图。
[0044]图13是示出摄像元件的原色拜耳排列的图。
[0045]图14是示出能够分辨第一和第二亮度信号的空间频率特性的图。
[0046]图15是示出经过了下采样处理的每一像素均具有所有颜色信号的情况的图。
【具体实施方式】
[0047]第一实施例
[0048]图1是示意性示出根据本发明实施例的数字静态照相机的结构的图。不仅可以通过数字静态照相机，而且还可以通过数字摄像机或者包括与图像处理有关的应用程序的个人计算机等实现本发明，只要图像处理设备可以对图像信号进行图像处理即可。
[0049]在图1中，光学系统101包括镜头单元、光圈装置和快门装置，其中，镜头单元包括变焦透镜和调焦透镜。光学系统101控制提供给摄像元件102的被摄体图像的倍率和焦点位置、以及光量。摄像元件102是诸如CCD (电荷耦合装置)传感器或CMOS (互补金属氧化物半导体)传感器等的光电转换元件，并且通过将被摄体图像转换成电信号来生成图像信号。在本实施例中，摄像元件102由具有包括与R、G和B相对应的颜色滤波器的拜耳排列的CXD传感器构成。
[0050]预处理电路103包括⑶S (相关双采样)电路和放大电路。⑶S电路抑制通过摄像元件102所生成的图像信号中包括的暗电流，而放大电路放大从CDS电路输出的图像信号。A/D转换器104将从预处理电路103输出的图像信号转换成数字图像信号。
[0051]图像处理电路105对图像信号进行白平衡处理、噪声抑制处理、色调转换处理和轮廓校正处理，以将图像信号作为亮度信号Y及色差信号U和V输出。此外，图像处理电路105使用图像信号计算被摄体的亮度值和表示被摄体的聚焦状态的焦点值。图像处理电路105不仅对从A/D转换器104输出的图像信号、而且还对从记录介质109读取的图像信号进行图像处理。控制电路106控制本实施例的数字静态照相机中所包括的各种电路，以集中控制数字静态照相机的操作。控制电路106还根据从通过图像处理电路105处理后的图像信号所获得的亮度值和从操作构件110所提供的指示，控制对光学系统101和摄像元件102的驱动。
[0052]显示存储器107临时存储作为要在显示装置108上显示的图像的源的图像信号。显示装置108包括液晶显示器或者有机EL (电致发光)显示器，并且使用通过摄像元件102所生成的图像信号或者从记录介质109所读取的图像信号来显示图像。显示装置108通过适当更新并显示从摄像元件102连续读取的图像信号，用作电子取景器。显示装置108不仅可以显示图像，而且还可以显示诸如数字静态照相机的显示状态、用户所选择的或者通过照相机所确定的快门速度和光圈值、以及灵敏度信息等的文本信息、以及表示由图像处理电路105所测量出的亮度的分布的图形。存储图像信号的记录介质109可从数字静态照相机拆卸，并且可以包含在数字静态照相机中。
[0053]在用户向数字静态照相机提供指示时，操作操作构件110。使用总线111在图像处理电路105、控制电路106、显示存储器107和记录介质109之间发送/接收图像信号。
[0054]接着说明根据本实施例的数字静态照相机在摄像时的操作的例子。
[0055]在用户操作操作构件110以提供用于开始准备摄像的指示时，控制电路106开始对电路的控制操作。摄像元件102通过光电转换由光学系统101所提供的被摄体图像来生成模拟图像信号。A/D转换器104对通过预处理电路103处理后的模拟图像信号进行数字化。图像处理电路105进行白平衡处理、噪声抑制处理、色调转换处理和轮廓校正处理。
[0056]通过显示存储器107将通过图像处理电路105处理后的图像信号提供给用于显示与图像信号相对应的图像的显示装置108。如上所述，显示装置108通过使用所读取的连续图像信号实时更新被摄体图像、并且显示更新后的图像来发挥电子取景器的功能。
[0057]重复进行该处理，直到用户对操作构件110中所包括的快门按钮进行操作为止。在用户操作了快门按钮时，控制电路106根据通过图像处理电路105所获得的亮度值和焦点值，再次控制光学系统101的操作，并且拍摄静止图像。图像处理电路105对与静止图像相对应的图像信号进行包括噪声抑制处理的各种图像处理。然后，记录介质109记录从图像处理电路105输出的图像信号。注意，图像处理电路105不仅对静止图像、而且还对所拍摄的动画进行包括噪声抑制处理的各种图像处理。
[0058]现详细说明作为本发明的特征的通过图像处理电路105所进行的噪声抑制处理。图2是示意性示出图像处理电路105的结构的图。
[0059]本实施例的图像处理电路105包括白平衡电路201、频带处理电路202、采样电路203和亮度/颜色生成电路204。频带处理电路202包括同步化电路205、噪声抑制电路206、合成比率计算电路207、缩小电路208、噪声抑制电路209、放大电路210和图像合成电路211。亮度/颜色生成电路204包括第一亮度信号生成电路212、第二亮度信号生成电路213、亮度混合电路214和颜色生成电路215。
[0060]图3是示出通过在图像处理电路105中所包括的白平衡电路201、频带处理电路202、采样电路203和亮度/颜色生成电路204所进行的处理的流程图。在接收到从A/D转换器104输出的图像信号时，图像处理电路105进行图3的流程图所示的处理。
[0061]在步骤S301，白平衡电路201对从A/D转换器104提供的图像信号进行白平衡处理。这里，将图像信号配置成RAW格式，并且单个像素具有与颜色R、G和B相对应的信号之一。白平衡电路201计算用于各个颜色信号的增益系数，从而使得对于白色被摄体的R、G和B信号的水平相互大体相同。注意，使用一般方法计算增益系数，因此，省略对其的详细说明。
[0062]在步骤S302，同步化电路205对从白平衡电路201输出的图像信号进行同步化处理。图4是示出通过同步化电路205所进行的同步化处理的图。
[0063]将从白平衡电路201输出的具有RAW格式的拜耳排列的图像信号提供给将具有RAW格式的图像信号分割成各个颜色的图像信号的同步化电路205。具体地，同步化电路205生成通过在除G像素以外的像素的信号中插入O所获得的与G信号相对应的图像信号、通过在除R像素以外的像素的信号中插入O所获得的与R信号相对应的图像信号以及通过在除B像素以外的像素的信号中插入O所获得的与B信号相对应的图像信号。
[0064]随后，同步化电路205对与G、R和B信号相对应的图像信号进行同步化处理，从而使得每一像素具有G、R和B信号。例如，在与R信号相对应的图像信号中，假定以R(m，η)表示未进行补偿的坐标(m，η)处的信号，并且以Rp(m，η)表示进行了补偿的坐标(m，η)处的信号，则根据公式⑴?公式⑷计算进行了补偿的信号Rp (m，η)。
[0065]Rp(Ll) = R(l,l) (I)
[0066]Rp(1,2) = {R(l，l)+R(l，3)}/2 (2)
[0067]RP(2，1) = {R(l，l)+R(3，l)}/2 (3)
[0068]Rp (2，2) = {R(l，I)+R (I，3)+R (3，I)+R (3，3)}/4 (4)
[0069]类似地，在与B信号相对应的图像信号中，以相同方式计算进行了补偿的信号Bp (m, η) ο
[0070]此外，在与G信号相对应的图像信号中，根据公式(5)?公式⑶计算进行了补偿的信号Gp (m, η) ο
[0071]Gp (2，2) = {G(l，2)+G (3，2)+G (2，I)+G (2，3)}/4 (5)
[0072]GP(2，3) = G(2，3) (6)
[0073]GP(3,2) = G(3,2) (7)
[0074]Gp (3，3) = {G (2，3)+G (4，3)+G (3，2)+G (3，4)}/4 (8)
[0075]在步骤S303，缩小电路208接收与Gp信号相对应的图像信号、与Rp信号相对应的图像信号和与Bp信号相对应的图像信号，并且使用这些图像信号生成较低频带的图像信号。
[0076]缩小电路208对与Gp信号、Rp信号和Bp信号相对应的图像信号进行使用以[1，2，I]所表示的滤波器系数的V-LPF处理和H-LPF处理。此后，缩小电路208对经过了 LPF处理的图像信号进行下采样处理，从而使得水平方向和垂直方向上的像素的数量减少一半，从而生成与Gpi信号、Rpi信号和Bpi信号相对应的图像信号。将未经过下采样处理的与Gp信号、Rp信号和Bp信号相对应的图像信号称为高频层图像信号，而将经过了下采样处理的与Gpi信号、Rpi信号和Bpi信号相对应的图像信号称为低频层图像信号。
[0077]在本实施例中，低频层图像信号的最高频带对应于高频层图像信号的最高频带的一半。高频层图像信号的较低频带与低频层图像信号的频带重叠。
[0078]注意，缩小电路208通过在不使用同步化电路205的情况下减少从白平衡电路201输出的拜耳排列的具有RAW格式的图像信号的数量、然后对数量减少后的图像信号进行LPF处理，可以生成低频层图像信号。
[0079]在步骤S304，噪声抑制电路206对高频层图像信号进行噪声抑制处理，而噪声抑制电路209对低频层图像信号进行噪声抑制处理。通过噪声抑制电路206和209所进行的处理相互相同，因此，将仅说明通过噪声抑制电路206所进行的噪声抑制处理作为例子。
[0080]噪声抑制电路206使用各个颜色信号的目标信号以及包括以目标像素为中心的5X5像素的矩阵的范围的周边像素，进行噪声抑制处理。
[0081]在以与Gp信号相对应的图像信号为例子时，噪声抑制电路206计算目标像素的信号水平和周边像素的信号水平之间的差的绝对值，并且将作为结果的值与阈值进行比较。具体地，假定以GP(s，t)表示目标像素的信号水平，以GP(i，j)表示周边像素的信号水平，并且以TH表示阈值，则获得满足公式(9)的信号水平GP(i，j)。
[0082]|GP(i，j)_GP(s，t) |〈TH
[0083](注意:s-2s+2, t~2 ^ j ^ t+2) (9)
[0084]然后，提取满足公式(9)的信号水平Gp (i，j)，以信号水平Gp (i，j)的平均值替换目标像素的亮度信号(s，t)的值。噪声抑制电路206对与Rp信号和Bp信号相对应的高频层图像信号进行相同处理。
[0085]噪声抑制电路206通过对所有像素进行对Gp信号、Rp信号和Bp信号所进行的处理，抑制高频层图像信号的噪声。注意，由于在图像信号的边缘部不允许设置5X5矩阵的范围，所以针对这类像素适当改变用于设置周边像素的方法以进行噪声抑制处理。
[0086]噪声抑制电路209还通过对与低频层图像信号相对应的Gpi信号、Rpi信号和Bpi信号进行相同处理，抑制低频层图像信号的噪声。显然，用于抑制噪声的方法不局限于此，并且可以采用用于抑制噪声的各种一般方法。
[0087]然后，将经过了噪声抑制电路209的噪声抑制处理的低频层图像信号输出给放大电路210。放大电路210对经过了噪声抑制处理的低频层图像信号进行上采样处理，从而使得各低频层图像信号的像素的数量变得等于在高频层图像信号中相应的信号的像素的数量。具体地，使各低频层图像信号的像素的数量增大至两倍，并且将新生成的像素的信号设置成O。此后，放大电路210使用周边像素的值对具有值O的像素进行线性补偿，从而使得所有位置处的像素都具有信号。对Gpi信号、Rpi信号和Bpi信号分开进行这些处理。
[0088]在步骤S305，合成比率计算电路207计算高频层图像信号和低频层图像信号的合成比率。具体地，合成比率计算电路207根据与高频层图像信号相对应的Gp信号，使用图5所示的滤波器获得每一像素的边缘成分。然后，合成比率计算电路207从未示出的存储器读取与边缘成分相对应的混合比率α。图6是示出根据边缘成分的高频层图像信号的混合比率α的图。如图6所示，在合成比率计算电路207中，具有高边缘成分的像素具有高混合比率α，因而高频层图像信号的混合比率高，而具有低边缘成分的像素具有低混合比率α，因而低频层图像信号的混合比率高。
[0089]在步骤S306，图像合成电路211使用通过合成比率计算电路207所获得的混合比率α，合成与高频层图像信号相对应的Gp信号和与低频层图像信号相对应的Gpi信号以重新获得G信号。具体地，在每一像素中，根据公式(10)将与经过了噪声抑制电路206的噪声抑制处理的高频层图像信号相对应的Gp信号以及与经过了放大电路210的放大处理的低频层图像信号相对应的Gpi信号相互相加。
[0090]G= axGp+( 1-a)xGpi(10)
[0091]类似地，在每一像素中，分别根据公式(11)和公式(12)，将与经过了噪声抑制电路206的噪声抑制处理的高频层图像信号相对应的Rp和Bp信号同与经过了放大电路210的放大处理的低频层图像信号相对应的Rpi信号和Bpi信号相互相加。
[0092]R= a X Rp+(1-a ) XRpi (11)
[0093]B= a XBp+(1-a ) XBpi (12)
[0094]然后，将从图像合成电路211输出的相加后所获得的G、R和B信号提供给采样电路 203。
[0095]在步骤S307，采样电路203根据拜耳排列对G、R和B信号进行采样以生成单个图像信号。具体地，采样电路203生成具有下面的模式的图像信号，在该模式下，重复2X2信号的矩阵，即四个信号，将这四个信号配置成:在两个像素中对角线配置R信号和B信号，并且在其余两个像素中对角线配置G信号。然后，采样电路203将通过采样所获得的根据拜耳排列再生成的图像信号提供给第一亮度信号生成电路212、第二亮度信号生成电路213和颜色生成电路215。
[0096]随后，在步骤S308，第一亮度信号生成电路212生成第一亮度信号\。图7是示出通过第一亮度信号生成电路212所进行的用于生成第一亮度信号Ya的处理的图。
[0097]如图7所示，第一亮度信号生成电路212将从采样电路203所提供的图像信号分割成各个颜色的图像信号，并且进行补偿处理以生成各个像素的颜色信号，从而进行同步化处理。
[0098]例如,在与R信号相对应的图像信号中，假定以R(m, η)表不未经过补偿处理的坐标(m，η)的信号，并且WRa(m，η)表示经过了补偿处理的坐标(m，η)的信号，则根据公式
(13)?公式(16)计算信号Ra(m, η)。
[0099]Ra(1,I) = R(l, I) (13)
[0100]Ra (1,2) = {R(l，l)+R(l，3)}/2 (14)
[0101]RA(2，1) = {R(l，l)+R(3，l)}/2 (15)
[0102]Ra (2,2) = {R(l，l)+R(l，3)+R(3，l)+R(3，3)}/4 (16)
[0103]类似地，在与B信号相对应的图像信号中，以相同方式计算经过了补偿处理的信号 Ba(m, η) ο
[0104]此外，在与G信号相对应的图像信号中，根据公式(17)?公式(20)计算经过了补偿处理的信号Ga (m，η)。
[0105]Ga (2, 2) = {G (I，2)+G (3，2)+G (2，I)+G (2，3)}/4 (17)
[0106]Ga (2, 3) = {4XG (2，3)+G (1，2)+G (1，4)+G (3，2)+G (3，4)}/8 (18)
[0107]Ga (3, 2) = {4XG (3，2)+G (2，I)+G (2，3)+G (4，I)+G (4，3)}/8 (19)
[0108]Ga (3，3) = {G (2，3)+G (4，3)+G (3，2)+G (3，4)}/4 (20)
[0109]显然，这些补偿方法仅是例子，并且可以采用其它公知的各种补偿方法。例如，为了抑制原始信号的高频带特性的劣化，可以预先确定各个方向上被摄体的相关性，并且可以对位于与最高相关性相对应的方向上的信号使用高权重，从而进行补偿。具体地，可以将在垂直方向上与要补偿的像素相邻的G像素的信号之间的相关性与在水平方向上与要补偿的像素相邻的G像素的信号之间的相关性进行比较。然后，可以使得具有较高相关性的G像素的信号的比率大，从而获得要补偿的像素的信号Ga (m，η)。可选地，仅使用与较高相关性相对应的G像素的信号就可以获得要补偿的像素的信号Ga(m，η)。
[0110]在步骤S302，由于在图13所示的像素上叠加了噪声成分，所以同步化电路205不能精确获得位于目标像素附近的像素的相关性。因此，通过简单线性补偿获得要补偿的像素的信号。另一方面，第一亮度信号生成电路212使用通过频带处理电路202抑制了噪声成分的信号进行补偿处理。因此，第一亮度信号生成电路212根据位于要补偿的像素附近的像素的相关性进行补偿处理。
[0111]将如上所述获得的Ra信号、Ga信号、Ba信号代入给公式(21)，从而使得获得坐标(m, η)的像素的第一亮度信号Ya (m, η)。
[0112]Ya (m, η) = 0.3 X Ra (m, η) +0.6 X Ga (m, η) +0.1 X Ba (m, η) (21)
[0113]然后，第一亮度信号生成电路212将所获得的第一亮度信号Ya输出给亮度混合电路 214。
[0114]注意，尽管以使用Ra信号、Ga信号和Ba信号来获得第一亮度信号Ya的情况作为例子，但是可以使用Ga信号作为第一亮度信号ΥΑ。可以使用任一亮度信号作为第一亮度信号\，只要第一亮度信号Ya是通过对与作为第一颜色信号的G信号相对应的图像信号进行补偿处理所获得的即可。
[0115]在步骤S309，第二亮度信号生成电路213生成第二亮度信号ΥΒ。不同于第一亮度信号Ya，不是通过区分颜色信号、而是通过处理与所有颜色的像素相对应的信号来生成第二亮度信号ΥΒ。图8是示出通过第二亮度信号生成电路213所进行的用于生成第二亮度信号Yb的处理的图。
[0116]如图8所示，第二亮度信号生成电路213接收从采样电路203输出的图像信号。第二亮度信号生成电路213进行垂直低通滤波(V-LPF)处理和水平低通滤波(H-LPF)处理，以生成第二亮度信号ΥΒ。在V-LPF处理和H-LPF处理中，可以使用例如以[1，2，1]所表示的滤波器系数。可选地，可以根据图像信号的边缘的状态或者与周边像素的相关性的水平来改变滤波方向或滤波器系数。
[0117]注意，可以去除要通过第二亮度信号生成电路213进行的处理，并且可以使用RAW格式的图像信号作为第二亮度信号YB。也就是说，可以根据公式(22)?公式(25)获得各个像素的第二亮度信号YB。
[0118]YB(1,1) = R(Ll) (22)
[0119]Yb(1，2)=G(1，2) (23)
[0120]Yb(2,1) = G(2,l) (24)
[0121]Yb(2，2) = B(2，2) (25)
[0122]在步骤S310，亮度混合电路214混合第一亮度信号Ya和第二亮度信号Yb以生成亮度信号Y。假定以β表示亮度信号Y中的第一亮度信号的混合比率，亮度混合电路214通过将第一亮度信号Ya和第二亮度信号Yb代入公式(26)来获得各个像素的亮度信号。
[0123]Y = β ΧΥΑ+(1-β ) XYb (26)
[0124]这里，在本实施例中，亮度混合电路214根据被摄体的饱和度S确定亮度信号Y中的第一亮度信号Ya的混合比率β。将说明用于获得混合比率β的方法。如第一亮度信号生成电路212 —样，亮度混合电路214将RAW格式的图像信号分割成各个颜色的图像信号并且进行同步化。然后，将每一像素的R信号和G信号之差的绝对值与该像素的B信号和G信号之差的绝对值相加，从而获得各像素的饱和度S。
[0125]S= IR-G H B-GI (27)
[0126]亮度混合电路214从未示出的存储器读取与饱和度S相对应的混合比率β。图9是示出根据饱和度S的第一亮度信号Ya的混合比率β的图。如图9所示，在具有高饱和度的像素的情况下，亮度混合电路214将混合比率β设置得大，也就是说，亮度混合电路214将第一亮度信号Ya的混合比率设置得大，而在具有低饱和度的像素的情况下，亮度混合比率214将混合比率β设置得小，也就是说，亮度混合电路214将第二亮度信号Yb的混合比率设置得大。
[0127]注意，用于获得第一亮度信号Ya与第二亮度信号Yb的混合比率的方法不局限于此，并且可以通过将使用R信号和G信号之差的绝对值所获得的混合比率乘以使用B信号和G信号之差的绝对值所获得的混合比率，来确定最终混合比率。此外，代替用于相互相加和合成第一亮度信号Ya和第二亮度信号Yb的处理，可以选择第一亮度信号Ya和第二亮度信号Yb中与较高混合比率相对应的一个。可选地，在检测到被判断为对角线的相关性高于阈值的区域的情况下，可以仅对该区域使用第二亮度信号ΥΒ。此外，由于第一亮度信号Ya的高频成分所包括的颜色的构成比率与第二亮度信号Yb的高频成分所包括的颜色的构成比率不同，所以当被摄体的特定颜色强时，第一亮度信号Ya的值和第二亮度信号Yb的值相互非常不同。因此，可以获得并且相互合成第一亮度信号Ya的低频成分和第二亮度信号Yb的高频成分从而获得亮度信号，并且可以按照上述混合比率将所获得的亮度信号和第一亮度信号\相互混合。
[0128]在步骤S311，颜色生成电路215使用从采样电路203输出的R、G和B信号，生成色差信号U和V。颜色生成电路215对R、G和B信号进行颜色补偿处理、伪色消除处理和矩阵转换处理等，以生成色差信号U和V。可以通过一般方法生成色差信号U和V，因此，省略对该方法的详细说明。
[0129]通过进行这些处理，在亮度/颜色生成电路204中生成抑制了混叠的亮度信号Y以及色差/[目号U和V。
[0130]如上所述，根据本实施例的结构，频带处理电路202通过根据多个频带分割图像信号来执行噪声抑制处理，并且亮度/颜色生成电路204执行用于抑制混叠的处理。
[0131]注意，尽管以仅生成单层的低频层图像信号的情况作为例子，但是本发明不局限于此。可以设置多个缩小电路208、多个噪声抑制电路209和多个放大电路210，可以根据频带对多层化的各个低频层图像信号进行噪声抑制处理，并且可以通过图像合成电路211将低频层图像信号相互合成。
[0132]此外，对高频层图像信号所进行的噪声抑制处理的方法和对低频层图像信号所进行的噪声抑制处理的方法可以相互不同。例如，可以使高频层图像信号以步骤S304所述的方式经过噪声抑制处理，而使低频层图像信号经过包括V-LPF处理和H-LPF处理的噪声抑制处理。
[0133]可选地，如果缩小电路208在缩小电路208生成低频层图像信号时进行了诸如LPF处理等的噪声抑制处理，则可以去除用于处理低频层图像信号的噪声抑制电路209。
[0134]第二实施例
[0135]接着说明本发明的第二实施例。在第一实施例中，通过频带处理电路202生成具有低于原始图像信号的频带的图像信号。然而，在本实施例中，将原始图像信号分割成与相互不重叠的不同频带相对应的多个频率成分。
[0136]图10是示意性示出根据本发明第二实施例的图像处理电路105的其它结构的图。在图10中，以与图2所示的相同的附图标记表示具有与图2所示的结构相同的结构的电路。本实施例的图像处理电路105包括白平衡电路201、频带处理电路1001、采样电路203和亮度/颜色生成电路204。
[0137]频带处理电路1001所包括的同步化电路1002对从白平衡电路201输出的图像信号进行与同步化电路205相同的同步化处理，以生成与Gp信号相对应的图像信号、与Rp信号相对应的图像信号和与Bp信号相对应的图像信号。在各图像信号中，从同步化电路1002输出的各像素包括Gp信号、Rp信号和Bp信号。
[0138]将与Gp信号、Rp信号和Bp信号相对应的图像信号提供给低通滤波器(LPF) 1003和高通滤波器(HPF) 1004。
[0139]如图2所不的缩小电路208 —样,低通滤波器1003对Gp信号、Rp信号和Bp信号进行V-LPF处理和H-LPF处理，以生成Ga信号、Ra和信号。
[0140]高通滤波器1004从输出自同步化电路1002的Gp信号、Rp信号和Bp信号减去通过低通滤波器1003所生成的Ga信号、Rpl和信号。结果，高通滤波器1004提取分别作为Gp信号、Rp信号和Bp信号的高频成分的Gph信号、Rph信号和Bph信号。
[0141]将Gph信号、Rph信号和Bph信号提供给进行与图2所示的噪声抑制电路206相同的噪声抑制处理的噪声抑制电路1005。此外，将Gph信号、Rph信号和Bph信号提供给以与图2所示的合成比率计算电路207相同的方式计算合成比率的合成比率计算电路1006。
[0142]将通过低通滤波器1003所生成的Ga信号、Ra和信号提供给下采样(DS)电路1007。DS电路1007对Ga信号、Rpl和Bpl信号进行下采样处理，从而将水平方向和垂直方向上的像素的数量减少一半，以生成Gpi信号、Rpl信号和Bpi信号。
[0143]将从DS电路1007输出的Gpi信号、Rpl信号和Bpi信号提供给LPF 1008和HPF
1009。
[0144]如图2所示的缩小电路208 —样，LPF 1008对Gpi信号、Rpl信号和Bpi信号进行V-LPF处理和H-LPF处理以生成Gpu信号、Rpu信号和Bpu信号。
[0145]HPF 1009从输出自DS电路1007的Gpi信号、Rpl信号和Bpi信号减去通过LPF 1008
所生成的Gpu信号、Rpu信号和Bpu信号。结果，HPF 1009提取作为Gpi信号、Rpl信号和Bpi信号的高频成分的Gphi信号、Rphi信号和Bphi信号。
[0146]将Gphi信号、Rphi信号和Bphi信号提供给进行与图2所不的噪声抑制电路206相同的噪声抑制处理的噪声抑制电路1010。此外，将Gpm信号、Rpm信号和Bpm信号提供给以与图2所示的合成比率计算电路207相同的方式计算合成比率的合成比率计算电路1011。
[0147]将通过LPF 1008生成的Gpu信号、Rpu信号和Bpli信号提供给DS电路1012。DS电路1012对Gpu信号、Rpu信号和Bpu信号进行下米样处理,从而将水平方向和垂直方向上的像素的数量减少一半，从而生成Gp2信号、Pk2信号和Bp2信号。
[0148]将从DS电路1012输出的Gp2信号、Pk2信号和Bp2信号提供给LPF 1013和HPF1014。与图2所示的缩小电路208 —样，LPF1013对Gp2信号、Pk2信号和Bp2信号进行V-LPF处理和H-LPF处理，以生成Gm信号、Rm信号和Ba2信号。
[0149]HPF 1014从输出自DS电路1012的Gp2信号、Pk2信号和Bp2信号减去通过LPF 1013所生成的Gm信号、Ra2信号和信号。结果，HPF 1014提取作为Gp2信号、Pk2信号和Bp2信号的高频成分的Gph2信号、Rph2信号和Bph2信号。
[0150]将Gph2信号、Rph2信号和Bph2信号提供给进行与图2所不的噪声抑制电路206相同的噪声抑制处理的噪声抑制电路1015。此外，将Gph2信号、Rph2信号和Bph2信号提供给以与图2所示的合成比率计算电路207相同的方式计算合成比率的合成比率计算电路1016。
[0151]将通过LPF 1013所生成的Gm信号、Rm信号和Bm信号提供给DS电路1017。DS电路1017对Gm信号、Rpij2信号和Bpij2信号进行下米样处理,从而将水平方向和垂直方向上的像素的数量减少一半，以生成Gp3信号、Pk3信号和Bp3信号。
[0152]将Gp3信号、Rp3信号和Bp3信号提供给进行与图2所示的噪声抑制电路206相同的噪声抑制处理的噪声抑制电路1018。
[0153]Gph信号、Gphi信号、Gph2信号和Gp3信号的频带不相互重叠，并且频带从Gph信号到Gp3信号降低。从Rph信号到Rp3信号的频带以及从Bph信号到Bp3信号的频带类似地降低。
[0154]放大电路1019对从噪声抑制电路1018所提供的各个信号进行上采样处理，从而使得与从噪声抑制电路1018所提供的信号相对应的像素的数量等于从噪声抑制电路1015所输出的像素的数量。图像合成电路1020使用通过合成比率计算电路1016所获得的合成比率，通过与图2所示的图像合成电路211相同的方法，将从放大电路1019输出的信号与从噪声抑制电路1015输出的信号针对各个颜色进行合成。
[0155]放大电路1021对从图像合成电路1020输出的信号进行上采样处理，从而使得与从图像合成电路1020输出的信号相对应的像素的数量等于从噪声抑制电路1010输出的像素的数量。图像合成电路1022使用通过合成比率计算电路1011所获得的合成比率，通过与图2所示的图像合成电路211相同的方法，将从放大电路1021输出的信号与从噪声抑制电路1010输出的信号针对各个颜色进行合成。
[0156]此外，放大电路1023对从图像合成电路1022输出的信号进行上采样处理，从而使得与从图像合成电路1022输出的信号相对应的像素的数量等于从噪声抑制电路1005输出的像素的数量。图像合成电路1024使用通过合成比率计算电路1006所获得的合成比率，通过与图2所示的图像合成电路211相同的方法，将从放大电路1023输出的信号与从噪声抑制电路1023输出的信号针对各个颜色进行合成。
[0157]也就是说，通过LPF 1003、1008和1013以及DS电路1007、1012和1017所进行的处理对应于在图3所示的步骤S303所进行的处理，并且通过噪声抑制电路1005、1010、1015和1018所进行的处理对应于在图3所示的步骤S304所进行的处理。此外，通过合成比率计算电路1006、1011和1016所进行的处理对应于在图3所示步骤S305所进行的处理，并且通过放大电路1019、1021和1023以及图像合成电路1020、1022和1024所进行的处理对应于在图3所示步骤S306所进行的处理。
[0158]然后，根据拜耳排列，对与从图像合成电路1024输出的G信号、R信号和B信号相对应的图像信号进行通过采样电路203所进行的采样处理，并且将经过了采样处理的图像信号提供给亮度/颜色生成电路204。
[0159]如上所述，即使在将频带处理电路配置成在将原始图像信号分割成与相互不重叠的不同频带相对应的多个频率成分之后，进行噪声抑制处理时，也可以获得与第一实施例相同的优点。
[0160]第三实施例
[0161]接着说明本发明的第三实施例。本实施例与第一实施例的不同在于，可以改变从图像处理电路105输出的图像信号的大小(调整大小)，并且根据输出的图像信号的大小使用用于生成亮度信号Y的不同方法。
[0162]图11是示意性示出图像处理电路105的结构的一部分的图。在图11中，以与图2所示的相同的附图标记表示具有与图2所示的相同结构的电路。本实施例的图像处理电路105包括白平衡电路201、频带处理电路1101、采样电路1102和亮度/颜色生成电路1103。
[0163]代替图2所示的同步化电路205，频带处理电路1101包括同步化/缩小电路1104。在第一和第二实施例中，与向图像处理电路105输入的图像信号相对应的像素的数量等于与从图像处理电路105输出的图像信号相对应的像素的数量。然而，在本实施例中，可以使用同步化/缩小电路1104，相对于输入给图像处理电路105的图像信号的像素的数量、减少从图像处理电路105输出的图像信号的像素的数量。用户可以使用操作构件110指定要输出的图像信号的大小。控制电路106根据用户所指定的大小，指示同步化/缩小电路1104改变从图像处理电路105输出的图像信号的大小。
[0164]此外，采样电路1102根据同步化/缩小电路1104的操作，判断是否要进行用于从输出自图像合成电路211的图像信号根据拜耳排列对G信号、R信号和B信号进行采样的处理，即再拜耳排列处理。
[0165]此外，代替图2所示的亮度混合电路214，亮度/颜色生成电路1103包括第三亮度信号生成电路1105和亮度混合电路1106。亮度/颜色生成电路1103根据同步化/缩小电路1104的操作，切换用于生成亮度信号Y的方法。
[0166]图12是示出通过图像处理电路105所包括的白平衡电路201、频带处理电路1101、采样电路1102和亮度/颜色生成电路1103所进行的处理的流程图。在接收到从A/D转换器104所输出的图像信号时，图像处理电路105进行图12所示流程图的处理。注意，在图12所示的流程图中，以与图2所示的相同的步骤标记来表示与图3所示的处理相同的处理。
[0167]在步骤S301，白平衡电路201对从Α/D转换器104所提供的图像信号进行白平衡处理。
[0168]在步骤S1201，同步化/缩小电路1104基于通过控制电路106所指定的图像信号的大小，根据从白平衡电路201所输出的图像信号生成缩小图像信号。
[0169]在步骤S1202，同步化/缩小电路1104判断通过控制电路106所指定的图像信号的大小与输入给图像处理电路105的RAW格式的图像信号的大小的比率是否等于或小于阈值。在本实施例中，由于使用从具有拜耳排列的摄像元件102所获得的图像信号，所以阈值为1/2。在同步化/缩小电路1104判断为通过控制电路106所指定的图像信号的大小是输入给图像处理电路105的图像信号的大小的一半时，处理进入步骤S1202。
[0170]注意下面的情况:将图像信号的大小减小一半，这表示将垂直方向和水平方向上的像素的数量减少一半。如果缩小图像信号的大小与输入给图像处理电路105的图像信号的大小的比率等于或小于1/2，则即使在将缩小图像信号分割成各个颜色的图像信号时，在各个颜色的图像信号中也不会生成具有值O的像素，因此，可以抑制混叠。
[0171 ] 在步骤S1203，缩小电路208接收从同步化/缩小电路1104输出的缩小图像信号，并且通过与图3所示的步骤S303相同的方法，使用缩小图像信号生成低频层图像信号。
[0172]在步骤S1204，噪声抑制电路206对从同步化/缩小电路1104输出的图像信号、即高频层图像信号进行与图3所示的步骤S304相同的噪声抑制方法。
[0173]在步骤S1205，合成比率计算电路207使用与图3所示步骤S305的相同的方法，计算高频层图像信号和低频层图像信号的合成比率。
[0174]在步骤S1206，图像合成电路211使用与图3所示步骤S306相同的方法，将高频层图像信号与低频层图像信号合成，以获得由新的G信号、新的R信号和新的B信号所构成的图像信号。将通过图像合成电路211所输出的图像信号提供给采样电路1102。
[0175]注意，在缩小图像信号的大小等于或小于输入给图像处理电路105的图像信号的大小的一半时，采样电路1102不进行采样处理，并且将图像信号不变地输出给第三亮度信号生成电路1105。
[0176]在步骤S1207，第三亮度信号生成电路1105根据第一实施例的公式(21)生成亮度信号Y。由于输入给第三亮度信号生成电路1105的图像信号经过了同步化处理，所以不同于第一亮度信号生成电路212，第三亮度信号生成电路1105不需要进行其它同步化处理。
[0177]然后，亮度混合电路1106将通过第三亮度信号生成电路1105所生成的亮度信号不变地作为亮度信号Y输出。
[0178]在步骤S1208，颜色生成电路215通过与图3所示步骤S311相同的方法，生成色差信号U和V，并且输出色差信号U和V。
[0179]这样，当缩小图像信号的大小与输入给图像处理电路105的图像信号的大小的比率等于或小于1/2时，从同步化/缩小电路1104输出的缩小图像信号用作抑制了混叠的不良影响的同步化后的图像信号。具体地，即使当将缩小图像信号分割成与不同频带相对应的多个图像信号、并且将该图像信号相互合成时，混叠的不利影响也不会增大。因此，当第三亮度信号生成电路1105使用从图像合成电路211输出的图像信号生成亮度信号Y时，可以在无需混合通过不同方法所生成的多个亮度信号的情况下，获得抑制了混叠的不利影响的亮度信号。
[0180]因此，当缩小图像信号的大小等于或小于输入给图像处理电路105的图像信号的大小的一半时，采样电路1102不进行采样处理，并且将输入的图像信号不变地输出给第三亮度信号生成电路1105。
[0181]回到步骤S1202，当缩小图像信号的大小大于输入给图像处理电路105的图像信号的大小时，同步化/缩小电路1104进入步骤S302。
[0182]然后，数字静态照相机进行与图3所示的步骤S302?步骤S311相同的处理。注意，同步化/缩小电路1104进行与图2所示的同步化电路205相同的处理，采样电路1102进行与图2所示的采样电路203相同的处理，并且亮度混合电路1106进行与图2所示的亮度混合电路214相同的处理。
[0183]如上所述，在根据本实施例的数字静态照相机中，如果图像处理电路105可以将图像信号的大小缩小至抑制混叠的不利影响的程度，则图像处理电路105不进行用于合成通过不同方法所生成的多个亮度信号的处理。这样，仅在必要时才进行用于抑制混叠的处理，因此，可以降低数字静态照相机的处理负荷。
[0184]注意，尽管作为例子，说明了用户使用操作构件110指定要输出的图像信号的大小的情况，但是本发明不局限于此。在拍摄动画时所获得的图像信号的大小是在拍摄RAW格式的静止图像时所获得的图像信号的大小的一半的情况下，如果正在拍摄动画，则处理可以自动从步骤S1201进入步骤S1202。
[0185]显然，作为用于实现通过图像处理电路105所进行的噪声抑制处理的结构，可以使用如图10所示的结构，在该结构中，将原始图像信号分割成与相互不重叠的不同频带相对应的多个频率成分。
[0186]注意，在上述实施例中，通过缩小原始信号来生成低频层图像信号。然而，可以在不缩小图像信号的情况下，通过对原始图像信号进行LPF处理来生成低频层图像信号。
[0187]此外，在任一实施例中，为了简化说明，通过附图所示的不同电路进行不同处理。然而，可以将这些电路集中配置为单个电路，或者可以通过这些电路中的一些来进行通过这些电路所进行的其中一个处理。
[0188]其它实施例
[0189]可以通过进行下述处理来实现本发明。也就是说，通过网络或各种存储介质中的一个将实现上述实施例的功能的软件(程序)提供给系统或设备，并且该系统或设备所包括的计算机(或者CPU或MPU等)读取并执行该程序。
[0190]附图标记列表
[0191]201白平衡单元
[0192]202、1001、1101 频带处理电路
[0193]203、1102 采样电路
[0194]204、1103亮度/颜色生成电路
[0195]205、1002、1104 同步化电路
[0196]206、209、1005、1010、1015、1018 噪声抑制电路
[0197]207、1006、1011、1016合成比率计算电路
[0198]208缩小电路
[0199]210、1019、1021、1023 放大电路
[0200]211、1020、1022、1024 图像合成电路
[0201]212、1105第一亮度信号生成电路
[0202]213第二亮度信号生成电路
[0203]214、1106亮度混合电路
[0204]215颜色生成电路
[0205]1003、1008、1013 低通滤波器(LPF)
[0206]1004、1009、1014 高通滤波器(HPF)
[0207]1007、1012、1017 下采样(DS)电路
【权利要求】
1.一种根据选择性地排列有多个颜色的图像数据来生成亮度信号的设备，所述设备包括: 插值单元，用于对选择性地排列有所述多个颜色的所述图像数据进行插值处理，以生成分别与所述多个颜色中的各个颜色相对应的多个颜色信号； 校正单兀，用于对所述多个颜色信号中的每一个进行校正处理； 子采样单元，用于使用各自通过所述校正单元处理过的多个颜色信号来生成选择性地排列有所述多个颜色的子采样图像数据；以及 亮度信号生成单元，用于根据所述子采样图像数据来生成所述亮度信号。
2.根据权利要求1所述的设备，其中， 所述校正处理包括噪声抑制处理。
3.根据权利要求1所述的设备，其中， 所述插值单元利用周边第一颜色像素信号对不与第一颜色对应的预定像素信号进行插值。
4.根据权利要求1所述的设备，其中， 所述子采样单元通过利用所述多个颜色中的各个颜色对所述图像数据子采样来生成所述子采样图像数据。
5.根据权利要求1所述的设备，其中， 所述亮度信号生成单元使用通过利用所述子采样图像数据中的周边第一颜色像素信号对不与第一颜色对应的预定像素信号进行插值所获得的图像数据来生成第一亮度信号，在不区分与所述多个颜色相对应的颜色信号的情况下使用包括在所述子采样图像数据中的颜色信号来生成第二亮度信号，并且使用所述第一亮度信号和所述第二亮度信号来生成合成亮度信号。
6.根据权利要求2所述的设备，其中， 所述校正单元对具有相同颜色和相似水平的相邻颜色信号进行平均。
7.一种根据选择性地排列有多个颜色的图像数据来生成亮度信号的方法，所述方法包括以下步骤: 对选择性地排列有所述多个颜色的所述图像数据进行插值处理，以生成分别与所述多个颜色中的各个颜色相对应的多个颜色信号； 对所述多个颜色信号中的每一个进行校正处理； 使用各自通过所述校正处理处理过的多个颜色信号来生成选择性地排列有所述多个颜色的子采样图像数据；以及 根据所述子采样图像数据来生成所述亮度信号。
8.根据权利要求7所述的方法，其中， 所述校正处理包括噪声抑制处理。
9.根据权利要求7所述的方法，其中， 进行所述插值处理以利用周边第一颜色像素信号对不与第一颜色对应的预定像素信号进行插值。
10.根据权利要求7所述的方法，其中， 生成所述子采样图像数据的步骤包括利用所述多个颜色中的各个颜色对所述图像数据进行子采样。
11.根据权利要求7所述的方法，其中， 生成所述亮度信号的步骤使用通过利用所述子采样图像数据中的周边第一颜色像素信号对不与第一颜色对应的预定像素信号进行插值所获得的图像数据来生成第一亮度信号，在不区分与所述多个颜色相对应的颜色信号的情况下使用包括在所述子采样图像数据中的颜色信号来生成第二亮度信号，并且使用所述第一亮度信号和所述第二亮度信号来生成合成亮度信号。
12.根据权利要求8所述的方法，其中， 所述噪声抑制处理对具有相同颜色和相似水平的相邻颜色信号进行平均。
【文档编号】H04N9/78GK104301586SQ201410551304
【公开日】2015年1月21日 申请日期:2010年2月12日 优先权日:2010年2月12日
【发明者】平井信也 申请人:佳能株式会社