图像处理设备和图像处理设备的控制方法
【专利摘要】本发明提供一种图像处理设备和图像处理设备的控制方法。该图像处理设备能够在防止用于存储不同频带的多个图像数据的存储器的容量增大的同时执行适当的图像处理。该图像处理设备将不同频带的多个图像数据中具有最高频率的第一图像数据以该第一图像数据的各像素包括多个颜色中的任意颜色的颜色成分信号的状态存储在存储器上，并且进一步将频带低于第一图像数据的频带的第二图像数据和第三图像数据以该第二图像数据和第三图像数据各自的部分或者全部像素具有多个颜色的颜色成分信号的状态存储在存储器上。
【专利说明】图像处理设备和图像处理设备的控制方法
[0001](本申请是申请日为2011年5月6日、申请号为201180023704.5、发明名称为“图像处理设备和图像处理设备的控制方法”的申请的分案申请。)
【技术领域】
[0002]本发明涉及一种用于对基于一个图像数据所生成的并且经过图像处理的不同频带的多个图像数据进行合成的技术。
【背景技术】
[0003]通常，诸如数字照相机或摄像机等的摄像设备从诸如电荷耦合装置(CXD)或者互补金属氧化物半导体(CMOS)传感器等的图像传感器读取图像数据，并且执行包括伽玛校正、像素插值和矩阵变换等的各种图像处理。由单板构成的图像传感器包括用于多个颜色的颜色滤波器。在这样的图像传感器中，对于每一像素设置多个颜色中的任意颜色用的一个颜色滤波器。如图4所示，具有包括红色(R)、绿色(G)和蓝色(B)的原色(RGB)用的颜色滤波器的Bayer阵列的图像传感器，其通常具有下面的递归像素图案。更具体地，在该递归像素图案中，一个垂直2像素X水平2像素的像素块的四个像素包括对角设置的一个R像素和一个B像素以及相反对角设置的其它两个G像素。
[0004]从图像传感器所读取的图像数据可能通常包括图像传感器的构成电路可能导致的噪声成分。此外，在从图像传感器所读取的图像数据中，可能发生伪色现象。因此，对图像数据进行用于减少上述不必要的信号成分的图像处理。
[0005]例如，有一种传统方法，该方法通过将输入图像数据分成不同频带的多个图像数据，并且随后将这些不同频带的多个图像数据合成在一起，来减少图像数据中所包括的不必要的信号成分。
[0006]日本特开2008-015741号公报所述的方法首先对图像数据分层执行低通滤波(LPF)处理和缩小处理，以将输入图像数据分成不同频带的多个图像数据。然后，根据基于各频带的图像数据的低频带成分所计算出的边缘信息，对与各频带相对应的多个图像数据的高频带成分进行降噪。随后，将低频带的图像数据和各自经过了降噪的高频带的图像数据合成在一起。
[0007]下面将参考图5详细说明一般的图像处理单元的结构，其中，该图像处理单元首先将输入图像数据分成不同频带的多个图像数据，并且随后将这些不同频带的多个图像数据合成在一起。
[0008]参考图5，图像处理单元包括分割单元510、存储器520、校正单元530和合成单元540。分割单元510将输入图像数据分割成不同频带的多个图像数据。校正单元530对各频带的图像数据执行校正。合成单元540将图像处理后的不同频带的多个图像数据合成在一起。
[0009]分割单元510将输入图像数据Sin作为第一频带的图像数据输出至存储器520。然后，分割单元510将输入图像数据Sin输入至高通滤波器(HPF) 511。此外，分割单元510将通过提取高频成分所生成的图像数据作为第一频带的图像数据输出至存储器520。然后，分割单元510将输入图像数据Sin输入至低通滤波器512以对图像数据Sin执行平滑化。随后，将平滑后的图像数据输入至缩小电路513。因此，生成了像素少于输入图像数据Sin的像素的图像数据。此外，分割单元510将该图像数据输入至高通滤波器514。此外，分割单元510将通过提取高频成分所生成的图像数据作为第二频带的图像数据输出至存储器520。
[0010]另外，低通滤波器515对缩小电路513所生成的图像数据执行平滑化。然后，将平滑后的图像数据输入至缩小电路516。因此，生成了像素少于缩小电路513所生成的图像数据的像素的图像数据。然后，将该图像数据作为第三频带的图像数据输出至存储器520。第一频带是最高频带，并且第二频带和第三频带依次逐渐降低。
[0011]在图5所示的分割单元510中，高通滤波器、低通滤波器和缩小电路构成一个带分割电路。换句话说，分割单元510包括以树状结构设置的两个带分割电路。
[0012]校正单元530包括分别与第一频带?第三频带的图像数据相对应的三个校正电路531?533。校正电路531?533对从存储器520读取的各频带的图像数据执行诸如像差校正或用于生成高清晰度图像的降噪和边缘信息存储处理等的各种处理。
[0013]合成单元540将校正电路533进行了处理的第三频带的图像数据输入至放大电路541，以生成像素数量与校正电路532进行了处理的第二频带的图像数据的像素数量相同的图像数据。然后，通过低通滤波器542对所生成的图像数据进行平滑化。相加电路543将校正电路532处理后的第二频带的图像数据与从低通滤波器542输出的图像数据进行相力口。放大电路544基于从相加电路543输出的图像数据，生成像素数量与校正电路531进行了处理后的第一频带的图像数据的像素数量相同的图像数据。然后，通过低通滤波器545对所生成的图像数据进行平滑化。相加电路546将校正电路531处理后的第一频带的图像数据与从低通滤波器545输出的图像数据进行相加，以生成输出图像数据Sout。
[0014]在图5所示的合成单元540中，放大电路、低通滤波器和相加电路构成一个频带合成电路。换句话说，合成单元540包括以树状结构设置的两个频带合成电路。
[0015]如上所述，在具有Bayer阵列的原色滤波器并且包括以马赛克状配置所排列的多个颜色用的颜色滤波器的图像传感器所获取的图像数据中，可以从一个像素获取与多个颜色中的仅一个颜色相对应的像素值。
[0016]然而，日本特开2008-015741号公报并没有说明用于对各像素包括与颜色滤波器的多个颜色中的任意颜色相对应的信号的图像数据进行处理的任何方法。
[0017]在具有原色Bayer阵列的单板图像传感器的情况下，通过执行在将图像数据分割成不同频带的多个图像数据时所执行的下采样而实现的缩小处理，无需对针对各颜色具有零信号的像素进行插值，图像传感器的各像素即可具有所有颜色成分的信号。如图6所示，为了特别说明具有Bayer阵列的图像传感器的特定行，依次递归配置R信号颜色滤波器和G信号颜色滤波器。下面将说明用于在水平方向上将以该方式配置的像素的数量减小至原始数量的一半的传统方法。为了特别说明特定行的R信号，将原本以两个像素中存在一个R像素为周期所排列的R信号通过缩小处理缩小成针对每一像素的一个信号。类似地，为了特别说明同一行的G信号，将原本以两个像素中存在一个G像素为周期所排列的G信号通过缩小处理缩小成针对每一像素的一个信号。然而，在用于缩小G信号的处理期间，为了将G信号的重心位置与R信号的重心位置对准，通过对相邻像素的像素值进行平均来计算重心位置的值。通过以上述方式执行缩小，无需对针对各颜色具有零信号的像素进行插值，可以在一个像素位置处生成RGB原色的所有颜色成分的信号。通常，将针对同一像素生成多个颜色的信号通称为同步化(synchronizat1n)。
[0018]由于通过缩小而对第二频带的图像数据和第三频带的图像数据进行同步化，因而可以以同步化状态将第二频带的图像数据和第三频带的图像数据存储在存储器520上。如果将同步化后的第二频带的图像数据和同步化后的第三频带的图像数据逆变换回Bayer阵列的图像数据，则图像数据的信息量可能由于逆变换而减小。因此，校正单元530的降噪或者像差校正的校正精度可能劣化。
[0019]假定:可以对第一频带的图像数据进行与第二频带的图像数据和第三频带的图像数据相关联的同步化，然后将同步化后的图像数据存储在存储器520上。然而，在这种情况下，信息量是最大数据的第一频带的图像数据的信息量可能变成三倍的大小。因此，必须将存储器520的容量增大至非常大的容量。
[0020]引f列表
[0021]专利文献
[0022][专利文献I]日本特开2008-015741号公报
【发明内容】
[0023]本发明旨在对如下图像处理设备的改进，其中该图像处理设备用于将通过包括多个颜色滤波器的单板图像传感器所拍摄的图像数据分成不同频带的多个图像数据，将该图像数据存储在存储器中，并且校正从该存储器所读取的这些不同频带的多个图像数据。
[0024]根据本发明的一个方面，一种图像处理设备，其包括:带分割单元，用于基于第一图像数据而输出频带低于所述第一图像数据的频带的第二图像数据以及频带还低于所述第二图像数据的频带的第三图像数据，其中，所述第一图像数据包括多个颜色成分信号，并且所述第一图像数据的各像素包括所述多个颜色成分信号中的任意颜色成分信号；存储器，用于存储所述第一图像数据、所述第二图像数据和所述第三图像数据；校正单元，用于对存储在所述存储器上的所述第一图像数据、所述第二图像数据和所述第三图像数据执行校正处理；以及合成单元，用于将所述校正单元进行了校正的所述第一图像数据、所述第二图像数据和所述第三图像数据合成在一起，其中，从所述带分割单元输出的所述第二图像数据和所述第三图像数据各自的部分像素或者全部像素包括所述多个颜色成分信号，以及所述存储器将所述第一图像数据以各像素包括所述多个颜色成分信号中的任意颜色成分信号的状态进行存储，并且将所述第二图像数据和所述第三图像数据以各自的部分像素或者全部像素包括所述多个颜色成分信号的状态进行存储。
[0025]通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。
【专利附图】
【附图说明】
[0026]包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。
[0027]图1是根据本发明典型实施例的摄像设备的功能框图。
[0028]图2是示出根据本发明第一典型实施例的与图像处理单元的降噪有关的结构的框图。
[0029]图3是示出根据本发明第二典型实施例的与图像处理单元的降噪有关的结构的框图。
[0030]图4示出Bayer阵列的像素图案。
[0031]图5是示出执行用于将不同频带的多个图像数据合成在一起的处理的传统图像处理单元的一般结构的框图。
[0032]图6示出通过利用下采样进行缩小所得到的图像数据的同步化。
【具体实施方式】
[0033]下面将参考附图详细说明本发明的各种典型实施例、特征和方面。
[0034]图1是根据本发明典型实施例的摄像设备的功能框图。
[0035]参考图1，图像形成光学单元101包括镜头和光圈。图像形成光学单元101可以控制调焦和曝光。图像传感器102具有用于将光学图像转换成电信号的光电转换功能。图像传感器102由CXD或者CMOS传感器构成。模拟-数字(A/D)转换电路103将来自图像传感器102的模拟图像信号转换成数字图像数据。图像处理单元104对从A/D转换电路103输出的图像数据执行诸如降噪、像差校正、伪色去除、伽玛校正、插值和矩阵变换等的各种处理。
[0036]存储器接口(I/F) 105作为与由动态随机存取存储器(DRAM)构成的存储器106的接口，具有用于写入和读取图像处理单元104处理后的图像数据和各种控制数据的功能。中央处理单元(CPU) 107执行各种控制操作。显示单元108包括液晶显示器(IXD)监视器。显示单元108顺次显示图像处理单元104处理后的图像数据，以允许用户实时查看所拍摄的被摄体图像。
[0037]入射至图像形成光学单元101的光在图像传感器102的光接收面上形成图像，并且从图像传感器102输出该图像的信号作为模拟图像信号。在图像传感器102中，对各像素设置各个R(红色)、G(绿色)和B(蓝色)颜色滤波器。从各像素输出的信号水平对应于R、G和B信号中的任意信号的水平。A/D转换电路103将模拟图像信号转换成作为Bayer阵列的RAW图像的数字图像数据，然后将该数字图像数据输入至图像处理单元104。
[0038]图2是示出根据第一典型实施例的与图像处理单元104的降噪有关的结构的框图。
[0039]参考图2，图像处理单元104包括分割单元210、存储器220、校正单元230和合成单元240。分割单元210将输入图像数据分割成多个不同频带的图像数据。校正单元230对各频带的图像数据执行降噪。合成单元240将不同频带的图像数据合成在一起。
[0040]分割单元210将输入图像数据Sin原样地作为第一频带的图像数据输出至存储器220。
[0041]分割单元210还将输入图像数据Sin输入至LPF 211。在通过LPF 211进行平滑化之后，将输入图像数据Sin输入至缩小电路212。因而，生成了所包括的像素少于输入图像数据Sin的像素的图像数据。在本典型实施例中，缩小电路212通过执行下采样来缩小输入图像数据，从而使得在垂直和水平方向两者上的像素的数量可以变成原始像素数量的一半。此外，缩小电路212将缩小后的图像数据作为第二频带的图像数据输出至存储器220。
[0042]此外，随后通过低通滤波器213对缩小电路212所生成的图像数据进行平滑化。然后，将平滑化后的图像数据输入至缩小电路214。因此，缩小电路214生成所包括的像素少于缩小电路212所生成的图像数据的像素的图像数据。在本典型实施例中，缩小电路214还对输入图像数据执行下采样，以在垂直和水平方向上将图像数据的大小减小至原始大小的一半。将缩小后的图像数据作为第三频带的图像数据输出至存储器220。
[0043]例如，可以通过下面的传递函数实现低通滤波器211和213。
[0044]H(Z) = 1/2* (1+Z-1)...(数学式 I)
[0045]分割单元210用作带分割单元。第一频带为最高频带。第二频带和第三频带依次逐渐降低。
[0046]如上所述，通过低通滤波器来处理第二频带的图像数据和第三频带的图像数据，以对这些图像数据进行可在一个像素位置处生成RGB颜色的所有颜色成分的信号的同步化。可以以同步化状态将第二频带的图像数据和第三频带的图像数据存储在存储器220上。
[0047]对于第一频带的图像数据，作为下游单元的校正单元230使用同步化后的图像数据。然而，将尚未同步化的具有Bayer阵列的RAW图像数据存储在存储器220上。因而，本典型实施例可以减小存储器220的用于存储图像数据的所需容量。
[0048]校正单元230从存储器220读取第一频带?第三频带的图像数据，并且对所读取的图像数据执行降噪。代替一次读取全部图像数据，每当执行处理时，校正单元230读取与高通滤波器231和232以及降噪电路233?235通过一个操作要处理的区域相对应的所需图像数据。因而，校正单元230包括存储器(未示出)，但是与存储器220的容量相比，该存储器的所需容量十分小。例如，可以通过下面的传递函数实现高通滤波器231和232。
[0049]H(Z) = Ι/^α-Ζ—1)...(数学式 2)
[0050]校正单元230读取包括以目标像素为中心的预定数量的像素的第一频带的图像数据。然后，通过高通滤波器231来处理该第一频带的图像数据。因而，校正单元230可以提取以目标像素为中心的第一频带的图像数据的区域的高频带成分。然后，将所读取的具有预定数量的像素的第一频带的图像数据输入至高通滤波器231，以对其进行用于在各像素的位置处生成所有RGB颜色的颜色成分的信号的同步化。
[0051]降噪(NR)电路233使用从高通滤波器231输出的具有高频带成分的图像数据，并且判断图像数据的边缘的方向。更具体地，降噪电路233例如基于同步化后的G信号的颜色成分的信号水平来判断所读取图像数据的区域的边缘的方向。另外，降噪电路233执行用于在所判断出的边缘方向上对信号进行混合的处理，以对图像数据进行平滑化。以上述方式，本典型实施例减少图像数据中所包含的噪声。
[0052]同样，校正单元230读取包括以目标像素为中心的预定数量的像素的第二频带的图像数据，并且使高通滤波器232从所读取的第二频带的图像数据提取高频带成分。此外，校正单元230使降噪电路234对高通滤波器232已处理的图像数据执行降噪。
[0053]校正单元230读取包括以目标像素为中心的预定数量的像素的第三频带的图像数据。随后，在无需通过高通滤波器提取高频带成分的情况下，降噪电路235对所读取的第三频带的图像数据进行降噪。
[0054]除通过使用第一频带?第三频带的图像数据的降噪以外，校正单元230还可以执行用于校正倍率的色像差的处理和用于去除伪色的处理。即使在校正处理中要执行与降噪不同的处理来提高图像质量，也可以通过使用同步化后的第二频带的图像数据和同步化后的第三频带的图像数据来应用本发明。
[0055]随后，合成单元240将从降噪电路235输出的图像数据输入至放大电路241。放大电路241放大图像数据，以使得同一区域所包括的像素的数量变得等于从降噪电路234输出的图像数据的像素的数量。更具体地，放大电路241对从降噪电路235输出的图像数据执行上采样来增加垂直方向和水平方向两个方向上的像素的数量，以变大至上采样之前的数量的两倍。随后，将经过了上采样的图像数据输入至低通滤波器242。低通滤波器242对图像数据执行平滑化。
[0056]相加电路243通过使从低通滤波器242输出的图像数据和从降噪电路234输出的图像数据的空间相位一致，将这些图像数据合成在一起。然后，将合成后的图像数据输出至放大电路244。放大电路244放大图像数据，以使得同一区域中的像素的数量变得与从降噪电路233输出的图像数据的像素的数量相同。更具体地，放大电路244对从相加电路243输出的图像数据执行上采样来增加垂直方向和水平方向两个方向上的像素的数量，以变大至上采样之前的数量的两倍。随后，将上采样后的图像数据输入至低通滤波器245。低通滤波器245对图像数据执行平滑化。
[0057]相加电路246通过使从低通滤波器245输出的图像数据和从降噪电路233输出的图像数据的空间相位一致，将这些图像数据合成在一起，以生成与目标像素相对应的输出图像数据Sout。图像处理单元104对图像数据的所有区域执行上述处理。因而，可以生成噪声得以减少的图像数据。
[0058]在相加电路243和246的图像数据相加处理期间，使从降噪电路233和234输出的图像数据延迟，以使要相加在一起的图像数据的空间相位一致。因而，校正单元230和合成单元240可以减少存储器的所需容量。
[0059]为了使校正单元230在期望时刻读取所需区域的全部图像数据，需要使存储器220存储图像数据的所有区域的第一频带?第三频带的图像数据。如果要以与第二频带的图像数据和第三频带的图像数据同样的同步化状态将第一频带?第三频带的所有图像数据中具有最大像素数量的第一频带的图像数据存储在存储器220上，则需要存储器220具有非常大的容量。
[0060]为了防止这种情况，在本典型实施例中，以同步化状态将分别由分割单元210进行了同步化的第二频带的图像数据和第三频带的图像数据存储在存储器220上。另一方面，将第一频带的图像数据以没有进行同步化的状态存储在存储器220上。
[0061]输入至图像处理单元104的图像数据原本仅包括与各颜色用的颜色滤波器中的任一颜色相对应的颜色成分的信号。因而，如果将第一频带的图像数据原样地存储在存储器上，则图像数据的信息量不会减少。如果要对第一频带的图像数据进行可以维持Bayer阵列的校正(例如，缺陷像素的校正)，则可以在将第一频带的图像数据存储在存储器220上之前，对其执行该校正。
[0062]可以假定:类似于第一频带的图像数据，对同步化后的第二频带和第三频带的图像数据进行使得各像素具有一个颜色成分信号的采样从而维持Bayer阵列结构，然后将这些图像数据存储在存储器220上。然而，在这种情况下，如果校正单元230通过再次执行同步化而生成图像，则图像数据的信息量少于以Bayer阵列进行设置之前的图像的信息量。换句话说，降噪的精度可能劣化。为了防止这种情况，本典型实施例以同步化状态将第二频带的图像数据和第三频带的图像数据存储在存储器220上。
[0063]校正单元230的高通滤波器231和232不总是必需的。如果放大电路241和244所执行的合成图像数据的合成比率可以根据第一频带的图像数据所包括的边缘成分的强度而适当地进行改变，则校正单元230可以不包括高通滤波器231和232。更具体地，随着第一频带的边缘成分所包括的图像数据的强度的变大，频带的图像数据的合成比率可以增大。
[0064]图3是示出根据本发明第二典型实施例的图像处理单元104所执行的降噪的结构的框图。
[0065]参考图3，图像处理单元104包括分割单元310、存储器320、校正单元330和合成单元340。分割单元310将输入图像数据分割成多个不同频带的图像数据。校正单元330对各频带的图像数据执行降噪。合成单元340将不同频带的图像数据合成在一起。
[0066]存储器320和合成单元340分别具有与图2所示的存储器220和合成单元240相同的结构。
[0067]在分割单元310中，低通滤波器311、缩小电路312、低通滤波器313和缩小电路314分别具有与图2所示的低通滤波器211、缩小电路212、低通滤波器213和缩小电路214相同的结构。与不图2所示的分割单元210的不同之处在于:根据本典型实施例的分割单元310还包括红色和蓝色(RB)变换电路315和316。
[0068]在校正单元330中，高通滤波器331和332以及降噪电路333?335分别具有与图2所示的校正单元230中的高通滤波器231和232以及降噪电路233?235相同的结构。与图2所示的校正单元230的不同之处在于:根据本典型实施例的校正单元330还包括RB逆变换电路336和337。
[0069]RB变换电路315和316执行用于将包括从缩小电路312和314输出的同步化后的图像数据的红色和蓝色颜色成分的信号的图像数据的水平分辨率减少至原始水平分辨率的一半的处理。更具体地，对图像数据进行处理，以使得所有像素具有绿色颜色成分的信号，而仅一部分(一半)像素具有红色和蓝色颜色成分的信号。例如，通过使用以下面的传递函数所实现的低通滤波而在水平方向上进行下采样，可以对图像数据进行间隔剔除。
[0070]H(z) = 1/4*(1+2*Z-1+Z-2)...(数学式 3)
[0071 ] RB逆变换电路336和337执行用于使水平分辨率被RB变换电路315和316减小至原始水平的一半的、包括红色和蓝色颜色成分的信号的图像数据的水平分辨率恢复为两倍高的水平的处理。更具体地，可以通过在水平方向上对图像数据进行两倍大的上采样，来对该图像数据进行插值。
[0072]与绿色颜色成分的信号相比，红色颜色成分信号和蓝色颜色成分信号对包括红色、绿色和蓝色颜色成分信号的图像数据的视觉特性的影响相对较低。因而，如果在绿色颜色成分的水平分辨率不变的情况下，将红色颜色成分和蓝色颜色成分各自的水平分辨率减小至原始水平的一半，则所拍摄图像的质量的劣化可能不会太大。
[0073]因而,在本典型实施例中，在将红色和蓝色颜色成分的水平分辨率减小至原始水平的一半之后，将第二频带的图像数据和第三频带的图像数据存储在存储器320上。因此，本典型实施例可以减少存储器320的所需容量和带宽。
[0074]可以根据摄像设备的工作模式来改变是否执行RB变换电路315和316以及RB逆变换电路336和337所执行的处理。除静止图像拍摄模式以外，近年来的数字照相机还包括诸如运动图像记录模式和高速连续拍摄模式等的多个工作模式(功能)。在运动图像记录模式和高速连续拍摄模式下，需要向数字照相机设置具有适当带宽的存储器。
[0075]如果图像传感器102处于诸如运动图像记录模式或者高速连续拍摄模式等的存储器的带宽消耗大的工作模式，则可以使RB变换电路315和316以及RB逆变换电路336和337所进行的处理有效。
[0076]另一方面，如果图像传感器102处于静止图像记录模式，则可以使RB变换电路315和316以及RB逆变换电路336和337所进行的处理无效。利用上述结构，与使RB变换电路和RB逆变换电路所进行的上述处理有效的情况相比，本典型实施例可以通过使用信息量较大的图像数据来执行降噪。因而，本典型实施例可以高精度地执行降噪。
[0077]在以上参考相应附图所述的各典型实施例中，为了便于理解，对于不同内容的处理设置不同电路。然而，可以利用集成电路来实现上述多个电路。另一方面，多个电路可以分担实现上述的一个电路所进行的处理。
[0078]如上所述，各典型实施例使用由具有Bayer阵列并且具有RGB原色用的颜色滤波器的图像传感器所生成的图像数据。然而，本发明不局限于该结构。换句话说，还可以对由具有诸如黄色(Y)、品红色(M)和青色(C)等的补色用的颜色滤波器的图像传感器所生成的图像数据执行上述处理。
[0079]在各典型实施例中，将图像数据分割成三个不同频带的图像数据。然而，可以通过可选地将图像数据仅分割成两个不同频带的图像数据来实现本发明。此外，可选地，在将图像数据分割成四个以上不同频带的图像数据的情况下，也可以实现本发明。
[0080]作为除上述方法以外的用于将图像数据分割成不同频带的多个图像数据的方法，可以可选地使用下面的方法。更具体地，可以通过小波变换而将图像数据分割成相互不同的频带的多个图像数据，以实现本发明。
[0081]此外，本发明不局限于摄像设备。如果安装了图像处理应用程序的个人计算机(PC)可以用作如下的图像处理设备，则可以通过该PC来实现本发明，其中该图像处理设备能够通过对根据各像素不同而不同的颜色成分信号执行同步化，来对包括这些信号的图像数据进行处理。
[0082]还可以通过向系统或设备提供存储用于实现这些实施例的功能的软件的程序代码的非易失性存储介质并且通过利用该系统或设备的计算机(CPU或者微处理单元(MPU))读取并执行存储在该存储介质上的程序代码来实现本发明。
[0083]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功倉泛。
[0084]本申请要求2010年5月11日提交的日本专利申请2010-109548的优先权，其全部内容通过引用包含于此。
【权利要求】
1.一种图像处理设备，其包括: 带分割单元，用于基于第一图像数据而输出频带低于所述第一图像数据的频带的第二图像数据，其中，所述第一图像数据与多个颜色成分信号相对应，并且所述第一图像数据的各像素与所述多个颜色成分信号中的一个颜色成分信号相对应； 存储器，用于存储所述第一图像数据和所述第二图像数据；以及 合成单元，用于将所述第一图像数据和所述第二图像数据合成在一起， 其特征在于，所述存储器将所述第一图像数据以各像素与所述多个颜色成分信号中的一个颜色成分信号相对应的状态进行存储，并且将所述第二图像数据以部分像素或者全部像素与所述多个颜色成分信号相对应的状态进行存储。
2.根据权利要求1所述的图像处理设备，其中， 所述多个颜色成分信号与红色颜色成分信号、绿色颜色成分信号和蓝色颜色成分信号相对应， 所述带分割单元基于所述第一图像数据，来生成频带低于所述第一图像数据的频带并且各像素与所述多个颜色成分信号相对应的第三图像数据，并且所述带分割单元进一步基于所述第三图像数据，通过减少所述第三图像数据的包括红色颜色成分信号的像素的数量和包括蓝色颜色成分信号的像素的数量，来生成所述第二图像数据。
3.根据权利要求1所述的图像处理设备，其中，还包括校正单元，所述校正单元用于对存储在所述存储器上的所述第一图像数据和所述第二图像数据执行校正处理， 所述合成单元将所述校正单元进行了校正的所述第一图像数据和所述第二图像数据合成在一起。
4.根据权利要求3所述的图像处理设备，其中， 所述校正处理包括降噪处理、倍率色像差校正处理和伪色去除处理至少之一。
5.根据权利要求3所述的图像处理设备，其中， 所述校正单元对所述第一图像数据进行转换，以使得所述第一图像数据的各像素与所述多个颜色成分信号相对应，然后对所述第一图像数据执行所述校正处理。
6.根据权利要求1所述的图像处理设备，其中， 所述第二图像数据的像素的数量少于所述第一图像数据的像素的数量。
7.根据权利要求1所述的图像处理设备，其中， 所述第一图像数据具有拜尔阵列。
8.一种图像处理设备的控制方法，包括以下步骤: 基于第一图像数据而输出频带低于所述第一图像数据的频带的第二图像数据，其中，所述第一图像数据与多个颜色成分信号相对应，并且所述第一图像数据的各像素与所述多个颜色成分信号中的一个颜色成分信号相对应； 将所述第一图像数据和所述第二图像数据存储在存储器上；以及 将所述第一图像数据和所述第二图像数据合成在一起， 其特征在于，所述存储器将所述第一图像数据以各像素与所述多个颜色成分信号中的一个颜色成分信号相对应的状态进行存储，并且将所述第二图像数据以部分像素或者全部像素与所述多个颜色成分信号相对应的状态进行存储。
【文档编号】H04N5/232GK104410786SQ201410669965
【公开日】2015年3月11日 申请日期:2011年5月6日 优先权日:2010年5月11日
【发明者】川口善也, 原贵幸, 国枝秀太郎 申请人:佳能株式会社