亮度信号生成设备、亮度信号生成方法和摄像设备的制作方法

专利名称：亮度信号生成设备、亮度信号生成方法和摄像设备的制作方法
技术领域：
本发明涉及亮度信号生成设备、亮度信号生成方法和摄像 设备。本发明特别涉及从由使用原色拜尔模式型颜色滤波器阵 列的图像传感器获得的信号生成亮度信号的设备、该设备的方 法以及使用该设备和方法的摄像设备。
背景技术：
由于利用C C D图像传感器或C M O S图像传感器等能够检测 光量的图像传感器来生成彩色图像，因此通常使用使光通过颜 色滤波器阵列然后使该光入射到图像传感器上的结构。
存在根据所使用的颜色、分配至像素的颜色的模式等而不 同的各种类型的颜色滤波器阵列，并且原色(红色、绿色和蓝色) 或补色(青色、品红色和黄色)是广泛使用的颜色类型，并且将 拜尔模式(Bayer pattern)广泛用作颜色才莫式。
图20是示出实现用于仅从绿色(G)信号生成亮度信号(OG 信号)的OutOfGreen方法的亮度信号生成电路的示例结构的图， 其中该OutOfGreen方法是用于利用原色拜尔模式型颜色滤波器 阵列来生成亮度信号的各种传统方法的其中之一。R表示红色， G1和G2表示绿色，并且B表示蓝色。
首先，将0插入电路2201应用于通过对来自图像传感器的输 出(2204)进行数字化所获得的RAW(原始)信号2200,从而将除G 像素以外的像素的值设置为O (2205)。接着，应用限制垂直方向 上的带宽的低通滤波器(V-LPF)电路2202和限制水平方向上的 带宽的低通滤波器(H-LPF)电路2203,以获得亮度信号。在下文， 将使用OutOfGreen方法所获得的亮度信号称为OG信号。用于利用原色拜尔模式型颜色滤波器阵列来生成亮度信号
的传统方法的另 一 例子是将全部RGB像素的信号作为亮度信号 (S WY信号)等同处理的S WY方法。
图21是示出实现SWY方法的亮度信号生成电路的示例结 构的图。
如与图20比專交显而易见，SWY方法是在不使用OutOfGreen 方法中的0插入电路2201的情况下获得亮度信号的方法。在下 文，将使用SWY方法所获得的亮度信号称为SWY信号。
图22是示出OG信号和SWY信号的可分辨的空间频率特性 的图。
x轴表示被摄体在水平(H)方向上的频率空间，y轴表示在垂 直(V)方向上的频率空间，并且随着离原点的距离增加，空间频 率增大。在OG信号的情况下，仅从G信号获得亮度信号，因此 在水平和垂直方向上的分辨率极限等于图像传感器的奈奎斯特
(Nyquist)频率(在轴上，兀/2)。然而，由于在对角方向上存在没 有像素的线，因此对角方向上的极限分辨率频率低于水平和垂 直方向上的极限分辨率频率，结果，菱形的空间频率区域2400 是可分辨的空间频率。
另一方面，在SWY信号的情况下，使用全部的像素获得信 号，因此当被摄体是非彩色时，如图22所示的正方形区域2401 是可分辨的空间频率。然而，在红色#1摄体的示例情况下，不 从除R像素以外的像素输出亮度信号，因此当与非彩色被摄体 相比较时，仅在相当于水平和垂直方向上的范围的一半的空间 频率范围2402中可以进行分辨。
日本特开2003-348609提出了利用SWY信号来替代图22中 OG信号的对角区域2403的方法。然而，由于当被摄体是彩色时 SWY信号的分辨率极限频率下降，因此仅在对角区域2403与非彩色被摄体有关时，才利用SWY信号来替换OG信号。之后，
利用所生成的亮度信号检测边缘增强分量，并将该边缘增强分 量与亮度信号相加，从而生成最终亮度信号。
日本特开2003-196649提出了以下方法在生成亮度信号时 依赖于被摄体的角度而不同地使用多个预先设置的插值滤波 器，然后对该亮度信号进行边缘增强，从而生成最终亮度信号。
j]:匕夕卜，与曰本净争开2003-348609类4以，曰本专利3699873才是 出了根据被摄体的色相和色度对OG信号和SWY信号进行加权 相加的方法。具体地，SWY信号用于低色度被摄体，SWY信号 用于高色度被摄体中的Mg(品红色)和G(绿色)被摄体，并且OG 信号用于其它彩色被摄体。之后，利用MIX信号计算出边缘增 强分量，并将该边缘增强分量与单独生成的亮度信号相加，由 此生成最终亮度信号。
此外，在日本特开2008-72377中公开的方法中，利用OG信 号生成第一高频信号，并且利用使用角度自适应型SWY方法从 所有颜色的像素的信号生成的亮度信号生成第二高频信号，其 中该角度自适应型SWY方法不仅限制水平和垂直方向上的带 宽而且限制对角方向上的带宽。然后，根据信号的空间频率对 第 一 高频信号和第二高频信号进行加权相加，以生成第三高频 信号，并且将OG信号和第三高频信号相加，从而生成最终亮度 信号。
然而，当将在日本特开2003-348609中公开的技术应用于使 用原色拜尔模式型颜色滤波器阵列所获得的信号时，存在以下 不利影响当使用由图21所示的亮度信号生成电路生成的SWY 信号时，在45度和135度方向附近生成了伪分辨率信号(空间混 叠(spatial aliasing))。认为该影响归因于以下事实在图21所示 的电路中，仅在H方向和V方向上限制带宽，因此在45度和135度对角方向上没有充分限制带宽。
此外，由于OG信号用于彩色被摄体，因此对于彩色被摄体，
对角方向上的分辨率没有提高。此外，当使用已利用SWY信号 替换了 OG信号的一部分(对角区域2403)的亮度信号来生成边 缘增强信号时，存在OG信号和SWY信号之间的切换的部分被 增强，并且易于出现不自然的紋理。
此外，在日本特开2003-196649中公开的技术中，必须预先 设置并保持与被摄体角度相对应的多个插值滤波器。当将色空 间设置为例如NTSC-RGB时，必须准备维持亮度4言号构成比 R:G:B = 3:6:1的插值滤波器。这导致了滤波器的系数被限制、 并且不能够进行对于被摄体的角度最佳的滤波处理的问题。与 日本特开2003-348609类似，由于在将使用多个插值方法计算出 的亮度信号混合之后进行边缘增强，因此使用不同的方法所计 算出的亮度信号之间的细微切换被增强。
在日本专利3699873中公开的技术中，仅在Mg和G被摄体 的情况下，代替OG信号而使用SWY信号，因此在除Mg和G被 摄体以外的彩色被摄体的分辨率方面没有提高。此外，与在曰 本特开2003-348609和曰本特开2003-196649中公开的技术类 似，由于在已对使用多个技术计算出的亮度信号进行了加权相 加之后进行边缘增强，因此存在方法之间的切换的部分被增强。
在日本特开2008-72377中，抑制红色被摄体的图像质量劣 化，因此检测红色区域，并且利用从该区域的OG信号生成的第 一高频信号生成最终亮度信号。由于该原因，存在红色被摄体 变得模糊(特别地，难以与红色区分开的金黄色头发变得模糊) 的现象、以及不能够消除红色对角线的空间混叠等的问题。
根据颜色滤波器阵列的光谱分布特性，对于蓝色被摄体出 现了相同的问题。

发明内容
考虑到传统技术的以上问题而作出了本发明。本发明的第 一方面提供了 一种对于红色和蓝色被摄体能够抑制在对角方向 分量中出现空间混叠的亮度信号生成设备和亮度信号生成方法。
根据本发明的一个方面，提供了 一种亮度信号生成设备， 其根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器读 取的图像信号生成各像素的亮度信号，所述亮度信号生成设备
包括第一信号生成部件，用于根据通过限制所述图像信号的 空间频率带宽所生成的第一图像信号，生成第一信号；第二信
号生成部件，用于根据通过将所述图像信号的空间频率带宽限 制为低于所述第一图像信号的带宽所生成的第二图像信号，生
成第二信号；计算部件，用于根据从所述图像传感器读取的所 述图像信号计算关注像素的颜色强度指标，其中所述颜色强度 指标表示所述关注像素的预定颜色的强度；以及第 一相加部件， 用于使用第三信号来生成所述关注像素的输出亮度信号，其中 所述第三信号是通过以如下方式将所述第一信号和所述第二信 号相加所生成的基于所述颜色强度指标，随着所述关注像素 的所述预定颜色的强度增加，所述第二信号的权重增大。
根据本发明的另一方面，提供了一种摄像设备，包括图 像传感器，其包括原色拜尔模式型颜色滤波器阵列；以及根据 如上所述的亮度信号生成设备。
根据本发明的又一方面，提供了一种亮度信号生成方法， 用于根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器 读取的图像信号生成各像素的亮度信号，所述亮度信号生成方 法包括以下步骤第一亮度信号生成步骤，用于根据通过限制从所述图像传感器读取的所述图像信号的空间频率带宽所生成 的第一图像信号，生成第一信号；第二亮度信号生成步骤，用 于根据通过将从所述图像传感器读取的所述图像信号的空间频
率带宽限制为低于所述第一图像信号的带宽，生成第二信号； 计算步骤，用于根据从所述图像传感器读取的所述图像信号计
算关注像素的颜色强度指标，其中所述颜色强度指标表示所述 关注像素的预定颜色的强度；以及第一相加步骤，用于使用第 三信号来生成所述关注像素的输出亮度信号，其中所述第三信 号是通过以如下方式将所述第一信号和所述第二信号相加所生 成的基于所述颜色强度指标，随着所述关注像素的所述预定 颜色的强度增加，所述第二信号的权重增大。
根据以下参考附图对典型实施例的说明，本发明的其它特 征将变得明显。


图1是示出根据本发明的实施例1的亮度信号生成设备的示 例结构的框图。
图2是示出根据本发明的实施例1的亮度信号生成设备中所 使用的低通滤波器的频率特性的示例的图。
图3A 3D是示出根据本发明的实施例1的亮度信号生成设 备中所使用的二维空间滤波器的系数的示例的图。
图4是示出本发明的实施例1中的角度信号生成电路的示例 结构的框图。
图5是示出本发明的实施例1中的第一HVD加权相加电路 的示例结构的框图。
图6是示出图5中的第 一 系数计算电路的输入/输出特性的 示例的图。图7是示出本发明的实施例1中的颜色处理电路的示例结构
的框图。
图8是示出本发明的实施例1中的第 一 和第二 GR加权相加 电路的示例结构的框图。
图9A是示出图8中的第 一红色色度计算电路的输入/输出特 性的示例的图，图9B是示出图8中的第二红色色度计算电路的 输入/输出特性的示例的图，以及图9C是示出图8中的第二系数 计算电路的输入/输出特性的示例的图。
图10是示出根据本发明的实施例2的亮度信号生成设备的 示例结构的框图。
图ll是示出根据本发明的实施例2的亮度信号生成设备中 的自适应插值电路的示例结构的框图。
图12是示出由图11中的DiffH信号生成电路和DiffV信号生 成电路进行的动作的图。
图13是示出图ll中的G系数计算电路的输入/输出特性的示 例的图。
图14是示出根据本发明的实施例2的亮度信号生成设备中 的对角加权相加电路的示例结构的框图。
图15是示出自适应OG信号和SWY信号的可分辨的频率空 间的图。
图16是示出图14中的第三SWY系数计算电路的示例结构 的框图。
图17是示出图14中的第四SWY系数计算电路的示例结构 的框图。
图18是示出图14中的第五SWY系数计算电路的示例结构 的框图。
图19A是示出图14中的第二SWY系数计算电路的输入/输出特性的示例的图，图19B是示出图16中的CalSwyUse3的输入/ 输出特性的示例的图，以及图19C是示出图17中的CalSwyUse4 的输入/输出特性的示例的图。
图20是示出根据OG方法的亮度信号生成电路的示例结构
的框图。
图21是示出根据S W Y方法的亮度信号生成电路的示例结
构的框图。
图22是示出OG信号和S WY信号的可分辨的空间频率特性的图。
具体实施例方式
现在将参考附图来详细说明本发明的优选实施例。 实施例1
图l是示出根据本发明的实施例1的亮度信号生成设备的示 例结构的框图。在使用包括原色拜尔模式型颜色滤波器阵列的 图像传感器的摄像设备中，可以由进行所谓的显影处理等的信 号处理的信号处理电路来适当地实现根据本实施例的亮度信号 生成设备。
此外，该亮度信号生成设备使用已从图像传感器读取的各 像素的图像信号来生成各像素的亮度信号。因此，尽管没有特 别说明，在顺次更新关注像素时，对各个关注像素执行以下所 述的处理。
计算第一亮度信号
从包括原色拜尔模式型颜色滤波器阵列的图像传感器(未 示出)读取图像信号，对该图像信号进行数字化和白平衡处理， 并且接收所得的图像信号作为R A W信号10 0的输入。
作为第一低通滤波器的垂直低通滤波器(V-LPF)101和水平低通滤波器(H-LPF) 102限制RAW信号100的水平和垂直方向带 宽，并生成亮度信号Yhv—1。
图2是示出根据本实施例的亮度信号生成设备中所使用的 低通滤波器的频率特性的示例的图。在图2中，x轴表示空间频 率，并且y轴表示通过增益。V-LPF 101和H-LPF 102具有在图像 传感器的奈奎斯特频率N处增益为0的频率特性200。另 一方面， 如后面将说明的，V-LPF 116和H-LPF 117具有在图^f象传感器的 奈奎斯特频率N的一半(N/2)处增益为0的频率特性201。
通常，将具有频率特性200的V-LPF IOI和H-LPF 102应用于 单色(非彩色)被摄体。
将从H-LPF 102输出的亮度信号YhvJ提供至第一HVD加 权相加电路114。还将亮度信号Yhv一l提供至二维低通滤波器 D45-LPF 103和D135-LPF 106, 并才是供至垂直带通滤波器 (V-BPF) 109和水平带通滤波器(H-BPF) 111。
图3 A 3 D是示出根据本实施例的亮度信号生成设备中所使 用的二维空间滤波器的系数的示例的图。图3 A和3B分别示出 D45-LPF 103和D135-LPF 106的系数的例子，并且图3C和3D分 别示出后面所述的D135-BPF 104和后面所述的D45-BPF 107的 系数的例子。
D45-LPF 103生成限制了亮度信号Yhv—l的45度方向带宽 的亮度信号Yd45J ,并且将该亮度信号Yd45—l提供至第一HVD 力口斗又相力口电3各114。
D135-LPF 106生成限制了亮度信号Yhv—1的135度方向带 宽的亮度信号Ydl35J,并且将该亮度信号Yd135—l提供至第一 HVD力口斥又才目力口电^各114 。
第一HVD加权相加电路114对限制了水平和垂直方向带宽 的亮度信号Yhv l与进一步限制了45度方向带宽的亮度信号Yd45—l或进一步限制了 135度方向带宽的亮度信号Ydl35一l进 行加权相加，由此生成第 一亮度信号YhJ。
以下说明由第一HVD加权相加电路114进行的加权相加方法。
第一HVD加权相加电路114利用与被摄体的角度相对应的 加斥又相加系I史对3个亮度信号进4亍加一又相加。
首先，OG信号生成电路140从RAW信号100生成OG信号。 OG信号生成电路140使用参考图20所述的方法生成OG信号。角 度信号生成电路15 0从该O G信号生成表示被摄体的角度的角度 信号angleSigD,并将该角度信号angleSigD提供至第一 HVD加 权相力口电路114。
图4是示出角度信号生成电路的示例结构的框图。将OG信 号300输入至作为二维带通滤波器的D135-BPF 301和D45-BPF 303。D135-BPF 301禾口D45-BPF 303分另'J具有图3C禾口3D所示的系 数，并且增强45度线和135度线。
纟色只iM直电3各(ABS) 302禾口纟色只寸ii电^各(ABS) 304乂人D135國BPF 301和D45-BPF 303的输出分别生成45度线;险测信号和135度线 检测信号。
减法电路305从由ABS 302输出的45度线检测信号中减去 由A B S 3 04输出的13 5度线检测信号，由此获得作为减法结果的 角度信号(angleSigD) 306。角度信号angleSigD如果为正，则表 示45度线，并且如果为负，则表示135度线。此外，输出信号具 有小的振幅的区域表示水平或垂直线。
图5是示出第一 H V D加权相加电路114的示例结构的框图。 第 一 系数计算电路1141基于角度信号angleSigD的值获得 加权相加系数D—UseRatio ，并输出该加4又相力口系数DJJseRatio 。 极性判断电路1142判断角度信号angleSigD的极性，并且通过基于极性(正/负)控制选择器1143,将亮度信号Yd45—l或亮度信号 Ydl35—l提供至第一计算电路1144。具体地，极性判断电路1142 控制选择器1143,使得如果角度信号angleSigD的极性为正，则 将亮度信号Yd45J提供至第一计算电路1144,并且如果角度信 号angleSigD的极性为负，则将亮度信号Ydl35—l提供至第 一计 算电路1144。
利用来自第 一 系数计算电路1141的力口权相力口系数 D—UseRatio,第 一 计算电路1144对亮度信号Yhv— 1以及亮度信 号Yd45一l或亮度信号Ydl35一l进行加权相加，由此计算出第一 亮度信号Yh一l。
图6是示出第 一 系数计算电路1141的输入/输出特性的示例 的图。
如果角度信号angleSigD的绝对值(振幅)大于或等于0且小 于或等于预置阔值P1 (0 ^ jangleSigDI ^ Pl)，则角度信号 an g 1 e S i gD是垂直或水平信号，因此第 一 系数计算电路1141将系 数D—UseRatio设置为O。另一方面，在绝对值大于或等于表示完 全对角信号的阈值P2的角度信号angleSigD的区间(P2 ￡ langleSigDi)的情况下，第 一 系数计算电路1141将系数 D—UseRatio设置为128。此外，在绝对值大于阈值P1且小于阈值 P2的角度信号angleSigD的区间(P1 < |angleSigD| < P2)的情况 下，第 一 系数计算电路1141输出通过线性插值所获得的值。
这样，第一系数计算电路1141基于角度信号的绝对值 langleSigDI获得力口斗又相力口系数D—UseRatio，并且将该加^又相力口 系数D—UseRatio提供至第 一 计算电路1144 。
第 一计算电路1144利用以下表达式(l-l)和(l-2)生成第一 亮度信号Yh一l。
当angleSigD为正时，Yh—l=(Yhvlx(l28-D—UseRatio)+Yd45—lxDUseRatio)/128
(l画l)。
当angleSigD为负时， Yh—l=(Yhvlx(l28-D—UseRatio)+Ydl35_lxD—UseRatio)/128 (1-2)。
这里，Yhv一l表示限制了水平和垂直带宽的亮度信号， Yd45J表示进一步限制了45度方向带宽的45度亮度信号，并且 Ydl35—l表示进一步限制了 135度方向带宽的135度亮度信号。
计算第一高频信号
垂直带通滤波器(V-BPF) 109和水平带通滤波器(H-BPF) lll在通过V-LPF 101和H-LPF 102限制了垂直和水平方向带宽 的亮度信号Y h v 一 1中检测垂直和水平方向边缘分量。垂直增益 电路(V-Gain) 110和水平增益电路(H-Gain) 112将各个边缘分量 乘以预置增益，并且由加法电路113对所得的边缘分量进行相 加，由此生成第一水平/垂直边缘信号(高频信号)AChv一l。
检测135度方向AC分量(边缘分量或高频分量)的D135-BPF 104(图3C所示的系数)从通过D45-LPF 103进一步限制了 45度方 向带宽的亮度信号提取出45度线边缘分量。之后，由增益电路 105进行增益调整，并且计算出45度线边缘信号ACd45一l。类似 地，D45-BPF 107(图3D所示的系数)从通过D135-LPF 106进一步 限制了 135度方向带宽的亮度信号提取出135度方向边缘分量。 之后，由增益电路108进行增益调整，并且计算出135度线边缘 信号ACdl35—1。
第二HVD加权相加电路115利用在生成第 一 亮度信号Yh_l 期间使用的加权相加系数D—UseRatio,根据以下表达式(1 -3)和 (l-4)对3个边缘信号进行加权相加，由此生成第 一 高频信号AC一1。
当angleSigD为正时， AC—l=(AChv—lx(128-D—UseRatio)+ACd45—lxD—UseRatio)/128 (1-3)。 当angleSigD为负时， AC—l=(AChv—lx(128國D—UseRatio)+ACdl35_lxD_UseRatio)/128 (1-4)。
除了代替Yhv—1、 Yd45—l和Ydl35—l将AChv—1、 ACd45_l 和ACdl35—l作为输入而接收以外，第二HVD加权相加电路115 可以具有与第一HVD加一又相加电路114相同的结构。此外，可 以从第一HVD加权相力。电路114获取力口权相加系数D—UseRatio 以及与角度信号angleSigD有关的极性信息。在这种情况下，第 一系数计算电路1141和极性判断电路114 2是不必要的。
计算第二亮度信号(用于红色被摄体)
尽管通过与生成第一亮度信号类似的处理生成红色被摄体 的第二亮度信号，但针对带宽限制滤波器的特性在处理中存在 差异°
V-LPF 116和H-LPF 117分别限制RAW信号100的垂直和水 平方向带宽。作为第二低通滤波器的V-LPF 116和H-LPF 117具 有图2所示的频率特性201。具体地，将RAW信号100的带宽限 制为V-LPF 101和H-LPF 102的频率特性200的约一半(图像传感 器的奈奎斯特频率的约 一半)。
原因如下在原色滤波器阵列的情况下，特别是对于红色 被摄体，来自绿色像素和蓝色像素的输出信号值基本为O,因此
由图像传感器的空间采样所产生的奈奎斯特频率在垂直方向和 水平方向上均变为普通的非彩色被摄体的奈奎斯特频率的一半。与亮度信号Yhv—l类似，对从H-LPF 117输出的亮度信号 Yhv—2进4亍处理，并且由第三力口斗又相力口电3各129和第四力口斗又相力口 电路130分别生成第二亮度信号Yh_2和第二高频信号AC_2。
具体地，将亮度信号Yhv—2作为通过D45-LPF 118和 D135-LPF 121分别限制了 45度方向带宽和135度方向带宽的信 号Yd45—2和信号Ydl35—2提供至第三HVD加权相加电路129。还 将亮度信号Yhv—2照原样提供至第三HVD加权相加电3各129。
第三HVD加权相加电路129具有与第一HVD加权相加电路 114类似的结构，并且根据角度信号angleSigD来计算加权相加 系数D—UseRatio。然后，第三HVD加权相加电路129使用以下 表达式(l-5)和(l-6)来生成第二亮度信号Yh一2。
当angleSigD为正时， Yh—2=(Yhv—2x(128-DUseRatio)+Yd45—2xD—UseRatio)/128 (1-5)。
当angleSigD为负时， Yh—2:(Yhv—2x(128-D_UseRatio)+Ydl35_2xD_UseRatio)/128 (1-6)。
这里，Yhv一2表示限制了水平和垂直带宽的亮度信号，
Yd45—2表示进一步限制了45度方向带宽的45度亮度信号，并且
Ydl35—2表示进一步限制了 135度方向带宽的135度亮度信号。
这些信号与Yhv_l 、 Yd45_l和Ydl35_1之间在垂直和水平方向
带宽限制方面的不同如上所述。
计算第二高频信号(用于红色被摄体)
垂直带通滤波器(V-BPF) 124和水平带通滤波器(H-BPF) 126在通过V-LPF 116和H-LPF 117限制了垂直和水平方向带宽 的亮度信号Yhv一2中检测垂直和水平方向边缘分量。垂直增益 电路(V-Gain) 125和水平增益电路(H-Gain) 127将各个边缘分量乘以预置增益，并且由加法电路128对所得的边缘分量进行相 加，由此生成第二水平/垂直边缘信号(高频信号)AChv一2。
检测135度方向AC分量(边缘分量或高频分量)的D135-BPF 119(图3C所示的系数)从通过D45-LPF 118进一步限制了 45度方 向带宽的亮度信号提取出45度线边缘分量。之后，由增益电路 120进行增益调整，并且计算出45度线边缘信号ACd45—2。类似 地，D45-BPF 122(图3D所示的系数)从通过D135-LPF 121进一步 限制了 135度方向带宽的亮度信号提取出135度线边缘分量。之 后，由增益电路123进行增益调整，并且计算出135度线边缘信 号ACdl35—2。
第四HVD力o权相加电路130利用在生成第二亮度信号Yh_2 期间使用的加权相加系数D—UseRatio,根据以下表达式(1 -7)和 (l-8)对3个边缘信号进行加权相加，由此生成第二高频信号 AC—2。
当angleSigD为正时， AC—2=(AChv_2x(128-D—UseRatio)+ACd45—2xD—UseRatio)/128 (1-7)。
当angleSigD为负时， AC—2=(AChv_2x(128-D—UseRatio)+ACdl35_2xD—UseRatio)/128
(1-8)。
除了代替Yhv—1、 Yd45—l和Ydl35—l将AChv—2、 ACd45—2 和ACdl35—2作为输入而接收以外，第四HVD加权相加电路130 可以具有与图5所示的第一HVD加权相加电路114相同的结构。 此外，可以乂人第三HVD加片又相力口电^各129获耳又力口4又相力口系凄t D—UseRatio以及与角度信号angleSigD有关的极性信息。在这种 情况下，第 一 系数极端电路1141和极性判断电路1142是不必要 的。第一和第二亮度信号以及第一和第二高频信号的加权相加
第一GR加权相加电路131对由第一HVD加权相力卩电路114 和第三HVD加权相加电路129分别生成的第 一亮度信号YhJ和 第二亮度信号Yh—2进行加权相加，由此获得第三亮度信号 Yh—3。
在除红色被摄体以外的普通被摄体的情况下，本实施例中 的第一GR加权相加电路131 100%使用第一亮度信号YhJ。在 红色被摄体的情况下，第一GR加权相加电路131 100%使用垂直 方向和水平方向带宽被限制为第 一亮度信号Yh一l的垂直方向 和水平方向带宽的 一半的第二亮度信号Yh_2。
通过以这种方式进行加权相加，在包括原色滤波器阵列的 摄像设备中在生成亮度信号时使用来自全部像素的信息的情况 (例如，使用SWY方法的情况)下，即使对于红色被摄体，也可 以生成充分抑制了空间混叠的出现的亮度信号。
图7是示出图l所示的颜色处理电路160的示例结构的框图。
利用RAW信号IOO，颜色处理电i 各160生成作为用于判断祐: 摄体的红色的信号的色相角信号Chromae和色度信号 ChromaSig,并且将色相角信号Chroma6和色度信号ChromaSig 提供至第一GR加权相加电路131和第二GR加权相加电路132。
如图7所示，对于各像素，颜色插值电路601对RAW信号100 进行插值运算(低通滤波处理)，之后，色差信号生成电路602将 所得的信号转换成作为色差信号的R-Y (Ry)信号和B-Y (By)信号。
色相角检测电路6 0 3将以下表达式(1 - 9)应用于针对各像素 所生成的色差信号，由此生成色相角信号Chromae。C/2ra脂0 = tan一 (i j/外) 外=^_;^ (1-9) ^ = B - y
此外，色度信号生成电路604将以下表达式(1-10)应用于由 色差信号生成电路602生成的色差信号，由此生成色度信号 ChromaSig。
C/z國oSVg =如2 +砂2 (1-10)
将由颜色处理电路160生成的色相角信号Chromae和色度 信号ChromaSig输出至第一 GR加权相加电路131和第二GR加权 相加电路132。
图8是示出第一GR加权相加电路131和第二GR加权相加电 路132的示例结构的框图。
第 一 红色色度计算电路1311具有图9 A所示的输入/输出特 性，并且将色相角信号Chroma9转换成作为被摄体的红色的一 个指标的第一红色色度RedSig—1。
在图9A所示的例子中，如果色相角信号Chroma0的值在包 含端点在内的0到预定阈值P1的范围内(Chromae ^ Pl)以及大 于或等于I萄值P4 (P4 ^ Chromae)，则将第 一红色色度RedSigJ 设置为O,这表示除红色以外的颜色。另一方面，如果色相角信 号Chromae的值在包含端点在内的阈值P2到阈值P3的范围内 (P2 ^ Chromae ￡ P3),则将第 一红色色度RedSigJ设置为128, 这表示红色。如果色相角信号Chromae的值在其它范围内(P1 < Chromae < P2， P3 < Chromae < P4)，则将第 一红色色度RedSig—1 设置为通过在128和0之间进行线性插值所获得的值，并将该值 输出。可以将P1 P4作为红色色度阈值而预先确定。
第二红色色度计算电路1312具有图9B所示的输入/输出特 性，并将色度信号ChromaSig转换成作为表示被摄体的红色的程度的一个指标的第二红色色度RedSig—2。
在图9B的例子中，如果色度信号ChromaSig的值在包含端 点在内的0到预定阈值C1的范围内(ChromaSig ^ Cl),贝'J色度 低，并且存在来自噪声的影响，因此将第二红色色度RedSig—2 设置为0。如果色度信号ChromaSig的值大于或等于阈值C2 (C2 ^ChromaSig),则将第二红色色度RedSig—2设置为128,这表示 红色。如果色度信号ChromaSig的值在其它范围内(Cl < ChromaSig < C2),则将第二红色色度RedSig—2设置为通过在 128和0之间进行线性插值所获得的值，并将该值输出。可以将 C1和C 2作为红色色度阈4直而预先确定。
第三红色色度计算电路1313使用以下表达式(l-ll)将第一 红色色度RedSig—l和第二红色色度RedSig—2相乘，由此计算出 第三红色色度RedSig—3。 Red67g _ 3 = Red67g _ 1 x Red脉—2/128(1 -11)
第二系数计算电路1314具有图9C所示的输入/输出特性，并 且基于第三红色色度RedSig—3输出GR力。权相力口系数 Yh2UseRatio。
在图9C的例子中，如果第三红色色度RedSig—3的值在包含 端点在内的O到预定阈值Thl的范围内(RedSig—3 S Thl),则颜色 不是红色，因此将GR加权相加系数Yh2UseRatio设置为0。如果 第三红色色度RedSig—3的值大于或等于阈值Th2 (Th2 S RedSig一3)，则将GR力口 4又相力口系凄史Yh2UseRatioi殳置为128 ,这 表示红色。如果第三红色色度RedSig—3的值在其它范围内(Thl < RedSig—3 < Th2),贝寸将GR力口片又相力口系凄史Yh2UseRatioi殳置为 通过在128和0之间进行线性插值所获得的值，并将该值输出。 可以将Thl和Th2作为红色色度阈值而预先确定。根据这些输入/输出特性，第二亮度信号Yh—2 100%用于红 色被摄体，第一亮度信号Yh—1 100%用于非红色被摄体，并且 第一亮度信号Yhj和第二亮度信号Yh一2的与红色色彩相对应 的比用于中间色被摄体。
最后，第二计算电路1315利用加权相加系数Yh2UseRatio, 根据以下表达式(1-12)和(1-13)，从第一亮度信号Yh—l和第二亮 度信号Yh一2计算第三亮度信号Yh—3。类似地，第二GR加权相 加电路132对第 一 高频信号AC一1和第二高频信号AC—2进行加 权相加，由此生成第三高频信号AC一3。<formula>formula see original document page 24</formula>
注意，可以从第一GR加权相加电路131获取在第二GR加权 相力cr电路132中使用的力口权相加系数Yh2UseRatio。在这种情况 下，第二 GR加权相加电路13 2仅包括图8所示的第二计算电路 1315就足够了 。
可选地，第二GR加权相力卩电路132可以计算加权相力卩系数 Yh2UseRatio ，并且第一 GR加权相加电路131可以从第二 GR加 权相加电路132获取力口权相加系数Yh2UseRatio。在这种情况下， 第一GR加权相加电路131仅包括图8所示的第二计算电路1315 就足够了 。
加法电路133将第三亮度信号Yh—3和第三高频信号AC—3 相加，并将相加结果作为最终亮度信号输出。
本实施例的说明基于水平和垂直方向分辨率下降的被摄体 是红色被摄体这一假设。然而，存在以下情况根据颜色滤波 器阵列的光谱分布特性，在蓝色被摄体的情况下来自R像素和G 像素的输出基本为0。在这种情况下，可以通过代替红色色度检 测蓝色色度、对蓝色被摄体应用类似的处理并导入第二亮度信号Yh—2,生成亮度信号。还可以具有将第二亮度信号Yh—2用于 红色被摄体和蓝色被摄体两者的结构。
如上所述，根据本实施例，在根据从使用原色拜尔模式型 颜色滤波器阵列的图像传感器获得的图像信号生成亮度信号的 亮度信号生成设备中，通过将垂直方向和水平方向带宽限制为 第一范围来生成第一亮度信号。此外，通过将垂直方向和水平 方向带宽限制为比第一范围窄的第二范围来生成第二亮度信 号。之后，通过对第一和第二亮度信号进行加权相加来生成最 终亮度信号，其中，随着被摄体的红色或蓝色的强度增加，第 二亮度信号的比增大。由于该原因，即使在红色被摄体或蓝色 被摄体的情况下，也可以生成充分抑制了空间混叠的出现的亮 度信号。
此外，在本实施例中，同样对于高频信号，类似地生成具 有不同的带宽限制范围的第 一 高频信号和第二高频信号，并且 对第一高频信号和第二高频信号进行加权相加，其中，随着被 摄体的红色或蓝色的强度增加，第二高频信号的比增大。由于 随后利用这种高频信号生成了亮度信号，因此即使在红色被摄 体或蓝色被摄体的情况下，也可以生成抑制了模糊的高分辨率 亮度信号。
实施例2
图10是示出根据本发明的实施例2的亮度信号生成设备的 示例结构的框图。在图10中，对与实施例l中的构成元件相同的 构成元件，指派了相同的附图标记，并且省略了对它们的冗余 说明。在本实施例中，全部的低通滤波器在进行带宽限制的方 向上具有由图2中的200所表示的频率特性。
计算第一高频信号
使用与实施例l相同的方法来生成第一高频信号ACJ。与实施例1中的V-LPF 101和H-LPF 102等同的V-LPF 1017 和H-LPF 1018分别限制RAW信号100的垂直方向和水平方向带 宽。然后，V-BPF 109和H-BPF lll检测垂直和水平方向边缘分 量。增益电路110和112将各个边缘分量乘以预置增益，并且加 法电路113将所得的边缘分量相加，由此计算出第一水平/垂直 方向边缘信号AChv—1。
D135-BPF 104从通过与实施例1中的D45-LPF 103等同的 D45-LPF 1019限制了 45度方向带宽的亮度信号YhvJ提取出45 度线边缘分量。之后，由增益电路105进行增益调整，并且计算 出第一45度线边缘信号ACd45J。
类似地，D45画BPF 107从通过与实施例1中的D135画LPF 106 等同的D135-LPF 1022限制了 135度方向带宽的亮度信号Yhv_l 提取出135度线边缘分量。之后，由增益电路108进行增益调整， 并且计算出第一135度线边缘信号ACdl35一l。
第一HVD加冲又相加电路115利用在实施例1中计算出的加 权相加系数D—UseRatio对3个边缘信号进行加4又相加，由此生成 第一高频信号AC一1。
计算第二高频信号(用于红色被摄体)
尽管使用与实施例l中的方法基本相同的方法生成本实施 例的第二高频信号，^旦本实施例的方法与实施例1的方法的不同 之处在于，代替使用RAW信号100中的全部像素信号，利用通 过对除R像素以外的像素进行的0插入处理所生成的信号来获 得高频分量。以这种方式将除R像素以外的像素设置为O，这使 得能够防止在来自除R像素以外的颜色像素的具有非常小的振 幅的亮度信号中出现空间混叠。本实施例与实施例l的不同之处 还在于，与第一高频信号类似，限制了RAW信号的垂直方向和 水平方向带宽。0插入电路1001利用0替换RAW信号100中除R像素以外的 像素的像素信号值。之后，V-LPF 1004和H-LPF 1005P艮制垂直 方向和水平方向带宽以使其小于或等于奈奎斯特频率。然后， V-BPF 124和H-BPF 1264企测垂直和水平方向边》彖分量，增益电 路125和127将该边缘分量乘以增益，并且加法电路128将所得的 边缘分量相加，由此生成边缘信号AChv—2。
D135-BPF 119从通过D45-LPF 1006限制了45度方向带宽的 图像信号提取出45度线边缘分量，并且增益电路120进行增益调 整，由此计算出边缘信号ACd45—2。类似地，D45-BPF 122从通 过D135-LPF 1009限制了 135度方向带宽的图像信号提取出135 度线边缘分量，并且增益电路123进行增益调整，由此生成边缘 信号ACdl35—2。
第二 HVD加权相力口电路130利用力口权相力口系数D_UseRatio 对3个边缘信号进行加权相加，由此生成第二边缘信号AC—2。
计算第三高频信号
在实施例1中，由于利用SWY信号计算高频信号，因此在 水平和垂直方向上奈奎斯特频率附近的分辨率劣化。考虑到该 点，通过利用自适应地插值的OG信号来生成第三高频信号，防 止了奈奎斯特频率附近的分辨率劣化。
通过0插入电路1032 加法电路1038,从绿色像素的图像信 号生成高频信号。
0插入电路1032利用0来替换RAW信号100中除G像素以外 的像素的像素信号值，并且自适应插值电路1033对插入了 O的所 得的RAW信号100进行自适应插值，由此生成自适应OG信号。
图ll是示出本实施例中的自适应插值电^各1033的示例结构 的框图。
自适应插值电^各10334妻收以下两者作为^T入由0插入电^各1032利用0替换了除G像素以外的像素的像素信号值的RAW信 号100和进行替换之前的RAW信号100。
V-LPF 1102限制利用0替换了像素信号值的RAW信号100 的垂直方向带宽，由此生成Gv信号。将该Gv信号输入至G加权 相力o电路1105以及H-LPF 1103。 H-LPF 1103限制Gv信号的水平 方向带宽，由此生成限制了垂直方向和水平方向带宽的Ghv信 号。将该Ghv^(言号^r入至G加斥又相加电3各1105。 H-LPF1104限制 利用0替换了像素信号值的RAW信号IOO的水平方向带宽，由此 生成Gh信号，并将该Gh信号输入至G加权相加电路1105。
这样，从利用O替换了除G信号以外的像素的像素信号值的 信号生成了(l)限制了垂直方向带宽的Gv信号、(2)限制了水平 方向带宽的Gh信号和(3)卩艮制了垂直和水平方向带宽的Ghv信 号，并且将Gv信号、Gh信号和Ghv信号^r入至G加^又相加电^各 1105。
同时，DiffH信号生成电路(DiffH) 1106和DiffV信号生成电 路(DiffV) 1107以下面所述的方式从未插入O的RAW信号IOO分 别生成DiffH信号和DiffV信号。
图12是示出由DiffH信号生成电路1106和DiffV信号生成电 路1107进行的动作的图。假定关注像素是P22, Difffl信号生成 电路1106和DiffV信号生成电路1107使用以下表达式(2-l)和 (2-2)分别生成DiffH信号和DiffV信号。 DiffH = |P21-P23|+|2xP22-P20-P24| (2-1) DiffY = |P12-P32| + |2xP22-P02-P42| (2-2)
注意，表达式中的P12 P42是图12中相应像素的信号值。
如果被摄体具有纵条紋，则DiffH信号高，并且如果被摄体 具有横条紋，则DiffV信号的值高。减法器1108从DiffH信号中 减去D i ffV信号，并且输出表示关注像素与斜线相对应的程度的DiffHV信号。
换言之，如以下所示获得DiffHV。 DiffHV = DiffH - DiffV
G系数计算电路(Tsig) 1109基于DiffHV信号计算加权相加 系数，并且将该加权相加系数提供至G加权相力口电路1105 。
图13是示出G系数计算电路110 9的输入/输出特性的示例的图。
横轴表示DiffHV信号，并且纵轴表示加斥又相加系凄丈Tsig的 值。如果DiffHV S Th0，则DiffV大于DiffH,因此将该区域判 断为横条紋区域。在这种情况下，G系数计算电路1109输出表 示G加权相力口电路1105将100%使用Gh信号的Tsig值(Tsig= -128)。
在Thl < DiffHV < Th2的区间中，DiffV和DiffG具有彼此接 近的值，因此将该区域判断为对角区域。在该区间中，G系数 计算电路1109输出表示G加权相加电路1105将100%使用该Ghv 信号的Tsig值(Tsig = 0)。
此外，如果DiffHV S Th3,则DiffH大于DiffV，因此将该 区域判断为纵条紋区域。在这种情况下，G系数计算电路1109 输出表示100%使用Gv信号的Tsig值(Tsig = 128)。
在ThO 〈DiffHV S Thl的区间中，G系数计算电路1109输出 所确定的使得存在从-128到0的线性变化的Tsig。类似地，在Th2 S DiffHV < Th3的区间中，G系数计算电路1109输出所确定的使 得存在从0到128的线性变化的Tsig。
基于以这种方式确定的Tsig值，G加权相加电路1105使用以 下表达式(2-3)和(2-4)对Gh信号、Gv信号和Ghv信号进行加权相 加，由此生成自适应OG信号。
当Tsig^O时，DC—OG=(GvxTsig+Ghvx(128-Tsig))/128 (2-3)。
当Tsig < 0时， DC_OG=(Ghx|Tsig|+Ghvx(128-|Tsig|))/128 (2-4)。
V-BPF 1034在由自适应插值电^各1033生成的自适应OG信 号中检测垂直方向边缘分量，并且由增益电路1035进行增益调 整。同时，H-BPF 1036在自适应OG信号中才企测水平方向边^彖分 量，并且由增益电路1037进行增益调整。由加法电路1038将从 增益调整所得的垂直和水平边缘分量相加，并将结果作为第三 高频信号AC—3发送至对角加权相加电路1039。
第 一 和第三高频信号的加权相加
对角加权相加电路1039使用以下表达式(2-5),对从所有颜 色的像素(SWY信号)生成的第一高频信号ACJ和从自适应OG 信号生成的第三高频信号AC—3进行加^l相加，由此生成第四高 频信号AC—4。
爿C — 4 = (v4C — 3 x (128 - 5WTO5e麵o) + — 1 x 5WO e細o) /128 (2-5)
图14是示出本实施例的对角加权相加电^各1039的示例结构
的框图。
在对角加权相加电路1039中，由第一 SWY系数计算电^各 1060 第四SWY系数计算电路1063来获得第一 SWY系数 SWYUseRatio—1 第四SWY系数SWYUseRatio—4。之后，第五 SWY系数计算电路1064从第一 SWY系数SWYUseRatio—1 至第 四SWY系数SWYUseRatio—4获得最终力卩4又相力卩系数 SWYUseRatio。第三计算电路1065使用上述表达式(2-5)进行加 权相加，由此获得第四高频信号AC一4。
m计算SWYUseRatio K第一SWY系数)
图15是示出自适应OG信号和SWY信号的可分辨的频率空间的图。
这里，第三高频信号AC一3受空间混叠影响的区域是对角区
域1400。因此，利用第一高频信号ACJ替换对角区域1400,这 使得能够生成不具有空间混叠的第四高频信号AC—4。因此，可 以使用在实施例1中使用的角度信号angleSigD来计算加权相加系数。
角度信号angleSigD如果为正则表示45度线，如果为负则表 示135度线，并且其特征在于，信号值的绝对量越大，越接近45 度和135度，并且信号值的绝对量越小，越接近0度和90度。
这使得第一 SWY系数计算电路1060能够从角度信号 angleSigD获得第一SWY系数SWYUseRatio—1。具体地，为第一 SWY系数计算电路1060提供与在实施例1中使用的第 一 系数计 算电路1141类似的输入/输出特性(在图6中，利用 SWYUseRatioJ来替换输出值D—UseRatio)就足够了 。
(2)计算SWYUseRatio 2(第二SWY系凄t)
将从自适应OG信号生成的第三高频信号AC一3用于图15所 示的水平/垂直区域1401。这是由于以下事实由于第三高频信 号AC—3基于自适应OG信号，因此与当使用从带宽在水平和垂 直方向两者上已必然被限制了的SWY信号生成的第二高频信 号AC—2时相比，分辨率更加良好。
可以利用参考图11和12所述的Difffl信号和DiffV信号来判 断水平/垂直区域1401。如上所述，当被摄体具有纵条紋时， DiffH的值高并且DiffV的值为O。此外，当被摄体具有横条紋时， DiffV的值高并且DiffH的值为0 。
因此，使用具有图19A所示的输入/输出特性的第二SWY系 数计算电路1061,这使得能够从DiffHV信号计算出第二SWY系 数SWYUseRatio—2。在图19A中，从0到P1，输入信号IDiffHVI的值低，这表示对角线，并且将第二SWY系数SWYUseRatio—2 设置为128。当输入信号IDiffHVI的值是P2以上时，这表示该区 域完全是横条紋或纵条紋，并且将第二 SWY系数 SWYUseRatio—2设置为0。在从P1到P2的区间中，将第二SWY 系数SWYUseRatio—2设置为通过在128和0之间进行线性插值所 获得的值。
(3)计算SWYUseRatio 3(第三SWY系数)
由于与(2)中相同的原因，将第三高频信号AC—3用于图15 所示的水平和垂直奈奎斯特频率附近的区域(奈奎斯特区 域)14 02 。可以通过#r测G1像素信号和G 2 <象素信号之间的相位 偏移来判断奈奎斯特区域1402 。
图16是示出第三SWY系数计算电路1062的示例结构的框图。
0插入电^各1601和0插入电路1604分别生成利用0^齐换了 R A W信号10 0中除G1像素和G 2像素以外的像素的像素信号值 的信号。用于水平和垂直方向插值的低通滤波器(V-LPF 1602、 H國LPF 1603、 V-LPF 1605禾口H画LPF 1606)只于利用04齐才奐了值的 <象 素的值进行插值。
接着，减法电路1607获得插值后的G1信号(H-LPF 1603的 输出)和插值后的G2信号(H-LPF 1606的输出)之间的差，并且绝 对值电路(ABS) 1608获得该差的绝对值，并将该差的绝对值作 为区域判断信号sigDiffG而输出。
利用具有图19B所示的输入/输出特性的CalSwyUse3 1609, 从区域判断信号sigDiffG计算出第三SWY系数 SWYUseRatio—3。 CalSwyUse3 1609可以是计算电路或表。
从0到P1，区域判断信号sigDiffG的值低，这表示对角线， 并且将第三SWY系数SWYUseRatic^3设置为128。当区域判断信号sigDiffG的值是P2以上时，这表示该区域完全是横条紋或 纵条紋，并将第三SWY系数SWYUseRatio—3设置为0。在从P1 到P2的区间中，将第三SWY系数SWYUseRatio—3设置为通过在 128和0之间进行线性插值所获得的值。
(4)计算SWYUseRatio 4(第四SWY系数)
第一高频信号ACJ用于图15所示的^氐频区域1403。可以通 过将用于检测低频区域的滤波器应用于RAW信号来检测低频 区域1403。
图17是示出第四SWY系数计算电^各1063的示例结构的框图。
V-LPF 1801和H-LPF 1802限制RAW信号100的垂直方向和 水平方向带宽。之后，进一步分别应用水平方向带通滤波器 (H-BPF) 1803和垂直方向带通滤波器(V-BPF) 1804。然后，减法 器1805从H-BPF 1803的输出减去V-BPF 1804的输出。绝对值电 路(ABS) 1806计算减法结果的绝对值，并将该绝对值作为低频 区域检测信号LowF而输出。
之后，利用具有图19C所示的输入/输出特性的CalSwyUse4 1807来计算第四SWY系数SWYUseRatio—4。
CalSwyUse4 1807
可以是计算电路或表。
从0到P1，低频区域检测信号LowF的值低，这表示高频区 域，并且将第四SWY系数SWYUseRatio—4设置为128。当低频 区域检测信号LowF的值是P2以上时，这表示低频区域，并且将 第四SWY系数SWYUseRatic^4设置为0。在从P1到P2的区间中， 将第四SWY系数SWYUseRatio—4设置为通过在128和0之间进 行线性插值所获得的值。
第五SWY系数计算电路1064根据第一 SWY系数 SWYUseRatioJ 第四SWY系数SWYUseRatio—4计算出最终加权相加系数SWYUseRatio。
图18是示出第五SWY系数计算电路1064的示例结构的框图。
乘法器2004将第一 SWY系数SWYUseRatio—1和第二 SWY 系数SWYUseRatio—2相乘，并且移位器2005沿向右方向进4亍7 位偏移运算。作为移位器2005的结果，将乘法器2004的输出减 小至原始的1/128。
乘法器2006将移位器2005的输出与第三SWY系数 SWYUseRatio—3相乘，并且移位器2007对相乘结果沿向右方向 进行7位偏移运算。最后，乘法器2008将移位器2007的输出与第 四SWY系数SWYUseRatio—4相乘，移位器2009对相乘结果沿向 右方向进行7位偏移运算，并将结果作为最终加权相加系数 SWYUseRatio输出。
换言之，如下所示获得SWYUseRatio。
SWYUseRatio=SWYUseRatio—"SWYUseRatio—2/128*SW YUseRatio—3/128*SWYUseRatio—4*/128
第三计算电路1065使用上述表达式(2-5)进行加权相加，由 此从第 一 高频信号AC一1和第三高频信号AC一3获得第四高频信 号AC—4。
第二和第四高频信号的加权相加
图10所示的第三GR加；K相加电^各10514吏用以下表达式 (2-6)对第四高频信号AC—4和第二高频信号AC—2进行加权相 加，由此生成第五高频信号AC—5。除了利用AC—4替换AC—1、 利用AC—5替换AC—3以及加权相加系数的名称是AC2UseRatio 以外，第三GR加片又相加电路1051可以具有与图8所示的实施例1 的第二 GR加权相加电路13 2的结构相同的结构。 AC一5 =(爿C _ 4 x (128 -爿C2LfeR, +爿C _ 2 x爿C2LfeRa— /128 (2-6)生成最终亮度信号
现在返回图10，将由自适应插值电^各1033生成的自适应OG 信号还提供至增益电路1046。增益电路1046将自适应OG信号乘 以0.6倍的增益，并且输出结果。
同时，0插入电路1040利用0来替换RAW信号100中除R像素 以外的<象素的<象素信号值，V-LPF 1041和H-LPF 1042对该像素 信号值进行插值运算，并将所得的信号提供至增益电路1047。 增益电路1047将R信号乘以0.3倍的增益，并输出结果。
此外，0插入电3各1043利用0来替换RAW信号100中除B像素 以外的像素的像素信号值，V-LPF 1044和H-LPF 1045对该像素 信号值进行插值运算，并将所得的信号提供至增益电路1048。 增益电路1048将B信号乘以0.1倍的增益，并输出结果。
加法电路1049将增益电^各1047和1048的输出信号相加，并 且加法电路1050将所得的信号与增益电路1046的输出信号相 加，由此生成亮度信号Yh。
之后，加法电路1052将第五高频信号AC—5与亮度信号Yh 相加，由此生成边缘增强了的最终亮度信号YhFinal。
如上所述，在本实施例中，在仅从G像素的信号生成第三 高频信号的对角区域中，进行加权相加，使得利用从所有颜色 的像素(RGB像素)的信号生成的第 一 高频信号来替换第三高频 信号，由此生成对角区域的第四高频信号。因此，利用SWY信 号来替换传统的OG信号的对角分辨率，由此极大提高了该分辨 率。
此外，与第四高频信号分开，仅使用R像素的信号来生成 第二高频信号，并且进行这两个信号的加权相加，使得随着表 示被摄体的红色的程度的红色色度增加，第二高频信号的权重 增大，由此生成最终高频信号。因此，即使对于红色被摄体，也提高了对角区域的分辨率，此外，可以生成边缘增强了的亮 度信号。
注意，对第二高频信号和第四高频信号进行加权相加的方
法不限于上述方法。还可以具有以下结构通过随着表示被摄
体的红色的程度的红色色度增加对第二高频信号应用更高的增 益、然后将从与增益相乘所得的第二高频信号与第四高频信号 相加，对第二高频信号和第四高频信号进行加权相加。存在以
下情况进行这种加权相加使得能够从包括颜色滤波器阵列的 图像传感器的输出生成良好的亮度信号，其中该颜色滤波器阵 列的光谱特性使得即使在红色被摄体的情况下也可从G像素获 得一定程度的输出。 其它实施例
还可以通过系统或设备的计算机(或者CPU或MPU等的装 置)读出并执行记录在存储装置上的程序以进行上述实施例的 功能以及通过以下方法来实现本发明的各方面，其中由系统或 设备的计算机通过例如读出并执行记录在存储装置上的程序以 进行上述实施例的功能来进行上述方法的步骤。为了该目的， 例如，经由网络或者从用作存储装置的各种类型的记录介质(例 如，计算机可读介质)将该程序提供至计算机。
尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改以及等同结构和功能。
权利要求
1.一种亮度信号生成设备，其根据从包括原色拜尔模式型颜色滤波器阵列的图像传感器读取的图像信号生成各像素的亮度信号，所述亮度信号生成设备包括第一信号生成部件，用于根据通过限制所述图像信号的空间频率带宽所生成的第一图像信号，生成第一信号；第二信号生成部件，用于根据通过将所述图像信号的空间频率带宽限制为低于所述第一图像信号的带宽所生成的第二图像信号，生成第二信号；计算部件，用于根据从所述图像传感器读取的所述图像信号计算关注像素的颜色强度指标，其中所述颜色强度指标表示所述关注像素的预定颜色的强度；以及第一相加部件，用于使用第三信号来生成所述关注像素的输出亮度信号，其中所述第三信号是通过以如下方式将所述第一信号和所述第二信号相加所生成的基于所述颜色强度指标，随着所述关注像素的所述预定颜色的强度增加，所述第二信号的权重增大。
2. 根据权利要求l所述的亮度信号生成设备，其特征在于， 所述预定颜色是红色或蓝色，并且随着所述关注像素的红色或 蓝色的强度增加，所述第二信号的权重增大。
3. 根据权利要求2所述的亮度信号生成设备，其特征在于， 还包括第 一低通滤波器，用于限制所述图像信号的空间频率带宽；以及第二低通滤波器，用于将所述图像信号的空间频率带宽限 制为低于所述第一低通滤波器的带宽，其中所述第一信号是根据由所述第一低通滤波器输出的所述第 一图像信号所生成的第一亮度信号，以及所述第二信号是根据由所述第二低通滤波器输出的所述第 二图像信号所生成的第二亮度信号。
4. 根据权利要求3所述的亮度信号生成设备，其特征在于， 还包括第一高频信号生成部件，用于根据由所述第一低通滤波器 输出的所述第一图像信号，生成第一高频信号；第二高频信号生成部件，用于根据由所述第二低通滤波器 输出的所述第二图像信号，生成第二高频信号；第二相加部件，用于通过以如下方式将所述第一高频信号和所述第二高频信号相加来生成第三高频信号基于所述颜色 强度指标，随着所述关注像素的红色或蓝色的强度增加，所述 第二高频信号的权重增大；以及第三相加部件，用于通过将所述输出亮度信号和所述第三 高频信号相加来生成所述关注像素的边缘增强亮度信号。
5. 根据权利要求3所述的亮度信号生成设备，其特征在于， 所述第 一 低通滤波器将所述图像信号的空间频率限制为低于或等于所述图像传感器的奈奎斯特频率，以及所述第二低通滤波器将所述图像信号的空间频率限制为低 于或等于所述奈奎斯特频率的一半。
6. 根据权利要求l所述的亮度信号生成设备，其特征在于， 还包括亮度信号生成部件，用于根据所述图像信号生成亮度信号，其中所述第 一 信号是利用来自所述图像传感器的所有颜色的像 素的图像信号所生成的第一高频信号，并且所述第二信号是利 用来自所述图像传感器的红色像素和蓝色像素之一的图像信号 所生成的第二高频信号，以及第一相加部件通过将所述关注像素的所述第三信号与由所述亮度信号生成部件生成的所述关注像素的所述亮度信号相 加，生成所述关注像素的所述输出亮度信号。
7. 根据权利要求6所述的亮度信号生成设备，其特征在于， 还包括第三高频信号生成部件，用于根据所述图像传感器的绿色 像素的图像信号，生成第三高频信号；倾斜检测部件，用于检测所述关注像素与斜线相对应的程 度；以及第二相加部件，用于通过以如下方式将所述第一高频信号 和所述第三高频信号相加来生成第四高频信号随着所述关注 像素与所述斜线相对应的程度增加，所述第三高频信号的权重 增大，其中，所述第一相加部件通过将所述第四高频信号而不是 所述第一高频信号与所述第二高频信号相加，生成所述第三信
8. —种摄像设备，包括图像传感器，其包括原色拜尔模式型颜色滤波器阵列；以及根据权利要求l所述的亮度信号生成设备。
9. 一种亮度信号生成方法，用于根据从包括原色拜尔模式 型颜色滤波器阵列的图像传感器读取的图像信号生成各像素的 亮度信号，所述亮度信号生成方法包括以下步骤第一亮度信号生成步骤，用于根据通过限制从所述图像传 感器读取的所述图像信号的空间频率带宽所生成的第 一 图像信 号，生成第一信号；第二亮度信号生成步骤，用于根据通过将从所述图像传感器读取的所述图像信号的空间频率带宽限制为低于所述第 一 图像信号的带宽，生成第二信号；计算步骤，用于根据从所述图像传感器读取的所述图像信 号计算关注像素的颜色强度指标，其中所述颜色强度指标表示 所述关注像素的预定颜色的强度；以及第一相加步骤，用于使用第三信号来生成所述关注像素的 输出亮度信号，其中所述第三信号是通过以如下方式将所述第 一信号和所述第二信号相加所生成的基于所述颜色强度指标， 随着所述关注像素的所述预定颜色的强度增加，所述第二信号 的权重增大。
10.根据权利要求9所述的亮度信号生成方法，其特征在于， 所述预定颜色是红色或蓝色，并且随着所述关注像素的红色或 蓝色的强度增加，所述第二信号的权重增大。
全文摘要
本发明涉及一种亮度信号生成设备、亮度信号生成方法和摄像设备。根据从图像传感器读取的图像信号生成针对红色或蓝色被摄体抑制了对角方向分量的空间混叠的出现的亮度信号。V-LPF和H-LPF生成限制了空间频率带宽的第一亮度信号。此外，限制空间频率带宽以低于前述V-LPF和H-LPF的V-LPF和H-LPF生成限制了带宽的第二亮度信号。第一GR加权相加电路通过以如下方式对第一亮度信号和第二亮度信号进行加权相加来生成关注像素的最终亮度信号随着关注像素的红色或蓝色的强度增加，第二亮度信号的比增大。
文档编号H04N9/07GK101646090SQ20091016362
公开日2010年2月10日 申请日期2009年8月6日 优先权日2008年8月6日
发明者池田荣一郎 申请人:佳能株式会社