图像拾取装置、色噪声降低方法和色噪声降低程序的制作方法

专利名称：图像拾取装置、色噪声降低方法和色噪声降低程序的制作方法
技术领域：
本发明涉及用于降低由所谓的单板(single-panel)图像拾取装置所捕 捉到的图像信号中的色噪声(color noise)的方法和程序，单板图像拾取 装置包括一固态图像传感器件，例如电荷耦合器件(CCD)或互补型金属 氧化物半导体(CMOS)器件。
背景技术：
所谓的单板图像拾取装置，例如单板数字静态相机(still camera)和 单板数字视频相机，包括一个诸如CCD或CMOS器件之类的固态图像传 感器件。CCD或CMOS器件包括滤色器，该滤色器具有按预定顺序排列 的多个颜色的像素。 一般地，图像拾取装置对从固态图像传感器件输入的 图像信号执行多个处理以生成图像。
例如，当固态图像传感器件的滤色器的颜色编码被定义为Bayer排列 时，每个像素仅具有一种颜色的信息R (红)、G (绿)或L (蓝)。也 就是，Bayer排列包括这样的行每个都包括在水平方向上交替出现的R 和G的行(即，RGRG...)，以及每个都包括在水平方向上交替出现的G 和B的行(即，GBGB...)。这两种类型的行在垂直方向上交替排列，并 且G像素、B像素和R像素的个数比为2: 1: 1。
R、 G和B三原色的三个信号对于图像的每个像素而言是必需的。因 此，每个像素缺少的颜色信息(缺少的颜色信号)通过对该像素周围的像 素进行内插(interpolate)而被生成，并且其生成每个像素的R、 G和B颜 色的颜色信息。这样的利用仅具有一种颜色的信息的原始图像数据(从图 像传感器件获取的原数据)来生成三个R、 G和B颜色信息项(三原色信 号)的处理，被称作"去马赛克(demosaic)处理(同步处理)"。
在执行了去马赛克处理之后，每个像素的R信号、G信号和B信号被Y/C转换为亮度(luminance)信号(Y)和色差信号(Cb/Cr)。在此之 后，从包括亮度信号(Y)和色差信号(Cb/Cr)的图像信号生成要显示的 图像。可替代地，包括亮度信号(Y)和色差信号(Cb/Cr)的图像信号被 记录在记录介质上。
近些年来，固态图像传感器件的像素大小减小了。因此，S/N比(信 噪比)降低，并且因此图像中的噪声越来越成问题。彩色图像中的噪声包 括亮度噪声和色噪声，亮度噪声是亮度信号成分的噪声，色噪声是色差信 号成分的噪声。通过降低色噪声，图像质量可以提高。
例如，对于数字静态相机，日本未经审查的专利申请公开第2005-311455号描述了这样的技术通过选择适于噪声降低处理的像素区域并且 利用所选出的周围像素来执行噪声降低处理，从原始图像数据中有效去除 噪声。
此外，日本未经审査的专利申请公开第2004-221838号描述了这样的 技术通过利用沿边缘延伸方向延伸的预定区域中的像素的像素值来对所 关注的像素的像素值进行内插，在去马赛克处理中精确重构边缘。
然而，如果色噪声从原始图像数据中被去除，那么亮度信号成分受到 影响，并且因此每个颜色信号的亮度值可能会改变。因此，可能以伪色 (false color)显示边缘部分，并且图像质量可能在很大程度上恶化。
因此，因为在执行了 Y (亮度)/C (颜色)转换之后生成用于表示颜 色的色差信号，所以一般在执行了 Y/C转换之后执行色噪声降低处理。然 而，虽然在执行去马赛克处理之前色噪声具有脉冲波形，但是在执行了去 马赛克处理之后，噪声的特性改变了 (即，噪声波形变为脉冲波形之外的 波形)。这是因为色噪声信号经过了用于去马赛克处理的内插子处理和孔 径校正子处理的复杂滤波。如果噪声信号的特性改变，那么很难从画面信 号成分中分离出噪声信号成分。因此，很难完全去除色噪声。

发明内容
为了解决由于色噪声特性改变而导致的色噪声没有从在执行了去马赛 克处理之后获得的、经Y/C转换的信号中完全去除的问题，由本发明人递
7交的日本专利申请第2006-338233号描述了这样的方法在执行可能改变 色噪声的特性的去马赛克处理之前，执行色噪声降低处理。
在该公开所描述的方法中，为了生成色差信号，执行简化的去马赛克 处理。在简化的去马赛克处理中，没有确定图像的相关方向从而使得从固 态图像传感器件输出的原始状态的图像信号(原始图像信号)的色噪声特 性不改变。所生成的色差信号经受噪声降低处理。色差信号然后被再次改 变为原始状态的图像信号。在此之后，其中确定了图像的相关方向的正常 去马赛克处理被执行。
通过使用该方法，色噪声可以在执行正常去马赛克处理(原去马赛克 处理)之前被去除。因此，该方法对于改善图像质量尤为有效。然而，在 该方法中，与一般的相机信号处理情况相比，附加地执行了简化的去马赛 克处理和将经过了色噪声降低处理的亮度信号和色差信号变为原始状态的 信号的处理。
也就是，该方法对于具有足够资源(例如，硬件的特征、性能和容 量)的高性能图像拾取装置尤其有用。然而，即使在具有较少资源的图像 拾取装置中也适当并快速地降低色噪声的需求在增多。
此外，在该方法中，通过在噪声降低被执行之前添加的简化去马赛克 处理而生成的色差信号与在噪声降低被执行之后提供的正常去马赛克处理 之后所生成的色差信号不同。因此，理论上，即使当对在简化的去马赛克 处理被执行之后所生成的色差信号执行噪声降低时，也不能在执行了正常 去马赛克处理之后的色差信号(其是最终图像的色差信号)中充分降低色 噪声。因此，对更精确的色噪声降低处理的需求在增长。
因此，本发明提供一种图像拾取装置、方法和程序，其用于快速并有 效地降低包括多个颜色的颜色信号的图像信号中的色噪声，而无需使用大 量资源。
根据本发明的一个实施例， 一种图像拾取装置包括图像传感器件，图 像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，其 中图像传感器件接收被拍体的图像并输出包括多个不同颜色的颜色信号的 图像信号；以及去马赛克处理装置，其用于从接收自图像传感器件的图像信号生成图像每个像素的不同颜色的颜色信号。去马赛克处理装置包括生 成单元和噪声降低单元。生成单元利用目标颜色信号和预定的其他颜色信 号来执行计算，以生成目标颜色信号的像素的、使目标颜色信号与预定的 其他颜色信号相关联的颜色相关信号，该目标颜色信号表示被包括在接收 自图像传感器件的图像信号中的预定的目标颜色信号，并且噪声降低单元 对由生成单元所生成的颜色相关信号执行噪声降低处理。
根据本实施例的图像拾取装置，利用去马赛克处理装置对包括从图像 传感器件输入的多个颜色信号的图像信号(原始图像信号)执行去马赛克 处理。因此，针对图像的每个像素生成了多个颜色信号。
在去马赛克处理装置中，生成单元利用表示要处理的图像信号的目标 颜色信号(例如，R (红)信号或B (蓝)信号)和预定的其他颜色信号
(例如，G (绿)信号)来执行计算以生成颜色相关信号(例如色差信号
或色比信号)。随后，噪声降低单元对由生成单元所生成的颜色相关信号 执行噪声降低处理。以这种方式，利用具有经降低的色噪声的颜色相关信 号来执行去马赛克处理。
因此，可以对通过去马赛克处理而生成的颜色相关信号执行噪声降低 处理。因此，除噪声降低单元外不需要另外的硬件，并且因此，可以快速 降低色噪声。此外，因为可以通过去马赛克处理来降低色噪声，所以色噪 声可以被最有效地降低。
如上所述，根据本实施例，可以从包括多个颜色信号的图像信号中快 速地并最有效地降低色噪声成分。也就是，色噪声可以被有效地降低。


图1是根据本发明第一实施例的图像拾取装置的框图2是示出安装在图1所示的图像拾取装置中的相机信号处理单元的 示例性配置的框图3是示出根据本发明第一实施例的去马赛克处理单元的处理的第--示例性配置和概述的框图4A、 4B、 4C、 4D和4E是示出从Bayer排列的原始运动图像数据
9通过内插不仅直接生成G信号而且直接生成R信号和B信号的情况的示 图5A、 5B、 5C、 5D、 5E、 5F和5G是示出利用色差信号从Bayer排 列的原始运动图像数据生成R信号和B信号的情况的示图6是包括根据第一实施例的噪声降低处理单元的去马赛克处理单元 的第一示例性配置的框图7是图6所示的噪声降低处理单元的示例性配置的框图8A、 8B和8C示出s滤波器的功能；
图9A和9B示出由图7所示的噪声降低处理单元中的s滤波器执行的 处理；
图10示意性示出在色差被内插之前利用s滤波器在色差信号上执行的 噪声降低处理；
图11示意性示出在色差被内插之后利用s滤波器在色差信号上执行的 噪声降低处理；
图12是示出由根据第一实施例的去马赛克处理单元所执行的处理的
第二示例性配置和概述的框图B是包括根据第一实施例的噪声降低处理单元的去马赛克处理单
元的第二示例性配置的框图14是示出图13所示的噪声降低处理单元的示例性配置的框图15A、 15B禾卩15C示出由图14所示的噪声降低处理单元中的s滤波
器所执行的处理；
图16是示出噪声降低处理单元的另一示例性配置的框图17示出用于根据图像信号的类型来执行Y/C转换处理的计算表达
式；
图18A和18B示出滤色器的颜色编码；
图19是示出根据第二实施例的去马赛克处理单元的处理的第一示例 性配置和概述的框图20是示出被置于图19所示的位置A处的噪声降低处理单元的示例 性配置的框图；图21是示出根据第二实施例的去马赛克处理单元的处理的第二示例 性配置和概述的框图22是示出被置于图21所示的位置B处的噪声降低处理单元的不例 性配置的框图23是相机信号处理单元的另一示例的框图24是示出根据第三实施例的去马赛克处理单元的处理的第一示例 性配置和概述的框图25是示出被置于图24所示的位置A处的噪声降低处理单元的示例 性配置的框图26是示出根据第三实施例的去马赛克处理单元的处理的第二示例 性配置和概述的框图27是被置于图26所示的位置B处的噪声降低处理单元的示例性配 置的框图28是示出由图6、图9和图24所示的去马赛克处理单元所执行的 去马赛克处理的流程图；以及
图29是示出由图13、图21和图26所示的去马赛克处理单元所执行
的去马赛克处理的流程图。
具体实施例方式
以下参考附图来描述本发明的装置、方法和程序的各种示例性实施 例。示例性实施例可应用于各种类型的图像处理装置，例如并入移动电子 设备(例如，数字视频相机、数字静态相机和手机)中的相机模块、图像 读取器和扫描器。
然而，为了简便起见，通过参考如下的示例来进行描述，在所述示例 中，以下的示例性实施例被应用于能够捕捉运动图像并且记录图像数据的 数字视频相机(图像拾取装置)。此外，以下描述的图像拾取装置可以记 录伴随着运动图像数据的声音。然而，在以下的实施例中，为了简便起 见，没有提供对声音信号的处理系统的描述。第一示例性实施例 图像拾取装置的示例性配置
图1是根据本发明第一示例性实施例的图像拾取装置100的框图。如 图l所示，图像拾取装置100包括图像信号的处理系统。处理系统包括镜
头单元101、图像传感器件单元102、模拟增益控制单元103、模数 (A/D)转换器104、检测处理单元105、相机信号处理单元106、显示处 理单元107和显示单元108。图像拾取装置IOO还包括控制单元110、键 操作单元121、外部接口 (在此之后称作"外部I/F" ) 122、外部输入/输 出终端123、记录和回放处理单元124和记录介质125。
控制单元IIO控制根据本实施例的图像拾取装置IOO的所有单元。控 制单元110由如下的微计算机形成，该微计算机包括经由CPU总线115而 彼此连接的中央处理单元(CPU) 111、只读存储器(ROM) 112、随机存 取存储器(RAM) 113和电可擦除且可编程的ROM (EEPROM) 114。
CPU 111读取如下所述的存储在ROM 112中的程序，并且执行所读出 的程序以生成控制信号，所述控制信号被递送到各个单元。此外，CPU 111接收从各单元发送的信号并且处理所接收到的信号。以这种方式， CPU 111执行控制。如上所述，ROM 112预存储将由CPU 111来执行的程 序以及所述程序所使用的各种数据。
RAM 113例如被用作临时地存储各种处理的中间结果的工作区。 EEPROM 114是非易失性存储器。例如，EEPROM 114存储甚至在根据本 实施例的图像拾取装置100断电之后仍被维护的各种信息。各种信息的示 例包括为新功能而附加地设置的各种设定参数和程序。
键操作单元121包括(但并不局限于)记录待命键、记录开始键、 记录停止键、用于望远功能的控制键、各种控制键以及各种功能键。键操 作单元121接收用户输入并且将输入转换为电信号，电信号被供应到控制 单元110。控制单元IIO根据通过键操作单元121而供应的用户输入来控 制图像拾取装置100的各个单元。以这种方式，用户想要做出的操作可以 被适当执行。
外部I/F 122和外部输入/输出终端123遵照IEEE (电气和电子工程师学会)1394标准或者USB (通用串行总线)标准。具有遵照相同标准的接 口的外部装置(例如，个人计算机或个人视频录像机(PVR))可以连接 到外部I/F 122和外部输入/输出终端123。
记录和回放处理单元124在控制单元110的控制下，将供应到控制单 元110的图像数据记录在记录介质125上。此外，记录和回放处理单元 124读取记录在记录介质125上的图像数据并且将其供应到显示处理单元 107。以这种方式，图像数据被回放。
记录介质125用作根据本实施例的图像拾取装置100的主记录介质。 例如，记录介质125可以是内部半导体存储器、包括半导体存储器的可拆 卸存储卡、高密度内部硬盘、可拆卸盘记录介质(例如，光盘)或者可拆 卸磁带。在根据本实施例的图像拾取装置100中，例如高密度内部硬盘被 用于记录介质125。
利用预定的数据压縮方法将图像数据压縮然后存储在记录介质125 中。根据预定的数据压縮方法，将从记录介质125读取的图像数据解压 縮。利用压縮/解压縮处理单元(未示出)来执行数据压縮和解压縮。可替 代地，记录和回放处理单元124可以具有这样的对图像数据的压縮/解压縮 功能。
此外，根据本实施例，图像拾取装置100具有记录功能和回放功能。 记录功能方面，通过图像信号的处理系统的被拍体图像输入被显示在显示 单元108的显示设备的显示画面上并且被捕捉。所捕捉到的图像被转换为 图像信号(运动图像信号)并且被记录在记录介质125上。回放功能方 面，记录在记录介质125上的图像信号被读出。所读出的图像信号被显示 在显示单元108的显示设备的显示画面上，或者经由外部I/F 122和外部输 入/输出终端123被供应到外部装置。
记录功能(图像捕捉功能)和回放功能
首先描述根据本实施例的图像拾取装置100的记录功能。如图1所 示，图像信号的处理系统包括经由公共CPU总线115而彼此连接的镜头单 元101、图像传感器件单元102、模拟增益控制单元103、 A/D 104、检测处理单元105、相机信号处理单元106、显示处理单元107和显示单元 108。
数据基本上经由公共CPU总线115在图像信号处理系统的单元之间交 换。然而，在某些情况下，数据直接在单元之间交换而无需使用CPU总线 115。当单元被直接地彼此连接而无需使用CPU总线115并且数据在所述 单元之间传输时，这些单元可以被认为是一个处理单元。
一旦经由键操作单元121接收到捕捉运动图像的指令，控制单元110 就控制各单元以开始对运动图像的捕捉操作。在这样的情况下，被拍体图 像通过镜头单元101被形成在图像传感器件单元102的固态图像传感器件 的图像形成面(image forming plane)上。被拍体图像接着通过固态图像传 感器件被转换为电信号(模拟运动图像信号)并且被供应到模拟增益控制 单元103。被提供用于图像传感器件单元102的固态图像传感器件的示例 包括CCD传感器或CMOS传感器。
对供应到模拟增益控制单元103的模拟运动图像信号进行增益控制以 使得模拟运动图像信号的增益处于预定水平。经增益控制的模拟运动图像 信号被供应到A/D转换器104。供应到A/D转换器104的模拟运动图像信 号被转换为数字运动图像信号(数字原始运动图像数据)并且被供应到检 测处理单元105。在此使用的术语"数字原始运动图像数据"指未经过显 像处理(development process)的数字运动图像数据。数字原始运动图像 数据是从输出自图像传感器件单元102的模拟运动图像信号被转换为数字 格式的图像信号。
检测处理单元105基于所接收到的原始运动图像数据生成显像参数的 集合(显像参数组)Pm。显像参数组Pm包括用于各种下游图像处理的参 数，例如用于曝光控制处理的参数和用于白平衡控制处理的参数。检测处 理单元105然后将所生成的显像参数组Pm经由控制单元110供应到相机 信号处理单元106。检测处理单元105还将原始运动图像数据供应到相机 信号处理单元106。
如将在下文中更详细描述的，相机信号处理单元106执行黑电平 (black level)匹配处理、白平衡控制处理、用于生成RGB数据(三原色
14数据项)的去马赛克处理(同步处理)、孔径校正处理、伽马(;k)校m
处理、用于获得亮度信号(Y)和色差信号(C)的转换处理(Y/C转换处
理)以及分辨率转换处理。因此，亮度信号和色差信号(在此之后简单称
作"YC信号")被生成。
由相机信号处理单元106生成的YC信号被供应到显示处理单元 107。显示处理单元107将YC信号转换为可供应给显示单元108的格式的 运动图像信号。因此，所捕捉到的被拍体的运动图像可以被显示在显示单 元108的显示设备的显示画面上。
同时，由相机信号处理单元106生成的YC信号例如通过压縮/解压缩 处理单元(未示出)被压縮。在此之后，YC信号被供应到记录和回放处 理单元124。记录和回放处理单元124将所供应的图像数据记录在安装于 其中的记录介质125上以使得图像数据能够被读出。
例如，显示单元108包括诸如液晶显示器(LCD)、有机电致发光面 板或者阴极射线管(CRT)之类的显示设备。如上所述，显示单元108从 显示处理单元接收运动图像信号，并且根据所接收到的运动图像信号在其 显示设备的显示画面上显示运动图像。
如上所述，根据本实施例，图像拾取装置IOO可以捕捉在显示单元 108的显示设备的显示画面上显示的被拍体的运动图像，并且将基于所捕 捉到的运动图像的运动图像数据记录在记录介质125上。如之前提到的， 当基于所捕捉到的运动图像的运动图像数据被记录在记录介质125上时， 运动图像数据例如通过压縮/解压縮处理单元(未示出)被压縮。在此之 后，运动图像数据经由记录和回放处理单元124被记录在记录介质125 上。
接下来描述根据本实施例的图像拾取装置100的回放功能。 一旦经由 键操作单元121接收到用于回放记录在记录介质125上的运动图像数据的 指令，控制单元IIO就控制记录和回放处理单元124以使得记录和回放处 理单元124读出所指定的运动图像数据。记录和回放处理单元124然后将 其供应到例如压縮/解压縮处理单元(未示出)。压縮/解压縮处理单元将 运动图像数据解压縮为原来未经压縮的运动图像数据。随后，记录和回放处理单元124经由控制单元110将运动图像数据供应到显示处理单元
107。
显示处理单元107将经解压縮的运动图像数据转换为可供应给显示单 元108的格式。随后，运动图像数据被供应给显示单元108。这样，根据 从记录介质125中读取的运动图像数据，运动图像可以被显示在显示单元 108的显示设备的显示画面上。
同时，经压縮的运动图像数据被压縮/解压縮处理单元(未示出)解压 縮为在执行数据压縮处理之前的原来的运动图像数据。经解压縮的运动图 像数据被供应到经由外部I/F 122和外部输入/输出终端123而连接到图像 拾取装置100的外部设备。以这种方式，运动图像数据可以被外部装置使 用。
如上所述，根据本实施例，图像拾取装置100可以将所捕捉到的运动 图像数据记录在记录介质125上或者回放运动图像数据。以这种方式，图 像拾取装置100可以使用记录在记录介质125上的运动图像数据。此外， 根据本实施例，图像拾取装置100可以利用现有的相机信号处理来最有效 地降低色噪声，而无需增加对高负载处理(例如，专用于噪声降低的去马 赛克处理)的使用。
相机信号处理单元106
接下来，描述在图1中示出的根据本实施例的图像拾取装置100的相 机信号处理单元106的示例性配置。图2是示出被安装在根据本实施例的 图像拾取装置100中的相机信号处理单元106的示例性配置的框图。
如图2所示，根据本实施例，相机信号处理单元106包括黑电平匹配 单元1061、白平衡(WB)控制单元1062、去马赛克处理单元1063、孔径 校正单元1064、伽马校正单元1065、 Y/C转换单元1066和分辨率转换单 元1067。
如上所述，从检测处理单元105输出的原始运动图像数据被供应到相 机信号处理单元106的黑电平匹配单元1061。图像拾取装置的黑电平表示 当图像传感器件的成像面(imaging plane)完全被遮光时，从图像传感器件输出的图像。然而，例如，如果偏差成分从下游电路进入图像传感器 件，那么将得不到正确的黑电平。在这种情况下，图像不能被适当地形 成。为了避免这样的情况，黑电平匹配单元1061利用检测处理单元105 的输出电平来控制所接收的原始运动图像数据的黑电平。在调节了黑电平
之后，原始图像数据被供应到WB控制单元1062。
无论射向被拍体的光线(例如，日光或荧光)的类型如何，人眼都倾 向于将接近白色的物体识别为白色物体。然而，当利用图像拾取装置来捕 捉被拍体的图像时，被拍体的色调(tint)随在图像捕捉时射向被拍体的光 线类型而不同。因此，WB控制单元1062基于从检测处理单元105输出的 参数来控制整个图像的颜色平衡(更具体地，R (红)和B (蓝)之间的 平衡)，以使得接近白色的物体被呈现为白色物体。具有经控制的白平衡 的原始运动图像数据被供应到去马赛克处理单元1063。
根据图像传感器件的滤色器，通过使用来自图像传感器件的不同像素 的不同颜色信号，生成原始运动图像数据。去马赛克处理单元1063生成 构成图像的每个像素的所有颜色的颜色信号。在本实施例中，去马赛克处 理单元1063生成每个像素的三原色信号R、 G和B。
根据本实施例，去马赛克处理单元1063在去马赛克处理期间执行色 噪声降低处理。如上所述，去马赛克处理单元1063可以利用现有的相机 信号处理来最有效地降低色噪声，而无需增加对高负载处理(例如专用于 噪声降低的去马赛克处理)的使用。由去马赛克处理单元1063生成的三 原色信号G、 R和B (三原色数据项)被供应到孔径校正单元1064。噪声 降低处理将在下文中给出更详细的描述。
孔径校正单元1064对所接收到的三原色数据项执行边缘增强处理以 锐化图像。因此，图像变为清楚的图像。在根据本实施例的图像拾取装置 100中，可以根据从控制单元110接收的控制信号来控制边缘增强的水 平。控制信号根据例如通过键操作单元121输入的用户指令而被生成。图 像可以被改变为清晰图像(sharp image)或柔和图像(Softimage)。从孔 径校正单元1064输出的三原色数据项被供应给伽马校正单元1065。
伽马校正单元1065控制所接收的三原色数据项与实际输出的三原色数据项之间的相对关系。即，伽马(;k)值表示电压等效值的变化与图像
亮度的变化的比值。理想地，伽马值接近"l"。然而，由于所使用设备
的特性，值可能从"1"发生变化。因此，伽马校正单元1065校正所接收
到的运动图像数据的伽马值的误差以使得伽马值接近"1"。经过伽马校
正单元1065处理的运动图像数据(三原色数据项)被供应到Y/C转换单 元1066。
Y/C转换单元1066利用预定的计算表达式将所接收到的运动图像数据 (三原色数据项)转换为亮度信号(Y)和色差信号(Cb和Cr)。在此之 后，Y/C转换单元1066将包括亮度信号(Y)和色差信号(Cb和Cr)的 YC信号供应到分辨率转换单元1067。
分辨率转换单元1067对用所接收的YC数据表示的图像执行縮放操作 (scaling operation)。也就是，分辨率转换单元1067对所接收的YC数据 执行间隔剔除(thin-out)处理或者内插处理以生成具有预定分辨率的YC 数据。分辨率转换单元1067然后输出YC数据。与从分辨率转换单元 1067输出的YC数据相对应的图像经由在图1中示出的显示处理单元107 被显示在显示单元108上。此外，在YC数据被压縮之后，YC数据经由记 录和回放处理单元124被记录在记录介质125上。
如上所述，在相机信号处理单元106中，对由图像传感器件单元102 捕捉到的被拍体的原始运动图像数据执行了上述的各种处理。最后，具有 适于显示操作或记录操作的分辨率的YC数据被生成并输出。此外，根据 本实施例，相机信号处理单元106的去马赛克处理单元1063执行色噪声 降低处理，这将在下文中更详细地给出描述。
去马赛克处理单元1063的处理的第一示例性配置和概述(Bayer排列)
图3是示出在图2中示出的根据本实施例的相机信号处理单元106的 去马赛克处理单元1063的处理的第一示例性配置和概述的框图。如图3 所示，去马赛克处理单元1063包括G (绿)信号内插单元631 (在图3中 被指示为"G内插单元")、色差生成单元632、色差内插单元633和G (绿)信号回加(add-back)单元634 (在图3中被指示为"G回加单
18元")。
在该实施例中，通过参考包括具有Bayer排列的颜色编码的滤色器的 固态图像传感器件来进行描述。因此，根据Bayer排列形成的原始运动图 像数据被供应到去马赛克处理单元1063。如在图3中示出的样式(1)所 指示的，Bayer排列包括这样的行每个都包括在水平方向上排列的像素 的交替出现的R和G (即，RGRG…)，以及每个都包括在水平方向上排 列的像素的交替出现的G和B (即，GBRB...)。这两种类型的行在垂直 方向上交替排列。更具体地，具有在图3中示出的样式(1)的原始运动 图像数据基于逐个画面(基于逐个帧)被输入到去马赛克处理单元1063。 画面的每个像素具有三种颜色R (红)、G (绿)和B (蓝)之一的颜色 信号(颜色数据)。原始运动图像数据然后被供应到G内插单元631和色 差生成单元632。
如在图3中示出的样式(1)所指示的，在Bayer排列中，G信号以方 格图案(checkered pattern)呈现。G内插单元631通过对不具有G信号的 每个像素周围的像素的G信号进行内插并且使G信号相关联，来生成不具 有G信号的每个像素的G信号。以这种方式，如在图3中示出的样式 (2)所指示的，图像的所有像素的G信号被生成并且从G内插单元631 输出。
在R信号和B信号方面，色差生成单元632生成R信号的像素的色差 信号(R—G)信号，并且生成B信号的像素的色差信号(B — G)信号。 以这种方式，如在图3中示出的样式(3)所指示的，对于R信号的像 素，从色差生成单元632中输出所生成的(R—G)信号，并且对于B信 号的像素，从色差生成单元632中输出所生成的(B —G)信号。
从色差生成单元632输出的(R—G)信号和(B —G)信号被供应到 色差内插单元633。如在图3中示出的样式(4A)和(4B)所指示的，色 差生成单元632分别对不具有色差信号(R—G)和(B — G)的像素的色 差信号(R—G)禾B (B—G)进行内插。
以这种方式，如在图3中示出的样式(4A)和(4B)所指示的，图像 所有像素的(R—G)信号和(B — G)信号从色差内插单元633被输出。随后，从色差内插单元633输出的(R—G)信号和(B — G)信号被供应 到G回加单元634。
G回加单元634将从G内插单元631输出的G信号加到从色差内插单 元633输出的所有像素的色差信号((R—G)信号和(B —G)信号)。 因此，生成了所有像素的每个的R信号和B信号。因此，如在图3中示出 的样式(5A)和(5B)所指示的，所有像素的每个的R信号和B信号从 G回加单元634被输出。
这样，从去马赛克处理单元1063中输出了所有像素的从G内插单元 631输出的G信号，以及所有像素的从G回加单元634输出的R和B信 号。也就是，输出了图像的所有像素的每个像素的三原色信号R、 G和 B。这样的去马赛克处理基于逐个帧被执行，从而使得原始运动图像数据 被转换为RGB运动图像数据。
可以将能够生成期望信号的任何方法用于由G内插单元631执行的内 插处理、由色差生成单元632执行的色差生成处理以及由色差内插单元 633执行的内插处理。也就是，为了生成期望信号，可以使用多个范围内 的周围像素和多种类型的计算逻辑。
此外，如上所述，根据本实施例，去马赛克处理单元1063并不直接 生成R信号和B信号。去马赛克处理单元1063利用色差信号来生成R信 号和B信号。这是因为，通过考虑G信号，图像的颜色可以被更精确地再 现。也就是，伪色不会被再现。通过参考图4和图5来描述使用色差信号 的优点。
首先，通过参考如下的情况来进行描述，其中通过使用周围像素的颜 色信号的直接内插，分别针对不具有G信号、不具有R信号和不具有B 信号的像素，从Bayer排列的原始数据中生成G信号、R信号和B信号。
图4A到图4E是示出如下的情况的示图，其中不仅G信号，而且R 信号和B信号都通过内插从一个帧的原始运动图像数据中被生成。原始运 动图像数据从具有Bayer排列的滤色器的固态图像传感器件中被输出。在 该示例中，对形成消色差的(achromatic)彩色图像(具有黑和白垂直条 纹图案)的原始运动图像数据进行处理。如图4A所示，通过参考具有Bayer排列的原始数据和消色差的颜色 (黑和白垂直条纹图案)来给出以下描述。如图4B所示，由原始数据形 成的图像包括交替排列的白垂直行(列)和黑垂直行(列)。也就是，假 设R颜色信号、G颜色信号和B颜色信号的每个的值的范围为O—IOO。 那么，由具有值100的R颜色信号、具有值100的G颜色信号和具有值 100的B颜色信号形成的垂直行是白色行。相反，由具有值0的R颜色信 号、具有值0的G颜色信号和具有值0的B颜色信号形成的垂直行是黑色 行。
通过去马赛克处理，从这样的原始图像数据生成图像所有像素的每个 像素的R、 G和B信号。从图4A中可见，因为G信号一直存在于每条垂 直行(列)中，所以通过使用存在于每条垂直行中的G信号，可以适当地 生成这样的G信号其在白色行部分中具有值100并且在黑色行部分中具 有值0，如图4C所示。
在该示例中，R信号和B信号也直接通过内插生成，而没有使用色差 信号。从图4A中可见，R信号和B信号仅出现在隔行的垂直行中。
因此，在原始数据包括如图4A所示的颜色信号的情况下，如果通过 对存在于相邻像素中的R信号进行内插来针对不具有R信号的像素生成R 信号，那么针对垂直行中不具有R信号的像素不期望地生成了具有值100 的R信号，如图4D所示。
此外，在原始数据包括如图4A所示的颜色信号的情况下，如果通过 对存在于相邻像素中的B信号进行内插来针对不具有B信号的像素生成B 信号，那么不期望地生成了具有值0的B信号，如图4E所示。也就是， 通过针对应当生成具有值100的B信号的像素进行内插，不期望地生成具 有值0的B信号。
在这样的情况下，对于白色行部分并没有生成正确的B信号。因此， 白色没有被呈现为原来的白色。此外，因为针对黑行部分生成了具有值 100的R信号，所以黑色没有被精确地呈现为原来的黑色。因此，当不具 有R信号或B信号的像素的R信号或B信号通过对周围像素的R信号或 B信号进行内插而被直接生成时，图像的颜色可能不会被正确地呈现。在此之后，通过参考如下的情况来进行描述，其中直接使用周围像素
的G信号，从Bayer排列的原始数据生成不具有G信号的像素的G信号， 然而，通过生成色差信号之后对色差信号进行内插来分别生成不具有R信 号和不具有B信号的像素的R信号和B信号。
图5A到图5G是示出如下的情况的示图，其中通过对原始运动图像数 据的一个帧中的周围像素的G信号进行内插来直接生成不具有G信号的像 素的G信号，然而通过对色差信号进行内插来分别生成不具有R信号和不 具有B信号的像素的R信号和B信号。原始运动图像数据从具有Bayer排 列的滤色器的固态图像传感器件中被输入。与在图4A到图4E中示出的情 况类似，在图5A到5G中示出的示例中，对形成消色差的彩色图像(具有 黑和白垂直条纹图案)的原始运动图像数据进行处理。
当利用色差信号来生成R信号和B信号时，色差信号(R—G)被用 于R信号，并且色差信号(B—G)被用于B信号。然而，类似的处理被 执行以生成两种信号的每一个。因此，为了简便起见，以下仅描述利用 (R—G)信号对R信号的生成。
与在图4A和图4B中所描述的情况相同的，如图5A所示，对Bayer 排列的原始数据和消色差的颜色(黑和白垂直条纹图案)进行处理。如图 5B所示，由原始数据形成的图像包括交替排列的白垂直行(列)和黑垂直 行(列)。
也就是，与在图4B中所描述的情况一样，在图5B的情况下，假设Il 颜色信号、G颜色信号和B颜色信号的每个的值的范围为0 — 100。那么， 由具有值100的R颜色信号、具有值100的G颜色信号和具有值100的B 颜色信号形成的垂直行是白色行。相反，由具有值O的R颜色信号、具有 值0的G颜色信号和具有值0的B颜色信号形成的垂直行是黑色行。
通过去马赛克处理，从这样的原始图像数据生成图像所有像素的每个 像素的R、 G和B信号。从图5A中可见，因为G信号一直存在于每条垂 直行(列)中，所以使用存在于每条垂直行中的G信号，可以适当地生成 这样的G信号其在白色行部分中具有值100并且在黑色行部分中具有值 0，如图5C所示。如图5D所示，基于出现在相隔一个的垂直行上的R信号(如图5A 所示)来识别实际的R信号。在图5D中，由符号"x"表示的部分(像 素)是R信号不存在的部分。如图5E所示，从如图5D所示的所识别的R 信号和如图5C所示的通过内插而适当生成的G信号来生成色差信号(II _G)。
在图5E中，用符号"x"指示的部分(像素)是因为R信号不存在而 因此没有直接生成(R—G)信号的部分。因此，如图5F所示，利用如图 5E所示的适当生成的(R—G)信号，通过对没有直接生成(R—G)信号 的、用符号"x"表示的部分(像素)进行内插，来生成(R—G)信号。 在这样的情况下，如图5E所示，因为利用实际的R信号和G信号来生成 (R—G)信号，所以在图5F中示出的通过内插这些(R—G)信号而生成 的(R—G)信号可以被适当地生成。
最后，如图5C所示的所生成的G信号被加回到如图5F所示的所生成 的(R—G)信号。因此，如图5G所示，对于白色行部分具有值100并且 对于黑色行部分具有值0的R信号可以被适当地生成。
如在图4A到图4E中所描述的，当不仅G信号而且R信号和B信号 都通过内插而从Bayer排列的原始数据直接生成时，可以针对图像的每个 像素快速生成R信号和B信号。然而，得不到精确的图像颜色再现。不同 地，如在图5A到5G中所描述的，当利用色差信号通过内插从Bayer排列 的原始数据生成R信号和B信号时，虽然处理时间略微增加，但是非常精 确的颜色再现可以被获得。
因此，根据本实施例，如在图3中所描述的，当从原始运动图像数据 生成图像的每个像素的三原色R、 G和B的信号时，图像拾取装置100的 去马赛克处理单元1063利用色差信号来生成R信号和B信号。
此外，根据本实施例，图像拾取装置100的去马赛克处理单元1063 在具有Bayer排列的原始运动图像数据被转换为G信号和色差信号(R— G)和(B — G)之后，去除了色噪声成分。因此，在去马赛克处理期间能 够有效的降低色噪声。
23去马赛克处理单元1063的示例性配置
图6是包括根据本实施例的噪声降低处理单元635的去马赛克处理单 元1063的第一示例性配置的框图。与在图3中示出的去马赛克处理单兀 1063的配置类似，在该示例中，去马赛克处理单元1063包括G内插单元 631、色差生成单元632、色差内插单元633和G回加单元634。如在图3 中所描述的，利用周围像素的G信号来直接生成G信号。此外，利用色差 信号来生成R信号和B信号。因此，针对图像的每个像素生成了三原色 R、 G和B的信号。
如图所示，根据本实施例，图像拾取装置100的去马赛克处理单元 1063包括紧接着G内插单元631和色差生成单元632的下游的噪声降低处 理单元635。因此，去马赛克处理单元1063可以从要处理的图像数据(在 该示例中，紧接在内插被执行之后而生成的G信号和紧接在G信号被生成 之后而生成的色差信号(R—G)和(B — G))中降低色噪声成分。
以这种方式，当紧接着G内插单元631和色差生成单元632的下游来 设置噪声降低处理单元635时，色噪声能够被有效地降低。这是因为用于 去马赛克处理中的内插处理的复杂滤波器并没有被应用到紧接在色差信号 (R —G)和(B —G)被生成之后的时刻的色差信号中所包含的色噪声 上。
噪声降低处理单元635的示例性配置
图7是在图6中示出的噪声降低处理单元635的示例性配置的框图。 如图7所示，噪声降低处理单元635包括降低被混合到G信号中的噪声的 G噪声降低处理单元6351和降低被混合到色差信号中的噪声的色差噪声降 低处理单元6352。
这样，通过G噪声降低处理单元6351从G信号中降低噪声，并且通 过色差噪声降低处理单元6352从色差信号(R—G)禾n (B —G)中降低噪 声。G噪声降低处理单元6351和色差噪声降低处理单元6352可以采用各 种噪声降低方法。在本实施例中，采用厄普西隆(￡ )滤波器(在此之后 称作"s滤波器")。S滤波器
首先，简要描述f滤波器。图8A到图8C是示出f滤波器的示图。c 滤波器是非线性滤波器的一种。s滤波器可以在保持画面边缘的同时降低 噪声。s滤波器使用大多数噪声信号是高频信号并且具有较小振幅的噪声 信号特性。
艮口， 一般地，在图像数据中包含的噪声信号是具有较小振幅的高频信 号，而画面边缘部分的信号具有较大振幅。因此，针对图像的预定区域， s滤波器计算所关注的像素和与该所关注的像素邻近的像素之间的电平 差。s滤波器然后将该电平差与预定阈值进行比较以判断是否存在噪声。 通过根据滤波系数来执行计算，f滤波器可以平滑噪声。
如图8A所示，接下来通过参考3X3的像素区域和位于该区域中心的 所关注的像素T来描述具体示例。在图8B中，横坐标表示在如8A图所示 的像素区域中的像素位置(像素编号)。在图8B中绘出如图8A所示的像 素区域中的每个像素与所关注的像素T之间的电平的差(电平差)。应注 意，因为所关注的像素T是一个基准，所以所关注的像素T的信号电平被 绘制以代替差分。
在此之后，如图8B所示，用指示阈值的两条虚线来表示垂直方向上 的阈值宽度。阈值宽度小于图像中画面的振幅。对于具有位于由阈值宽度 所指示的区域之外的、相对于所关注的像素T的信号电平的信号电平差的 像素，判断该差因画面所致。因此，该像素不被用于平滑所关注的像素 T。然而，对于具有位于由阈值宽度所指示的区域之内的、相对于所关注 的像素T的信号电平的信号电平差的像素，判断该差因噪声所致。因此， 该像素被用于平滑所关注的像素T。
艮卩，在图8B所示出的示例中，2号像素和所关注的像素T之间的电 平差以及7号像素和所关注的像素T之间的电平差位于由阈值宽度所确定 的区域之外。因此，2号像素和7号像素不被用于用以进行平滑的平均化 处理中(即，被从相加像素中去除)。
而1号、3号、4号、5号、6号和8号像素的每一个和所关注的像素T之间的电平差位于由阈值宽度所确定的区域之内。因此，1号、3号、4
号、5号、6号和8号像素被用于用以进行平滑的平均化处理中(即，被包
括在相加像素中)。
因此，如图8B所示，具有位于预定阈值内的、相对于所关注的像素 T的电平差的1号、3号、4号、5号、6号和8号的像素被包括在用以进 行平滑的平均处理的相加像素中。这样，用通过平均化周围像素的电平而 获得的电平来替代所关注的像素T的电平。针对每个像素执行该操作。这 样，所有的像素都被平滑。以这种方式，噪声成分从每个像素中被去除并 且被平滑。因此，没有噪声成分的平滑图像可以被形成(再现)，而不会 对由图像信号所形成的图像中的画面有负作用。
如在图8B中所描述的，在s滤波器的情况下，基于预定阈值来判断 像素是否是用以进行平滑的平均化处理的加法对象。因此，具有大于预定 值的电平的边缘可以被保持。也就是，对于具有大幅改变的电平的边缘的 图像，如果(如图8C中的实线所示)阈值根据噪声电平而被确定，那么 位于阈值区域之外的信号不会变为加法对象。因此，在保持图像中的边缘 的同时，可以仅降低每个像素(由图8C中的黑圆圈指示)的噪声成分。
在f滤波器中，被用于用以对所关注的像素的电平进行平滑的平均化 处理的像素的信号电平可以被加权。例如，随着周围像素和所关注的像素 之间的距离减小，用于该像素的加权可以被增大。
由G噪声降低处理单元6351执行的处理的概述
接下来描述在图7中示出的G噪声降低处理单元6351。 G噪声降低处 理单元6351顺序地接收从通过由G内插单元631所执行的内插而生成的 图像的每个像素提供的G信号(参见在图7中示出的样式(1))。在此 之后，在G噪声降低处理单元6351中，利用s滤波器来从G信号中去除 噪声成分，然后具有经降低的噪声的G信号被输出(参见在图7中示出样 式(2))。
为了在G噪声降低处理单元6351中降低噪声，可以采用另一种方 法。例如，通过使用一对低通滤波器(LPF)和减法电路或者一对高通滤波器(HPF)和减法电路，G信号的带宽可以被分为高频侧(高频成分)
和低频侧(低频成分)。对高频侧执行核化(coring)处理和限制处理， 并且将f滤波器应用于低频侧。以这种方式，可以对高频侧和低频侧执行 不同的噪声降低处理。
通过使用这种方法，即使当画面成分电平接近由于低亮度而导致的噪 声成分电平，也可以在保持由经处理的图像信号所形成的画面的特征的同 时，执行噪声抑制(噪声降低)而不会使产生孤立点。该方法(用于对高 频侧以及对低频侧执行不同的噪声降低处理的方法)在由本发明人递交的 日本未经审查的专利申请公开第2007-262875号中被详细描述。
应注意，G信号具有强的亮度成分并且具有少量的色噪声成分。因 此，取代在去马赛克处理单元1063中执行噪声降低处理，可以在执行去 马赛克处理之前执行对G信号的噪声降低处理。可替代地，可以对经过了 由图2所示的Y/C转换单元1066所执行的Y/C转换的Y信号(亮度信 号)执行噪声降低处理。即，不一定提供图7所示的G噪声降低处理单元 6351用于噪声降低处理单元635。为了有效地降低在图像信号中所包含的 色噪声，仅色差噪声降低处理单元6352的存在就能满足需要，在下文中 将详细描述色差噪声降低处理单元6352。
由色差噪声降低处理单元6352执行的处理概述
接下来描述在图7中示出的色差噪声降低处理单元6352。由色差生成 单元632生成的色差信号(参见图7中的样式(3))被供应到色差噪声 降低处理单元6352。也就是，如图7中的样式(3)所示，在色差生成单 元632中，针对具有R信号的像素生成了 (R—G)信号，并且针对具有B 信号的像素生成了 (B — G)信号。这些所生成的信号被供应到噪声降低处 理单元635的色差噪声降低处理单元6352。在此之后，在色差噪声降低处 理单元6352中，s滤波器被应用于相同颜色从而使得在(R—G)信号和 (B —G)信号中所包含的噪声成分(色噪声成分)被去除。
然而，如果仅基于色差信号(R—G)和(B —G)来应用^滤波器， 那么颜色蔓延(color bleed)可能出现在画面的边缘部分中或者颜色可能在高频部分中缺失。也就是，例如，当橙色部分和接近该橙色部分的浅绿 色部分被包含在一帧图像中(即，形成了边缘)，那么可能出现颜色蔓延 和颜色缺失。这是因为，如果仅使用如图7中的样式(3)所示的(R —
G)信号和(B —G)信号，那么在两种不同颜色彼此邻近的部分(边缘部
分)中，不适宜的像素(另一颜色区域中的像素)可能被选择作为平滑处 理的加法计算的对象。
因此，在色差噪声降低处理单元6352中，当使用f滤波器时，判断所 关注的像素和周围像素之间的电平差是否在噪声阈值范围之内。此外，对 于色差信号(R—G)和(B — G)，从其获得色差信号的周围像素和所关 注的像素之间的G信号的电平差被获得。如果G信号的电平差落入噪声阈 值范围之内，那么该周围像素变为色差信号的平均化处理的对象。
图9A和图9B示出由f滤波器对色差信号执行的处理。在图7所示的 色差噪声降低处理单元6352中，如图9A所示，只有从色差生成单元632 输出的色差信号(R—G)和(B — G)可以被处理。然而，为了解决出现 在边缘部分处的上述颜色蔓延或颜色缺失问题，如图9B所示，所关注的 像素和周围像素之间的G信号的电平差关于色差信号被获得。在此之后， 判断所关注的像素和周围像素之间的G信号的电平差是否落入预定阈值范 围之内。因此，判断了周围信号是否被用于平均化处理。
因此，如图7中的虚线箭头所指示的，从G内插单元631输出的G信 号还被供应到色差噪声降低处理单元6352。当所关注的像素和周围像素之 间的色差信号(R—G)和(B — G)的每一个的电平差都落入噪声阈值范 围之内并且所关注的像素和周围像素之间的G信号的电平差落入噪声阈值 范围之内时，周围像素的色差信号被用于对所关注的像素的色差信号进行 平均化。
不同地，即使当所关注的像素和周围像素之间的色差信号(R—G)和 (B —G)的每一个的电平差都落入噪声阈值范围之内，如果所关注的像素 和周围像素之间的G信号的电平差在噪声阈值范围之外，那么周围像素的 色差信号也不会被用于对所关注的像素的色差信号进行平均化。
如上所述，当利用s滤波器来从色差信号中去除色噪声成分时，色噪声可以被精确地去除，因此，通过考虑G信号，图像的颜色可以被正确地 再现。
应注意，即使当仅利用色差信号(R — G)和(B — G)来降低色噪声 而不考虑G信号时，色噪声也被充分去除。因此，可以仅针对尤其关注高 图像质量的产品考虑G信号。
此外，色差噪声降低处理单元6352可以允许用户选择是否使用G信 号。在这样的情况下，键操作单元121接收是否使用G信号的选择。根据 该选择，控制单元110可以控制由在相机信号处理单元106中的去马赛克 处理单元1063的噪声降低处理单元635所执行的处理。
不同颜色噪声电平是不同的。因此，不同的值被用作(R—G)信号、 (B — G)信号和G信号的噪声阈值。噪声电平与诸如WB控制单元1062 的增益之类的前段(front stage)增益成比例。因此，期望根据前段增益来 控制噪声阚值。此外，可以针对(R—G)信号、(B — G)信号和G信号 的每个在ROM 112中预存储多个值，并且用户可以利用键操作单元121 来选择这些值之一。此外，用户可以利用键操作单元121来针对(R—G) 信号、(B — G)信号和G信号的每个设定或改变噪声阈值。
噪声降低处理单元635的位置的重要性
如在图6中所描述的，在本实施例中，紧接着G内插单元631和色差 生成单元632的下游放置噪声降低处理单元635。这是因为，如上所述， 由于该位置是紧接在色差信号(R—G)和(B —G)被生成之后可以使用 这些信号的位置，故用于去马赛克处理的内插的复杂滤波器没有被应用于 被混合到色差信号中的色噪声。因此，色噪声被有效地降低。接下来通过 参考图10和图11来更详细地描述该理由。
图10示意性地示出在色差被内插之前利用^滤波器对色差信号所执行 的噪声降低处理。也就是，图10示出为了从色差信号中去除色噪声成 分，由被设置在图6所示的位置处的噪声降低处理单元635所执行的示例 性处理。在该信号中，噪声被混合到其中画面没有改变的图像的平坦部分 中。
29在图10中，写在顶部的字母"R" 、 "G" 、 "R" 、 "G"和"R" 表示具有R信号的像素及其位置和具有G信号的像素及其位置。因此，针 对具有R信号的像素生成了 (R—G)信号。此外，如上所述，当利用c滤 波器来去除色噪声时，所关注的像素T用作基准。如果具有相同颜色的色 差信号的周围像素和所关注的像素T之间的电平差落入预定阈值范围之 内，那么周围像素被用于对所关注的像素T的电平进行平均化。
因此，如图10所示，当所关注的像素T的信号电平被用作基准时， 具有(R—G)信号和所关注的像素T和周围像素之间的、落入预定阈值 范围之内的电平差的素Rl和像素R2被用于对所关注的像素T的电平进 行平均化。因此，当利用这些像素Rl和R2对所关注的像素T进行平滑 时，位于相对高的信号电平h的所关注的像素T在执行了噪声降低之后被 移至所关注的像素Tl。因此，在所关注的像素T中所包括的色噪声成分 可以被有效地降低。
不同地，图11示意性地示出在色差被内插之后利用s滤波器对色差信 号所执行的噪声降低处理。也就是，图11示意性地示出为了从色差信号 中去除色噪声成分而在图3和图6所示的色差内插单元633的下游位置处 执行的示例性处理。
在图11中，写在顶部的字母"R" 、 "G" 、 "R" 、 "G"和"R" 表示具有R信号的像素及其位置和具有G信号的像素及其位置。因此，针 对具有R信号的像素生成了 (R — G)信号。此外，如在图3中所描述 的，在色差内插单元633中，也基于相同颜色的色差信号，针对具有G信 号的像素生成色差信号(R—G)。
因此，在图11中，如像素Hl和H2所示出的，在执行色噪声降低处 理之前，也针对具有G信号的像素，通过内插而生成了色差信号(R — G)。随后，如果利用f滤波器来执行噪声降低处理，那么每个都具有己 经经过内插的信号的像素Hl和H2相对于所关注的像素T的电平的电平 差落入了阈值范围内。因此，如果利用s滤波器和这些像素来执行噪声降 低处理，那么因为使用已经经过内插处理的像素Hl和H2，所以如图11 中的在执行了噪声降低处理之后的所关注的像素Tl所示出的，很难降低大量的噪声成分。
从图10和图11的比较中可以看出，由执行了噪声降低处理(平滑处 理)之后的所关注的像素Tl、用于对所关注的像素T进行平滑的周围像 素和图10中的横坐标所围起的区域比图11中的相应区域更小。该区域表 示残留的噪声成分的近似量。因此，该比较显示当在执行色差内插之前对 色差信号执行使用S滤波器的噪声降低处理时，能够降低色噪声成分的更 大的量。
虽然通过参考色差信号(R—G)给出了上述描述，但是对于色差信号 (B — G)，可以获得相同的结果。
因此，根据本实施例，如图6所示，图像拾取装置100包括紧接着色 差生成单元632的下游的噪声降低处理单元635。
去马赛克处理单元1063的处理的第二示例性配置和概述(Bayer排列)
图12是示出由图2中示出的相机信号处理单元106的去马赛克处理单 元1063所执行的处理的第二示例性配置和概述的框图。如图12所示，除 了去马赛克处理单元1063包括第一色差内插单元636和第二色差内插单 元637之外，去马赛克处理单元1063具有与图3所示的去马赛克处理单元 1063的配置类似的配置。
因此，为了简便起见，使用以上描述图3中的第一去马赛克处理单元 1063时所使用的相同编号来描述图12中示出的第二去马赛克处理单元， 并且因此，不再重复对它们的详细描述。此外，与图3所示的去马赛克处 理单元1063类似的，图像传感器件单元102的固态图像传感器件的滤色 器的颜色编码是Bayer排列。
在图12所示的去马赛克处理单元1063中，图3所示的去马赛克处理 单元1063的色差内插单元633的功能被一分为二。也就是，由第一色差 内插单元636和第二色差内插单元637来实现色差内插功能。如图12中的 样式(3)所示出的，色差生成单元632生成并输出具有R信号的像素的 (R—G)信号以及具有B信号的像素的(B—G)信号。
由色差生成单元632生成的色差信号(R—G)和(B — G)被供应到第一色差内插单元636。如图12中的样式(4A)禾n (4B)所示出的，通 过利用周围的(B —G)信号对甚至是针对其生成了 (R—G)信号的像素 进行内插，来生成(B — G)信号。此外，通过利用周围的(R—G)信号 对甚至是针对其生成了 (B —G)信号的像素进行内插，来生成(R—G) 信号。
随后，第二色差内插单元637从具有色差信号(即，通过第一色差内 插单元636的内插而生成的色差信号(参见图12中的样式(4A)和 (4B)))的周围像素，对不具有色差信号的像素的色差信号(R—G) (参见图12中的样式(5A))和色差信号(B — G)(参见图12中的样 式(5B))进行内插。由G回加单元634执行的后续处理与在图3中所描 述的相同。
在具有色差内插单元被分为第一色差内插单元636和第二色差内插单 元637的配置的去马赛克处理单元1063中，噪声降低处理单元被置于第 一色差内插单元636和第二色差内插单元637之间。
去马赛克处理单元1063的示例性配置
图13是图12中所描述的并且包括噪声降低处理单元638的配置的去 马赛克处理单元1063的框图。如图13所示，在该示例中，去马赛克处理 单元1063包括在第一色差内插单元636和第二色差内插单元637之间的噪 声降低处理单元638。
如图13所示，没有在G内插单元631的下游设置任何电路块。因 此，在图13所示的去马赛克处理单元1063中执行的对G信号的处理类似 于在图6所示的去马赛克处理单元1063中所执行的处理。然而，对在样 式(4A)和(4B)中示出的色差信号执行色差信号噪声降低处理，所述色 差信号是经过中间内插的色差信号。
与在图6所示的噪声降低处理单元635中所执行的处理相比，在图13 所示的噪声降低处理单元638中，对略微经过了内插处理中的复杂滤波的 色差信号(R—G)和(B — G)执行噪声降低处理。然而，与在图6所示 的噪声降低处理单元635中所执行的处理相比，由于两个色差信号(R—G)和(B — G)存在于相同的像素位置上，所以色噪声能够被有效地降低 而不会使画面的边缘劣化。
噪声降低处理单元638的示例性配置
图14是示出图13所示的去马赛克处理单元1063的噪声降低处理单元 638的示例性配置的框图。与图7所示的噪声降低处理单元635类似的， 噪声降低处理单元638包括G噪声降低处理单元6381和色差噪声降低处 理单元6382。
由G噪声降低处理单元6381执行的处理概述
G噪声降低处理单元6381处理G信号，该G信号的形式与图7所示 的G噪声降低处理单元6351中的相同。因此，执行与图7所示的G噪声 降低处理单元6351的处理类似的处理。也就是，G噪声降低处理单元 6381利用s滤波器来对G信号执行噪声降低处理。可替代地，G噪声降低 处理单元6381将G信号分为高频侧(高频成分)和低频侧(低频成 分)。G噪声降低处理单元6381然后对高频成分执行核化处理和限制处 理，并且利用f滤波器来对低频成分执行处理。因此，G噪声降低处理单 元6381对高频侧和低频侧执行不同的噪声降低处理。
由色差噪声降低处理单元6382执行的处理概述
与图7所示的噪声降低处理单元635的色差噪声降低处理单元6352类 似的，色差噪声降低处理单元6382利用色差信号来执行色噪声降低处 理。然而，如下所述，该处理与由色差噪声降低处理单元6352所执行的 处理略微不同。
也就是，在图14所示的噪声降低处理单元638的色差噪声降低处理 单元6382中，当降低(R—G)信号的噪声时，除了判断所关注的像素T 和周围像素之间的(R—G)信号的电平差是否落入噪声阈值范围之内以 外，色差噪声降低处理单元6382还判断与(R—G)信号位于相同位置处 的周围像素和所关注的像素T之间的(B — G)信号的电平差是否落入噪
33声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低
处理单元6382选择(R—G)信号的该周围像素作为平均化处理的对象。
类似的，当降低(B — G)信号的噪声时，除了判断所关注的像素T 和周围像素之间的(B — G)信号的电平差是否落入噪声阈值范围之内以 外，色差噪声降低处理单元6382还判断与(B —G)信号位于相同位置处 的周围像素和所关注的像素T之间的(R—G)信号的电平差是否落入噪 声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低 处理单元6382选择(B — G)信号的该周围像素作为平均化处理的对象。
以这种方式，如图14中的样式(4A)禾Q (4B)所示出的，可以从通 过图14中的样式(3A)和(3B)而示出的色差信号获得具有经降低的色 噪声的色差信号。
为了通过考虑画面的边缘部分来更精确地降低噪声，如图14中的虚 线箭头所示出的，使用G信号的信号电平。
也就是，为了降低(R—G)信号的噪声，当(R—G)信号的所关注 的像素T和周围像素之间的(B — G)信号的电平差落入噪声阈值范围之 内并且(R—G)信号的所关注的像素T和周围像素之间的G信号的电平 差落入噪声阈值范围之内时，选择(R—G)信号的周围信号作为平均化处 理的对象。类似地，为了降低(B — G)信号的噪声，通过除(B — G)信 号之外还使用(R—G)信号和G信号来应用s滤波器。
以这种方式，如针对图7所示的噪声降低处理单元635所描述的那 样，在处理画面的边缘部分时，具有差别很大的颜色的不必要像素的信号 成分可以从平滑处理的对象中被去除，因此，可以防止颜色蔓延和颜色缺 失。
如上所述， 一般地，在第二示例中所使用的去马赛克处理单元1063 的噪声降低处理单元638中，如图15A和15B所示，为了降低色噪声而使 用在相同像素位置处的(R—G)信号和(B —G)信号。此外，如图15C 所示，考虑了在相同像素位置处的G信号。因此，即使当利用(R—G) 信号和(B — G)信号的任一个来降低色噪声时，色噪声也可以通过考虑三 原色R、 G和B而从色差信号中被精确地降低。噪声降低处理单元的修改
图16是示出噪声降低处理单元638的另一示例性配置的框图。当为
了精确降低色噪声而判断将被选择作为平滑操作的对象的像素吋，图14 所示的噪声降低处理单元638的色差噪声降低处理单元6382不仅使用所 关注的像素和周围像素之间的色差信号的电平差，而且使用所关注的像素 和周围像素之间的G信号的电平差。如果两个电平差的每个都落入预定的 阈值范围之内，那么色差噪声降低处理单元6382将周围像素用于用以对 所关注的像素的电平进行平滑的平均化处理。
然而，如果使用G信号，那么例如黑色部分和红色部分之间的边缘可 能不被检测为边缘。也就是，虽然G信号具有强的亮度成分，但是该亮度 成分不是纯亮度信号。因此，当红颜色和黑颜色被呈现时，两种颜色包括 相同的G信号的量。因此，很难仅通过使用G信号就检测到边缘。
因此，在图16所示的噪声降低处理单元638的另一示例中，从G信 号和色差信号(R—G)和(B — G)来生成亮度信号Y和色差信号Cb和 Cr。在此之后，还通过利用亮度信号Y来对色差信号Cb和Cr执行噪声降 低处理。随后，亮度信号Y和色差信号Cb和Cr被转换回原来的G信号 和色差信号(R_G)禾卩(B — G)。
也就是，如图16所示，该示例中的噪声降低处理单元638包括Y/C 转换单元6383、亮度噪声降低处理单元6384、色差噪声降低处理单元 6385和逆Y/C转换单元6386。 Y/C转换单元6383执行Y/C转换，其中G 信号和色差信号(R—G)和(B—G)被转换为亮度信号Y和色差信号Cb 和Cr。亮度噪声降低处理单元6384对亮度信号Y执行噪声降低处理。色 差噪声降低处理单元6385对色差信号Cb和Cr执行噪声降低处理。逆 Y/C转换单元6386将具有经降低的噪声的亮度信号Y和色差信号Cb和Cr 转换回原G信号和色差信号(R—G)和(B — G)。
从G内插单元631输出的G信号(参见图16中的样式(1))和从色 差生成单元632输出的色差信号(R—G)(参见图16中的样式(4A)) 和(B — G)(参见图16中的样式(4B))被供应到Y/C转换单元6383。Y/C转换单元6383然后将这些信号转换为亮度信号Y (参见图16中的样 式(2))、色差信号Cb (参见图16中的样式(5A))和色差信号Cr (参见图16中的样式(5B))。亮度信号Y然后被供应到亮度噪声降低 处理单元6384。色差信号Cb和Cr然后被供应到色差噪声降低处理单元 6385。
亮度噪声降低处理单元6384对所供应的亮度信号Y执行噪声降低处 理。如在上述示例中那样，亮度噪声降低处理单元6384利用f滤波器来执 行噪声降低处理。可替代地，亮度噪声降低处理单元6384将Y信号分为 高频侧(高频成分)和低频侧(低频成分)。亮度噪声降低处理单元6384 然后对高频成分执行核化处理和限制处理，并且利用f滤波器对低频成分 执行处理。因此，亮度噪声降低处理单元6384对高频侧和低频侧执行不 同的噪声降低处理。经过了由亮度噪声降低处理单元6384执行的噪声降 低处理的亮度信号Y被供应到逆Y/C转换单元6386。
为了降低色差信号Cb的噪声，如果色差信号Cb的像素和周围像素之 间的色差信号Cr和亮度信号Y的每个的电平差都落入噪声阈值范围之 内，那么色差噪声降低处理单元6385选择色差信号Cb的该周围像素作为 平均化处理的对象。类似地，为了降低色差信号Cr的噪声，不仅利用色 差信号Cr而且利用色差信号Cb和亮度信号Y来应用s滤波器。经过了由 色差噪声降低处理单元6385执行的噪声降低处理的色差信号Cb和Cr被 供应到逆Y/C转换单元6386。
随后，逆Y/C转换单元6386从经过了噪声降低处理的、所供应的亮 度信号Y和色差信号Cb和Cr复原G信号、(R—G)信号和(B — G)信 号。逆Y/C转换单元6386然后输出所复原的信号。
对于要处理的标准清晰度(SD)图像信号和高清晰度(HD)图像信 号，由Y/C转换单元6383执行的转换处理是不同的。图17示出用于根据 图像信号的类型来执行Y/C转换处理的计算表达式。也就是，当处理SD 图像信号时，利用图17所示的计算表达式(1) 、 (2)和(3)来将G信 号、(R—G)信号和(B — G)信号转换为亮度信号Y和色差信号Cb和 Cr。不同地，当处理HD图像信号时，利用图17所示的计算表达式
36(4) 、 (5)禾fl (6)来将G信号、(R—G)信号和(B — G)信号转换 为亮度信号Y和色差信号Cb和Cr。
此外，如果使用图16所示的噪声降低处理单元638，那么如上所述， 在由色差噪声降低处理单元6385利用f滤波器所执行的色差噪声降低处理 中，获得所关注的像素和周围像素之间的亮度信号Y的电平差。因此，能 够在保持画面边缘的同时实现噪声降低。此外，因为能够对最终表示颜色 的色差信号Cb和Cr执行噪声降低，所以色噪声可以被有效地降低。
此外，如上所述，具有图16所示的配置的噪声降低处理单元638被 设置于去马赛克处理单元1063中。因此，噪声降低处理单元638并不在 很大程度上改变图像拾取装置100的配置并且不对控制单元110施加很大 的负担。
此外，在具有图16所示的配置的噪声降低处理单元638中，亮度噪 声降低处理单元6384还对亮度信号Y执行噪声降低处理。然而，可以不 执行对亮度信号Y的噪声降低处理。在Y/C转换完成之后，噪声降低处理 可以被执行。
从图7所示的噪声降低处理单元635和图14所示的噪声降低处理单元 638的配置可以看出，根据本实施例，确定在哪个位置执行色噪声降低处 理很重要。也就是，通过至少在色差内插处理完成之前的位置处(即，如 在图7中所描述的，紧接在色差被生成之后的位置，或者，如在图14中 所描述的，紧接在通过分别对具有R信号的像素和具有B信号的像素进行 内插而生成了 (R — G)信号和(B — G)信号之后的位置)从色差信号 (R—G)和(B —G)中去除噪声，能够有效地降低色噪声。
此外，虽然通过参考其中将s滤波器用于噪声降低处理的情况而描述 了前述实施例，但是本发明并不局限于此。例如，即使当小波变换或双边 滤波器被用于噪声降低处理中，色噪声也能够被有效地降低。
第二实施例
Clearvid排列的滤色器
虽然通过参考如下的情况描述了前述实施例，其中具有Bayer排列的颜色编码的滤色器被用于具有图l所示配置的图像拾取装置ioo中的图像 传感器件单元102的固态传感器件，但是本发明并不局限于此。例如，前 述实施例可以被应用于这样的情况其中使用另一种类型的排列(例如
Clearvid排列)的固态图像传感器件被采用。
图18A和图18B示出滤色器的颜色编码。如上所述或者如图18A所 示，Bayer排列包括这样的行每个都包括在水平方向上交替出现的R和 G (即，RGRG...),以及每个都包括在水平方向上交替出现的G和B (即，GBRB...)。这两种类型的行在垂直方向上交替排列，并且G像 素、B像素和R像素的个数比为2: 1: 1。
不同地，如图18B所示，与Bayer排列相比，像素区域增大从而使得 灵敏特性得到改善。此外，通过将排列中的每个像素旋转45度，能够实 现高清晰度图像所需的高分辨率。G像素、B像素和R像素的个数比例如
是6: 1: 1。本实施例可以被应用于甚至是这样的情况其中对输出自包
括具有Clearvid排列的滤色器的固态图像传感器件的图像数据进行处理。
在第二实施例中，如图18B所示，第二实施例被应用于包括如下的固 态图像传感器件的图像拾取装置的去马赛克处理单元，所述固态图像传感 器件使用具有Clearvid排列的滤色器。也就是，与第一实施例类似的，通 过参考具有如图1和图2所示的配置的图像拾取装置来给出对第二实施例 的描述。然而，在图像传感器件单元102中使用的固态图像传感器件包括 具有Clearvid排列的滤色器。
去马赛克处理单元1063的处理的第一示例性配置和概述(Clearvid排列)
图19是示出当如图1所示的图像拾取装置100的图像传感器件单元 102中所使用的固态图像传感器件使用具有Clearvid排列的滤色器时，如 图2所示的相机信号处理单元106的去马赛克处理单元1063的处理的第一 示例性配置和概述的框图。也就是，图19是示出处理从根据第二实施例 的Clearvid排列输出的图像信号的去马赛克处理单元1063的处理的第一示 例性配置和概述的框图。
从图19和图3的比较中可以看出，图19所示的去马赛克处理单元1063具有与图3所示的去马赛克处理单元1063类似的配置。去马赛克处 理单元1063包括G内插单元631、色差生成单元632、色差内插单元633 和G回加单元634。此外，去马赛克处理单元1063包括被置于图19中用 虚线围起的位置A处的，即紧接着G内插单元631和色差生成单元632的 下游处的噪声降低处理单元635。
如图19所示，因为具有Clearvid排列的图像数据被输入，所以这些处 理单元中要处理的信号的格式与在图3所示的去马赛克处理单元1063 'I' 所处理的那些信号格式略有不同。也就是，如图19中的样式(1)所示， 具有Clearvid排列的图像数据被供应到去马赛克处理单元1063的G内插 单元631和色差生成单元632。
如图19中的样式(2)所示，G内插单元631基于如图19中的样式 (1)所示的配置的图像数据的G信号，对图像的每个像素的G信号进行 内插。此外，如图19中的样式(3)所示，色差生成单元632针对每个具 有R信号的像素生成色差信号(R—G)，并且针对每个具有B信号的像 素生成色差信号(B — G)。
随后，如将在下文中详细描述的，被置于图19所示的位置A处的噪 声降低处理单元635从输出自G内插单元631的G信号以及输出自色差生 成单元632的(R—G)信号和(B — G)信号中降低噪声。在此之后，具 有经降低的噪声的(R—G)信号和(B — G)信号被供应到色差内插单元 633。
色差内插单元633基于被供应到色差内插单元633的、如图19中的样 式(3)所示的色差信号，生成图像的每个像素的(R—G)信号(参见图 19中的样式(4A))禾卩(B — G)信号(参见图19中的样式(4B))。 色差内插单元633然后将所生成的信号供应到G回加单元634。 G回加单 元634将从噪声降低处理单元635 (将在下文中进行描述)中输出的G信 号加回到(R—G)信号(参见图19中的样式(4A))禾口 (B —G)信号 (参见图19中的样式(4B))。因此，G回加单元634生成图像的每个 像素的R信号和B信号，并且随后输出R信号和B信号。以这种方式， 图19所示的去马赛克处理单元1063输出图像的每个像素的G信号(参见图19中的样式(2) ) 、 R信号(参见图19中的样式(5A))和B信号 (参见图19中的样式(5B))。
噪声降低处理单元635的示例性配置
图20是示出被置于图19所示的位置A处的噪声降低处理单元635的 示例性配置的框图。如图20所示，该示例中的噪声降低处理单元635包 括降低被混合到G信号中的噪声的G噪声降低处理单元6351和降低被混 合到色差信号中的噪声的色差噪声降低处理单元6352。也就是，图20所 示的噪声降低处理单元635具有与图7所示的噪声降低处理单元635的配 置类似的配置。然而，在色差噪声降低处理单元6352中处理的信号的格 式不同。
由G噪声降低处理单元6351执行的处理概述
通过G内插单元631的内插而生成的图像的每个像素的G信号(参见 图20中示出的样式(1))随后被供应到G噪声降低处理单元6351。 G噪 声降低处理单元6351利用上述的f滤波器来降低包含在G信号中的噪声 成分，并且输出具有经降低的噪声的G信号(参见图20中示出的样式 (2))。
可替代地，为了降低噪声，G噪声降低处理单元6351可以将G信号 分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元 6351然后可以对高频成分执行核化处理和限制处理，并且利用s滤波器对 低频成分执行处理。因此，G噪声降低处理单元6351可以对高频侧和低频 侧执行不同的噪声降低处理。
通过使用该替代方法，即使当由于低亮度致使画面成分的电平接近噪 声成分的电平时，也可以在保持由经处理的图像信号所形成的画面的特征 的同时，执行噪声抑制(噪声降低)而不会使产生孤立点。
与上述示例类似的，在该示例中的去马赛克处理单元1063中，取代 在去马赛克处理单元1063中执行噪声降低处理，可以在执行去马赛克处 理之前执行对G信号的噪声降低处理。可替代地，可以对经过了由图2所示的Y/C转换单元1066所执行的Y/C转换的Y信号(亮度信号)执行噪 声降低处理。也就是，图7所示的G噪声降低处理单元6351不一定被设 置用于噪声降低处理单元635。为了有效地降低在图像信号中所包含的色 噪声，存在色差噪声降低处理单元6352就足够了。在下文中将更详细地 描述色差噪声降低处理单元6352。
由色差噪声降低处理单元6352执行的处理概述
由色差生成单元632生成的色差信号(参见图20中的样式(3))被 供应到色差噪声降低处理单元6352。也就是，如图20中的样式(3)所 示，色差生成单元632生成具有R信号的像素的(R—G)信号和具有B 信号的像素的(B—G)信号，并且将所生成的信号供应到噪声降低处理单 元635的色差噪声降低处理单元6352。随后，色差噪声降低处理单元 6352针对相同颜色，利用f滤波器来去除包含在(R — G)信号和(B — G)信号中的噪声成分(色噪声成分)。
然而，如果仅基于色差信号(R—G)和(B — G)来应用s滤波器， 那么颜色蔓延可能出现在画面的边缘部分中或者颜色可能在高频部分中缺
因此，在色差噪声降低处理单元6352中，当应用s滤波器时，判断所 关注的像素和周围像素之间的电平差是否在噪声阈值范围之内。此外，对 于色差信号(R—G)和(B — G)，从其获得色差信号的周围像素和所关 注的像素之间的G信号的电平差被获得。如果G信号的电平差落入噪声阈 值范围之内，那么该周围像素变为色差信号的平均化处理的对象。
以这种方式，通过当利用f滤波器从色差信号中去除色噪声分量时进 一步使用G信号的电平，色噪声成分能够被精确去除，并且图像的适当颜 色能够被再现。
去马赛克处理单元1063的处理的第二示例性配置和概述(Clearvid排列)
图21是示出当在图1所示的图像拾取装置100的图像传感器件单元 102中所使用的固态图像传感器件使用具有Clearvid排列的滤色器时，图2
41所示的相机信号处理单元106的去马赛克处理单元1063的处理的第二示
例性配置和概述的框图。也就是，图21是示出处理从根据第二实施例的 Clearvid排列输出的图像信号的去马赛克处理单元1063的处理的第二示例 性配置和概述的框图。
如图21所示，该示例中的去马赛克处理单元1063包括第- 色差内插 单元636、第二色差内插单元637和被置于第一色差内插单元636和第二 色差内插单元637之间的噪声降低处理单元638。其他配置与图19所示的 去马赛克处理单元1063的配置类似。为了简便起见，使用以上描述图19 中的第一去马赛克处理单元1063时所使用的相同编号来描述图21中示出 的第二去马赛克处理单元，并且因此，不再重复对它们的详细描述。
此外，在图21所示的去马赛克处理单元1063中，去马赛克处理单元 1063的色差内插单元633的功能被一分为二。也就是，由第一色差内插单 元636和第二色差内插单元637来实现色差内插功能。如图21中的样式 (3)所示出的，色差生成单元632生成并输出具有R信号的像素的(R— G)信号以及具有B信号的像素的(B — G)信号。
由色差生成单元632生成的色差信号(R—G)和(B — G)被供应到 第一色差内插单元636。如图21中的样式(4A)和(4B)所示，通过利 用周围的(B — G)信号对甚至是针对其生成了 (R—G)信号的像素进行 内插，来生成(B — G)信号。此外，通过利用周围的(R—G)信号对甚 至是针对其生成了 (B —G)信号的像素进行内插，来生成(R — G)信 号。
随后，第二色差内插单元637从具有色差信号(即，通过第一色差内 插单元636的内插而生成的色差信号(参见图21中的样式(4A)和 (4B)))的周围像素，对不具有色差信号的像素的色差信号(R—G) (参见图21中的样式(5A))和色差信号(B — G)(参见图21中的样 式(5B))进行内插。由G回加单元634执行的后续处理与在图19中所 描述的相同。
在具有其中色差内插单元被分为第一色差内插单元636和第二色差内 插单元637的配置的去马赛克处理单元1063中，噪声降低处理单元被置于第一色差内插单元636和第二色差内插单元637之间。
噪声降低处理单元638的示例性配置
图22是示出被置于图21所示的位置B处的噪声降低处理单元638的 示例性配置的框图。与图20所示的噪声降低处理单元635类似的，噪声 降低处理单元638包括G噪声降低处理单元6381和色差噪声降低处理单 元6382。
由G噪声降低处理单元6381执行的处理概述
G噪声降低处理单元6381处理G信号，该G信号的形式与图20所示 的G噪声降低处理单元6351中的相同。因此，执行与图20所示的G噪声 降低处理单元6351的处理类似的处理。也就是，G噪声降低处理单元 6381利用s滤波器来对G信号执行噪声降低处理。可替代地，G噪声降低 处理单元6381将G信号分为高频侧(高频成分)和低频侧(低频成 分)。G噪声降低处理单元6381然后对高频成分执行核化处理和限制处 理，并且利用s滤波器来对低频成分执行处理。因此，G噪声降低处理单 元6381对高频侧和低频侧执行不同的噪声降低处理。
由色差噪声降低处理单元6382执行的处理概述
与图20所示的噪声降低处理单元635的色差噪声降低处理单元6352 类似的，色差噪声降低处理单元6382利用色差信号来执行色噪声降低处 理。然而，如下所述，该处理与由图20所示的色差噪声降低处理单元 6352所执行的处理略微不同。
也就是，在图22所示的噪声降低处理单元638的色差噪声降低处理 单元6382中，当降低(R—G)信号的噪声时，除了判断所关注的像素T 和周围像素之间的(R—G)信号的电平差是否落入噪声阈值范围之内以 外，色差噪声降低处理单元6382还判断与(R—G)信号位于相同位置处 的周围像素和所关注的像素T之间的(B — G)信号的电平差是否落入噪 声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低处理单元6382选择(R—G)信号的该周围像素作为平均化处理的对象。
类似的，当降低(B — G)信号的噪声时，除了判断所关注的像素T 和周围像素之间的(B — G)信号的电平差是否落入噪声阈值范围之内以 外，色差噪声降低处理单元6382还判断与(B —G)信号位于相同位置处 的周围像素和所关注的像素T之间的(R—G)信号的电平差是否落入噪 声阈值范围之内。如果电平差落入噪声阈值范围之内，那么色差噪声降低 处理单元6382选择(B —G)信号的该周围像素作为平均化处理的对象。
以这种方式，如图22中的样式(4A)禾卩(4B)所示出的，可以从通 过图22中的样式(3A)和(3B)而示出的色差信号获得具有经降低的色 噪声的色差信号。
为了通过考虑画面的边缘部分来更精确地降低噪声，如图22中的虚 线箭头所示出的，使用G信号的信号电平。
也就是，为了降低(R—G)信号的噪声，当(R—G)信号的所关注 的像素T和周围像素之间的(B — G)信号的电平差落入噪声阈值范围之 内并且(R—G)信号的所关注的像素T和周围像素之间的G信号的电平 差落入噪声阈值范围之内时，选择(R—G)信号的该周围信号作为平均化 处理的对象。类似地，为了降低(B — G)信号的噪声，通过除(B — G) 信号之外还使用(R—G)信号和G信号来应用f滤波器。
以这种方式，如针对图7所示的噪声降低处理单元635所描述的那 样，在处理画面的边缘部分时，具有差别很大的颜色的不必要像素的信号 成分可以从平滑处理的对象中被去除，因此，可以防止颜色蔓延和颜色缺 失。
相机信号处理单元的其他配置
根据上述实施例的图像拾取装置100的相机信号处理单元106具有如 图2所示的配置。相机信号处理单元106的去马赛克处理单元1063降低色 噪声。然而，除由去马赛克处理单元1063所执行的色噪声降低处理之 外，还可以在去马赛克处理单元1063的上游处执行另一噪声降低处理。
图23是相机信号处理单元106的另一示例的框图。使用以上描述图2
44中的相机信号处理单元106时所使用的相同编号来描述图23，并且因此，
不再重复对它们的详细描述。如图23所示，除去马赛克处理中的噪声降 低处理之外，如噪声降低处理单元1068所示，还可以将噪声降低处理添 加到去马赛克处理的上游处的适当点。以这种方式，噪声降低处理可以与 由去马赛克处理单元1063所执行的色噪声降低处理一起被执行。在那 时，因为在去马赛克处理单元1063中通过使用相关关系的滤波处理处理 了G信号，所以很难从画面信号成分中分离出噪声信号成分。因此，噪声 降低处理单元1068可以在不对R和B信号执行任何处理的同时，或者在 对R和B信号执行轻微的噪声降低处理的同时，仅降低原始状态的G信 号的噪声。
第三实施例
使用色比信号(color ratio signal)
虽然已经通过参考通过对色差信号(R—G)禾n (B — G)执行噪声降 低处理来降低色噪声的情况描述了前述实施例，其中，但是可以利用色比 信号代替色差信号来执行类似处理。因此，在以下描述的第三实施例中， 使用色比信号来代替色差信号。此外，当第三实施例被应用于具有在图1 和图2中所描述的配置的图像拾取装置时，给出对第三实施例的描述。
去马赛克处理单元1063的处理的第一示例性配置和概述(使用色比信 号)
图24是示出当使用色比信号代替色差信号时，图2所示的相机信号 处理单元106的去马赛克处理单元1063的处理的第一示例性配置和概述 的框图。也就是，图24是示出根据第三实施例的去马赛克处理单元1063 的处理的第一示例性配置和概述的框图。通过参考其中处理Bayer排列的 图像数据的情况来给出对第三实施例的描述。
如图24所示，去马赛克处理单元1063包括G内插单元6301、色比生 成单元6302、色比内插单元6303和G回乘(multiply-back)单元6304。 此外，去马赛克处理单元1063包括被置于图24中用虚线围起的位置A处的，即紧接着G内插单元6301和色比生成单元6302的下游处的噪声降低 处理单元6305。
如图24中的样式(1)所示，Bayer排列的图像数据被供应到该示例 中的去马赛克处理单元1063的G内插单元6301和色比生成单元6302。随 后，如图24中的样式(2)所示，G内插单元6301基于如图24中的样式 (1)所示的配置的图像数据的G信号来内插图像的每个像素的G信号。
此外，如图24中的样式(3)所示，色比生成单元6302生成R/G信 号(色比信号)，该R/G信号表示如图24中的样式(1)所示的配置的图 像数据的、R信号的电平与具有R信号的像素的G信号的电平的比率。此 外，色比生成单元6302生成B/G信号(色比信号)，该B/G信号表示B 信号的电平与具有B信号的像素的G信号的电平的比率。
随后，被置于图24中的位置A处的噪声降低处理单元6305对从G内 插单元6301输出的G信号以及从色比生成单元6302输出的R/G信号和 B/G信号执行噪声降低处理，如将在下文中进行描述的。在此之后，包括 经降低的噪声的R/G信号和B/G信号被供应到色比内插单元6303。
色比内插单元6303基于被供应到色比内插单元6303的、如图24中的 样式(3)所示的色比信号，生成图像的每个像素的R/G信号(参见图24 中的样式(4A))和B/G信号(参见图24中的样式(4B))。色差内插 单元6303然后将所生成的信号供应到G回乘单元6304。 G回乘单元6304 将从噪声降低处理单元6305 (将在下文中进行描述)中输出的G信号乘 回到从色比内插单元6303输出的R/G信号(参见图24中的样式(4A)) 和B/G信号(参见图24中的样式(4B))。这样，G回乘单元6304生成 图像的每个像素的R信号和B信号，并且随后输出R信号和B信号。以 这种方式，图24所示的去马赛克处理单元1063输出图像的每个像素的G 信号(参见图24中的样式(2) ) 、 R信号(参见图24中的样式 (5A))和B信号(参见图19中的样式(5B))。
噪声降低处理单元6305的示例性配置
图25是示出被置于图24所示的位置A处的噪声降低处理单元6305的示例性配置的框图。如图25所示，该示例中的噪声降低处理单元6305 包括降低被混合到G信号中的噪声的G噪声降低处理单元6305A和降低 被混合到色比信号中的噪声的色比噪声降低处理单元6305B。
由G噪声降低处理单元6305A执行的处理概述
通过G内插单元6301的内插而生成的图像的每个像素的G信号(参 见图25中示出的样式(1))随后被供应到G噪声降低处理单元6305A。 G噪声降低处理单元6305A利用上述的f滤波器来降低包含在G信号中的 噪声成分，并且输出具有经降低的噪声的G信号(参见图25中示出的样 式(2))。
可替代地，为了降低噪声，G噪声降低处理单元6305A可以将G信号 分为高频侧(高频成分)和低频侧(低频成分)。G噪声降低处理单元 6305A然后可以对高频成分执行核化处理和限制处理，并且利用f滤波器 对低频成分执行处理。因此，G噪声降低处理单元6305A可以对高频侧和 低频侧执行不同的噪声降低处理。
通过使用该替代方法，即使当由于低亮度致使画面成分的电平接近噪 声成分的电平时，也可以在保持由经处理的图像信号所形成的画面的特征 的同时，执行噪声抑制(噪声降低)而不会使产生孤立点。
与上述示例类似的，在该示例中的去马赛克处理单元1063中，取代 在去马赛克处理单元1063中执行噪声降低处理，可以在执行去马赛克处 理之前执行对G信号的噪声降低处理。可替代地，可以对经过了由图2所 示的Y/C转换单元1066所执行的Y/C转换的Y信号(亮度信号)执行噪 声降低处理。也就是，图25所示的G噪声降低处理单元6305A不一定被 设置用于噪声降低处理单元6305。为了有效地降低在图像信号中所包含的 色噪声，存在色比噪声降低处理单元6305B就足够。在下文中将更详细地 描述色比噪声降低处理单元6305B。
由色比噪声降低处理单元6305B执行的处理概述
由色比生成单元6302生成的色比信号(参见图25中的样式(3))被供应到色比噪声降低处理单元6305B。也就是，如图25中的样式(3) 所示，色比生成单元6302生成具有R信号的像素的R/G信号和具有B信 号的像素的B/G信号，并且将所生成的信号供应到噪声降低处理单元6305 的色比噪声降低处理单元6305B。随后，色比噪声降低处理单元6305B针 对相同颜色，利用f滤波器来去除包含在R/G信号和B/G信号中的噪声成 分(色噪声成分)。
然而，如果仅基于色比信号R7G和B/G来应用f滤波器，那么颜色蔓 延可能出现在画面的边缘部分中或者颜色可能在高频部分中缺失。
因此，在色比噪声降低处理单元6305B中，当应用f滤波器时，判断 所关注的像素和周围像素之间的电平差是否落入色比信号R/G和B/G的噪 声阈值范围之内。此外，在G信号方面，从其获得色比信号的周围像素和 所关注的像素之间的G信号的电平差被获得。如果G信号的电平差落入噪 声阈值范围之内，那么该周围像素变为色比信号的平均化处理的对象。
以这种方式，通过当利用s滤波器从色比信号中去除色噪声分量时进 一步使用G信号的电平，色噪声成分能够被精确去除，并且图像的适当颜 色能够被再现。
去马赛克处理单元1063的处理的第二示例性配置和概述(使用色比信 号)
图26是示出当使用色比信号代替色差信号时，图2所示的相机信号 处理单元106的去马赛克处理单元1063的处理的第二示例性配置和概述 的框图。也就是，图26是示出根据第三实施例的去马赛克处理单元1063 的处理的第二示例性配置和概述的框图。在此，通过参考其中处理具有 Bayer排列的图像数据的情况来给出描述。
如图26所示，该示例中的去马赛克处理单元1063包括第一色比内插 单元6306、第二色比内插单元6307和被置于第一色比内插单元6306和第 二色比内插单元6307之间的噪声降低处理单元6308。其他配置与图24所 示的去马赛克处理单元1063的配置类似。为了简便起见，使用以上描述 图24中的第一去马赛克处理单元1063时所使用的相同编号来描述图26中示出的第二去马赛克处理单元，并且因此，不再重复对它们的详细描述。
此外，在图26所示的去马赛克处理单元1063中，图24所示的去马赛 克处理单元1063的色比内插单元6303的功能被一分为二。也就是，山第 一色比内插单元6306和第二色比内插单元6307来实现色比内插功能。如 图26中的样式(3)所示出的，色比生成单元6302生成并输出具有R信 号的像素的R/G信号以及具有B信号的像素的B/G信号。
由色比生成单元6302生成的色比信号R/G和B/G被供应到第一色比 内插单元6306。如图26中的样式(4A)禾卩(4B)所示，通过利用周围的 B/G信号对甚至是针对其生成了 R/G信号的像素进行内插，来生成B/G信 号。此外，通过利用周围的R/G信号对甚至是针对其生成了 B/G信号的像 素进行内插，来生成R/G信号。
随后，第二色比内插单元6307从具有色比信号的周围像素，也就 是，具有通过第一色比内插单元6306的内插而生成的色比信号(参见图 26中的样式(4A)和(4B))的周围像素，对不具有色比信号的像素的 色比信号R/G (参见图26中的样式(5A))和色比信号B/G (参见图26 中的样式(5B))进行内插。由G回加单元634执行的后续处理与在图 24中所描述的相同。
在具有其中色比内插单元被分为第一色比内插单元6306和第二色比 内插单元6307的配置的去马赛克处理单元1063中，噪声降低处理单元被 置于第一色比内插单元6306和第二色比内插单元6307之间。
噪声降低处理单元6308的示例性配置
图27是示出被置于图26所示的位置B处的噪声降低处理单元6308 的示例性配置的框图。与图25所示的噪声降低处理单元6305类似的，噪 声降低处理单元6308包括G噪声降低处理单元6308A和色比噪声降低处 理单元6308B。
由G噪声降低处理单元6308A执行的处理概述
G噪声降低处理单元6308A处理G信号，该G信号的形式与图25所
49示的G噪声降低处理单元6305A中的相同。因此，执行与图25所示的G 噪声降低处理单元6305A的处理类似的处理。也就是，G噪声降低处理单 元6308A利用圹滤波器来对G信号执行噪声降低处理。可替代地，G噪声 降低处理单元6308A将G信号分为高频侧(高频成分)和低频侧(低频成 分)。G噪声降低处理单元6308A然后对高频成分执行核化处理和限制处 理，并且利用s滤波器来对低频成分执行处理。因此，G噪声降低处理单 元6308A对高频侧和低频侧执行不同的噪声降低处理。
由色比噪声降低处理单元6308B执行的处理概述
与图25所示的噪声降低处理单元6305的色比噪声降低处理单元 6305B类似的，色比噪声降低处理单元6308B利用色比信号来执行色噪声 降低处理。然而，如下所述，该处理与由图25所示的色比噪声降低处理 单元6305B所执行的处理略微不同。
也就是，在图27所示的噪声降低处理单元6308的色比噪声降低处理 单元6308B中，当降低R/G信号的噪声时，除了判断所关注的像素T和周 围像素之间的R/G信号的电平差是否落入噪声阈值范围之内以外，色比噪 声降低处理单元6308B还判断与R/G信号位于相同位置处的周围像素和所 关注的像素T之间的B/G信号的电平差是否落入噪声阈值范围之内。如果 电平差落入噪声阈值范围之内，那么色比噪声降低处理单元6308B选择 R/G信号的该周围像素作为平均化处理的对象。
类似的，当降低B/G信号的噪声时，除了判断所关注的像素T和周围 像素之间的B/G信号的电平差是否落入噪声阈值范围之内以外，色比噪声 降低处理单元6308B还判断与B/G信号位于相同位置处的周围像素和所关 注的像素T之间的R/G信号的电平差是否落入噪声阈值范围之内。如果电 平差落入噪声阈值范围之内，那么色比噪声降低处理单元6308B选择B/G 信号的该周围像素作为平均化处理的对象。
以这种方式，如图27中的样式(4A)和(4B)所示出的，可以从通 过图27中的样式(3A)和(3B)而示出的色比信号获得具有经降低的色 噪声的色比信号。为了通过考虑画面的边缘部分来更精确地降低噪声，如图27中的虛 线箭头所示出的，使用G信号的信号电平。
也就是，为了降低R/G信号的噪声，当R/G信号的所关注的像素T和 周围像素之间的B/G信号的电平差落入噪声阈值范围之内并且R/G信号的 所关注的像素T和周围像素之间的G信号的电平差落入噪声阈值范围之内 时，选择R/G信号的该周围信号作为平均化处理的对象。类似地，为了降 低B/G信号的噪声，通过除使用B/G信号之外还使用R/G信号和G信号 来应用f滤波器。
以这种方式，如针对图7所示的噪声降低处理单元635所描述的那 样，在处理画面的边缘部分时，具有差别很大的颜色的不必要像素的信号 成分可以从平滑处理的对象中被去除，因此，可以防止颜色蔓延和颜色缺 失。此外，虽然通过参考其中处理具有Bayer排列的图像数据的情况描述 了第三实施例，但是本发明并不局限于此。例如，如在第三实施例中，可 以在处理具有Clearvid排列的图像数据时使用色比信号。
由去马赛克处理单元所执行的处理综述
从上述第一到第三实施例中可以看出，在去马赛克处理单元1063中 能够有效地降低色噪声。在去马赛克处理单元1063中可以采用两种方 法。在第一种方法中，如在图6、图9和图24中所描述的，在紧接着诸如 色差信号或色比信号之类的颜色相关信号被生成的位置的下游处，在色差 信号或色比信号中所包含的色噪声被降低。
在第二种方法中，如在图13、图21和图26中所描述的，当通过利用 诸如色差信号或色比信号之类的、所生成的与颜色相关的信号对图像的每 个像素进行内插，来生成色差信号或色比信号时，设置了第一内插处理和 在第一内插处理完成之后执行的第二内插处理。在第一内插处理中，对于 针对其生成了色差信号或色比信号的像素，通过内插来生成不同颜色的色 差信号或色比信号。在第二内插处理中，对于图像的每个像素，通过内插 来生成不同颜色的色差信号或色比信号。因此，从经过了第一内插处理的 色差信号或色比信号中降低色噪声。在下文中，通过参考流程图来描述使用第一方法的去马赛克处理和使 用第二方法的去马赛克处理。
根据第一方法的去马赛克处理
图28是示出使用上述的第一方法的去马赛克处理的流程图。由在图
6、图19和图24中示出的去马赛克处理单元来执行图28所示的流程图的
处理。如上所述，两种类型的信号可以被用于降低色噪声色差信号和色
比信号。主要通过参考色差信号来给出以下的描述。然而，该描述可以被 类似地应用于其中使用色比信号的情况。
当执行去马赛克处理时，首先从具有原始数据格式的输入图像数据生
成作为颜色相关信号的色差信号(色比信号)(步骤S101)。随后，诸如 f滤波器之类的预定技术被应用于所生成的色差信号(色比信号)以使得 色噪声被降低(步骤S102)。
在此之后，利用具有经降低的噪声的色差信号(色比信号)来执行内 插处理。这样，通过对图像的每个像素进行内插来生成色差信号(色比信 号)(步骤S103)。随后，在考虑G信号的同时，针对在步骤S103中通 过对图像的每个像素进行内插而生成色差信号(色比信号)，生成R信号 和B信号(步骤S104)。
也就是，当处理色差信号((R—G)信号和(B — G)信号)时，G 信号在步骤S104被回加。不同地，当处理色比信号(R/G信号和B/G信 号)时，G信号在步骤S104被回乘。在此之后，通过输出针对图像的每 个像素而生成的三原色信号R、 G和B (步骤S105)，去马赛克处理完 成。
虽然未在图28中示出，但是通过在步骤S101中对图像的每个像素进 行内插而生成了G信号。如上所述，对于G信号，噪声降低处理可以执行 或者可以不执行。
如上所述，如果紧接在色差信号或色比信号被生成之后对色差信号或 色比信号执行色噪声降低处理，那么由于尚未执行内插处理，所以色差信 号或色比信号不受内插处理影响。因此，色噪声可以被适当地降低。此外，可以通过根据图28的流程图生成程序并且使CPU执行所生成 的程序，来实现根据本发明实施例的去马赛克处理功能。也就是，也可以 通过软件来实现根据本发明实施例的去马赛克处理。
根据第二方法的去马赛克处理
图29是示出使用上述的第二方法的去马赛克处理的流程图。由在图 13、图21和图26中示出的去马赛克处理单元来执行图29所示的流程图的 处理。与在第一方法中相同的，在第二方法中，两种类型的信号可以被用
于降低色噪声色差信号和色比信号。主要通过参考色差信号来给出以下
的描述。然而，该描述可以被类似地应用于其中使用色比信号的情况。 当执行去马赛克处理时，首先从具有原始数据格式的输入图像数据生
成作为颜色相关信号的色差信号(色比信号)(步骤S201)。随后，对于
每个具有所生成的色差信号(色比信号)的像素，通过内插来生成基—r-不
同颜色的色差信号(色比信号)(步骤S202)。
也就是，通过在步骤S201中所执行的处理，针对具有R信号的像素 生成了 (R—G)信号(R/G信号)，并且针对具有B信号的像素生成了 (B — G)信号(B/G信号)。因此，在步骤S202所执行的处理中，针对 具有所生成的(R—G)信号(所生成的R/G信号)的像素来生成(B — G)信号(B/G信号)，并且针对具有所生成的(B — G)信号(所生成的 B/G信号)的像素来生成(R—G)信号(R/G信号)。该处理对应于对色 差信号(色比信号)的第一内插处理。
在此之后，在步骤S203中，对经过了第一内插处理的色差信号(色 比信号)执行色噪声降低处理，该第一内插处理在步骤S202中利用预定 的方法(例如，f滤波器)被执行。
随后，通过利用经过了色噪声降低处理的色差信号(色比信号)来执 行内插处理，通过对图像的每个像素进行内插来生成色差信号(色比信 号)(步骤S204)。在步骤S204中执行的对色差信号(色比信号)的内 插处理对应于第二内插处理。
在此之后，在考虑相同像素的G信号的同时，针对通过步骤S204中的对图像的每个像素的内插而生成的色差信号(色比信号)，生成R信号
和B信号(步骤S205)。也就是，当处理色差信号((R—G)信号和 (B — G)信号)时，G信号在步骤S205被回加。不同地，当处理色比信 号(R/G信号和B/G信号)时，G信号在步骤S205被回乘。在此之后， 通过输出针对图像的每个像素而生成的三原色信号R、 G和B (步骤 S206)，去马赛克处理完成。
虽然未在图29中示出，但是通过在步骤S201中对图像的每个像素进 行内插而生成了G信号。如上所述，对于G信号，噪声降低处理可以执行 或者可以不执行。
如上所述，如果在作为颜色相关信号的色差信号或色比信号被生成之 后对色差信号或色比信号执行色噪声降低处理，那么通过使用(R—G)信 号(R/G信号)和(B — G)信号(B/G信号)，色噪声可以被精确地降 低。
此外，可以通过根据图29的流程图生成程序并且使CPU执行所生成 的程序，来实现根据本发明实施例的去马赛克处理功能。也就是，也可以 通过软件来实现根据本发明实施例的去马赛克处理。
其他
在根据第一实施例的噪声降低处理单元638的可替代配置中，如图16 所示，G信号和色差信号(R—G)和(B — G)被转换为亮度信号Y和色 差信号Cr和Cb。在此之后，从亮度信号Y和色差信号Cr和Cb中降低色 噪声。随后，具有经降低的色噪声的亮度信号Y和色差信号O和Cb被转 换为G信号和色差信号(R—G)和(B—G)。然而，该处理不仅可以由 根据第一实施例的噪声降低处理单元638来执行，而且可以由根据第一实 施例的噪声降低处理单元635来执行。此外，该处理可以由根据第二实施 例的噪声降低处理单元635和638以及根据第三实施例的噪声降低处理单 元6305和6308来执行。
此外，如上所述，本发明的上述实施例可应用于处理通过单板固态图 像传感器件而输入的图像数据的各种图像拾取装置，例如安装在移动电子装置(例如，数字视频相机、数字静态相机和手机)中的相机模块、图像 读取器和扫描器。此外，本发明的上述实施例可应用于处理通过单板固态 图像传感器件而输入并存储的原始数据的各种图像拾取装置。
此外，当图2中用双线示出的去马赛克处理单元1063被内建到集成
电路(IC)中时，本发明的上述实施例可应用于去马赛克处理单元1063。 此外，当相机信号处理单元106被内建到电路块中时，本发明的上述实施 例可应用于相机信号处理单元106的去马赛克处理单元。
以下讨论权利要求的特征与本发明的上述实施例中所公开的具体元件 之间的对应关系。权利要求中定义的图像传感器件对应于被安装在图1所 示的图像传感器件单元102中的固态图像传感器件单元。权利要求中定义 的去马赛克处理装置对应于在图2、 3、 6、 7、 12、 13、 19、 21、 24和26 中所示出的去马赛克处理单元之一。
权利要求中定义的去马赛克处理装置的生成单元对应于每个示例中的 去马赛克处理单元1063的色差生成单元632或色比生成单元6302。权利 要求中定义的噪声降低单元对应于每个示例中的去马赛克处理单元1063 的噪声降低处理单元635、 638、 6305或6308。
权利要求中定义的目标颜色信号对应于R信号或B信号。权利要求中 定义的预定的其他颜色信号对应于G信号。权利要求中定义的第一内插单 元对应于第一色差内插单元636或第一色比内插单元6306。权利要求中定 义的第二内插单元对应于第二色差内插单元637或第二色比内插单元 6307。
在权利要求中使用的术语"颜色相关信号"总的指代色差信号或色比 信号。权利要求中定义的转换单元对应于Y/C转换单元6383。权利要求中 定义的逆转换单元对应于逆Y/C转换单元6386。
虽然通过参考三原色信号R (红)、G (绿)和B (蓝)描述了前述 实施例，但是本发明并不局限于此。近些年来，开发了除使用三原色的信 号之外还使用袓母绿(emerald)色的信号的图像拾取装置。本发明的上述 实施例也可应用于这样的图像拾取装置。
也就是，可以通过利用至少一个目标颜色信号和预定的其他颜色信号
55来执行计算，并且对将目标颜色信号与预定的其他颜色信号关联起来的诸 如色差信号或色比信号之类的颜色相关信号执行色噪声降低处理，来实现 本发明的实施例。
本领域中的技术人员应理解，根据设计需求和其他因素可以想到各种 修改、组合、子组合和变更，只要它们落入随附权利要求书或其等价物的 范围之内。
本发明包含与2007年12月21日递交到日本专利局的日本专利申请 JP 2007-330509相关的主题，该日本专利申请的全部内容通过引用被结合 于此。
权利要求
1. 一种图像拾取装置，包括图像传感器件，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号；以及去马赛克处理装置，用于从接收自所述图像传感器件的图像信号，针对图像的每个像素，生成不同颜色的颜色信号；其中，所述去马赛克处理装置包括生成单元和噪声降低单元，所述生成单元利用目标颜色信号和预定的其他颜色信号来执行计算，以针对所述目标颜色信号的像素，生成将所述目标颜色信号与所述预定的其他颜色信号关联起来的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，并且所述噪声降低单元对由所述生成单元所生成的颜色相关信号执行噪声降低处理。
2. 如权利要求1所述的图像拾取装置，其中，定义了多个类型的目标颜色信号，并且其中，所述去马赛克处理装置包括第一内插单元和第二内插单元，并且其中，所述第一内插单元使用从所述生成单元输出的颜色相关信号，针对每个类型的目标颜色信号的每个像素，生成使用不同类型的目标颜色信号的颜色相关信号，并且将所生成的颜色相关信号与已经从所述生成单元输出的颜色相关信号一起输出，并且所述第二内插单元针对所述图像的每个像素，利用从所述第一内插单元输出的多个颜色相关信号，生成多个类型的颜色相关信号，并且其中，所述噪声降低单元被置于所述第一内插单元和所述第二内插单元之间，并且所述噪声降低单元对从所述第一内插单元输出的颜色相关信号执行噪声降低处理，并将所述颜色相关信号供应到所述第二内插单元。
3. 如权利要求1或2所述的图像拾取装置，其中，所述噪声降低单元在考虑所述预定的其他颜色信号的情况下对所述颜色相关信号执行噪声降低处理。
4. 如权利要求1或2所述的图像拾取装置，其中，所述噪声降低单元包括用于将所述颜色相关信号转换为具有不同格式的其他颜色相关信号的转换装置，和用于将所述其他颜色相关信号转换为具有原格式的颜色相关信号的逆转换装置，并且其中，所述噪声降低单元对经所述转换装置转换的所述其他颜色相关信号执行噪声降低处理，利用所述逆转换装置将所述颜色相关信号转换为具有原格式的颜色相关信号，并且输出所述颜色相关信号。
5. 如权利要求l或2所述的图像拾取装置，其中，所述颜色相关信号是由所述目标颜色信号的水平与所述其他颜色信号的水平之间的差表示的色差信号。
6. 如权利要求1或2所述的图像拾取装置，其中，所述颜色相关信号是由所述目标颜色信号的水平与所述其他颜色信号的水平的比率表示的色比信号。
7. —种用于去马赛克处理中的降低色噪声的方法，所述去马赛克处理对从图像传感器件接收的图像信号执行，以针对图像的每个像素，生成颜色的颜色信号，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号，所述方法包括以下步骤(a) 利用目标颜色信号和预定的其他颜色信号来执行计算，以针对所述目标颜色信号的像素，生成将所述目标颜色信号与所述预定的其他颜色信号关联起来的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，以及(b) 对在步骤(a)中所生成的颜色相关信号执行噪声降低处理。
8. 如权利要求7所述的方法，其中，定义了多个类型的目标颜色信号，并且其中，所述方法还包括(c)对每个类型的目标颜色信号的每个像素，生成使用不同类型的目标颜色信号的颜色相关信号，以将所生成的颜色相关信号与已经在步骤(a)中输出的颜色相关信号一起输出，以及(d)针对所述图像的每个像素，利用在步骤(c)中输出的多个颜色相关信号，生成多个类型的颜色相关信号，并且其中，步骤(b)在步骤(c)和步骤(d)之间执行，并且对在步骤(c)中输出的颜色相关信号执行噪声降低处理。
9. 一种由被包括在图像拾取装置中的计算机执行的色噪声降低程序，所述图像拾取装置包括图像传感器件，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号，所述图像拾取装置对从所述图像传感器件接收的图像信号执行去马赛克处理以生成所述图像的每个像素的不同颜色的颜色信号，所述程序包括用于使所述计算机执行以下步骤的程序代码(e) 利用目标颜色信号和预定的其他颜色信号来执行计算，以针对所述目标颜色信号的像素，生成将所述目标颜色信号与所述预定的其他颜色信号关联起来的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，以及(f) 对在步骤(e)中所生成的颜色相关信号执行噪声降低处理。
10. 如权利要求9所述的色噪声降低程序，其中，定义了多个类型的目标颜色信号，并且所述程序还所述计算机执行(g)对每个类型的目标颜色信号的每个像素，生成使用不同类型的目标颜色信号的颜色相关信号，以将所生成的颜色相关信号与已经在步骤(e)中输出的颜色相关信号一起输出，以及(h)针对所述图像的每个像素，利用在步骤(g)中输出的多个颜色相关信号，生成多个类型的颜色相关信号，并且其中，步骤(f)在步骤(g)和步骤(h)之间执行，并且对在步骤(g)中输出的颜色相关信号执行噪声降低处理。
11. 一种图像拾取装置，包括图像传感器件，所述图像传感器件包括具有按预定顺序排列的多个不同颜色的像素的滤色器，所述图像传感器件接收被拍体的图像并输出包括所述多个不同颜色的颜色信号的图像信号；以及去马赛克处理单元，被配置为从接收自所述图像传感器件的图像信号生成所述图像的每个像素的不同颜色的颜色信号；其中，所述去马赛克处理单元包括生成单元和噪声降低单元，所述生成单元利用目标颜色信号和预定的另外的颜色信号来执行计算，以生成用于所述目标颜色信号的像素的、将所述目标颜色信号与所述预定的另外的颜色信号相关联的颜色相关信号，其中所述目标颜色信号表示被包括在接收自所述图像传感器件的图像信号中的预定的目标颜色信号，并且所述噪声降低单元对由所述生成单元所生成的颜色相关信号执行噪声降低处理。
全文摘要
本发明提供一种图像拾取装置、色噪声降低方法和色噪声降低程序。图像拾取装置包括图像传感器和去马赛克处理器，图像传感器具有按预定顺序排列的不同颜色的像素的滤色器。图像传感器接收被拍体图像并输出包括不同颜色的颜色信号的图像信号。去马赛克处理器从该图像信号生成图像每个像素的不同颜色的颜色信号。去马赛克处理器包括生成单元和噪声降低单元。生成单元利用目标颜色信号和预定的其他颜色信号来执行计算以生成目标颜色信号的像素的、使该目标颜色信号与预定的其他颜色信号相关联的颜色相关信号，该目标颜色信号表示被包括在图像信号中的预定的目标颜色信号。噪声降低单元对由生成单元所生成的颜色相关信号执行噪声降低处理。
文档编号H04N9/64GK101472048SQ20081019030
公开日2009年7月1日 申请日期2008年12月22日 优先权日2007年12月21日
发明者千叶卓也, 稻叶靖二郎, 米田丰 申请人:索尼株式会社