摄像装置、图像信号处理电路和方法及计算机程序的制作方法

专利名称：摄像装置、图像信号处理电路和方法及计算机程序的制作方法
技术领域：
本发明涉及摄像装置、图像信号处理电路、图像信号处理方法及计算 机程序，更具体地，涉及这样的摄像装置、图像信号处理电路、图像信号 处理方法及计算机程序，其中摄像器件具有多个划分区域(divisional region)，并且分别对于来自多个划分区域的输出信号执行信号处理以便 针对划分区域来执行黑色电平(blacklevel)调整。
背景技术：
CCD (电荷耦合器件)单元、CMOS (互补金属氧化物半导体)单元 等被广泛用作摄像器件以供例如摄像机或照相机使用。例如，现有的流行 CCD单元通过其大量的光电检测器(PD)来接收用于一个画面的摄影信 息的光线并通过垂直寄存器和水平寄存器来从光电检测器读出通过光电转 换获得的电荷信号。然后，CCD单元将读出的电荷信号转换成数据流并将 产生的数据流从一个输出信道输出。刚刚描述的这种单信道输出类型的 CCD单元和信号处理配置将在下面参考图1来描述。所示CCD单元10包括垂直寄存器ll，用于在垂直方向上传送在作 为摄像元件的多个光电检测器(PD)中积累的电荷；水平寄存器12，用 于在水平方向上逐行传送由垂直寄存器11传送的电荷；以及输出放大器 13,用于将水平寄存器12的电荷转换成电压。输出放大器13的输出被输 入到信号处理部件21。信号处理部件21包括用于执行从输入信号内去除噪声的CDS电路、
用于执行AD转换的ADC部件等。通过信号处理部件21的信号处理获得 的数字信号被输入到数字信号处理器(DSP) 22，由此执行包含像素值校 正处理在内的输出图像生成处理。产生的信号从DSP 22输出，结果，获 得如图l所示的输出图像30。近年来，由于图像的组成像素数目增加，摄像器件的尺寸在增大，并 且输出图像的帧率也在提高。在这种具有图1所示的单个输出放大器的摄 像器件中，为了维持高帧率，有必要以较高的速度来输出图像。然而，由 于物理限制，速度的进一步增加有困难。因此，提出了一种配置，其包含 多个设置到摄像器件的输出放大器来改善吞吐量以允许图像的更高速度的 输出。例如，若CCD单元被划分成两块区域用于2信道输出以使得从各 个划分区域获得不同的输出，则输出数据的信号处理可以使用等于使用单 信道输出时所使用操作频率的一半的操作频率来执行。参考图2来描述为2信道输出准备的CCD单元和信号处理配置。所 示CCD单元50包括垂直寄存器51，用于在垂直方向上传送在光电检测 器(PD)中积累的电荷；以及两个水平寄存器52和53，用于在水平方向 上逐行传送由垂直寄存器51传送的电荷。第一水平寄存器52接收图2中 左半个区域包含的那些光电检测器的输出，而第二水平寄存器53接收图2 中右半个区域包含的那些光电检测器的输出。第一水平寄存器52的累积数据被输出放大器54转换成电压并被输入 到信号处理部件62中。同时，第二水平寄存器53的累积数据被另一个输 出放大器55转换成电压并被输入到另一个信号处理部件61中。两个信号 处理部件62和61并行地处理CCD单元的左右两半的组成像素的输出数 据。高速处理通过上述处理来实现。由信号处理部件61和62处理的数字信号被输入到数字信号处理器 DSP 63，由此执行对输出图像的包括像素值校正处理等等在内的生成处 理。产生的输出图像从DSP 63输出。结果，例如，得到如图2所示的输 出图像70。信号处理部件61和62并行地处理CCD单元的各一半组成像素的输 出数据，以产生例如14比特的数字数据，每个比特代表组成像素的一个
像素值电平。进行该处理时，钳位电平值(即用于黑色电平的调整的钳位 电平值或暗电流值)从未示出的控制部件(MPU)输入以执行像素值调 整，从而确定黑色电平。然而，利用这种具有如上所述的2信道输出的摄像部件的配置，左右 CCD输出信号电平是不同的，这源于为CCD单元的不同区域提供的输出 放大器的特性差异。因此，即使从控制部件(MPU)为左右图像提供相等 的钳位电平值，也难以令左右图像的黑色电平彼此一致。结果，在其左右 图像区域中具有不同黑色电平的图像被输出。用于具有多个信道输出的摄像器件的黑色电平调整方法在日本专利特 开第2006-86971号公报(以下称为专利文献1)中被公开。在专利文献1 的黑色电平调整方法中，钳位电平是利用在具有多个输出的摄像器件上形 成的光学黑体(optical black， OB)区域(即被设置为有效图像区域周围 的遮光区域的光学黑体(OB)区域)的电流值数据(即暗电流值数据)来 确定的。从对应于与图像区域相对应的所有信道的光学黑体(OB)区域获 得的多个数据被平均，并且平均数据和目标钳位电平之差被计算以确定最 终的钳位电平。然而，通过如上所述使用平均值的这种配置，在图像信号 的线性度在不同信道之间有差别的情况下，可能为每个图像区域设置不合 适的钳位电平。发明内容因此，希望提供这样的摄像装置、图像信号处理电路、图像信号处理 方法及计算机程序，通过它们，在对来自诸如CCD单元或CMOS单元之 类的具有多个划分输出的摄像器件的输出信号的信号处理时，可以为每个 划分区域执行适当的黑色电平调整。另外，希望提供这样的摄像装置、图像信号处理电路、图像信号处理 方法及计算机程序，通过它们，即使不同信道的输出特性具有微小差别， 也可以保真地实现黑色电平设置和色彩再现。为此，根据本发明，与摄像器件的划分区域相对应的信道的光学黑体 (OB)区域数据的钳位电平被检测，并且检测到的钳位电平被应用以执行 各个信道的信号处理。具体而言，根据本发明的实施例，提供了一种摄像装置，该摄像装置 包括被配置成输出分别与摄像器件的划分区域相对应的信号的多信道输出 类型的摄像部件，被配置成分别接收摄像器件的多个信道的输出信号作为 其输入以产生对应于像素值的数字数据的多个信号处理部件，以及被配置 成接收由信号处理部件产生的像素值数据作为其输入以运行图像校正处理 的数字信号处理部件，所述数字信号处理部件被配置成在针对划分区域的 图像校正处理中接收分别对应于划分区域的校正参数以执行图像校正，每 个校正参数是以下各项的和值a)与多个划分区域中作为校正对象的那个划分区域相对应的钳位电平值；b)与作为校正对象的划分区域相对应 的钳位电平值和目标黑色电平之间的差值，所述数字信号处理部件还被配 置成基于输入给它的校正参数来确定黑色电平并参考所确定的黑色电平来 执行图像校正。优选地，所述数字信号处理部件包括增益控制部件，所述增益控制部 件被配置成执行从输入给它的图像数据的组成像素中只选择那些具有的像 素值高于目标黑色电平的像素并通过增益控制来扩展输入像素值的一部分 的电平扩展处理，并输出对像素值高于目标黑色电平的像素的增益控制的 结果数据以及像素值低于目标黑色电平的输入图像的那些组成像素的像素 值，这些像素值被保持。摄像装置可以被配置使得摄像部件包括能够输出左图像和右图像的两 部分类型的摄像器件作为其摄像器件并输出分别对应于左图像和右图像的 多个输出信号，所述数字信号处理部件被配置成在针对划分区域的图像校 正处理中接收分别对应于划分区域的校正参数作为其输入并实施图像校正 以执行这样的图像校正使得在左图像被确定为处理对象的处理中，所述 数字信号处理部件接收(La)与左图像相对应的钳位电平，和(Lb)与左图像相对应的钳位电平值和目标黑色电平之间的差值 这两项的和值作为输入给它的校正参数，并参考基于该校正参数而确定的 黑色电平来执行图像校正；而在右图像被确定为处理对象的处理中，所述 数字信号处理部件接收(Ra)与右图像相对应的钳位电平，和(Rb)与右图像相对应的钳位电平值和目标黑色电平之间的差值 这两项的和值作为输入给它的校正参数，并参考基于该校正参数而确定的 黑色电平来执行图像校正。在该实例中，优选地，数字信号处理部件将作为分别对应于左右图像 的外部输入的校正量和相应差值之和的校正差值用作校正参数的组成数据 来执行处理。根据本发明的另一个实施例，提供了这样的图像信号处理电路，其包 括被配置成分别接收与摄像器件的划分区域相对应的信号作为其输入以产 生对应于像素值的数字数据的多个信号处理部件，以及被配置成接收由信 号处理部件产生的像素值数据作为其输入以运行图像校正处理的数字信号 处理部件，所述数字信号处理部件被配置成在针对划分区域的图像校正处 理中接收分别对应于划分区域的校正参数以执行图像校正，所述校正参数 的每一个是(a) 与多个划分区域中作为校正对象的那个划分区域相对应的钳位 电平值，和(b) 与作为校正对象的划分区域相对应的钳位电平值与目标黑色电 平之间的差值这两项的和值，所述数字信号处理部件还被配置成基于输入给它的校正参 数来确定黑色电平并参考所确定的黑色电平来执行图像校正。根据本发明的又一个实施例，提供了一种由图像处理装置执行的图像 信号处理方法，其包括由多个信号处理部件执行的分别接收与摄像器件的 划分区域相对应的信号作为其输入以产生对应于像素值的数字数据的信号 处理步骤，以及由数字信号处理部件执行的接收由信号处理部件产生的像 素值数据作为其输入以运行图像校正处理的数字信号处理步骤。所述数字 信号处理步骤包括分别对应于划分区域的校正参数在针对划分区域的图像 校正处理中的接收以执行图像校正，所述校正参数的每一个是(a)与多个划分区域中作为校正对象的那个划分区域相对应的钳位电平值，和(b)与作为校正对象的划分区域相对应的钳位电平值与目标黑色电 平之间的差值这两项的和值，所述数字信号处理步骤还包括基于输入给它的校正参数的 黑色电平的确定以及参考所确定的黑色电平的图像校正的执行。根据本发明的再一个实施例，提供了用于令图像处理装置执行图像信 号处理的计算机程序，其包括由多个信号处理部件执行的分别接收与摄像 器件的划分区域相对应的信号作为其输入以产生对应于像素值的数字数据 的信号处理步骤，以及由数字信号处理部件执行的接收由信号处理部件产 生的像素值数据作为其输入以运行图像校正处理的数字信号处理步骤。所 述数字信号处理步骤包括分别对应于划分区域的校正参数在针对划分区域 的图像校正处理中的接收以执行图像校正，所述校正参数的每一个是(a) 与多个划分区域中作为校正对象的那个划分区域相对应的钳位 电平值，禾口(b) 与作为校正对象的划分区域相对应的钳位电平值与目标黑色电 平之间的差值这两项的和值，所述数字信号处理步骤还包括基于输入给它的校正参数的 黑色电平的确定以及参考所确定的黑色电平的图像校正的执行。应该注意，本发明的计算机程序是以计算机可读的形式提供给例如可 以运行各种程序代码的通用计算机系统并可以通过存储介质和通信介质来 提供的计算机程序。通过以计算机可读的形式来提供这种程序，根据该程 序的处理在计算机系统上实施。利用其中与摄像器件的划分区域相对应的输出信号被输入以对其执行 校正处理的摄像装置、图像信号处理电路、图像信号处理方法和计算机程 序，数字信号处理部件(DSP)接收分别对应于划分区域的校正参数作为 其输入来执行图像校正。具体而言，数字信号处理部件接收作为其输入的 (a)与多个划分区域中作为校正对象的那个划分区域相对应的钳位电平 值，和(b)与作为校正对象的划分区域相对应的钳位电平值与目标黑色 电平之间的差值这两项的和值作为参数的每一个。然后，数字信号处理部200810165968.4说明书第7/20页件参考基于收到的校正参数而确定的黑色电平来执行图像校正。通过上述 配置，即使多个区域之间存在由摄像器件的输出放大器特性的色散(dispersion)引起的电平差，由于黑色电平的调整被其中输入了针对每个 区域的校正参数的处理执行，因此多个图像区域之间黑色电平偏移(offset)的出现也可以避免并且高质量的图像数据可以输出。通过结合附图来考虑以下说明及所附权利要求，本发明的上述和其他 目的、特征和优点将变得明显，附图中，相似的部分或元件由相似的参考 符号来表示。


图1是示出单信道输出型CCD单元及相关信号处理配置的框图； 图2是示出双信道输出型CCD单元及相关信号处理配置的框图； 图3是本发明适用的摄像装置和图像信号处理电路的配置示例； 图4是示出图3的摄像装置中采用的摄像器件的详细配置的框图； 图5是示出摄像器件的详细配置的示意图； 图6是示出摄像器件的区域配置的图解视图；图7是图示摄像装置和图像信号处理电路的处理细节的图解视图； 图8是图示图像信号处理电路和摄像装置中的DSP的图像校正处理的 图解视图；图9是图示DSP的图像校正处理的框图；并且图10是图示摄像装置和图像信号处理电路的图像校正处理序列的流 程图。
具体实施方式
以下，参考附图来描述根据本发明的实施例的摄像装置、图像信号处 理电路、图像信号处理方法和计算机程序的细节。首先，参考图3来描述 根据本发明的实施例的摄像装置和图像信号处理电路的配置示例。所示摄像装置包括具有被划分成多个部分的2信道输出配置(即与上 面参考图2所描述的CCD单元的配置类似地以摄像器件的划分区域为单
位来输出信号的多信道输出配置)的CCD单元100。 CCD单元100的详 细配置在下面参考图4来描述。注意，虽然下述实施例针对使用CCD单 元作为摄像器件的配置示例，但是本发明还可以应用于不是使用CCD单 元而是使用CMOS单元作为摄像器件的另一种配置。参考图4， CCD单元100包括大量光电检测器(PD) 200作为光电转 换元件并基于在光电检测器200中积累的电荷来输出电压信号。CCD单元 100的一个画面的摄像区域在水平方向上的中心处被划分成两个划分区 域，并且CCD单元100输出来自这两个划分区域的不同信道的像素信 息。CCD单元IOO还包括垂直寄存器101以及用于一行的水平寄存器102 和103。垂直寄存器101是用于在垂直方向上以一行为单位来传送在光电 检测器200中积累的电荷的寄存器。水平寄存器102和103在水平方向上以像素为单位传送从垂直寄存器 101传送到它的用于一行的电荷，并将电荷信息输入给将电荷信息转换成 电压并放大电压的输出放大器104和105。输出放大器104和105将对应 于划分图像的电荷信息作为电压信号输出。通过这种方式，由CCD单元 100的光电检测器(PD) 200生成的图像信息通过两个输出放大器104和 105从两个输出信道输出。具体而言，第一水平寄存器102通过输出放大器104来输出基于从包 含在左图像的区域中的光电检测器(PD) 200输出的电荷信息的信号。同 时，水平寄存器103通过输出放大器105来输出基于从包含在右图像的区 域中的光电检测器200输出的电荷信息的信号。参考回图3，描述对输出放大器104和105的输出信号的处理。作为 与CCD单元100的左侧图像相对应的图像信号信息的输出放大器104的 输出被输入到信号处理部件111。信号处理部件111包括用于执行输入信 号中的噪声消除的CDS电路、用于执行AD转换的ADC电路等。信号处 理部件111的组件执行信号处理以从模拟信号中产生例如14比特的数字 信号。数字信号被输入到数字信号处理器(DSP) 120，通过该DSP，对 数字信号执行包含像素值校正处理在内的输出图像生成处理。然后，从 DSP120输出所产生的信号。 同时，作为与CCD单元100的右侧图像相对应的图像信号信息的输 出放大器105的输出被输入到信号处理电路112。同样，信号处理电路 112包括用于执行输入信号中的噪声消除的CDS电路、用于进行AD转换 的ADC电路等。信号处理电路112的组件进行信号处理以产生例如14比 特的数字信号。数字信号被输入到DSP 120，由该DSP对数字信号进行包 含像素值校正处理在内的输出图像生成处理。然后，从DSP 120输出所产 生的信号。在上述处理配置中，信号处理部件111接收CCD单元100的左图像 数据作为其输入并对左图像数据进行信号处理。同时，信号处理部件112 接收CCD单元100的右图像数据作为其输入并对右图像数据进行信号处 理。具体而言，信号处理部件111和112的每一个将代表包含在相应图像 区域中的像素的像素值的模拟数据转换成数字数据并输出数字数据。数字 数据被输入到DSP 120中，由该DSP对数字数据进行图像校正处理。摄像装置被配置成使得CCD单元100被划分成多个区域并且不同特 性的输出放大器被用于多个信道的数据输出。因此，存在输出电压的特性 有差异的可能性，该差异源于输出放大器104和105之间的特性差异。本 实施例的摄像装置使得可以产生很均衡的高质量输出图像，所述图像即使 在上述特性差异存在时也具有针对左右图像区域而确定的适当的黑色电 平。下面进行更详细的描述。由信号处理部件111和112产生的数字数据被输入到DSP 120并经历 DSP 120进行的图像校正处理。DSP 120读取与作为遮光区域被设置在左 右图像区域中的光学黑体(OB)区域相对应的输出，并计算左右图像区域 的钳位电平。作为遮光区域的光学黑体(OB)区域分别针对左图像区域和右图像区 域来设置。图5示出在本实施例的摄像装置中使用的摄像器件250的配置 示例。参考图5，摄像器件250包括用于接收在摄像处理中输入的光线和 累积用于图像形成的信号的有效图像区域251，以及设置在有效图像区域 251周围并作为遮光区域形成的在摄像处理时基本上不输入光线的光学黑 体(OB)区域271和272。有效图像区域251包括位于图像边界252左侧 的左图像区域261和位于图像边界252右侧的右图像区域262。从图5中可见，光学黑体(OB)区域被设置为对应于图像区域的左图 像OB区域271和右图像OB区域272。如上所述，摄像器件的左图像和右 图像通过不同输出路径输出。在图5的摄像器件中，位于图像边界252左 侧的左图像区域261和左图像OB区域271的信号通过图3和4所示的输 出放大器104被输入到信号处理部件111并被其处理。同时，位于图像边 界252右侧的右图像区域262和右图像OB区域272的信号通过图3和4 所示的输出放大器105被输入到信号处理部件112并被其处理。DSP 120读取与作为分别设置在左右图像区域中的遮光区域的左图像 OB区域271和右图像OB区域272相对应的数字输出，并计算左右图像区 域的钳位电平。钳位电平是代表与即使在没有接收到光线时也潜在地发生 的电流(即暗电流)的值相对应的像素值电平的数字值。下面参考图6来描述用于DSP 120的左图像区域的钳位电平(OBL) 和右图像区域的钳位电平(OBR)的读取定时。在所示示例中，左图像 OB区域271和右图像OB区域272具有40个像素的尺寸，并且对于左右 图像的每一个，有效图像区域251具有1228个像素的尺寸。DSP 120读取代表分别对应于左图像OB区域271和右图像OB区域 272的像素电平的数字数据，并使用所读取的信号作为分别用于左右图像 区域的钳位电平。从左图像OB区域271和右图像OB区域272的每一个读入钳位电平 的定时如图6所示被设置到左图像OB区域271和右图像OB区域272的 每一个的40个像素中的中间30个像素。DSP 120的钳位电平读入定时对 应于图6中的高电平。左图像区域的钳位电平(OBL)和右图像区域的钳位电平(OBR)通 过控制部件(MPU) 150被存储到存储器152中。之后，在由DSP 120进 行的图像校正处理中，存储器152中存储的钳位电平被输出以执行图像校 正处理。以下，参考图7等来描述校正处理。如上所述，钳位电平是基于作为摄像部件中的遮光区域而形成的光学 黑体(OB)区域的电流值(即黑色电流值)来确定的。但是，由于位于图
像边界252左侧的左图像OB区域271和位于右侧的右图像OB区域272 的信号如图5所示由彼此不同的输出放大器处理，因此信号特性之间出现 差异。类似的特性差异还出现在有效图像区域251的左图像区域261和右 图像区域262的信号之间。在本实施例的摄像装置中，即使存在刚才所述 的这种特性差异，也由DSP 120执行图像校正处理以使得分别针对左右图 像区域来设置适当的黑色电平以产生高质量的很均衡的输出图像。描述由DSP 120进行的图像校正处理的细节。首先，预先确定目标黑 色电平。例如，在信号处理部件lll和112输出14比特的数据作为像素值 的数字数据的情况下，像素值电平令从0到13683的数字值作为最小亮度 到最大亮度。在该设置中，目标电平亮度值例如被设为[960]。参考图7，坐标轴指示从0到13683的像素值或亮度，并且示出左图 像和右图像。指示目标黑色电平[960]的线被示为目标黑色电平301。然后，对应于左右图像区域的钳位电平(OBL)和(OBR)被测量。 它们与基于遮光状态中流动的电流而生成的信号的信号电平相对应。基本 上，从通过图5所示的左图像OB区域271而获得的信号中获得的数字值 是图7所示的左图像钳位电平311[亮度电平(luminance level) =910]，从 通过图5所示的右图像OB区域272而获得的信号中获得的数字值是图7 所示的右图像钳位电平312[亮度电平=950]。注意，图7所示的[左图像 OB (光学黑体)电平]表示左图像区域的钳位电平，[右图像OB (光学黑 体)电平]表示右图像区域的钳位电平。之后，镜头盖等被用于对摄像装置遮光以使得没有漏光发生，并且从 相机输出的图像被输出到显示部件以使得当显示图像被观察时，每个信道 的钳位电平被调整从而使得从与左右图像区域相对应的信道输出的数字图 像数据可以变得等于目标黑色电平[960]。然后，与目标黑色电平的差异被计算。例如，左图像区域的钳位电平被调整到图7所示的左图像钳位电平 311[亮度电平=910]，并且右图像区域的钳位电平被调整到图7所示的右图 像钳位电平312[亮度电平=950]，使得从相机输出的有效图像区域251的 显示的亮度电平变得等于如图7所示的黑色电平目标值[亮度电平=960]。
此时，与左右图像区域相对应的输出信道的钳位电平和目标黑色电平 之差根据以下表达式而被计算。具体而言，作为左图像钳位电平[OBL-910]和目标黑色电平[960]之差 的左图像差[DIFFL怖据DIFFL=目标黑色电平一左图像钳位电平=960 — 910=50 而被计算。同时，作为右图像钳位电平[OBR^950]和目标黑色电平[960]之差的右 图像差[DIFFR]根据DIFFR=目标黑色电平一右图像钳位电平=960—950=10 而被计算。差值[DIFFL]及[DIFFR]被存储到图3所示的摄像装置的存储器152 中。存储器152中存储的左图像差[DIFFL]和右图像差[DIFFR]的值被输出 到DSP 120并被DSP 120用于像素值校正。注意，虽然在上述示例中，左 图像差[DIFFL]和右图像差[DIFFR]二者都被计算成高于0的正值，但是即 使它们中任一个具有零值或负值也没问题。具体而言，因为它们作为由2 的补码表示的二进制数据被保持在存储器152中并被DSP 120使用，所以 没有问题。虽然左图像差[DIFFL]和右图像差[DIFFR]的值被输入到DSP 120并被 其用于像素值校正，但是在根据本实施例的摄像装置中，用于差值[DIFFL] 和[DIFFR]的校正量可以通过用户输入部件等由外部输入来增加或减少。具体而言，在用于将由DSP 120执行的图像校正处理的左右图像的图 像校正差分别由左图像校正差[DIFFL(新)]和右图像校正差[DIFFR(新)]表示 并且外部输入的校正量分别由左图像校正量[CORR一LEFT]和右图像校正量 [CORR—RIGHT]表示的情况下，左图像校正差[DIFFL(新)]和右图像校正差 [DIFFR(新)]分别用左图像差[DIFFL]、右图像差[DIFFR]、左图像校正量 [CORR一LEFT]和右图像校正量[CORR—RIGHT]通过以下表达式给出 [DIFFL(新)]=[DIFFL] + [CORR—LEFT] [DIFFR(新)]=[DIFFR] + [CORR—RIGHT]注意，左图像校正量[CORR一LEFT]和右图像校正量[CORR—RIGHT]被定义为使得用户可以细微地调整黑色电平。用于校正量的基本值可被设为 [O]，使得它们实际上不被使用。然而，在使用左图像校正量[CORR—LEFT] 和右图像校正量[CORR一RIGHT]的情况下，符合用户喜好的图像可以被输 出，并且左右图像的校正量可以被彼此独立地定义以允许精细的黑色电平 调整。在对左图像进行图像校正时，DSP 120接收左图像校正差[DIFFL(新)] (即(L1) [DIFFL(新)]=[DIFFL] + [CORR_LEFT])和(L2)左图像的钳位 电平(OBL)作为输入给它的左图像校正参数并使用接收到的参数来执行 左图像的校正。同时，在对右图像进行图像校正时，DSP 120接收右图像校正差 [DIFFR(新)](即(R1) [DIFFR(新)]=[DIFFR] + [CORR—RIGHT])和(R2) 右图像的钳位电平(OBR)作为输入给它的右图像校正参数并使用接收到 的参数来执行右图像的校正。虽然DSP 120的图像校正处理使得可以使用左右图像的钳位电平来保 真地再现左右图像的黑色电平，但是要采取对策来防止左右图像之间出现 偏移。具体而言，对于图5所示的有效图像区域251中的左图像，与左图 像OB区域的信号电平相对应的钳位电平(OBL)被用于确定左图像参数 [DIFFL(新)]。同时，对于有效图像区域251中的右图像，与右图像OB区 域的信号电平相对应的钳位电平(OBR)被用于确定右图像参数 [DIFFR(新)]。结果，左右区域之间的黑色电平的偏移不出现。DSP 120读入左右OB部分的电平并将这些电平进行平均以计算用于 信道的OB部分的电平。然而，若电平值被照原样使用，则在有效像素区 域的画面中央的区域边界的电平和从OB部分读入的黑色电平之间出现差 异。因此，先前计算的参数[DIFFL(新)]和[DIFFR(新)]被读入并被添加到信 道的OB部分的电平上以获得针对校正对象线的准确黑色电平。
在左图像的钳位电平用OBL表示、右图像的钳位电平用OBR表示并 且待确定的黑色电平用BLACK表示的情况下，待确定的黑色电平由以下表达式表示BLACK = OBL + DIFFL(新)=OBR + DIFFR(新)参考图8的(1)禾卩(2)来描述由DSP 120执行的图像校正处理的细 节。图8的(1)和(2)分别示出(1) DSP120的处理配置，以及(2) DSP 120的输入和输出以及图像信号在处理过程期间的转变 (transition)。图8的(1)基于从产生左图像的数字数据的信号处理部件111输入 的左图像数据来说明DSP 120的处理示例。若输入了左图像，则DSP 120 接收参数501作为其输入并对左图像进行校正。如上所述，参数501是左 图像校正差[DIFFL(新)](即(Ll) [DIFFL(新)]=[DIFFL] + [CORR—LEFT])以及(L2)上述左图像钳位电平(OBL)的和值[OBL + DIFFL(新)]。从图8的(1)可见，DSP 120包括减法部件521、增益调整部件522 和加法部件523。与图8的(1)所示的信号路径(Sl)至(S4)相对应的 图像信号在图8的(2)中示出。具体而言，(51) 来自信号处理部件lll的输出，即DSP120的输入，(52) 减法部件521的输出，(53) 增益调整部件522的输出，以及(54) 加法部件523的输出，即DSP120的输出 的图像信号在图8的(2)中示出。图8的(2)所示的信号被表示为图示 某一条线(即水平线)上的像素值或亮度电平和像素位置之间的对应关系 的曲线图。水平虚线代表例如被设置到信号处理部件111输出14比特像 素数据(0到16383)时的亮度电平[960]上的目标黑色电平BLACK。信号S1至S4分别描述如下。首先，信号Sl是来自信号处理部件111的输出和对DSP 120的输 入。信号Sl是如图8的(2)中的(Sl)所指示的数据并指示一条线上存
在的像素的各种像素值。若数据被输入到DSP 120，则DSP 120中的减法部件521执行从所述 数据中提取参数501高于OBL + DIFFL(新)=960 =目标黑色电平 (BLACK)的那些数据并从所提取的数据中减去参数501 (即OBL + DIFFL(新))的处理。例如，在图7所图示的示例中，OBL = 910，且DIFFL = 50并且，当外部输入的校正量CORR—LEFT为O时，OBL + DIFFL(新)-960:目标黑色电平(BLACK)。当减法部件521从图8的(2)的信号SI中减去左图像校正参数[OBL十DIFFL(新h960]时，图8的(2)的信号S2产生并且被输入到增益调整部件522。信号S2表示不包括作为目标黑色电平的亮度电平960的低亮度部分 并且是作为原始像素值960的减法结果的具有高于960的亮度电平的像素 值的剩余部分的数据。注意，像素值低于亮度电平960的那些像素数据作 为不是处理对象的数据被维持原样。不包括作为目标黑色电平的亮度电平960的低亮度部分并且表示作为 原始像素值960的减法结果的具有高于960的亮度电平的像素值的剩余部 分的数据信号S2被输入到增益调整部件522。增益调整部件522执行输入 信号S2的增益放大，即对输入像素值的区间进行扩展的电平扩展处理。 例如，在输入信号S2中包含的像素值为0到1000的情况下，增益调整部 件522执行将像素值0到1000的区间扩展到像素值0到1500的另一区间 的处理。结果，产生如图8的(2)中的(S3)所示的信号。注意，虽然在本 示例中，所使用的数据是只具有亮度电平的单色数据(monochromatic data)并且增益调整部件522基于一个增益调整电平来执行增益调整，但 是例如在要以其他方式执行彩色图像的校正的情况下，最好为R、 G和B 像素设置不同的增益级别以执行增益调整。通过上述增益调整，像素值电平比(S2)的像素值电平有所增加的信
号被产生，如图8的(2)中的信号S3所表示的。这种增益调整仅针对最 初具有的像素值高于黑色电平960的那些像素来执行。信号S3被输入到加法部件523。加法部件523将黑色电平(BLACK =960)添加到对亮度电平高于黑色电平(BLACK = 960)的那些信号进行 增益调整后的信号上。另外，加法部件523还插入最初具有低于亮度电平 960的像素值并且作为不是处理对象的数据而被维护的像素数据，以产生 将作为输出数据来输出的信号S4。注意，虽然图8的(1)和(2)中图示的示例是对左图像的处理，但 是相似的处理也可对右图像执行。然而，对右图像的处理在右图像校正参 数，艮卩(OBR + DIFFR(新))被输入之后执行。另外，虽然上述处理示例采用校正差[DIFFL(新)]，但是作为代替，不 包含校正量的差值[DIFFL]可用于这种处理。当DSP 120执行对左图像的处理和对右图像的处理时，有必要可切换 地采用校正参数。以下参考图9来描述参数输入切换处理配置。参考图9，示出包含与图8所示的部件类似的减法部件521、增益调 整部件522和加法部件523的DSP 120。从信号处理部件111向DSP 120 输入左图像的数字数据，从信号处理部件112向DSP 120输入右图像的数 字数据。输入定时由控制部件(MPU) 150控制。除了输入控制之外，控制部 件150还执行要向DSP 120输出的校正参数的切换处理。具体而言，当左图像的数字数据被从信号处理部件111输入到DSP 120时，左图像校正参数501，艮卩OBL + DIFFL(新)，被输入到DSP 120。另一方面，当右图像的数字数据被从信号处理部件112输入到DSP 120时，右图像校正参数502，艮卩OBR + DIFFR(新)，被输入到DSP 120。注意，不包含校正量的差值[DIFFL]和[DIFFR]的值存储在存储器152 中，并且控制部件150从存储器152获取这些值并将这些值输出到DSP 120。输入部件551从用户处接收外部输入校正量，即左图像校正量[CORR—LEFT],和 右图像校正量[CORR—RIGHT]作为其输入。在左图像的图像校正中，DSP 120接收左图像校正差[DIFFL(新)]，即 (Ll) DIFFL(新)=[DIFFL] + [CORR一LEFT]，禾口(L2)左图像的钳位电平(OBL) 作为对其输入的左图像校正参数501，并使用左图像校正参数501来执行 左图像的校正。在右图像的图像校正中，DSP 120接收右图像校正差 [DIFFR(新)]，艮口(Rl) DIFFR(新)=[DIFFR] + [CORR—RIGHT]，和(R2)右图像的钳位电平(OBR) 作为对其输入的右图像校正参数502，并使用右图像校正参数502来执行 右图像的校正。参考图IO的流程图来描述DSP 120的图像校正处理序列。图10所示 的流程图的处理是通过控制部件150和DSP 120的处理来执行的。首先在 步骤S101，确定应当使用左图像数据还是右图像数据作为DSP 120的输入 图像数据。该处理由控制部件150执行。在DSP 120的输入图像数据是左图像数据的情况下，控制部件150在 步骤S102中将左图像校正参数，即OBL + DIFFL(新)输入到DSP 120。注意，左图像校正参数[OBL + DIFFL(新)]等于目标黑 色电平[BLACK]，艮卩BLACK = OBL + DIFFL(新)。另一方面，在DSP 120的输入图像数据是右图像数据的情况下，控制 部件150在步骤S103中将右图像校正参数，即 OBR + DIFFR(新)输入到DSP 120。注意，右图像校正参数[OBR + DIFFR(新)]等于目标黑 色电平[BLACK]，即
BLACK = OBR + DIFFR(新)。步骤S104和S108中的处理是由DSP 120执行的图像校正处理并且对 应于上面参考图8所描述的处理。首先在步骤S104中，DSP 120从输入图 像数据中选择具有的像素值高于目标黑色电平[BLACK]的那些像素，并在 步骤S105至S107中对所选像素进行处理。步骤S105中的处理由图8所示的DSP 120的减法部件521执行，并 且是从像素值高于目标黑色电平[BLACK]的像素数据减去目标黑色电平 [BLACK]，艮卩对于左图像，该目标黑色电平是OBL + DIFFL(新)，而 对于右图像，该目标黑色电平是OBR + DIFFR(新)。简言之，图8的(2)的信号S2被从图8的(2)的信号S1中产生。然后在步骤S106中，执行增益调整。该处理由图8所示的DSP 120的增益调整部件522执行，并且是输入信号(即，图8的(2)的信号S2)的增益放大，即，电平扩展处理。结果，产生如图8的(2)的信号S3所示的信号。然后在步骤S107中，执行加法处理。该处理由图8所示的DSP 120 的加法部件523执行。具体而言，加法部件523将黑色电平(例如， BLACK=960 )添加到最初具有的像素值高于黑色电平(例如， BLACK=960)的那些像素数据上。另一方面，作为步骤S104的处理结果不是处理对象的数据被维持原 样并且最初具有的像素值低于亮度电平960的那些像素数据在它们维持像 素值时被添加地插入以产生输出信号。结果，获得由图8的(2)的S4表 示的信号作为输出数据。注意，虽然上述示例的处理序列采用校正差值"DIFFL(新)"或 "DIFFR(新)"作为图像校正参数，但是作为替代，不包含校正量的差值 [DIFFL]或[DIFFR]可用于这类处理。另外，图10的流程图中图示的过程对于处理对象的图像的每一行被 重复执行。具体而言，对应于每行的校正参数，即对于左图像，OBL+DIFFL(新)，或者200810165968.4说明书第19/20页对于右图像，OBR+DIFFR(新) 被计算并输入到DSP 120，由此使用校正参数作为目标黑色电平来执行校 正。由于DSP 120检测OB部分的亮度电平以精细地调整每行的黑色电 平，因此即使从摄像器件输出的电平例如由于温度升高而波动，因为OB 部分的亮度电平也类似地波动，所以总是可以实现高保真度的色彩再现 性。此外，即使存在由摄像器件的输出放大特性中的色散引起的区域之间 的电平差，由于黑色电平的调整是针对每个电平来执行的，所以也不会出 现黑色电平偏移。此外，用户可以设置和输入用于精细调整的校正量[CORR一LEFT]和 [CORRJUGHT]作为用于左右图像的相互独立的值。结果，符合用户喜好 的处理被实施。已参考本发明的具体实施例详细描述了本发明。然而，很明显，本领 域技术人员可以修改或变更所述实施例而不脱离本发明的主题。具体而 言，本发明已被通过说明的形式公开，并且本说明书中描述的实质不应被 限制性地理解。为了决定本发明的主题，应当参考权利要求。此外，上述一系列处理可以由硬件、软件或硬件和软件的组合配置来 执行。在这一系列处理由软件执行的情况下，描述处理序列的程序可以安 装到供专门使用的硬件包含的计算机的存储器中以便由计算机执行，或者 可以安装到执行各种处理的通用计算机中以便由计算机执行。例如，程序 可以被预先记录到记录介质上。不仅可以将程序从记录介质安装到计算机 中，也可以通过诸如LAN (局域网)或因特网之类的网络来接收程序并将 程序安装到诸如内置硬盘之类的记录介质中。注意，这里描述的各种处理可以但不一定必须按所描述的顺序通过时 间序列来处理，并且可以取决于执行处理的装置的处理能力或者在必要时 并行地或单独地处理。此外，在本说明书中，术语"系统"用来表示由多 个不一定容纳在同一外壳中的装置组成的逻辑集合配置。总之，利用所述实施例的配置，在与摄像器件的划分区域相对应的输 出信号被输入以对其执行校正处理的情况下，数字信号处理部件(DSP)
接收分别对应于这些划分区域的校正参数作为其输入以执行图像校正。具体而言，数字信号处理部件接收作为其输入的(a)与多个划分区域中作为校正对象的那个区域相对应的钳位电平值，和(b)与作为校正对象的 划分区域相对应的钳位电平值和目标黑色电平之间的差值二者的和值作为 每个参数。然后，数字信号处理部件参考基于接收到的校正参数而确定的 黑色电平来执行图像校正。通过上述配置，即使由摄像器件的输出放大器 特性的色散引起的电平差存在于多个区域之间，由于黑色电平的调整由对 其输入了用于每个区域的校正参数的处理来执行，多个图像区域之间黑色 电平的偏移的出现也可被避免并且髙质量的图像数据可以被输出。本领域技术人员应该理解，取决于设计要求和其他因素可以想到各种 修改、组合、子组合及变更，只要它们落入所附权利要求及其等同物的范 围之内。
权利要求
1. 一种摄像装置，包括多信道输出类型的摄像部件，被配置成输出分别与摄像器件的划分区域相对应的信号；多个信号处理部件，被配置成分别接收所述摄像器件的多个信道的输出信号作为其输入以产生对应于像素值的数字数据；以及数字信号处理部件，被配置成接收由所述信号处理部件产生的像素值数据作为其输入以执行图像校正处理，所述数字信号处理部件被配置成在针对所述划分区域的所述图像校正处理中接收分别对应于所述划分区域的校正参数以进行图像校正，所述校正参数中的每一个是以下各项的和值a)与所述划分区域中作为校正对象的那个划分区域相对应的钳位电平值，以及b)与作为校正对象的划分区域相对应的钳位电平值和目标黑色电平之间的差值，所述数字信号处理部件还被配置成基于输入给它的校正参数来确定黑色电平并参考所确定的黑色电平来执行图像校正。
2. 根据权利要求1所述的摄像装置，其中所述数字信号处理部件包括 增益控制部件，所述增益控制部件被配置成执行从其输入图像数据的组成 像素中只选择那些具有的像素值高于所述目标黑色电平的像素并通过增益 控制来扩展输入像素值的一部分的电平扩展处理，并输出对像素值高于所 述目标黑色电平的像素的增益控制的结果数据以及像素值低于所述目标黑 色电平的所述输入图像的那些组成像素的像素值，同时这些像素值被保 持。
3. 根据权利要求1所述的摄像装置，其中所述摄像部件包括能够输出 左图像和右图像的两部分类型的摄像器件作为其摄像器件并输出分别对应 于所述左图像和右图像的多个输出信号，所述数字信号处理部件被配置成在所述针对划分区域的图像校正处理中接收所述分别对应于划分区域的校正参数作为其输入并进行所述图像校 正以执行使得如下的图像校正在左图像被确定为所述处理对象的处理中，所述数字信号处理部件接收(La)与左图像相对应的钳位电平，和(Lb)与左图像相对应的钳位电平值和所述目标黑色电平之间的差值 这两项的和值作为输入给它的校正参数，并参考基于所述校正参数而确定 的黑色电平来执行所述图像校正；而在右图像被确定为所述处理对象的处理中，所述数字信号处理部件接收(Ra)与右图像相对应的钳位电平，和(Rb)与右图像相对应的钳位电平值和所述目标黑色电平之间的差值 这两项的和值作为输入给它的校正参数，并参考基于所述校正参数而确定 的黑色电平来执行所述图像校正。
4. 根据权利要求3所述的摄像装置，其中所述数字信号处理部件将作 为分别对应于所述左图像和右图像的所外部输入的校正量和相应差值之和 的校正差值用作所述校正参数的组成数据来执行处理。
5. —种图像信号处理电路，包括多个信号处理部件，被配置成分别接收与摄像器件的划分区域相对应 的信号作为其输入以产生对应于像素值的数字数据；以及数字信号处理部件，被配置成接收由所述信号处理部件产生的像素值 数据作为其输入以执行图像校正处理，所述数字信号处理部件被配置成在针对所述划分区域的所述图像校正 处理中接收分别对应于所述划分区域的校正参数以进行图像校正，所述校 正参数中的每一个是(a) 与所述划分区域中作为校正对象的那个划分区域相对应的钳位 电平值，和(b) 所述与作为校正对象的划分区域相对应的钳位电平值与目标黑 色电平之间的差值这两项的和值，所述数字信号处理部件还被配置成基于输入给它的校 正参数来确定黑色电平并参考所确定的黑色电平来执行图像校正。
6. —种由图像处理装置执行的图像信号处理方法，包括 信号处理步骤，由多个信号处理部件执行，分别接收与摄像器件的划分区域相对应的信号作为其输入以产生对应于像素值的数字数据；以及数字信号处理步骤，由数字信号处理部件执行，接收由所述信号处理部件产生的像素值数据作为其输入以执行图像校正处理，所述数字信号处理步骤包括，在针对所述划分区域的所述图像校正处理中接收分别对应于所述划分区域的校正参数以进行图像校正， 所述校正参数中的每一个是(a) 与所述划分区域中作为校正对象的那个划分区域相对应的钳位 电平值，和(b) 所述与作为校正对象的划分区域相对应的钳位电平值与目标黑 色电平之间的差值这两项的和值，所述数字信号处理步骤还包括基于输入给它的校正参 数来确定黑色电平以及参考所确定的黑色电平来执行图像校正。
7. —种用于令图像处理装置执行图像信号处理的计算机程序，包括 信号处理步骤，由多个信号处理部件执行，分别接收与摄像器件的划分区域相对应的信号作为其输入以产生对应于像素值的数字数据；以及数字信号处理步骤，由数字信号处理部件执行，接收由所述信号处理部件产生的像素值数据作为其输入以执行图像校正处理，所述数字信号处理步骤包括，在针对所述划分区域的所述图像校正处理中接收分别对应于所述划分区域的校正参数以进行图像校正， 所述校正参数的每一个是(a) 与所述划分区域中作为校正对象的那个划分区域相对应的钳位电平值，和(b) 所述与作为校正对象的划分区域相对应的钳位电平值与目标黑 色电平之间的差值这两项的和值，所述数字信号处理步骤还包括基于输入给它的校正参数来确定黑色电平以及参考所确定的黑色电平来执行图像校正。 8.—种摄像装置，包括多信道输出类型的摄像装置，用于输出分别与摄像器件的划分区域相 对应的信号；多个信号处理装置，用于分别接收所述摄像器件的多个信道的输出信 号作为其输入以产生对应于像素值的数字数据；以及数字信号处理装置，用于接收由所述信号处理装置产生的像素值数据 作为其输入以执行图像校正处理，所述数字信号处理装置在针对所述划分区域的所述图像校正处理中接 收分别对应于所述划分区域的校正参数以进行图像校正，所述校正参数中的每一个是以下各项的和值-a) 与所述划分区域中作为校正对象的那个划分区域相对应的钳位电 平值，和b) 所述与作为校正对象的划分区域相对应的钳位电平值和目标黑色 电平之间的差值，所述数字信号处理装置还基于输入给它的校正参数来确定黑色电平并 参考所确定的黑色电平来执行图像校正。
全文摘要
本发明提供了一种摄像装置、图像信号处理电路和方法及计算机程序，包括多信道输出类型的摄像部件，被配置成输出分别与摄像器件的划分区域相对应的信号；多个信号处理部件，被配置成分别接收所述摄像器件的多个信道的输出信号作为其输入以产生对应于像素值的数字数据；以及数字信号处理部件，被配置成接收由所述信号处理部件产生的像素值数据作为其输入以执行图像校正处理。
文档编号H04N5/378GK101399907SQ200810165968
公开日2009年4月1日 申请日期2008年9月27日 优先权日2007年9月27日
发明者萩原茂 申请人:索尼株式会社