图像信号处理装置、摄像装置、图像信号处理方法及程序的制作方法

专利名称：图像信号处理装置、摄像装置、图像信号处理方法及程序的制作方法
技术领域：
本发明涉及图像信号处理装置、摄像装置、图像信号处理方法和计算 机程序产品。更具体地，本发明涉及这样的图像信号处理装置、摄像装 置、图像信号处理方法和计算机程序产品，g卩，它们被适配为通过将摄像器件(image pickup device)分割或划分成多个部分从而基于经分割或划分 的部分来执行信号处理，其中包括有控制配置，该控制配置被适配为消除 分割图像区域之间的边界的不连续性。
背景技术：
例如，CCD (电荷耦合器件)被广泛地用作针对诸如视频照相机和静 态照相机之类的照相机的摄像器件。在相关技术中的一般类型的CCD 中，在利用大量的光检测器(PD)检测得到一帧的摄像信息之后，由光电 转换得到的电荷信号通过垂直寄存器和水平寄存器被读出，以转换成数据 流，该数据流随后从一个输出通道被输出。参考图1来描述这种单通道输 出类型的CCD及其信号处理配置。图l所示的CCD IO具有垂直寄存器11，其用于在垂直方向上传送 在作为构成CCD的摄像器件的光检测器(PD)中所积聚的电荷；水平寄 存器12，其用于在水平方向上一次一行地传送从垂直寄存器11传送而来 的电荷；以及输出放大器13，其用于将水平寄存器12中的电荷转换成电 压，其中，输出放大器13的输出被输入到信号处理单元21。信号处理单元21由诸如以下电路之类的电路组成CDS电路，其用 于执行对输入信号中所包含的噪声的消除；AGC电路，其用于实现增益控 制；以及AD转换单元，其用于实现AD转换。通过信号处理单元21中的 信号处理而得到的数字信号一度被存储在行存储器(line memory) 22中， 随后通过输出单元23被输出，以提供例如图l所示的输出图像30。近年来，随着对增大信号处理速度和/或CCD中所包含的像素数目的 需求，已经提出一种配置，该配置通过将来自CCD的输出分割成两个或 更多个部分从而执行针对被分割的输出部分的并行处理，以提供合成的输 出。这种配置使得能够实现更加快速的信号处理。如果例如提供双通道输 出，则可以按单通道输出的操作频率的一半的操作频率来执行对输出数据 的信号处理。参考图2来描述适合双通道输出的CCD及其信号处理配置。图2所 示的CCD50具有垂直寄存器51，其用于在垂直方向上传送在作为构成 CCD的摄像器件的光检测器(PD)中所积聚的电荷；以及第一和第二水 平寄存器52和53，用于在水平方向上一次一行地传送从垂直寄存器51传 送而来的电荷。第一水平寄存器52接收与构成CCD的光检测器的左半边 相对应的输出，而第二水平寄存器53接收与其右半边相对应的输出。在电荷通过输出放大器54被转换成电压之后，第一水平寄存器52中 所积聚的数据被输入到信号处理单元61。在电荷通过输出放大器55被转 换成电压之后，第二水平寄存器53中所积聚的数据被输入到信号处理单 元62。两个信号处理单元61和62分别并行地执行针对与CCD中所包含 的像素的一半像素相对应的输出数据的处理，该处理有助于实现高速处 理。通过信号处理而得到的数据分别被输入到行存储器63和64中，并进 一步通过复用器65被合成，随后通过输出单元66而被输出，以提供例如 图2所示的输出图像70。图2所示的配置使得可以按下述方式来增大图像输出速度，g卩，通过 将CCD的摄像区域分割成左边部分和右边部分从而通过在左边部分和右 边部分的水平寄存器52和53来并行地执行数据传送和信号处理。但是， 存在使用多个输出放大器54和55的需要，使得输出电平差依赖于输出放 大器特性的差异。具体而言，当就被分割的CCD输出而言，这些被分割 的输出分别由不同的输出放大器54和55 (如图2所示)来放大时，就会 取决于输出放大器的个体差异而产生输出数据的差异。输出放大器的特性 取决于制造差异，因而很难完全匹配放大器特性值。
已经过输出放大器54和55的信号通过在各个信号处理单元 (CDS/AGC/AD模块)61和62中的信号处理而被转换成数字信号，在这 种情况下，也很难匹配CDS/AGC/AD特性。其结果是，输出图像中的左 边图像和右边图像之间存在输出电平差异，例如图2所示的输出图像70。为了通过校正左边电平和右边电平之间的差异以使摄像区域边界不显 眼，左边区域图像和右边区域图像的输出电平只能相匹配。例如，包括有 一种技术，该技术被适配为对左边区域图像和右边区域图像的输出电平进 行操作和比较，随后对一个输出电平进行校正以与另一个相匹配。例如， 在日本专利公布No. 3619077 (专利文献l)中，公开了基于上述技术的电 平控制配置。但是，当将该技术应用于电平控制配置时，就有必要在例如 从各个分割区域的像素中选择高度相关像素区域、或者具有相同主题的图 像的区域(例如，包含在左边区域图像和右边区域图像中的空白区域)之 后，进行电平比较。因此，对于电平控制来说，需要诸如确定相关性和选 择高度相关像素区域之类的处理。此外，存在这样一个问题，S卩，在各个 分割区域中没能找到任何高度相关像素区域就将导致难以执行所述处理。 在日本专利申请公布(KOKAI) No. 2002-252808 (专利文献2)中，公开了一种校正配置，该校正配置被适配为通过下述方式来确定增益校正 值，从而校正左边电平和右边电平之间的差异，所述方式是在多于一行 上对左通道和右通道的像素数据进行平均化(leveling)，随后对经平均化 (leveled)的像素数据之间的差异进行计算。但是，这种配置也需要考虑 分割区域之间的相关性的处理，从而导致与上述相同的问题。在日本专利申请公布(KOKAI) No. 2003-143491 (专利文献3)中，公开了一种配置，该配置被适配为通过安装用于独立地控制来自左边通道 的输出和来自右边通道的输出的控制系统来进行控制系统的调节，从而减 小电平差异。但是，这种配置需要新安装所述控制系统，从而导致增加电 路规模和/或成本的问题。在日本专利申请公布(KOKAI) No. 2004-64404 (专利文献4)中，公开了一种配置，该配置被适配为通过基于利用摄像装置在遮光状态下进 行摄像而得到的摄像数据来检测分割区域之间的电平差异，从而提供电平
控制数据，随后对所述摄像数据执行电平控制。但是，这种配置涉及一个 问题，即，需要在摄像之前进行控制参数获取处理。发明内容本发明是鉴于上述问题而提出的，并且旨在提供这样的图像信号处理 装置、摄像装置、图像信号处理方法以及计算机程序产品，它们都被适配 为利用简单的配置对来自具有两个或更多个分割输出的CCD的输出信号 进行校正，从而实现消除分割图像区域之间的不连续性。根据本发明的第一实施例，提供了一种用于对来自摄像器件的输出执 行信号处理的图像信号处理装置，其包括图像信号校正单元，该图像信号 校正单元用于接收与摄像器件的各个分割区域相对应的输出信号，以执行 校正处理。图像信号校正单元包括计算单元和校正单元。计算单元针对各 个分割区域来计算上述分割区域之间的边界上的一串像素的像素值的总 和，并进一步地计算与各个分割区域相对应的所述像素值的总和之间的差 值。校正单元进行由计算单元计算得到的所述差值与预定阈值之间的比 较，然后基于所述比较的结果来选择分割区域图像的校正模式，随后根据 所确定的校正模式执行针对分割区域图像的像素值校正处理。在根据本发明的图像信号处理装置的实施例中，该图像信号处理装置 还包括两个或更多个输出放大器、两个或更多个信号处理单元以及复用 器。输出放大器基于与摄像器件的各个分割区域相对应的电荷信息输出电 压信息。信号处理单元接收分别来自输出放大器的各个输出，以生成数字 图像信号。复用器对来自信号处理单元的输出进行合成。在所述装置中， 计算单元被适配为接收来自复用器的所述数字图像信号，以执行所述差值 的计算；并且所述校正单元被适配为接收来自复用器的所述数字图像信 号，以执行像素值校正处理。此外，在根据本发明的图像信号处理装置的实施例中，校正单元可被 适配为执行所述像素值校正处理，以使得当所述差值的绝对值大于所述阈 值时改变分割区域图像的像素值，而当所述差值的绝对值不大于所述阈值 时不进行校正。
此外，在根据本发明的图像信号处理装置的实施例中，假设第一分割割区域的边界上的一串像素的像素值的总和被表示为i:a，而第二分割区域的边界上的一串像素的像素值的总和被表示为Eb，则校正单元被适配 为将差值[Sub:Eb-Ea]与预定阈值进行比较，然后基于所述差值和所述阈 值的比较结果来执行以下处理(1)到(4)中的任一个(1) 当差值[Sub-Eb-Ea]大于所述阈值时，进行提高第一分割区域的图 像输出电平的校正；(2) 当差值[Sub二Eb-Ea]既不大于所述阈值也不是负值时，不进行校 正；(3) 当差值[Sub二i:b-i:a]为负值，并且Sub的绝对值ISubl超过所述阈值 时，进行降低第一分割区域的图像输出电平的校正；以及(4) 当差值[Sub:i:b-i:a]为负值，并且Sub的绝对衝Subl小于所述阈值 时，不进行校正。此外，在根据本发明的图像信号处理装置的实施例中，校正单元被适 配为设定绝对值小于所述差值的绝对值的校正量，以执行针对各个图像帧 的校正处理。根据本发明的第二实施例，提供了一种摄像装置，该摄像装置包括摄 像单元和图像信号处理单元，该图像信号处理单元用于执行针对来自摄像 单元的输入信号的信号处理。摄像单元被适配为输出与摄像器件的各个分 割区域相对应的输出信号；而图像信号处理单元包括图像信号校正单元， 该图像信号校正单元用于接收与摄像器件的各个分割区域相对应的输出信 号，以执行校正处理。图像信号校正单元包括计算单元和校正单元。计算 单元针对各个分割区域来计算上述分割区域之间的边界上的一串像素的像 素值的总和，并进一步地计算与各个分割区域相对应的所述像素值的总和 之间的差值。校正单元进行由计算单元计算得到的所述差值与预定阈值之 间的比较，并基于比较结果来选择分割区域图像的校正模式，随后根据所 确定的校正模式执行针对分割区域图像的像素值校正处理。根据本发明第三实施例，提供了一种执行针对来自摄像器件的输出的 信号处理的图像信号处理方法，该方法包括图像信号校正步骤，在该歩骤
中，图像信号校正单元接收与摄像器件的各个分割区域相对应的输出信 号，以执行校正处理。上述图像信号校正步骤包括计算步骤和校正步骤。 在计算步骤中，计算单元针对各个分割区域来计算分割区域之间的边界上 的一串像素的像素值的总和，并进一步地计算与各个分割区域相对应的所 述像素值的总和之间的差值。在校正步骤中，校正单元进行由计算单元计 算得到的所述差值与预定阈值之间的比较，然后基于比较结果来确定分割 区域图像的校正模式，随后根据所确定的校正模式执行针对分割区域图像 的像素值校正处理。在根据本发明的图像信号处理方法的实施例中，校正步骤执行所述像 素值校正处理，以使得当所述差值的绝对值大于所述阈值时改变分割区域 图像的像素值，而当所述差值的绝对值不大于所述阈值时不进行校正。此外，在根据本发明的图像信号处理方法的实施例中，假设第一分割 区域的边界上的一串像素的像素值的总和被表示为Ea，而第二分割区域 的边界上的一串像素的像素值的总和被表示为Eb，则校正步骤将差值[Sub二i:b-Ea]与所述预定阈值进行比较，然后基于所述差值与所述阈值的比较结果来执行以下处理(1)到(4)中的任一个处理(1) 当差值[Sub二Eb-i:a]大于所述阈值时，进行提高第一分割区域的图像输出电平的校正；(2) 当差值[Sub二i:b-2:a]既不大于所述阈值也不是负值时，不进行校正；(3) 当差值[Sub:Eb-Ea]为负值，并且Sub的绝对值ISubl超过所述阈值时，进行降低第一分割区域的图像输出电平的校正；以及(4) 当差值[Sub:Eb-Ea]为负值，并且Sub的绝对值ISubl小于所述阈值时，不进行校正。此外，在根据本发明的图像信号处理方法的实施例中，校正步骤设定 绝对值小于所述差值的绝对值的校正量，以执行针对各个图像帧的校正处理。根据本发明的第四实施例，提供了一种计算机程序产品，用于使得计 算机执行针对来自摄像器件的输出的信号处理，该计算机程序产品包括图
像信号校正步骤，该步骤使得图像信号校正单元接收与摄像器件的各个分 割区域相对应的输出信号，以执行校正处理。图像信号校正步骤包括计算 步骤和校正步骤。计算步骤使得计算单元针对各个分割区域来计算分割区 域之间的边界上的一串像素的像素值的总和，并进一步地计算与各个分割 区域相对应的所述像素值的总和之间的差值。校正步骤使得校正单元进行 由计算单元计算得到的所述差值与预定阈值之间的比较，然后基于比较结果来确定分割区域图像的校正模式，随后根据所确定的校正模式执行针对 分割区域图像的像素值校正处理。注意，根据本发明的计算机程序产品例如包括那些可通过诸如CD、FD和MO之类的存储介质或诸如网络之类的通信介质来分配到通用计算机系统的程序产品，所述通用计算机系统被适配为执行以计算机可读形式 提供的各种程序代码。通过以计算机可读形式提供上述类型的程序产品， 在计算机系统上执行根据程序的处理。根据基于以下本发明的实施例结合附图的更加详细的描述，本发明的 上述和其它目的、特征和优点将变得一目了然。注意，在本说明书中提及 的系统包括逻辑集合体，每一个逻辑集合体由多个装置组成，其中，组成 各个集合体的装置并不限于包含在同一壳体内的那些装置。


图1是示出单通道输出型CCD及其信号处理配置的框图；图2是示出双通道输出型CCD及其信号处理配置的框图； 图3是示出根据本发明一个实施例的摄像装置以及图像信号处理装置 的一种配置的框图；图4是示出详细的CCD配置的示图；图5是示出根据本发明实施例的图像校正处理的一个示例的示图； 图6是示出了通过应用一行像素的像素值的总和之间的差值[Sub-i:b-Ea]来确定校正模式而获得的优点的图形表示；以及图7是示出根据本发明的实施例的图像校正处理序列的流程图。
具体实施方式
现在将参考附图来详细描述根据本发明实施例的图像信号处理装置、 摄像装置、图像信号处理方法和计算机程序产品。首先，将参考图3来描 述根据本发明一个实施例的摄像装置以及图像信号处理装置的一种配置。与之前参考图2来描述的CCD配置相似，图3所示的CCD 100被分 割或划分成两个或更多个部分，以提供基于分割部分的输出配置。现在将 参考图4来详细描述CCD 100的配置。CCD 100具有大量作为光电转换元件的光检测器(PD) 200，其中基 于在这些光检测器(PD) 200中所积聚的电荷的电压信号被输出。CCD 100以在水平方向上的中心处对一帧摄像区域进行分割的方式来从各个不 同通道输出像素信息。CCD 100还具有垂直寄存器101以及与一行相对应 的第一和第二水平寄存器102和103。垂直寄存器101用于在垂直方向上 按行来传送在光检测器(PD) 200中所积聚的电荷。第一和第二水平寄存器102和103在水平方向上按像素来将所接收的 从垂直寄存器101传送而来的一行的电荷传送到第一和第二输出放大器 104和105，以对被转换成电压之后的电荷信息进行放大。第一和第二输 出放大器104和105用于作为电压信号来输出与各个分割区域图像相对应 的电荷信息。由CCD IOO的光检测器(PD) 200按这种方式所生成的图像 信息被通过第一和第二输出放大器104和105从两个输出通道输出。具体而言，第一水平寄存器102通过第一输出放大器104输出基于从 与左边图像相对应的区域中所包括的光检测器(PD) 200输出的电荷信息 的信号，而第二水平寄存器103通过第二输出放大器105输出基于从与右 边图像相对应的区域中所包括的光检测器(PD) 200输出的电荷信息的信 号。再次参考图3，现在描述针对来自第一和第二输出放大器104和105 的输出信号的处理。CCD 100中的第一输出放大器104的输出或者与左边 图像相对应的图像信号信息被输入到第一信号处理单元111。第一信号处 理单元111例如包括以下电路CDS电路，用于执行对输入信号中所包含 的噪声的消除；AGC电路，用于实现增益控制；以及AD转换单元，用于 实现AD转换。这些电路实现信号处理，例如使得从模拟信号生成12位的数字信号(0 (最小)到4095 (最大))，随后所述数字信号被存储在第 一行存储器112中。另一方面，CCD 100中的第二输出放大器105的输出或与右边图像相 对应的图像信号信息被输入到第二信号处理单元113。第二信号处理单元 113还包括例如以下电路CDS电路，用于执行对输入信号中所包含的噪 声的消除；AGC电路，用于实现增益控制；以及AD转换单元，用于实现 AD转换。类似地，这些电路实现信号处理，例如使得12位的数字信号 (0 (最小)到4095 (最大))被生成，随后被存储在第二行存储器114 中。在第一行存储器112中积聚的数据与CCD 100的左半边的图像数据相 对应，而在第二行存储器114中积聚的数据与CCD 100的右半边的图像数 据相对应。在行存储器112和114中所存储的每一行的图像中，第一行存 储器112中所存储的左边图像根据基于FIFO (先进先出)的内部同步信号 而被输出到复用器(MUX) 115。另一方面，第二行存储器114中所存储 的右边图像通过基于LIFO (后进先出)利用传送终点位置来取代传送起 始位置的方式而被输出到复用器115，从而使得右边图像区域的传送起始 位置挨着左边图像区域的传送终点位置。具体而言，来自复用器115的输 出的产生必须使得在左边图像区域和右边图像区域之间横向的数据传送连 续出现。复用器115的输出被输入到图像信号校正单元120的校正单元121 中，使得在校正单元121中执行像素值校正。现在参考图5到图7来描述 校正处理。输入到校正单元121的图像还通过校正单元121被输入到计算单元 122。计算单元122具有用于进行像素计数的内部计数器，其中，由该内 部计数器进行的计数被应用以指定左边区域图像的右侧边界上的像素a和 右边区域图像的左侧边界上的像素b，随后对左边区域图像和右边区域图 像之间的边界上的像素的像素值进行计算。如图5所示，假定第一行上的 左边区域图像的右侧边界上的像素a的像素值由[al]来指示，而右边区域
图像的左侧边界上的像素b的像素值由[bl]来指示，在第二、第三、…和 第N行中的每一行上的左边区域图像和右边区域图像之间的边界上的像素 的像素值分别按如下方式来表示[a2]， [b2]; [a3]， [b3];[aN]， [bN]。如果所述CCD是可利用例如大约5兆个像素(5,000,000个像素)的一种 CCD,则像素数有2448X2050那么多，因此，相当于有效行数的N的值 大约为2050到2048。 计算单元122计算(a) 左边区域图像的右侧边界上的像素al到aN的像素值的总和，以及(b) 右边区域图像的左侧边界上的像素bl到bN的像素值的总和。 具体而言，其计算(a) al到aN像素值的总和Ea=al+a2+...aN，以及(b) bl到bN像素值的总和:Eb=bl+b2+...bN。如上所述，计算单元122被认为通过将纵向上的左边区域图像的边界上的所有像素的像素值相加来计算总和i:a，并且通过将纵向上的右边区 域图像的边界上的所有像素的像素值相加来计算总和i:b。在一帧的所有区域的图像数据被从复用器115输出到校正单元121之 后，当如下计算(a) al到aN像素值的总和Ea=al+a2+...aN，以及(b) bl到bN像素值的总和:Eb二bl+b2+…bN，在计算单元122中被完成时，计算单元122在基于内部同步信号的控制之 下对以上像素值的总和之间的差值[Sub]进行计算，艮口 Sub=Eb—Ea，更具体而言是左边区域图像和右边区域图像之间的边界上的像素的像素值 的总和之间的差值[Sub]，随后将相减的结果输出到校正单元121。减小左边图像区域和右边图像区域的不连续性的一种有效方式是进行 校正以尽可能地最小化差值[Sub]。校正单元121根据基于某一个图像数据
计算得到的差值[Sub]来对后续输入图像的分割图像区域中的一个图像区域中的图像(例如，左边区域图像)进行电平校正。具体而言，在进行差值[Sub二i:b—Ea]与预定阈值之间的比较之后，根据比较结果有选择性地执行以下处理。(1) 当差值[Sub二Eb—i:a]大于阈值时，通过向左边区域图像增加补偿 量(offset)以提高左边区域图像的输出电平来进行校正(正校正)；(2) 当差值[Sub二Eb—5:a]既不大于阈值也不是负值时，不进行校正；(3) 当差值[Sub二Sb—i:a]为负值，并且Sub的绝对值ISubl超过阈值 时，通过从左边区域图像中减去补偿量以降低左边区域图像的输出电平来 进行校正(负校正)；以及(4) 当差值[Sub二Eb—i:a]为负值，并且Sub的绝对值ISubl小于阈值时，不进行校正。根据以上四种形式中的任何一种形式的处理都假定基于差值[sub二i:b一 E a]和预定阈值之间的比较结果来执行。注意，关于以上校正模式(1)到(4)的阈值和信息可以例如从诸如 PC之类的设备的控制信息设置单元123提供。或者，也可以采取这样的处 理配置，该处理配置建立包含关于在校正单元121中的以上校正模式 (1)到(4)的阈值和信息的存储器，以应用存储器中所包含的信息。还 应当注意，关于以上校正模式的信息包括校正量(或补偿量)。在以上校正模式(1)到(4)中的处理中，负责针对图像的实际校正 处理的那些处理限于(1)和(3)，艮P: (1)当差值[Sub二i:b—Ea]大于阈值时，通过向左边区域图像增加补偿量以提高左边区域图像的输出电平来进行校正(正校正)； (3)当差值[Sub二i:b—i:a]为负值，并且Sub的绝对值ISubl超过阈值时，通过从左边区域图像中减去补偿量以降低左边区域图像的输出电平来进行校正(负校正)。这里，所述补偿量包括被应用以提高输出电平或降低输出电平的校正量， 并且例如相当于亮度电平的偏移量。补偿量是基于与量化的最大值的100 %相比约为0.1%的某个值而被设定的。例如，对于亮度电平为12位数字
信号(0 (最小)到4095 (最大))的情况而言，等式4095乂0.1%=4为 真。因此，针对单个图像的像素，电平调节是在从作为亮度电平的-4到+4 的范围内进行的。具体而言，校正单元121应当在设定绝对值小于所述差 值的绝对值的校正量之后，连续地执行针对每一个图像帧的校正处理。例如，被应用于亮度电平的12位数字信号(0 (最小)到4095 (最 大))的校正处理包括(1)当差值[Sub二Eb—Ea]大于阈值时，通过将左边区域图像的亮度电 平增加[+4]以提高左边区域图像的输出电平来进行校正(正校正)，以及(3)当差值[Sub二Eb—Ea]为负值，并且Sub的绝对值ISubl超过阈值 时，通过向左边区域图像增加[-4]以降低左边区域图像的输出电平来进行 校正(负校正)。为什么没有将差值[Sub二5:b—i:a]如其原样地应用作为校正量(或补 偿量)的原因是为了抑制由校正引发的振荡现象。由校正引发的振荡现象 如下所述大比例的校正使得被连续获取的图像信号在每一个摄像操作时 总是轮流地重复进行正校正和负校正，导致在被校正一侧区域中的图像反 复地变暗和变亮。当当前时刻的左边区域图像和右边区域图像的相关性与 下一时刻的左边区域图像和右边区域图像的相关性之间存在很大的差异 时，如上所述的振荡现象频繁发生。本发明试图通过在设定与量化电平的最大值的100%相比约为0.1 %的 值的校正量之后，在每个摄像操作处对后续获得的图像应用缓和校正来避 免那样的振荡现象。如上所述的校正处理是在试图抑制所述振荡的情况下 执行的。如之前所述，阈值和校正量(或补偿量)可以是从图3所示的控 制信息设置单元123提供给校正单元121的那些阈值和校正量，或者，在 被存储在校正单元121的存储器中之后被使用的那些阈值和校正量。根据如上所述本发明实施例的信号处理方法适合应用于以高速率传送 不必要的摄像区域、同时照常传送被输出的摄像区域的高帧率系统。在基 于高帧率系统执行处理时，虽然被叠加行的数目取决于高帧率设置而不 同，但是可以根据高帧率设置来建立阈值设置和校正量设置，从而使得能 够达到稳定控制。注意，大多数的CCD产生针对所包含的每个像素的灵 敏度差异，并且对于在分割区域之间的边界上的邻接像素，也存在灵敏度 差异。但是，如之前参考图5来描述的，本发明的实施例采取了这样一种配 置，该配置通过在计算分割图像区域之间的边界上的垂直方向上的一串像 素的总和之间的差值[Sub二i:b—i:a]之后，基于上述总和之间的差值[Sub二Eb—Ea]来选择性地确定以上校正模式(1)到(4)来进行校正，从而使得所获得的设置几乎不会受针对各个像素的灵敏度差异的影响，并且很 容易确定针对所述差值[Sub二i:b—i:a]的计算的差异发生因素，所述差异发生因素仅仅取决于左边区域和右边区域中的输出放大器的特性和信号处 理单元的特性。具体而言，应用一行像素的像素值的总和之间的差值[Sub二Eb—Ea] 来确定校正模式使得针对各个像素的灵敏度差异的影响变小。参考图6来 描述以上方法所具有的优点。图6示出了针对分割区域的各个图像区域上 的边界上的一串像素的输出电平的频率分布的图。图6A所示的图是左边 区域的图，而图6B所示的图是右边区域的图。像素单元的比较使得针对 单一像素的差异的差值被检测，从而导致差异影响的增加。但是，应用对 针对垂直方向上的大量像素值的总和的差值进行比较的配置使得可以相对 地减小各个像素的差异对差值的影响。其结果是，如图6A和6B所示，虽 然图像电平分布的形状相似，但是它们的峰值出现在不同位置处。峰值位 置的差异被认为是左边区域图像和右边区域图像之间的输出电平(或亮 度)的差异，并且该差异的发生因素取决于左边区域和右边区域中的输出 放大器的特性以及信号处理单元的特性。在具有大量像素(几百万那么多)的CCD中，对相同主题的相同衬 底的摄像发生在摄像区域中所包括的两个相邻像素之间的可能性极高。因 此，可以说上述分布的差异并不是基于对取决于主题的差异的反映，而是 由于对与分割图像相对应的两个信号信息处理系列的处理差异的反映而得 到的，或者由于对图3中的两个处理系列的处理差异的反映而得到的(a) 利用第一输出放大器104和第一信号处理单元111的处理；以及(b) 利用第二输出放大器105和第二信号处理单元113的处理。
通过利用校正单元121的校正而得到的图像数据被输出到输出单元 130，以提供经校正的图像数据150。如上所述，根据本发明的实施例，提供了这样一种配置，该配置通过在利用计算单元122计算出分割图像区域之间的边界上的垂直方向上的像素串的像素值的总和之间的差值[sub二i:b—Ea]之后，利用校正单元121基于上述像素值的总和之间的差值[Sub二 Eb—Ea]选择性地确定校正模式(1)到(4)，来执行校正。因此，可以 按照最小化个体像素的灵敏度差异的影响的方式来校正仅取决于左边区域 和右边区域的输出放大器的特性以及信号处理单元的特性而发生的电平差 异，从而实现高质量的图像数据150的输出。根据本发明的配置，无论CCD输出放大器的温度特性、镜头的数值 孔径以及CDS/GAIN/AD单元的增益设置如何，都可以消除在摄像区域边 界上出现的边界不连续性。现在将参考图7中的流程图来描述根据本发明的实施例的图像校正处 理序列。图7所示的流程处理包括利用在图3所示的配置中所包括的校正 单元121和计算单元122的处理。首先，当一帧的所有区域的图像数据被 输入到校正单元121并输入到计算单元122时，计算单元122执行对分割 区域图像之间的边界上的像素的像素值的总和的计算，并进一步地计算所 述总和之间的差值[Sub]，艮口 Sub=i:b_i:a，随后将计算所得的差值提供给校正单元121。在步骤SlOl，校正单元121 判断差值[Sub二Eb—Ea]是否大于O。这里，Sa和I]b分别表示(a) 左边区域图像的右侧边界上的像素al到aN的像素值的总和Ea= al+a2+…aN，以及(b) 右边区域图像的左侧边界上的像素bl到bN的像素值的总和Eb= bl+b2+…bN。当在步骤S101中的判断结果是差值[Sub二i:b—Ea]具有大于0的正 值时，随后进行步骤S102的处理，在步骤S102中，进一步判断差值[Sub 二 Eb— E a]的绝对值ISubl是否大于预定阈值。当步骤S102中的判断结果是差值[Sub二i:b—Ea]的绝对值ISubl大于
预定阈值时，随后进行步骤S103的处理，在步骤S103中，正值(+值)被设置作为校正量。具体而言，执行对校正量的设置，以提高被指定为要 被校正的图像区域的左边区域的图像输出电平(或亮度)。这种设置被包括在与上述校正模式(1)到(4)中的校正模式(1)的校正相对应的校正量设置处理中，艮P:(1) 当差值[Sub二Eb—Ea]的绝对值大于阈值时，通过给左边区域图像 增加补偿量以提高左边区域图像的输出电平而进行的校正(正校正)。另一方面，当在步骤S102中的判断结果是差值[Snb-Eb—Ea]的绝 对值ISubl不大于预定阈值时，处理前进到步骤S104，在步骤S104中，建 立没有校正的设置。这种设置被包括在与上述校正模式(1)到(4)中的 校正模式(2)的处理相对应的设置处理中，艮P:(2) 当差值[Sub二Eb—Ea]既不大于阈值也不是负值时，不进行校正。 另一方面，当在步骤S101中的判断结果是差值[Sub二Eb—Ea]不大于0时，处理前进到步骤S105，在步骤S105中，进一步地判断差值[Sub =Eb—Ea]的绝对值ISubl是否大于预定阈值。当在步骤S105中的判断结果是差值[Sub^Eb—Ea]的绝对值ISub沐 于预定阔值时，随后进行步骤S106的处理，在步骤S106中，负值(-值) 被设置作为校正量。具体而言，执行对校正量的设置，以降低被指定为要 被校正的图像区域的左边区域的图像输出电平(或亮度)。这种设置被包 括在与上述校正模式(1)到(4)中的校正模式(3)的校正相对应的校 正量设置处理中，艮口(3) 当差值[Sub二Eb—Ea]为负值，并且Sub的绝对值ISubl超过阈值 时，通过从左边区域图像减去补偿量以降低左边区域图像的输出电平而进 行的校正(负校正)。另一方面，当在步骤S105中的判断结果是差值[Sub二Eb—Ea]的绝 对值ISubl不大于预定阈值时，处理前进到步骤S107，在步骤S107中，建 立没有校正的设置。这种设置与上述校正模式(1)到(4)中的校正模式(4) 的处理相对应，即:(4)当差值[Sub二Eb—Ea]为负值，并且Sub的绝对值ISubl小于阈值 时，不进行校正。在通过如上所述的步骤S104到S107中的处理确定了任何一种校正模式之后，随后进行步骤S108的处理，在步骤S108中，基于所确定的校正 模式来进行校正。具体而言，在步骤S108中，执行以下四种模式中的任意一种模式的处理。艮P:(1) 当差值[Sub二i:b—Ea]大于阈值时，通过向左边区域图像增加补偿量以提高左边区域图像的输出电平而进行的校正(正校正)；(2) 当差值[Sub二Eb—i:a]既不大于阈值也不是负值时，不进行校正；(3) 当差值[Sub二i:b—Ea]为负值，并且Sub的绝对值ISubl超过阈值 时，通过从左边区域图像减去补偿量以降低左边区域图像的输出电平而进 行的校正(负校正)；以及(4) 当差值[Sub二Eb—Ea]为负值，并且Sub的绝对值ISubl小于阈值 时，不进行校正。然后，进行步骤S109的处理，以使得计算单元122执行像素值的总和 Ea和Eb的复位，从而结束处理。图7所示的流程例如在每段预定的处理 时间内或者以图像帧为基准被重复地应用于被馈送到校正单元121中的图 像。注意，如上所述，应用于每一副图像的校正量并不是与差值相对应的 值，而是基于与量化的最大值的100%相比大约为0.1。^的值来设定的。因 此，例如对于亮度电平的12位数字信号(0 (最小)到4095 (最大))， 4095X0.1%=4为真。具体而言，针对一幅图像中所包含的像素，电平 (或亮度)调节应当在作为亮度电平的-4到+4的范围内进行。以上电平调 节使得可以达到振荡受控的校正。虽然已经参考具体实施例描述了本发明，但是本领域技术人员将很清 楚，在不脱离本发明的精神和范围的情况下，可以进行上述实施例的各种 修改和/或变化。换而言之，应当了解，已经以实施例的形式公开了本发 明，并且本发明从而应当被理解为是示意性的，而不是限制性的。因此， 本发明的范围将在考虑所附权利要求的情况下来确定。之前在本说明书中所描述的处理系列可以利用硬件或软件或硬件和软 件的组合来实现。在利用软件来实现所述处理时，可以运行包含所述处理 序列的程序，该程序被安装到包含在集成了专用硬件的计算机中的存储器 中，或者被安装到适于执行各种处理的通用计算机中。计算机程序产品可以预先被记录在诸如硬盘和ROM (只读存储器) 之类的记录介质中。或者，也可以将计算机程序产品暂时或永久地存储或记录在可移动记录介质中，例如，软盘、CD-ROM (光盘只读存储器)、 MO (磁光)盘、DVD (数字多功能光盘)、磁盘和半导体存储器。例 如，可以以所谓的套装软件(package software)的形式来提供上述类型的 可移动记录介质。注意，计算机程序产品并不限于从上述类型的可移动记录介质被安装 到计算机的那些计算机程序产品，也可以经包括LAN (局域网)和因特网 在内的网络、通过无线电或电缆来将程序产品从下载站点传送到计算机， 在这种情况下，计算机接收以这种方式传送而来的程序产品，以将其安装 到它们的集成记录介质(例如硬盘)中。注意，本说明书中所包括的各种处理并不限于根据描述过程以时间顺 序来执行的那些处理，其还可以按需要或者根据被适配为执行该处理的装 置的处理能力来同时或单独地执行上述各种处理。另外，在本说明书中提 及的系统包括由多个装置组成的逻辑集合体，其中，组成各个集合体的装 置并不限于包含在同一壳体内的那些装置。根据本发明的实施例，在接收与摄像器件的各个分割区域相对应的输 出信号以执行校正处理的配置中，在分割区域之间的边界上的一串像素的 像素值的总和是针对各个分割区域来计算的，然后与各个分割区域相对应 的像素值的总和之间的差值被计算得到，随后基于计算所得的差值与预定 阈值之间的比较结果进行针对分割区域图像的像素值校正处理。具体而 言，当所述差值的绝对值大于所述阈值时，执行处理以改变经划分的区域 图像的像素值。根据本发明的上述配置，可以实现高效的像素校正，或者 适于消除分割图像区域的不连续性的校正，而无需诸如检测各个分割区域 的相关性之类的处理。本领域技术人员应当了解，在所附权利要求或其等同物的范围内可以
根据设计需要或其它因素来进行各种修改、组合、子组合和变化。相关申请的交叉引用本文献包含与2006年10月17日在日本专利局提交的日本专利申请JP 2006-282233相关的主题，该在先申请的全部内容通过引用而结合于 此。
权利要求
1.一种用于执行针对来自摄像器件的输出的信号处理的图像信号处理装置，该图像信号处理装置包括图像信号校正单元，用于接收与所述摄像器件的每个被划分区域相对应的输出信号，以执行校正处理，其中，所述图像信号校正单元包括计算单元，所述计算单元用于计算所述被划分区域之间的边界上的一串像素的像素值的总和，并且进一步地计算与各个所述被划分区域相对应的所述像素值的总和之间的差值，以及校正单元，所述校正单元用于进行由所述计算单元计算得到的所述差值与预定阈值之间的比较，然后基于所述比较的结果来确定被划分区域图像的校正模式，随后根据所确定的校正模式执行针对所述被划分区域图像的像素值校正处理。
2. 根据权利要求l所述的图像信号处理装置，还包括 多个输出放大器，所述多个输出放大器用于输出基于与所述摄像器件的每个被划分区域相对应的电荷信息的电压信息；多个信号处理单元，所述多个信号处理单元用于分别接收来自所述多 个输出放大器的每个输出，以生成数字图像信号；以及复用器，所述复用器用于合成来自所述多个信号处理单元的输出；3中所述计算单元被适配为接收来自所述复用器的所述数字图像信号，以执行对所述差值的计算；并且所述校正单元被适配为接收来自所述复用器的所述数字图像信号，以 执行像素值校正处理。
3. 根据权利要求2所述的图像信号处理装置，其中所述校正单元被适配为执行所述像素值校正处理，以使得当所述差值 的绝对值大于所述阈值时改变所述被划分区域图像的所述像素值，而当所 述差值的绝对值不大于所述阈值时不进行校正。
4. 根据权利要求l所述的图像信号处理装置，其中假设第一被划分区域的边界上的一串像素的像素值的总和被表示为E a，并且第二被划分区域的边界上的一串像素的像素值的总和被表示为Eb，则所述校正单元被适配为在将所述差值[Sub二Eb-i:a]与所述预定阈值进行比较之后，基于比较结果来执行以下处理(1)到(4)中的任一个(1) 当所述差值[Sub-Eb-Ea]大于所述阈值时，进行提高所述第一被划 分区域的图像输出电平的校正；(2) 当所述差值[Sub-i:b-Ea]既不大于所述阈值也不是负值时，不进行 校正；(3) 当所述差值[Sub^^b-Ea]为负值，并且Sub的绝对值ISubl超过所述 阈值时，进行降低所述第一被划分区域的图像输出电平的校正；以及(4) 当所述差值[Sub二Eb-Ea]为负值，并且所述Sub的绝对值iSubl小于 所述阈值时，不进行校正。
5. 根据权利要求l所述的图像信号处理装置，其中 所述校正单元被适配为设定绝对值小于所述差值的绝对值的校正量，以执行针对各个图像帧的所述校正处理。
6. —种摄像装置，该摄像装置具有摄像单元和图像信号处理单元， 所述图像信号处理单元用于执行针对来自所述摄像单元的输入信号的信号 处理，其中所述摄像单元被适配为输出与摄像器件的每个被划分区域相对应的输 出信号；所述图像信号处理单元包括图像信号校正单元，该图像信号校正单元 用于接收与所述摄像器件的每个被划分区域相对应的输出信号，以执行校 正处理，并且所述图像信号校正单元包括计算单元，该计算单元用于针对各个被划分区域来计算所述被划分区域之间的边界上的一串像素的像素值的总 和，并进一步地计算与各个所述被划分区域相对应的所述像素值的总和之间的差值；以及校正单元，该校正单元用于进行由所述计算单元计算得到 的所述差值与预定阈值之间的比较，并基于所述比较的结果来确定被划分 区域图像的校正模式，随后根据所确定的校正模式执行针对所述被划分区 域图像的像素值校正处理。
7. —种执行针对来自摄像器件的输出的信号处理的图像信号处理方 法，包括图像信号校正步骤，在该步骤中，图像信号校正单元接收与所述摄像 器件的各个被划分区域相对应的输出信号，以执行校正处理， 其中，所述图像信号校正步骤包括计算步骤，在该步骤中，计算单元针对各个被划分区域来计算所 述被划分区域之间的边界上的一串像素的像素值的总和，并进一步地计算 与各个所述被划分区域相对应的所述像素值的总和之间的差值；以及校正步骤，在该步骤中，校正单元进行由所述计算单元计算得到 的所述差值与预定阈值之间的比较，并基于所述比较的结果来确定所述被 划分区域图像的校正模式，随后根据所确定的校正模式执行针对所述被划 分区域图像的像素值校正处理。
8. 根据权利要求7所述的图像信号处理方法，其中所述校正步骤执行所述像素值校正处理，以使得当所述差值的绝对值 大于所述阈值时改变所述被划分区域图像的像素值，而当所述差值的绝对 值不大于所述阈值时不进行校正。
9. 根据权利要求7所述的图像信号处理方法，其中假设第一被划分区域的边界上的一串像素的像素值的总和被表示为Ea，而第二被划分区域的边界上的一串像素的像素值的总和被表示为i:b，则所述校正步骤在将所述差值[Sub-Eb-Ea]与所述预定阈值进行比较之 后，基于比较结果来执行以下处理(1)到(4):(1) 当所述差值[Sub二Eb-Ea]大于所述阈值时，进行提高所述第一被划 分区域的图像输出电平的校正；(2) 当所述差值[Sub-i:b-i:a]既不大于所述阈值也不是负值时，不进行校正；(3) 当所述差值[Sub-Eb-Ea]为负值，并且Sub的绝对值ISubl超过所述 阈值时，进行降低所述第一被划分区域的图像输出电平的校正；以及(4)当所述差值<formula>formula see original document page 5</formula>为负值，并且所述Sub的绝对值ISubl小于 所述阈值时，不进行校正。
10. 根据权利要求7所述的图像信号处理方法，其中 所述校正步骤设定绝对值小于所述差值的绝对值的校正量，以执行针对各个图像帧的所述校正处理。
11. 一种计算机程序产品，用于使得计算机执行针对来自摄像器件的输出的信号处理，所述计算机程序产品包括图像信号校正步骤，该步骤使得图像信号校正单元接收与所述摄像器 件的各个被划分区域相对应的输出信号，以执行校正处理，其中，所述图像信号校正步骤包括计算步骤，该步骤使得计算单元针对各个被划分区域来计算所述 被划分区域之间的边界上的一串像素的像素值的总和，并进一步地计算与各个所述被划分区域相对应的所述像素值的总和之间的差值；以及校正步骤，该步骤使得校正单元进行由所述计算单元计算得到的 所述差值与预定阈值之间的比较，并基于所述比较的结果来确定所述被划 分区域图像的校正模式，随后根据所确定的校正模式执行针对所述被划分 区域图像的图像像素校正处理。
全文摘要
本发明提供了图像信号处理装置、摄像装置、图像信号处理方法及计算机程序产品。一种用于对来自摄像器件的输出执行信号处理的图像信号处理装置包括图像信号校正单元，该图像信号校正单元用于接收与所述摄像器件的各个被划分区域相对应的输出信号，以执行校正处理。图像信号校正单元包括计算单元，用于计算被划分区域之间的边界上的一串像素的像素值的总和，并进一步地计算与各个被划分区域相对应的所述像素值的总和之间的差值；以及校正单元，用于进行由计算单元计算得到的所述差值与预定阈值之间的比较，然后基于比较结果来确定被划分区域图像的校正模式，随后根据所确定的校正模式执行针对被划分区域图像的像素值校正处理。
文档编号H04N5/372GK101166233SQ20071016368
公开日2008年4月23日 申请日期2007年10月17日 优先权日2006年10月17日
发明者萩原茂 申请人:索尼株式会社