专利名称：图像信号处理电路、图像摄取设备和图像信号处理方法
技术领域：
本发明涉及图像信号处理电路、图像摄取设备、图像信号处理方法和计算机程序，更具体而言，涉及其中图像摄取器件具有多个划分区域并且对来自划分区域的信号单独执行信号处理的图像信号处理电路、图像摄取设备、图像信号处理摄取方法和计算机程序。
背景技术：
CCD(电荷耦合器件)单元、CMOS(互补金属氧化物半导体)单元等一般被用于与例如摄像机或照相机一起使用的图像摄取器件。例如，现在流行的CCD单元利用其大量的光电探测器(PD)接收用于一屏的摄取图像信息的光线，并通过垂直寄存器和水平寄存器读出通过光电转换从光电探测器获取的电荷信号。然后，CCD单元将读出的电荷信号转换成数据流，并从一个输出通道输出所获取的数据流。下面参考图1描述上述这种单通道输出型CCD单元和信号处理配置。
所示CCD单元10包括用于在垂直方向传送作为图像摄取元件的多个光电探测器(PD)中累积的电荷的垂直寄存器11、用于在水平方向逐行传送由垂直寄存器11所传送的电荷的水平寄存器12、以及用于将水平寄存器12的电荷转换成电压的输出放大器13。输出放大器13的输出被输入到信号处理部件21。
信号处理部件21包括用于从输入信号中消除噪声的CDS电路、用于执行增益调节的AGC电路、用于执行AD转换的AD转换电路，等等。通过信号处理部件21的信号处理获取的数字信号被累积到行存储器22中，然后通过输出部件23被输出。结果，获取了如图1所示的输出图像30。
近年来，由于对信号处理速度的增大或/和CCD单元的组成像素的数目的增加的需求，提出了一种配置，该配置将CCD单元的输出划分成多个输出，对这些输出执行并行处理，复用这样处理后的输出，然后输出所得到的经复用的输出。利用所述这种配置实现了高速信号处理。例如，如果输出2通道的信号，则可以利用与在使用一个通道的输出的情况下的频率的一半相等的频率来执行对输出数据的信号处理。
参考图2描述适于2通道输出的CCD单元和信号处理配置。所示CCD单元50包括用于在垂直方向传送光电探测器(PD)中累积的电荷的垂直寄存器51、以及用于在水平方向逐行传送由垂直寄存器51所传送的电荷的两个水平寄存器52和53。第一水平寄存器52接收图2中的左半区域中包括的光电探测器的那些输出，而第二水平寄存器53接收图2的右半区域中包括的光电探测器的那些输出。
第一水平寄存器52的累积数据被输出放大器54转换成电压，并且被输出到信号处理部件62。同时，第二水平寄存器53的累积数据被另一个输出放大器55转换成电压，并且被输入到另一个信号处理部件61。这两个信号处理部件62和61分别对图2中的左半区域和右半区域中的组成像素的输出进行处理。通过并行处理实现了高速处理。
通过信号处理部件61和62的信号处理获取的数据分别被输入到行存储器63和64，被复用器65复用，然后通过输出部件66被输出。结果，例如获取了图2中示出的这种输出图像70。
根据图2所示的配置，CCD单元的图像摄取区域被划分成左和右划分区域两个区域，并且与左和右划分区域分别对应的水平寄存器52和53并行执行数据传送和信号处理。结果，提高了图像的输出速度。但是，由于使用了多个输出放大器54和55，所以基于输出放大器的特性的差异出现了输出水平之间的差异。具体而言，在如图2所示从CCD导出两个输出并且由不同的输出放大器54和55对这两个输出放大的情形中，由于输出放大器各自的差异导致了输出数据之间的分散。输出放大器的特性取决于制造过程和分散性，因此很难使放大器的特性值彼此一致。
此外，在通过输出放大器54和55传送的信号被信号处理部件(CDS/AGC/AD块)61和62处理并被转换成数字信号时，也非常难使CDS/AGC/AD功能的特性彼此完全一致。结果，在左和右侧图像的输出水平之间出现了差异，如图2中示出的输出图像70可见。
为了对左和右侧图像的水平进行校正以最小化水平之间的差异，从而使图像摄取区域之间的边界不显著，应当使左和右侧图像输出的水平彼此相等。例如，使用这样的方法计算并彼此比较来自左和右区域的输出水平，对输出水平之一进行校正以使其与另一输出水平彼此一致。例如，在日本专利No.3,619,077(下文称作专利文献1)中公开了该方法。但是，在应用专利文献1中所公开的该方法的情况下，必需从像素的划分区域内选择具有较高相关性的那些区域(例如，同一图像摄取对象的图像被摄取的区域，比如其中天空的图像在左和右侧图像区域中被摄取的区域)，并且在选择区域的输出水平之间执行水平比较。因此，作为用于水平控制的处理必需执行相关性判断处理、具有较高相关性的区域的选择处理，等等。此外，在不能从划分区域内检测到具有较高相关性的像素区域的情况下，该处理失效。注意，在上面的描述中，尽管CCD单元被用作图像摄取器件，但是在CMOS(互补金属氧化物半导体)单元被用作图像摄取器件时情况也类似。
日本专利早期公开No.2002-252808(下文称作专利文献2)公开了这样的设备，为了对左和右输出水平进行校正以最小化输出水平之间的水平差异，该设备对多行上的左和右通道的像素数据求平均，以确定像素数据之间的差异并确定增益校正值来执行校正。但是，专利文献2的设备也需要考虑了划分区域的相关性的处理，并且存在与上述问题类似的问题。
日本专利早期公开No.2003-143491(下文称作专利文献3)公开了这样的一种设备，该设备包括用于彼此独立地对左和右通道的输出进行控制、并且对控制系统进行控制以使水平差异最小化的控制系统。但是，在使用所述这种设备时，必需使用新的控制系统，这导致了电路尺寸和成本增加的问题。
日本专利早期公开No.2004-64404(下文称作专利文献4)公开了这样的一种图像摄取设备，该图像摄取设备在光阻挡状态中执行图像摄取，基于所摄取的图像数据检测划分区域之间的水平差异以获取用于水平调节的数据，并利用该用于水平调节的数据对所摄取的图像数据执行水平调节。但是，专利文献4的图像摄取设备存在要求在图像摄取之前获取控制参数的获取处理。
发明内容
因此，希望提供一种图像信号处理电路、图像摄取设备、图像信号处理方法和计算机程序，利用这些电路、装置、方法和程序，可以通过简单的配置对来自诸如CCD单元或CMOS单元之类的图像摄取器件(从其导出多个划分输出)的输出信号进行校正，以消除图像摄取器件的划分区域之间的边界上的不连续性。
根据本发明的一个实施例，提供了一种用于对图像摄取器件的输出执行信号处理的图像信号处理电路，包括图像信号校正部件，该图像信号校正部件被配置为接收与图像摄取器件的划分区域相对应的输出信号作为输入，并且对所接收的信号执行校正处理。图像信号校正部件包括计算部件，该计算部件被配置为获取边界像素的像素值，其中边界像素包括位于与和图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算部件还被配置为计算第一像素值总和、以及校正第二像素值总和，其中第一像素值总和是第一图像区域中的边界像素的各行像素值的和值，校正第二像素值总和是第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算部件还被配置为计算作为第一像素值总和和校正第二像素值总和之间的差值的校正像素值总和差值。该图像信号校正部件还包括校正部件，该校正部件被配置为执行由计算部件计算出的校正像素值总和差值与预先确定的阈值之间的比较，根据该比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对划分区域图像执行像素值校正处理。计算部件执行校正第二像素值总和的计算处理，使得以一行为单位来执行第二图像区域中的边界像素的边界像素值和第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用第一图像区域中的边界像素的像素值对第二图像区域中的边界像素的像素值进行重写。
图像信号处理电路可以被配置，以使图像信号校正部件被配置为对单色图像执行图像校正处理，并且获取第一图像区域和第二图像区域中的每个图像区域中的像素列的像素值，其中所述像素列包括多个行中的每行中的、与分别与图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的一个像素。图像信号校正部件执行计算第一像素值总和、以及校正第二像素值总和的处理，其中第一像素值总和是第一图像区域中的像素列中的、分别与多个行中的一行中的边界邻近的那些像素的像素值的和值，校正第二像素值总和是第二图像区域中的像素列中的、分别与多个行中的一行中的边界邻近的那些像素的部分替换像素值的和值。
图像信号处理电路可以被配置，以使图像信号校正部件被配置为对彩色图像执行图像校正处理，并且获取第一图像区域和第二图像区域中的每个图像区域中的像素列的像素值，其中所述像素列包括多个行中的每行中的、与分别与图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的一个像素。图像信号校正部件执行计算第一像素值总和、以及校正第二像素值总和的处理，其中第一像素值总和是第一图像区域中的像素列中的、分别与多个行中的一行中的边界邻近的那些像素的像素值的和值，校正第二像素值总和是第二图像区域中的像素列中的、分别与多个行中的一行中的边界邻近的那些像素的部分替换像素值的和值。
图像信号处理电路还可以包括多个输出放大器，该多个输出放大器被配置为基于与图像摄取器件的划分区域相对应的电荷信息输出电压信息；多个信号处理部件，该多个信号处理部件被配置为分别接收输出放大器的输出作为到其的输入，以产生数字信号；以及复用器，该复用器被配置为对信号处理部件的输出进行复用。计算部件从复用器接收数字图像信号，以执行校正像素值总和差值的计算，并且校正部件从复用器接收数字图像信号，以执行像素值校正处理。
优选地，图像信号处理电路被配置为如果校正像素值总和差值的绝对值大于预设阈值，则校正部件执行用于改变划分区域图像的像素值的像素值校正处理，但是如果校正像素值总和差值的绝对值小于或等于预设阈值，则校正部件不执行校正处理。
图像信号处理电路可以被配置，以使校正部件将校正像素值总和差值与预设阈值相比较，并且根据该比较的结果有选择地执行四种操作模式之一。这四种模式之一包括(1)如果校正像素值总和差值大于或等于阈值，则执行进行用于提升第一图像区域的输出水平的校正的操作模式。这四种模式之一还包括(2)如果校正像素值总和差值小于阈值并且不为负值，则执行不进行校正的另一种操作模式；以及(3)如果校正像素值总和差值为负值并且校正像素值总和差值的绝对值大于阈值，则执行进行用于降低第一图像区域的输出水平的校正的又一种操作模式。这四种操作模式之一还包括(4)如果校正像素值总和差值为负值并且校正像素值总和差值的绝对值小于或等于阈值，则执行不进行校正的再一种操作模式。
优选地，图像信号处理电路被配置为使得校正部件设置绝对值比校正像素值总和差值的绝对值小的校正量，以对每个图像帧执行校正处理。
根据本发明的另一个实施例，提供了一种图像摄取设备，包括图像摄取部件；以及图像信号处理部件，该图像信号处理部件被配置为对来自图像摄取部件的图像信号执行信号处理；图像摄取部件具有用于输出与图像摄取器件的每个划分区域相对应的输出信号的配置，图像信号处理部件包括图像信号校正部件，该图像信号校正部件被配置为接收与图像摄取器件的划分区域相对应的输出信号作为到其的输入，并且对所接收的信号执行校正处理。图像信号校正部件包括计算部件，该计算部件被配置为获取边界像素的像素值，其中边界像素包括位于与和图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算部件还被配置为计算第一像素值总和、以及校正第二像素值总和，其中第一像素值总和是第一图像区域中的边界像素的各行像素值的和值，校正第二像素值总和是第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算部件还被配置为计算作为第一像素值总和和校正第二像素值总和之间的差值的校正像素值总和差值。图像信号校正部件还包括校正部件，该校正部件被配置为执行由计算部件计算出的校正像素值总和差值与预先确定的阈值之间的比较，根据比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对划分区域图像执行像素值校正处理。计算部件执行校正第二像素值总和的计算处理，使得以一行为单位来执行第二图像区域中的边界像素的边界像素值和第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用第一图像区域中的边界像素的像素值对第二图像区域中的边界像素的像素值进行重写(rewrite)。
根据本发明的又一个实施例，提供了一种由用于对图像摄取器件的输出执行信号处理的图像信号处理设备执行的图像信号处理方法，包括图像信号校正步骤，由图像信号处理设备的图像信号校正部件执行，用于接收与图像摄取器件的划分区域相对应的输出信号作为到该图像信号校正部件的输入，并且对所接收的信号执行校正处理。图像信号校正步骤包括计算步骤，由图像信号校正部件的计算部件执行，用于获取边界像素的像素值，其中边界像素包括位于与和图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算步骤还用于计算第一像素值总和、以及校正第二像素值总和，其中第一像素值总和是第一图像区域中的边界像素的各行像素值的和值，校正第二像素值总和是第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算步骤还用于计算作为第一像素值总和和校正第二像素值总和之间的差值的校正像素值总和差值。图像信号校正步骤还包括校正步骤，由图像信号校正部件的校正部件执行，用于执行由计算部件计算出的校正像素值总和差值与预先确定的阈值之间的比较，根据该比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对划分区域图像执行像素值校正处理。计算步骤是这样的步骤用于执行校正第二像素值总和的计算处理，使得以一行为单位来执行第二图像区域中的边界像素的边界像素值和第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用第一图像区域中的边界像素的像素值对第二图像区域中的边界像素的像素值进行重写。
根据本发明的又一个实施例，提供了一种用于使图像信号处理设备对图像摄取器件的输出执行信号处理的计算机程序，包括图像信号校正步骤，用于使图像信号处理设备的图像信号校正部件接收与图像摄取器件的划分区域相对应的输出信号作为到图像信号校正部件的输入，并且对所接收的信号执行校正处理。图像信号校正步骤包括计算步骤，该计算步骤用于使图像信号校正部件的计算部件获取边界像素的像素值，其中边界像素包括位于与和图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算步骤还用于使计算部件计算第一像素值总和、以及校正第二像素值总和，其中第一像素值总和是第一图像区域中的边界像素的各行像素值的和值，校正第二像素值总和是第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算步骤还用于使计算部件计算作为第一像素值总和和校正第二像素值总和之间的差值的校正像素值总和差值。图像信号校正步骤还包括校正步骤，该校正步骤用于使图像信号校正部件的校正部件执行由计算部件计算出的校正像素值总和差值与预先确定的阈值之间的比较，根据该比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对划分区域图像执行像素值校正处理。计算步骤是这样的步骤用于执行校正第二像素值总和的计算处理，使得以一行为单位来执行第二图像区域中的边界像素的边界像素值和第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用第一图像区域中的边界像素的像素值对第二图像区域中的边界像素的像素值进行重写。
注意，本实施例的计算机程序是以计算机可读形式提供给(例如)可以执行各种程序代码的通用计算机系统的计算机程序，并且可以利用存储介质和通信介质来提供。通过以计算机可读形式提供这种程序，在计算机系统上实现了根据该程序的处理。
利用图像信号处理电路、图像摄取设备、图像信号处理方法和计算机程序，如果输入与图像摄取器件的划分区域相对应的输出信号以对其执行校正处理，则获取到了边界像素的像素值，其中边界像素包括位于与和图像摄取器件的划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素列中的像素，并且每行包括至少一个像素。然后，计算第一像素值总和，其中第一像素值总和是第一图像区域中的多个行中的边界像素的像素值的和值。此外，如果第二图像区域中的像素列中的任一行中的像素的像素值和第一图像区域中的像素列中的同一行中的对应像素的像素值之间的差值大于预设阈值，则第二图像区域中的像素的像素值被第一图像区域中的像素的像素值替换。然后，计算校正第二像素值总和，该校正第二像素值总和是第二图像区域中的多个行中的、边界像素的部分替换像素值(即，包括这种替换后的像素值在内的像素值)的和值。此后，执行校正像素值总和差值(其是第一像素值总和和校正第二像素值总和之间的差值)和预设阈值的比较。然后，以根据比较确定的校正模式对划分区域图像执行校正处理。具体而言，如果该差值的绝对值大于该阈值，则执行改变划分区域图像的像素值的处理。利用上述配置，可以高效地执行像素值校正，即，用于消除划分图像区域中的不连续性的校正，而无需执行诸如划分区域的相关性检测之类的处理。
结合附图从下面的说明和所附权利要求书将清楚本发明的上述特征和优点，在附图中类似的部分或者元件由类似的标号表示。
图1是示出单通道输出型CCD单元和相关联的信号处理配置的框图； 图2是示出双通道输出型CCD单元和相关联的信号处理配置的框图； 图3是应用本实施例的图像信号处理设备和图像摄取设备的配置的示例； 图4是示出在图3的图像摄取设备中采用的CCD单元的详细配置的框图； 图5和6是示出应用本实施例的图像校正处理的不同示例的示图； 图7是示出校正像素值总和的计算处理序列的流程图； 图8A和8B是示出通过应用一行像素的像素值总和之间的差值来确定校正模式的情形中的优点的图示； 图9是示出应用本实施例的图像校正处理序列的流程图； 图10是示出拜耳(Bayer)阵列的示图； 图11和12是示出用于彩色图像的图像校正处理的示例的示图。
具体实施例方式 下面将参考附图描述根据本实施例的图像信号处理电路、图像摄取设备、图像信号处理方法和计算机程序的细节。首先，参考图3描述根据本发明实施例的图像摄取设备和图像信号处理电路的配置的示例。
图3中的图像摄取设备包括CCD单元100，类似于上面参考图2所述的CCD单元，CCD单元100的图像摄取区域被划分成多个划分区域，从而使得从CCD单元100导出与划分区域相对应的多个输出。下面参考图4描述CCD单元100的详细配置。注意，尽管下述实施例集中于使用CCD单元作为图像摄取器件的配置示例，但是本实施例也可以应用于不使用CCD单元而使用CMOS单元作为图像摄取器件的另一种配置。
参考图4，CCD单元100包括作为光电转换元件的大量光电探测器(PD)200，并且基于光电探测器200中累积的电荷输出电压信号。CCD单元100的用于一屏的图像摄取区域在中央处沿水平方向被划分成两个划分区域，并且CCD单元100输出来自这两个划分区域的不同通道的像素信息。CCD单元100还包括垂直寄存器101、用于一行的水平寄存器102和103。垂直寄存器101是用于在垂直方向以一行为单位传送光电探测器200中累积的电荷的寄存器。
水平寄存器102和103在水平方向以一个像素为单位传送从垂直寄存器101传送来的用于一行的电荷，并且将电荷信息输入到输出放大器104和105，输出放大器104和105将电荷信息转换成电压并且对电压进行放大。输出放大器104和105输出与划分图像相对应的电荷信息作为电压信号。这样，由CCD单元100的光电探测器(PD)200所生成的图像信息从两个输出通道通过两个输出放大器104和105被输出。
具体而言，第一水平寄存器102通过输出放大器104输出基于左侧图像区域中包括的光电探测器(PD)200输出的电荷信息的信号。同时，水平寄存器103通过输出放大器105输出基于右侧图像区域中包括的光电探测器200输出的电荷信息的信号。
返回到图3，描述对输出放大器104和105的输出信号的处理。输出放大器104的输出(其是与CCD单元100的左侧图像相对应的图像信号信息)被输入到信号处理部件111。信号处理部件111包括用于去除输入信号中的噪声的CDS电路、用于执行增益调节的AGC电路、用于执行AD转换的AD转换部件等。信号处理部件111的组件执行信号处理以从模拟信号产生例如12比特(0(最小)到4,095(最大))的数字信号。这些数字信号被累积在行存储器112中。
同时，输出放大器105的输出(其是与CCD单元100的右侧图像相对应的图像信号信息)被输入到信号处理电路113。信号处理电路113也包括用于去除输入信号中的噪声的CDS电路、用于执行增益调节的AGC电路、用于执行AD转换的AD转换部件等。信号处理电路113的组件执行信号处理以产生例如12比特(0(最小)到4,095(最大))的数字信号，并且这些数字信号被累积在行存储器114中。
行存储器112中累积的数据对应于CCD单元100的左半部分的图像数据，而行存储器114中累积的数据对应于CCD单元100的右半部分的图像数据。行存储器112和114中存储的一行图像中的、行存储器112中存储的左侧图像根据内部同步信号按照先进先出(FIFO)方法被输出到复用器(MUX)115。同时，行存储器114中存储的右侧图像按照后进先出(LIFO)方法被输出，使得传送开始位置和传送结束位置被彼此替换，从而使得右侧图像区域的传送开始位置在左侧图像区域的传送结束位置之后。换言之，水平方向的像素传送使左侧图像区域和右侧图像区域在复用器(MUX)115的输出中彼此相连。
复用器115的输出被输入到图像信号校正部件120的校正部件121，利用该校正部件执行像素值校正。下面参考图5描述校正处理。
输入到校正部件121的图像通过校正部件121也被输入到计算部件122。计算部件122包括用于对像素数目进行计数的内部计数器，并且使用该内部计数器来指定左侧图像的位于与左侧图像的右侧边界邻近的位置的像素a、以及右侧图像的位于与左侧图像的左侧边界邻近的位置的像素b。然后，计算部件122确定边界区域中的像素值。例如，参见图5，第一行中的左侧图像的位于与右侧区域邻近的位置的像素[a1]的像素值用[La1]表示，并且第一行中的右侧图像的位于与左侧区域邻近的位置的像素[b1]的像素值用[Lb1]表示。类似地，第二到第N行中的作为位于与左右侧图像之间的边界邻近的位置的像素的边界像素[a2]到[aN]和[b2]到[bN]的像素值分别表示如下 [La2]、[Lb2] [La3]、[Lb3] ... [LaN]、[LbN] 如果CCD单元的大小约为5,000,000像素，则其包括2,448×2,050个像素，并且与有效行的数目相对应的N的值约为2,050到2,048。
计算部件122计算 (a)位于与左侧区域图像的右侧边界邻近的位置的像素a1到aN的像素值[La1]到[LaN]的总和，以及 (b)位于与右侧区域图像的左侧边界邻近的位置的像素b1到bN的像素值[Lb1]到[LbN](通过下面描述的处理，其中部分被替换，即，这些像素值中的一个或一些被替换)的总和。
换言之，计算部件122计算像素值总和，该像素值总和包括 (a)像素a1到aN的像素值总和∑a＝La1+La2+...LaN，以及 (b)像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
现在，描述通过替换位于与右侧区域图像的左侧边界邻近的位置的像素b1到bN的像素值[Lb1]到[LbN]得到的校正像素值[Lb1(new)]到[LbN(new)]的计算处理。
计算部件122根据下面的表达式，针对从第一行到第N行这N行中的每行，计算位于与左侧图像的图像边界邻近的位置的像素[an]的像素值[Lan]和右侧图像的图像边界的像素[bn]的像素值[Lbn]之间的差值绝对值[LSUBn] LSUBn＝|Lbn-Lan| 针对第一行到第N行的所有行执行该计算。在这里，n＝1到N。
然后，计算部件122将对第一到第N行中的每行计算出的差值绝对值[LSUBn]与预先设置的差值阈值[DIFF]相比较。
如果差值绝对值[LSUBn]大于差值阈值[DIFF]，则计算部件122判断在边界上彼此邻近的左侧图像和右侧图像的像素[an]和像素[bn]的相关性较低。
对于在边界上彼此邻近的左侧图像和右侧图像的像素[an]和像素[bn]的这种判断对应于下述情形例如，显示了不同的对象，即，图像之间的边界偶然对应于不同对象之间的边界。
具体而言，例如如果相互比较左侧图像的像素[an]和右侧图像的像素[bn](如图6中示出的像素区域301中包括的像素)，则像素[an]的像素值[Lan]明显比像素[bn]的像素值[Lbn]大，并且相关性相当低。如果具有这样明显不同的像素值的像素位于边界上，并且对这种像素进行校正以使得对于左侧图像和右侧图像的平衡调节具有相同的水平，则错误地对这些像素值进行了校正。
在根据本实施例的图像信号处理方法的图像校正处理中，在考虑到存在具有较低相关性的这种像素的情况下执行平衡调节。具体而言，如果左侧图像的图像边界上的像素[an]的像素值[Lan]和右侧图像的图像边界上的像素[bn]的像素值[Lbn]之间的差值绝对值[LSUBn]比预先设置的差值阈值[DIFF]大，则判断在边界上彼此邻近的左侧图像和右侧图像的像素[an]和像素[bn]之间的相关性较低，并且将校正像素值[Lbn(new)]设置为[Lan]。此后，计算将在左侧图像和右侧图像之间的平衡校正时使用的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
具体而言，如果左侧图像的图像边界上的像素[an]的像素值[Lan]和右侧图像的图像边界上的像素[bn]的像素值[Lbn]的差值绝对值[LSUBn]比预先设置的差值阈值[DIFF]大，如图6所示属于像素区域301的像素[an]和[bn]，即，如果满足表达式 LSUBn＞DIFF， 则像素[bn]的像素值[Lbn]被替换以同一行中的左侧图像的像素[an]的像素值[Lan]。换言之，校正像素值[Lbn(new)]被设置为 [Lbn(new)]＝[Lan]。
在图6所示的示例中，针对像素区域301中包括的像素[bk]和像素[bk+1]执行上述像素值替换过程。
另一方面，如果不满足表达式 LSUBn＞DIFF， 则判断在边界上彼此邻近的左侧图像和右侧图像的像素[an]和像素[bn]之间的相关性较高。具体而言，判断这对应于下述情形例如，在边界上彼此邻近的左侧图像和右侧图像的像素[an]和像素[bn]显示了相同的对象，并且左侧图像和右侧图像的像素[an]和像素[bn]具有基本相等的像素值，且具有较高的相关性。在图6所示的示例中，在边界像素的除像素区域301之外的像素区域302a和302b中不满足表达式LSUBn＞DIFF，并且判断在边界上彼此邻近的左侧图像和右侧图像的像素[an]和像素[bn]之间的相关性较高。
在该实例中，像素[bn]的水平[Lbn]自身被用作校正像素值[Lbn(new)]。换言之，校正像素值[Lbn(new)]被设置为 [Lbn(new)]＝[Lbn]。
这样，针对第一到第N行中的左侧图像的边界像素[an]的像素水平[Lan]和右侧图像的边界像素[bn]的像素水平[Lbn]连续执行上述处理。具体而言，针对第一到第N行中的每行计算 LSUBn＝|Lbn-Lan|， 然后判断是否满足表达式 LSUBn＞DIFF。
然后，如果满足表达式LSUBn＞DIFF，则校正像素值[Lbn(new)]被设置为[LBn(new)]＝[Lan]。
但是，如果不满足表达式LSUBn＞DIFF，即，在LSUBn≤DIFF的情形中，则校正像素值[Lbn(new)]被设置为[Lbn(new)]＝[Lan]。
基于上述处理的结果，计算第一到第N行中的右侧图像的所有边界像素[bn]的校正像素值[Lb1(new)]到[Lbn(new)]。然后，计算像素b1到bN的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
换言之，计算部件122计算两种像素值总和，包括 (a)像素a1到aN的像素值总和∑a＝La1+La2+...Lan，以及 (b)像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
注意，可以(例如)从作为控制信息设置部件123的外部个人计算机(PC)设置预先设置的差值阈值[DIFF]。例如，在像素值可以被设置在利用12比特表示的从0到4,095的像素值水平范围中的情形中，差值阈值[DIFF]可以被设置为从0到4,095的值中的一个值。作为一个具体示例，在像素的像素值可以被设置在利用12比特表示的从0到4,095的像素值水平范围中的情形中，差值阈值[DIFF]被设置为(例如)[DIFF]＝128。
现在描述对于像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)的计算处理序列。该处理由图像信号校正部件120中的计算部件122执行。
首先，作为初始化，在步骤S101校正像素值总和∑b(new)被设置为0，并且在步骤S120作为行指定信息的参数[n]被设置为n＝1。这里，n是从1到N的范围内的被连续设置的变量，其中总行数为n。作为将参数[n]设置为n＝1的结果，从步骤S103开始的步骤处的处理首先针对最上一行执行。
在步骤S103，在左侧图像的像素[an]的像素值[Lan]和右侧图像的像素[bn]的像素值[Lbn]之间执行比较处理。
如果满足表达式 Lbn＞Lan， 则处理前进到步骤S104，在该步骤根据下面的表达式执行左侧图像的像素[an]的像素值[Lan]和右侧图像的像素[bn]的像素值[Lbn]之间的差值绝对值[LSUBn]的计算处理 LSUBn＝Lbn-Lba。
另一方面，如果在步骤S103不满足表达式 Lbn＞Lan， 则处理前进到步骤S105，在该步骤根据下面的表达式执行左侧图像的像素[an]的像素值[Lan]和右侧图像的像素[bn]的像素值[Lbn]之间的差值绝对值[LSUBn]的计算处理 LSUBn＝Lan-Lbn。
然后在步骤S106，将左侧图像的像素[an]的像素值[Lan]和右侧图像的像素[bn]的像素值[Lbn]的差值绝对值[LSUBn]与预先设置的差值阈值[DIFF]相互比较。换言之，判断是否满足下面的表达式 LSUBn＞DIFF。
如果判断满足 LSUBn＞DIFF， 则处理前进到步骤S107，在该步骤像素[bn]的像素值[Lbn]被替换以同一行中的左侧图像的像素[an]的像素值[Lan]，并将校正像素值总和[∑b(new)]更新为 校正像素值总和∑b(new)＝∑b(new)+Lan。
另一方面，如果不满足表达式 LSUBn＞DIFF， 则处理前进到步骤S108，在该步骤像素[bn]的像素值[Lbn]被用来将校正像素值总和[∑b(new)]更新为 校正像素值总和∑b(new)＝∑b(new)+Lbn。
然后，处理前进到步骤S109，在该步骤判断像素行指定变量[n]是否达到最低行[N]。如果像素行指定变量[n]未达到最低行[N]，则处理前进到步骤S110，在该步骤参数n被更新为n＝n+1，从而针对下一行执行从步骤S103开始的步骤处的处理。
如果通过上述处理完成了针对所有行1到N的处理，则完成了对像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)的计算。注意，尽管图7中示出的流程仅示出了用于校正像素值总和∑b(new)的计算处理序列，但是除了所述处理之外，计算部件122还计算左侧图像的边界像素[an]的像素值总和，即，像素a1到aN的校正像素值总和∑a＝La1+La2+...+LaN。
简而言之，计算部件122计算两种像素值总和，包括 (a)像素a1到aN的像素值总和∑a＝La1+La2+...LaN，以及 (b)像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)， 并且将计算出的总和值输出到校正部件121。校正部件121基于输入数据执行对左侧图像和右侧图像的平衡调节处理，即，用于减少左侧图像区域和右侧图像区域之间的不连续性的图像校正。
注意，尽管在该处理的当前示例中，像素值[Lan]被用于左侧图像的所有边界像素[an]以计算像素值总和[∑a]，同时对于右侧图像的边界像素[bn]，计算校正像素值总和[∑b]，但是，用于左侧图像和右侧图像的处理可以互相交换。具体而言，对于右侧图像的边界像素[bn]，像素值[Lbn]可以用于计算校正像素值总和[∑b]，同时对于左侧图像的边界像素[an]，计算校正像素值总和[∑a]。
现在描述校正部件121的处理。校正部件121执行用于减少左侧图像区域和右侧图像区域之间的不连续性的图像校正。在本实施例的图像信号处理方法的图像处理中，作为用于减少左侧图像区域和右侧图像区域之间的不连续性的处理，执行了下面的处理。具体而言，执行用于最小化由下面的表达式表示的校正像素值总和差值[SUB(new)]的校正 SUB(new)＝∑b(new)-∑a， 即，由上述处理计算出的两个像素值总和之间的差值，包括 (a)像素a1到aN的像素值总和∑a＝La1+La2+...LaN，以及 (b)像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
校正部件121基于在某一图像的图像数据的基础上计算出的校正像素值总和差值[SUB(new)]，执行用于图像帧的处理。
注意，该处理可以通过两种处理模式中的任一种来执行，所述两种处理模式包括 (1)以帧为单位计算校正像素值总和差值[SUB(new)]并且以帧为单位执行基于计算出的数据的图像校正的一种处理模式，以及 (2)一帧图像被用来计算校正像素值总和差值[SUB(new)]并且针对该帧和多个后续帧执行基于计算出的数据的图像校正的另一种处理模式。
下面描述由校正部件121执行的图像校正处理。校正部件121将校正像素值总和差值[SUB(new)＝∑b(new)-∑a]与预先设置的阈值[Th]相比较，并且根据该比较的结果来有选择地执行下述处理之一。具体而言， (1)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]大于或等于阈值[Th]，则执行向左侧区域图像添加偏移量的校正(加校正)以提升左侧区域图像的输出水平； (2)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]小于阈值[Th]并且不为负值，则不执行校正； (3)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|大于阈值[Th]，则执行从左侧区域图像减去偏移量的校正(减校正)以降低左侧区域图像的输出水平；或者 (4)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|小于或等于阈值[Th]，则不执行校正。
简言之，基于校正像素值总和差值[SUB(new)＝∑b(new)-∑a]和预设阈值[Th]之间的比较结果，执行上述四种模式(1)到(4)之一。
注意，上述阈值[Th]和校正模式信息(1)到(4)可以从诸如PC之类的控制信息设置部件123输入。此外，用于存储阈值[Th]和校正模式信息(1)到(4)的存储器可以被设置在校正部件121中，从而使得重新编码的信息被应用。校正模式信息包括校正量或偏移量。
在上述校正处理(1)到(4)中，对于图像实际执行校正处理(1)和(3)中的校正处理。具体而言， (1)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]大于或等于阈值[Th]，则执行向左侧区域图像添加偏移量的校正(加校正)以提升左侧区域图像的输出水平；但是 (3)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|大于阈值[Th]，则执行从左侧区域图像减去偏移量的校正(减校正)以降低左侧区域图像的输出水平。
这里，偏移量是用于提升或者降低输出水平的校正量，并且例如对应于亮度水平的移位量。偏移量是参考与量化过程中的最大值相比约0.1％的固定量确定的。例如，如果亮度水平为12比特的数字信号(0(最小)到4,095(最大))，则偏移量被设置为 4,095×0.1％＝4， 并且因此在从-4到+4的亮度水平范围内执行对一幅图像的像素的水平调节。因此，校正部件121设置绝对值小于该差值的绝对值的校正量，并且随后利用所设置的校正量来执行对图像帧的校正处理。
例如，如果亮度水平为12位的数字信号(0(最小)到4,095(最大))，则 (1)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]大于或等于阈值[Th]，则执行向左侧区域图像的亮度水平加[+4]的校正(加校正)以提升左侧区域图像的输出水平；但是 (3)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|大于阈值[Th]，则执行向左侧区域图像的亮度水平加上[-4]的校正(减校正)以降低左侧区域图像的输出水平。
校正像素值总和差值[SUB(new)＝∑b(new)-∑a]没有被用作校正量或偏移量的原因在于要抑制由校正引起的振荡现象。由校正引起的振荡现象是这样一种现象如果大量的校正被执行，则通过图像摄取而接连获取的图像信号在每次图像摄取操作时都要经受加校正和减校正，从而持续地重复加校正和减校正，并且执行了校正的区域中的图像重复亮显示和暗显示。刚刚描述的这种振荡现象在当前时刻处的图像的左区域和右区域之间的相关性与下一时刻处的图像的左区域和右区域之间的相关性相差很大的情形中尤其会发生。
在本实施例中，为了避免上述这种振荡现象，校正量被设置为量化水平的最大值的约0.1％，并且每次执行图像摄取时，都对后续摄取的图像适度地应用校正。通过执行刚刚描述的这种校正处理抑制振荡。如上所述，阈值和校正量或偏移量可以如图3所示被从控制信息设置部件123输入到校正部件121，或者可以被存储到校正部件121的存储器中并从该存储器读出。
上述本实施例的信号处理方法适用于高帧速率系统，在该高帧速率系统中，以高速率传送不必要的图像摄取区域并且以正常速率传送输出图像区域。如果根据高帧速率系统执行处理，则尽管要被添加的行数取决于高帧速率的设置而不同，但是可以响应于该高帧速率设置执行对阈值的设置和对校正量的设置，并且可以通过这些设置执行稳定的控制。注意，许多CCD单元都具有对于每个组成像素(component pixel)的灵敏度分散性，并且在划分区域之间的边界上彼此邻近的像素也具有灵敏度分散性。
但是，在本实施例的配置中，例如如上参考图5和6所述，计算划分图像区域之间的边界上的垂直方向上的像素列的校正像素值总和差值[SUB(new)＝∑b(new)-∑a]，并且基于计算出的差值从上述校正模式(1)到(4)中确定出校正模式来执行校正。因此，校正几乎不可能被个别像素的灵敏度分散性影响，并且校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的计算过程中的差值发生因素(difference occurrence factor)可能仅取决于用于左侧区域和右侧区域的输出放大器和信号处理部件的特性。
具体而言，如果一行像素的校正像素值总和差值[SUB(new)＝∑b(new)-∑a]被用来确定校正模式，则校正几乎不可能被个别像素的灵敏度分散性影响。参考图8A和8B描述这个优点。图8A和8B示出了在划分图像区域之间的边界上的一列像素的输出水平的频率分布的直方图，并且具体而言，图8A和8B分布示出了左侧区域和右侧区域的直方图。如果以像素为单位另行执行比较，则仅两个不同像素之间的分散性的差值被检测到，并且该分散性差值极大。但是，如果在垂直方向上的大量像素的像素值的总和之间的差值被彼此比较，则个别像素对该差值的影响变得相对较小。结果，尽管图像水平的分布具有彼此类似的形状，但是从图8A和8B可以看出它们表现出不同的峰值位置。峰值位置之间的差值是例如左侧图像和右侧图像之间的亮度水平的差值，并且该差值出现的因素取决于用于左侧区域和右侧区域的输出放大器和信号处理部件的特性。
如果CCD单元具有大量的像素，例如数百万像素，则在图像摄取区域中彼此邻近的两个像素摄取同一图像摄取对象的相同基底的概率很高。因此，上述分布中的差值不是源自图像摄取对象之间的差异，而是源自与两个划分图像相对应的用于信号信息的两个处理系统之间的差异，即，如图3所示，这两个处理系统包括 (a)输出放大器104和信号处理部件111，以及 (b)输出放大器105和信号处理部件113。
由校正部件121校正后的图像数据被输出到输出部件130，校正图像数据150从输出部件130被输出。这样，图像摄取设备的图像信号校正部件120被配置，从而使得计算部件122计算位于划分图像区域的边界上的垂直方向上的像素列的校正像素值总和差值[SUB(new)＝∑b(new)-∑a]，并且使得校正部件121基于计算出的校正像素值总和差值[SUB(new)＝∑b(new)-∑a]有选择地确定校正模式(1)到(4)之一来执行校正。因此，可以最小化个别像素的灵敏度分散性的影响，以对仅因用于左侧区域和右侧区域的输出放大器和信号处理部件的特性而导致的水平差异进行校正。结果，可以输出具有高质量的图像数据150。
利用该图像摄取设备的配置，可以消除图像摄取区域之间的边界上出现的不连续性，而不管CCD输出放大器的温度特性、透镜的数值孔径、以及CDS/GIN/AD部件的增益设置。
现在参考图9的流程图描述图像摄取设备的图像校正处理序列。图9中示出的流程图的处理示出了图3所示配置的校正部件121和计算部件122的处理。首先，在一屏的整个面积中的图像数据被输入到校正部件121和计算部件122后，计算部件122基于划分区域图像之间的边界上的像素的像素值计算两种像素值总和，包括 (a)像素a1到aN的像素值总和∑a＝La1+La2+...LaN，以及 (b)像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
校正像素值总和差值[SUB(new)]的计算处理是根据前面参考图7描述的流程执行的。计算部件122还基于像素a1到aN的像素值总和[∑a]和校正像素值总和[∑b(new)]来计算校正像素值总和差值 [SUB(new)＝∑b(new)-∑a]。
然后，计算部件122将计算出的校正像素值总和差值[SUB(new)＝∑b(new)-∑a]输入到校正部件121。
校正部件121从计算部件122接收校正像素值总和差值[SUB(new)＝∑b(new)-∑a]，并且根据图9中示出的流程图执行图像校正处理。参考图9，校正部件121首先在步骤S201判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]是否大于0。
注意，∑a和∑b(new)分别是 (a)像素a1到aN的像素值总和∑a＝La1+La2+...LaN，以及 (b)像素b1到bN的部分替换像素值的校正像素值总和∑b(new)＝Lb1(new)+Lb2(new)+...+LbN(new)。
如果在步骤S201判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]具有大于0的正值，则处理前进到步骤S202。在步骤S202，校正部件121判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|是否大于预设阈值[Th]。
如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|大于预设阈值[Th]，则处理前进到步骤S203，在该步骤校正部件121设置一个正值(+)作为校正量。具体而言，校正部件121设置用于提升作为校正对象图像区域的左侧区域图像的水平或亮度的校正量的设置。这是上述校正模式(1)到(4)中的用于对应于以下设置的校正量的设置处理 (1)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|大于阈值[Th]，则执行向左侧区域图像添加偏移量的校正(正校正)以提升左侧区域图像的输出水平。
另一方面，如果在步骤S202判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|不大于预设阈值[Th]，则处理前进到步骤S204，在该步骤校正部件121设置不应当执行校正。这是上述校正模式(1)到(4)中的对应于以下设置的设置处理 (2)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]小于阈值[Th]并且不为负值，则不执行校正。
另一方面，如果在步骤S201判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]小于或等于0，则处理前进到步骤S205。在步骤S205，判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|是否大于预设阈值[Th]。
如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|大于预设阈值[Th]，则处理前进到步骤S206，在该步骤负值(-)被设置为校正量。具体而言，设置用于降低作为校正对象图像区域的左侧区域图像的水平或亮度的校正量。这是上述校正模式(1)到(4)中的对应于以下设置的设置过程 (3)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|大于阈值[Th]，则执行从左侧区域图像减去偏移量的校正(减校正)以降低左侧区域图像的输出水平。
另一方面，如果在步骤S205判断校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|不大于预设阈值[Th]，则处理前进到步骤S207。在步骤S207，计算部件122设置使得不应当执行校正。这是上述校正模式(1)到(4)中的对应于以下设置的设置处理 (4)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)＝∑b(new)-∑a]的绝对值|SUB(new)|小于或等于阈值[Th]，则不执行校正。
这样，在步骤S204到S207确定了校正模式之一，并且在步骤S208执行了根据所确定的校正模式的校正。具体而言，在步骤S208，有选择地执行下述四种模式之一，包括 (1)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]大于或等于阈值[Th]，则执行向左侧区域图像添加偏移量的校正(加校正)以提升左侧区域图像的输出水平； (2)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]小于阈值[Th]并且不为负值，则不执行校正； (3)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|大于阈值[Th]，则执行从左侧区域图像减去偏移量的校正(减校正)以降低左侧区域图像的输出水平；以及 (4)如果校正像素值总和差值[SUB(new)＝∑b(new)-∑a]为负值并且校正像素值总和差值[SUB(new)]的绝对值|SUB(new)|小于或等于阈值[Th]，则不执行校正。
然后，在步骤S209，计算部件122执行对像素值总和值[∑a]和校正像素值总和[∑b]的重置处理，此后处理结束。图9中示出的流程的操作对于预先设置的每个处理定时(例如，对于每个图像帧)输入到校正部件121的图像被重复执行。
注意，在对每幅图像执行的校正过程中的校正量不是与差值相对应的值，而是约0.1％，如上所述。例如，如果数字信号的亮度水平由12比特表示(0(最小)到4,095(最大))，则可以在4,095×0.1％＝4的范围内执行调节，即，对于一幅图像中的像素在亮度水平-4到+4的范围内对水平或亮度进行调节。通过该调节处理，可以预期抑制了具有振荡的校正。
[适用于彩色图像的处理示例] 尽管上述处理示例被应用于其像素基本上只具有亮度数据的单色图像，但是根据本实施例，根据上述序列的校正处理也可以被应用于彩色图像。下面参考图10到12描述用于拜耳阵列(Bayer array)彩色CCD单元的图像摄取的处理示例。拜耳阵列彩色CCD单元具有包括重复的两行的图案，这两行包括 包括[R]和[G]的重复图案的一行，以及 包括[G]和[B]的另一重复图案的另一行， 例如， R G R G R G…以及 G B G B G B…。
在具有上述这种拜耳阵列图像的CCD单元的情形中，如果CCD单元是被划分成左和右区域的两个区域的类型的CCD单元，则有时在左侧彩色图像和右侧彩色图像的像素值水平之间会出现差值，从而使得图像在亮度和色调上都彼此不同。如果应用根据本实施例的处理，则可以产生由彼此被良好地平衡的左侧图像和右侧图像形成、并且其间的边界不明显的图像。
从由具有拜耳阵列的两部分CCD单元摄取的图像产生的显示图像具有如图11所示的配置，并且其间具有边界501的左侧图像和右侧图像有时在亮度或色调上不同。如果执行根据本实施例的处理，则从与边界501邻近的左侧图像和右侧图像中选择两个像素，并应用这两个像素来基于与上述像素值比较处理类似的处理计算校正像素值[∑b(new)]。此外，这两个像素还被用来计算校正像素值总和差值[SUB(new)]。
如果仅获取左侧图像和右侧图像中的每个图像的一个像素，则例如下述不同像素数据的组合从第一行起顺序出现 G和R， B和G，以及 G和R。
这些组合中的每种都包括水平一般彼此不同的像素数据。因此，获取左侧图像和右侧图像中的每个图像的边界上的两个像素。通过该处理，像素数据的每种组合从第一行起顺序包括左侧图像和右侧图像中的相同像素数据，例如 RG和RG， GB和GB，以及 RG和RG。
从而基于这种两个像素的集合执行像素水平调节。
参考图12描述一种具体的处理示例。图3中示出的计算部件122首先将左侧图像的与边界501邻近的两个像素[an]和[an’]的水平[Lan]和[Lan′]相加来计算和像素值[Lan(2)]。具体而言，和像素值[Lan(2)]是根据以下表达式计算的 Lan(2)＝Lan+Lan’。
类似地，计算部件122将右侧图像的与边界501邻近的两个像素[bn]和[bn’]的水平[Lbn]和[Lbn′]相加来计算和像素值[Lbn(2)]。具体而言，和像素值[Lbn(2)]是根据以下表达式计算的 Lbn(2)＝Lbn+Lbn’。
然后，图3中示出的计算部件122针对每行计算与边界邻近的两个像素的和像素值的差值绝对值。如果行n的和像素值差值绝对值用[LSUBn(2)]表示，则计算出 LSUBn(2)＝|Lbn(2)-Lan(2)|。
然后，计算部件122执行针对第一到第N行中的每行计算出的和像素值差值绝对值[LSUBn(2)]与预先设置的差值阈值[DIFF(2)]之间的比较。
如果和像素值差值绝对值[LSUBn(2)]比差值阈值[DIFF(2)]大，即如果满足表达式 LSUBn(2)＞DIFF(2)， 则计算部件122判断左侧图像和右侧图像的在边界上彼此邻近的两个像素[an]和[an’]与两个像素[bn]和[bn’]之间的相关性较低。
以此方式被判断为相关性较低的行上的图像区域之一(在本示例中是右侧图像区域)中的和像素值[Lan(2)]被设置为校正和像素值，即，被设置为 [Lbn(2)(new)]＝[Lan(2)]。
另一方面，如果和像素值差值绝对值[LSUBn(2)]不大于差值阈值[DIFF(2)]，即，如果不满足表达式 LSUBn(2)＞DIFF(2)， 则计算部件122判断在边界上彼此临近的左侧图像和右侧图像的两个像素[an]和[an’]与两个像素[bn]和[bn’]之间的相关性较高。从而，计算部件122将校正和像素值[Lan(2)(new)]设置为 [Lbn(2)(new)]＝[Lbn(2)]。
计算部件122执行上述这种像素置替换处理以计算两种像素值总和，包括 (a)第一行到最后的第N行的和像素值[Lan(2)]的和像素值总和，其中每个和像素值[Lan(2)]是左侧图像的与边界501邻近的两个像素[an]和[an’]的水平[Lan]和[Lan′]的总和，以及 (b)第一行到最后的第N行的和像素值[Lbn(2)]的和像素值总和，其中每个和像素值[Lbn(2)]是右侧图像的与边界501邻近的两个像素[bn]和[bn’]的水平[Lbn]和[Lbn′]的总和。
注意，可以(例如)从作为控制信息设置部件123的外部个人计算机(PC)设置预设差值阈值[DIFF(2)]。例如，在像素值可以被设置在利用8比特的从0到255的像素值水平范围中的情形中，差值阈值[DIFF(2)]可以被设置为从0到511的值中的一个值，该从0到511的值定义两个像素的差值的从最小值到最大值的范围。作为一个具体示例，在像素的像素值可以被设置在利用8比特的从0到255的像素值水平范围中的情形中，差值阈值[DIFF(2)]被设置为(例如)[DIFF(2)]＝64。
现在描述校正部件121的处理。校正部件121执行用于减少左侧图像区域和右侧图像区域的不连续性的图像校正。在本实施例的图像信号处理方法的图像处理中，作为用于减少左侧图像区域和右侧图像区域的不连续性的处理，执行下面的处理。具体而言，执行用于最小化由下式给出的校正像素值总和差值[SUB(2)(new)]的校正 SUB(2)(new)＝∑b(2)(new)-∑a(2)， 该校正像素总和差值是由上述处理计算出的两个和像素值总和之间的差值，该两个和像素值总和包括 (a)∑a(2)＝La1(2)+La2(2)+...LaN(2)，以及 (b)∑b(2)(new)＝Lb1(2)(new)+Lb2(2)(new)+...+LbN(2)(new)。
校正部件121基于在某一图像数据的基础上计算出的校正和像素值总和差值[SUB(new)]，执行用于图像帧的处理。
注意，该处理可以通过两种处理模式中的任一种来执行，该两种处理模式包括 (1)以帧为单位计算校正和像素值总和差值[SUB(2)(new)]并且以帧为单位执行基于计算出的数据的图像校正的一种处理模式，以及 (2)一帧图像被用来计算校正和像素值总和差值[SUB(2)(new)]并且针对该帧和多个后续帧执行基于计算出的数据的图像校正的另一种处理模式。
由校正部件121执行的图像校正处理与上面参考图9的流程图描述的处理类似。具体而言，校正部件121将校正和像素值总和差值[SUB(2)(new)＝∑b(2)(new)-∑a(2)]与预先设置的阈值[Th]相比较，并且根据该比较的结果来有选择地执行下述处理之一。具体而言， (1)如果校正和像素值总和差值[SUB(2)(new)＝∑b(2)(new)-∑a(2)]大于或等于阈值[Th]，则执行向左侧区域图像添加偏移量的校正(加校正)以提升左侧区域图像的输出水平； (2)如果校正和像素值总和差值[SUB(2)(new)＝∑b(2)(new)-∑a(2)]小于阈值[Th]并且不为负值，则不执行校正； (3)如果校正和像素值总和差值[SUB(2)(new)＝∑b(2)(new)-∑a(2)]为负值并且校正和像素值总和差值[SUB(2)(new)]的绝对值|SUB(2)(new)|大于阈值[Th]，则执行从左侧区域图像减去偏移量的校正(减校正)以降低左侧区域图像的输出水平；或者 (4)如果校正和像素值总和差值[SUB(2)(new)＝∑b(2)(new)-∑(2)a]为负值并且校正和像素值总和差值[SUB(2)(new)]的绝对值|SUB(2)(new)|小于或等于阈值[Th]，则不执行校正。
简言之，基于校正和像素值总和差值[SUB(2)(new)＝∑b(2)(new)-∑a(2)]和预设阈值[Th]之间的比较结果，执行上述四种模式(1)到(4)之一。
注意，上述阈值[Th]和校正模式信息(1)到(4)可以从诸如PC之类的控制信息设置部件123输入。此外，用于存储阈值[Th]和校正模式信息(1)到(4)的存储器可以被设置在校正部件121中，从而使得重新编码的信息被应用。校正模式信息包括校正量或偏移量。注意，通过执行与上述处理类似的适度对图像一点一点地进行校正的处理，可以避免振荡现象。
参考本发明的特定实施例详细描述了本发明。但是，应当清楚，本领域技术人员可以在不脱离本发明的主题的情况下修改或改变该实施例。具体而言，以图示的形式公开了本发明，但是本说明书所述实例不应当被限制性地解释。为了判断本发明的主题，应当参考权利要求书。
此外，上述处理序列可由硬件、软件、或者硬件和软件的组合配置执行。在处理序列由软件执行的情况下，描述处理序列的程序可以被安装到专用硬件中结合的计算机中的存储器中以被该计算机执行，或者可以被安装到可以执行各种处理的通用计算机中以被该计算机执行。例如，程序可以预先被记录在记录介质上。不仅可以将程序从记录介质安装到计算机，而且可以通过诸如LAN(局域网)或者因特网之类的网络来接收程序并且将该程序安装到诸如内置硬盘之类的记录介质中。
注意，这里所述的各种处理可能不必按照上述顺序的时间序列被执行，而是取决于执行这些处理的设备的处理能力或者偶然需求被并行或者独立执行。此外，在本说明书中，术语“系统”被用来表示包括可以不必被容纳在同一外壳中的多个设备的逻辑集合配置。
总之，利用上述实施例的配置，与图像摄取器件的划分区域相对应的输出信号被输入以对其执行校正处理，包括位于与对应于图像摄取器件的划分区域、并且包括每行的至少一个像素的与第一图像区域和第二图像区域之间的边界邻近的像素列中的像素的边界像素的像素值被获取。然后，计算第一像素值总和(其是第一图像区域中多个行中的边界像素的像素值的和值)。此外，如果第二图像区域中任一行中的、像素列中的像素的像素值和第一像素区域中同一行中的、像素列中的对应像素的像素值之间的差值大于预设阈值，则第二图像区域中的像素的像素值被替换以第一图像区域中的像素的像素值。然后，计算校正第二像素值总和(其是第二图像区域中多个行中的边界像素的部分替换像素值，即包括置换后的像素值的像素值的和值)。此后，对作为第一像素值总和和校正第二像素值总和之间的差值的校正像素值总和差值与预设阈值进行比较。然后，以根据该比较的结果确定的校正模式执行对划分区域图像的校正处理。具体而言，如果该差值的绝对值大于该阈值，则执行改变划分区域图像的像素值的处理。利用所述配置，可以高效地执行像素值校正(即，消除划分图像区域中的不连续性的校正)，而不执行诸如划分区域校正检测之类的处理。
本领域技术人员应当理解，取决于设计需求和其他因素，可以进行各种修改、组合、子组合和替换，只要它们在所附权利要求及其等同物的范围内。
本发明包含于2007年9月21日递交到日本专利特许厅的日本专利申请JP 2007-244719相关的主题，该在先日本专利申请的全部内容通过引用被结合于此。
权利要求
1.一种用于对图像摄取器件的输出执行信号处理的图像信号处理电路，包括
图像信号校正部件，该图像信号校正部件被配置为接收与所述图像摄取器件的划分区域相对应的输出信号作为输入，并且对所接收的信号执行校正处理；
所述图像信号校正部件包括
计算部件，该计算部件被配置为获取边界像素的像素值，其中所述边界像素包括位于与和所述图像摄取器件的所述划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算部件还被配置为计算第一像素值总和、以及校正第二像素值总和，其中所述第一像素值总和是所述第一图像区域中的边界像素的各行像素值的和值，所述校正第二像素值总和是所述第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算部件还被配置为计算作为所述第一像素值总和和所述校正第二像素值总和之间的差值的校正像素值总和差值，以及
校正部件，该校正部件被配置为执行由所述计算部件计算出的所述校正像素值总和差值与预先确定的阈值之间的比较，根据所述比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对所述划分区域图像执行像素值校正处理，
所述计算部件执行所述校正第二像素值总和的计算处理，使得以一行为单位来执行所述第二图像区域中的边界像素的边界像素值和所述第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用所述第一图像区域中的边界像素的像素值对所述第二图像区域中的边界像素的像素值进行重写。
2.如权利要求1所述的图像信号处理电路，其中所述图像信号校正部件被配置为对单色图像执行图像校正处理，并且
获取所述第一图像区域和所述第二图像区域中的每个图像区域中的像素列的像素值，其中所述像素列包括所述多个行中的每行中的、与分别与所述图像摄取器件的划分区域相对应的所述第一图像区域和所述第二图像区域之间的边界邻近的一个像素，并且
执行计算所述第一像素值总和、以及所述校正第二像素值总和的处理，其中所述第一像素值总和是所述第一图像区域中的像素列中的分别与所述多个行中的一行中的边界邻近的那些像素的像素值的和值，所述校正第二像素值总和是所述第二图像区域中的像素列中的分别与所述多个行中的一行中的边界邻近的那些像素的部分替换像素值的和值。
3.如权利要求1所述的图像信号处理电路，其中所述图像信号校正部件被配置为对彩色图像执行图像校正处理，并且
获取所述第一图像区域和所述第二图像区域中的每个图像区域中的像素列的像素值，其中所述像素列包括所述多个行中的每行中的、与分别与所述图像摄取器件的所述划分区域相对应的所述第一图像区域和所述第二图像区域之间的边界邻近的多个像素，并且
执行计算所述第一像素值总和、以及所述校正第二像素值总和的处理，其中所述第一像素值总和是所述第一图像区域中的像素列中的、分别与所述多个行中的一行中的边界邻近的那些像素的像素值的和值，所述校正第二像素值总和是所述第二图像区域中的像素列中的、分别与所述多个行中的一行中的边界邻近的那些像素的部分替换像素值的和值。
4.如权利要求1所述的图像信号处理电路，还包括
多个输出放大器，该多个输出放大器被配置为基于与所述图像摄取器件的所述划分区域相对应的电荷信息输出电压信息；
多个信号处理部件，该多个信号处理部件被配置为分别接收所述多个输出放大器的输出作为输入，以产生数字信号；以及
复用器，该复用器被配置为对所述多个信号处理部件的输出进行复用；
所述计算部件从所述复用器接收数字图像信号，以执行对所述校正像素值总和差值的计算，
所述校正部件从所述复用器接收所述数字图像信号，以执行所述像素值校正处理。
5.如权利要求1所述的图像信号处理电路，其中如果所述校正像素值总和差值的绝对值大于所述预设阈值，则所述校正部件执行用于改变所述划分区域图像的像素值的像素值校正处理，但是如果所述校正像素值总和差值的绝对值小于或等于所述预设阈值，则所述校正部件不执行所述校正处理。
6.如权利要求1所述的图像信号处理电路，其中所述校正部件将所述校正像素值总和差值与所述预设阈值相比较，并且根据所述比较的结果有选择地执行四种操作模式之一，其中所述第一像素值总和用∑a表示并且所述第二像素值总和用∑b表示，并且所述四种模式包括
(1)如果所述校正像素值总和差值大于或等于所述阈值，则执行进行用于提升所述第一图像区域的输出水平的校正的操作模式；
(2)如果所述校正像素值总和差值小于所述阈值并且不为负值，则执行不进行校正的另一种操作模式；
(3)如果所述校正像素值总和差值为负值并且所述校正像素值总和差值的绝对值大于所述阈值，则执行进行用于降低所述第一图像区域的输出水平的校正的又一种操作模式；以及
(4)如果所述校正像素值总和差值为负值并且所述校正像素值总和差值的绝对值小于或等于所述阈值，则执行不进行校正的再一种操作模式。
7.如权利要求1所述的图像信号处理电路，其中所述校正部件设置绝对值比所述校正像素值总和差值的绝对值小的校正量，以对每个图像帧执行所述校正处理。
8.一种图像摄取设备，包括
图像摄取部件；以及
图像信号处理部件，该图像信号处理部件被配置为对来自所述图像摄取部件的图像信号执行信号处理；
所述图像摄取部件包括用来输出与图像摄取器件的每个划分区域相对应的输出信号的配置，
所述图像信号处理部件包括图像信号校正部件，该图像信号校正部件被配置为接收与所述图像摄取器件的划分区域相对应的输出信号作为输入，并且对所接收的信号执行校正处理；
所述图像信号校正部件包括
计算部件，该计算部件被配置为获取边界像素的像素值，其中所述边界像素包括位于与和所述图像摄取器件的所述划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算部件还被配置为计算第一像素值总和、以及校正第二像素值总和，其中所述第一像素值总和是所述第一图像区域中的边界像素的各行像素值的和值，所述校正第二像素值总和是所述第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算部件还被配置为计算作为所述第一像素值总和和所述校正第二像素值总和之间的差值的校正像素值总和差值，以及
校正部件，该校正部件被配置为执行由所述计算部件计算出的所述校正像素值总和差值与预先确定的阈值之间的比较，根据所述比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对所述划分区域图像执行像素值校正处理，
所述计算部件执行所述校正第二像素值总和的计算处理，使得以一行为单位来执行所述第二图像区域中的边界像素的边界像素值和所述第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用所述第一图像区域中的边界像素的像素值对所述第二图像区域中的边界像素的像素值进行重写。
9.一种由用于对图像摄取器件的输出执行信号处理的图像信号处理设备执行的图像信号处理方法，包括
图像信号校正步骤，由所述图像信号处理设备的图像信号校正部件执行，用于接收与所述图像摄取器件的划分区域相对应的输出信号作为到所述图像信号校正部件的输入，并且对所接收的信号执行校正处理；
所述图像信号校正步骤包括
计算步骤，由所述图像信号校正部件的计算部件执行，用于获取边界像素的像素值，其中所述边界像素包括位于与和所述图像摄取器件的所述划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算步骤还用于计算第一像素值总和、以及校正第二像素值总和，其中所述第一像素值总和是所述第一图像区域中的边界像素的各行像素值的和值，所述校正第二像素值总和是所述第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算步骤还用于计算作为所述第一像素值总和和所述校正第二像素值总和之间的差值的校正像素值总和差值，以及
校正步骤，由所述图像信号校正部件的校正部件执行，用于执行由所述计算部件计算出的所述校正像素值总和差值与预先确定的阈值之间的比较，根据所述比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对所述划分区域图像执行像素值校正处理，
所述计算步骤是这样的步骤用于执行所述校正第二像素值总和的计算处理，使得以一行为单位来执行所述第二图像区域中的边界像素的边界像素值和所述第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用所述第一图像区域中的边界像素的像素值对所述第二图像区域中的边界像素的像素值进行重写。
10.一种用于使图像信号处理设备对图像摄取器件的输出执行信号处理的计算机程序，包括
图像信号校正步骤，用于使所述图像信号处理设备的图像信号校正部件接收与所述图像摄取器件的划分区域相对应的输出信号作为到所述图像信号校正部件的输入，并且对所接收的信号执行校正处理；
所述图像信号校正步骤包括
计算步骤，用于使所述图像信号校正部件的计算部件获取边界像素的像素值，其中所述边界像素包括位于与和所述图像摄取器件的所述划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算步骤还用于使所述计算部件计算第一像素值总和、以及校正第二像素值总和，其中所述第一像素值总和是所述第一图像区域中的边界像素的各行像素值的和值，所述校正第二像素值总和是所述第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算步骤还用于使所述计算部件计算作为所述第一像素值总和和所述校正第二像素值总和之间的差值的校正像素值总和差值，以及
校正步骤，用于使所述图像信号校正部件的校正部件执行由所述计算部件计算出的所述校正像素值总和差值与预先确定的阈值之间的比较，根据所述比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对所述划分区域图像执行像素值校正处理，
所述计算步骤是这样的步骤用于执行所述校正第二像素值总和的计算处理，使得以一行为单位来执行所述第二图像区域中的边界像素的边界像素值和所述第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用所述第一图像区域中的边界像素的像素值对所述第二图像区域中的边界像素的像素值进行重写。
11.一种用于对图像摄取器件的输出执行信号处理的图像信号处理电路，包括
图像信号校正装置，用于接收与所述图像摄取器件的划分区域相对应的输出信号作为输入，并且对所接收的信号执行校正处理；
所述图像信号校正装置包括
计算装置，用于获取边界像素的像素值，其中所述边界像素包括位于与和所述图像摄取器件的所述划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算装置用于计算第一像素值总和、以及校正第二像素值总和，其中所述第一像素值总和是所述第一图像区域中的边界像素的各行像素值的和值，所述校正第二像素值总和是所述第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算装置还用于计算作为所述第一像素值总和和所述校正第二像素值总和之间的差值的校正像素值总和差值，以及
校正装置，用于执行由所述计算装置计算出的所述校正像素值总和差值与预先确定的阈值之间的比较，根据所述比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对所述划分区域图像执行像素值校正处理，
所述计算装置执行所述校正第二像素值总和的计算处理，使得以一行为单位来执行所述第二图像区域中的边界像素的边界像素值和所述第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用所述第一图像区域中的边界像素的像素值对所述第二图像区域中的边界像素的像素值进行重写。
12.一种图像摄取设备，包括
图像摄取装置；以及
图像信号处理装置，用于对来自所述图像摄取装置的图像信号执行信号处理；
所述图像摄取装置包括用于输出与图像摄取器件的每个划分区域相对应的输出信号的配置，
所述图像信号处理装置包括图像信号校正装置，该图像信号校正装置用于接收与所述图像摄取器件的所述划分区域相对应的输出信号作为输入并且对所接收的信号执行校正处理；
所述图像信号校正装置包括
计算装置，用于获取边界像素的像素值，其中所述边界像素包括位于与和所述图像摄取器件的所述划分区域相对应的第一图像区域和第二图像区域之间的边界邻近的位置的像素，该计算装置还用于计算第一像素值总和、以及校正第二像素值总和，其中所述第一像素值总和是所述第一图像区域中的边界像素的各行像素值的和值，所述校正第二像素值总和是所述第二图像区域中的边界像素的各行像素值部分被替换后的和值，该计算装置还用于计算作为所述第一像素值总和和所述校正第二像素值总和之间的差值的校正像素值总和差值，以及
校正装置，用于执行由所述计算装置计算出的所述校正像素值总和差值与预先确定的阈值之间的比较，根据所述比较的结果来判断用于划分区域图像的校正模式，并且根据所判断的校正模式对所述划分区域图像执行像素值校正处理，
所述计算装置执行所述校正第二像素值总和的计算处理，使得以一行为单位来执行所述第二图像区域中的边界像素的边界像素值和所述第一图像区域中的边界像素的边界像素值之间的差值计算，如果所计算出的像素值差值大于预设阈值，则用所述第一图像区域中的边界像素的像素值对所述第二图像区域中的边界像素的像素值进行重写。
全文摘要
本发明公开了一种图像信号处理电路、图像摄取设备和图像信号处理方法。该图像信号处理电路用于对图像摄取器件的输出执行信号处理，并且包括图像信号校正部件；该图像信号校正部件包括计算部件和校正部件。
文档编号H04N5/335GK101404715SQ200810211668
公开日2009年4月8日 申请日期2008年9月19日 优先权日2007年9月21日
发明者萩原茂 申请人:索尼株式会社