图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种对与已在固态摄像装置中出现的缺陷像 素相关联的图像信号进行校正的缺陷像素校正技术。
背景技术：
在相关技术中，已知在电荷耦合器件(CCD)传感器和互补 金属氧化物半导体(CMOS)传感器等的固态摄像装置中，输出异 常图像信号的缺陷像素出现在固态摄像装置的制造过程中。很 难在固态摄像装置的制造过程中完全避免出现缺陷像素。因此， 在相关技术中，已经实现了使用图像处理来校正从缺陷像素输 出的图像信号的缺陷像素校正技术。
通常，在相关技术中所使用的缺陷像素校正方法中，使用 插值处理来校正从缺陷像素输出的信号，在该插值处理中，使 用从与缺陷像素相邻的、并具有与缺陷像素相同颜色的正常像 素输出的信号。在这种情况下，当从工厂运送固态摄像装置时， 通过对预定条件下的暗输出和曝光输出进行评价，将具有落在 预定输出范围外的输出值的像素判断为缺陷像素。然后，获取 关于黑色像素和白色像素等的缺陷像素类型的数据、关于缺陷 像素的地址数据(图像数据的水平方向上的坐标X和垂直方向 上的坐标Y)、以及关于缺陷像素的输出等级的数据，作为缺陷 校正数据。
将缺陷校正数据存储在只读存储器(ROM)等中，并且将该 ROM安装在电子照相机等的图像处理设备中。该图像处理设备 使用缺陷校正数据进行缺陷校正处理。
近来，因为固态摄像装置中的像素数已增加，所以固态摄像装置已经能够拍摄非常精细的静止图像。此外，已经实现了 不仅能够显示/记录静止图像而且还能够显示/记录运动图像的 电子照相机。当显示/记录运动图像时，为了获得时间方向上的
更精细的解像力(resolving power)，需要确保每秒至少大约 24-30帧的帧率。
另外，为了进行在拍摄静止图像的情况下生成从大量像素 读取的图像数据的生成处理和在拍摄运动图像的情况下以高的 帧率来读取图像数据的读取处理这两者，当拍摄运动图像时， 设计固态摄像装置，从而使得可以降低输出图像数据的像素数。 例如，当以高速从固态摄像装置的所有像素区域读取图像数据 时，进行如下的读取处理，即疏化(thinned-out)读取处理从固 态摄像装置的水平和垂直方向中的每个方向上的每预定数量的 像素中的一个像素读取图像数据。结果，可以降低输出图像数 据的像素数。
作为用于降低输出图像数据的像素数的另一个方法，已知 使用所谓的像素混合单元(pixel-combination unit)的疏化像素 相力口读取处理(thinned-out pixel-addition reading process)。
当简
单地进行疏化读耳又处理时，空间上减小采样频率，从而导致噪 声的增加。由于该原因，在疏化像素相加读取处理中，在固态 摄像装置中，将不读取的像素输出与要读取的像素输出相加， 以获得相加后的像素输出，并读取相加后的像素输出。例如， 作为疏化像素相加读取处理，已经提出了日本特开2002-135793 中所公开的方法。
另外，特别地，在CMOS型固态摄像装置中，还可以容易 地进行仅从设置在固态摄像装置的特定区域中的像素读取像素 数据的部分剪切读取处理。
关于用于对固态摄像装置的缺陷像素进行校正的方法，当改变从固态摄像装置读取图像数据的读取方法时，因为根据读 取方法，要获得的图像数据的大小改变，因而还需要改变用作 上述缺陷校正数据的关于缺陷像素的地址数据。
因此，假设当读取运动图像时，也以相同的方式来校正缺 陷像素。作为关于缺陷像素的地址数据，需要从与用于全部像 素读取模式的图像大小相对应的地址数据转换为与用于读取运 动图像的情况的图像大小相对应的地址数据。另外，当将固态 摄像装置从其工厂运送时，对于读取运动图像的情况，需要预 先获取各种类型的缺陷校正数据，并将所有数据存储在照 一 目机
中。根据固态摄像装置的读取方法，需要对各种类型的缺陷校 正数据中要应用的缺陷校正数据进行切换。可选地，当装配照
相机时，对于读取运动图像的情况，需要提取缺陷校正数据， 并将该缺陷校正数据写入照相机。
此外，存在以下问题。例如，在根据固态摄像装置的读取 方法切换地址转换方法的情况下，用于照冲目机系统的存储器的
大小与在拍摄静止图像的情况下所使用的ROM的大小相同。然 而，使用照相机的固件对每个读取方法进行地址再转换，转换 处理的负荷较重。因此，由于需要许多时间来进行转换处理， 因而难以在实际短的时间内完成转换处理。
特别地，在可以用于静止图像的全部像素读取处理的缺陷 校正数据中，为了支持高国际标准化组织(ISO)感光度(speed rating)和长时间曝光，说明了关于具有非常低的等级的缺陷像 素的信息。缺陷校正数据的数据大小非常大。
相反，关于运动图像的读取处理，即使当所使用的ISO感 光度与静止图像的读取处理中所使用的ISO感光度相同时，因 为基于帧率定义了最大曝光时间，因而也不必考虑长时间曝光。 所生成的运动图像的缺陷校正数据的大小小于静止图像的缺陷校正数据的大小。然而，即使当要生成大小较小的运动图像的 缺陷校正数据时，也需要在大小较大的静止图像的缺陷校正数 据中搜索要校正的缺陷像素，并进行地址转换。由于该原因， 明显增加了处理负荷。
在进行疏化像素相加读取处理的情况下，当要读取的像素 和要相加的周边像素都为缺陷像素时，缺陷像素影响地址转换。 因此，地址转换的进行需要更复杂的处理。
假定要存储可以在固态摄像装置的读取方法中使用的全 部类型的缺陷校正数据。运动图像的缺陷校正数据的大小较小。 然而，需要为每个读取方法准备缺陷校正数据。更具体地，当 支持剪切读取处理时，需要为每个剪切率、每个读取位置准备 缺陷校正数据。因此，增加了要保存的数据类型的数量，并且
在照相机系统中，所使用的保存缺陷校正数据的ROM的区域的 大小非常大。还增加了管理所需的负荷。
例如，假定在水平和垂直方向中的每个方向上剪切并读取 图像数据的1/5。即使当在水平和垂直方向中的每个方向上，将 读取开始位置和读取结束位置限制为图像数据中的5个位置，也 可以选择25(=5><5)个不同的读取位置。因为需要为每个读取位 置准备缺陷校正数据，因而即使在该情况下，缺陷校正数据的 类型的数量也是25。
当在照相机的制造过程中生成这些数据时，需要获取每个 相应的读取方法的数据。因此，出现了造成成本增加的各种因 素，例如，上述因素中的 一 个是制造过程中的测试时间的增加。
考虑到上述情况，当以各种类型的方法读取固态摄像装置 的像素数据以摄像时，期望容易地以低成本进行缺陷像素的缺 陷校正处理。

发明内容
本发明提供一种图像处理设备和图像处理方法。
根据本发明的一方面，提供一种图像处理设备，包括存 储介质，在所述存储介质中预先存储有第一校正数据；生成器 电路，用于使用从在摄像装置被遮光的状态下进行电荷累积的 所述摄像装置读取的图像数据，来生成第二校正数据；第一校 正电路，用于基于所述第一校正数据，校正与所述摄像装置的 缺陷像素相关联的图像数据；第二校正电路，用于基于所述第 二校正数据，校正与所述摄像装置的缺陷像素相关联的图像数 据；以及控制电路，用于基于从所述摄像装置读取的图像数据 中的像素数，选择所述第一校正电路或者所述第二校正电路来 校正与所述摄像装置的缺陷像素相关联的图像数据。
根据本发明的另一方面，提供一种图像处理设备，包括 存储介质，在所述存储介质中预先存储有第一校正数据；生成 器电路，用于使用从在摄像装置被遮光的状态下进行电荷累积 的所述摄像装置读取的图像数据，来生成第二校正数据；第一 校正电路，用于基于所述第一校正数据，校正与所述摄像装置 的缺陷像素相关联的图像数据；第二校正电路，用于基于所述 第二校正数据，校正与所述摄像装置的缺陷像素相关联的图像 数据；以及控制电路，用于基于从所述摄像装置读取的图像数 据对应于运动图像还是静止图像，选择所述第 一校正电路或者 所述第二校正电路来校正与所述摄像装置的缺陷像素相关联的 图像数据。
根据本发明的另一方面，提供一种图像处理方法，用于校 正与摄像装置的缺陷像素相关联的图像数据，所述图像处理方 法包括以下步骤判断从所述摄像装置读取的图像数据中的像 素数；选择步骤，用于基于从所述摄像装置读取的图像数据中的像素数，选择使用第一校正数据的第一缺陷像素校正步骤或 者使用第二校正数据的第二缺陷像素校正步骤，所述第一校正 数据已经预先存储，所述第二校正数据是根据从在所述摄像装 置被遮光的状态下进行电荷累积的所述摄像装置读取的图像数
据得出的；以及执行所选择的缺陷像素校正步骤，从而校正与
所述摄像装置的缺陷像素相关联的图像数据。
根据本发明的另一方面，提供一种图像处理方法，用于校 正与摄像装置的缺陷像素相关联的图像数据，所述图像处理方
法包括以下步骤判断从所述摄像装置读取的图像数据涉及运 动图像还是静止图像；选择步骤，用于选择使用第一校正数据 的第 一 缺陷像素校正步骤或者使用第二校正数据的第二缺陷像 素校正步骤，所述第一校正数据是预先存储的，所述第二校正 数据是使用从在所述摄像装置被遮光的状态下进行电荷累积的 所述摄像装置读取的图像数据生成的；以及执行所选择的缺陷 像素校正步骤，从而校正与所述摄像装置的缺陷像素相关联的 图像数据。
根据以下参考附图对典型实施例的说明，本发明的其它特 征将变得显而易见。


图l是根据本发明实施例的图像处理设备(摄像设备)的结
构的示意性框图。
图2是示出摄像设备的图像拍摄操作的概要的流程图。
图3是示出图2中所示的步骤S205的静止图像拍摄处理的
细节的流程图。
图4是示出图3中所示的步骤S305的图像拍摄处理的细节 的流程图。图5是摄像设备的缺陷校正电路的框图。
图6是示出图2中所示的步骤S206的运动图像拍摄处理的 细节的流程图。
图7是示出图6中所示的步骤S601的获取运动图像的缺陷
校正数据的处理的细节的流程图。
图8是全部像素读取处理的图(在拍摄静止图像的情况下)。
图9是疏化读取处理的图(在拍摄运动图像的情况下)。
图10是疏化像素相加读取处理的图(在拍摄运动图像的情
况下)。
图ll是部分剪切读取处理的图(在电子变焦模式下)。
图12是部分剪切并读取的区域的图(在电子变焦模式下)。
具体实施例方式
现在将参考

本发明的典型实施例。图l是根据本 发明实施例的作为图像处理设备的摄像设备的结构的示意性框图。
摄像设备包括摄像装置101、模拟前端(analog front end, AFE)102、数字信号处理器(DSP)103、定时生成器电路104以及 中央处理单元(CPU)105。
作为摄像装置101 ，例如使用C M O S传感器(固态摄像装置)。 CMOS传感器包括能够基于ISO感光度切换增益的放大器 电路(未示出)。可以在从所有像素读取图像数据的全部像素读 取模式(第 一操作模式)、从疏化像素读取图像数据的疏化读取 模式(第二操作模式)、以及部分剪切读取模式(第二操作模式) 中读取包括由CMOS传感器拍摄的图像的图像数据，其中，在
该部分剪切读取模式中，在水平和垂直方向中的每个方向上选 择读取开始位置和读取结束位置，并且从使用这些位置确定像素读取图像数据。此外，在疏化读取模式中，可以在疏化像 素相加读取模式中读取图像数据，在该疏化像素相加读取模式
中，对设置在CMOS传感器中的多个像素的输出进行相加、平
均并输出。
图8示出通常的全部像素读取处理。在图8的左侧示出了摄 像装置101的像素的物理配置。各自在相应的像素区域中示出的 符号"R"、 "Gr"、 "Gb，，以及"B，，表示原色拜耳排列(primary-color Bayer pattern)。当在水平和垂直方向上顺序扫描^f聂像装置101 的像素时，可以获得全部像素的输出作为时间系列。在图8的右 侧示出了作为时间系列的图像数据。在这种情况下，由于读取 了全部像素，因而要获得的图像数据合理地具有与像素的物理 配置相类似的像素(颜色)的排列。
AFE 102包括将从摄像装置101输出的模拟信号转换成数 字信号的模数(A/D)转换器，并且具有钳制暗偏移电平(dark offset level)的功能。DSP 103使用各种类型的校正处理、显影 处理以及压缩处理来对从AFE 102输出的数据进行处理。另外， DSP 103进行访问只读存储器(ROM)106和随机访问存储器 (RAM)l07等的各种类型的存储器的访问处理、将图像数据写入 记录介质108的写处理、以及将各种类型的数据显示在液晶显示 器(LCD)114上的显示处理等。
DSP 103包括缺陷校正电路1033(参见图5)。换句话说，DSP 10 3具有使用从其它像素输出的输出数据来校正从缺陷像素输 出的输出数据的缺陷像素校正功能。在ROM106中，存储在静 止图像拍摄模式中使用的、在制造摄像设备或摄像装置101时所 生成的缺陷校正数据(第 一校正数据)。
由CPU 105控制定时生成器电路104，以-使将时钟信号和控 制信号提供给摄像装置101、 AFE 102以及DSP 103。定时生成器电路104和DSP 103 —起工作以生成与CMOS传感器的各种类 型的读取才莫式相对应的定时信号。
CPU 105对DSP 103、定时生成器电-各104、以及^f吏用测光 控制单元(未示出)和测距控制单元(未示出)等的照相机功能进 行控制。例如，将电源开关109、第 一阶4更快门开关SWl(llO)、 第二阶段快门开关SW2(111)、模式拨盘112以及ISO感光度设置 开关113连接到CPU 105。 CPU 105基于开关和拨盘的设置来进 行处理。
ROM 106存储用于控制摄像设备的控制程序，即，由CPU 105根据图2、 3、 4、 6和7所示的处理来执行的程序，以及各种 类型的校正数据(包括缺陷校正数据)等。通常使用闪存来配置 ROM 106。对RAM107进行配置，以使得以比在ROM 106的情 况下更高的速度通过CPU 105来访问。RAM 107用作工作区域， 并且临时存储要由DSP 103处理的图像数据等。将存储在ROM 106中的缺陷校正数据加载到当拍摄图像时要使用的RAM 107 中。
作为记录介质108，例如可以使用能够保存包括拍摄图像 的图像数据的存储卡等。例如，记录介质108通过连接器(未示 出)连接到DSP 103。由用户控制电源开关109以启动摄像设备。 当第 一阶段快门开关SW1接通时，进行测光处理和测距处理等 的拍摄图像前处理。当第二阶段快门开关SW2接通时，开始一 系列摄像操作，在这些操作中，驱动反射镜(未示出)和快门(未 示出)，并经由AFE 102和DSP 103将包括由摄像装置101拍摄的 图像的图像数据写入记录介质108。
模式拨盘112用来设置摄像设备的各种类型的操作模式。 ISO感光度设置开关113用来设置用于拍摄图像的摄像设备的 ISO感光度。LCD 114显示照相机信息。另外，LCD 114再现并显示所拍摄的图像，或显示运动图像数据。
接着，将基于图2中所示的流程图说明图1中所示的摄像设 备的图像拍摄操作的概要。
当电源开关109接通时(步骤S201)， CPU 105判断电池中是 否还剩余拍摄图像所需的电能。结果，当电池中没有剩余拍摄 图像所需的电能时，CPU 105将示出上述结果的警告消息显示 在LCD 114上(步骤S211)。然后，CPU 105返回到步骤S201,并 等待直到电源开关109再次接通为止。
当电池中剩余拍摄图像所需的电能时，CPU 105检查记录 介质108(步骤S203)。更具体地，CPU 105;险查在ii像设备中是
否安装有能够记录大小等于或大于预定大小的数据的记录介质 108。当在摄像设备中没有安装能够记录大小等于或大于预定大 小的数据的记录介质108时，CPU 105将示出上述结果的警告信 息显示在LCD 114上(步骤S211)。然后，CPU 105返回到步骤 S201。
当在摄像设备中安装有能够记录大小等于或大于预定大 小的数据的记录介质108时，CPU 105判断使用模式拨盘112所 设置的图像拍摄模式是静止图像拍摄模式还是任何一个运动图 像拍摄模式(步骤S204)。当设置了静止图像拍摄模式时，CPU 105进行静止图像拍摄处理(步骤S205)。当设置了任何一个运动 图像拍摄模式时，CPU 105进行运动图像拍摄处理(步骤S206)。
接着，将基于图3所示的流程图说明图2所示的步骤S205的 静止图像拍摄处理的细节。
在静止图像拍摄处理中，首先，CPU 105等待直到快门开 关SW1接通为止(步骤S301)。然后，当快门开关SW1接通时， CPU 105分别4吏用测光控制单元(未示出)和测距控制单元(未示 出)，来进行确定光圏值和快门速度的测光处理、以及调整图像拍摄镜头以聚焦在被摄体上的测距处理(步骤S302)。
接着，CPU 105判断快门开关SW2是否接通(步骤S303)。结
果，当快门开关SW2没有4妻通时，CPU 105判断快门开关SW1
接通的状态是否继续(步骤S304)。
当快门开关SW1接通的状态继续时，CPU 105返回到步骤
S303，并判断快门开关SW2是否接通。相反，当快门开关SW1
接通的状态没有继续时，CPU 105返回到步骤S301,并等待直
到快门开关SW1再次接通为止。
在步骤S303中，当判断为快门开关SW2接通时，CPU 105
进行图像拍摄处理(步骤S 3 0 5)。以下将说明图像拍摄处理的细
节
接着，CPU 105控制DSP 103,从而DSP 103可以进行对所 拍摄的图像数据进行显影的显影处理(步骤S306)。然后，CPU 105控制DSP 103，从而DSP 103可以进行对已经过显影处理的 图像数据进行压缩、并将已经过压缩处理的图像数据存储在 RAM 107的空闲区域的压缩处理(步骤S307)。
然后，CPU 105控制DSP 103，从而DSP 103可以读取存储 在RAM 107中的图像数据，并可以进行将图像数据记录在记录 介质108中的记录处理(步骤S308)。 CPU 105检查电源开关109 是接通还是断开(步骤S309)。当电源开关109仍然接通时，CPU 105返回到步骤S301，并准备下一个要拍摄的图像。相反，当 电源开关109断开时，CPU 105返回到图2所示的步骤S201，并 等待直到电源开关109再次接通为止。
接着，将基于图4所示的流程图说明图3所示的步骤S305的 图像拍摄处理的细节。
在图像拍摄处理中，CPU 105对包括在摄像装置101中的放 大器的增益、包括在AFE 102中的电路的增益等进行设置，从而用于拍摄图像的摄像设备的ISO感光度可以等于使用ISO感光度设置开关113所设置的ISO感光度(步骤S400)。然后，CPU 105选择缺陷校正数据(步骤S401)。在本实施例 中，要校正的缺陷像素的类型局限于白缺陷。白缺陷具有白缺 陷的等级根据曝光时间(电荷累积时间)而增加的特性。另外，在对具有相同等级的两个白缺陷进行比较的情况下，当使用已 经设置的高ISO感光度显示两个白缺陷中的一个时，将该白缺 陷识别为比图像中其它白缺陷更大的缺陷。由于该原因，在本 实施例中，作为用来判断设置在摄像装置101中的像素是否为要 校正的缺陷像素的判断值，使用如下的判断值对该判断值进 行设置，以使得ISO感光度越高，即快门时间越长，则可以校 正的缺陷像素的最大等级就越小。换句话说，在步骤S401中，CPU 105基于已使用ISO感光度 设置开关113设置的ISO感光度和已在图3所示的步骤S302中确 定的快门速度，来确定缺陷像素的判断值。CPU 105将判断值 与存储在R O M 10 6中的缺陷校正数据中描述的等级值进行比 较。然后，CPU 105仅从缺陷校正数据中描述的缺陷像素中选 择等级高于判断值的像素，作为要校正的缺陷像素。CPU 105 将与要校正的缺陷像素相关联的缺陷校正数据加载到RAM 107 中。在该情况下，缺陷校正数据仅包括关于要校正的缺陷像素 的地址信息。接着，CPU 105将反射镜移动到反射镜上位置(mirror-up position)(步骤S402)。 CPU 105基于已在图3所示的步骤S302的 测光处理中获取的测光数据来驱动光圏，直到当光圈具有预定 光圏值为止。CPU 105删除(清除)来自摄像装置101的电荷(步骤 S404)。 CPU 105开始摄像装置101中的电荷累积(步骤S405)。 CPU 105打开快门(步骤S406),并开始对摄像装置101进行曝光(步骤S407)。CPU 105等待直到经过了由测光数据限定的曝光结束时间 为止(步骤S408)。当经过了曝光结束时间时，CPU105关闭快门 (步骤S409)。接着，CPU 105驱动光圏直到光圈具有用于释放光 圈的光圏值为止(步骤S410)。 CPU 105将反射镜驱动到反射镜下 位置(mirror-down position)(步骤S411)。之后，CPU 105等待直 到经过了已设置的电荷累积时间为止(步骤S412)。当经过了电 荷累积时间时，CPU 105结束摄像装置101中的电荷累积(步骤 S413)。然后，CPU 105从摄像装置101读取信号(步骤S414)。在该 情况下，具有钳制暗偏移电平的功能的AFE 102使用来自摄像 装置101的光学黑单元(未示出)的输出来进行钳制操作。接着，CPU 105进行缺陷校正处理(步骤S415)(第一校正处 理)。使用图5中所示的缺陷校正电路1033来进行缺陷校正处理。 换句话说，如图5所示，DSP 103包括缺陷才交正电^各1033。缺陷 校正电路1033将从AFE 102输入的、从每个缺陷^象素所读取的 数据替换为从具有相同颜色的紧接在前的像素所读取的数据。将参考图5详细说明缺陷校正处理。如上所述，在步骤S401 中，已将仅关于在拍摄静止图像的情况下要校正的缺陷像素的 地址信息加载在RAM 107中。包括在DSP 103中的缺陷校正电路 1033基于RAM 107中的关于缺陷像素的地址信息，对每个缺陷 像素进行缺陷校正处理。对于每个缺陷像素，使用作为基准信号的同步信号，将地 址信息转换并描述为示出与缺陷像素相对应的信号出现的定时 的定时数据。存储器控制电路1031将描述关于缺陷像素的地址 信息的定时数据传送到地址比较器电路10 3 2 。地址比较器电路10 3 2使用作为基准信号的同步信号，将从摄像装置101的像素读取数据的时刻与在描述地址信息的定时 数据中示出的时刻进行比较。当从摄像装置101的像素读取数据的时刻与定时^:据中示出的时刻 一致时，缺陷4交正电i 各1033将 从像素读取的像素数据替换为从具有相同颜色的紧接在前的像 素读取的像素数据，以获得替换后的像素数据，并输出替换后的像素数据。然后，为了准备下一缺陷像素的缺陷校正处理，存储器控 制电路103 1立即将描述关于下 一缺陷像素的地址信息的定时数 据传送到地址比较器电路1032。以相同的方式，由缺陷校正电 路10 3 3进行缺陷校正处理，以校正从缺陷像素读取的像素数据。在I)SP 103中包括的其它处理电^各1034中，对已经过缺陷 校正处理的图像数据进行各种类型的处理，例如图3中所示的步 骤S306的显影处理、步骤S307的压缩处理以及步骤S308的记录 处理。接着，将说明运动图像拍摄处理。在本实施例中，当设置 了运动图像拍摄模式时，设计摄像设备，以使得将反射镜(未示 出)移动到反射镜上位置，从而打开快门，并进行将从摄像装置 101读取的图像数据连续显影并显示在LCD 114上的监视器操 作。只要快门开关SW2接通，则设计摄像设备，以使得将运动 图像数据连续记录在记录介质108中。为了使摄像设备离开运动图像拍摄模式，改变模式拨盘 112的设置，或断开电源开关109。此外，可以使用其他设置单 元(未示出)设置要记录的运动图像的大小、位置和帧率等。在 本实施例中，根据运动图像的大小、位置和帧率等的不同，设 计以下运动图像拍摄模式。正常运动图像模式正常运动图像模式是从水平和垂直方向上的设置在摄像装置101中的每5个像素中的仅一个像素读取像素数据的模式。换句话说，如图9所示，正常运动图像模式是进行l/5疏化读取 处理的运动图像拍摄模式。在该情况下，因为要读取的像素数 为1/25，因此可以显著地减少读:f又时间。 高速运动图像模式在高速运动图像模式中，从水平方向上的设置在摄像装置 101中的每ll个像素中的仅一个像素和垂直方向上的每5个像素 中的仅一个像素读取像素数据。另外，在水平方向上，将从每个像素读取的像素数据与从均位于与该像素相距4像素的位置 处的、并具有相同颜色的像素读取的像素数据相加，以获得相加像素数据值。对相加像素数据值进行平均，以获得相加平均 像素数据值，并输出该相加平均像素数据值作为像素数据(参见 图10)。由于疏化比高，因而当使用空间采样对信号进行采样时， 信号具有混叠(aliasing)成分。然而，通过输出相加平均像素数 据值作为像素数据，可以去除信号的混叠成分。换句话说，在 高速运动图像模式中，进行图10中所示的疏化像素相加读取处 理。在该情况下，因为可以显著减少读取时间，因而增加了每 单位时间的帧数。因此，高速运动图像模式是适合于以高速运 动的被摄体的运动图像拍摄模式。在本实施例中，为了进行上述疏化像素相加读取处理，摄 像装置101包括混合表示像素数据的模拟信号的混合单元。在进 行像素数据读取处理之前，进行如下的混合处理将从每个像 素读取的像素数据与从水平方向上的与该像素相距4像素的、并 具有相同颜色的像素读取的像素数据进行混合。通过使用混合 处理，要读取的像素数据具有通过对从每个像素读取的像素数 据和从周围像素读取的像素数据进行平均所获得的平均值。以 与在图9所示的疏化读取处理中所使用的方法相同的方法来读取使用混合处理所获得的像素数据。设置疏化比，以使得从1/5 减少到1/11。在不 <又可以在水平方向上而且可以在垂直方向上^f吏用混 合处理来混合像素数据的摄像装置中，还可以在垂直方向上使 用混合处理来混合像素数据。因此，在水平和垂直方向二者上 都可以去除使用空间采样所采样的信号的混叠成分。电子变焦模式在电子变焦模式中，因为仅扩大并显示了摄像装置101的 特定区域，因此电子变焦模式是无需疏化地仅从摄像装置101 的特定区域读取像素数据的模式。在本实施例中，如图12所示， 在水平和垂直方向二者上剪切包含有效像素数的区域的1/5。换 句话说，在电子变焦模式中，进行选择性地读取小于整个帧的 区域的部分剪切读取处理。图ll是部分剪切读取处理的图。为了进行ll所示的部分剪切读取处理，在本实施例中，可 以在摄像装置101的水平和垂直方向中的每个方向上设置读取 开始位置和读取结束位置。基于从定时生成器电路104输出的驱 动信号，可以无需疏化地从设置在使用读取开始位置和读取结 束位置所确定的区域中的所有像素读取像素数据。在本实施例中，摄像装置101是CMOS型摄像装置。因此， 可以通过改变水平和垂直方向上的移位寄存器的移位操作，来 容易地进行在与上述读取处理相对应的各种读取方法之间切换 读耳又方法的处理。接着，将基于图6所示的流程图说明图2所示的步骤S206的 运动图像拍摄处理的细节。CPU 10 5设置使用模式拨盘112所选择的运动图像拍摄模 式，即，正常运动图像模式、高速运动图像模式以及电子变焦 模式中的任何一个(步骤S600)。接着，CPU 105获取用于运动图像的缺陷校正数据(第二缺陷校正数据)(步骤S601)。暂停对图6 所示的流程图的说明，并将基于图7所示的流程图说明获取用于 运动图像的缺陷校正数据的处理的细节。首先，CPU 105设置包括在摄像装置101中的放大器的增 益、包括在AFE 102中的电路的增益等，从而可以使用ISO感光 度设置开关113来设置可分配的ISO感光度中最高的ISO感光度 (步骤S700)。已经设置的增益是用来检测缺陷像素的增益，并 被设置为高于在拍摄运动图像时要使用的增益。利用该增益， 可以以更高精度检测缺陷像素。接着，为了进行缺陷校正处理，而不使用存储在ROM 106 中的缺陷校正数据，CPU 105禁止DSP 103中包括的缺陷校正电 路1033的操作(步骤S701)。然后，CPU 105清除来自摄像装置IOI 的电荷(步骤S702)，并开始摄像装置101中的电荷累积(步骤 S703)。在电荷累积时，反射镜(未示出)还未移动到反射镜上位 置，或者快门(未示出)还未打开。因此，没有被摄体图像进入 摄像装置IOI，而仅可以拍摄暗图像。接着，CPU 105判断是否已经过了所设置的电荷累积时间 (步骤S704)。当已经过了所设置的电荷累积时间时，CPU 105 完成摄像装置101中的电荷累积(步骤S705)。基本地，作为要设 置的电荷累积时间，可以使用与要记录或显示的运动图像的帧 率相对应的时间。例如，在运动图像具有每秒30帧的帧速的情 况下，可以将电荷累积时间设置为大约33ms。当在步骤S700中 设置增益的情况下，要为暗摄像设置的电荷累积时间可以长于 要在拍摄运动图像时使用的电荷累积时间。在这种情况下，因 为白缺陷像素的输出等级与电荷累积时间成比例地变大，因而 可以检测具有更精细的等级的白缺陷，并且可以以更高的精度 进行检测。此后，CPU 105读取已在摄像装置101中获得的暗图像(步 骤S706)。以与在图6所示的步骤S600中设置的运动图像拍摄模式相 对应的读取方法从摄像装置101读取暗图像。换句话说，在步骤 S706中，可以以与在要拍摄运动图像时所使用的读取方法相同 的读取方法来获取暗图像数据。因为缺陷校正电路10 3 3不工作， 因而暗图像数据包括原样的、没有经过校正的缺陷像素的输出 等级。然后，CPU 105基于暗图像数据，生成用于拍摄运动图像 的缺陷校正数据。换句话说，CPU 105顺序读取针对每个像素 已获取的暗图像数据，并将暗图像数据的等级与预定判断等级 进行比较(步骤S 7 0 7)。当暗图像数据的输出等级高于判断等级 时，CPU 105将具有该输出等级的像素检测为白缺陷像素。CPU 105在RAM 107中生成关于白缺陷像素的地址信息，作为缺陷校 正数据(步骤S708)。地址信息可以被描述为与上述定时数据相 类似的定时数据。在这种情况下，如上所述，使用与在要拍摄运动图像时所 使用的读取方法相同的读取方法来读取暗图像数据。因此，通 过将与同步信号相对的偏移(与水平消隐间隔(horizontal blanking interval)相对应的时间)与地址相加，可以容易地将已 基于暗图像数据检测^ 'J的缺陷像素的地址转换为用作要提供给包括在DSP 103中的缺陷校正电路1033的校正数据的地址信自最后，CPU 105使能缺陷校正电路1033的操作，从而可以 理(步骤S709)。接着，说明返回到图6所示的运动图像拍摄处理的流程图。当在步骤S601中完成获取用于运动图像的缺陷校正数据的处理时，CPU 105进行将反射镜(未示出)移动到反射镜上位置的操 作和打开快门(未示出)的操作(步骤S602)。通过进行这些操作， 被摄体图像可以始终进入摄像装置101 。然后，CPU 105判断快门开关SW2是否接通(步骤S603)。当 快门开关SW2接通时，CPU 105开始将运动图像数据写入记录 介质108的记录处理(步骤S605)。相反，当快门开关SW2断开时， 如果当前正在进行将运动图像数据写入记录介质108的记录处 理，则CPU 105停止记录处理(步骤S604)。换句话说，当快门开 关SW2接通时，CPU 105继续记录运动图像数据的记录处理。 在快门开关SW2断开时，停止记录运动图像数据的记录处理。 为了保证安全，即使快门开关SW2没有断开，在经过了预定时 间或记录介质108的剩余容量变小时，也可以停止记录处理。105进行曝光调整，以便进行重复将数据显示在监视器上的操作 的监视器操作，即，将图像数据显示在LCD 114上的操作(步骤 S606)。在曝光调整中，根据包括已拍摄的紧接在前的图像的图 像数据判断曝光值，并且设置图像拍摄镜头的光圈和包括在AFE 102中的电路的增益，从而可以获得适当的曝光值。然而， 当拍摄第一个运动图像时，不存在紧接在前的数据。因此，为 图像拍摄镜头的光圏和包括在AFE 102中的电路的增益设置初始值。然后，CPU 105进行图像拍摄处理(步骤S607)。当拍摄运动 图像时，摄像装置101基于从定时生成器电路104输出的驱动信 号，重复包括电荷清除处理、电荷累积以及读取处理的一组操 作。另外，在已设置的、并与适合于运动图像的大小和位置的 读取方法相对应的运动图像拍摄模式中驱动摄像装置101，并且以预定的帧率重复读if又4喿作。接着，CPU 105控制DSP 103，从而包括在DSP 103中的缺 陷校正电路1033可以使用已在步骤S601中获取的缺陷校正数 据(地址信息)，进行用于缺陷像素的缺陷校正处理，以校正在 图像拍摄处理中读取的运动图像数据(步骤S608)(第二校正处 理)。除了在用于运动图像的缺陷校正处理中所使用的缺陷校正 数据与在用于静止图像的缺陷校正处理中所使用的缺陷校正数 据不同之外，缺陷校正处理是与用于静止图像的处理相同的处 理。然后，CPU 105控制DSP 103，从而DSP 103可以进行显影 处理(步骤S 6 0 9)以及用于将数据显示在监视器上的操作的压缩 处理(步骤S610)。作为显示操作，CPU 105将处理的结果显示在 LCD 114上(步骤S611)。可以通过以显示结果所需的帧率重复显 示操作来进行监视器操作。接着，当电源开关109断开时(步骤S612)， CPU 105进行运 动图像终止处理(步-骤S614),并且返回到图2所示的步骤S201。 相反，当电源开关109仍接通时(步骤S612), CPU 105检查模式 拨盘112的设置(步骤S613)。当模式拨盘112被设置为仍处于运 动图像拍摄模式时，CPU 105返回到步骤S603。相反，将模式 拨盘112的设置切换为静止图像拍摄模式，CPU 105进行运动图 像终止处理(步鸟聚S615),然后返回到图2所示的步骤S204。在步骤S614和步骤S615的运动图像终止处理中，在当前正 在进行记录处理时，停止记录处理。另外，停止驱动摄像装置 IOI的才喿作，并且停止由DSP 103进行的读取处理。此外，关闭 快门(未示出)，并将反射镜(未示出)移动到反射镜下位置。如上所述，在本实施例中，作为用于拍摄静止图像的缺陷 校正数据，使用当从摄像装置101的制造工厂运送摄像装置101时获取的数据。相反，当摄像设备在运动图像的读取模式中进 行操作时，紧接在读取模式中进行读取操作之前，在对摄像装 置1 0 1遮光的状态下进行电荷累积和读取处理，以获得图像数 据。使用所获得的图像数据来检测要校正的缺陷像素的地址，并且将关于地址的地址信息存储在RAM 107中，作为缺陷校正 数据。当拍摄运动图像时，使用RAM 107中的该缺陷校正数据 进行缺陷校正处理。在这种情况下，要存储在ROM 106中的缺陷校正数据仅为 如相关技术中的用于静止图像的缺陷校正数据。因此，不需要 增加ROM 106的存储器大小。在拍摄运动图像的情况下，在拍 摄运动图像之前，拍摄暗图像，并在每个读取方法中检测缺陷 像素。因此，不需要进行作为复杂算术处理的对缺陷像素的地 址进行转换的地址转换处理。此外，当对摄像装置101的出货进行操作测试时，仅需要 获取与静止图像相对应的条件下的缺陷校正数据。不需要获取 与用于运动图像的各种类型的读取操作中的每种相对应的大量 的缺陷校正数据。因此，可以减少摄像装置101的操作测试的测 试时间，并且不需要管理大量的缺陷校正数据。另外，在照相机的制造过程中，不需要获取与在运动图像 拍摄模式中所使用的各种类型的读取操作中的每种相对应的缺 陷校正数据。因此，可以减少照相机的操作测试的测试时间， 并且不需要管理大量的缺陷校正数据。另外，在照相机系统中，不需要将与在运动图像拍摄模式 中所使用的各种类型的读取操作中的每种相对应的缺陷校正数 据保存在闪存等中。可以抑制存储器大小的增加。在照相机系统中，不需要根据用于静止图像的缺陷校正数 据转换在运动图像拍摄模式下所使用的各种类型的读取操作中的每种的缺陷校正数据的工作负荷。因为启动时负荷轻，因此 可以进行高速启动。不需要将石更件-没计成硬件以高速工作以<更以高速进行转 换操作。因此，可以避免成本的增加。而且，在照相机系统中，针对在拍摄运动图像的情况下所 使用的运动图像拍摄模式下的各种类型的读取操作中的每种， 进行缺陷像素检测处理。然而，可以以相同的方法进行获得用 于运动图像的缺陷校正数据的计算处理，而不依赖于每个读取 方法。因此，即使在照相机系统具有大量读取方法的情况下， 也可以抑制关于由于缺陷像素检测功能的添加而引起的固件开 发的负荷的增加。本发明不局限于上述实施例，并且可以进行各种修改。例 如，在上述实施例中，在用于运动图像的读取方法中获取暗图 像并在步骤S601中生成用于运动图像的缺陷校正数据之后，如上所述进行监视器操作以及记录操作。可选地，如果DSP 103 可以处理这些处理，则可以在步骤S601时进行在用于运动图像 的读取方法中获取暗图像的处理，并且可以稍后进行生成用于 运动图像的缺陷校正数据的生成处理。换句话说，在生成用于运动图像的缺陷校正数据之前，C P U 105可以立即进入监视器操作和记录操作。可以在同时进行监视 器操作和记录操作时生成用于运动图像的缺陷校正数据。在这 种情况下，可以减少在进行使用模式拨盘112设置模式的操作和 显示运动图像之间的时滞(time lag)。可选地，在已经开始生成用于运动图像的缺陷校正数据的 生成处理之后，可以进行将反射镜移动到反射镜上位置的操作 或快门操作等的机械操作。当进行机械操作的同时，可以生成 用于运动图像的缺陷校正数据。此外，缺陷校正电路1033利用具有相同颜色的紧接在前的 像素的输出来替换缺陷像素的输出。然而，可以以不同于上述 方法的校正方法来校正缺陷像素。缺陷校正数据，即，用于指定缺陷像素的信息不局限于上述的定时数据。可以使用表示缺陷像素的物理位置的X和Y坐标值等的地址信息。另外，在拍摄静止图像的情况下，可以读取已在摄像装置101中获得的暗图像，并且可以根据该暗图像判断暗电流的等级 值。可以通过从进行步骤S415中的缺陷校正处理的图像数据减 去暗电流的等级值来获得图像数据。在拍摄静止图像的情况下生成的暗图像数据的使用目的 和方法不同于在拍摄运动图像的情况下生成的上述暗图像数据 的使用目的和方法。如上所述，针对拍摄运动图像的情况所生 成的暗图像数据用来将具有高于判断值的等级值的像素检测为 白缺陷像素。相反，针对拍摄静止图像的情况所生成的暗图像 数据用来从已经过缺陷校正处理的相应的像素数据减去包括在 暗图像数据中的每个像素数据，从而去除暗电流。另外，在上述实施例中，作为要经过使用暗图像数据所进 行的缺陷校正处理的图像数据的示例，说明了经过疏化读取处 理、疏化像素相加读取处理以及部分剪切读取处理的运动图像 数据。然而，图像数据不局限于运动图像数据。当经过使用保 存在ROM 106中的缺陷校正数据所进行的缺陷才交正处理的静止 图像数据包含特定像素数时，可以提供包含不同于特定数量的 像素数的任何图像数据，作为要经过使用暗图像数据所进行的 缺陷校正处理的图像数据。例如，可以对要经过疏化读取处理、 疏化像素相加读取处理以及部分剪切读取处理的静止图像数据 进行使用暗图像数据所进行的缺陷校正处理。在另 一 个实施例中，提供 一 种存储有能够实现上述实施例 功能的软件的存储介质。换句话说，在系统或设备中设置该存
储介质，并且系统或设备的计算机(或CPU、孩i处理器单元(MPU) 等)读取并执行存储在该存储介质中的程序代码。
在这种情况下，从该存储介质读取的程序代码本身实现上 述实施例中说明的功能。因此，可以根据本发明的实施例来提 供程序代码和存储该程序代码的存储介质。
可以提供程序代码的存储介质的示例包括软盘、硬盘以及 磁光盘。可选地，可以使用致密盘只读存储器(CD-ROM)、可 记录致密盘(CD-R)、可重写致密盘(CD-RW)、数字通用盘只读 存储器(DVD-ROM)、数字通用盘随机存取存储器(DVD-RAM)、 可重写数字通用盘(DVD-RW)以及可重写数字通用盘 (DVD+RW)等的光盘、磁带、非易失性存储卡以及ROM等。可 以通过网络下载该程序代码。
本发明不限于计算机读取并执行程序代码以实现上述实 施例中说明的功能的实施例。在另一个实施例中，例如，基于 程序代码的指令，在计算机中运行的操作系统(OS)等可以进行 部分或全部处理，以实现上述实施例中说明的功能。
此外，在另一个实施例中，从存储介质读取程序代码，然 后将其写入安装在插入计算机的特征扩展板上的存储器中、或
写入包括在与计算机相连接的特征扩展单元的存储器中，从而 可以实现上述实施例中说明的功能。在这种情况下，在写入该 程序代码之后，基于程序代码的指令，安装在特征扩展板上或 包括在特征扩展单元中的CPU等可以进行部分或全部处理，以 实现上述实施例中说明的功能。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明不局限于所公开的典型实施例。所附权利要求书的范围符合 最宽的解释，以包含所有修改以及等同结构和功能。
权利要求
1.一种图像处理设备，包括存储介质，在所述存储介质中预先存储有第一校正数据；生成器电路，用于使用从在摄像装置被遮光的状态下进行电荷累积的所述摄像装置读取的图像数据，来生成第二校正数据；第一校正电路，用于基于所述第一校正数据，校正与所述摄像装置的缺陷像素相关联的图像数据；第二校正电路，用于基于所述第二校正数据，校正与所述摄像装置的缺陷像素相关联的图像数据；以及控制电路，用于基于从所述摄像装置读取的图像数据中的像素数，选择所述第一校正电路或者所述第二校正电路来校正与所述摄像装置的缺陷像素相关联的图像数据。
2. 根据权利要求l所述的图像处理设备，其特征在于， 所述第一校正数据包括示出关于包含第一像素数的图像数据的所述缺陷像素的位置的数据，以及其中，当从所述摄像装置读取的图像数据中的像素数等于 所述第一像素数时，所述控制电路选择所述第一校正电路，当 从所述摄像装置读取的图像数据中的像素数小于所述第 一 像素 数时，所述控制电路选择所述第二校正电路。
3. 根据权利要求l所述的图像处理设备，其特征在于，所 述控制电路选择所述第二校正电路，作为用于对从所述摄像装 置疏化并读取的图像数据进行校正的校正电路。
4. 根据权利要求l所述的图像处理设备，其特征在于，所 述控制电路选择所述第二校正电路，作为用于对从所述摄像装 置部分剪切并读取的图像数据进行校正的校正电路。
5. 根据权利要求l所述的图像处理设备，其特征在于，所 述生成器电路用于使用包含与要由所述第二校正电路校正的图像数据中的像素数相同的像素数的图像数据，来生成所述第二 校正数据。
6. 根据权利要求l所述的图像处理设备，其特征在于，所 述第二校正数据包括示出具有高于预定判断值的输出等级的像 素的位置的信息，所述输出等级在从在所述摄像装置被遮光的 状态下进行电荷累积的所述摄像装置读取的图像数据中示出。
7. —种图像处理设备，包括存储介质，在所述存储介质中预先存储有第一校正数据； 生成器电路，用于使用从在摄像装置被遮光的状态下进行电荷累积的所述摄像装置读取的图像数据，来生成第二校正数据；第一校正电路，用于基于所述第一校正数据，校正与所述 摄像装置的缺陷像素相关联的图像数据；第二校正电路，用于基于所述第二校正数据，校正与所述 摄像装置的缺陷像素相关联的图像数据；以及控制电路，用于基于从所述摄像装置读取的图像数据对应 于运动图像还是静止图像，选择所述第一校正电路或者所述第 二校正电路来校正与所述摄像装置的缺陷像素相关联的图像数 据。
8. 根据权利要求7所述的图像处理设备，其特征在于，所述第 一校正数据包括示出关于包括静止图像的图像数据 的所述缺陷像素的位置的数据，以及其中，当从所述摄像装置读取的图像数据包括静止图像时， 所述控制电路选择所述第一校正电路，当从所述摄像装置读取 的图像数据包括运动图像时，所述控制电路选择所述第二校正 电路。
9. 一种图像处理方法，用于校正与摄像装置的缺陷像素相关联的图像数据，所述图像处理方法包括以下步骤 判断从所述摄像装置读取的图像数据中的像素数； 选择步骤，用于基于从所述摄像装置读取的图像数据中的像素数，选择使用第一校正数据的第一缺陷像素校正步骤或者 使用第二校正数据的第二缺陷像素校正步骤，所述第一校正数据已经预先存储，所述第二校正数据是根据从在所述摄像装置 被遮光的状态下进行电荷累积的所述摄像装置读取的图像数据 得出的；以及执行所选择的缺陷像素校正步骤，从而校正与所述摄像装 置的缺陷像素相关联的图像数据。
10. 根据权利要求9所述的图像处理方法，其特征在于， 所述第一校正数据包括示出关于包含第一像素数的图像数据的所述缺陷像素的位置的数据，以及其中，在所述选择步骤中，当从所述摄像装置读取的图像 数据中的像素数等于所述第一像素数时，使用所述第一校正数 据，当从所述摄像装置读取的图像数据中的像素数小于所述第 一像素数时，使用所述第二校正数据。
11. 一种图像处理方法，用于校正与摄像装置的缺陷像素 相关联的图像数据，所述图像处理方法包括以下步骤判断从所述摄像装置读取的图像数据涉及运动图像还是静 止图像；选择步骤，用于选择使用第一校正数据的第一缺陷像素校正步骤或者使用第二校正数据的第二缺陷像素校正步骤，所述 第一校正数据是预先存储的，所述第二校正数据是使用从在所 述摄像装置被遮光的状态下进行电荷累积的所述摄像装置读取 的图像数据生成的；以及执行所选择的缺陷像素校正步骤，从而校正与所述摄像装置的缺陷像素相关联的图像数据。
12.根据权利要求ll所述的图像处理方法，其特征在于，所述第 一 校正数据包括示出关于包括静止图像的图像数据 的所述缺陷像素的位置的数据，以及其中，在所述选择步骤中，如果从所述摄像装置读取的图 像数据涉及静止图像，则选择所述第一校正数据，如果从所述 摄像装置读取的图像数据涉及运动图像，则选择所述第二校正 数据。
全文摘要
本发明提供一种图像处理设备和图像处理方法。当以各种类型的方法读取固态摄像装置的像素数据以摄像时，容易地以低成本进行用于缺陷像素的校正处理。作为拍摄静止图像的情况下的缺陷校正数据，使用在从制造工厂运送摄像装置时获取的数据。在以用于运动图像的读取模式进行操作的情况下，紧接在进行读取操作之前，在摄像装置被遮光的状态下累积电荷，并且读取图像数据。根据该图像数据来检测要校正的缺陷像素的地址，并将地址存储在RAM中作为缺陷校正数据。当拍摄运动图像时，使用该数据进行缺陷校正处理。
文档编号H04N5/374GK101316322SQ20081010863
公开日2008年12月3日 申请日期2008年5月30日 优先权日2007年5月31日
发明者木谷一成 申请人:佳能株式会社