专利名称：图像处理装置、图像摄取装置、图像处理方法及程序的制作方法
技术领域：
本发明涉及图像处理装置、图像摄取装置、图像处理方法及程序。特别地，本发明涉及生成具有高动态范围(宽动态范围)的图像的图像处理装置、图像摄取装置、图像处理方法和程序。
背景技术：
在视频相机或数字静止相机中使用的诸如CXD图像传感器或CMOS (互补金属氧化物半导体)图像传感器之类的固态图像摄取元件通过蓄积与入射光量一致的电荷并输出与所蓄积的电荷相对应的电信号来执行光电转换。然而，可在光电转换元件中蓄积的电荷量是有限的，因此当已经接收到特定光量时，达到饱和水平，于是导致具有特定明度(brightness)以上的被摄体区域被设定在饱和亮度(luminance)水平,这是称为“过曝的 高亮处”(blown out highlights)或者“亮度限幅”(clipping)。为了防止亮度限幅，执行处理来与被摄体的亮度等相应地控制光电转换元件的电荷蓄积时段以调整曝光时间长度并从而使灵敏度最优化。例如，通过使用高快门速度来缩短明亮被摄体的曝光时间长度，从而减少光电转换元件的电荷蓄积时段并且在所蓄积的电荷量达到饱和水平之前输出电信号。通过执行这样的处理，可以输出为被摄体正确地再现色调的图像。然而，如果在拍摄存在明亮区域和黑暗区域两者的被摄体时使用高快门速度，曝光时间长度对于黑暗区域而言将是不足够的，这将导致S/N比率的恶化以及图像质量的降低。为了正确地再现包括明亮区域和黑暗区域两者的被摄体的所拍摄图像中的明亮区域和黑暗区域的亮度水平，必需针对图像传感器上的入射光较少的像素使用长曝光时间以实现闻S/N比率，并针对具有大入射光売的像素执行避免饱和的处理。实现这样的处理的一种已知方法是以不同的曝光时间长度来连续摄取多个图像并在随后组合这些图像。即，长时间曝光图像和短时间曝光图像被单独并连续地摄取，并且针对黑暗图像区域使用长时间曝光图像而针对明亮图像区域使用短时间曝光图像的、对于长时间曝光图像将发生亮度限幅的组合处理被执行来产生单个图像。以这种方式，通过组合具有不同曝光时间的多个图像，可以产生具有高动态范围而不具有亮度限幅的图像。上述具有高动态范围的拍摄类型称为“HDR” (高动态范围)或“WDR” (宽动态范围)拍摄。现在将描述用于实现HDR拍摄的数个现有技术。例如，如日本早期公开专利公布Νο·Η02-174470、No. H07-95481 和 No. H11-75118以及 Orly Yadid-Pecht 和 Eric R. Fossum 的 “Wide Intrascene Dynamic Range CMOSAPS Using Dual Sampling，，，IEEE Transactions On Electron Devices, Vol. 44-10,PP. 1721-1723，1997所述，一种生成HDR图像的方法是摄取具有不同灵敏度的多个图像，然后组合这些图像。现在将参考图I和图2描述使用这种方法的图像摄取装置的配置和处理示例。
经由图I所示的图像摄取装置的镜头101输入到图像传感器(图像摄取元件)102的入射光经历光电转换而输出传感器图像103。该传感器图像103被存储在真存储器104中。在图像摄取期间，图像摄取装置连续地摄取两个图像，即，一个通过长时间曝光产生的高灵敏度图像105和一个通过短时间曝光产生的低灵敏度图像106，将这两个图像存储在帧存储器104中，并将这两个图像输入到位于下游的HDR处理单元107。HDR处理单元107对通过长时间曝光产生的高灵敏度图像105和通过短时间曝光产生的低灵敏度图像106进行组合以生成单个HDR图像108。之后，相机信号处理单元109使得HDR图像108经历典型相机中所执行的信号处理(例如，白平衡调整、伽马校正和去马赛克处理)以生成输出图像110。现在将参考图2描述这样的处理的处理序列。在图2中，在从左到右行进的时间轴上示出了下面列出的各种图像的生成定时。
(a)传感器图像103的输出定时
(b)低灵敏度图像106的输出定时(c)高灵敏度图像105的输出定时(d)HDR图像108的输出定时在时间tl，低灵敏度图像#1被摄取并被从图像传感器102输出。在时间t2，高灵敏度图像#2被摄取并被从图像传感器102输出。之后，在t3、t4、...，低灵敏度图像和高灵敏度图像被交替摄取。在时间t3，已被摄取的低灵敏度图像#1和高灵敏度图像#2被从帧存储器104输出到HDR处理单元107，并且通过对这两个图像执行组合处理，单个HDR图像“#1、#2”被生成。之后，在时间t5，已被摄取的低灵敏度图像#3和高灵敏度图像#4被从帧存储器104输出到HDR处理单元107，并且通过对这两个图像执行组合处理，单个HDR图像“#3、#4”被生成。以这种方式，具有短曝光时间的低灵敏度图像和具有长曝光时间的闻灵敏度图像被摄取在交替帧中，图像被蓄积在帧存储器中，并且通过信号处理而生成HDR图像。这种方法的一个问题在于由于在略微不同的定时摄取要进行组合的两个图像，所以当被摄体移动时可能产生伪色和双重图像。作为另一个问题，由于必须对多个图像进行组合，所以对于视频而言，图像组合之后的帧速率低于传感器的帧速率。在图2所示的示例中，由于从两个图像生成HDR图像，所以HDR图像的帧速率是传感器帧速率的一半。换一种方式说，为了输出与先前相同的帧速率的HDR图像，需要以两倍的速度来驱动图像传感器，这导致了成本增加和/或功耗增加。与上述对两个所摄取图像进行组合的方法不同的生成HDR图像的其他方法具有例如在日本早期公开专利公布No. 2006-253876、日本专利公布No. 2006-542337(日本专利号 No. 4689620)和 Jenwei Gu 等人的 “Coded Rolling Shutter Photography FlexibleSpace-Time Sampling，，, Computational Photography (ICCP), 2010 中所公开的配置。取代使用连续摄取的长时间曝光图像和短时间曝光图像，这样的方法基于单个所摄取图像来生成HDR图像。以像素为单位来不同地设定图像摄取元件的曝光时间的一个示例是通过在单个所摄取图像中设定长时间曝光像素和短时间曝光像素来执行图像摄取。包括在这样的单个所摄取图像中的长时间曝光像素的像素值和短时间曝光像素的像素值被用于生成单个HDR图像。现在将参考图3至图5来描述使用这种方法的图像摄取装置的配置和处理示例。经由图3所示的图像摄取装置的镜头111输入到图像传感器(图像摄取元件)112的入射光经历光电转换而输出传感器图像113。图像传感器(图像摄取元件)112的曝光时间根据控制单元(未示出)的控制而被以像素为单位进行控制，以在单个图像中设定长时间曝光像素和短时间曝光像素。传感器图像113被输入到HDR处理单元114。
HDR处理单元114对单个所摄取图像中所包括的作为长时间曝光像素的高灵敏度像素和作为短时间曝光像素的低灵敏度像素进行组合以生成单个HDR图像115。作为一个具体示例，执行如下这样的像素值组合处理针对作为长时间曝光像素的高灵敏度像素未达到饱和的像素选择性地使用高灵敏度像素的像素值，并且针对高灵敏度像素达到饱和的像素使用附近的低灵敏度像素的像素值。之后，相机信号处理单元116使得HDR图像115经历在典型相机中执行的诸如白平衡调整、伽马校正和去马赛克处理之类的信号处理以生成输出图像117。注意，例如如图4所示，在图像传感器112上以重复性模式来布置低灵敏度像素和高灵敏度像素。利用这种设定，可以从单个图像生成HDR图像，而无需使用两个图像。图5示出了这种处理的序列。在图5中，在从左到右行进的时间轴上示出了下面所列出的各种图像的生成定时。(a)传感器图像113的输出定时(b)HDR图像115的输出定时在时间tl，传感器图像#1被从图像传感器112输出。在时间t2，传感器图像#2被从图像传感器112输出。之后，在t3、t4、...，传感器图像被顺次地输出。各个传感器图像是设定了低灵敏度像素和高灵敏度像素的图像。传感器图像113立即被输入到HDR处理单元114，并且HDR图像115几乎毫无延迟地被生成。作为一个具体示例，信号被以行为单元进行传送，因此仅生成了与一行的信号相当的延迟。与早先所述的配置不同，这个配置能够从单个所拍摄图像帧生成HDR图像。因此，不再需要例如图3所示那样的帧存储器，并且也不存在帧速率下降。然而，这种方法具有如下问题。例如，在图像摄取的被摄体是明亮的情况下，单个所摄取图像中包括的高灵敏度像素将达到饱和，并且将必须仅使用两个低灵敏度像素来生成图像。相反，在被摄体是黑暗的情况下，将在低灵敏度像素中包括大量噪声，并且将必须仅使用高灵敏度像素的像素信息来生成图像。这样，存在由于图像摄取被摄体的状态而导致无法获得有效像素信息的情况，结果，存在图像质量下降的问题，例如由于无法获得颜色样本而导致的分辨率下降和/或伪色的产生。
发明内容
本发明的一个实施例旨在提供生成高动态范围的图像并且能够防止帧速率下降和图像质量下降的图像处理装置、图像摄取装置、图像处理方法和程序。本发明的另一个实施例在空间和时间上对图像传感器的像素的灵敏度进行控制。这种方案旨在提供对图像传感器输出图像执行已经考虑了空间和时间周期的信号处理以在没有帧速率下降或分辨率下降的情况下实现高动态范围图像摄取的图像处理装置、图像摄取装置、图像处理方法和程序。根据本发明第一实施例，提供了一种图像处理装置，其包括HDR(高动态范围)处理单元，该HDR处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理。HDR处理单元通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像，通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像，并且通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR (高动态范围)图像。
根据本发明的图像处理装置的一个实施例，HDR处理单元通过执行针对移动检测信息表明存在移动的像素位置提高第二组合图像的混合比率并且针对移动检测信息表明不存在移动的像素位置提高第一组合图像的混合比率的像素值混合处理，来生成所述HDR图像。根据本发明的图像处理装置的一个实施例，所述HDR处理单元包括帧间插值处理单元，该帧间插值处理单元通过不经修改地使用连续摄取的多个图像中存在的不同灵敏度的多个像素来生成不同灵敏度的多个图像，并且所述HDR处理单元通过对由帧间插值处理单元生成的不同灵敏度的多个图像的像素值进行组合来生成所述第一组合图像。根据本发明的图像处理装置的一个实施例，图像处理装置还包括移动检测单元和移动补偿处理单元，移动检测单元通过对在不同时间摄取的图像中的对应像素的像素值进行比较并以像素为单位执行移动检测来生成所述移动检测信息，并且移动补偿处理单元通过根据按照所述移动检测信息计算出的混合比率来对所述第一组合图像和所述第二组合图像执行像素值混合处理，从而生成HDR图像。根据本发明的图像处理装置的一个实施例，所述移动检测单元通过基于所述第二组合图像和第三组合图像的图像比较以像素为单位执行移动检测来生成所述移动检测信息，所述第二组合图像是通过对仅使用当前时间图像进行插值处理而生成的不同灵敏度的多个图像的像素值进行组合来生成的，所述当前时间图像是连续摄取的多个图像中的最新图像，并且所述第三组合图像是通过对仅使用过去时间图像进行插值处理而生成的不同灵敏度的多个图像的像素值进行组合来生成的，所述过去时间图像是所述连续摄取的多个图像中的在所述最新图像之前摄取的图像。根据本发明的图像处理装置的一个实施例，图像处理装置还包括色调转换处理单元，该色调转换处理单元输入由所述HDR处理单元生成的所述HDR图像并减少该HDR图像中的像素值的比特数目。根据本发明第二实施例，提供了一种图像处理装置，其包括HDR(高动态范围)处理单元，该HDR处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理。所述HDR处理单元包括帧内插值处理单元，其通过执行使用单个所摄取图像的插值处理来生成不同灵敏度的多个图像JPHDR组合处理单元，其通过对由所述帧内插值处理单元生成的所述不同灵敏度的多个图像执行组合处理来生成HDR图像。
根据本发明第三实施例，提供了一种图像摄取装置，其包括图像传感器；控制单元，对构成所述图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制；以及HDR(高动态范围)处理单元，输入由所述图像传感器摄取的图像并执行图像处理。所述HDR处理单元通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像，通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像，并且通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。根据本发明的图像摄取装置的一个实施例，所述控制单元对所述图像传感器执行以行为单位的曝光时间控制，并以所摄取图像帧为单位来执行不同的曝光控制。根据本发明的图像摄取装置的一个实施例，所述控制单元通过针对构成所述图像传感器的像素来控制作为电荷蓄积开始时间的行复位定时，从而执行以行为单位的曝光时间控制。
根据本发明的图像摄取装置的一个实施例，所述图像摄取装置通过执行像素数目减少处理以产生具有比构成所述图像传感器的像素的数目少的像素数目的图像并将通过所述像素数目减少处理产生的图像输出到所述HDR处理单元，来生成所述HDR图像。根据本发明第四实施例，提供了一种由图像处理装置执行的图像处理方法，包括输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并使用HDR(高动态范围)处理单元来执行图像处理。图像处理步骤通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像，通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像，并且通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR (高动态范围)图像。根据本发明第五实施例，提供了一种致使图像处理装置执行图像处理的程序，包括由HDR(高动态范围)处理单元执行的图像处理，所述HDR处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像。图像处理步骤通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像，通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像，并且通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。注意，根据本发明的程序是是能够凭借例如以计算机可读格式提供的存储介质或者通信介质来提供给信息处理设备或者能够执行各种程序代码的计算机系统的程序。当以计算机可读格式提供这种程序时，在信息处理设备或者计算机系统上实现根据该程序的处理。本发明的目的、特征和优点将从本发明的如下实施例和基于附图进行的详细描述中变得清楚明了。根据上述本发明的实施例，实现了基于所摄取图像来生成高质量、高动态范围图像的装置和方法。更具体而言，包括图像处理(HDR处理)单元，该图像处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制时摄取的图像，并执行图像处理。该图像处理单元通过使用连续摄取的多个图像进行插值处理来生成具有不同灵敏度的多个图像，并对所生成的具有不同灵敏度的多个图像进行组合来生成第一组合图像，并且通过对单个所摄取图像进行插值处理来生成具有不同灵敏度的多个图像，并对所生成的具有不同灵敏度的多个图像进行组合来生成第二组合图像。另外，通过根据按照移动检测信息计算出的混合比率对第一组合图像和第二组合图像的像素值进行混合来生成HDR图像。通过执行这种处理，生成了分辨率恶化得以最小化的HDR图像。
图I是帮助说明获得高动态范围(HDR)图像的图像摄取装置的示例配置的示图；图2是帮助说明获得HDR图像的图像摄取装置的示例处理的示图； 图3是帮助说明获得HDR图像的另一个图像摄取装置的示例配置的示图；图4是帮助说明获得HDR图像的另一个图像摄取装置的图像传感器的曝光控制示例的示图；图5是帮助说明获得HDR图像的另一个图像摄取装置的处理示例的示图；图6是帮助说明根据本发明一个实施例的获得HDR图像的图像摄取装置的示例配置的不图；图7是帮助说明获得HDR图像的图像摄取装置的图像传感器的配置和处理示例的示图；图8是帮助说明获得HDR图像的图像摄取装置的图像传感器的处理示例的示图；图9A和9B是帮助说明获得HDR图像的图像摄取装置的图像传感器的配置和处理示例的示图；图10是帮助说明获得HDR图像的图像摄取装置的处理示例的示图；图11是帮助说明获得HDR图像的图像摄取装置的HDR处理单元的配置和处理示例的示图；图12是帮助说明帧间插值处理单元的配置和处理示例的示图；图13是帮助说明帧内插值处理单元的配置和处理示例的示图；图14是帮助说明插值处理的具体示例的示图；图15是帮助说明HDR组合处理单元的配置和处理示例的示图；图16是帮助说明HDR处理单元的移动检测单元的配置和处理的示图；图17是帮助说明由HDR处理单元的移动检测单元设定的混合比率的示图；图18是帮助说明由作为HDR处理单元中的最后一个处理单元的色调转换处理单元执行的色调转换处理的示例的示图；图19A和19B是帮助说明图像传感器的曝光控制示例的示图；图20A和20B是帮助说明图像传感器的曝光控制示例的示图；图21A和21B是帮助说明图像传感器的曝光控制示例的示图；图22A和22B是帮助说明图像传感器的曝光控制示例的示图23A和23B是帮助说明图像传感器的曝光控制示例的示图；图24A和24B是帮助说明图像传感器的曝光控制示例的示图；图25A和25B是帮助说明图像传感器的曝光控制示例的示图；图26A是帮助说明图像传感器的曝光控制示例的示图；图26B是帮助说明图像传感器的曝光控制示例的示图；图26C是帮助说明图像传感器的曝光控制示例的示图；图27是帮助说明图像处理装置的示例配置的示图；图28是帮助说明HDR处理单元的配置和处理示例的示图；
图29是帮助说明HDR组合处理单元的配置和处理示例的示图；图30是帮助说明图像处理装置的示例配置的示图；图31是帮助说明HDR处理单元的配置和处理示例的示图；图32A和32B是帮助说明减少图像传感器的输出像素的数目的处理示例的示图；图33是帮助说明减少图像传感器的输出像素的数目的处理示例的示图；图34A和34B是帮助说明减少图像传感器的输出像素的数目的处理示例的示图；图35是帮助说明减少图像传感器的输出像素的数目的处理示例的示图；图36是帮助说明减少图像传感器的输出像素的数目的处理示例的示图；图37是帮助说明HDR处理单元的配置和处理示例的示图；图38是帮助说明帧间插值处理单元的配置和处理示例的示图；图39是帮助说明帧内插值处理单元的配置和处理示例的示图；图40是帮助说明图像传感器的曝光控制示例的示图；以及图41是帮助说明图像传感器的曝光控制示例的示图。
具体实施例方式下文中，将参考附图详细描述本发明的优选实施例。注意，在此说明书和附图中，用相同标号表示具有基本相同功能和结构的结构元件，并且省略对这些结构元件的重复说明。现在将参考附图描述根据本发明的图像处理装置、图像摄取装置、图像处理方法和程序。描述按如下所示的顺序来给出。I.图像处理装置的第一实施例的配置和处理2.其它实施例2-1.对图像传感器的曝光控制的各种示例2-2.无需帧存储器的实施例2-3.在图像传感器输出处执行像素相加处理或下采样(downsample)处理的示例
配置3.对根据本发明的图像处理装置和现有配置的比较4.结论I.图像处理装置的第一实施例的配置和处理首先，将描述根据本发明的图像处理装置的第一实施例的配置和处理。注意，在下述实施例中，图像摄取装置将被描述为“图像处理装置”的一个代表示例。图6示出了图像摄取装置的示例配置。通过光学镜头201入射的光经历图像传感器202的光电转换，并且传感器图像204被从图像传感器202输出。图像传感器202例如由CMOS构成。从图像传感器202输出的传感器图像204作为当前时间图像206而被输出到HDR (高动态范围)处理单元208，并且还被存储在帧存储器205中。HDR处理单元208输入来自图像传感器202的当前时间图像206，并且还从帧存储器205获取在比当前时间图像206早的定时被摄取并被存储在帧存储器205中的过去时间图像207。HDR处理单元208输入了两个图像，S卩，(I)当前时间图像206和⑵过去时间图像207。即，使用经延迟的过去时间图像207和未经延迟的当前时间图像206来执行HDR处理以生成HDR图像209。后面将在本说明书中详细描述这个处理。由HDR处理单元208生成的HDR图像209被输入到相机信号处理单元210，并且由 相机信号处理单元210执行诸如白平衡调整、伽马校正和去马赛克处理之类的典型相机信号处理以生成输出图像211。控制单元212对图像传感器202执行曝光控制，并对HDR处理单元208和相机信号处理单元210执行处理控制。注意，作为一个示例，控制单元212包括具有程序执行功能的CPU，并且根据存储在存储器(未示出)中的程序来对图像摄取装置中执行的处理执行整体控制。图像传感器202例如由CMOS构成，并且根据由控制单元212设定的曝光时间信息203而被控制为使得构成图像传感器202的像素的曝光时间以特定空间周期为单位并且以特定时间周期为单位而改变。注意，例如在日本早期公开专利公布No. 2006-253876中公开了以空间周期为单位和以时间周期为单位进行的曝光时间控制处理的具体配置，这里以与所引用的公布文本相同的方式来执行曝光控制。图7示出了图像传感器202的一个示例配置。图7示出了图像传感器202的配置的一部分，由矩形示出的区域对应于单个像素，其被指示为“像素224”。图像传感器202被从控制单元212提供以作为“曝光时间信息203”的、用于设定各个像素的曝光时间(即，曝光时间长度)的多条灵敏度信息。图像传感器202内部的控制电路221对垂直扫描电路222和水平扫描电路223进行控制以使得各个像素的曝光时间(灵敏度)根据曝光时间信息203而以空间周期为单位并且以时间周期为单位进行改变。将参考图8描述改变像素的曝光时间(灵敏度)的方法。图8是示出图7所示的行复位线231的信号定时、行选择线232的信号定时以及各个像素224的电荷量的改变的示图。例如，当在时间(tl)输入行复位信号时，像素的电荷被复位，之后电荷由于入射光而蓄积。之后，当在时间(t2)输入行选择线时，在该时间处的电荷量被输出作为像素蓄积电荷(S)。S卩，从行复位时间到行选择时间的、时间tl和t2之间的时段是电荷蓄积时段。行选择定时是针对每一行像素、以预先确定的间隔来设定的。行复位定时是可调整的，并且可被设定在两个行选择定时(图8中被示出为“ta”和“tb”)之间的任意值。这样的行复位定时是根据曝光时间信息203来设定的。通过将行复位定时(tc)控制成两个行选择定时(图8中被示出为ta和tb)之间的较靠后的时间(即，更接近tb侧的时间)，可以减少针对那一行像素的电荷蓄积时间，从而降低灵敏度。同时，通过将行复位定时(tc)控制成两个行选择定时(图8中被示出为ta和tb)之间的较靠前的时间(即，更接近ta侧的时间)，可以增加针对那一行像素的电荷蓄积时间，从而提高灵敏度。通过以行为单位执行这种控制，可以以行为单位来不同地设定曝光时间，换而言之，灵敏度。现在将参考图9A至图10来描述针对具有由RGB像素构成的贝尔模式(Bayerpattern)的图像传感器、通过以行为单位对曝光时间进行控制的灵敏度控制的示例。在图9A和9B所示的示例中，以两行为单位来交替地设定低灵敏度像素和高灵敏度像素。通过一次两行地改变前述行复位定时来进行这种设定，可以以两行为单位将低灵敏度像素的行设定为短时间曝光行，并将高灵敏度像素的行设定为长时间曝光行，如图9A和9B所示。图9A示出了“排列1”，图9B示出了 “排列2”。在图示排列中，作为短时间曝光行的低灵敏度像素行和作为长时间曝光行的高灵敏度像素行交替出现。作为图像摄取期间的一个示例，针对第一帧根据图9A中的排列I执行曝光控制，然后针对第二帧根据图9B中的 排列2执行曝光控制。另外，通过针对第三、第四和第五帧交替地设定排列I和排列2来执行图像摄取。图10示出了图像摄取序列。在图9A至图10所示的示例中，以四行为一个空间周期(其中，一次两行地布置两种灵敏度的像素)来在重复模式中执行曝光时间(灵敏度)控制。还以两帧为一个时间周期来执行曝光(灵敏度)控制，并且通过在连续帧中在图9A和9B所示的两个排列241、242之间切换，控制被执行为改变每一帧中的各个像素的灵敏度。接下来，将参考图11来描述HDR处理单元208的配置和处理如前所述，两个图像，SP⑴当前时间图像206和⑵过去时间图像207，被输入到HDR处理单元208中。就是说，HDR处理单元208使用经过延迟的过去时间图像207和未经延迟的当前时间图像206来执行HDR处理以生成HDR图像209。如前述图9A和9B所示，当前时间图像206和过去时间图像207是灵敏度在时间和空间上都不同的图像，HDR处理单元208使用这样的图像来生成HDR图像。帧间插值处理单元251是生成高分辨率图像的处理单元。通过使用当前时间图像206和过去时间图像207，帧间插值处理单元251生成两个插值图像，即，仅由低灵敏度像素构成的低灵敏度像素图像和仅由高灵敏度像素构成的高灵敏度像素图像。帧内插值处理单元252、253是生成追随移动的插值图像的处理单元。帧内插值处理单元252仅使用当前时间图像206来执行空间插值处理，并且帧内插值处理单元253仅使用过去时间图像207来执行空间插值处理。通过如此动作，仅由低灵敏度像素构成的低灵敏度像素图像和仅由高灵敏度像素构成的高灵敏度像素图像被生成作为插值图像。HDR组合处理单元254至256参考不同灵敏度的像素并对它们进行组合来获得HDR图像。移动检测单元257使用由HDR组合处理单元255和256生成的图像来检测目标像素处的像素值是否在过去时间和当前时间之间由于对象的移动等而改变了。移动补偿处理单元258对由HDR组合处理单元254基于当前时间图像206和过去时间图像207生成的高分辨率图像与由HDR组合处理单元255基于当前时间图像206生成的追随移动(即，不包括基于移动的伪像)的图像执行混合处理。移动补偿处理单元258使用移动检测单元257的移动检测结果来决定各像素单位的像素值的混合比率，并对这两个图像执行混合处理。在色调转换处理单元259中，针对由移动补偿处理单元258生成的混合图像的每一个像素执行比特值减小。由于由移动补偿处理单元258生成的混合图像表现出高灵敏度像素和低灵敏度像素的像素值，所以表示各个像素的像素值的比特数目将增大。由于存在这样的情况，即，如果比特数目过高则将无法在位于下游的相机信号处理单元210处执行信号处理，所以色调转换处理单元259执行处理来将比特数目减少到能够经受相机信号处理单元210处的信号处理的水平。就是说，执行基于量化的压缩以产生与传统传感器输出类似的比特数目，并且得到的信号被输出作为HDR图像209。接下来，将参考图12描述设置在图11所示的HDR处理单元208内部的帧间插值处理单元251的配置和处理示例。如前所述，帧间插值处理单元251使用当前时间图像206和过去时间图像207两者来生成仅由低灵敏度像素构成的低灵敏度像素图像263和仅由高灵敏度像素构成的高灵敏度像素图像264，作为插值图像。
首先，由坐标获取单元261获取的目标像素位置和示出所摄取图像的曝光模式(例如，图9A和9B中的排列I和2)的并且例如从控制单元212提供来的像素布局模式信息262被用于获取目标像素的位置处的灵敏度。使用该灵敏度信息，两个连续摄取的图像(当前时间图像206和过去时间图像207)中的低灵敏度像素被选择，并且仅由低灵敏度像素构成的低灵敏度像素图像263被生成。以相同方式，使用该灵敏度信息，两个连续摄取的图像(当前时间图像206和过去时间图像207)中的高灵敏度像素被选择，并且仅由高灵敏度像素构成的高灵敏度像素图像264被生成。以这种方式，帧间插值处理单元251使用具有不同曝光模式的多个图像帧的像素信号来生成其中的所有像素都是低灵敏度像素信号的低灵敏度像素图像263和其中的所有像素都是闻灵敏度像素/[目号的闻灵敏度像素图像264。低灵敏度像素图像263和高灵敏度像素图像264是具有与原始的所摄取图像相同的模式的图像，并且作为一个示例，是具有贝尔模式的图像。当被摄体静止时，图像263和264能够实现与贝尔模式相同的分辨率。同时，当被摄体已经移动时，由于用于生成图像263和264的当前时间图像206和过去时间图像207是在不同时间被获取的，所以在某些情况中，将产生与像素布局模式保持一致的条纹状伪像。接下来，将参考图13描述帧内插值处理单元252、253的配置和处理示例。如前所述，帧内插值处理单元252、253是生成追随移动的图像的处理单元。帧内插值处理单元252仅使用当前时间图像206来执行空间插值处理，而帧内插值处理单元253仅使用过去时间图像207来执行空间插值处理。通过执行适用于单个图像的这种空间插值处理，仅由低灵敏度像素构成的低灵敏度像素图像和仅由高灵敏度像素构成的高灵敏度像素图像被生成作为插值图像。帧内插值处理单元252、253使用由图13所示的坐标获取单元261获取的目标像素位置以及像素布局模式信息262来获得所输入的当前时间图像206或过去时间图像207中的目标像素位置处的灵敏度。该灵敏度信息以及当前时间图像206和过去时间图像207中的一个图像所包括的像素信息被用于生成不同灵敏度的图像，即，仅由低灵敏度像素构成的低灵敏度像素图像265和仅由高灵敏度像素构成的高灵敏度像素图像266。就是说，尽管每一个帧内插值处理单元都能够仅使用一个图像来生成追随被摄体的移动的图像，但是也存在灵敏度下降的问题。现在将参考图13和14来描述由帧内插值处理单元252、253执行的空间插值处理。作为图13中的帧内插值处理单元252、253的输出的低灵敏度像素图像265中的像素Rdll、Rdl3以及高灵敏度像素图像266中的像素Rb31、Rb33是存在于输入图像(即，当前时间图像206和过去时间图像207)中的像素，并且是通过不经修改地输出输入图像中的像素来获得的。同时，作为输出图像的低灵敏度像素图像265中的像素Rd31、Rd33以及作为输出图像的高灵敏度像素图像266中的像素Rbll、Rbl3不存在于输入图像中。这些像素的像素值是通过基于输入图像中包括的像素值执行空间插值处理来通过计算设定的。现在将参考图14描述在高灵敏度像素位置处插值低灵敏度像素Rd33的方法。图14所示的图像示出了被输入到帧内插值处理单元252、253中的图像，S卩，当前时间图像206或过去时间图像207。各像素是以两行为单位来设定在低灵敏度像素和高灵敏度像素处的。 图14所示的输入图像的中间像素是高灵敏度像素。现在将描述计算这个高灵敏度位置处的低灵敏度像素的像素值Rd33的插值处理。最简单的插值方法根据下面给出的等式来计算像素值Rd33。Rd33 = (Rdl3+Rd53)/2. · · (I)上面给出的等式(I)是基于垂直方向上的相同颜色的两个低灵敏度像素的像素值来执行线性插值的插值处理。作为替代，可以执行将输入图像206和207中的边缘方向考虑在内的插值处理。更具体而言，首先通过下面给出的等式(2)至(4)来确定边缘方向。 Edge_l = Abs (Rdl1-Rd55)... (2)Edge_2 = Abs(Rdl3_Rd53)... (3)Edge_3 = Abs (Rdl5_Rd51) · . . (4)使用上述等式⑵至(4),计算出Edge_l、Edge_2和Edge_3。当Edge_l是根据上述等式(2)至(4)计算出的Edge j、Edge_2和Edge_3中的最小值时，根据下面给出的等式来计算作为图14所示的输入图像中的中间像素的高灵敏度像素位置处的低灵敏度像素的像素值Rd33。Rd33 = (Rdll+Rd55)/2当Edge_2是根据上述等式(2)至(4)计算出的Edge j、Edge_2和Edge_3中的最小值时，根据下面给出的等式来计算作为图14所示的输入图像中的中间像素的高灵敏度像素位置处的低灵敏度像素的像素值Rd33。Rd33 = (Rdl3+Rd53)/2当Edge_3是根据上述等式(2)至(4)计算出的Edge j、Edge_2和Edge_3中的最小值时，根据下面给出的等式来计算作为图14所示的输入图像中的中间像素的高灵敏度像素位置处的低灵敏度像素的像素值Rd33。Rd33 = (Rdl5+Rd51)/2这个处理是执行沿着边缘方向选择像素值作为参考像素的插值处理的方法。注意，这里所描述的插值处理的示例仅仅是帧内插值处理的一个示例，并且可以应用不同的方法并执行最邻近插值。例如，可以应用如下这样的方法，即，使用样本数目是R像素两倍的某些G像素来生成亮度信号，然后使用这样的亮度信号来重新创建R像素的高频分量。以这种方式，帧内插值处理单元252、253各自基于单个所输入图像来执行插值处理以生成仅由低灵敏度像素构成的低灵敏度像素图像265和仅由高灵敏度像素构成的高灵敏度像素图像266这种形式的不同灵敏度图像。接下来，将参考图15来描述HDR组合处理单元254至256各自的配置和处理示例。HDR组合处理单元254至256输入由参考图12和13所述的帧间插值处理单元251和帧内插值处理单元252、253生成的两个插值图像，即，仅由低灵敏度像素构成的低灵敏度像素图像和仅由高灵敏度像素构成的高灵敏度像素图像。在图15中，这两个图像被示出为低灵敏度图像Dd(标号为“263或265”)和高灵敏度图像Db (标号为“264或266”)。另外，例如从控制单元212输入了低灵敏度像素和高灵敏度像素之间的灵敏度比率R(标号为“271”)。灵敏度比率R(271)对应于低灵敏度像素和高灵敏度像素的各自的曝光时间的比率。HDR组合处理单元254至256使用低灵敏度图像Dd (263或265)、高灵敏度图像 Db (264或266)以及灵敏度比率R(271)来生成HDR图像Do (标号为“272”)。混合比率计算单元273参考低灵敏度图像Dd和高灵敏度图像Db中的相同位置处的对应像素位置的各个像素值，并决定低灵敏度图像Dd和高灵敏度图像Db中的对应像素的像素值的混合比率，以使得作为一个示例，当高灵敏度图像的像素值小于预先设定的阈值Th时，高灵敏度图像Db的权重较大，而当高灵敏度图像的像素值等于或大于阈值Th时，低灵敏度图像Dd的权重较大。混合处理单元274基于由混合比率计算单元273决定的混合比率，对低灵敏度图像Dd和高灵敏度图像Db中的对应像素的像素值执行混合处理。通过执行这个处理，可以生成在被摄体较黑暗时具有很少噪声而在被摄体较明亮时抑制了饱和的高动态范围图像(HDR图像Do (标号为“275”))。现在将描述由图15所示的HDR组合处理单元254至256执行的处理的具体示例。首先，从高灵敏度图像Db选择待处理的一个目标像素，并且对该目标像素的像素值与预先设定的阈值Th进行比较。当目标像素的像素值小于阈值Th时，将高灵敏度图像Db (264或266)中的目标像素的像素值不经修改地设定为作为输出图像的HDR图像Do(275)的像素值。这种情况中的像素值满足关系Do = Db其中，“Do”表示HDR图像Do (275)的像素值，“Db”表示高灵敏度图像Db (264或266)中的聚焦像素的像素值。同时，当从高灵敏度图像Db选择的目标像素的像素值等于或大于阈值Th时，通过将灵敏度比率R与低灵敏度图像Dd (263或265)中的、和高灵敏度图像Db中的目标像素的像素位置处在相同位置的像素位置的像素值相乘而产生的像素值被设定为作为输出图像的HDR图像Do (275)的像素值。这种情况中的像素值满足关系Do = DdXR其中，“Do”表示HDR图像Do (275)的像素值，“Dd”表示低灵敏度图像Dd(263或265)中的像素值。注意，当使用变量a、b作为由混合比率计算单元273计算出的混合比率时，可通过如下等式来概括上述处理以计算HDR图像Do (275)的像素值Do Do= (a X Db)+ (b X (DdXR))其中，a+b= I。注意,虽然前述处理示出了使用a = l、b = O和a = 0、b = I中的一者的示例,但是也可以选择性地使用a = 0 I和b = l O的范围内的a和b值,只要a+b = I的条件得到满足即可。接下来，将参考图16和17来描述图11所示的HDR处理单元208中的移动检测单元257的配置和处理示例。移动检测单元257对由HDR组合处理单元255基于当前时间图像206生成的与当前时间图像相对应的HDR图像与由HDR组合处理单元256基于过去时间图像207生成的与过去时间图像相对应的HDR图像进行比较，以检测各像素单位中的移动。作为一个示例，两个HDR图像中的相同像素位置处的对应像素的像素值的绝对差值被与预先设定的阈值相比较，并且如果该绝对差值等于或高于阈值，则作出“大移动”或者“存在移 动”的判定，而如果该绝对差值低于阈值，则作出“小移动”或者“没有移动”的判定。以这种方式，基于从当前时间图像生成的HDR图像和从过去时间图像生成的HDR图像中的对应像素的像素值之间的绝对差值来确定移动量。如图16所示，移动补偿处理单元258包括混合比率计算单元283，并且通过根据由移动检测单元257确定的各个像素单位的移动量来决定(a)由HDR组合处理单元254基于当前时间图像206和过去时间图像207生成的HDR图像和(b)由HDR组合处理单元255仅基于当前时间图像206生成的HDR图像中的对应像素的像素值的混合比率284，从而执行混合处理。针对移动量大于预先设定的阈值的像素，(b)由HDR组合处理单元255仅基于当前时间图像206生成的HDR图像中的像素值的混合比率被设定为更大。相反，针对移动量小于预先设定的阈值的像素，(a)由HDR组合处理单元254基于当前时间图像206和过去时间图像207生成的HDR图像中的像素值的混合比率被设定为更大。更具体地，例如使用图17所示的根据移动量来设定的混合比率α。移动补偿处理单元258基于以这种方式设定的混合比率来对上述两个图像(a)和(b)的各个像素执行混合处理。通过执行这种处理，HDR图像被以如下方式来生成对于存在大移动的像素位置，针对(b)由HDR组合处理单元255仅基于当前时间图像206生成的HDR图像中的像素值设定大权重来执行混合处理，而对于存在小移动的像素位置，针对(a)由HDR组合处理单元254基于当前时间图像206和过去时间图像207生成的HDR图像中的像素值设定大权重来执行混合处理。注意，移动检测可以使用另一种方法来执行，例如，还考虑噪声和/或边缘的并且使用当前时间图像的低频分量图像与过去时间的低频分量图像之间的绝对差值的方法。作为图11所示的HDR处理单元208的最后一个处理单元的色调转换处理单元259执行对已通过上面参考图15描述的HDR组合处理而被扩展的范围进行压缩的处理。参考图15描述的HDR组合处理例如相对于现有图像传感器的输出将范围扩展了与图15所示的灵敏度比率R(271)相对应的量。如果不经修改地使用这个扩展后的范围，则存在无法由位于下游的相机信号处理单元210 (参见图6)执行信号处理的情况。为了防止这样的问题，在色调转换处理单元259中执行对通过参考图15描述的HDR组合处理而被扩展了的范围进行压缩的处理。注意，色调转换和色调再现处理是将范围压缩到传统传感器输出的范围的方法的已知示例。在Erik Reinhard等人的“PhotographicTone Reproduction for Digital Images”，http://www. cs. Utah, edu/ reinhard/cdrom/tonemap. pdf 中公开了一个不例。图18示出了传感器输出为10比特并且灵敏度比率R为10倍的色调转换示例。当传感器输入的最大值是1，023并且灵敏度比率R = 10时，色调转换处理单元259获得最大值为10,230(1,023X10)的图像。通过在色调转换处理单元259中使用图18所示的曲线来将HDR图像压缩为总是具有10比特的范围，可以对下游处理使用与过去相同的处理。图18所示的曲线是使用如Reinhard等人所描述的诸如图像的平均亮度和最大亮度之类的统计值来生成的，并因此将取决于被压缩的图像。2.其它实施例接下来，将描述与上述实施例不同的其它实施例。2-1.对图像传感器的曝光控制的各种示例在上述实施例中，如参考图4所述的，使用了如下这样的配置其中，作为对图像传感器202的曝光控制处理，执行了以两行为单位在具有短曝光时间的低灵敏度像素与具有长曝光时间的高灵敏度像素之间切换像素灵敏度的控制。图像传感器202的曝光控制处理配置不限于图4所示的设定，并且可以使用多种设定。还可以将根据本发明的图像处理应用于多种控制配置。例如，如图19A至20所示，可以使用如下这样的配置隔行设定执行了短时间曝光的低灵敏度像素和执行了长时间曝光的高灵敏度像素。还可以将根据本发明的图像处理应用于这样的控制配置。注意，在图19A至20中，白色像素位置示出执行了长时间曝光的高灵敏度像素，灰色像素位置示出执 行了短时间曝光的低灵敏度像素。这同样适用下面所述的图21A至25。此外，如图21A和21B所示，可以使用如下这样的构造以按贝尔模式的形式重复的两行两列的四个像素为单位来设定执行了短时间曝光的低灵敏度像素和执行了长时间曝光的高灵敏度像素。如图22A和22B所示，还可以使用这样的配置执行按贝尔模式均一地设定各种颜色、各种灵敏度的像素的曝光控制，即，其中，高灵敏度R像素、低灵敏度R像素、高灵敏度G像素、低灵敏度G像素、高灵敏度B像素和低灵敏度B像素被均一地布置。此外，虽然上面已经描述了对于全都具有贝尔模式的图像传感器(图像摄取元件)的控制配置的示例，但是也可以将本发明的处理应用于具有除贝尔模式之外的布局的图像传感器(图像摄取元件)。作为一个示例，如图23A和23B所示，可以将本发明应用于具有RGBW配置的非贝尔模式，该RGBW配置除了 RGB之外还包括白(W)像素。在图23A和23B所示的曝光控制示例中，示出了如下这样的示例配置其中，在具有RGBW像素模式的图像传感器上以包括4行和4列的16像素为单位来设定执行了短时间曝光的低灵敏度像素和执行了长时间曝光的高灵敏度像素。还可以将根据本发明的图像处理应用于这样的控制配置。另外，可以将根据本发明的图像处理应用于如下配置其中，在以与图23A和23B相同的方式具有如图24A和24B所示的由RGBW像素构成的非贝尔模式的图像传感器上，如图24A和24B所示地设定执行了短时间曝光的低灵敏度像素和执行了长时间曝光的高灵敏
度像素。
还可以将根据本发明的图像处理应用于如下配置其中，针对如图25A和25B所示的通过将方格网旋转45度而构造的像素图像摄取元件，如图25A和25B所示地设定执行了短时间曝光的低灵敏度像素和执行了长时间曝光的高灵敏度像素。此外，虽然上面已经描述了设定两种不同灵敏度的像素(即，执行了短时间曝光的低灵敏度像素和执行了长时间曝光的高灵敏度像素)的示例，但是也可以设定三种或更多种不同灵敏度的像素并使用这样的三种或更多种不同灵敏度的像素来生成HDR图像。注意，在图26A所示的示例中，设定了四种不同灵敏度的像素。即，示出了设定四种不同灵敏度的像素的示例，这四种不同灵敏度的像素是高灵敏度像素(最长曝光时间)、中高灵敏度像素(长曝光时间)、中低灵敏度像素(短曝光时间)和低灵敏度像素(最短曝光时间)。根据本发明的图像处理也可被应用于具有三种或更多种不同灵敏度的像素的这种图像传感器的输出。注意，在此情况中，在参考图12和13描述了的帧间插值处理单元251和帧内插值处理单元252、253中，通过插值处理来生成由低灵敏度图像、中低灵敏度图像、中高灵敏度图像和高灵敏度图像构成的四个图像。 此外，参考图15描述的HDR组合处理单元254至256输入该低灵敏度图像、中低灵敏度图像、中高灵敏度图像和高灵敏度图像，并生成HDR图像。混合比率计算单元273参考低灵敏度图像、中低灵敏度图像、中高灵敏度图像和高灵敏度图像中的具有相同位置的对应像素位置处的四个像素的像素值，并通过决定不同灵敏度的图像中的对应像素的像素值的混合比率来执行混合，从而决定HDR图像的像素值，使得当最高灵敏度图像的像素值小于预先设定的阈值Thl时增大高灵敏度图像的权重，当高灵敏度图像的像素值大于预先设定的阈值Thl但小于阈值Th2时增大中高灵敏度图像的权重，当高灵敏度图像的像素值大于该预先设定的阈值Th2但小于阈值Th3时增大中低灵敏度图像的权重，并且当高灵敏度图像的像素值大于预先设定的阈值Th3但小于阈值Th4时增大低灵敏度图像的权重。图27示出了当如图26所示地在四种模式中设定图像传感器202的灵敏度时的图像处理装置的示例配置。由于在图像传感器202上设定了具有四种不同灵敏度的像素，所以如图27所示，使用利用帧存储器301、302和303连续摄取的四个图像来执行图像处理，这四个图像是如图28所示的在时间t4摄取的当前时间图像(t4) 304、在时间t3摄取的过去时间图像(t3) 305、在时间t2摄取的过去时间图像(t2) 306和在时间tl摄取的过去时间图像(tl)307。现在将参考图28来描述HDR图像处理单元308的内部配置和处理。在帧间插值处理单元311中，使用四个连续摄取图像304至307来生成四个图像，S卩，低灵敏度图像、中低灵敏度图像、中高灵敏度图像和高灵敏度图像。这个处理是通过将前面参考图12所描述的从两个连续摄取图像生成两种不同灵敏度的图像的处理扩展为使用四个图像生成四种不同灵敏度的图像的处理来实现的。帧内插值处理单元312基于使用当前时间图像(t4) 304的一帧的图像来生成四个图像，即，最低灵敏度图像、低灵敏度图像、高灵敏度图像和最高灵敏度图像。这个处理是通过将前面参考图13所描述的从由两种灵敏度的像素构成的一个所摄取图像生成两种不同灵敏度的图像的处理扩展为使用由四种灵敏度的像素构成的一个图像生成四种不同灵敏度的图像的处理来实现的。帧内插值处理单元313基于使用当前时间图像(t3) 305的一帧的图像来生成四个图像，即，低灵敏度图像、中低灵敏度图像、中高灵敏度图像和高灵敏度图像。这个处理是通过将前面参考图13所描述的从由两种灵敏度的像素构成的一个所摄取图像生成两种不同灵敏度的图像的处理扩展为使用由四种灵敏度的像素构成的一个图像生成四种不同灵敏度的图像的处理来实现的。现在将参考图29来描述HDR组合处理单元314、315和316的配置和处理。如图29所示，HDR组合处理单元314、315和316在多个阶段中执行前面参考图15描述的通过对两种灵敏度的图像(低灵敏度图像和高灵敏度图像)执行混合处理来生成单个HDR图像的处理，以最终生成HDR图像Do。如图29所示，首先具有与图15所示相同的配置的混合执行单元321输入低灵敏度图像Dl和中低灵敏度图像D2，然后混合执行单元321通过执行如前面参考图15所描述 的相同混合处理来生成第一混合图像。接下来，具有与图15所示相同配置的混合执行单元322输入第一混合图像和中高灵敏度图像D3，然后混合执行单元322通过执行如前面参考图15所描述的相同混合处理来生成第二混合图像。之后，具有与图15所示相同配置的混合执行单元323输入第二混合图像和高灵敏度图像D4，然后混合执行单元323通过执行如前面参考图15所描述的相同混合处理来生成第三混合图像，以生成作为最终的HDR图像Do的第三混合图像。2-2.无需帧存储器的实施例接下来，将参考图30描述不需要帧存储器的实施例。图30所示的图像处理装置(图像摄取装置)与图6所示的配置的不同之处在于从前面作为第一实施例描述的图6中的图像处理装置配置省略了帧存储器205，并且作为图像传感器202的输出的传感器图像204被直接输入到HDR处理单元401。图像传感器202的控制方法以及作为图像传感器202的输出图像的传感器图像204与前面参考图6及之后的附图描述的第一实施例相同。然而，这个实施例的不同之处在于在没有使用帧存储器的情况下仅针对一个帧的图像执行处理。现在将参考图31描述根据此实施例的HDR处理单元401的配置和处理示例。如图31所示，根据本实施例的HDR处理单元401被配置为使得按顺序连接帧内插值处理单元402、HDR组合处理单元403和色调转换处理单元404。帧内插值处理单元402输入作为图像传感器202的输出图像的传感器图像204，通过执行与前面参考图13所描述的相同的帧内插值处理来生成具有两种不同灵敏度的图像，即，低灵敏度图像和高灵敏度图像，并将所生成的图像输出到位于下游的HDR组合处理单元403。HDR组合处理单元403通过对从帧内插值处理单元402输出的低灵敏度图像和高灵敏度图像执行混合处理来生成HDR图像。这个处理与前面参考图15所描述的处理相同。色调转换处理单元404对从HDR组合处理单元403输出的HDR图像执行色调转换处理。这个处理如同前面参考图18所描述的处理那样被执行，以设定可由位于下游的相机信号处理单元处理的色调。这个实施例的配置在没有执行在前述第一实施例中执行了的帧间插值处理的情况下，基于作为图像传感器的输出图像的传感器图像204来执行帧内插值以生成与各个帧相对应的低灵敏度图像和高灵敏度图像，并对所生成的图像执行混合处理以生成HDR图像。其结果是，在本实施例中生成的HDR图像是具有比从图像传感器202输出的传感器图像204更低的分辨率的图像。然而，如前面参考图10所述，对于图像传感器202所输出的传感器图像，曝光控制模式被以帧为单位进行切换以使得先前帧中的高灵敏度像素被设定在随后帧中的低灵敏度像素处，而先前帧中的低灵敏度像素被设定在随后帧中的高灵敏度像素处。即，图像的相位在各帧中不同。为此，当在位于下游的相机信号处理单元253处执行使用帧存储器的处理时，可能将足够在这种相机信号处理单元253处恢复分辨率。另夕卜，即使在下游的处理中没有使用帧存储器，也由于人类视觉的特性，只要帧速率足够高，就能够防止分辨率下降表现得显著。
2-3.在图像传感器输出处执行像素相加处理或下采样处理的示例配置接下来，将描述在图像传感器输出处执行像素相加处理或下采样处理的配置示例。近年来，为了摄取高分辨率图像，图像传感器上所提供的像素数目一直在快速增长。然而，由于诸如位于下游的图像处理单元的处理性能、图像输出带宽的限制、AD转换器的速度的限制等的因素，一些图像传感器被配置为执行像素相加处理和/或下采样处理，这些处理不输出图像传感器的所有像素的像素值，而是使分辨率降低，并基于图像传感器上的两个像素的像素值来决定并输出输出图像的一个像素值。图32A和32B示出了从图像传感器上的四条像素信息生成一条像素信息的示例，其中，图32A示出了图像摄取像素的布局的示例，图32B示出了输出像素的布局的示例。由图像传感器摄取的图像具有图32A所示的图像摄取像素的布局，但是当将这种图像从图像传感器输出到位于下游的处理单元时，像素数目被减少，并且图32B所示的输出像素布局被设定。在这个示例中，执行了通过将8X8像素减少到4X4像素来将像素数目减少四分之一的处理。以这种方式减少像素数目的方法包括像素下采样和像素相加。当执行像素下采样时，作为一个示例，针对图32B所示的输出像素布局的左上角中的输出像素Roll如下所示地决定输出像素值。注意，在表述“Roll”中，“R”是像素颜色，“ο”指示出“输出”，“11”是坐标位置(X，y) = (Ll)0对于图32B所示的输出像素布局的左上角中的输出像素Roll，从图32A所示的图像摄取像素的布局的左上角中的4X4像素区域所包括的四个R像素中仅选择了一个R像素，因而Roll = R11。以这种方式，图32A所示的图像摄取像素布局的对应像素位置(4X4像素区域)中所包括的仅一个像素输出被用于设定输出像素值Roll。当执行像素相加处理时，如下面的等式所示，基于图32A所示的图像摄取像素布局的左上角的4X4像素区域中所包括的四个R像素来输出加权平均。Roll = aXRll+bXR13+cXR31+dXR33这里，a、b、c和d是预先决定的权重，并且作为一个示例，是在考虑到离输出像素位置的距离、边缘方向等的情况中设定的。图33示出了已经在相同灵敏度的像素之间执行像素相加的示例。这里通过像素相加产生的输出像素布局的示例与前面参考图9A和9B所述的布局相同，其中，短时间曝光像素和长时间曝光像素被以两行为单位来设定，并且能够经受如前述图6那样相同配置的图像处理。注意，作为减少由图像传感器摄取的图像的像素数目的具体配置，例如，可以使用在图像摄取元件的AD转换单元处从多个像素中选择一个像素的配置。在SatoshiYoshihara 等人的“1/1.8-inch 6.4MPixel 60frames/sCMOS Image Sensor withSeamless Mode Change，，，2006IEEE International Solid-State Circuits Conference,pp. 492-493(2006)中描述了这种配置的一个示例。AD转换电路被配置为将图像传感器的各个像素的输出值转换为数字值，交替地读出图像传感器的多个像素，并参考这些像素值，选择这些像素值中的一个像素值作为输出值。根据本发明的图像处理装置也可被应用于具有如下配置的图像摄取装置该配置以这种方式使用有关多个像素的信息来输出有关一个像素的信息。
将参考图34A至35描述如何对选择性地输出多个像素中的一个像素的图像传感器进行驱动的示例。如图34A和34B所示，垂直扫描电路在两个读取操作中读出具有不同灵敏度的像素。首先读出高灵敏度像素421，然后读出低灵敏度像素422。之后，如图35所示，选择性地输出已经读出的像素(即，高灵敏度像素Db和低灵敏度像素Dd)之一。更具体地，对高灵敏度像素Db与预先设定的阈值Th进行比较，当高灵敏度像素Db的像素值低于阈值Th时，选择器选择性地输出高灵敏度像素Db。相反，当高灵敏度像素Db等于或大于阈值Th时，选择器选择性地输出通过将低灵敏度像素Dd乘以灵敏度比率R而产生的像素值。利用图35所示的配置，如果将高灵敏度像素表示为Db，将低灵敏度像素表示为Dd,并将输出像素表示为Do，则当Db低于Th时，Do被设定为使得Do = Db，而在其他情况中，Do被设定为使得Do = DdX R，从而从传感器输出图像生成HDR图像。现在将描述将这种读取方法与根据本发明的HDR图像生成方法相组合使用的示例。利用图35所示的方法，当场景较黑暗时，仅使用并输出高灵敏度像素，而当场景较明亮时，仅使用并输出低灵敏度像素。作为一个示例，利用对图像传感器上的图像摄取像素的布局执行控制以在连续摄取的图像中在图36所示的排列I和排列2之间在空间和时间上改变像素灵敏度的配置，当场景较黑暗时，通过仅使用高灵敏度像素执行像素相加来设定构成输出像素布局的像素的像素值。在此情况中，被输出的输出HDR图像相对于图像传感器的输出移相了。图37示出了使用图35所示的方法的HDR处理单元的配置和处理示例，其被配置为当场景较黑暗时仅使用高灵敏度像素进行输出，而当场景较明亮时仅使用低灵敏度像素进行输出。图37所示的HDR处理单元208具有的配置省略了前面参考图11描述的HDR处理单元208中包括的HDR组合处理单元254至256。利用图37所示的配置，当已经从图像传感器向HDR处理单元208输入值时，执行选择与像素的明度保持一致的最佳像素值的选择处理。通过执行这个处理，可以省略图11所示的HDR组合处理单元254至256的处理。图38是帮助说明帧间插值处理单元501的处理的示图。帧间插值处理单元501输入当前时间图像206和过去时间图像207，并基于这两个图像来生成一个图像。作为一个不例，当如时间图像206和过去时间图像207两者都是从闻灵敏度像素设定的图像，并且是没有获得低灵敏度像素位置的像素值的图像。帧间插值处理单元501生成如下这样的插值图像其中，通过对当前时间图像206和过去时间图像207执行的插值处理来计算低灵敏度像素位置的像素值。图39是帮助说明帧内插值处理单元502、503的处理的示图。帧内插值处理单元502,503输入当前时间图像206或过去时间图像207，并且基于这些图像之一来生成一个插值图像。作为一个不例，当如时间图像206和过去时间图像207两者都是从闻灵敏度像素设定的图像，并且是没有获得低灵敏度像素位置的像素值的图像。帧内插值处理单元502、503生成如下这样的插值图像其中，通过对当前时间图像206或过去时间图像207执行的插值处理来计算低灵敏度像素位置的像素值。图37所示的移动补偿处理单元505和色调转换处理单元506的处理与先前作为第一实施例描述的处理相同。在此实施例中，也通过执行先前在第一实施例中参考图12和13描述的时间和空间插值处理来生成追随移动并且已经提高分辨率的高分辨率图像。注意，虽然在上面的示例中已经描述了当场景较黑暗时仅使用并输出高灵敏度像·素而当场景较明亮时仅使用并输出低灵敏度像素的配置的处理，但是也可以是如下这样的分辨率增大处理，其中，图37所示的HDR处理单元208被应用于从高灵敏度像素和低灵敏度像素两者设定一个输出像素值的配置。更具体地，作为减少像素数目的图像传感器的输出配置，也可以是如图40或41所示的将图37所示的HDR处理单元208应用于从高灵敏度像素和低灵敏度像素两者设定一个输出像素值的配置的分辨率增大处理。图40所示的示例是针对先前摄取图像设定排列I而针对在稍后定时处的随后摄取图像设定排列2的曝光控制示例，并且示出了像素灵敏度在空间上改变但是灵敏度不在时间上改变的曝光控制示例。利用这种配置，针对构成已经经历像素数目减少的输出(即，HDR处理单元的输入)的像素，参考像素位置在时间上被改变。图41是这样一种方法，其中，像素灵敏度在空间和时间上改变，除此之外，在输出一个像素的像素信息时参考的多个像素被以与图40相同的方式切换。通过将已经被处理来减少像素数目的图像输入到图37所示的HDR处理单元208并执行先前所述的处理，可以生成并输出HDR图像。3.对根据本发明的图像处理装置和现有配置的比较接下来，将通过对先前所述的根据本发明的图像处理装置的处理与传统配置的处理进行比较来描述根据本发明的图像处理装置的效果。前面参考图I和2描述的方法是用于实现HDR图像摄取的传统技术的一个示例。由于这个传统方法使用两个图像来生成一个图像，所以存在帧速率为传感器输出的一半的问题。另外，用于生成一个HDR图像的存储器使用带宽是帧存储器中的两个写入帧和两个读取帧。另一方面，根据本发明的图像处理装置，S卩，前面参考图6至10描述的配置具有的优势在于可以将所输出的HDR图像的帧速率设定为与传感器的帧速率相等。另外，用于生成一个HDR图像的帧存储器的使用带宽是一个写入帧和一个读取帧，这意味着与传统方法相比具有仅使用一半存储器带宽的优势。前面参考图3至5描述了用于实现HDR图像摄取的传统技术的另一个示例。这个方法使用有关在单个图像中设定的具有不同灵敏度的像素的信息。这个方法的问题是如前所述，存在分辨率下降。另一方面，根据本发明的图像处理装置具有执行例如图12所示的帧间插值处理以使用具有不同曝光模式的多个连续摄取图像来生成HDR图像的生成信息的配置，并且通过使用连续摄取图像的实际像素值，至少针对静止图像能够实现与作为图像摄取期间的图像传感器输出的贝尔模式相同的高分辨率。4.结论本领域技术人员应当了解，可以依据设计要求和其他因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。另外，本方面的技术也可如下配置。(I) 一种图像处理装置，包括 HDR(高动态范围)处理单元，输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理，其中，所述HDR处理单元通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像；通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像；以及通过根据按照移动检测信息计算出的混合比率对第一组合图像和第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。(2)根据⑴所述的图像处理装置，其中，HDR处理单元通过执行针对移动检测信息表明存在移动的像素位置提高第二组合图像的混合比率并且针对移动检测信息表明不存在移动的像素位置提高第一组合图像的混合比率的像素值混合处理，来生成HDR图像。(3)根据⑴或⑵所述的图像处理装置，其中，HDR处理单元包括帧间插值处理单元，该帧间插值处理单元通过不经修改地使用连续摄取的多个图像中存在的不同灵敏度的多个像素来生成不同灵敏度的多个图像，并且HDR处理单元通过对由帧间插值处理单元生成的不同灵敏度的多个图像的像素值进行组合来生成第一组合图像。(4)根据(I)至(3)中任一项所述的图像处理装置，还包括移动检测单元，通过对在不同时间摄取的图像中的对应像素的像素值进行比较并以像素为单位执行移动检测来生成移动检测信息；以及移动补偿处理单元，通过根据按照移动检测信息计算出的混合比率来对第一组合图像和第二组合图像执行像素值混合处理，从而生成HDR图像。(5)根据⑴至(4)中任一项所述的图像处理装置，其中，移动检测单元通过基于如下的第二组合图像和第三组合图像的图像比较以像素为单位执行移动检测来生成移动检测信息所述第二组合图像是通过对仅使用当前时间图像进行插值处理而生成的不同灵敏度的多个图像的像素值进行组合来生成的，所述当前时间图像是连续摄取的多个图像中的最新图像，并且所述第三组合图像是通过对仅使用过去时间图像进行插值处理而生成的不同灵敏度的多个图像的像素值进行组合来生成的，所述过去时间图像是连续摄取的多个图像中的在所述最新图像之前摄取的图像。(6)根据(I)至(5)中任一项所述的图像处理装置，还包括色调转换处理单元，该色调转换处理单元输入由HDR处理单元生成的HDR图像并减少该HDR图像中的像素值的比特数目。 本说明书中描述的一系列处理可通过硬件、软件或两者来执行。当通过软件执行处理时，可通过将其上记录有处理序列的程序安装在内置于专用硬件中的计算机中的存储器上来执行程序，或者通过将该程序安装在能够执行各种处理的通用计算机上来执行程序。例如，可将程序预先记录在记录介质上。程序可被从记录介质安装到计算机，或者经由诸如LAN(局域网)或因特网之类的网络接收并安装在诸如内置硬件之类的记录介质上。注意，说明书中描述的各个处理无需根据描述按时序顺序执行，而可以根据执行处理的设备的处理能力或者根据需要来并行或单独执行。另外，本说明书中的系统是多个设备的逻辑集合配置，并且无需是将具有各个配置的设备容纳在单个壳体中的配置。如上所述，根据本发明的实施例，实现了基于所摄取图像来生成高质量、高动态范围图像的装置和方法。具体地，包括图像处理(HDR处理)单元，该图像处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理。该图像处理单元通过使用连续摄取的多个图像进行插值处理来生成具有不同灵敏度的多个图像，并对所生成的具有不同灵敏度的多个图像进行组合来生成第一组合图像；通过对单个所摄取图像进行插值处理来生成具有不同灵敏度的多个图像，并对所生成的具有不同灵敏度的多个图像进行组合来生成第二组合图像。另外，通过根据按照移动检测信息计算出的混合比率对第一组合图像和第二组合图像的像素值进行混合来生成HDR图像。通过执行这种处理，生成了分辨率恶化得以最小化的HDR图像。本公开包含与在2011年5月13日向日本专利局提交的日本在先专利申请JP2011-108047所公开的主题相关的主题，该申请的全部内容通过引用而结合于此。
权利要求
1.一种图像处理装置，包括 HDR(高动态范围)处理单元，输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理， 其中，所述HDR处理单元 通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像； 通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像；以及 通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。
2.根据权利要求I所述的图像处理装置， 其中，所述HDR处理单元通过执行针对所述移动检测信息表明存在移动的像素位置提高所述第二组合图像的混合比率并且针对所述移动检测信息表明不存在移动的像素位置提高所述第一组合图像的混合比率的像素值混合处理，来生成所述HDR图像。
3.根据权利要求I所述的图像处理装置， 其中，所述HDR处理单元包括帧间插值处理单元，该帧间插值处理单元通过不经修改地使用连续摄取的多个图像中存在的不同灵敏度的多个像素来生成不同灵敏度的多个图像，并且 所述HDR处理单元通过对由所述帧间插值处理单元生成的所述不同灵敏度的多个图像的像素值进行组合来生成所述第一组合图像。
4.根据权利要求I所述的图像处理装置，还包括 移动检测单元，通过对在不同时间摄取的图像中的对应像素的像素值进行比较并以像素为单位执行移动检测来生成所述移动检测信息；以及 移动补偿处理单元，通过根据按照所述移动检测信息计算出的混合比率来对所述第一组合图像和所述第二组合图像执行像素值混合处理，从而生成HDR图像。
5.根据权利要求4所述的图像处理装置， 其中，所述移动检测单元通过基于所述第二组合图像和第三组合图像的图像比较以像素为单位执行移动检测来生成所述移动检测信息， 所述第二组合图像是通过对仅使用当前时间图像进行插值处理而生成的不同灵敏度的多个图像的像素值进行组合来生成的，所述当前时间图像是连续摄取的多个图像中的最新图像，并且 所述第三组合图像是通过对仅使用过去时间图像进行插值处理而生成的不同灵敏度的多个图像的像素值进行组合来生成的，所述过去时间图像是所述连续摄取的多个图像中的在所述最新图像之前摄取的图像。
6.根据权利要求I所述的图像处理装置，还包括色调转换处理单元，该色调转换处理单元输入由所述HDR处理单元生成的所述HDR图像并减少该HDR图像中的像素值的比特数目。
7.一种图像处理装置，包括 HDR(高动态范围)处理单元，输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理， 其中，所述HDR处理单元包括 帧内插值处理单元，通过执行使用单个所摄取图像的插值处理来生成不同灵敏度的多个图像；和 HDR组合处理单元，通过对由所述帧内插值处理单元生成的所述不同灵敏度的多个图像执行组合处理来生成HDR图像。
8.一种图像摄取装置，包括 图像传感器； 控制单元，对构成所述图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制；以及 HDR(高动态范围)处理单元，输入由所述图像传感器摄取的图像并执行图像处理， 其中，所述HDR处理单元 通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像； 通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像；以及 通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。
9.根据权利要求8所述的图像摄取装置， 其中，所述控制单元对所述图像传感器执行以行为单位的曝光时间控制，并以所摄取图像帧为单位来执行不同的曝光控制。
10.根据权利要求9所述的图像摄取装置， 其中，所述控制单元通过控制作为构成所述图像传感器的像素的电荷蓄积开始时间的行复位定时，从而执行以行为单位的曝光时间控制。
11.根据权利要求8所述的图像摄取装置， 其中，所述图像摄取装置通过执行像素数目减少处理以产生具有比构成所述图像传感器的像素的数目少的像素数目的图像并将通过所述像素数目减少处理产生的图像输出到所述HDR处理单元，来生成所述HDR图像。
12.—种由图像处理装置执行的图像处理方法，包括 输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并使用HDR(高动态范围)处理单元来执行图像处理， 其中，所述图像处理的步骤 通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像； 通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像；以及 通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。
13.一种致使图像处理装置执行图像处理的程序，包括由HDR (高动态范围)处理单元执行的图像处理，所述HDR处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像， 其中，所述图像处理的步骤 通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像； 通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像；以及 通过根据按照移动检测信息计算出的混合比率对所述第一组合图像和所述第二组合图像执行像素值混合处理来生成HDR(高动态范围)图像。
全文摘要
本发明涉及图像处理装置、图像摄取装置、图像处理方法及程序。所提供的图像处理装置包括HDR(高动态范围)处理单元，该HDR处理单元输入在对构成图像传感器的像素按预定空间周期和预定时间周期执行改变曝光时间的曝光控制的同时摄取的图像，并执行图像处理。HDR处理单元通过对使用连续摄取的多个图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第一组合图像，通过对使用单个所摄取图像进行插值处理而生成的具有不同灵敏度的多个图像的像素值进行组合来生成第二组合图像，并且通过根据按照移动检测信息计算出的混合比率对第一组合图像和第二组合图像执行像素值混合处理来生成HDR图像。
文档编号H04N5/235GK102780849SQ20121014728
公开日2012年11月14日 申请日期2012年5月7日 优先权日2011年5月13日
发明者光永知生, 斋藤泰, 海津俊, 笠井政范 申请人:索尼公司