专利名称：图像处理装置、成像装置、图像处理方法和程序的制作方法
技术领域：
本发明涉及一种图像处理装置、成像装置、图像处理方法和程序。本发明具体地涉及用于生成具有宽动态范围的图像的图像处理装置、成像装置、图像处理方法和程序。
背景技术：
用在摄像机、数码相机等中的固态成像元件(诸如CXD图像传感器和CM0S(互补金属氧化物半导体)图像传感器)累积与入射光量对应的电荷，并且执行光电转换以输出与所累积的电荷对应的电信号。然而，对可以累积在光电转换元件中的电荷量存在限制，并且如果接收到超过特定量的光量，则累积电荷量接近饱和水平，并且，如果拍摄对象区域具有超过特定量的亮度，则在光亮度水平已变得饱和的那些区域内出现了所谓的白化状况。
为了防止这种现象，对应于外部光的改变来控制光电转换元件的电荷累积时段，并且类似地，调整曝光时段，并执行处理以将灵敏度控制为最佳值。例如，对于明亮的拍摄对象，通过以高速切快门，缩短了曝光时段，并且缩短了光电转换元件的光电累积时段，以使得在所累积的电荷达到饱和水平之前输出电信号。利用这种处理，可输出灰度对应于拍摄对象而被正确地再现的图像。
然而，为了拍摄具有亮区域和暗区域这两者的拍摄对象，如果高速切快门，则曝光时段对于暗区域不是足够长的，这导致S/N劣化以及图像质量损失。对于具有亮区域和暗区域这两者的拍摄对象的拍摄图像，必需对图像传感器上的具有少量入射光的像素以长曝光时段来实现高S/N，并且执行处理以避免具有大量入射光的像素的饱和，以便正确地再现亮区域和暗区域两者。
作为用于实现这种处理的方法，已知用于将以不同曝光时间连续地拍摄的多幅图像合并的方法。也就是说，这是用于生成一副图像的方法，其中，单独地、连续地拍摄长曝光图像和短曝光图像，并且，利用合并处理，在该合并处理中，长曝光图像被用于暗图像区域，而短曝光图像被用于在长曝光图像中将会具有白化的亮图像区域。以此方式，通过对多幅不同曝光图像进行合并，可获得没有白化且具有宽动态范围的图像。
例如，PTLl (日本未审查专利申请公开2008-99158)公开了一种用于通过对具有不同曝光量的多幅图像进行合并来获得具有宽动态范围的图像的配置。将参照图1描述该处理。关于拍摄运动图像，成像装置例如在视频速率(30fps至60fps)内输出具有两种不同曝光时间的图像数据。此外，关于拍摄静止图像，生成并输出具有两种不同曝光时间的图像数据。图1是描述由成像装置生成的具有两种不同曝光时间的图像(长曝光图像和短曝光图像)的特性的图。横轴是时间(t)，并且纵轴是光接收光电二极管(PD)的累积电荷量(e)，该光接收光电二极管(PD)构成与固态成像元件的一个像素对应的光电转换元件。
例如，当光接收光电二极管(PD)的入射光量大时，也就是说，当处理亮拍摄对象时，如由图1所示的高光亮度区域11表示的那样，电荷累积量随着经过的时间而快速地增力口。反之，当光接收光电二极管(PD)的入射光量小时，也就是说，当处理暗拍摄对象时，如图1所示的低光亮度区域12表示的那样，电荷累积量随着经过的时间而缓慢地上升。
时刻t0至t3等同于用于获得长曝光图像的曝光时间TL。对于随着该长曝光时间TL来表示低光亮度区域12的线，电荷累积量在时刻t3未达到饱和水平(非饱和点Py)，并且通过使用基于该电荷累积量(Sa)而获得的电信号来确定像素的灰度水平，可获得正确的灰度表达。然而，明显的是，对于表示高光亮度区域11的线的电荷累积量在时刻t3之前已达到饱和水平(饱和点Px)。因此，从这种高光亮度区域11中，从长曝光图像仅可获得与处于饱和水平的电信号对应的像素值，结果，像素将会白化。因此，在这种高光亮度区域11处，对于在直到时刻t3前的时间，例如图中所示的时刻tl (放电起始点P1)，首先，来自光接收光电二极管(PD)的电荷将放电。所放电的电荷不是累积在光接收光电二极管(PD)中的全部电荷，而仅仅是对于光电二极管(PD)而言可控制的中间电压保持水平。在该电荷放电处理之后，再次执行短曝光，其曝光时间为TS(t2至t3)。也就是说，将在如图所示的从短曝光起始点P2到短曝光结束点P3的时段期间执行短曝光。通过该短曝光可获得电荷累积量(Sb)，并且根据基于该电荷累积量(Sb)而获得的电信号来确定像素灰度水平。另外，当基于根据通过对低光亮度区域12的长曝光而获得的电荷累积量(Sa)的电信号和根据通过对高光亮度区域251的短曝光而获得的电荷累积量(Sb)的电信号来确定像素值时，计算在执行同等时间曝光时的估计电荷累积量或者与该估计电荷累积量相对应的电信号输出值，并且基于计算结果来确定像素值水平。这样，通过将短曝光图像和长曝光图像进行合并，可获得具有宽动态范围的、没有白化的图像。另外，PTL2 (日本未审查专利申请公开2000-50151)公开了与PTLl中所述的配置类似的配置，其中，拍摄具有不同曝光量的多幅图像，并且在合并处理期间，对具有不同曝光量的多幅图像进行比较，并识别包含移动的像素区域，并且执行校正以控制伴随该合并的假色的生成。然而，在前述PTLl和PTL2中所描述的配置必须执行在某一点处分别拍摄并合并长曝光图像和短曝光图像的处理。为了执行该处理，必须存在足够的帧存储器来存储至少一幅图像的数据，这已成为导致了成本增加的问题。此外，执行图像处理的DSP (数字信号处理器)必须执行输入具有不同曝光时间的两幅图像的数据的处理。结果，这需要具有高级功能的处理器，并且这点也已成为导致了摄像装置成本增加的问题。此外，由于必须要执行对至少两幅图像的拍摄，因此存在对于拍摄时间和处理时间必须花费太多时间的问题。此外，当拍摄对象移动并且在拍摄两幅图像的时段期间发生移动时，这引起了无法执行良好的图像合并的问题，并且这降低了合并图像输出的质量。引用列表专利文献PTLl:日本未审查专利申请公开2008-99158PTL2:日本未审查专利申请公开2000-5015
发明内容
技术问题
本发明的目的在于在考虑前述问题的情况下，提供图像处理装置、成像装置、图像处理方法和程序，该图像处理装置、成像装置、图像处理方法和程序没有分别拍摄具有不同曝光时间的图像，而是可以利用例如一次拍摄的图像来生成具有宽动态范围的图像。
针对技术问题的方案
本发明的第一方面是一种图像处理装置，其包括:
控制单元，用于执行像素和像素区域单位的曝光时间控制，
像素部，用于通过在控制单元的控制下的成像处理来输出多个不同曝光时间的像素信息，以及
像素信息合并单元，用于通过输入从像素部输出的具有多个不同曝光时间的像素信息并执行使用该多个像素信息的计算处理，而计算输出图像的像素值。
另外，关于本发明的图像处理装置的实施例，控制单元以像素部的行为单位执行曝光时间控制，像素部输出来自多个不同的行的、具有不同曝光时间的像素信息，该像素信息合并单元通过使用从多个不同的行输入的多个像素信息的计算处理来计算输出图像的一个像素的像素值。
另外，关于本发明的图像处理装置的实施例，像素部从长曝光区域输出高灵敏度像素信息，并且从短曝光区域输出低灵敏度像素信息，并且其中，在输出图像的像素值的计算处理中，像素信息合并单元执行加法处理，以针对从长曝光区域输入的高灵敏度像素信息和从短曝光区域输入的低灵敏度像素信息来设置与拍摄对象的亮度相对应的权重。
另外，关于本发明的图像处理装置的实施例，当从长曝光区域输入的高灵敏度像素信息等于或大于预定阈值时，像素信息合并单元通过如下计算处理来计算输出图像的像素值:该计算处理将高灵敏度像素信息的权重设置为零或小的数，并且仅使用从短曝光区域输入的低灵敏度像素信息或者将其权重设置为大的数。
另外，关于本发明的图像处理装置的实施例，当从短曝光区域输入的低灵敏度像素信息小于预定阈值时，像素信息合并单元通过如下计算处理来计算输出图像的像素值:该计算处理将低灵敏度像素信息的权重设置为零或小的数，并且仅使用从长曝光区域输入的高灵敏度像素信息或者将其权重设置为大的数。
另外，关于本发明的图像处理装置的实施例，当从短曝光区域输入的低灵敏度像素信息等于或大于预定阈值时，像素信息合并单元通过如下计算处理来计算输出图像的像素值:该计算处理将从长曝光区域输入的高灵敏度像素信息的权重设置为零或小的数，并且仅使用从短曝光区域输入的低灵敏度像素信息或者将其权重设置为大的数。
另外，关于本发明的图像处理装置的实施例，控制单元执行曝光时间控制来以像素部的两行为单位设置长曝光区域和短曝光区域，像素部从长曝光区域和短曝光区域中的每一个输出至少一个或更多个像素信息，并且像素信息合并单元通过如下计算处理来计算输出图像的一个像素的像素值:该计算处理使用自从长曝光区域输入的高灵敏度像素信息和从短曝光区域输入的低灵敏度像素信息中的每一个输入的至少一个或更多个像素信息。
另外，关于本发明的图像处理装置的实施例，控制单元通过以像素部的行为单位的快门控制来以行为单位执行曝光时间控制。
另外，关于本发明的图像处理装置的实施例，控制单元通过以像素部的颜色为单位的快门控制来以颜色为单位执行曝光时间控制。
另外，关于本发明的图像处理装置的实施例，图像处理装置还包括:计数器，用于对与从像素部输出的长曝光区域的高灵敏度像素的像素值相等的数字值进行计数；以及输出选择单元，用于在由计数器计数的高灵敏度像素的像素值小于预定阈值时，选择并输出该高灵敏度像素的像素值作为输出图像的计算像素值，而在由计数器计数的高灵敏度像素的像素值等于或大于预定阈值时，选择并输出颜色与该高灵敏度像素相同的、短曝光区域的低灵敏度像素的像素值作为输出图像的计算像素值。另外，关于本发明的图像处理装置的实施例，像素部从长曝光区域输出高灵敏度像素信息，从短曝光区域输出低灵敏度像素信息，并且从具有在长曝光与短曝光之间的曝光时间的中间曝光区域输出中间灵敏度像素信息，并且关于输出图像的像素值的计算处理，像素信息合并单元通过执行计算处理以向高灵敏度像素信息、低灵敏度像素信息和中间灵敏度像素信息设置与拍摄对象的亮度对应的权重，来计算输出图像像素值。另外，关于本发明的图像处理装置的实施例，图像处理装置还包括灰度转换单元，该灰度转换单元用于执行由像素信息合并单元生成的输出图像的每个像素的像素值的比特减少处理。另外，关于本发明的图像处理装置的实施例，图像处理装置还包括信号处理单元，该信号处理单元用于对从像素信息合并单元生成的输出图像执行信号处理。另外，关于本发明的图像处理装置的实施例，图像处理装置还包括用于对由像素信息合并单元生成的输出图像执行编码处理的编解码器。另外，关于本发明的图像处理装置的实施例，像素部具有下述配置:在该配置中，从至少为3X3像素的像素区域输出同一颜色的具有不同曝光时间的像素信息。另外，关于本发明的图像处理装置的实施例，像素部包括贝尔阵列或RGBW阵列。另外，本发明的第二方面是一种成像装置，其包括:成像单元，以及图像处理单元，用于执行根据权利要求1至16中任一项所述的处理。另外，本发明的第三方面是一种由图像处理装置执行的图像处理方法，包括:控制步骤，其中控制单元执行像素或像素区域单位的曝光时间控制，像素信息输出步骤，其中像素部通过在控制单元的控制下的成像处理来输出具有多个不同曝光时间的像素信息，以及像素信息合并步骤，其中像素信息合并单元通过输入从像素部输出的具有多个不同曝光时间的像素信息并执行使用该多个像素信息的计算处理，来计算输出图像的像素值。另外，本发明的第四方面是一种用于执行图像处理装置中的图像处理的程序，包括:控制步骤，其中控制单元执行像素或像素区域单位的曝光时间控制，像素信息输出步骤，其中像素部通过在控制单元的控制下的成像处理来输出具有多个不同曝光时间的像素信息，以及像素信息合并步骤，其中像素信息合并单元通过输入从像素部输出的多个不同曝光时间的像素信息并且执行使用该多个像素信息的计算处理，来计算输出图像的像素值。另外，本发明的程序可以例如经由网络介质或者记录介质来提供，该记录介质以用于可执行各种程序代码的计算机系统或信息处理装置的计算机可读格式来提供程序。通过以计算机可读格式提供这种程序，可在信息处理装置或计算机系统上实现对应于程序的处理。
将基于附图和稍后所述的实施例来更详细地描述本发明的其他目的、特征和优点。另外，本说明书中的系统是多个装置的逻辑分组配置，并且每个装置配置不限于在同一物理装置内。
本发明的有益效果
根据本发明的实施例的配置，装置和方法被实现为基于一幅拍摄图像来生成具有宽动态范围的图像。具体地，执行曝光时间控制来以像素部的行为单位或以像素区域为单位设置不同的曝光时间，并且获得多个不同像素信息，这多个不同像素信息是具有所设置的不同曝光时间的像素的像素值。例如，获得来自长曝光像素的高灵敏度像素信息和来自短曝光像素的低灵敏度像素信息，并且基于具有这些不同灵敏度的像素信息来计算输出图像的像素值。例如，高光亮度区域具有灵敏度像素信息具有饱和值的潜能，因此，关于低灵敏度像素信息的权重被设置为大的数，此外，低光亮度区域被估计为具有SN比差的低灵敏度像素信息，因此，关于高灵敏度像素信息的权重被设置为大的数以确定输出像素值。
通过该处理实现了基于一幅拍摄图像来生成具有宽动态范围的图像。
[图1]图1是描述通过对具有多个不同的曝光量的图像进行合并来获得具有宽动态范围的图像的处理的图。
[图2]图2是示出本发明的图像处理装置的配置示例的图。
[图3]图3是描述与本发明的第一实施例相关的图像处理装置的处理和成像装置配置的图。
[图4]图4是描述与本发明的第一实施例相关的图像处理装置的像素信息合并处理的具体示例的图。
[图5]图5是描述如下增益控制的图:该增益控制作为对高灵敏度像素和低灵敏度像素的亮度与输出之间的对应关系以及低灵敏度像素的输出的调整处理。
[图6]图6是描述与本发明的第一实施例相关的图像处理装置的成像装置中的像素部的曝光时间控制处理的示例的图。
[图7]图7是描述与本发明的第一实施例相关的图像处理装置的成像装置的像素信息合并单元的输出像素确定算法的示例的图。
[图8]图8是描述与本发明的第一实施例相关的图像处理装置的成像装置的像素信息合并单元的输出像素确定算法的示例的图。
[图9]图9是描述与本发明的第一实施例相关的图像处理装置的成像装置的像素信息合并单元的输出像素确定算法的示例的图。
[图10]图10是描述与本发明的第一实施例相关的图像处理装置的成像装置的像素信息合并单元的输出像素确定算法的示例的图。
[图11]图11是描述与本发明的第二实施例相关的图像处理装置的成像装置的配置和处理的图。
[图12]图12是描述与本发明的第二实施例相关的图像处理装置的成像装置的输出选择单元的配置和处理的图。[图13]图13是示出了如下流程图的图:该流程图描述了与本发明的第二实施例相关的图像处理装置的成像装置中所执行的对于根据像素信息而合并的图像的像素值确定序列。[图14]图14是描述与本发明的第三实施例相关的图像处理装置的成像装置的配置和处理的图。[图15]图15是描述与本发明的第三实施例相关的图像处理装置的成像装置中所设置的灰度转换单元所执行的处理的具体示例的图。[图16]图16是描述与本发明的第四实施例相关的图像处理装置的成像装置的配置和处理的图。[图17]图17是描述与本发明的第五实施例相关的图像处理装置的成像装置的像素部的配置和曝光控制处理的图。[图18]图18是描述与本发明的第五实施例相关的图像处理装置的成像装置的像素部的曝光控制处理的具体示例的图。[图19]图19是描述与本发明的第六实施例相关的图像处理装置的成像装置的像素部的配置和曝光控制处理的图。[图20]图20是描述与本发明的第七实施例相关的图像处理装置的成像装置的配置和像素信息合并处理的图。[图21]图21是描述与本发明的第八实施例相关的图像处理装置的成像装置的配置的图。
具体实施例方式以下将参照附图描述本发明的图像处理装置、成像装置、图像处理方法和程序。将按以下项目顺序进行描述。1.图像处理装置的整体配置示例2.图像处理装置的具体配置和处理的实施例(2-1.第一实施例)至(2-8.第八实施例)[1.图像处理装置的整体配置示例]首先，将参照图2描述本发明的图像处理装置的整体配置示例。图2是示出作为本发明的图像处理装置的示例的成像装置的配置的框图。通过光学透镜101照射的光照射到由例如CMOS图像传感器构成的成像装置102，并且通过光电转换而作为图像数据被输出。输出的图像数据被输入到信号处理单元103中。信号处理单元103执行通常在摄像装置中使用的信号处理(诸如，白平衡(WB)调整和伽马校正)，并且生成输出图像120。输出图像120被存储在未示出的存储单元中。其也可以被输出到显示单元。控制单元105根据例如存储在未示出的存储器中的程序来将控制信号输出到每个单元，并且执行各种处理控制。下文中，将主要关于成像装置的配置和处理来描述多个实施例。[2.图像处理装置的具体配置和处理的实施例]
(2-1.第一实施例)首先，将描述与本发明的图像处理装置的第一实施例相关的成像装置的配置和处理。如图3所示，第一实施例的成像装置102包括像素部201和计算单元202。像素部201通过例如由RGB像素构成的贝尔阵列的像素阵列的每个像素的光电转换而输出与曝光时间对应的电荷信息。关于第一实施例的配置，通过控制单元105的控制(快门控制)而以像素区域(例如，行或线)为单位来以不同曝光时间设置像素部201。从被设置进行长曝光的行输出与基于长曝光的累积充电对应的高灵敏度像素信息251。此外，从被设置进行短曝光的行输出与基于短曝光的累积充电对应的低灵敏度像素信息252。稍后将详细描述对于曝光时间的控制配置的具体示例。另外，控制单元设置在成像装置中，并且成像装置的处理控制可被配置为通过成像装置中的控制单元的控制来执行。计算单元202输入从像素部201输出的高灵敏度像素信息251和低灵敏度像素信息252,包括用于基于输入的该信息生成一个图像信息的像素信息合并单兀211。像素信息合并单元211的输出被输入到信号处理单元103。信号处理单元103例如执行摄像装置中通常使用的信号处理(诸如白平衡(WB)调整和伽马校正)，并且生成输出图像120。输出图像120被存储在未示出的存储单元中。其也可显示在显示单元上。图4是示出在本发明的第一实施例的成像装置的像素信息合并单元中所执行的合并处理的示例的图。图4示出了:(a)像素部的拍摄图像(b)通过来自像素信息合并单元的合并处理而生成的输出图像。另外，该图仅示出了(a)和(b)的拍摄图像和像素信息合并图像的部分区域。图4 (a)中所示的像素部的拍摄图像是与图3中的成像装置102的像素部201的配置对应的图。根据本示例，像素部201中的滤色器的阵列是贝尔阵列，并且具有根据指定阵列来设置R、Gb> Gr和B像素的配置。图3的成像装置102中的计算单元202的像素信息合并单元211对图4 (a)所示的来自像素部201的多个像素信息进行合并，生成图4 (b)所示的像素信息合并图像，并且将其输出到下一级信号处理单元103。图4示出了从具有不同灵敏度的总共四个像素、即两个高灵敏度像素和两个低灵敏度像素当中确定输出图像的一个像素的像素值的处理示例。也就是说，根据本实施例，像素信息合并单元211基于包括像素部201中所拍摄的图像的4个像素来确定输出图像的一个像素的像素值。通过该处理来生成像素部中的像素的1/4的输出图像，并输出该输出图像。图4( b )所示的由像素信息合并单元211生成的输出图像的左上部的像素Gb( out)的像素值是基于以下像素的像素值而计算的:作为图4 Ca)中所示的拍摄图像的、像素部201的左上部中的四个像素，即像素Gb (0，0)、Gb (l，0)、Gb (0，1)和Gb (1，1)。如图4 (a)中的像素部的拍摄图像的左侧所示，该拍摄图像以两行为单位被交互地设置为高灵敏度像素区域和低灵敏度像素区域。高灵敏度像素区域是执行长曝光的区域，以及
低灵敏度像素区域是执行短曝光的区域。根据本实施例的配置，以此方式以像素部201的一行为单位执行曝光时间控制，并且拍摄以两行为单位交互地设置有高灵敏度区域和低灵敏度区域的图像。像素信息合并单元211输入该高灵敏度像素区域中的像素的像素值和该低灵敏度像素区域中的像素的像素值，以确定一个输出像素的像素值。作为示例，将描述图4 (b)中的像素信息合并图像的左上部中的像素Gb (out)的像素值的计算示例。像素信息合并单元211基于两个高灵敏度像素和两个低灵敏度像素的像素值来计算图4 (b)中的像素信息合并图像的左上部中的像素Gb (out)的像素值，这两个高灵敏度像素和两个低灵敏度像素是图4 Ca)中的拍摄图像的左上部中的四个像素，如下:高灵敏度像素:Gb (0,0)和Gb (1,0)低灵敏度像素:Gb(0,1)和 Gb (1,1)。像素信息合并单元211对图4(b)中的像素信息合并图像的所有像素(S卩，像素Gb(out)、Gr (out)、B (out)和R (ou t))执行相同的像素值计算处理。也就是说,输出图像的这些像素值全部是使用图4 (a)中的拍摄图像的两个高灵敏度像素和两个低灵敏度像素的像素值来计算的。然而，当计算一个输出像素值时，四个输入像素的像素值的贡献比率并不是恒定的(分配比率)，并且例如执行处理，以确定对拍摄对象的亮度的依赖性。稍后将描述该处理。此外，图4所示的示例示出了以两行为单位交互地设置高灵敏度像素区域和低灵敏度像素区域的示例，但这仅仅是一个示例，并且像素区域的切换单位可被设置为除了两行外的值。将使用图4 (b)所示的Gb (out)的像素值计算的示例来描述像素信息合并单元211的像素值计算处理示例。例如根据以下表达式(表达式I)来计算图4 (b)所示的Gb (out)的像素值。Gb (out) = [Gb (0，0) X a ] + [Gb (1，0) X 3 ] + [Gb (0，I) X (Gain) X y ] + [Gb(l, I) X (Gain) X e ]......(表达式 I)其中Gb (x，y)是拍摄图像在坐标(x，y)的位置处的像素值，Gain是用于校正灵敏度比率的增益值(预定值)，以及a、0、Y和e是用于设置输入像素的贡献比率的系数，并且是满足a+^ + y+e=l的关系的系数。以此方式，像素信息合并单元211从输入图像中的、处于与图4 (b)所示的输出图像的像素位置相对应的位置处的多个像素当中，输入来自至少包括高灵敏度像素和低灵敏度像素的多个像素的像素值，并且根据前述表达式来计算图4 (b)所示的像素信息合并图像的每个像素值。根据本实施例，输入来自两个高灵敏度像素和两个低灵敏度像素的像素值，并且根据前述表达式来计算图4 (b)中的像素信息合并图像的每个像素值。除了 Gb之外，使用前述(表达式I)来针对Gr、R和B执行相同的像素值计算处理。也就是说，关于与像素信息合并图像的Gr (out)的像素位置相对应的拍摄图像的像素区域，使用高灵敏度像素区域的两个Gr像素值和低灵敏度像素区域的两个Gr像素值来计算图4 (b)中的输出图像的Gr (out)的像素值。
关于与像素信息合并图像的R(out)的像素位置相对应的拍摄图像的像素区域，使用高灵敏度像素区域的两个R像素值和低灵敏度像素区域的两个R像素值来计算图4 (b)中的输出图像的R (out)的像素值。关于与像素信息合并图像的B(OUt)的像素位置相对应的拍摄图像的像素区域，使用高灵敏度像素区域的两个B像素值和低灵敏度像素区域的两个B像素值来计算图4 (b)中的输出图像的B (out)的像素值。如前述(表达式I)所示，当对输出图像执行像素值计算处理时，使用根据系数α、β、Y和ε而应用的平均权重来执行该处理,其中系数α、β、γ和ε对应于作为输入图像的四个拍摄图像的像素值。表达式中的增益是用于校正灵敏度差异的系数。例如，当低灵敏度像素与高灵敏度像素之间的灵敏度比率为1:4时，将四倍的增益应用于来自低灵敏度像素的输出，并且关于前述表达式(表达式1)，增益被设置为:Gain=4.0。结果，维持了对应于亮度的线性，并且可实现宽动态范围。图5是描述增益控制的图。如图5所示，当低灵敏度像素与高灵敏度像素之间的灵敏度比率为1:4时，对应于来自低灵敏度像素的输出来应用400%的增益，使得来自低灵敏度像素的输出与来自高灵敏度像素的输出匹配。
来自前述(表达式I)的α、β、Y和ε是如前所述的用于设置每个像素的贡献比率的系数。这些系数α、β、γ和ε的值可全部使用对应于输出像素的颜色(例如，Gb、Gr、B和R)的不同值。此外，这些系数可被设置为取决于拍摄对象的亮度来更新。例如，存在如下情况:高灵敏度像素的像素值处于与亮拍摄对象对应的饱和状态，即处于最大像素值，因此可能无法反映正确的像素值。在这种情况下，根据前述(表达式1)，例如:α =β =0,因此,没有应用高灵敏度像素Gb (O, O)和Gb (1,0)的像素值，Y+ε =1，因此，仅应用低灵敏度像素Gb (0,1)和Gb (1，I)的像素值来执行计算输出像素值的处理。也就是说，前述(表达式I)通过仅应用低灵敏度像素Gb (0，1)和Gb (1，1)的像素值来计算输出像素的像素值Gb (out)，如下:Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]= [Gb (0，I) X (Gain) X Y ] + [Gb(l, I) X (Gain) X ε ]。作为这种处理的结果，可通过仅使用低灵敏度像素的有效像素值信息来设置输出像素值，而没有收到来自饱和的高灵敏度像素的像素值的任何影响。例如前述(表达式I)中的与拍摄对象的亮度相对应的α、β、γ和ε的设置值和增益值或者这些值的计算处理算法应该被预先指定，并且存储在成像装置内的存储器中。这也可以被实现为硬件。像素信息合并单元211通过例如应用存储在存储器中的值、硬件或算法并且根据前述(表达式I)计算输出值(即，像素信息合并图像的配置像素的像素值)，来获取或计算增益值和系数α、β、γ和ε。
图6是描述控制像素部201中的高灵敏度像素区域和低灵敏度像素区域的曝光时间的控制的示例的图。图6中的纵轴表示像素部的像素行，而横轴表示经过的时间。纵轴的行开始于在最上部的像素部的第一行，并且各行从这里按顺序向下(行号=2、3、4、5…)。横轴的时间示出根据在右方向上的行进而经过的时间。图6示出当低灵敏度像素与高灵敏度像素之间的灵敏度比率为1:4时高灵敏度像素区域和低灵敏度像素区域的曝光时间的控制处理的示例。根据本示例，高灵敏度像素的曝光时间被设置为低灵敏度像素的曝光时间的4倍。以行为单位控制电子快门的曝光时间，以设置高灵敏度像素区域和低灵敏度像素区域。例如，用作图3中所示的成像装置102的像素部201的CMOS成像器具有使得能够以行为单位进行电子快门控制的 配置。也就是说，该配置使得能够以行为单位设置任意曝光时间。例如，基于对应于成像装置102的像素部201的、从图3所示的控制单元105输出的控制信号，来执行以行为单位的曝光时间控制。图6中所示的曝光时间控制示例是与如下配置对应的曝光时间控制示例:在该配置中，以与对图4 (a)中的像素部的拍摄图像的左侧所示的相同的方式，以两行为单位交互地设置高灵敏度像素区域和低灵敏度像素区域。第I行和第2行是具有长曝光处理的高灵敏度像素区域。第3行和第4行是具有短曝光处理的低灵敏度像素处理。也以两行为单位交互地设置从第5行以下的行，其中，高灵敏度像素区域执行长曝光处理，并且低灵敏度像素区域执行短曝光处理。如图6所示，对于诸如第I行和第2行、第5行和第6行等的高灵敏度像素区域，第一行的快门从时刻tl起启动(曝光开始)，并且曝光开始从上面的行向下移动到下面的行。从时刻tl起的至右下方的虚线(SI)表示高灵敏度像素行(行号=1，2，5，6，…)的每一行的快门启动位置(曝光开始)。另外，从上面的行向下面的行按顺序执行快门的打开和关闭操作，因此，延迟了根据到下面的行的行进的处理时间。由右下方的行来设置该影响。对于诸如第3行和第4行、第7行和第8行等的低灵敏度像素区域，第三行的快门从时刻t2起启动(曝光开始)，并且曝光开始从上面的行向后移动到下面的行。从时刻tl起的至右下方的虚线(S2)表示低灵敏度行(行号=3，4，7，8，…)的每一行的快门启动位置(曝光开始)。另外，从上面的行向下面的行按顺序执行快门的打开和关闭操作，因此，延迟了根据到后面的行的行进的处理时间。由右下方的行来设置该影响。另外，在图6的右边缘的右下方的虚线(El)表示每个像素中所累积的电荷的读出起始位置(曝光结束)。该像素值读出处理没有被分为高灵敏度像素行(1，2，5，6，…)和低灵敏度像素行(3，4，7，8，…)，而是针对全部行来执行的。从时刻t3起，第一行的读出开始，并且根据经过的时间，对于第2、3、4、5、6、7、……行以下降的行顺序行进来执行全部行的像素值(累积电荷)的读出。也就是说，图6所示的快门控制如下。首先设置高灵敏度像素行(1，2，5，6，…)的曝光开始时间(tl)。然后设置低灵敏度像素行(3，4，7，8，…)的曝光开始时间(t2)。
另外，从时刻t3起，从上面的行连续地执行读出(曝光结束)。由于该处理，可将高灵敏度像素行(1，2，5，6，…)的曝光时间设置得比低灵敏度像素行(3，4，7，8，…)的曝光时间长(对于本示例为4倍)，并且可基于不同的曝光时间从每个像素获得累积电荷(像素值)。根据参照图4和图6所述的本实施例，每隔两行改变曝光时间的长度。对于高灵敏度是较长的曝光时间，而对于低灵敏度是较短的曝光时间。图7是描述作为图6所示的曝光控制的结果而由像素信息合并单元211生成的合并图像(即，像素信息合并图像的生成处理)的示例的图。如参照图4和(表达式I)所述，如图3所示的像素信息合并单元211应用多个像素的像素值并确定如图4 (b)所示的输出图像的一个像素的像素值。像素信息合并单元211基于如下的、作为合并图像的像素值计算表达式的前述表达式(表达式I)，根据拍摄图像的多个像素值来计算一个像素的像素值:Gb(out)=[Gb(0，O)Xa]+[Gb(1，O)Xβ]+[Gb(O,I)X(Gain)XY]+[Gb(l,I)X(Gain)Xε]。如前所述，前述表达式中的系数α、β、Υ和ε可被设置为对应于例如拍摄对象的亮度来进行更新。例如，存在如下情况:高灵敏度像素的像素值处于对应于亮拍摄对象的饱和状态，也就是说，处于最大像素值，因此可能无法反映正确的像素值。在这种情况下，根据前述(表达式I)，例如，α=β=0，因此，没有应用高灵敏度像素Gb (0，0)和Gb (0，1)的像素值，以及Y + ε =1,因此仅应用低灵敏度像素Gb (O, I)和Gb (I, I)的像素值来执行计算输出像素值的处理。图7示出了这种处理的三种处理状态。也就是说，图7是描述与这些拍摄对象的成像区域对应的合并处理的状态的图:(I)亮拍摄对象(高灵敏度像素具有饱和值)(2)中间拍摄对象(高灵敏度像素具有饱和以下的值，并且高灵敏度像素和低灵敏度像素两者均具有等于或高于预定容限的SN比)(3)暗拍摄对象(高灵敏度像素具有饱和以下的值，并且低灵敏度像素具有低于预定容限的SN比)将描述每种处理状态。(I)売拍摄对象(闻灵敏度像素具有饱和值)如图7 (I)所示，当高灵敏度像素具有饱和值时，高灵敏度像素的像素值是与在像素部的每个像素中可累积的最大电荷量对应的最大像素值，并且处于可能无法反映正确的像素值的状态。在这种情况下，高灵敏度像素的像素值没有被应用于像素信息合并图像的输出像素的像素值计算。根据该图7 (I)所示的示例，前述(表达式I)中的系数α、β、Υ和ε的设置被设置如下。α =β =0,因此,不应用高灵敏度像素Gb(0, O)和Gb(l, O)的像素值，以及Y + ε =1,因此仅应用低灵敏度像素Gb (0，1)和Gb (1，I)的像素值来执行计算输出像素值的处理。也就是说，对于图4中的Gb (out)的计算处理，例如:Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]= [Gb (0，I) X (Gain) X Y ] + [Gb(l, I) X (Gain) X ε ]。如前所述，不应用高灵敏度像素Gb (0，0)和Gb (1，O)的像素值，因此，仅仅应用低灵敏度像素Gb (0，1)和Gb (1，I)的像素值来计算像素信息合并图像的输出像素值。根据图7 (I)所示的示例，α = β =0γ+ε=1。 在满足上述限制的范围内能够进行各种设置。作为示例，设Y+ ε =0.5。通过这种设置，可将两个低灵敏度像素的平均值设置为像素信息合并图像的一个输出像素的像素值。(2)中间拍摄对象(高灵敏度像素具有饱和以下的值，并且高灵敏度像素和低灵敏度像素两者都具有等于或大于预定容限的SN比)如图7(2)所示，对于具有中等亮度的拍摄对象，也就是说，当高灵敏度像素具有饱和以下的值，并且高灵敏度像素和低灵敏度像素两者均具有等于或大于预定容限的SN比时，执行以下处理。为了确定针对高灵敏度像素和低灵敏度像素两者均反映了正确的像素值，选择这些像素中的一个并将其用于设置像素信息合并图像的像素值，或者可执行全部这些像素的混合处理以计算像素信息合并图像的像素值。在这种情况下，前述(表达式I)中的系数α、β、Υ、ε被设置如下。α+β + γ+ ε=1在满足上述限制的范围内能够进行各种设置。作为示例,设α+β + γ+ε =0.25。通过这种设置，可将两个高灵敏度像素和两个低灵敏度像素这总共4个像素的平均值设置为像素信息合并图像的一个输出图像的像素值。(3)暗拍摄对象(高灵敏度像素具有饱和以下的值，并且低灵敏度像素具有低于预定容限的SN比)如图7 (3)所不,对于暗拍摄对象,也就是说，当闻灵敏度像素具有饱和以下的值，并且低灵敏度像素具有低于预定容限的SN比时，执行以下处理。低灵敏度像素的像素值具有低于预定容限的SN比，因此，无法认为反映了正确的像素值。在这种情况下，不应用低灵敏度像素的像素值，并且仅基于高灵敏度像素的像素值来计算像素信息合并图像的输出像素值。在这种情况下，前述(表达式I)中的系数α、β、Υ、ε被设置如下。y = ε =0α+β=1也就是说,对于图4中的Gb (out)的计算处理,例如，Gb (out) = [Gb (0，O) X α ] + [Gb (1，O) X β ] + [Gb (O, I) X (Gain) X Y ] + [Gb(l, I) X (Gain) Xe]=[Gb(0, 0) X a ] + [Gb(l, 0) X β ]如前所述，不应用低灵敏度像素Gb (0，1)和Gb (1，I)的像素值，因此，仅应用高灵敏度像素Gb (0，0)和Gb (1，O)的像素值来计算像素信息合并图像的输出像素值。
y + e =0a+￠=1
在满足上述限制的范围内能够进行各种设置。作为示例，设a+3 =0.5。通过这种设置，可将两个高灵敏度像素的平均值设置为像素信息合并图像的一个输出像素的像素值。如参照图7所述，当确定要生成的像素信息合并图像的每个像素值时，像素信息合并单元211取决于拍摄对象的亮度而确定是否使用高灵敏度像素和低灵敏度像素中的任一个或两者。当明亮时，存在高灵敏度像素饱和(无效)的情况，并且在这种情况下，优选按原样使用低灵敏度像素信息，但当两种像素信息均有效时，可在考虑SN比之后确定要使用哪一个。参照图8描述像素信息合并单元211的处理的具体示例。图8所示的处理是像素信息合并单元211执行的处理的一个序列示例。根据图8所示的示例，通过以下序列执行像素信息合并图像的像素值计算。首先，在步骤Sll处，基于垂直方向上的两个像素来计算中间合并像素值。接下来，在步骤S12处，将基于垂直方向上的两个像素的中间像素值用来执行最终将被输出的图像的像素计算。也就是说，在步骤Sll处，仅选择一个高灵敏度像素和一个低灵敏度像素来计算中间合并像素值，并且此后，在步骤S12处，基于这些中间合并像素值，针对最终将被输出的图像来执行像素计算。将参照图9描述当执行该序列时与每个像素的贡献比率相对应的权重系数的设置示例。图9 (I)示出了被应用于图8的步骤Sll中的基于垂直方向上的两个像素来计算中间合并像素值的处理的计算和系数的示例。图9 (2)示出了被应用于图8的步骤S12中的基于两个中间合并像素值的最终像素值计算处理的计算示例。如图9 (I)所示，作为图8的步骤Sll中的基于垂直方向上的两个像素的中间合并像素值的计算处理而执行的计算如下。输出[Gb(I)] = [Gb (0,0) X ffH] +[Gb (0, I) X (Gain) XffJ.....(表达式 2)另外，前述(表达式2)表示关于之前参照图4所述的像素信息合并图像的像素值Gb (out)的计算处理，在图8的步骤Sll处所执行的一个中间合并像素值[Gb(I)]的计算表达式。根据以下表达式执行又一个中间合并像素值[Gb(2)]的计算。输出[Gb(2)] = [Gb (1,0) XffH]+ [Gb (I, I) X (Gain) XffJ.....(表达式 3)关于前述(表达式2)以及(表达式3)，Gb (x，y)是拍摄图像在坐标(X，y)的位置处的像素值，Gain是用于校正灵敏度比率的增益值(预定值)，Wh是与输入像素的高灵敏度像素相对应的权重系数，以及Wl是与输入像素的低灵敏度像素相对应的权重系数，其中，这些系数满足％+1=1的关系。
图9 (I)示出了输入像素的与高灵敏度像素相对应的权重系数Wh和与低灵敏度像素相对应的权重系数I的设置示例。这里，该设置将不同的系数用于低灵敏度像素的像素值。具体地，例如如图9 (I)所示，使用了系数的以下设置。另外，每个像素的像素值被输出为10比特的值(0至1023)。以下设置对应于低灵敏度像素的像素值(数据)。(a)当 0 ≤数据〈50 时:ffH=l.0 和 Wl=O(b)当 50 ≤数据 <100 时:ffH=0.5 和 Wl=0.5(c)当 100 ≤数据 <1023 时:ffH=0 和 Wl=L 0该系数设置基于以下假设。(a)当0≤数据〈50时以此方式，当低灵敏度像素的像素值(数据)小时，拍摄对象的亮度低，并且假设低灵敏度像素的像素值的SN比低。在这种情况下，确定低灵敏度像素的像素值(数据)的可靠性低，并且还假设附近的高灵敏度像素的像素值并未饱和。在这种情况下，与低灵敏度像素的像素值相对应的权重系数\为0’并且与高灵敏度像素的像素值相对应的权重系数Wh为1，因此，仅取决于高灵敏度像素的像素值来计算关于中间合并像素值的像素值[Gb(I)]。(b)当50≤数据〈100时以此方式，当低灵敏度像素的像素值(数据)处于中间时，拍摄对象的亮度处于中间，并且假设低灵敏度像素的像素值的SN比良好。在这种情况下，确定低灵敏度像素的像素值(数据)的可靠性高，并且还假设附近的高灵敏度像素的像素值并未饱和。在这种情况下，将低灵敏度像素的像素值和高灵敏度像素的像素值混合。也就是说，与低灵敏度像素的像素值相对应的权重系数W^为0.5，并且与高灵敏度像素的像素值相对应的权重系数Wh为
0.5，因此，通过来自高灵敏度像素和低灵敏度像素的两个像素值的平均来计算中间合并像素值的像素值[Gb (I)]。(c)当 100 ≤数据〈1023 时以此方式，当低灵敏度像素的像素值(数据)高时，拍摄对象的亮度极其高。在这种情况下，低灵敏度像素的像素值的SN比良好，并且确定低灵敏度像素的像素值(数据)的可靠性高，但假设附近的高灵敏度像素的像素值饱和。在这种情况下，与高灵敏度像素的像素值相对应的权重系数Wh为0，与低灵敏度像素的像素值相对应的权重系数I为1，因此，仅取决于低灵敏度像素的像素值来计算中间合并像素值的像素值[Gb(I)]。以此方式，可使用低灵敏度像素信息来执行系数的设置。另外，为了简化，这里使用了三种类型，但可预先设置用于基于低灵敏度像素来计算权重的函数，并且如图3所示的像素信息合并单元211可具有如下配置:通过基于从像素部201输入的低灵敏度像素信息252来执行应用预先设置的函数的计算，而计算系数Wh和Wp图9 (2)示出了图8中的步骤S12的处理，也就是说，应用于基于两个中间合并像素值的最终像素值计算处理的计算示例。如该图9 (2)所示，作为图8的步骤S12中的基于中间合并像素值的最终像素值计算处理而执行的计算如下。输出[Gb (out) ] = [Gb (I) X 0.5] + [Gb (2) X0.5].....(表达式 4)
另外，前述(表达式4)表示关于之前参照图4所述的像素信息合并图像的像素值Gb (out)的计算处理，图8的步骤S12中所执行的、基于两个中间合并像素值的最终像素值计算处理的计算表达式。这里，示出了通过对两个中间合并像素值的简单平均来执行最终像素值计算的示例。另外，参照图8和图9所述的关于像素信息合并图像的像素值计算处理示例仅仅是一个示例，还可以进行各种其他处理，诸如在例如设置权重系数期间来设置通过相加而得到的中点的校正方差的系数。此外，例如，当具有参照图2所述的由像素R、Gr、Gb和B构成的贝尔阵列或其他像素配置时，可以单独地计算例如应用于像素信息合并图像的每个像素的计算的权重系数Wh和I，并且该配置可使用针对先前处理的邻近像素已算出的权重值。参照图10描述已算出的该权重系数的使用示例。图10所示的示例是描述当在像素信息合并单元处首先执行输出图像的Gb像素的计算并且此后执行B像素的计算时的处理示例的图。在图10中，依据参照图9 (I)所述的系数设置，根据以下表达式执行中间合并像素值[Gb(I)]和[Gb (2)]的计算。输出[Gb(I)] = [Gb (0,0) X Whi+[Gb (0，I) X (Gain) XWlJ输出[Gb(I)] = [Gb (I, O) X WH2]+ [Gb (1，I) X (Gain) XffL2]根据参照图9 (I)所述的系数的设置状态来设置输出[Gb(I)]的计算表达式中所不的系数Whi和Wu。根据参照图9 (I)所述的系数的设置状态来设置输出[Gb(2)]的计算表达式中所不的系数Wh2和Wlj2。当已算出这些系数时，可将用于计算像素信息合并图像中的B像素的系数，即与图10中所示的像素B (P)和像素B(q)相乘的权重系数，配置为是使用在前述[Gb(I)]的计算表达式中所使用的系数Whi和Wu以及在[Gb (2)]的计算表达式中所使用的系数Wh2和来计算的，。例如，作为对应于图8中的步骤Sll的处理，针对B的中间合并像素B(I)的计算表达式如下。输出[B(I)]= [B(P) XffHb] + [B(q) X (Gain) XffLb]因此，描述了计算表达式。例如，该表达式中所使用的系数WHb和Wu3被计算如下。Wsb=(UW112)/2ffLb=(ffL1+ffL2)/2以此方式，将用于向B赋予权重的系数可被配置为是基于系数Gb来计算的。结果，如下处理取决于输出图像的每个像素的颜色而提高高灵敏度像素信息或低灵敏度像素信息的贡献比率:该处理用于使权重系数稳定化，而不会因输出图像的每个像素的颜色而引起大的变化。这与通过使像素区域的曝光时间均匀来使输出图像稳定化相联系，结果，这有助于防止由于诸如当正拍摄的物理对象移动时的曝光时段的变化等而产生假色。
(2-2.第二实施例)接下来，作为本发明的第二实施例，成像装置的配置和处理示例将被描述为具有如下配置:其中，在AD转换电路中从多个像素中选择一个像素，并且基于所选择的像素执行输出图像的像素值的设置。图11是示出与本发明的第二实施例相关的成像装置300的示例配置的图。成像装置300包括如图所示的像素部301、输出选择单元302和计算单元303。输出选择单元302被配置为如图12所示的与来自像素部301的每列的输出像素相对应的各个输出选择单元302a、302b等，并且每个输出选择单元被配置为包括比较器321、计数器322和确定单元323。计算单元303包括像素信息合并单元311。另外，图像处理装置(成像装置)的整体配置类似于第一实施例，并且具有如之前参照图2所述的配置。尽管图11中未示出，但是来自控制单元105的控制信号被输入到像素部301、输出选择单元302和计算单元，其中，执行各种类型的控制。像素部301的配置和处理类似于第一实施例，其中以两行为单位设置具有长曝光的高灵敏度像素行和具有短曝光的低灵敏度像素行。曝光处理类似于第一实施例，其中类似于如之前参照图6所述的那样执行快门控制，因此，以两行为单位设置具有长曝光的高灵敏度像素行和具有短曝光的低灵敏度像素行。然而，根据本实施例，曝光后的累积电荷的读出序列不同于先前的第一实施例。根据先前的第一实施例以及如参照图6所述，从上面开始按顺序执行从第一到第二、第三、第四、第五等各行的读出。相比之下，根据第二实施例并如图11所示，读出顺序被设置如下。第一行(高灵敏度像素行)，第三行(低灵敏度像素行)，第二行(高灵敏度像素行)，第四行(低灵敏度像素行)，第五行(高灵敏度像素行)，第七行(低灵敏度像素行)，第六行(高灵敏度像素行)，等等。如前所述，从上面开始在高灵敏度像素行与低灵敏度像素行之间交替执行读出处理。这样，所读出的像素值(累积电荷)被顺序地输出到输出选择单元302的比较器321。比较器321针对每列来顺序地输入高灵敏度像素值和低灵敏度像素值。例如，关于左边缘列(第一列)，首先输入作为高灵敏度像素行的第一行中的[Gb(0，0)]，接着输入作为低灵敏度像素行的第三行中的同一颜色的[Gb(0，I)]。类似地，对于第二列，输入作为高灵敏度像素行的第一行中的[B]，接着输入作为低灵敏度像素行的第三行中的同一颜色的[B].
以此方式，针对每列，同一颜色的像素值被输入到比较器321，其中首先输入高灵敏度像素值、此后输入低灵敏度像素值。
比较器321基于来自每个像素的输出电荷来生成数字数据，并且将其输出到计数器322。根据本实施例，将描述可输出每个信号的10比特(O至1032)的数字像素值的设置。像素值=0至1023比较器321将数字数据设置为该范围内的与来自每个像素的输出电荷相对应的关于每个像素的值，并将其输出到计数器322。首先，比较器321生成表示高灵敏度像素的像素值的数字数据，将其输出到计数器322，并接着将表示同一颜色的低灵敏度像素的像素值的数字数据输出到计数器322。首先，计数器322对从比较器321输入的高灵敏度像素的数字值进行计数。确定单元323确定首先从比较器321输入的高灵敏度像素的数字值是否等于或大于512，512是10比特的数(O至1032)的值的一半。当高灵敏度像素的数字值等于或大于512时，高灵敏度像素信息、即表示高灵敏度像素的像素值的数字数据被放弃(被初始化)。接下来，读出低灵敏度像素值，并且将低灵敏度像素的像素信息作为数字值输入到计数器322。然后，输出该数字值。相比之下，如果高灵敏度像素的数字值小于512，则计数器322按原样保存高灵敏度像素信息，并且将其设置为不利用低灵敏度像素信息来重写。当对于该处理，高灵敏度像素的数字值等于或大于512时，存在高灵敏度像素饱和的潜能，并且由于低灵敏度像素信息还被确定为良好，因此放弃高灵敏度像素信息，并且将低灵敏度像素信息输入到计数器322。相反，当高灵敏度像素的数字值小于512时，不存在高灵敏度像素饱和的潜能，并且由于低灵敏度像素信息还被确定为较差，因此将高灵敏度像素信息按原样保存在计数器322 中。另外，如前所述，已将用于确定选择哪个值的确定阈值描述为像素值的一半，但可根据成像装置的特性等来确定该阈值。以此方式，通过作为AD转换电路单元中所配置的输出选择单元的比较器321、计数器322和确定单元323来执行对像素信息的选择，此后，类似于前述第一实施例(图8中的步骤S12的处理)，对水平方向上的像素信息进行合并，并且输出一个图像信息。另外，可在成像元件内执行垂直方向上的选择，或者可通过成像元件外部的LSI来处理垂直方向。图13所示的流程图描述了与图11所示的本发明的第二实施例相关的成像装置300的像素值选择处理的序列。首先，在步骤SlOl处，比较器321生成从像素部301读出的高灵敏度像素的像素值的数字数据。另外，图13所示的流程被描述为Gb像素的读出处理的示例。在步骤S102处，计数器322对从比较器321输入的高灵敏度像素的像素值的数字数据进行计数，并且确定其是否小于作为10比特的值(O至1023)的一半的512。当高灵敏度像素的像素值的数字数据小于512时，处理进行到步骤S103，反之，当该数字数据等于或大于512时，处理进行到步骤S105。当高灵敏度像素的像素值的数字数据小于512时，处理进行到步骤S103，保存高灵敏度像素的像素值的数字数据，并且将其设置为不利用作为下一输入值的、与同一颜色的低灵敏度像素的像素值相对应的数据来重写。
接下来，处理进行到步骤S104，并且输出高灵敏度像素的像素值的数字值。反之，在步骤S102处，当高灵敏度像素的像素值的数字数据等于或大于512时，处理进行到步骤S105，丢弃与高灵敏度像素的像素值相对应的数据，并且保存作为下一输入值的、与同一颜色的低灵敏度像素的像素值相对应的数字值。接下来，处理进行到步骤S106，并且输出低灵敏度像素的像素值的数字值。以此方式，根据本实施例，从像素部读出同一颜色的高灵敏度像素的像素值和低灵敏度像素的像素值，如果首先读出的高灵敏度像素的像素值小于指定阈值(例如，为最大值的一半的值)，则选择并输出高灵敏度像素的像素值，而如果首先读出的高灵敏度像素的像素值等于或大于指定阈值(例如，为最大值的一半的值)，则选择并输出低灵敏度像素的像素值。作为该处理的结果，针对亮像素区域来选择并输出低灵敏度像素的像素值，针对相对暗的像素区域来选择并输出高灵敏度像素的像素值，丢弃饱和像素值以及具有差的SN比的像素值，因此，可选择具有高准确度的像素值，并可确定输出像素的像素值。(2-3.第三实施例)接下来，作为本发明的第三实施例，将参照图14描述在像素信息合并单元之后的灰度转换单元的配置。图14是示出与第三实施例相关的成像装置400的配置的图。图14所示的配置具有灰度转换单元412，该灰度转换单元412设置在先前被描述为第一实施例的图3所示的成像装置的下游侧。其他配置与如图3所示的第一实施例的配置相同。另外，图像处理装置(成像装置)的整体配置类似于第一实施例，并且具有之前参照图2所述的配置。关于图14所示的成像装置400，像素部401包括例如之前参照第一实施例的图4所述的RGbGrB像素的贝尔阵列，并且在控制单元105的控制下，以两行为单位执行长曝光和短曝光。依据根据第一实施例的图6所示的序列来执行曝光序列。通过来自控制单元105的控制(快门控制)来以像素区域为单位(例如以行(或线)为单位)将像素部401设置成不同的曝光时间，输出高灵敏度像素信息451，该高灵敏度像素信息451是来自具有长曝光的行的基于长曝光的累积电荷。此外，输出低灵敏度像素信息452,低灵敏度像素信息452是来自具有短曝光的行的基于短曝光的累积电荷。计算单元402输入从像素部401输出的高灵敏度像素信息451和低灵敏度像素信息，并且基于该输入信息来在像素信息合并单元411处生成像素信息合并图像。以与参照第一实施例的图4以及图7至图10所述的合并处理相同的方式来执行该合并处理。也就是说，输入同一颜色的高灵敏度像素信息和低灵敏度像素信息，并且应用前述(表达式I)或者(表达式2)至(表达式4)来执行像素信息合并图像的像素值计算和生成像素信息合并图像。根据第三实施例，灰度转换单元412设置在该像素信息合并单元411之后。灰度转换单元412对像素信息合并单元411所生成的像素信息合并图像(例如图4 (b))的每个像素的像素值的灰度进行转换。具体地，当像素信息合并单元411生成的像素信息合并图像的每个像素的像素值具有14比特(0至16383)的灰度时，执行处理，以将每个像素的像素值的灰度转换为10比特(0至1023)并将其输出。也就是说，在减小每个像素的比特计数之后生成并输出图像。
通过长曝光图像与短曝光图像的合并而生成的具有宽动态范围的图像趋向于增加每个像素的信息的比特计数。例如，对于以10比特正常操作的成像元件，当在内部增加16倍的灵敏度比率并且生成具有16倍大的值的宽动态范围的图像时，该值变为14比特的数。存在如下情况:具有以此方式增加的比特计数的图像可能不能被作为下游信号处理单元的DSP来处理。为了防止这种情况，灰度转换单元412执行灰度转换处理，以将每个像素的比特计数压缩为可被作为下游信号处理单元的DSP所处理的比特水平。将参照图15描述由灰度转换单元412执行的比特计数压缩处理的示例。在图15中，横轴表示灰度转换单元412的输入图像的每个像素的灰度[14比特(O至16383)]，并且纵轴表示来自灰度转换单元412的输出图像的每个像素的灰度[10比特(O至1023)]。以此方式，灰度转换单元412执行处理，以将位计数减小为小于像素信息合并单元411输出的多灰度像素值的位计数小。将该灰度转换之后的图像数据(例如，由每个像素的10比特的数据构成的图像)提供到下游信号处理单元103 (DSP)使得能够毫无问题地在信号处理单元103 (DSP)处进行处理。另外，由灰度转换单元412执行的比特计数压缩处理使用例如用于减少比特计数的函数。可以预先确定该函数，或者可从外部装置输入对应于图像的函数或者可在内部计算对应于图像的函数。(2-4.第四实施例)接下来，作为本发明的第四实施例，将参照图16来描述如下的实施例，其中，在根据第三实施例的灰度转换单元之后，设置用于执行诸如去马赛克和降噪(NR)的摄像装置信号处理的信号处理单元以及用于执行图像压缩处理(JPEG等)的编解码器。图16是示出与第四实施例相关的成像装置500的配置的图。图16所示的配置在根据图3所示的第三实施例成像装置的灰度转换单元之后设置了用于执行诸如去马赛克和降噪(NR)的摄像装置信号处理的信号处理单元513以及用于执行图像压缩处理(JPEG等)的编解码器514。另外，类似于第一实施例的配置，图像处理装置(成像装置)的整体配置具有之前参照图2所述的配置，或者配置具有已从图2的配置中省略的信号处理单元103。当图16中的信号处理单元513执行图2的配置中的信号处理单元103所执行的全部处理时，可以省略下游信号处理单元103。当在不同信号处理单元处执行不同处理时，该配置可包括两个信号处理单元。关于图16所示的成像装置500，像素部500例如包括如之前参照第一实施例的图4所述的由R、Gb、Gr和B像素构成的贝尔阵列，并且在控制单元520的控制下，以两行为单位执行长曝光和短曝光。依据根据第一实施例的图6所示的序列来执行曝光序列。根据本实施例，所示的示例具有设置在成像装置中的控制单元520。通过来自控制单元520的控制(快门控制)，以像素区域单位(例如，以行(或线)为单位)将像素部501设置为不同曝光时间。从具有长曝光的行输出作为基于长曝光的累积电荷的高灵敏度像素信息551。此外，从具有短曝光的行输出作为基于短曝光的累积电荷的低灵敏度像素信息552。计算单元502输入从像素部501输出的高灵敏度像素信息551和低灵敏度像素信息552，并且基于该输入信息，在像素信息合并单元511处生成像素信息合并图像。以与参照第一实施例的图4以及图7至图10所述的合并处理相同的方式来执行该合并处理。也就是说，输入同一颜色的高灵敏度像素信息和低灵敏度像素信息，并且应用前述(表达式I)或者(表达式2)至(表达式4)来执行像素信息合并图像的像素值计算和生成像素信息合并图像。根据第四实施例，在像素信息合并单元511之后设置了根据第三实施例的灰度转换单元512、用于执行诸如去马赛克和降噪(NR)的摄像装置信号处理的信号处理单元513、以及用于执行图像压缩处理(JPEG等)的编解码器514。通过实现这些种类的功能，可省略在成像元件下游的信号处理单元，或者替选地，可简化在成像元件下游的信号处理单元。(2-5.第五实施例)接下来，作为本发明的第五实施例，将描述成像装置中的像素部的曝光控制的新实施例。根据之前参照图4所述的第一实施例，该配置设置了用于以像素部的两行为单位来执行长曝光处理的高灵敏度像素区域、以及用于以像素部的两行为单位来执行短曝光处理的低灵敏度像素区域。也就是说，创建了一种设置，以针对每行只对长曝光或短曝光中的一种来单独地执行曝光处理。第五实施例是如下配置:其使得能够基于控制信号来针对每行以颜色信号(R、Gr、Gb和B)为单位来设置长曝光处理或短曝光处理，而没有设置以这些行为单位被固定的曝光时间。图17示出了与本实施例相关的成像装置的像素部的配置示例。如图17所示，像素部的配置像素(R、Gr, Gb和B)中的每一个通过两条控制线连接。这些线表示控制信号A和控制信号B的每条线。这些控制信号是从控制单元输入的控制信号，并且如图17所示，对于第一、第三、第五和所有奇数行，控制信号Al、A3、A5等连接到Gb像素，以及控制信号B1、B3、B5等连接到B像素。此外，对于第二、第四、第六和所有偶数行，控制信号A2、A4、A6等连接到R像素，以及控制信号B2、B4、B6等连接到Gr像素。以此方式，该配置将控制线用作针对仅一种颜色的颜色信号。另外，在非专利文献〃ISSCC2006Dig.Tech.Papers, pp.492-493(2)〃 中描述了这种对应于颜色的控制信号连接配置，并且通过使用在该文献中所描述的配置，使得能够实现通过控制信号而进行的对应于每个像素的控制。根据第五实施例，利用对应于每种颜色的控制信号来对应于每种颜色而执行曝光时间控制。图17中所示的控制信号Al至An以及BI至Bn中的任一个可被设置为控制单元105 (参照图3)处的可选控制信号，这使得能够设置各种曝光时间。具体地，(I)用于针对长曝光控制来开始曝光和停止曝光(读出开始)的定时控制信号，
(2)用于针对短曝光控制来开始曝光和停止曝光(读出开始)的定时控制信号，这些控制信号中的任一个可被设置为控制信号Al至An和BI至Bn。此外，该设置不限于长曝光和短曝光这两种曝光时间，因此可以颜色为单位改变曝光时间。也就是说，使得能够以像素部的每个颜色为单位进行控制，并且可以针对每种颜色选择最佳灵敏度来生成输出图像。将参照图18描述曝光时间控制的具体示例。图18是与之前参照第一实施例的图6所述的曝光时间控制示例相对应的图。纵轴表示像素部的像素行，而横轴表示经过的时间。纵轴的行以像素部的第一行开始于上面，并按顺序下降至下面的行(行号=2，3，4，5，…)。根据参照图6所述的示例，I至2行、5至6行、9至10行等被设置为高灵敏度像素区域以接收长曝光处理，以及3至4行、7至8行、11至12行等被设置为低灵敏度像素区域以接收短曝光处理，以及一行中所包括的像素全部以相同曝光时间设置。相比之下，根据本实施例，可以每种颜色R、Gr、Gb和B为单位设置不同曝光时间控制。在图18中示出具体示例。
在图18所示的示例中，为Gb和R设置第一长曝光时间和第一短曝光时间，以及为Gr和B设置第二短曝光时间，因此，为Gb和R设置的长曝光时间和短曝光时间不同于为Gr和B设置的长曝光时间和短曝光时间。另外，在图18中，设置颜色对Gb和R以及颜色对Gr和B，并且单个对是具有相同曝光时间的两种颜色的组合，但长曝光时间和短曝光时间的设置对于每个颜色R、Gr、Gb和B可以是不同的。以此方式，通过应用本实施例，使得能够以像素部中的每种颜色为单位进行控制，并且可以针对每种颜色选择最佳灵敏度来生成输出图像。(2-6.第六实施例)接下来，作为本发明的第六实施例，将描述成像装置中的像素部的新配置示例。图19示出了第六实施例的成像装置中的像素部的配置示例。图19所示的像素阵列(阵列结构)是旋转了 45度的、参照第一实施例的图4 (a)所述的像素部的阵列。对应于图19所示的阵列来以行为单位执行曝光时间控制。如图19所示，第一行以Gb像素和Gr像素构成，第二行以B像素和R像素构成，并且对于向下的第三行、第四行、第五行等，重复这个模式，在该模式中，以Gb像素和Gr像素构成的各行与以B像素和R像素构成的各行交替。如果对应于图19所示的像素阵列以行为单位执行曝光控制，则可以以前述的颜色像素对为单位执行曝光时间控制，这是对Gb与Gr的分组以及对B与R的分组。(2-7.第七实施例)
接下来，作为本发明的第七实施例，将描述由成像装置的像素信息合并单元进行的曝光控制和合并处理的变型示例。图20示出了第七实施例的成像装置的曝光控制和合并处理的示例。图20类似于前述第一实施例的图4，并且示出了(a)像素部的拍摄图像，以及(b)通过像素信息合并单元进行的合并处理而生成的输出图像。另外，(a)和(b)两者都是仅示出拍摄图像或像素信息合并图像的部分区域的图。根据先前的第一实施例，该配置以像素部的两行为单位而设置了执行长曝光处理的高灵敏度像素区域以及执行短曝光处理的低灵敏度像素区域。根据该第七实施例以及如图20 (a)所示，第一至第二行是执行长曝光的高灵敏度像素区域，第三至第四行是执行中等曝光的中等灵敏度像素区域，第五至第六行是执行短曝光的低灵敏度像素区域，同样，对于接下来的行，该配置以两行为单位重复高灵敏度像素区域、中等灵敏度像素区域和低灵敏度像素区域。本实施例的成像装置配置与第一实施例的成像装置配置相同，并且包括图3所示的配置。像素信息合并单元输入同一颜色的高灵敏度像素、中等灵敏度像素和低灵敏度像素的每种类型的像素中的三个，并且基于这9个像素的总像素值来确定像素信息合并图像的一个输出像素的像素值。例如，如图20所示，当确定图20 (b)中的像素信息合并图像的一个像素Gb (out)的像素值时，输入像素值如下。(I)高灵敏度像素:Gb (0,0)、Gb (1,0)、Gb (2,0)(2)中等灵敏度像素:Gb (0, l)、Gb(l，I)、Gb (2，I)(3)低灵敏度像素:Gb (0,2)、Gb (1,2)、Gb (2，2)像素信息合并单元基于这9个像素的像素值，计算像素信息合并图像的一个像素的像素值Gb (out)。像素信息合并单元例如根据以下表达式(表达式I)来计算图20 (b)所示的Gb(out)的像素值。Gb (out) = [Gb (0，0) X kl] + [Gb (1，0) X k2] + [Gb (2，0) X k3] + [Gb (0，I) X (Gainl) Xk4] + [Gb(l, I) X (Gainl) Xk5] + [Gb(2, I) X (Gainl) Xk6] + [Gb (0, 2) X (Gain2) Xk7] + [Gb(
I,2) X (Gain2) X k8] + [Gb (2，2) X (Gain2) Xk9].....(表达式 5)其中，Gb (x，y)是拍摄图像在坐标(x，y)的位置处的像素值，Gainl和Gain2是用于补偿灵敏度比率的增益值(预定值)，kl至k9是用于设置输入像素的贡献比率的系数，并且是满足kl+k2+k3+k4+k5+k6+k7+k8+k9=l 的关系的系数。另外，例如可通过如下处理来执行系数kl至k9的设置:该处理用于设置与拍摄对象的亮度相对应的设置值。根据本实施例，该配置使用包括拍摄图像中所包括的高灵敏度像素、中等灵敏度像素和低灵敏度像素的九个像素的像素值，来执行针对像素信息合并图像的一个像素的像素值的计算处理。通过使用具有三种灵敏度水平的像素值，可计算例如对应于亮度的最佳像素值。(2-8.第八实施例)接下来，作为本发明的第八实施例，将描述成像装置中的像素部的变型示例。根据第一实施例以及如之前参照图4所述，使用由R、Gr、Gb和B像素构成的贝尔阵列描述了示例配置。本发明的图像处理装置也可支持如下配置:该配置包括由不同于该贝尔阵列的阵列所形成的像素部。图21示出了这样的像素阵列的示例。图21所示的像素阵列是RGBW像素的像素阵列。这里，W表示透明(白色)。当对图像执行合并处理时，关于W像素和G像素，与参照图4的先前描述类似，输入高灵敏度像素和低灵敏度像素各自两个的总共四个像素，针对这些像素根据前述(表达式I)执行计算。然而，如图21所示的3X3像素区域中的R像素和B像素仅包括高灵敏度像素和低灵敏度像素的每种像素中的一个，因此，基于一个高灵敏度像素和一个低灵敏度像素的像素值来计算图像信息合并图像的输出像素值。即使当执行与本实施例相关的、应用于RGBW阵列的像素信息合并处理时，也输入高灵敏度像素和低灵敏度像素各自的至少一个像素，并且通过应用具有这些不同灵敏度的像素值来确定像素信息合并图像的像素值。例如，当拍摄对象亮且高灵敏度像素饱和时，将低灵敏度像素的像素值用于确定像素信息合并图像的像素值，并且当拍摄对象暗并且低灵敏度像素的像素值的SN比差时，执行诸如使用高灵敏度像素的像素值、设置大的权重、以及执行混合等的处理。作为这种处理的结果，可生成并输出具有已以更高准确度设置了像素值的宽动态范围的图像。参照具体实施例详细描述了本技术。然而，明显的是，在不脱离本发明的本质的情况下，本领域技术人员可对实施例进行变型或替代。也就是说，这些实施例是用于公开本发明的示例，并且不应被解释为限制性的。为了确定本发明的本质，应该参考权利要求部分。此外，在整篇说明书中所述的系列处理可由硬件、软件或两者的组合配置来执行。当由软件来执行处理时，已记录有处理序列的程序可以被安装到由专用硬件构成的计算机中的存储器并在该存储器处执行，或者可以是安装到可执行各种处理的通用计算机并由该通用计算机执行的程序。例如，程序可预先记录在记录介质上。除了从记录介质安装到计算机上之外，程序可以经由诸如LAN (局域网)或互联网的网络来接收，并且可以安装到诸如内部硬盘的记录介质。另外，在该说明书中所述的各种处理不限于按根据说明书的序列顺序执行，该处理可以按期望或者对应于执行处理的装置的处理能力来并行执行，或者可单独地执行。此夕卜，本说明书中的系统是多个装置的逻辑分组配置，并且每种配置的装置不限于同一物理壳体。工业应用性根据本发明的第一实施例的配置以及如前所述，装置和方法被实现为基于一幅拍摄图像来生成具有宽动态范围的图像。具体地，执行曝光时间控制，其中，以像素部的行为单位、以像素区域为单位设置不同曝光时间，并且获得多个不同像素信息，这多个不同像素信息是以不同曝光来设置的像素的像素值。例如，从长曝光像素获得高灵敏度像素信息，并从短曝光像素获得低灵敏度像素信息，并且基于具有这些不同灵敏度的像素信息来计算输出图像的像素值。例如，对于高光亮度区域，灵敏度像素信息可能具有饱和值，因此，对低灵敏度像素信息设置大的权重，此外，对于低光亮度区域，估计低灵敏度像素信息的SN比是较差的，因此，对高灵敏度像素信息设置大的权重，以确定输出像素值。作为该处理的结果，可以基于一幅拍摄图像来实现生成具有宽动态范围的图像。附图标记列表10 光亮度阈值水平11 高光亮度区域12 低光亮度区域101光学透镜102成像装置103信号处理单元105控制单元201像素部202计算单元211像素信息合并单元251高灵敏度像素信息252低灵敏度像素信息300成像装置301像素部302输出选择单元303计算单元321比较器322计数器323确定单元311像素信息合并单元351高灵敏度像素信息352低灵敏度像素信息400成像装置401像素部402 计算单元411像素信息合并单元412灰度转换单元451高灵敏度像素信息452低灵敏度像素信息500成像装置501像素部
502计算单元511像素信息合并单元512灰度转换单元513信号处理单元514编解码器520控制单元551高灵敏度像素信息552低灵敏度像素信息
权利要求
1.一种图像处理装置，包括: 控制单元，用于执行像素或像素区域单位的曝光时间控制； 像素部，用于通过在所述控制单元的控制下的成像处理来输出具有多个不同曝光时间的像素信息； 像素信息合并单元，用于通过输入从所述像素部输出的具有多个不同曝光时间的像素信息并且执行使用该多个像素信息的计算处理，而计算输出图像的像素值。
2.根据权利要求1所述的图像处理装置，其中，所述控制单元以所述像素部的行为单位来执行曝光时间控制； 并且，其中，所述像素部输出来自多个不同的行的具有不同曝光时间的像素信息， 并且，其中，所述像素信息合并单元通过下述计算处理来计算输出图像的一个像素的像素值:该计算处理使用从多个不同的行输入的多个像素信息。
3.根据权利要求1所述的图像处理装置，其中，所述像素部 从长时间曝光区域输出高灵敏度像素信息，并从短时间曝光区域输出低灵敏度像素信息， 并且，其中，在所述输出图像的像素值的计算处理中， 所述像素信息合并单元 执行加法处理，以针对从长时间曝光区域输入的高灵敏度信息和从短时间曝光区域输入的低灵敏度像素信息来设置 与拍摄对象的亮度相对应的权重。
4.根据权利要求1所述的图像处理装置，其中，当从长时间曝光区域输入的高灵敏度像素信息等于或高于预定阈值时，所述像素信息合并单元通过如下的计算处理来计算输出图像的像素值:该计算处理将所述高灵敏度像素信息的权重设置为零或小的数，并且仅使用从短时间曝光区域输入的低灵敏度像素信息或者将该低灵敏度像素信息的权重设置为大的数。
5.根据权利要求1所述的图像处理装置，其中，当从短时间曝光区域输入的低灵敏度像素信息低于预定阈值时，所述像素信息合并单元通过如下的计算处理来计算输出图像的像素值:该计算处理将所述低灵敏度像素信息的权重设置为零或小的数，并且仅使用从长时间曝光区域输入的高灵敏度像素信息或者将该高灵敏度像素信息的权重设置为大的数。
6.根据权利要求3所述的图像处理装置，其中，当从短时间曝光区域输入的低灵敏度像素信息等于或高于预定阈值时，所述像素信息合并单元通过如下的计算处理来计算输出图像的像素值:该计算处理将从长时间曝光区域输入的高灵敏度像素信息的权重设置为零或小的数，并且仅使用从短时间曝光区域输入的低灵敏度像素信息或者将该低灵敏度像素信息的权重设置为大的数。
7.根据权利要求1所述的图像处理装置，其中，所述控制单元执行曝光时间控制来以所述像素部的两行为单位设置长时间曝光区域和短时间曝光区域； 并且，其中，所述像素部从所述长时间曝光区域和所述短时间曝光区域中的每一个输出至少一个或更多个像素信息； 并且，其中，所述像素信息合并单元通过下述计算处理来计算输出图像的一个像素的像素值:该计算处理使用自从所述长时间曝光区域输入的高灵敏度像素信息和从所述短时间曝光区域输入的低灵敏度像素信息中的每一个输入的至少一个或更多个像素信息。
8.根据权利要求1所述的图像处理装置，其中，所述控制单元通过以所述像素部的行为单位的快门控制来以行为单位执行曝光时间控制。
9.根据权利要求1所述的图像处理装置，其中，所述控制单元通过以所述像素部的颜色为单位的快门控制来以颜色为单位执行曝光时间控制。
10.根据权利要求1所述的图像处理装置，还包括: 计数器，用于对与从所述像素部输出的长时间曝光区域的高灵敏度像素的像素值相等的数字值进行计数；以及 输出选择单元，用于在由所述计数器计数的高灵敏度像素的像素值低于预定阈值时，选择并输出该高灵敏度像素的像素值作为所述输出图像的计算用像素值； 其中，在由所述计数器计数的高灵敏度像素的像素值等于或高于预定阈值时，所述输出选择单元选择并输出颜色与该高灵敏度像素相同的短时间曝光区域的低灵敏度像素的像素值作为所述输出图像的计算用像素值。
11.根据权利要求1所述的图像处理装置，其中，所述像素部 从长时间曝光区域输出高灵敏度像素信息，从短时间曝光区域输出低灵敏度像素信息，并且从具有长时间曝光与短时间曝光之间的曝光时间的中间时间曝光区域输出中间灵敏度像素信息； 并且，其中，在所述输出图像的像素值的计算处理中， 所述像素信息合并单元 通过执行计算处理以向所述高灵敏度像素信息、所述低灵敏度像素信息和所述中间灵敏度像素信息设置与拍摄对象的亮度相对应的权重，来计算输出图像的像素值。
12.根据权利要求1所述的图像处理装置，还包括: 灰度转换单元，用于执行由所述像素信息合并单元生成的所述输出图像的每个像素的像素值的比特减少处理。
13.根据权利要求1所述的图像处理装置，还包括: 信号处理单元，用 于对从所述像素信息合并单元生成的输出图像执行信号处理。
14.根据权利要求1所述的图像处理装置，还包括: 编解码器，用于对由所述像素信息合并单元生成的输出图像执行编码处理。
15.根据权利要求1所述的图像处理装置，其中，所述像素部具有下述配置:在该配置中，从3X3像素区域以上的区域输出同一颜色的具有不同曝光时间的像素信息。
16.根据权利要求1所述的图像处理装置，其中，所述像素部包括贝尔阵列或RGBW阵列。
17.一种成像装置，包括: 成像单元；以及 图像处理单元，用于执行根据权利要求1至16中任一项所述的处理。
18.—种由图像处理装置执行的图像处理方法，所述方法包括: 控制步骤，其中控制单元执行像素或像素区域单位的曝光时间控制； 像素信息输出步骤，其中像素部通过在所述控制单元的控制下的成像处理来输出具有多个不同曝光时间的像素信息；以及 像素信息合并步骤，其中像素信息合并单元通过输入从所述像素部输出的具有多个不同曝光时间的像素信息并执行使用该多个像素信息的计算处理，来计算输出图像的像素值。
19.一种用于利用图像处理装置执行图像处理的程序，所述程序包括: 控制步骤，其中控制单元执行像素或像素区域单位的曝光时间控制； 像素信息输出步骤，其中像素部通过在所述控制单元的控制下的成像处理来输出具有多个不同曝光时间的像素信息；以及 像素信息合并步骤，其中像素信息合并单元通过输入从所述像素部输出的具有多个不同曝光时间的像素信息并执行使用该多个像素信息的计算处理，来计算输出图像的像素值。 ·
全文摘要
提供了用于基于一幅拍摄图像来生成宽动态范围图像的装置和方法。执行曝光时间控制，其中以像素区域单位(诸如像素单元的行单位)来设置的不同曝光时间，并且获取多个不同像素信息，即分别具有对其设置的不同曝光时间的像素的像素值。例如，从长时间曝光像素获取高灵敏度像素信息，并从短时间曝光像素获取低灵敏度像素信息，并且基于具有不同灵敏度的像素信息来计算输出图像的像素值。例如，在高亮度区域中，由于存在灵敏度像素信息为饱和值的可能性，因此将低灵敏度像素信息的权重设置得大，而由于估计在低亮度区域中的低灵敏度像素信息的SN比低，因此将高灵敏度像素信息的权重设置得大，并且确定输出像素值。
文档编号H04N5/232GK103190145SQ201180053209
公开日2013年7月3日 申请日期2011年10月24日 优先权日2010年11月12日
发明者笠井政范 申请人:索尼公司