摄像器件和摄像设备的制作方法
本发明涉及一种摄像器件和摄像设备。
背景技术：
近年来，如专利文献1中所公开的，例如用在诸如数字照相机等的摄像设备中的cmos摄像器件由于像素的小型化而可以包括数量有所增加的像素，并且能够拍摄高清晰度图像。消费者最近所用的摄像设备通常可以包括1000万个像素以上。
图16是这种一般摄像设备的结构框图。参考图16，摄像器件1500包括像素部1501、ad转换单元1502和p/s转换单元1503。像素部1501将被摄体图像转换成电气信号，并且将该电气信号输出至ad转换单元1502。
ad转换单元1502将从像素部1501读取的图像信号转换成数字信号。p/s转换单元1503对由ad转换单元1502转换得到的数字信号进行并行-串行转换。图像信号处理电路1600对来自摄像器件1500的图像信号进行信号处理。
摄像设备具有用于从摄像器件1500向图像信号处理电路1501传送图像信号的传送容量恒定的传送路径。因而，摄像器件中的像素数增加可能相对导致被摄体的所有图像信号的传送时间延长。
换句话说，从摄像器件1500向图像信号处理电路1501读取信号的速度可能是读出图像信号的速度的瓶颈。此外，这种高速传送可能使传送电路和处理电路的电力消耗量和发热量增大，这样可能会降低数据传送的精度。
在hdr拍摄处理中，使用摄像元件来拍摄曝光不同的多个图像，并且这多个图像的数据被输出至摄像器件外部所设置的图像处理电路且被合成以生成hdr图像。该处理可能需要将这多个图像的数据发送至摄像器件外部所设置的图像处理电路，这可能会不利地使要从摄像器件向图像处理电路发送的数据量增加并且还使电力消耗增大。
引文列表
专利文献
专利文献1：日本特开2013-26675
技术实现要素：
本发明提供可以获取到具有宽动态范围的高质量图像的摄像器件。
本发明提供一种摄像器件，其具有第一半导体基板和第二半导体基板，所述第一半导体基板和所述第二半导体基板相互堆叠，所述摄像器件包括：摄像单元，其设置在所述第一半导体基板上并且具有多个像素，所述多个像素用于接收入射光并对所述入射光进行光电转换；ad转换单元，用于将从所述摄像单元输出的模拟图像信号转换成数字图像数据；帧存储器，其设置在所述第二半导体基板上，并且用于存储所述ad转换单元转换得到的至少一帧的数字图像数据；以及生成单元，其设置在所述第二半导体基板上，并且用于根据所述帧存储器中所存储的曝光不同的多个图像的数据来生成一个图像。
通过以下参考附图对实施例的说明，本发明的其它特征将变得明显。
附图说明
图1示出根据第一实施例的摄像器件的示意结构。
图2示出根据第一实施例的数据总线结构的示例。
图3示出根据第一实施例的像素和列adc块的结构。
图4a示出根据第一实施例的摄像器件的堆叠结构。
图4b示出根据第一实施例的摄像器件的堆叠结构。
图5是示出根据第一实施例的摄像器件的截面图。
图6是根据第一实施例的摄像设备的系统示意图。
图7是根据第一实施例的动态范围扩大方法的说明图。
图8a是与根据第一实施例的hdr处理有关的说明图。
图8b是与根据第一实施例的hdr处理有关的说明图。
图8c是与根据第一实施例的hdr处理有关的说明图。
图8d是与根据第一实施例的hdr处理有关的说明图。
图8e是与根据第一实施例的hdr处理有关的说明图。
图8f是与根据第一实施例的hdr处理有关的说明图。
图8g是与根据第一实施例的hdr处理有关的说明图。
图9示出根据第一实施例的读出定时。
图10示出根据第一实施例的读出流程。
图11示出根据第一实施例的hdr处理和发送流程。
图12示出根据第二实施例的读出定时。
图13示出根据第二实施例的读出流程。
图14示出根据第三实施例的读出定时。
图15示出根据第三实施例的读出流程。
图16示出一般摄像设备的结构。
具体实施方式
以下将参考附图来详细说明本发明的实施例。
第一实施例
图1是示意性示出根据本发明的第一实施例的摄像器件的框图。
摄像器件506具有第一芯片(第一半导体基板)10和第二芯片(第二半导体基板)11，并且第二芯片11和第一芯片10相互堆叠。第一芯片10具有包括按矩阵形式排列的多个像素101的像素部，并且相对于第二芯片11设置在光入射侧(或光学图像的受光侧)。
在第一芯片10的像素部中，按矩阵形式排列的多个像素101逐行地连接至传送信号线103、重置信号线104和行选择信号线105，并且逐列地连接至多个列输出线102。位于同一列的不同读出行中的像素连接至各自均是针对一列所设置的多个列输出线102中的相应列输出线102。
第二芯片11具有各自均是针对一列所设置的多个ad转换器(以下，各ad转换器被称为adc)111、行扫描电路112、列扫描电路113和时序控制电路114。第二芯片11具有切换开关116、帧存储器117、处理单元118和并行-串行转换单元(以下称为p/s转换单元)119等。时序控制电路114由整体控制计算单元509驱动控制。
由于第一芯片10具有像素部、并且第二芯片11具有针对像素部的驱动电路、存储器和计算单元等，因此可以将制造处理划分成摄像器件506的摄像层和电路层。然后，电路层中的配线的细线化和高密度化可以提高速度、缩小大小并且改善功能性。
切换开关116将从针对各通道所设置的水平信号线115-a和水平信号线115-b输出的各通道的数字图像数据选择性地输入至处理单元118。处理单元118对这些通道的图像数据进行排序，生成每一帧的图像数据，并且将该图像数据顺次输出至帧存储器117。帧存储器117暂时存储所输出的至少一帧的数字图像数据。
处理单元118对帧存储器117中所存储的一帧的数字图像数据进行诸如切出处理和间隔剔除处理等的处理。处理单元118中进行处理后的一帧的数字图像数据在p/s转换单元119经过并行-串行转换，并且被输出至摄像器件506外部所设置的摄像信号处理电路507。
这里，水平信号线115-a、水平信号线115-b、切换开关116、处理单元118和帧存储器117之间的信号传送路径是同一芯片内所设置的数字信号线。这样可以提供以较高的速度在水平读出时间段内完成所有水平数据的传送所需的数据总线宽度。
图2示出第二芯片11中的从adc111起直到p/s转换单元119为止的数据总线结构的示例。如图2所示，在第二芯片11中，在adc111和处理单元118之间设置列存储器111a，并且列存储器111a被配置为暂时保持adc111所进行的数字转换的输出。应当注意，在图2中没有示出切换开关116。
根据来自列扫描电路113的控制信号，将针对各列所设置的列存储器111a中所保持的图像数据分配到水平信号线115-a和115-b中并且并行地输出。在这种情况下，在水平传送电路115内设置16个通道的水平信号线115-a和115-b。输出到水平信号线115-a和115-b的图像数据经由处理单元118内的存储器i/f电路被输入至帧存储器117。
例如，将说明从adc111输出8k4k(水平8000个像素且垂直4000个像素)的32m像素的图像数据的情况。按60fps的帧频读出32m像素的图像数据可能需要1920m像素/秒的数据总线带。
在水平传送电路115内所设置的16个通道的水平信号线115-a和115-b各自的传送容量为12位的情况下，可能需要使传送容量降低为120mhz的可传送频率。根据来自列扫描电路113的控制信号来顺次选择列存储器，并且经由16个通道并行地读出水平传送电路115中的针对各通道的120m像素/秒的图像数据。
在从水平传送电路115经由处理单元118向帧存储器117输入的图像数据中，从帧存储器中部分地读出预定区域的数据，并且将该数据再次输入至处理单元118。例如，利用处理单元118内的缩小变倍电路，使从帧存储器117输出的图像数据的大小缩小为1/16倍的图像大小。这种情况下所需的数据总线带减少为120m像素/秒。这是按60fps读出全hd大小(2m像素)的图像数据所用的数据传送容量。
从处理单元118输出的数据总线带减少的图像数据由p/s转换单元119按720m-bps的双通道结构转换成串行信号，使得不超过1gbps的最大串行传送容量，并且输出这些串行信号。
在第二芯片111内设置adc111、处理单元118和帧存储器117可以提供在第二芯片111内处理图像数据所需的宽的数据总线带，因而可以提高从adc111向帧存储器117的传送速率，同时可以以使得能够传送到摄像器件外的串行传送容量输出高质量的运动图像。
图3示出根据本实施例的摄像器件506中的像素部内的各像素101以及adc111的详细结构。将参考图1和图3来示意性说明根据第一实施例的摄像器件要进行的操作。
光电二极管(以下称为pd)201将所接收到的入射光光电转换成与该所接收到的入射光的光量相对应的电荷量的光电荷(这里为电子)。pd201的阴极经由传送晶体管202电气连接至放大晶体管204的栅极。与放大晶体管204的栅极电气连接的节点构成浮动扩散(以下称为fd)单元206。
传送晶体管202设置在pd201的阴极和fd单元206之间，并且响应于将传送脉冲
重置晶体管203的漏极连接至像素电源vdd且其源极连接至fd单元206，并且响应于将重置脉冲
放大晶体管204的栅极连接至fd单元206且其漏极连接至像素电源vdd，并且输出利用重置晶体管203进行重置之后的fd单元206的电位作为重置电平。放大晶体管204输出利用传送晶体管202传送pd201中的信号电荷之后的fd单元206的电位作为信号电平。
选择晶体管205的漏极可以连接至放大晶体管204的源极，并且其源极可以连接至列输出线102。选择晶体管205响应于将选择脉冲
应当注意，选择晶体管205可以连接在像素电源vdd与放大晶体管204的漏极之间。晶体管202～205例如可以是n通道型mos晶体管。各像素101不限于包括四个晶体管的像素，而可以包括三个晶体管，其中放大晶体管204和选择晶体管205由一个晶体管来实现。
从像素101经由列输出线102输出的模拟图像信号被发送至adc111。adc111具有比较器211、可逆计数器(u/d计数器)212、存储器213和da转换器(以下称为dac)214。
比较器211的一对输入端子中的一个输入端子连接至列输出线102，并且该对输入端子中的另一输入端子连接至dac214。比较器211的输出端子连接至可逆计数器212。图1中的时序控制电路114基于来自整体控制计算单元509的指示来将基准信号输出至dac214。
dac214基于从图1中的时序控制电路114输入的基准信号来输出电平随时间的经过而改变的斜坡信号。然后，比较器211将从dac214输入的斜坡信号的电平与从列输出线102输入的图像信号的电平进行比较。
例如，比较器211在图像信号的电平低于斜坡信号的电平的情况下，输出电平较高的比较信号，以及在图像信号的电平高于斜坡信号的电平的情况下，输出电平较低的比较信号。可逆计数器212对比较信号改变为高电平的时间段或比较信号改变为低电平的时间段进行计数。该计数处理将来自像素101的输出信号转换成数字值。
可选地，可以在比较器211和可逆计数器212之间设置and(与)电路。可以将脉冲信号输入至该and电路，并且可以利用可逆计数器212对脉冲信号的数量进行计数。
adc111可以基于像素101的重置解除时的重置信号来对与重置电平相对应的计数值进行计数，并且可以基于经过了预定摄像时间段之后的光信号来对该计数值进行计数。可以将与光信号相关联的计数值和与重置信号相关联的计数值之间的差值存储在存储器213中。
存储器213连接至可逆计数器212并且存储可逆计数器212进行计数得到的计数值。响应于来自图1中的列扫描电路113的驱动控制，将存储器213中所存储的计数值作为数字图像数据发送至图1中的水平信号线115-a和水平信号线115-b。
图4a和4b示出参考图1所述的根据第一实施例的摄像器件506的外观的结构。图4a示出摄像器件506的从光入射侧的立体图，以及图4b示出摄像器件506的截面图。
摄像器件506包括第一芯片(摄像层)10和第二芯片(电路层)11。第一芯片10和第二芯片11各自具有多个微垫302，并且第一芯片10和第二芯片11通过使第一芯片10和第二芯片11中所设置的微垫302经由多个微凸块301电气连接而一体化。换句话说，第一芯片10和第二芯片11经由多个宏凸块101和多个微垫302直接电气连接。第一芯片10和第二芯片11可以利用没有使用宏垫和微垫的方法直接电气连接。
图5示出图1～图4a和4b所示的根据第一实施例的摄像器件506的截面结构的详情。参考图5，摄像层401与第一芯片10相对应，并且电路层402与第二芯片11相对应。
在摄像层401中，在硅(以下称为si)基板403上设置布线层404。si基板403具有作为pd201的n型扩散区域407，并且在表面部(与布线层404的边界部)中具有p+扩散区域408。
si基板403在其表面部中具有作为fd单元206的多个n+扩散区域409、以及开关晶体管的多个n+扩散区域410。布线层404在例如sio2的绝缘层内具有晶体管的栅极线411以及信号传播线412，并且在其表面部中具有cu的微垫302a。
n+扩散区域409、n+扩散区域410和晶体管的栅极线411构成传送晶体管202、重置晶体管203、放大晶体管204和选择晶体管205。布线层404具有用于使n+扩散区域410连接至微垫302a的通路414。
电路层402在si基板405上具有布线层406。si基板405在其表面部中具有多个晶体管扩散区域416。布线层406具有例如sio2的绝缘层(其包括晶体管的多个栅极线417以及多个信号传播线418)，并且在表面部中具有例如cu的微垫302b。
电路层402中所设置的晶体管扩散区域416、晶体管的栅极线417以及信号传播线418构成电路。将省略针对电路截面的详情的描述。布线层406具有用于使扩散区域416等连接至微垫302b的通路420。
摄像层401的布线层404中所设置的微垫302a和电路层402的布线层406中所设置的微垫302b经由微凸块301彼此电气连接。尽管图5示出摄像层401和电路层402通过使用微凸块301作为连接端子相连接的结构示例，但摄像层401和电路层402可以无需使用微凸块而直接连接。
图6示出使用参考图1～5所述的摄像器件的摄像设备的系统示意图。通过了透镜单元501的被摄体图像由光圈504调整为适当光量，并且聚焦于具有图1～图5所示的结构的摄像器件506的摄像面上。
聚焦于摄像器件506的摄像面上的被摄体图像由摄像器件506中的pd201进行光电转换，并且经过由像素内的放大器以及设置在像素101和adc111之间的列放大器所进行的增益调整。然后，使用adc111进行从模拟信号到数字信号的a/d转换处理，然后将这些数字信号作为r、g和b各颜色的数字图像信号供给至摄像信号处理电路507。
在摄像信号处理电路507中，进行诸如用于噪声降低的低通滤波和遮光校正等的校正处理、诸如白平衡调整处理等的图像信号处理、以及针对图像数据的压缩处理。应当注意，被配置为进行这些处理的摄像信号处理电路507可以内置在具有堆叠结构的摄像器件506中。
透镜单元501由透镜控制单元502驱动以控制例如变焦和调焦。利用快门/光圈驱动单元505来对机械快门503和光圈504进行驱动控制。
整体控制计算单元509整体控制摄像设备并且进行计算处理。第一存储器单元508暂时存储图像数据。诸如半导体存储器等的可移除的记录介质512记录图像数据。记录介质控制接口单元510将图像数据记录在记录介质512中或者读出记录介质512中所记录的图像数据。应当注意，整体控制计算单元509可以内置在具有堆叠结构的摄像器件506中。
显示单元511被配置为显示例如图像数据。外部接口(i/f)单元513可用于与例如外部计算机进行通信。第二存储器单元514暂时存储来自整体控制计算单元509的计算结果以及参数。将与用户经由操作单元515所设置的摄像设备的驱动条件有关的信息发送至整体控制计算单元509，使得可以基于该信息来控制摄像设备整体。
接着，将参考图7和图8a～8g来说明根据本实施例的使用hdr处理的动态范围扩大方法。hdr处理包括：从通过利用不同曝光拍摄同一被摄体所获取到的多个帧的图像中提取针对图像内的各区域可使用的输出范围，并且将这些输出范围合成为一个图像，使得可以扩大动态范围。
作为示例，拍摄到如下的三个图像：利用适当曝光-2级的曝光的“曝光不足图像”、利用适当曝光的“适当曝光图像”和利用适当曝光+2级的“过曝光图像”。以下将说明基于储存时间段来控制曝光的示例，但也可以利用诸如iso感光度(增益)能够逐帧不同的方法等的其它方法来控制曝光，而不局限于基于储存时间段的控制。
图7示出在基于储存时间段来控制曝光的情况下的曝光和动态范围之间的关系。图8a～8g示出利用不同曝光所拍摄到的图像以及在hdr中要合成的图像。图7示出表示被摄体亮度的横轴和表示来自摄像器件的输出信号电平的纵轴，并且示出从黑电平601起直到饱和电平602为止的输出范围。
图7针对曝光不足图像606、适当曝光图像605和过曝光图像604中的各图像标绘信号值相对于被摄体亮度的关系。曝光不足图像606是如图8a所示那样利用低于适当曝光的曝光所拍摄到的图像。适当曝光图像605是如图8b所示那样利用适当曝光所拍摄到的图像。过曝光图像604是如图8c所示那样利用超过适当曝光的曝光所拍摄到的图像。
接着，将说明针对各类型的曝光的动态范围。在从黑电平601起直到饱和电平602为止的输出范围中，电平更接近黑电平601的信号更容易受到噪声影响，并且相应输出值的可靠性更低。在假定容易受到噪声影响的输出范围是电平601～电平603的范围的情况下，作为图像可使用的输出范围是电平603～电平602的范围。
与在利用不同类型曝光所拍摄到的图像中可使用的电平603～电平602的输出电平范围相对应的被摄体亮度可以是在利用不同类型曝光所拍摄到的图像中可使用的输出范围(动态范围)。曝光不足图像606的动态范围是亮度范围609。图8d示出通过从图8a所示的曝光不足图像606中提取作为可使用的输出范围的亮度范围609所获取到的图像数据。
适当曝光图像605的动态范围是亮度范围608。图8e示出通过从图8b所示的适当曝光图像605中提取作为可使用的输出范围的亮度范围608所获取到的图像数据。
过曝光图像604的动态范围是亮度范围607。图8f示出通过从图8c所示的过曝光图像604中提取作为可使用的输出范围的亮度范围607所获取到的图像数据。图8f示出除人物以外的背景图像，并且不包括利用虚线701表示的范围内的图像数据。
在这种情况下，比曝光不足图像606中的亮度范围609低的亮度范围容易受到噪声影响，而比过曝光图像604中的亮度范围607低的亮度范围610不大容易受到噪声影响。因此，为了获取输出范围601～603，针对过曝光图像604使用亮度范围610的图像数据。
然后，将通过提取在不同的曝光下拍摄到的图像数据(图8a～8c)所获取到的图像数据(图8d～8f)合成，使得可以生成具有包括亮度范围609、608、607和610的宽动态范围的图像数据(图8g)。
在从图8a～8c中的图像数据提取这种可使用的输出范围的情况下，可以通过加权来进行信号提取。
接着，将参考图9和10来说明用于获取曝光不同的多个帧的图像数据、并且将所获取到的多个帧的图像数据保存在摄像器件506内的帧存储器中的处理。图9示出在获取曝光不同的三个图像的图像数据时、针对各像素所进行的电荷储存和信号读出操作的定时，并且其横轴表示时间且纵轴表示摄像器件中的像素行。图10是示出在摄像设备中要进行的处理的流程图。
在图10的步骤s901中，曝光不足图像的电荷储存操作开始。换句话说，在图9中的时刻t1～时刻t2的时间段内，用于重置各行的各像素的处理开始，并且曝光不足图像的电荷储存操作从完成了重置的行开始。这里，由于驱动摄像器件506以进行从各行顺次读出信号的滚动读出，因此电荷储存操作针对各行在不同的时刻开始。
在步骤s902中，曝光不足图像的信号读出开始，并且适当曝光图像的电荷储存开始。换句话说，在图9中的时刻t3～时刻t4的时间段内，进行曝光不足图像的信号读出，并且紧接在各行的曝光不足图像的信号读出之后，重置处理开始。从重置处理结束起顺次地，适当曝光图像的信号电荷储存开始。
在步骤s903中，将所读取的曝光不足图像的数字图像数据保存在摄像器件内的帧存储器117的区域l中。
在步骤s904中，适当曝光图像的信号读出开始，并且过曝光图像的电荷储存开始。换句话说，在图9中的时刻t5～时刻t6的时间段内，进行各行的适当曝光图像的信号读出。紧接在行的适当曝光图像的信号读出之后，重置处理开始，并且过曝光图像的电荷储存从完成了重置处理的行开始。
在步骤s905中，将所读取的适当曝光图像的数字图像数据保存在摄像器件内的帧存储器117的区域m中。
在步骤s906中，进行过曝光图像的信号读出。换句话说，在图9中的时刻t7～时刻t8的时间段内，进行各行的过曝光图像的信号读出。
在步骤s907中，将所读取的过曝光图像的数字图像数据保存在摄像器件内的帧存储器117的区域h中。
通过以上的处理，可以获取到曝光不同的多个图像的数据，并且可以将所获取到的图像数据保存在摄像器件506内的帧存储器117中。应当注意，可以仅要求帧存储器117具有足以保存至少三个图像的数据的容量。根据本实施例，尽管已经说明了曝光不足图像、适当曝光图像和过曝光图像是按该顺序获取到的，但本发明的实施例不限于该顺序。例如，顺次获取适当曝光图像、曝光不足图像和过曝光图像可以使各曝光图像的重心位置更接近。
接着，将参考图11的流程图来说明用于使用利用不同曝光所拍摄到的并且保存在帧存储器117中的多个图像的数据来生成hdr图像的处理。
在步骤s1001中，在整体控制计算单元509的控制下，将帧存储器117的区域l、m和h中所保存的曝光不同的多个图像的数据输入至处理单元118。
在步骤s1002中，在整体控制计算单元509的控制下，处理单元118进行如参考图7和图8a～8g所述的、用于使用曝光不同的多个图像的数据来生成hdr图像的处理。计算单元118能够进行用于生成hdr图像的处理和用于合成图像的处理。
换句话说，从通过拍摄同一被摄体所获取到的并且存储在帧存储器117的区域l、m和h中的曝光不同的多个图像的数据中，提取针对图像的各区域可使用的输出电平范围中所包括的图像数据。将这些图像对齐并且合成，以生成动态范围更宽的一个图像(hdr图像)。该合成包括将所输入的图像数据和帧存储器117中所保存的图像数据进行合成，并且将如此得到的数据保存在帧存储器117的任意区域中。
在步骤s1003中，在整体控制计算单元509的控制下，将帧存储器117中所保存的hdr图像发送至p/s转换单元119并且输出至摄像信号处理电路507。通过如上所述进行hdr图像生成处理，可以生成具有宽动态范围的图像。
第二实施例
以下将参考图12和13来说明本发明的第二实施例。由于根据第二实施例的摄像系统和hdr图像生成处理与根据参考图1～图8a-8g和图11所述的第一实施例的摄像系统和hdr图像生成处理相同，因此将省略重复的说明。
已经说明了根据第一实施例的方法，其中在该方法中，根据利用不同的曝光顺次拍摄到的多个图像的数据来生成动态范围更宽的图像数据。然而，在由于被摄体的抖动而导致在图像之间被摄体的位置改变的情况下，可能无法通过在合成之前简单地使图像对齐来适当地合成图像内的所有区域。
作为用于减轻该问题的方法，将参考图12和13来说明用于在要合成的图像数据具有重叠的电荷储存时间段的情况下、通过同时开始电荷储存(或者通过同时开始曝光)来进行图像数据的信号读出的处理。图12示出在获取曝光不同的三个图像的数据时的各像素中的电荷储存和信号读出的定时，并且其横轴表示时间且其纵轴表示摄像器件中的像素行。图13是示出在根据第二实施例的摄像设备中要进行的处理的流程图。
此外，根据第二实施例，基于电荷储存时间段来控制曝光，并且顺次获取到“曝光不足图像”(与图12中的储存时间段l相对应的图像)、“适当曝光图像-曝光不足图像”(与图12中的储存时间段m-l相对应的图像)和“过曝光图像-适当曝光图像”(与图12中的储存时间段h-m相对应的图像)。通过对这些图像进行计算处理，来生成曝光不足图像、适当曝光图像和过曝光图像。应当注意，曝光不足图像的曝光为适当曝光-2级。过曝光图像是曝光为适当曝光+2级的图像。
在图13的步骤s1201中，曝光不足图像的电荷储存开始。换句话说，在图12中的时刻t1～时刻t2的时间段内，用于重置各行的各像素的处理开始，并且曝光不足图像的电荷储存操作从完成了重置处理的行开始。这里，由于驱动摄像器件506以进行从各行顺次读出信号的滚动读出，因此电荷储存操作针对各行在不同的时刻开始。
在步骤s1202中，曝光不足图像的信号读出开始，并且“适当曝光图像-曝光不足图像”的电荷储存开始。换句话说，在图12中的时刻t3～时刻t4的时间段内，逐行地进行曝光不足图像的信号读出，并且紧接在各行的曝光不足图像的信号读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，“适当曝光图像-曝光不足图像”的电荷储存开始。
在步骤s1203中，将所读取的曝光不足图像的数字图像数据保存在帧存储器117的区域l中。
在步骤s1204中，“适当曝光图像-曝光不足图像”的信号读出开始，并且“过曝光图像-适当曝光图像”的电荷储存开始。换句话说，在图12中的时刻t5～时刻t6的时间段内，进行各行的“适当曝光图像-曝光不足图像”的信号读出。紧接在各行的“适当曝光图像-曝光不足图像”的信号读出之后，重置处理开始，并且“过曝光图像-适当曝光图像”的电荷储存从完成了重置处理的行开始。
在步骤s1205中，将在步骤s1204中所读出的“适当曝光图像-曝光不足图像”(与图12中的储存时间段m-l相对应的图像)和帧存储器117的区域l中所保存的“曝光不足图像”(与图12中的储存时间段l相对应的图像)输入至处理单元118，其中在处理单元118中，对这两个图像进行相加处理。通过进行该相加处理，可以获取到“适当曝光图像”(与图12中的储存时间段m相对应的图像)。
在步骤s1206中，将通过进行相加处理所获取到的适当曝光图像的数字图像数据保存在帧存储器117的区域m中。
在步骤s1207中，进行“过曝光图像-适当曝光图像”的信号读出。
换句话说，在图12中的时刻t7～时刻t8的时间段内，进行“过曝光图像-适当曝光图像”的信号读出。
在步骤s1208中，将在步骤s1207中所读出的“过曝光图像-适当曝光图像”(与图12中的储存时间段h-m相对应的图像)和帧存储器117的区域m中所保存的“适当曝光图像”(与图12中的储存时间段m相对应的图像)输入至处理单元118，其中在处理单元118中，对这两个图像进行相加处理。通过进行该相加处理，可以获取到“过曝光图像”(与图12中的储存时间段h相对应的图像)。
在步骤s1209中，将通过进行相加处理所获取到的过曝光图像的数字图像数据保存在帧存储器117的区域h中。
通过使用如上所述同时开始储存的曝光不同的多个图像的数据来以与第一实施例相同的方式进行hdr图像生成处理，可以改善被摄体的抖动的影响，并且可以生成动态范围更宽的图像。
第三实施例
将参考图14和15来说明本发明的第三实施例。由于根据第三实施例的摄像系统和hdr图像生成处理与根据参考图1～图8a-8g和图11所述的第一实施例的摄像系统和hdr图像生成处理相同，因此将省略重复的说明。
已经说明了根据第二实施例的信号读出方法，其中在该信号读出方法中，在利用不同的曝光拍摄多个图像的情况下，同时开始储存操作。然而，由于曝光不足图像和过曝光图像的储存在明显不同的时刻结束，因此根据第二实施例的方法可能没有完全消除被摄体的抖动的影响。
为了改善该问题，在利用不同的曝光拍摄多个图像的情况下，这些图像的电荷储存时间段的中间时刻可以同时出现。根据本实施例，将参考图14和15来说明在后处理中曝光不同的图像数据的电荷储存时间段的中间时刻可以同时出现的信号读出处理。图14示出在获取曝光相等的八个图像的数据时的各像素中的电荷储存和信号读出的定时，并且其横轴表示时间且其纵轴表示摄像器件中的像素行。图15是示出根据第三实施例的摄像设备中要进行的处理的流程图。
此外，根据第三实施例，基于电荷储存时间段来控制曝光，并且连续地获取到曝光为适当曝光-2级的多个图像(以下称为“分割曝光图像”)。通过进行计算处理，生成了曝光不足图像(与图14中的储存时间段l相对应的图像)、适当曝光图像(与图14中的储存时间段m相对应的图像)和过曝光图像(与图14中的储存时间段l相对应的图像)。
在图15的步骤s1401中，第一分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t1～时刻t2的时间段内，用于重置各行的各像素的处理开始，并且针对第一分割的电荷储存操作。这里，由于驱动摄像器件506以进行从各行顺次读出信号的滚动读出，因此电荷储存操作针对各行在不同的时刻开始。
在步骤s1402中，第一分割曝光图像的信号读出开始，并且第二分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t2～时刻t3的时间段内，逐行地进行第一分割曝光图像的读出，并且紧接在各行的第一分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第二分割曝光图像的电荷储存开始。
在步骤s1403中，将所读出的第一分割曝光图像的数字图像数据保存在帧存储器117的区域h中。
在步骤s1404中，第二分割曝光图像的信号读出开始，并且第三分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t3～时刻t4的时间段内，逐行地进行第二分割曝光图像的读出，并且紧接在各行的第二分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第三分割曝光图像的电荷储存开始。
在步骤s1405中，步骤s1404中所读出的第二分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
在步骤s1406中，第三分割曝光图像的信号读出开始，并且第四分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t4～时刻t5的时间段内，逐行地进行第三分割曝光图像的读出，并且紧接在各行的第三分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第四分割曝光图像的电荷储存开始。
在步骤s1407中，步骤s1406中所读出的第三分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
在步骤s1408中，将所读出的第三分割曝光图像保存在帧存储器117的区域m中。
在步骤s1409中，第四分割曝光图像的信号读出开始，并且第五分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t5～时刻t6的时间段内，逐行地进行第四分割曝光图像的读出，并且紧接在各行的第四分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第五分割曝光图像的电荷储存开始。
在步骤s1410中，步骤s1406中所读出的第四分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
在步骤s1411中，所读出的第四分割曝光图像和帧存储器117的区域m中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域m中。
在步骤s1412中，将所读出的第四分割曝光图像保存在帧存储器117的区域l中。
在步骤s1413中，第五分割曝光图像的信号读出开始，并且第六分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t6～时刻t7的时间段内，逐行地进行第五分割曝光图像的读出，并且紧接在各行的第五分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第六分割曝光图像的电荷储存开始。
在步骤s1414中，步骤s1413中所读出的第五分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
在步骤s1415中，所读出的第五分割曝光图像和帧存储器117的区域m中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域m中。
在步骤s1416中，所读出的第五分割曝光图像和帧存储器117的区域l中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域l中。
在步骤s1417中，第六分割曝光图像的信号读出开始，并且第七分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t7～时刻t8的时间段内，逐行地进行第六分割曝光图像的读出，并且紧接在各行的第六分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第七分割曝光图像的电荷储存开始。
在步骤s1418中，步骤s1417中所读出的第六分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
在步骤s1419中，所读出的第六分割曝光图像和帧存储器117的区域m中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域m中。
在步骤s1420中，第七分割曝光图像的信号读出开始，并且第八分割曝光图像的电荷储存开始。换句话说，在图14中的时刻t8～时刻t9的时间段内，逐行地进行第七分割曝光图像的读出，并且紧接在各行的第七分割曝光图像的读出之后，针对各行的重置处理开始。从完成了重置处理的行起顺次地，第八分割曝光图像的电荷储存开始。
在步骤s1421中，步骤s1420中所读出的第七分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
在步骤s1422中，第八分割曝光图像的读出开始。换句话说，在图14中的时刻t9～时刻t10的时间段内，逐行地进行第八曝光不足图像的读出。
在步骤s1423中，步骤s1422中所读出的第八分割曝光图像和帧存储器117的区域h中所保存的图像在处理单元118中经过相加处理，并且将如此得到的数据保存在区域h中。
通过进行上述处理，可以将hdr图像生成处理所要使用的曝光不同的多个图像的数据保存在帧存储器117的区域h、m和l中。
如第一实施例那样，使用所获取到的曝光不同的多个图像的数据来进行hdr图像生成处理，这使得利用不同曝光所拍摄到的多个图像的中间时刻能够同时出现，由此可以改善被摄体的抖动的影响，并且可以生成动态范围更宽的图像。
应当注意，可以在对图像进行相加处理之前进行位置对齐。可以进行hdr生成处理之前的位置对齐处理，使得所有曝光图像中所使用的第四分割曝光图像和第五分割曝光图像的位置可以一致，以进行合成。后续处理与第一实施例和第二实施例的处理相同。
尽管已经说明了本发明的上述实施例，但本发明不限于这些实施例，并且可以在没有背离精神和范围的情况下进行各种修改和改变。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算机系统的存储器、光盘(诸如致密盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)tm等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2015年5月29日提交的日本专利申请2015-109427和2016年4月22日提交的日本专利申请2016-086545的优先权，在此通过引用包含这些专利申请的全部内容。
- 还没有人留言评论。精彩留言会获得点赞！