摄像设备和摄像方法与流程

本发明涉及摄像设备，并且特别涉及包括输出与不同存储时间段相对应的不同图像的摄像元件的摄像设备。

背景技术：

作为对不同曝光度的两个图像进行合成的应用用途，已经提出了当观看电影或者电视节目时实现更现实的感觉的技术。该技术的示例包括用于运动图像的高动态范围摄像技术(在下文中被称为“hdr摄像”)。该技术通过扩大显示画面上的亮度再现范围来主要表现瞬时亮度或者部分亮度以实现与一般技术相比更现实的感觉。为了在这种技术中增强现实感，需要扩大用于获得视频图像的摄像设备的动态范围。专利文献1公开了一种用于获得与不同存储时间段相对应的两个图像并且通过对这两个图像进行合成来扩大动态范围的技术。

[引文列表]

[专利文献]

专利文献1：日本特开2014-48459

技术实现要素：

用于解决问题的方案

根据本发明的实施例，一种摄像设备，包括：计算单元，其被配置为在第一条件下计算用于获得所述多个图像中所包括的第一图像的第一曝光，并且在与所述第一条件不同的第二条件下计算用于获得所述多个图像中所包括的第二图像的第二曝光；以及设置单元，其被配置为基于所述计算单元所计算出的所述第一曝光和所述第二曝光，来设置用于获得所述第一图像和所述第二图像的曝光。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1a是示出根据本发明的第一实施例的摄像设备的外观的图。

图1b是示出根据本发明的第一实施例的摄像设备的外观的图。

图2是示出根据本发明的第一实施例的摄像设备的结构的图。

图3是示出根据本发明的第一实施例的摄像设备的摄像元件的电路图。

图4是根据本发明的第一实施例的摄像设备的摄像元件的时序图。

图5是根据本发明的第一实施例的摄像设备的处理的流程图。

图6a是示出根据本发明的第一实施例的摄像设备的存储时间段的改变的图。

图6b是示出根据本发明的第一实施例的摄像设备的存储时间段的改变的图。

图7是根据本发明的第二实施例的摄像设备的流程图。

图8a是示出根据本发明的第二实施例的摄像设备的存储时间段的改变的图。

图8b是示出根据本发明的第二实施例的摄像设备的存储时间段的改变的图。

图9是根据本发明的第三实施例的摄像设备的流程图。

图10a是示出根据本发明的第三实施例的摄像设备的存储时间段的改变的图。

图10b是示出根据本发明的第三实施例的摄像设备的存储时间段的改变的图。

图11是根据本发明的第四实施例的摄像设备的流程图。

图12a是示出根据本发明的第四实施例的摄像设备的存储时间段的改变的图。

图12b是示出根据本发明的第四实施例的摄像设备的存储时间段的改变的图。

图13是本发明的摄像元件的变形例中的像素元素的截面图。

具体实施方式

第一实施例

在下文中将描述根据本发明的第一实施例的摄像设备的结构。

图1a和1b是示出根据本发明的第一实施例的与摄像设备相对应的数字静止运动照相机的外观的图。图1a是摄像设备的正面图，以及图1b是摄像设备的背面图。在图1a和1b中，相同组件由相同附图标记表示。

在图1a和1b中，摄像设备的主体151容纳摄像元件和快门设备。摄像光学系统152包括光圈、图像稳定机构、变焦机构和焦点控制机构。可移动显示单元153显示摄像信息和视频。开关st154主要用于指示静止图像的摄像。开关mv155是用于开始和停止运动图像的拍摄的按钮。作为液晶显示器或者电致发光(el)显示器的显示单元153具有甚至可以在不抑制亮度范围的情况下显示具有扩大动态范围的视频的显示亮度范围。此外，显示单元153由未示出的支撑机构支撑，使得显示面在垂直和水平方向上被操作。摄像模式选择杆156用于选择摄像模式。注意，摄像模式的示例包括用于高清晰度运动图像(诸如4k/8k等)的模式或者用于高帧频(诸如120fps/240fps等)的模式。使用菜单按钮157来进入用于对摄像设备进行各种设置的功能设置模式。向上开关158和向下开关159用于改变各种设置值，并且拨盘160也用于改变各种设置值。使用再现按钮161来进入用于在显示单元153上再现摄像设备主体中所容纳的记录介质中所记录的视频的再现模式。注意，在显示单元153上，不仅可以显示记录在摄像设备主体中所包括的记录介质中的图像，而且可以显示通过无线通信单元所获得的网络上的图像。螺旋桨162用于使摄像设备漂浮在空中，使得从空中进行摄像。注意，本实施例的摄像设备的结构不限于此。例如，显示单元153可以包括诸如触摸面板等的输入装置。此外，显示单元153可以包括适当音频的记录再现功能。

图2是示意性示出根据本发明的第一实施例的摄像设备的结构的框图。在图2中，摄像元件184将通过经由摄像光学系统152收集光所生成的被摄体的光学图像转换为电气视频信号。在摄像元件184上形成被摄体的光学图像的摄像光学系统152包括多个光学元件(透镜和滤波器等)。光轴180用于摄像光学系统152。光圈181控制穿过摄像光学系统152的光量并且由光圈控制器182控制。光学滤波器183限制入射在摄像元件184上的光的波长和被传递到摄像元件184的空间频率。摄像元件184具有对于满足超高清电视的标准足够的像素数、信号读取速度、色域和动态范围。

数字信号处理器187在对视频数据进行各种校正处理之后对从摄像元件184输出的数字视频数据进行压缩。定时发生器189将各种定时信号输出到摄像元件184和数字信号处理器187。系统控制cpu178控制各种计算和整个数字静止运动照相机。系统控制cpu178总地控制各种组件并且设置各种参数以控制整个数字静止运动照相机。此外，系统控制cpu178包括电气地写入或者删除数据的存储器，并且执行记录在存储器中的程序。注意，存储器用作用于存储要由系统控制cpu178所执行的程序的区域以及在程序的执行期间的工作区域和数据存储区域等。注意，定时发生器189和系统控制cpu178对应于本实施例中的控制器。

视频存储器190暂时记录视频数据。显示接口单元191用于显示拍摄视频，并且显示单元153例如包括液晶显示器。可拆卸的记录介质193(诸如半导体存储器等)记录视频数据和附加数据等。记录接口单元192用于在记录介质193上进行记录或者读取。

外部接口单元196用于与外部计算机197通信。打印机195是小型喷墨打印机等。打印接口单元194用于将拍摄视频输出到打印机195并且打印视频。例如，计算机网络199是因特网。无线接口单元198用于与计算机网络199通信。切换输入单元179包括进行各种模式之间的切换的多个开关(诸如开关st154和开关mv155等)。飞行控制器200控制用于从空中进行摄像的螺旋桨162。

作为本发明的摄像设备的一部分的摄像元件184是cmos型。图3是摄像元件184的电路图的一部分。摄像元件184包括以矩阵布置的大量的像素元素。在图3中，在包括大量的像素元素的矩阵中，示出第一行第一列(1,1)的像素元素和作为最后一行的第m行第一列(m,1)的像素元素。第一行第一列(1,1)和第m行第一列(m,1)的像素元素的结构彼此相同，因此，相同组件由相同编号表示。注意，本实施例的摄像元件的光电转换单元不限于一般cmos光电二极管，并且可以使用光电转换膜或者可以使用光电转换膜和光电二极管的组合。

本发明的摄像元件184中以矩阵布置的各像素元素针对一个光电二极管500包括两个信号保持单元507a和507b。

在图3的电路图中，各像素元素包括光电二极管500、第一传输晶体管501a、第一信号保持单元507a和第二传输晶体管502a。各像素元素还包括第三传输晶体管501b、第二信号保持单元507b和第四传输晶体管502b。各像素元素还包括第五传输晶体管503、浮动扩散区508、重置晶体管504、放大晶体管505和选择晶体管506。

第一传输晶体管501a由传输脉冲φtx1a控制，并且第二传输晶体管502a由传输脉冲φtx2a控制。第三传输晶体管501b由传输脉冲φtx1b控制，并且第四传输晶体管502b由传输脉冲φtx2b控制。此外，重置晶体管504由重置脉冲φres控制，并且选择晶体管506由选择脉冲φsel控制。第五传输晶体管503由传输脉冲φtx3控制。控制脉冲从垂直扫描电路(未示出)供给。此外，特定固定电压被施加到电源线520和521。信号输出线523用于基于光电二极管500中所生成的电荷来将信号输出到水平电路(未示出)。注意，在本实施例中，传输晶体管对应于用于传输光电二极管500中所生成的电荷的传输单元。

如上所述，在本发明的摄像设备所包括的摄像元件184中，像素元素以矩阵布置，其中各像素元素包括用作光电转换单元的光电二极管500以及第一信号保持单元507a和第二信号保持单元507b。此外，在基于从定时发生器189供给的控制信号所控制的摄像周期内的第一存储时间段期间，将用作光电转换单元的光电二极管500中所生成的信号电荷传输到第一信号保持单元507a，使得生成第一图像。此外，在同一摄像周期内的第二存储时间段期间，将用作光电转换单元的光电二极管500中所生成的信号电荷传输到第二信号保持单元507b，使得生成第二图像。具体地，本实施例的摄像元件184可以在一个摄像周期内设置第一存储时间段和第二存储时间段，并且可以读取两个图像(即，第一图像和第二图像)。因此，在各摄像周期内可以获得包括同一被摄体的多个图像。此外，可以将光电二极管500中所生成的信号电荷中的不用于摄像的电荷通过第五传输晶体管503传输到电源线521，而不是传输到第一信号保持单元507a或第二信号保持单元507b。

图4是示出在本发明的摄像设备同时拍摄两个图像的情况下由摄像元件184所进行的存储、传输和读取的定时的时序图。这里，术语“存储”表示基于穿过摄像光学系统152的光而在光电二极管500中生成电荷。此外，术语“传输”表示通过控制传输晶体管来将在光电二极管500中所生成的电荷传输到信号保持单元507a和507b。此外，术语“读取”表示将第一信号保持单元507a和第二信号保持单元507b所保持的电荷通过浮动扩散区508输出到摄像元件184的外部。

在图4中，横轴表示经过时间，并且“t”表示摄像周期。例如，在60fps的帧频的摄像的情况下，t是1/60秒。在图4中，示出时隙，其包括第(n-1)个摄像周期的结束、整个第n个摄像周期和第(n+1)个摄像周期的开始。此外，虽然出于描述的目的在图4中示出六行的定时，但是摄像元件184实际上具有几千行并且在本实施例中最后一行由“m”表示。此外，例如，虽然一个摄像周期被分割为12个部分并且6个部分的时间段被分配给第一图像和第二图像的存储和传输，但是分割和分配根据基于摄像条件而改变的存储时间段而适当地改变。在下文中将详细描述存储时间段和分割数。

与第n个摄像周期的开始处的垂直同步信号sn同步地，在<1>中的时间段1a中，在光电二极管500中存储电荷，并且在预定时间段的存储被终止之后，在<2>中的时间段2a中将所存储的电荷传输到信号保持单元507a。此后，在<1>中的时间段1b中，在光电二极管500中存储电荷，并且在预定时间段的存储被终止之后，在<3>中的时间段2b中将所存储的电荷传输到信号保持单元507b。将该操作重复执行预定次数(在本实施例中为六次)。每当传输晶体管被控制多次时，电荷被添加到信号保持单元507a和507b。在摄像周期期间，将与1a×6的存储时间段相对应的电荷存储在信号保持单元507a中，将与1b×6的存储时间段相对应的电荷存储在信号保持单元507b中，并且电荷的总和对应于第n个摄像周期内的总存储电荷。此后，在<4>中的时间段3a和<5>中的时间段3b中，将在进行多次的向信号保持单元507a和507b的传输之后所保持的电荷经由浮动扩散区508而读取至摄像元件184的外部。在读取之后，信号保持单元507a和507b中所保持的电荷在适当的情况下被重置。

在该操作中，在从第二行起的像素元素中，以重复的方式同样地进行存储和传输。在紧接着终止第一行中的读取之后，如图4所示，顺次读取从第二行起的像素元素中所存储的电荷。这里，在从存储时间1a终止时起直到时间段1b开始时为止的时间段(例如，图4中的“1d”)以及从存储时间1b终止时起直到时间段1a开始时为止的时间段(例如，图4中的“1c”)内，在光电二极管500中存储电荷。该电荷不是用于摄像，而是通过第五传输晶体管503而被传输到电源线521并且不被传输或添加到第一信号保持单元507a或者第二信号保持单元507b。虽然在图4中各行中的存储定时是相同的，但是定时可以不是相同的。可以通过根据读取定时使存储定时发生偏移的卷帘快门方法来存储电荷。

在图4中，时间段1a比时间段1b长，并且可以通过使时间段1a和1b的长度不同来同时生成具有不同存储时间段的两个图像。此外，可以通过改变在一个摄像周期内进行存储的次数来控制存储时间段。

这里，作为用于从信号保持单元507a供给的第一像素元素的存储时间段的第一存储时间段(在下文中简称为“第一存储时间段”)根据预设摄像条件以及摄像期间改变的图像的亮度的改变而改变。此外，作为用于从信号保持单元507b供给的第二像素元素的存储时间段的第二存储时间段(在下文中简称为“第二存储时间段”)同样地改变。通过包括在系统控制cpu178中的存储时间段确定单元来确定各摄像周期内的第一存储时间段和第二存储时间段。

在本实施例中，第一存储时间段被设置为适合于目标被摄体的一部分(例如，人物的面部)的亮度，并且第二存储时间段被设置为适合于整个图像的亮度。如上所述，通过存储时间段确定单元来确定各摄像周期内的第一存储时间段和第二存储时间段。此外，考虑到第一存储时间段和第二存储时间段以及传输时间段，系统控制cpu178确定各存储时间段的分割数。

图5是包括由系统控制cpu178进行的处理的流程图。

在步骤s100中，系统控制cpu178开始对第n个摄像周期的控制。当步骤中的处理被执行到步骤s200为止时，第n个摄像周期终止。针对各个像素元素并且进一步针对各个摄像周期重复执行该流程，使得获得第一图像和第二图像。

在步骤s101中，系统控制cpu178计算适合于图像的目标被摄体的曝光设置。更具体地，系统控制cpu178将包括直到紧挨在第n个摄像周期之前的第(n-1)个摄像周期为止所获得的图像中的目标被摄体的区域(预定范围)中的亮度与目标亮度相比较，并且计算填充亮度之间的差的曝光设置。注意，在连续获得包括目标被摄体的图像的情况下，将所获得的图像的急剧的亮度改变确定为不自然操作，因此在多个摄像周期内进行用于吸收与目标亮度的差的操作。然后，处理进入步骤s102。

在步骤s102中，系统控制cpu178基于步骤s101中所计算出的曝光设置，来计算第一存储时间段。然后，处理进入步骤s103。注意，该存储时间段的计算是基于存储在系统控制cpu178所包括的存储器中的程序图等来进行的。

在步骤s103中，系统控制cpu178计算用于整个图像的最佳曝光。然后，处理进入步骤s104。此外，在这种情况下，系统控制cpu178将不仅包括图像中的目标被摄体的区域中的亮度而且整个图像的亮度与目标亮度相比较，并且计算填充亮度之间的差的曝光设置。注意，该步骤中的目标亮度可以与步骤s101中的目标亮度不同。

在步骤s104中，系统控制cpu178基于步骤s103中所计算的曝光设置，来计算第二存储时间段。然后，处理进入步骤s105。

在步骤s105中，考虑到第一存储时间段和第二存储时间段以及传输时间段，系统控制cpu178计算各存储时间段中的分割数n。然后，处理进入步骤s106。由于摄像周期是固定的，因而存储时间段变得越长，分割数n变得越小，而存储时间段变得越短，分割数n变得越大。注意，还可以附加地考虑被摄体的移动来确定分割数n。此外，为了处理简单起见，分割数n可以被固定为预定值。

在步骤s106中，系统控制cpu178将内部计数器i重置为0。然后，处理进入步骤s107。

在步骤s107中，系统控制cpu178使计数器i递增。然后，处理进入步骤s108。

在步骤s108中，系统控制cpu178控制定时发生器189以在光电二极管500中存储电荷并持续与(第一存储时间段)/n相对应的时间段(图4的时间段1a)。然后，处理进入步骤s109。

在步骤s109中，系统控制cpu178控制定时发生器189以将存储在光电二极管500中的电荷传输到信号保持单元507a。然后，处理进入步骤s110。

在步骤s110中，系统控制cpu178控制定时发生器189，使得存储和传输交替进行直到计数器i达到n为止。由此，将对应于第一存储时间段的电荷存储在信号保持单元507a中。在计数器i已经达到n的情况下，处理进入步骤s111。

在步骤s111中，系统控制cpu178将由信号保持单元507a保持的电荷通过浮动扩散区508输出到摄像元件184的外部。然后，处理进入步骤s112。

在步骤s112中，系统控制cpu178控制定时发生器189以在光电二极管500中存储电荷并持续与(第二存储时间段)/n相对应的时间段(图4的时间段1b)。然后，处理进入步骤s113。

在步骤s113中，系统控制cpu178控制定时发生器189以将存储在光电二极管500中的电荷传输到信号保持单元507b。然后，处理进入步骤s114。

在步骤s114中，系统控制cpu178控制定时发生器189，使得存储和传输交替进行直到计数器i达到n为止。由此，将对应于第二存储时间段的电荷存储在信号保持单元507b中。在计数器i已经达到n的情况下，处理进入步骤s115。

在步骤s115中，系统控制cpu178将由信号保持单元507b保持的电荷通过浮动扩散区508输出到摄像元件184的外部。然后，处理进入步骤s200。

注意，虽然仅在图5的流程图中描述了光电二极管500中的存储时间段的控制，但是除此之外，还可以附加地控制光圈181、摄像元件184或者包括在数字信号处理器187中的增益电路的增益值。通过组合多个方法，可以确保较大的动态范围。

在下文中，将描述本实施例的与由存储时间段确定单元所确定的第一存储时间段和第二存储时间段的变化率有关的特性。

图6a是根据本实施例的摄像设备的一个摄像周期内的存储时间段的改变的示例的图。在图6a中，纵轴表示当10秒(以60fps的帧频的600个帧)被设置为一个标度时的摄像经过时间，并且横轴表示各个摄像周期内的存储时间段。这里，为了显示简单起见，仅绘制针对10秒的各摄像周期内的存储时间段，并且省略10秒内的摄像周期中的存储时间段的绘制点。然而，在省略的时间段中，适当进行曝光控制。绘制点a表示与适合于目标被摄体的第一图像相对应的第一存储时间段，并且绘制点b表示与适合于整个图像的第二图像相对应的第二存储时间段。此外，通过连接绘制点a或者绘制点b所形成的虚线的倾斜度表示存储时间段变化率。在下文中，将特定摄像时间段中的第一存储时间段和第二存储时间段中的较短存储时间段的变化率确定为短存储时间段变化率，并且将较长存储时间段的变化率确定为长存储时间段变化率。

在图6a中，在时隙<1>中，整个图像是暗的，并且因此第一存储时间段a和第二存储时间段b这两者变长。然而，目标被摄体的一部分变得更暗，因此，与较长的第二存储时间段b相比，较短的第一存储时间段a剧烈地增加。具体地，短存储时间段变化率大于0，并且短存储时间段变化率大于长存储时间段变化率。

相反，在时隙<4>中，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。因此，第一存储时间段a比第二存储时间段b长。

此外，在时隙<2>中，虽然整个图像变暗，但是目标被摄体的一部分的亮度不改变，因此，适合于目标被摄体且较长的第一存储时间段a几乎不改变，并且仅适合于整个图像且较短的第二存储时间段b逐渐地增加。具体地，短存储时间段变化率大于0，并且短存储时间段变化率大于作为0的长存储时间段变化率。相反，在时隙<3>中，短存储时间段变化率小于0，并且短存储时间段变化率小于作为0的长存储时间段变化率。

在时隙<6>中，虽然整个图像变亮，但是目标被摄体的一部分变暗，因此，与目标被摄体相关联并且较短的第一存储时间段a增加，而与整个图像相关联并且较长的第二存储时间段b减少。具体地，短存储时间段变化率大于0，并且短存储时间段变化率大于长存储时间段变化率。相反，在时隙<5>中，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。

如上所述，根据时隙<1>至<6>，在本实施例的摄像设备中，当短存储时间段变化率大于0时，短存储时间段变化率大于长存储时间段变化率，而当短存储时间段变化率小于0时，短存储时间段变化率小于长存储时间段变化率。因此，存储时间段确定单元可以确定针对各摄像周期的第一存储时间段和第二存储时间段。图6b是示出该关系的图，并且横轴表示短存储时间段a的变化率a'以及纵轴表示长存储时间段b的变化率b'。灰色的范围表示短存储时间段变化率a'的范围和长存储时间段变化率b'的范围，这些范围可以不由具有恒定变化率的一般摄像设备设置，而是可以由本实施例的摄像设备设置。本实施例的摄像设备可以设置由一般摄像设备所设置的短存储时间段变化率a'和长存储时间段变化率b'的范围，因此，短存储时间段变化率a'和长存储时间段变化率b'可以是任意设置的。

如上所述，根据本实施例，第一存储时间段被确定成适合于目标被摄体，并且第二存储时间段被确定成适合于整个图像。因此，可以同时拍摄短存储时间段图像和长存储时间段图像的存储时间段变化率之间的大小关系可能反转的两个图像。一般而言，当目标被摄体的亮度改变时，主要包括目标被摄体的图像改变。因此，在通过将短存储时间段图像和长存储时间段图像彼此进行合成来生成运动图像的情况下，目标被摄体的亮度的改变可能是不连续的。另一方面，本发明的摄像设备可以拍摄可能不是由一般hdr摄像所获得的两个图像、即包括与适合于目标被摄体的曝光设置相对应的图像和与适合于整个图像的曝光设置相对应的图像的两个图像。通过根据目的以独立方式或者合成方式使用两个图像，可以生成在过去无法生成的图像。具体地，由于主要包括目标被摄体的图像不改变，因而预期可以实现合成图像的连续且平滑的亮度改变。

注意，在本实施例中，通过根据亮度的改变来改变存储时间段以使图像的亮度固定，从而获得适合于目标被摄体的图像和适合于整个图像的图像。然而，在针对目标被摄体和整个图像进行不同的曝光控制处理的情况下，也可以实现相同的效果。

注意，根据本实施例，第一存储时间段被设置成适合于目标被摄体，并且第二存储时间段被设置成适合于整个图像。然而，如果存储时间段确定单元在确定第一存储时间段时参考与图像的一部分相对应的图像范围并且在确定第二存储时间段时参考与整个图像相对应的图像范围，则可以实现相同的效果。该情况的示例包括第一存储时间段适合于图像的右半部分并且第二存储时间段适合于整个图像的情况。

第二实施例

在下文中，将仅在与根据第一实施例的摄像设备不同的部分中描述根据本发明的第二实施例的摄像设备的结构。

在本实施例中，第一存储时间段被设置为适合于与第一被摄体相对应的部分(例如人物a，并且在本文中该部分被称为“人物a”)的亮度，并且第二存储时间段被设置为适合于与第二被摄体相对应的部分(例如人物b，并且在本文中该部分被称为“人物b”)的亮度。注意，在本实施例中，被摄体部分对应于人物，本发明不限于此。例如，由用户使用切换输入单元179可选择并且包括在由用户选择的范围内的被摄体可以是目标。在本实施例中，切换输入单元179与要由用户用于选择图像中的特定范围的选择单元相对应。

图7是根据本实施例的摄像设备的控制的流程图。该流程图与第一实施例的流程图在步骤s101和步骤s103中不同，其分别对应于步骤s701和步骤s703。在流程图中，单独进行适合于人物a和b的曝光的计算。

类似于图6a的图8a是根据本实施例的摄像设备的一个摄像周期内的存储时间段的改变的示例的图。注意，具有黑色左半部分和白色右半部分的绘制点表示绘制点a和绘制点b彼此重叠。绘制点a表示与适合于人物a的第一图像相对应的第一存储时间段，并且绘制点b表示与适合于人物b的第二图像相对应的第二存储时间段。此外，通过连接绘制点a或者绘制点b形成的虚线的倾斜度表示存储时间段变化率。在下文中，将摄像时间段中的第一存储时间段和第二存储时间段中的较短存储时间段的变化率确定为短存储时间段变化率，并且将较长存储时间段的变化率确定为长存储时间段变化率。

在摄像经过时间中，人物a在明亮的地方和黑暗的地方往复两次，并且人物b在明亮的地方和黑暗的地方往复1.5次，即人物a的移动速度高于人物b的移动速度。

在图8a中，在时隙<1>中，人物a和b分别以高速度和低速度从明亮的地方移动到黑暗的地方，因此，与适合于人物b的较长的第二存储时间段相比，适合于人物a的较短的第一存储时间段a显著增加。具体地，短存储时间段变化率大于0，并且短存储时间段变化率大于长存储时间段变化率。相反，在时隙<4>中，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。

在时隙<2>中，虽然人物a不移动，但是人物b从明亮的地方移动到黑暗的地方。因此，适合于人物a的较长的第一存储时间段a不改变，而仅适合于人物b的较短的第二存储时间段b增加。具体地，短存储时间段变化率大于0，并且短存储时间段变化率大于作为0的长存储时间段变化率。相反，在时隙<3>中，短存储时间段变化率小于0，并且短存储时间段变化率小于作为0的长存储时间段变化率。

在时隙<5>中，人物a从黑暗的地方移动到明亮的地方并且人物b从黑暗的地方移动到明亮的地方。因此，适合于人物b的较短的第二存储时间段b增加，并且适合于人物a的较长的第一存储时间段a减少。即，短存储时间段变化率大于0，并且短存储时间段变化率大于长存储时间段变化率。相反，在时隙<6>中，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。

如上所述，根据时隙<1>至<6>，在本实施例的摄像设备中，当短存储时间段变化率大于0时，短存储时间段变化率大于长存储时间段变化率，而当短存储时间段变化率小于0时，短存储时间段变化率小于长存储时间段变化率。因此，存储时间段确定单元可以确定针对各摄像周期的第一存储时间段和第二存储时间段。图8b是示出该关系的图，并且横轴表示短存储时间段a的变化率a'以及纵轴表示长存储时间段b的变化率b'。灰色的范围表示短存储时间段变化率a'和长存储时间段变化率b'，其可以不是由具有恒定变化率的一般摄像设备设置，而可以由本实施例的摄像设备设置。本实施例的摄像设备可以设置由一般摄像设备可设置的短存储时间段变化率a'和长存储时间段变化率b'的范围，因此短存储时间段变化率a'和长存储时间段变化率b'可以是任意设置的。

如上所述，根据本实施例，第一存储时间段被设置成适合于第一目标被摄体，并且第二存储时间段被设置成适合于第二目标被摄体。因此，可以同时拍摄短存储时间段图像和长存储时间段图像的存储时间段变化率之间的大小关系可能反转的两个图像。因此，本发明的摄像设备可以拍摄可能不是由一般hdr摄像所获得的两个图像、即包括与适合于第一目标被摄体的曝光设置相对应的图像和与适合于第二目标被摄体的曝光设置相对应的图像的两个图像。通过根据目的以独立方式或者合成方式使用两个图像，可以生成在过去无法生成的图像。

注意，虽然在本实施例中通过与亮度相关联地改变存储时间段来使图像的亮度固定以获得适合于目标被摄体的图像，但是可以在进行适合于不同目标被摄体的不同曝光控制处理的情况下实现相同的效果。

注意，根据本实施例，第一存储时间段被设置成适合于第一目标被摄体，并且第二存储时间段被设置成适合于第二目标被摄体。然而，存储时间段确定单元在确定第一存储时间段时所参考的图像范围是图像的第一部分，并且存储时间段确定单元在确定第二存储时间段时所参考的图像范围是第二部分。因此，如果第一部分和第二部分是不同的范围，则可以实现相同的效果。该情况的示例包括第一存储时间段适合于图像的右半部分并且第二存储时间段适合于图像的左半部分的情况。

第三实施例

在下文中，将仅在与根据第一实施例的摄像设备不同的部分中描述根据本发明的第三实施例的摄像设备的结构。

在本实施例中，存储时间段确定单元确定第一存储时间段和第二存储时间段，使得根据图像的亮度的改变来获得不同的响应。作为示例，第一存储时间段与图像的亮度的改变相关联地改变，而第二存储时间段不与图像的亮度的改变相关联地改变。

这里，当存储时间段与亮度的改变相关联地改变时，仅生成由过度曝光引起的白斑或者由曝光不足引起的黑斑，因此，可以获得相对高对比度的图像。如果图像的对比度高，则在所检测到的图像的锐度用于自动调焦的情况下或者在所检测到的运动矢量用于图像环校正的情况下，可以提高自动调焦或者图像模糊校正的精度。另一方面，如果存储时间段不与亮度的改变相关联地改变，则根据亮度的改变而在图像中发生过度曝光或者曝光不足。因此，可以有效地通过手动设置曝光来获得用户期望的拍摄图像，或者可以有效地通过自动设置曝光来获得具有与实际视觉亮度几乎相同的亮度的图像。在本实施例中，用户可以使用切换输入单元179等来确定手动曝光设置。具体地，切换输入单元179与用户用于确定曝光设置的确定单元相对应。注意，图像模糊的示例包括当被摄体移动时引起的被摄体模糊和当整个摄像设备移动时引起的模糊。

图9是根据本实施例的摄像设备的控制的流程图。该流程图与第一实施例的流程图在步骤s101和步骤s103中不同，其分别对应于步骤s901和步骤s903。

类似于图6a的图10a是根据本实施例的摄像设备的一个摄像周期内的存储时间段的改变的示例的图。注意，具有黑色左半部分和白色右半部分的绘制点表示绘制点a和绘制点b彼此重叠。绘制点a表示对应于与图像的亮度的改变相关联地改变的第一图像的第一存储时间段，并且绘制点b表示对应于不与图像的亮度相关联地改变的第二图像的第二存储时间段。此外，通过连接绘制点a或者绘制点b所形成的虚线的倾斜度表示存储时间段变化率。在下文中，将摄像时间段中的第一存储时间段和第二存储时间段中的较短存储时间段的变化率确定为短存储时间段变化率，并且将较长存储时间段的变化率确定为长存储时间段变化率。

在该摄像经过时间中，图像的亮度在从20秒到30秒的范围和从60秒到70秒的范围内变得明亮，在90秒处变得黑暗，此后，逐渐变得明亮。因此，为了抑制黑斑或者白斑的生成并且获得高对比度的图像，存储时间段a在从20秒到30秒的范围和从60秒到70秒的范围内变短，在90秒处变长，此后，逐渐变短。另一方面，存储时间段b不与由用户的意图或者自动曝光设置引起的亮度的改变相关联地改变，在从50秒到80秒的范围内逐渐地变长，并且获得轻微的过度曝光，并且在从100秒到110秒的范围内变短，使得恢复曝光。

在图10a中，在时隙<4>中，相比于不与图像的亮度的改变相关联地改变的第二存储时间段b，与图像的亮度的改变相关联地改变的第一存储时间段更显著地增加。即，短存储时间段变化率大于0，并且短存储时间段变化率大于长存储时间段变化率。相反，在时隙<5>中，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。

在时隙<2>中，虽然与图像的亮度的改变相关联地改变的第一存储时间段a增加，但是不与图像的亮度的改变相关联地改变的第二存储时间段b不改变。具体地，短存储时间段变化率大于0，并且短存储时间段变化率大于作为0的长存储时间段变化率。相反，在时隙<1>中，短存储时间段变化率小于0，并且短存储时间段变化率小于作为0的长存储时间段变化率。

在时隙<6>中，与图像的亮度的改变相关联地改变的第一存储时间段a减少，而不与图像的亮度的改变相关联地改变的第二存储时间段b增加。即，短存储时间段变化率大于0，并且短存储时间段变化率大于长存储时间段变化率。相反，在时隙<3>中，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。

根据时隙<1>至<6>，在本实施例的摄像设备中，当短存储时间段变化率大于0时，短存储时间段变化率大于长存储时间段变化率，而当短存储时间段变化率小于0时，短存储时间段变化率小于长存储时间段变化率。因此，存储时间段确定单元可以确定针对各摄像周期的第一存储时间段和第二存储时间段。图10b是示出该关系的图，横轴表示短存储时间段a的变化率a'以及纵轴表示长存储时间段b的变化率b'。灰色的范围表示短存储时间段变化率a'和长存储时间段变化率b'，其可以不是由具有恒定变化率的一般摄像设备设置，而是可以由本实施例的摄像设备设置。本实施例的摄像设备可以设置由一般摄像设备可设置的短存储时间段变化率a'和长存储时间段变化率b'的范围，因此，短存储时间段变化率a'和长存储时间段变化率b'可以是任意设置的。

如上所述，根据本实施例，第一存储时间段被设置成与图像的亮度的改变相关联地改变，并且第二存储时间段被设置成不与图像的亮度的改变相关联地改变。因此，可以同时拍摄短存储时间段图像和长存储时间段图像的存储时间段变化率之间的大小关系可能反转的两个图像。因此，本发明的摄像设备可以拍摄可能不是由一般hdr摄像获得的两个图像、即包括对应于与图像的亮度的改变相关联地改变的曝光设置的图像和对应于不与图像的亮度的改变相关联地改变的曝光设置的图像的两个图像。根据目的，通过使用两个图像中的一个图像来进行记录并且使用另一个图像来进行用于提高自动调焦和图像模糊校正的精度的图像处理、或者通过对两个图像进行合成，可以生成在过去无法生成的图像。例如，可以对特定被摄体(诸如人等)进行手动曝光，并且可以对其它区域进行自动曝光控制。

注意，根据本实施例，第一存储时间段被设置成与图像的亮度的改变相关联地改变，并且第二存储时间段被设置成不与图像的亮度的改变相关联地改变。然而，可以任意地设置关联度，并且可以实现相同的效果，只要关联度彼此不同即可。

第四实施例

在下文中，将仅在与根据第一实施例的摄像设备不同的部分中描述根据本发明的第四实施例的摄像设备的结构。

在本实施例中，存储时间段确定单元确定第一存储时间段和第二存储时间段，使得针对图像的亮度改变的响应速度彼此不同。作为示例，第一存储时间段敏感地响应整个图像的亮度的改变，然而第二存储时间段不敏感地响应整个图像的亮度的改变。可以通过控制所谓的pid控制的p增益或者d增益来进行这些对敏感和不敏感的设置。

图11是处理的流程图。该流程图与第一实施例的流程图在步骤s101和步骤s103中不同，其分别地对应于步骤s1101和步骤s1103。

类似于图6a的图12a是根据本实施例的摄像设备的一个摄像周期内的存储时间段的改变的示例的图。注意，具有黑色左半部分和白色右半部分的绘制点表示绘制点a和绘制点b彼此重叠。绘制点a表示敏感地响应于图像的亮度的改变而改变的第一存储时间段，并且绘制点b表示不敏感地响应于图像的亮度的改变而改变的第二存储时间段。此外，通过连接绘制点a或者绘制点b所形成的虚线的倾斜度表示存储时间段变化率。在下文中，将摄像时间段中的第一存储时间段和第二存储时间段中的较短存储时间段的变化率确定为短存储时间段变化率，并且将较长存储时间段的变化率确定为长存储时间段变化率。

在该摄像经过时间中，整个图像在30秒处暂时变得明亮，之后亮度立即恢复，并且整个图像在从70秒起逐渐变得明亮。虽然第一存储时间段a响应30秒处的亮度的改变，但是第二存储时间段b不进行响应。第二存储时间段b在第一存储时间段a之后对在70秒处亮度向明亮状态的逐渐改变进行响应。

在时隙<3>中，与不敏感地响应整个图像的亮度的改变的第二存储时间段b相比，敏感地响应整个图像的亮度的改变的第一存储时间段a更显著地减少。即，短存储时间段变化率小于0，并且短存储时间段变化率小于长存储时间段变化率。

在时隙<1>中，虽然敏感地响应整个图像的亮度的改变的第一存储时间段a减少，但是不敏感地响应整个图像的亮度的改变的第二存储时间段b不改变。具体地，短存储时间段变化率小于0，并且短存储时间段变化率小于作为0的长存储时间段变化率。相反，在时隙<2>中，短存储时间段变化率大于0，并且短存储时间段变化率大于作为0的长存储时间段变化率。

根据时隙<1>至<3>，与一般摄像设备不同，在本实施例的摄像设备中，当短存储时间段变化率大于0时，短存储时间段变化率大于长存储时间段变化率，而当短存储时间段变化率小于0时，短存储时间段变化率小于长存储时间段变化率。因此，存储时间段确定单元可以确定针对各摄像周期的第一存储时间段和第二存储时间段。图12b是示出该关系的图，并且横轴表示短存储时间段a的变化率a'以及纵轴表示长存储时间段b的变化率b'。灰色的范围表示短存储时间段变化率a'和长存储时间段变化率b'，其可以不是由具有恒定变化率的一般摄像设备设置，而是可以由本实施例的摄像设备设置。本实施例的摄像设备可以设置由一般摄像设备设置的短存储时间段变化率a'和长存储时间段变化率b'的范围，因此，短存储时间段变化率a'和长存储时间段变化率b'可以是任意设置的。

如上所述，根据本实施例，第一存储时间段敏感地响应整个图像的亮度的改变，而第二存储时间段不敏感地响应整个图像的亮度的改变。因此，可以同时拍摄短存储时间段图像和长存储时间段图像的存储时间段变化率之间的大小关系可能反转的两个图像。因此，本发明的摄像设备可以拍摄可能不是由一般hdr摄像获得的两个图像、即包括与最适合于第一目标被摄体的曝光设置相对应的图像和与最适合于第二目标被摄体的曝光设置相对应的图像的两个图像。通过根据目的以独立方式或者合成方式使用这两个图像，可以生成在过去无法生成的图像。

虽然已经描述了根据本发明的第一实施例至第四实施例的摄像设备的操作，但是代替完全独立地控制用于在不固定变化率的情况下获得两个图像的曝光的变化率，可以设置特定限制。例如，可以针对图像的曝光之间的差设置上限或者下限。在这种情况下，优选地，适当确定图像的曝光中的优先被选择的曝光。例如，优选地，考虑到主要被摄体(诸如人等)来确定曝光中的优先被计算的曝光。

注意，可以进行第一实施例至第四实施例这多个实施例中的操作之间的转换。在第一实施例的操作中检测到目标被摄体(诸如多个人等)的情况下，例如可以进入第二实施例的操作。此外，如果未检测到目标被摄体，则可以使第一存储时间段和第二存储时间段的变化量固定。在这种情况下，当检测到被摄体时，优选地进入第一实施例至第四实施例中的操作之一。

注意，虽然在第一实施例至第四实施例中获得不同曝光的两个图像，但是本发明不限于此。在要获得三个或更多个图像的情况下，可以对所有图像或者多个图像进行根据实施例的操作。

摄像元件的变形例

相同的效果可以在包括如下摄像元件以外的摄像元件的摄像设备中实现相同的效果，其中该摄像元件如图3所示在一个像素元素中包括单个光电二极管500以及两个第一信号保持单元507a和第二信号保持单元507b。

例如，如图13所示，两个光电转换单元500a和500b包括相应的信号保持单元507a和507b。虽然光电转换单元500a与图3的光电二极管500相同，但是光电转换单元500b通过由有机薄膜等制成的光电转换膜构成。由于光电转换单元500b针对入射光配置在光电转换单元500a与微透镜1000之间，因而通过光电转换单元500a和500b来拍摄同一被摄体。换句话说，在光电转换单元500a和500b的曝光计算中，可以通过进行根据第一实施例至第四实施例的控制来实现相同的效果。

虽然在该变形例中光电转换单元相对于入射光而被层压，但是可以在一个光接收面上配置多个光电二极管。

此外，可以在摄像元件184中实现定时发生器189和用于进行曝光计算的系统控制cpu178的功能。在这种情况下，优选地，对包括光电转换单元的芯片以及另一信号处理芯片进行层压。

其它实施例

本发明可以通过经由网络或者记录介质将实现前述实施例的至少一个功能的程序供给到系统或设备并且使用包括在系统或设备中的计算机中的至少一个处理器读取并且执行该程序的处理来实现。可选地，本发明可以通过具有至少一个功能的电路(例如，asic)来实现。

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算机系统的存储器、光盘(诸如致密盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)^tm等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2016年9月30日提交的日本专利申请2016-193117的优先权，这里通过引用将其全部内容包含于此。