摄像装置、重放装置和重放方法与流程
本发明涉及具有图像重放功能的摄像装置和重放装置。
背景技术：
如果可以利用一台照相机同时拍摄运动图像和静止图像，则不仅可以将拍摄场景作为运动图像进行观看，而且还可以将运动图像中的决定性场景作为静止图像进行观看以供娱乐。这样可以大大提高所拍摄到的图像的价值。此外，如果可以利用一台照相机同时拍摄正常帧频的运动图像和高帧频的运动图像，则可以将特定场景切换为慢动作运动图像，以将该图像作为高清晰度运动图像进行欣赏。这样可以给观看者带来丰富的动感。
同时，在所重放的运动图像发生如一种逐帧快进那样的现象(所谓的图像跳跃(jerkiness))的情况下，通常运动图像的质量大幅下降。为了抑制图像跳跃，需要在一系列拍摄处理中设置接近一个帧时间段的累积时间。换句话说，如果帧频为30fps，则诸如1/30秒或1/60秒等的相对较长的累积时间将是足够的。特别地，在诸如直升机拍摄等的照相机的姿势不稳定的这种情形中，该设置是重要的。
另一方面，由于要求静止图像具有拍摄瞬间的锐度，因此需要设置例如约1/1000秒的短的累积时间，从而获得定格效果。此外，在高帧频的运动图像的情况下，一个帧时间段短。因此，例如，在帧频为120fps的情况下，必然设置诸如1/125秒或1/250秒等的短的累积时间。
经由单个拍摄镜头来同时拍摄两个图像(诸如运动图像和静止图像、或者正常帧频的运动图像和高帧频的运动感图像等)，这意味着拍摄这些图像所使用的光圈值是相同的。即使在这种情况下，也期望如下：应当在以不同的累积时间设置拍摄两个图像的情况下在摄像元件中获得相同程度的信号电荷，从而获得s/n比良好的无噪声图像。
日本特开2014-048459公开了包括具有相对于各像素不对称的光瞳形状的一对光电二极管的摄像装置。在日本特开2014-048459所述的摄像装置中，一对光电二极管中的一个光电二极管的受光效率高，并且另一光电二极管的受光效率低。使用来自该对光电二极管的两个信号作为单独的图像数据，使得可以同时拍摄到两个图像。
此外，日本特开2003-125344公开了用于在运动图像拍摄期间拍摄高分辨率图像(具有足以作为静止图像进行观看的质量的图像)的摄像装置、以及用于处理所拍摄到的图像的方法。日本特开2003-125344教导了：在运动图像重放期间利用渐进方法来再现直到预定分辨率为止的图像(直到与运动图像相同的分辨率为止的高分辨率图像)使得能够作为运动图像进行观看，而在静止图像应用的情况下，提取高分辨率图像并将该高分辨率图像作为静止图像进行传送。
尽管可以期待如日本特开2014-048459所述的能够同时拍摄两个图像的摄像装置通过适当地呈现两个图像来提高便利性，但没有具体提及有用的呈现方法。
此外，日本特开2003-125344没有呈现在任意时间在运动图像和静止图像之间进行切换的优选重放模式。
技术实现要素：
本发明的目的是提供能够获取适合运动图像和静止图像这两者的观看的图像的摄像装置、以及能够适当地呈现所获取到的图像的重放装置。
根据本发明的一个方面，提供一种摄像装置，包括：摄像元件，用于获取基于在第一累积时间内所生成的信号电荷的第一图像以及基于在比所述第一累积时间相对更长的第二累积时间内所生成的信号电荷的第二图像，其中所述第二图像是在包括所述第一累积时间的同步时间段内与所述第一图像同步地记录的；以及运动图像文件生成单元，用于生成运动图像文件，其中所述运动图像文件包括基于所述第一图像的第一运动图像、基于所述第二图像的第二运动图像和用于逐帧地使所述第一运动图像和所述第二运动图像同步的同步信息。
根据本发明的另一方面，提供一种重放装置，包括：重放单元，用于重放摄像装置所拍摄到的运动图像文件，所述摄像装置用于获取基于在第一累积时间内所生成的信号电荷的第一图像以及基于在比所述第一累积时间相对更长的第二累积时间内所生成的信号电荷的第二图像，其中所述第二图像是在包括所述第一累积时间的同步时间段内与所述第一图像同步地记录的，其中，所述重放单元包括呈现图像没有根据时间而改变的第一呈现模式和呈现图像根据时间而改变的第二呈现模式，作为对所述运动图像文件进行重放的模式，其中基于所述第一图像的第一运动图像是从所述运动图像文件中所选择的并且是以所述第一呈现模式呈现的，以及基于所述第二图像的第二运动图像是从所述运动图像文件中所选择的并且是以所述第二呈现模式呈现的。
根据本发明的又一方面，提供一种重放方法，用于重放利用摄像装置所拍摄到的运动图像文件，所述摄像装置用于获取基于在第一累积时间内所生成的信号电荷的第一图像以及基于在比所述第一累积时间相对更长的第二累积时间内所生成的信号电荷的第二图像，其中所述第二图像是在包括所述第一累积时间的同步时间段内与所述第一图像同步地记录的，所述重放方法包括以下步骤：根据呈现图像没有根据时间而改变的第一呈现模式下的重放指示，来从所述运动图像文件中选择并呈现基于所述第一图像的第一运动图像；以及根据呈现图像根据时间而改变的第二呈现模式下的重放指示，来从所述运动图像文件中选择并呈现基于所述第二图像的第二运动图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1a和图1b是根据本发明的第一实施例的摄像装置的外观图。
图2是示出根据本发明的第一实施例的摄像装置的示意结构的框图。
图3是示出根据本发明的第一实施例的摄像装置的摄像元件的结构示例的框图。
图4是示出根据本发明的第一实施例的摄像装置中的摄像元件的内部结构的截面图。
图5是示出入射到像素上的光束的角度和来自光电二极管的输出之间的关系的图。
图6a和图6b是示出根据本发明的第一实施例的摄像装置中的拍摄光学系统和摄像元件之间的关系的图。
图7a、图7b和图7c是用于说明从摄像元件输出的图像信号的示意图。
图8是示出根据本发明的第一实施例的摄像装置的摄像元件的各像素的结构示例的电路图。
图9和图10是示出根据本发明的第一实施例的摄像装置的摄像元件的各像素的主要部分的平面布局图。
图11是示出根据本发明的第一实施例的摄像装置的摄像元件的读出电路的结构示例的电路图。
图12是示出摄像元件的驱动序列的时序图。
图13是示出光电二极管中的信号电荷的时间变化的图。
图14a、图14b和图14c是沿着图9的a-b线所截取的像素的电位图。
图15是示出摄像元件内部的光的传播和通过光电转换所生成的电荷的行为的截面图。
图16是用于说明根据本发明的第一实施例的摄像装置中的摄像序列的时序图。
图17是示出添加至运动图像数据的各帧的时间码值的示例的图。
图18是示出“图片a”和“图片b”的文件结构的示例的图。
图19是用于说明“图片a”和“图片b”的拍摄条件设置画面的图。
图20是示出“图片a”和“图片b”的iso感光度范围之间的关系的图。
图21是根据本发明的第一实施例的摄像装置的双图像模式中的程序ae图。
图22是用于沿着摄像序列说明“图片a”和“图片b”之间的快门速度差异的图。
图23是示出在接通摄像装置的电源之后的实时取景显示期间的显示单元的状态的图。
图24a和图24b是示出通过对开关sw和开关mv进行操作所获取到的图像帧中的一个帧的图。
图25是示出包括串扰校正的一系列处理过程步骤的流程图。
图26是用于说明数字信号处理单元中所进行的串扰校正处理的图。
图27是示出串扰校正功能的具体示例的图。
图28是示出经过串扰校正之后的图像的示例的图。
图29是示出将“图片a”和“图片b”相互挨着显示在显示单元上的状态的图。
图30是用于说明根据本发明的第一实施例的图像重放方法的图。
图31a、图31b、图31c、图31d和图31e是用于说明用于存储“图片a”和“图片b”的文件格式的图。
图32是示出根据本发明的第三实施例的摄像装置的摄像元件的像素的结构示例的图。
图33是根据本发明的第三实施例的摄像装置的双图像模式中的程序ae图。
图34是示出根据本发明的第三实施例的摄像装置的驱动方法的流程图。
图35是用于说明第一运动图像/静止图像拍摄模式中的摄像元件的驱动方法的图。
图36是示出第一运动图像/静止图像拍摄模式中的摄像元件的驱动序列的时序图。
图37是用于说明第二运动图像/静止图像拍摄模式中的摄像元件的驱动方法的图。
图38是示出第二运动图像/静止图像拍摄模式中的摄像元件的驱动序列的时序图。
具体实施方式
现在将根据附图来详细说明本发明的优选实施例。
第一实施例
将参考图1a～图30来说明根据本发明的第一实施例的摄像装置。在本实施例中，将通过采用包括摄像所用的摄像元件和拍摄光学系统等以及图像重放装置的摄像装置作为本发明的优选实施例的示例，来进行说明。注意，图像重放装置不要求一定是摄像装置的一部分，并且可以是以与摄像元件和拍摄光学系统的硬件不同的硬件配置成的。此外，图像重放装置的功能的全部或一部分可以包括在摄像元件中。
图1a和图1b是作为根据本实施例的摄像装置的示例的数字静态运动照相机的外观图。图1a示出正视图并且图1b示出背视图。
根据本实施例的摄像装置100包括壳体151、壳体151的正面部所设置的拍摄光学系统152、以及壳体151的顶面所设置的开关st154和螺旋桨162。摄像装置100在壳体151的背面侧还包括显示单元153、开关mv155、拍摄模式选择杆156、菜单按钮157、上开关158和下开关159、拨盘160以及重放按钮161。
壳体151是用于容纳构成摄像装置100的诸如摄像元件和快门等的各种功能部的容器。拍摄光学系统152是用于形成被摄体的光学图像的光学系统。显示单元153被配置为包括用于显示拍摄信息和图像的显示器。在显示单元153中设置可动机构以根据需要使画面形成角度。显示单元153具有如下的显示亮度范围，其中该显示亮度范围能够在不会抑制图像的亮度范围的情况下显示动态范围宽的图像。开关st154是主要用于拍摄静止图像的快门按钮。开关mv155是用于开始或停止运动图像拍摄的按钮。拍摄模式选择杆156是用于选择拍摄模式的选择开关。菜单按钮157是用以转变为用于设置摄像装置100的功能的功能设置模式的按钮。上开关158和下开关159是用于改变各种设置值的按钮。拨盘160是用于改变各种设置值的拨盘。重放按钮161是用以转变为用于在显示单元153上重放摄像装置100内容纳的记录介质上所记录的图像的重放模式的按钮。螺旋桨162用于使摄像装置100浮在空中以从空中拍摄图像。
图2是示出根据本实施例的摄像装置100的示意结构的框图。如图2所示，摄像装置100包括光圈181、光圈控制单元182、光学滤波器183、摄像元件184、模拟前端185、186、数字信号处理单元187、188和时序发生单元189。摄像装置100还包括系统控制cpu178、开关输入单元179、图像存储器190和飞行控制器200。此外，摄像装置100还包括显示接口单元191、记录接口单元192、记录介质193、打印接口单元194、外部接口单元196和无线接口单元198。
摄像元件184用于将经由拍摄光学系统152所形成的被摄体的光学图像转换成电气图像信号。尽管没有特别限制，但摄像元件184包括足以满足诸如uhdtv(超高清电视)标准等的标准的像素数、信号读出速率、色域和动态范围。光圈181用于调节通过拍摄光学系统152的光量。光圈控制单元182是被配置为控制光圈181的电路或处理器。光学滤波器183用于限制入射到摄像元件184上的光的波长和要传递至摄像元件184的空间频率。拍摄光学系统152、光圈181、光学滤波器183和摄像元件184配置在拍摄光学系统152的光轴180上。
模拟前端185、186是被配置为进行从摄像元件184输出的图像信号的模拟信号处理和模数转换处理的电路或处理器。模拟前端185、186各自例如包括用于去除噪声的相关双采样(cds)电路、用于调整信号增益的放大器和用于将模拟信号转换成数字信号的a/d转换器等。数字信号处理单元187、188用于在对从模拟前端185、186输出的数字图像数据进行各种校正之后、对图像数据进行压缩。数字信号处理单元187、188所进行的校正包括后面要说明的串扰校正。时序发生单元189是被配置为向摄像元件184、模拟前端185、186和数字信号处理单元187、188输出各种定时信号的电路或处理器。系统控制cpu178是用于执行各种操作并进行摄像装置100的整体控制的控制单元。图像存储器190用于暂时存储图像数据。
显示接口单元191是系统控制cpu178和显示单元153之间的用以将所拍摄到的图像显示在显示单元153中的接口。记录介质193是摄像装置100中可以配备的或者可以移除的用以记录图像数据和附加数据等的诸如半导体存储器等的记录介质。记录接口单元192是系统控制cpu178和记录介质193之间的用以在记录介质193上进行记录或者从记录介质193进行读取的接口。外部接口单元196是系统控制cpu178和外部装置之间的用以与诸如外部计算机197等的外部装置进行通信的接口。打印接口单元194是系统控制cpu178和打印机195之间的用以将所拍摄到的图像输出至诸如小型喷墨打印机等的打印机195以打印所拍摄到的图像的接口。无线接口单元198是系统控制cpu178和诸如因特网等的网络199之间的用以与网络199进行通信的接口。开关输入单元179包括诸如开关st154和开关mv155等的用以对各种模式进行切换的多个开关。飞行控制器200是用以控制螺旋桨162以使摄像装置100飞行从而从空中进行拍摄的控制器。
在如本实施例所述的摄像装置100那样的包括图像重放装置的摄像装置中，可以使用显示单元153或外部监视器来重放所拍摄到的图像数据。在图像数据的重放期间，从记录介质193读出图像数据和附加数据。根据来自系统控制cpu178的指示来在数字信号处理单元187、188中对所读出的数据进行解调制，以将该数据作为图像经由显示接口单元191呈现在显示单元153中。用户可以对摄像装置100的背面侧所设置的操作部(菜单按钮157、上开关158和下开关159以及拨盘160等)进行操作以控制重放期间的操作。用户操作包括运动图像的重放、停止和暂停。
图3是示出摄像元件184的结构示例的框图。如图3所示，像素元件184包括像素阵列302、垂直扫描电路307、读出电路308a、308b和时序控制电路309a、309b。
在像素阵列302中，多个像素303配置成矩阵的形状。尽管属于像素阵列302的像素303的实际数量通常极大，但这里，为了简化附图，仅示出配置成4×4矩阵的16个像素303。多个像素303各自包括像素元件303a和像素元件303b的对。在图3中，像素303的上半区域是像素元件303a，并且像素303的下半区域是像素元件303b。像素元件303a和像素元件303b分别通过光电转换来生成信号。
在像素阵列302的各列中分别设置沿列方向延伸的信号输出线304a、304b。各列中的信号输出线304a连接至属于该列的像素元件303a。来自像素元件303a的信号被输出至信号输出线304a。各列中的信号输出线304b连接至属于该列的像素元件303b。来自像素元件303b的信号被输出至信号输出线304b。此外，在像素阵列302的各列中，分别设置沿列方向延伸的电源线305和接地线306。各列中的电源线305和接地线306连接至属于该列的像素303。电源线305和接地线306还可以是沿行方向延伸的信号线。
垂直扫描电路307是以在行方向邻接像素阵列302的方式配置的。垂直扫描电路307经由被配置为沿行方向延伸的未示出的控制线以行为单位向像素阵列302的多个像素303输出预定控制信号，以控制像素303中的读出电路。在图3中，示出复位脉冲
读出电路308a、308b被配置成以使像素302夹在中间的方式在列方向上邻接于像素阵列302。读出电路308a连接至各列中的信号输出线304a。读出电路308a选择性地顺次激活各列中的信号输出线304a，以顺次从各列中的信号输出线304a读出信号并进行预定信号处理。同样，读出电路308b连接至各列中的信号输出线304b。读出电路308b选择性地顺次激活各列中的信号输出线304b，以顺次从各列中的信号输出线304b读出信号并进行预定信号处理。读出电路308a、308b各自分别可以包括噪声消除电路、放大器电路、模/数转换电路和水平扫描电路，以顺次输出经过预定信号处理之后的信号。
时序控制电路309a连接至垂直扫描电路307和读出电路308a。时序控制电路309a输出用以控制垂直扫描电路307和读出电路308a的驱动定时的控制信号。时序控制电路309b连接至垂直扫描电路307和读出电路308b。时序控制电路309b输出用以控制垂直扫描电路307和读出电路308b的驱动定时的控制信号。
图4是示出摄像元件184的各像素303的内部结构的截面图。如图4所示，各像素303包括两个光电二极管310a、310b、光导255和滤色器256。光电二极管310a构成像素元件303a的一部分，并且光电二极管310b构成像素元件303b的一部分。光电二极管310a、310b设置在硅基板251中。光导255设置在硅基板251上所设置的绝缘层254中。绝缘层254例如由二氧化硅制成，并且光导255由诸如氮化硅等的与绝缘层254相比具有更高折射率的材料制成。在相邻的光导255之间的绝缘层254中，设置互连层252。在光导255上设置具有预定光谱透过率特性的滤色器256。注意，图4示出邻接的两个像素303的滤色器是具有彼此不同的光谱透过率特性的滤色器256、257的示例。
光导255由于与绝缘层254存在折射率差因而具有将光限制在内部的性质。这样使得光导255能够将经由滤色器256入射的光引导至光电二极管310a、310b。光电二极管310a、310b相对于光导255非对称配置，并且经由光导255传播的光束以相对较高的效率入射到光电二极管310a，并且以相对较低的效率入射到光电二极管310b。此外，可以调节光导255的深度和倾斜角度，以防止在光电二极管310a、310b能够有效地进行光电转换的入射光束的入射角特性方面出现不均匀。
图5是示出入射到像素上的光束的角度和来自光电二极管的输出之间的关系的图。在图5中，横轴表示入射到像素上的光束的角度，并且纵轴表示来自光电二极管的输出。在图5中，示出来自光电二极管310a的输出特性261和来自光电二极管310b的输出特性262。
如图5所示，特性261和特性262这两者都展现出相对于峰呈对称的缓和山状形状，其中在各峰处，特性261和特性262各自的光束的入射角是0。特性262的峰强度pb是特性261的峰强度pa的约1/8。这意味着光电二极管310a、310b对入射角的依赖性都小，并且光电二极管310b的受光效率是光电二极管310a的受光效率的1/8。换句话说，在利用iso感光度的设置值来替换光电二极管310b的感光度的情况下，光电二极管310b的感光度与光电二极管310a的感光度相比变低了三级。
接着，将参考图6a和图6b来更具体地说明拍摄光学系统152和摄像元件184之间的关系。图6a和图6b是用于说明拍摄光学系统152和摄像元件184之间的关系的图。图6a是在从沿着光轴180的方向观看拍摄光学系统152的情况下的图。图6b是更具体地示出从图2的拍摄光学系统152起直到摄像元件184为止的部分的图。
如图6b所示，假定摄像元件184包括位于摄像区域的中央部的像素276和位于摄像区域的外缘附近的像素277。在这种情况下，像素276可以接收来自光束272和光束273所包围的区域的光束。像素277可以接收来自光束274和光束275所包围的区域的光束。在这种情形下，由于在光学滤波器183和拍摄光学系统152之间配置场透镜270，因此如图6a的区域271所示，在拍摄光学系统152附近，像素276所接收到的光束和像素277所接收到的光束重叠。结果，这两个像素可以以高效率接收从拍摄光学系统152发出的光束。
图7a～图7c是用于说明从摄像元件输出的图像信号的示意图。这里假定在图7a所示的滤色器阵列281的布局中，在像素阵列302上配置具有预定光学透过率特性的滤色器。图7a示意性示出像素303配置成6行×8列的矩阵的像素阵列302以及配置在各个像素上的滤色器的颜色。在图7a中，r表示红色滤色器，g1和g2表示绿色滤色器，并且b表示蓝色滤色器。图示的滤色器阵列281是各个颜色的滤色器在各行中如g1bg1b...、rg2rg2...、g1bg1b...、等那样重复配置的滤色器阵列(所谓的拜尔阵列)。
从具有这种滤色器阵列281的像素阵列302中获得图7b和图7c所示的输出数据282、283。在图7b中，g1a和g2a表示来自配置有绿色滤色器的像素303的像素元件303a的输出。ba表示来自配置有蓝色滤色器的像素303的像素元件303a的输出。ra表示来自配置有红色滤色器的像素303的像素元件303a的输出。在图7c中，g1b和g2b表示来自配置有绿色滤色器的像素303的像素元件303b的输出。bb表示来自配置有蓝色滤色器的像素303的像素元件303b的输出。rb表示来自配置有红色滤色器的像素303的像素元件303b的输出。
如参考图3所述，可以从摄像元件184中获得来自读出电路308a、308b的两种输出。一种输出是图7b所示的输出数据282，并且另一种输出是图7c所示的输出数据283。对输出数据282进行预定信号处理以生成图像信号“图片a”。对输出数据283进行预定信号处理以生成图像信号“图片b”。在以下说明中，将基于输出数据282的图像信号称为“图片a”，并且将基于输出数据283的图像信号称为“图片b”。尽管从准确意义上“图片a”和“图片b”是经过预定校正之后的图像信号，但为了例示的目的，校正之前或期间的图像信号也可被称为“图片a”和“图片b”。
图8是示出各像素303的结构示例的电路图。如上所述，像素303包括像素元件303a和像素元件303b。像素元件303a包括光电二极管310a、传送晶体管311a、浮动扩散区域313a、复位晶体管314a和放大器晶体管315a。像素元件303b包括光电二极管310b、传送晶体管311b、浮动扩散区域313b、复位晶体管314b和放大器晶体管315b。注意，光电二极管310a与图4所示的光电二极管310a相对应，并且光电二极管310b与图4所示的光电二极管310b相对应。
光电二极管310a的阳极连接至接地线306，并且光电二极管310a的阴极连接至传送晶体管311a的源极。传送晶体管311a的漏极连接至复位晶体管314a的源极和放大器晶体管315a的栅极。传送晶体管311a的漏极、复位晶体管314a的源极和放大器晶体管315a的栅极的连接节点构成了浮动扩散区域313a。复位晶体管314a的漏极和放大器晶体管315a的漏极连接至电源线305。构成像素信号输出部316a的放大器晶体管315a的源极连接至信号输出线304a。
同样，光电二极管310b的阳极连接至接地线306，并且光电二极管310b的阴极连接至传送晶体管311b的源极。传送晶体管311b的漏极连接至复位晶体管314b的源极和放大器晶体管315b的栅极。传送晶体管311b的漏极、复位晶体管314b的源极和放大器晶体管315b的漏极的连接节点构成了浮动扩散区域313b。复位晶体管314b的漏极和放大器晶体管315b的漏极连接至电源线305。构成像素信号输出部316b的放大器晶体管315b的源极连接至信号输出线304b。
各行中的像素303连接至从垂直扫描电路307起沿行方向配置的复位控制线319和传送控制线320a、320b。复位控制线319连接至复位晶体管314a的栅极和复位晶体管314b的栅极。传送控制线320a经由触点部312a连接至传送晶体管311a的栅极。传送控制线320b经由触点部312b连接至传送晶体管311b的栅极。复位控制线319将从垂直扫描电路307输出的复位脉冲
光电二极管310a是通过光电转换来生成电荷的第一光电转换单元，并且光电二极管310b是通过光电转换来生成电荷的第二光电转换单元。浮动扩散区域313a、313b是用以累积电荷的区域。传送晶体管311a将光电二极管310a所生成的电荷传送至浮动扩散区域313a。传送晶体管311b将光电二极管310b所生成的电荷传送至浮动扩散区域313b。
在从垂直扫描电路307输出高电平的传送脉冲
在从垂直扫描电路307输出低电平的传送脉冲
同样，在从垂直扫描电路307输出低电平的传送脉冲
图9和图10是示出各像素303的主要部分的平面布局图。在像素303的构成元件中，在图9中示出光电二极管310a、310b、传送晶体管311a、311b和浮动扩散区域313a、313b。包括复位晶体管314a、314b和放大器晶体管315a、315b的其它电路元件在图9中被示出为读出电路部321以省略详细说明。此外，省略了像素303的垂直方向上所配置的信号输出线304a、304b和电源线305，并且省略了复位控制线319、电源线305和接地线306的触点部。除图9所示的构成元件外，在图10中示出参考图4所述的光导255。在光导255中，阴影区域表示低折射率区域，并且空白区域表示高折射率区域、即导光区域。
在图9和图10中，触点部312a是用以使传送控制线320a与传送晶体管311a的栅极相连接的触点部。触点部312b是用以使传送控制线320b与传送晶体管311b的栅极相连接的触点部。光电二极管310a、310b各自是用于进行光电转换的光电转换单元，其具有第一传导型(例如，p型)半导体区域和用以与该第一传导型半导体区域形成p-n结的第二传导型(例如，n型)半导体区域(n型电子累积区域)。光电二极管310a的第二传导型半导体区域和光电二极管310b的第二传导型半导体区域利用分离部322而分离。
传送晶体管311a、311b、触点部312a、312b和传送控制线320a、320b分别被配置成相对于光电二极管310a、310b之间的分离部322呈线对称或大致线对称。另一方面，如图10所示，光导255配置在相对于分离部322发生偏离的位置。换句话说，光电二极管310a占据光导255的底部的面积中的大部分，而光电二极管310b与光导255的底部略微重叠。因此，光电二极管310a的受光效率相对较高，并且光电二极管310b的受光效率相对较低。
在根据本实施例的摄像元件184中，将光电二极管310a和310b之间的受光效率的比设置为约8:1，即将感光度的差设置为约三个级。然后，以不同的累积时间的设置来拍摄两个图像，以在各像素元件中获得近似相等的信号电荷。这样可以使这两个图像成为s/n比优良的无噪声图像，或者可以将这两个图像合成以获得高清晰度的hdr图像。后面将说明详情。
图11是示出摄像元件184的读出电路308a、308b的结构示例的电路图。在假定读出电路308a的情况下，向图11中的一些构成元件添加后缀“a”。应当理解，在读出电路308b中，将向相应的构成元件添加后缀“b”。
如图11所示，读出电路308a包括钳位电容器c0、反馈电容器cf、运算放大器406、基准电压源407和开关423。运算放大器406的一个输入端子经由钳位电容器c0连接至信号输出线304a。反馈电容器cf和开关423并联连接在运算放大器406的一个输入端子和输出端子之间。运算放大器的另一输入端子连接至基准电压源407。基准电压源407向运算放大器406供给基准电压vref。开关423是由信号pc0r进行控制的开关，以在信号pc0r处于高电平的情况下接通，从而使反馈电容器cf的两端发生短路。
读出电路308a还包括开关414、415、418和419、电容器ctsa、电容器ctna、水平输出线424、425和输出放大器421。开关414、415是控制像素信号向电容器ctsa和ctna的写入的开关。开关414是由信号ptsa进行控制的开关，以在信号ptsa处于高电平的情况下接通，从而使运算放大器406的输出端子和电容器ctsa相连接。开关415是由信号ptna进行控制的开关，以在信号ptna处于高电平的情况下接通，从而使运算放大器406的输出端子和电容器ctna相连接。
开关418、419是用以控制将电容器ctsa和ctna中所保持的像素信号输出至输出放大器421的开关。开关418、419响应于来自水平移位寄存器的控制信号而接通。因而，电容器ctsa中所写入的信号经由开关418和水平输出线424被输出至输出放大器421。电容器ctna中所写入的信号经由开关419和水平输出线425被输出至输出放大器421。信号pc0r、信号ptna和信号ptsa是在系统控制cpu178的控制下从时序发生单元189供给的信号。
读出电路308b还具有与读出电路308a的结构等同的结构。注意，以下说明中的信号ptnb和信号ptsb是在系统控制cpu178的控制从时序发生单元189供给的信号，从而具有与读出电路308a中的信号ptna和信号ptsa等同的功能。
接着，将参考图12的时序图，通过采用来自第一行中的像素303的读出操作作为示例来顺次说明摄像元件184中的复位、累积和读出操作。
首先，在时刻t1，垂直扫描电路307使输出至传送控制线320a、320b的传送脉冲
然后，在时刻t2，垂直扫描电路307使传送脉冲
然后，在时刻t3，垂直扫描电路307使传送脉冲
然后，在时刻t4，垂直扫描电路307使复位脉冲
因此，浮动扩散区域313a的电位被作为复位信号电平的像素信号经由放大器晶体管315a读出至信号输出线304a，并且被输入至读出电路308a。此外，浮动扩散区域313b的电位被作为复位信号电平的像素信号经由放大器晶体管315b读出至信号输出线304b，并且被输入至读出电路308b。
在时刻t4，由于从时序发生单元189向读出电路308a和读出电路308b输出高电平的信号pc0r，因此开关423处于接通状态。因此，在运算放大器406对基准电压vref的输出进行缓冲的状态下，来自像素元件303a的复位信号电平的像素信号被输入至读出电路308a。尽管没有示出，但来自像素元件303b的复位信号电平的像素信号也以相同方式被输入至读出电路308b。
然后，在时刻t5，从时序发生单元189输出至读出电路308a和读出电路308b的信号pc0r从高电平改变为低电平，以断开开关423。
然后，在时刻t6，从时序发生单元189输出至读出电路308a的信号ptna从低电平改变为高电平以接通开关415，使得此时运算放大器406的输出将被写入电容器ctna。同样，从时序发生单元189输出至读出电路308b的信号ptnb从低电平改变为高电平以接通开关415，使得此时运算放大器406的输出将被写入电容器ctnb。
然后，在时刻t7，从时序发生单元189输出至读出电路308a的信号ptna从高电平改变为低电平以断开开关415，从而完成向电容器ctna的写入。同样，从时序发生单元189输出至读出电路308b的信号ptnb从高电平改变为低电平以断开开关415，从而完成向电容器ctnb的写入。
然后，在时刻t8，垂直扫描电路307将传送脉冲
由于通过在时刻t8同时将传送脉冲
然后，在时刻t9，垂直扫描电路307将传送脉冲
因此，因信号电荷而发生改变的浮动扩散区域313a的电位被作为光学信号电平的像素信号经由放大器晶体管315a读出至信号输出线304a，并且被输入至读出电路308a。此外，因信号电荷而发生改变的浮动扩散区域313b的电位被作为光学信号电平的像素信号经由放大器晶体管315b读出至信号输出线304b，并且被输入至读出电路308b。
然后，在读出电路308a中，从运算放大器406输出以钳位电容器c0和反馈电容器cf之间的电容比率相对于电压变化发生了反转增益的电压。同样，在读出电路308b中，从运算放大器406输出以钳位电容器c0和反馈电容器cf之间的电容比率相对于电压变化发生了反转增益的电压。
然后，在时刻t10，从时序发生单元189向读出电路308a输出的信号ptsa从低电平改变为高电平以接通开关414，使得此时运算放大器406的输出将被写入电容器ctsa。同样，从时序发生单元189向读出电路308b输出的信号ptsb从低电平改变为高电平以接通开关414，使得此时运算放大器406的输出将被写入电容器ctsb。
然后，在时刻t11，从时序发生单元189向读出电路308a输出的信号ptsa从高电平改变为低电平以断开开关414，从而完成向电容器ctsa的写入。同样，从时序发生单元189向读出电路308b输出的信号ptsb从高电平改变为低电平以断开开关414，从而完成向电容器ctsb的写入。
然后，在时刻t12，垂直扫描电路307将复位脉冲
图13是示出光电二极管310a、310b中所累积的通过光电转换所生成的信号电荷的时间变化的图。在图13中，图的横轴表示时间并且纵轴表示信号电荷的量。在时间轴上，标记出图12所示的时刻t1～时刻t12。
在时刻t2，在传送脉冲
此外，在时刻t3，传送脉冲
在时刻t8，通过受光效率的差与累积时间的差抵消，光电二极管310b中所保持的信号电荷量lb和光电二极管310a中所保持的信号电荷量la变为大致相同的程度。
在传送脉冲
从光电二极管310a向光电二极管310b的串扰量ctab与通过以斜向右下的方式加阴影所表示的区域953的面积成比例。从光电二极管310b向光电二极管310a的串扰量ctba与通过以斜向左下的方式加阴影所表示的区域954的面积成比例。如果分别利用k和g来定义这些比例常数，则可以如下所述表示串扰量ctab和ctba。
ctab＝k×(la×tm1)/2...(1)
ctba＝g×(la+lbs)×tm1/2...(2)
lbs是时刻t3的光电二极管310b的信号电荷量。此外，尽管在图13中没有示出，但在时刻t2～时刻t3的时间段充分短于时间段tm1的情况下，可以实现lb＝lbs的近似。因此，可以如下所述修改等式(2)。
ctba＝g×lb×tm1...(3)
因而，根据等式(1)和等式(3)得出串扰量ctab是信号电荷量la与光电二极管310a的累积时间和光电二极管310b的累积时间之间的较短值(时间段tm1)的函数。还得出串扰量ctba是信号电荷量lb与光电二极管310a的累积时间和光电二极管310b的累积时间之间的较短值(时间段tm1)的函数。
图14a～图14c是沿着图9的a-b线所截取的像素303的电位图。图14a是图12的时刻ta的电位图，图14b是图12的时刻tb的电位图，并且图14c是图12的时刻tc的电位图。
如图14a所示，在时刻ta，传送晶体管311a、311b处于断开状态，并且信号累积电平323a、323b的信号电荷分别累积在光电二极管310a、310b中。如上所述，尽管光电二极管310a和光电二极管310b在受光效率方面不同，但通过受光效率的差与累积时间的差的抵消，信号累积电平323a、323b为大致相同的程度。由于该状态持续了相对较长的时间，因此光电二极管310a的累积电荷泄漏到邻接的光电二极管310b中的现象和光电二极管310b的累积电荷泄漏到邻接的光电二极管310a中的现象以不可忽略的程度发生。
如图14b所示，在时刻tb，传送晶体管311a、311b处于接通状态，并且传送晶体管311a、311b的势垒(potentialbarrier)低。因而，光电二极管310a中所累积的信号电荷被传送至浮动扩散区域313a，并且光电二极管310b中所累积的信号电荷被传送至浮动扩散区域313b。在这种情形下，尽管分离部322的势垒也低，但传送晶体管311a、311b的势垒足够低。因此，在该定时光电二极管310a、310b的累积电荷经由分离部322泄漏到相邻的光电二极管310b、310a中的现象几乎不会发生。
如图14c所示，在时刻tc，传送晶体管311a、311b处于断开状态，并且电位恢复为图14a所示的状态。
图15是示出摄像元件184的内部的光的传播和通过光电转换所生成的电荷的行为的截面图。在图15中，箭头451表示入射到像素303的光束。光束451首先入射到滤色器256，其中在该滤色器256中，预定波长成分被吸收，通过与绝缘层254的最上部相对应的界面钝化膜(未示出)，然后入射到光导255。如以上参考图5所述，光束的方位信息(即，光瞳信息)因光波的行为而在光导255内丢失。光束451在由于光导255和绝缘层254之间的折射率差而被限制在光导255内的同时，在硅基板251侧移动，并且到达光导255的底部。光导255的底部邻接硅基板251，并且从光导255发出的光束入射到硅基板251。硅基板251内以彼此相邻的方式设置的光电二极管310a和光电二极管310b被配置成相对于光导255大幅偏心。因此，作为从光导255发出的大部分光束的光束452入射到光电二极管310a，并且作为从光导255发出的光束中的其余部分的光束453入射到光电二极管310b。在光电二极管310a、310b中，入射的光子被转换成信号电荷。
在这种情形下，摄像元件184的硅基板251内部所产生的信号电荷可能通过扩散泄漏到邻接的像素元件中。例如，光电二极管310a中所产生的信号电荷454通过扩散泄漏到光电二极管310b中。此外，光电二极管310b中所产生的信号电荷455通过扩散泄漏到光电二极管310a中。该现象对图像产生不利影响，从而导致在图像中产生模糊。
图16是用于说明根据本实施例的摄像装置中的摄像序列的时序图。该图顶部的术语“时间码”表示电源启动之后的时间，并且“00:00:00:00”表示“时:分:秒:帧”。
时刻t31是摄像装置100的电源启动时刻。
在时刻t32，作为运动图像拍摄按钮的开关mv155由用户进行操作以接通，从而响应于此开始“图片b”的摄像和“图片a”的摄像。响应于对作为用以拍摄运动图像的按钮的开关mv155进行操作，“图片b”的图像数据在经过预定信号处理之后被写入记录介质193上。
用于与“图片b”的摄像同时进行“图片a”的摄像的原因是后面要说明的串扰校正始终有效。由于除非图13所示的传送脉冲
在时刻t33～时刻t34的时间段和时刻t35～时刻t36的时间段内，对拍摄静止图像所使用的开关st154进行操作。因此，在这些时间段内，“图片a”的图像数据也在经过预定信号处理之后被写入记录介质193上。除时刻t33～时刻t34的时间段和时刻t35～时刻t36的时间段外，“图片a”的图像数据还可以在与“图片b”的图像数据的时间段相同的时间段内被写入记录介质193上。
在“图片a”和“图片b”这两者中，假定记录介质193上所记录的各图像数据是同一帧频(例如，60fps)的运动图像，并且添加ntsc时间码。例如，添加至运动图像数据的各帧的时间码值如图17所示。
图18是示出“图片a”和“图片b”的图像数据的文件结构的示例的图。尽管这里示出mp4文件的示例作为图像数据的格式，但图像数据的格式不限于此。在iso/iec14496-1/amd6中对mp4文格式进行了标准化。所有信息存储在被称为box的构造体中，并且包括多路复用后的视频和音频位流(媒体数据)以及与这些媒体数据有关的管理信息(元数据)。利用由四个字母构成的标识符来分别表示各box的框类型。文件类型box501(ftyp)位于作为box的文件的开头以标识文件。在媒体数据box502(mdat)中，对视频和音频位流进行多路复用并进行存储。在动画box503(moov)中，存储用于重放媒体数据box502中所存储的存储位流的管理信息。跳过box504(skip)是用以在重放期间跳过该跳过box504中所存储的数据的box。
在跳过box504中，存储包括该图像数据文件的剪辑的剪辑名称508和分配至素材的剪辑umid(uniquematerialidentifier，唯一素材标识符)509(clip-umid)。在跳过box504中还存储剪辑开头帧的时间码值(时间码开头值)510和记录有素材文件的记录介质的序列号511。在图18中，在跳过box504中还包含自由空间505、用户数据506和元数据507。由于将诸如素材文件的umid和记录介质的序列号等的特殊数据存储在跳过box中，因此这些数据在重放期间并未对通用查看器产生影响。
针对“图片a”和“图片b”的各个mp4文件设置相同的clip-umid。这样使得能够使用clip-umid来从一个素材文件中搜索具有相同的clip-umid的文件，以在无需任何人的确认作业的情况下使这两个文件以机械方式相关联。
图19是用于说明“图片a”和“图片b”的拍摄条件设置画面的图。假定拍摄模式选择杆156例如从图1b的位置起顺时针地转动了90度以进入能够同时拍摄两个图像的双图像模式。在显示单元153上显示与此时被摄体的亮度相对应的bv值521、f值522、以及“图片a”和“图片b”的各个iso感光度523、524和快门速度525、526。此外，分别显示当前针对“图片a”和“图片b”所设置的图片模式527、528。可以使用上开关158和下开关159以及拨盘160来从多个选项中选择适合拍摄目的的图片模式。
如上所述，将光电二极管310a和光电二极管310b之间的受光效率的差设置为三级差。因此，在“图片a”和“图片b”之间的iso感光度范围中存在三级差。如图20所示，“图片a”的iso感光度范围为iso100～iso102400，并且“图片b”的iso感光度范围为iso12～iso12800。
图21是双图像模式中的程序ae(自动曝光)图。横轴表示tv值和相应的快门速度，并且纵轴表示av值和相应的光圈值。此外，斜线方向是等bv线。在增益标记区域556中表示“图片a”的bv值和iso感光度之间的关系，并且在增益标记区域557中表示“图片b”的bv值和iso感光度之间的关系。在图21中，将各bv值表示为矩形所包围的数值，以区分于其它参数。
参考图21，以下将说明快门速度、光圈值和iso感光度根据从高亮度向低亮度的变化而如何改变。
首先，在bv值是13的情况下，将“图片a”的iso感光度设置为iso100。“图片a”的等bv线与“图片a”的程序图558在点551处相交，并且根据点551判断为快门速度是1/4000秒且光圈值是f11。另一方面，将“图片b”的iso感光度设置为iso12。“图片b”的等bv线与“图片b”的程序图559在点552处相交，并且根据点552判断为快门速度是1/500秒且光圈值是f11。
在bv值是10的情况下，“图片a”的iso感光度增加了一级并且被设置为iso200。“图片a”的等bv线与“图片a”的程序图558在点553处相交，并且根据点553判断为快门速度是1/1000秒且光圈值是f11。另一方面，将“图片b”的iso感光度设置为iso12。“图片b”的等bv线与“图片b”的程序图559在点560处相交，并且根据点560判断为快门速度是1/60秒且光圈值是f11。
在bv值是6的情况下，将“图片a”的iso感光度设置为iso200。“图片a”的等bv线与“图片a”的程序图558在点554处相交，并且根据点554判断为快门速度是1/1000秒且光圈值是f2.8。另一方面，将“图片b”的iso感光度设置为iso12。“图片b”的等bv线与“图片b”的程序图559在点555处相交，并且根据点555判断为快门速度是1/60秒且光圈值是f2.8。
在bv值是5的情况下，“图片a”的iso感光度增加了一级并且被设置为iso400。“图片a”的等bv线与“图片a”的程序图558在点554处相交，并且根据点554判断为快门速度是1/1000秒且光圈值是f2.8。另一方面，将“图片b”的iso感光度设置为iso25。“图片b”的等bv线与“图片b”的程序图559在点555处相交，并且根据点555判断为快门速度是1/60秒且光圈值是f2.8。
之后，随着亮度的降低，进行增益上升(gain-up)，以在无需改变“图片a”和“图片b”这两者的快门速度和光圈值的情况下使iso感光度上升。
进行该程序ae图所示的曝光操作，使得“图片a”在所标记的整个亮度范围内将保持1/1000秒或更快的快门速度，并且“图片b”在大部分的亮度范围内将保持1/60秒的快门速度。因而，可以在“图片a”中实现定格效果的同时、在“图片b”中获得图像跳跃较少的高清晰度运动图像。
图22是用于沿着摄像序列说明“图片a”和“图片b”之间的快门速度差的图。在图22中，横轴用时间表示，以示出v同步信号481、“图片a”的累积时间段482、483和“图片b”的累积时间段484、485，其中n表示帧编号。
累积时间段482是“图片a”的画面上端线的累积时间段，并且累积时间段483是“图片a”的画面下端线的累积时间段。由于摄像元件184利用卷帘电子快门的功能进行曝光操作，因此累积从画面上端线向着画面下端线按预定时间间隔顺次开始，并且累积按这些时间间隔顺次结束。在累积完成的情况下，从摄像元件184顺次读出信号电荷，并且将该信号电荷输入至模拟前端185。时刻t53～时刻t54的时间段是累积时间段482，并且时刻t55～时刻t56的时间段是累积时间段483。
此外，累积时间段484是“图片b”的画面上端线的累积时间段，并且累积时间段485是“图片b”的画面下端线的累积时间段。与“图片a”相同，“图片b”中的累积也从画面上端线向着画面下端线按预定时间间隔开始，并且该累积按这些时间间隔顺次结束。在累积完成的情况下，从摄像元件184顺次读出信号电荷，并且将该信号电荷输入至模拟前端186。时刻t51～时刻t54的时间段是累积时间段484，并且时刻t52～时刻t56的时间段是累积时间段485。
尽管按不同的累积时间设置来拍摄“图片a”和“图片b”这两个图像，但在摄像元件184中获得了相同程度的信号电荷，而不是对“图片a”进行增益上升。因此，“图片a”和“图片b”这两者变为s/n比优良的无噪声图像。
图23是示出在接通摄像元件184的电源之后的实时取景显示期间的显示单元153的状态的图。将经由拍摄光学系统152所拍摄到的人物163的运动场景显示在显示单元153上。此外，由于拍摄模式选择杆156放置于从图1b的状态起顺时针地转动了90度的位置，因此显示双图像模式中的“图片a”和“图片b”的快门速度491、492以及f值493。
图24a和图24b示出通过对开关st154和开关mv155进行操作所分别获取到的图像帧中的一个帧。图24a是利用1/1000秒的快门速度和f4.0的光圈值所拍摄到的“图片a”的图像。图24b是利用1/60秒的快门速度和f4.0的光圈值所拍摄到的“图片b”的图像。图24b所示的图像由于被摄体的运动没有停止这样一种慢的快门速度而变模糊。然而，如果将该图像作为帧频约为60fps的运动图像进行重放，则该模糊将相当良好地起作用，这样得到图像跳跃较少的平滑高清晰度图像。另一方面，由于快门速度快，因此假定在图24a所示的图像中看到定格效果。然而，如先前参考图15所述，硅基板内部产生的信号电荷通过扩散泄漏到邻接的像素元件中，使得产生仿佛添加了图24b所示的图像一样的模糊图像。该串扰现象在图24b所示的图像中也发生，但由于该图像原本模糊，因此该串扰现象几乎不引人注意。
因此，在根据本实施例的摄像装置中，将以下要说明的串扰校正应用于从摄像元件184输出的图像信号，从而获得快的快门速度所引起的原始定格效果。
图25是示出包括串扰校正的一系列处理过程步骤的流程图。例如，在图25所示的步骤s151～s155中进行根据本实施例的摄像装置100中的从摄像起直到记录为止的处理。
在步骤s151中，响应于如参考图16所述的在时刻t32对开关mv155进行操作，根据参考图12所述的序列来进行信号电荷的累积和信号电荷向光电二极管310a、310b的读出。
在步骤s152中，将从摄像元件184读出的信号输入至模拟前端185、186，其中在模拟前端185、186中，对模拟信号进行数字化。
在步骤s153中，进行用以降低由于硅基板内部所产生的信号电荷泄漏到邻接的像素元件中所引起的串扰的校正(串扰校正)。在数字信号处理单元187、188中进行串扰校正。换句话说，数字信号处理单元187、188用作串扰校正单元。
在步骤s154中，进行显像处理并且根据需要进行压缩处理。在显像处理中，作为一系列处理步骤其中之一，进行伽玛校正。伽玛校正是用于向输入光量分布应用伽玛函数的处理。结果，无法保持输出相对于输入光量分布的线性，并且串扰比也根据此时的光量而改变。因此，如图25所示，期望在步骤s154之前的阶段进行串扰校正。在显像之后进行串扰校正的情况下，串扰处理可能根据光量的大小而改变，或者可以在对图像信号进行逆伽玛校正之后进行串扰校正。
在步骤s155中，将图像记录在记录介质193上。代替记录在记录介质193上或除记录在记录介质193上外，还可以将图像经由无线接口198记录在网络199上的存储装置中。
图26是用于说明步骤s153中数字信号处理单元187、188所进行的串扰校正处理的图。将实际处理作为数字信号处理来进行。
在数字信号处理单元187中，将经过a/d转换处理之后的信号471a输入至串扰量校正部473a，并且经由串扰量计算部472a进一步输入至串扰量校正部473b。同样，在数字信号处理单元188中，将经过a/d转换处理之后的信号471b输入至串扰量校正部473b，并且经由串扰量计算部472b进一步输入至串扰量校正部473a。
在串扰量校正部473a中，基于信号471a和在串扰量计算部472b中利用串扰校正函数gij(n)进行预定计算之后的信号471b来对信号471a进行串扰校正，以获得输出信号474a。对输出信号474a进行作为数字信号处理单元187中的后续处理步骤的显像和/或压缩处理。
在串扰量校正部473b中，基于信号471b和在串扰量计算部472a中利用串扰校正函数fij(n)进行预定计算之后的信号471a来对信号471b进行串扰校正，以获得输出信号474b。对输出信号474b进行作为数字信号处理单元188中的后续处理步骤的显像和/或压缩处理。
由于串扰依赖于所生成的信号电荷的量，因此串扰量校正部473a、473b可以以利用与一个像素元件中所生成的信号电荷量相对应的串扰量来校正另一个像素元件的输出信号的方式来进行串扰校正。这样可以从该另一个像素元件的输出信号中去除叠加在该输出信号上的来自该一个像素元件的串扰成分。
这里，将“图片a”的第n个帧的像素地址ij处的数据表示为data_aij(n)，将“图片b”的第n个帧的像素地址ij处的数据表示为data_bij(n)，并且将校正系数表示为α。由于串扰依赖于输入光量，因此可以将“图片a”的第n个帧的像素地址ij处的校正后的数据c_data_aij(n)表示为等式(4)。
c_data_aij(n)＝data_aij(n)–α×data_bij(n)...(4)
在串扰校正函数fij(n)为fij(n)＝-α×data_bij(n)的情况下，可以如下所述表示等式(4)。
c_data_aij(n)＝data_aij(n)+fij(n)
同样，在将校正系数表示为β的情况下，可以将“图片b”的第n个帧的像素地址ij处的校正后的数据c_data_bij(n)表示为等式(5)。
c_data_bij(n)＝data_bij(n)–β×data_aij(n)...(5)
在串扰校正函数gij(n)为gij(n)＝-β×data_aij(n)的情况下，可以如下所述表示等式(5)。
c_data_bij(n)＝data_bij(n)+gij(n)...(6)
如上所述，尽管在“图片b”中也发生串扰，但由于该串扰因图像原本模糊而几乎不引人注意，因此可以省略等式(5)和等式(6)所示的处理。如果对累积时间相对较短的图像进行串扰校正、而无需对累积时间相对较长的图像进行串扰校正，则可以减轻计算负荷。
图27是示出串扰校正函数fij(n)、gij(n)的具体示例的图。在图27中，横轴表示输入数据的大小，并且纵轴表示要校正的串扰校正量。串扰校正函数fij(n)、gij(n)这两者分别是用以获得与输入数据成比例的串扰校正量的函数。尽管从准确意义上这两个函数根据像素结构而不同，但校正系数α和校正系数β是近似相等的数值。然而，根据各像素元件上的光的入射角而在硅基板内部产生的信号电荷通过扩散而向邻接的像素元件泄漏的程度不同。因此，光圈181为了增大f值而开放的程度越大，串扰越大，因而串扰校正量的绝对值越大。另一方面，光圈181为了减小f值而缩小的程度越大，串扰越小，因而串扰校正量的绝对值越小。在图27中，特性591是f2.8时的串扰校正函数，特性592是f5.6时的串扰校正函数，并且特性593是f11时的串扰校正函数。特性591、特性592和特性593的斜率按该顺序依次变小。注意，拍摄光学系统152的f值可以连续地改变。因此，如果将校正系数α和校正系数β设置为f值函数，则可以实现更精确的串扰校正。
此外，如先前参考图13所述，可以将校正系数α和校正系数β设置为被设置成相对较短的“图片a”所用的光电二极管的累积时间的函数。
串扰校正量还可以根据像高而改变，以实现更精确的串扰校正。由于在光倾斜地入射到光导255的情况下串扰增加，因此可以基于像素地址ij来计算从光轴180到各像素的距离zk以应用串扰校正，从而使绝对值与距离zk成比例地增加。此外，由于向光导255的光的入射角的变化也依赖于拍摄光学系统152的出射光瞳和摄像元件184之间的距离hk，因此可以将串扰校正函数设置为距离hk的函数以进行更精确的校正。
图28是在对以1/1000秒的快门速度和f4.0的光圈值所拍摄到的“图片a”的图像(图24a)进行串扰校正之后的“图片a”的图像。在图24a的图像中，硅基板内部所产生的信号电荷通过扩散泄漏到邻接的像素元件中，使得产生仿佛添加了图24b所示的图像一样的模糊图像。另一方面，在图28的图像中，实现了快的快门速度所引起的原始定格效果。在数字静态运动照相机的显示单元153上，例如，期望在对重放按钮161进行操作时能够如图29所示并排或上下显示“图片a”496和“图片b”497这两者。因而，可以比较这些图像以确认定格效果的程度。还可以以经由网络向系统或设备供给图像数据以使该系统或设备的计算机读取并执行程序的方式，来进行该处理。
图30是用于说明针对包括存储器中所存储的“图片a”和“图片b”的数据文件的图像重放装置中的重放方法的图。作为图像重放装置，除本实施例所述的摄像装置100中所包括的图像重放装置外，还可以使用平板终端、个人计算机或tv监视器等。在诸如平板终端、个人计算机或tv监视器等的装置中设置用以重放如mp4文件那样的运动图像文件的组件(诸如cpu、解调制单元和显示单元等)，以用作图像重放装置。在本实施例的摄像装置100中，作为图像重放单元的功能主要由系统控制cpu178来实现。
这里，假定将“图片a”和“图片b”的数据文件存储在网络上的存储器中。在图30中，帧群581是mp4文件中所存储的“图片a”的帧群，并且帧群571是另一mp4文件中所存储的“图片b”的帧群。在拍摄时，针对这些mp4文件设置相同的clip-umid以使这些mp4文件相关联。
在开始运动图像的重放的情况下，从“图片b”的帧群571的开头帧572起按预定帧频顺次重放帧。由于“图片b”是以快门速度没有过快的设置(在该示例中为1/60秒)拍摄到的，因此所重放的图像是图像跳跃较少的高清晰度图像。在本说明书中，可以将针对以比拍摄时的帧频高的帧频重放运动图像时的运动图像文件的重放模式表示为用以使呈现图像根据时间而改变的呈现模式。
这里，假定在正呈现“图片b”的运动图像时，用户给出用以改变重放模式的指示。例如，在重放进展到帧573时用户暂停重放的情况下，从与“图片b”相关联的“图片a”的数据文件中自动检索到具有同一时间码的帧582，并且显示帧582。“图片a”是以可以容易地获得定格效果的快的快门速度(在本示例中为1/1000秒)所拍摄到的，即“图片a”是通过拍摄运动场景的瞬间所获得的扣人心弦的图像。尽管“图片a”和“图片b”这两个图像是以不同的累积时间设置所拍摄到的，但在摄像元件184中获得了相同程度的信号电荷，而不是对“图片a”进行增益上升。因此，“图片a”和“图片b”这两者变为s/n比优良的无噪声图像。
这里，在指示打印的情况下，将“图片a”的帧582的数据经由打印接口194输出至打印机195。因而，打印物也成为具有反映“图片a”的定格效果的扣人心弦的打印物。
在用户解除暂停的情况下，过程自动返回至“图片b”的帧群571以从帧574起再继续重放。此时，要重放的图像是图像跳跃较少的高清晰度图像。
在图30的示例中，尽管在暂停“图片b”的重放时帧呈现改变为“图片a”，但帧呈现可以在进行“图片b”的逐帧重放时改变为“图片a”。在本说明书中，针对暂停重放或进行逐帧重放的情况下的运动图像文件的重放模式还可被称为呈现图像没有根据时间而改变的呈现模式。此外，在重放被置于用以将帧频减小为特定帧频以下的模式以在逐帧连续确认图像的同时进行重放的情况下，可以将帧呈现改变为“图片a”。换句话说，在逐帧快进的速度充分慢于正常重放帧频(拍摄时的帧频)的情况下，与是否存在用以切换呈现模式的指示无关地，呈现“图片a”很方便。
上述的针对所重放的图像的效果的差异被认为是由用以使呈现图像根据时间而改变的呈现和呈现图像没有根据时间而改变的呈现(包括逐帧重放)之间在图像呈现方法方面的差异所引起的。换句话说，呈现方法根据与相反的要求中的哪个要求(针对图像跳跃较少的图像的要求或针对定格效果高的图像的要求)较为重要有关的呈现条件而改变。
在本实施例中，有鉴于摄像装置的图像获取特征，在用以使呈现图像根据时间而改变的呈现(运动图像呈现)中，呈现了基于来自累积时间相对较长的像素的信号的图像。另一方面，在呈现图像没有根据时间而改变的呈现(静止图像呈现)中，呈现了基于来自累积时间相对较短的像素的信号的图像。因而，可以提供与相反的要求相对应的图像、即图像跳跃较少的图像和定格效果高的图像。该效果非常有益。
本实施例所示的图像呈现方法可用于在使用单个摄像元件同时拍摄两个以上的图像并观看这两个图像时、提供适合运动图像/静止图像这两者的观看的图像。
因而，根据本实施例，可以获取到并重放适合运动图像和静止图像这两者的观看的图像。
第二实施例
将参考图31a～31e来说明根据本发明的第二实施例的摄像装置。向与图1a～图30所示的根据第一实施例的摄像装置的构成元件相同的构成元件赋予相同的附图标记，以省略或简化说明。
在第一实施例中，示出了用于考虑到与传统文件格式的互换性来生成两个以上的运动图像文件并且自动使这些运动图像文件相关联的方法。
在本实施例中，将说明另一优选的文件格式的示例和该示例中的“图片a”和“图片b”之间的关联。注意，用于获得“图片a”和“图片b”的摄像装置的结构与第一实施例的结构相同。
图31a是示出第一实施例所述的方法的示意图。图31b是示出本实施例要说明的方法的示意图。图31c、图31d和图31e是用于具体说明本实施例中的图像存储方法的图。
在第一实施例的方法中，如图31a所示，系统控制cpu178单独生成作为“图片a”的运动图像文件的文件6001和作为“图片b”的运动图像文件的文件6002。系统控制cpu178具有作为运动图像文件生成单元的功能。如第一实施例所述，文件6001和文件6002使用clip-umid相关联。换句话说，文件6001包含“图片a”的运动图像、以及用于使“图片a”的运动图像和“图片b”的运动图像逐帧同步的同步信息。文件6002包含“图片b”的运动图像、以及用于使“图片a”的运动图像和“图片b”的运动图像逐帧同步的同步信息。
作为对比，在本实施例的方法中，如图31b所示，系统控制cpu178根据“图片a”的运动图像数据和“图片b”的运动图像数据生成一个文件6003。在图31c～图31e中示出向文件6003的存储方法的具体示例。
图31c所示的方法是使用立体图像格式(所谓的并排)的示例。由于如图5所示、利用第一实施例的摄像装置所获得“图片a”和“图片b”之间不存在视差，因此即使使用立体图像格式也没有获得三维图像。使用立体图像格式仅存储信息。
在立体图像的情况下，提出了作为以下方法其中之一的方法(并排)，其中这些方法用于记录针对右眼所呈现的图像和针对左眼所呈现的图像，以将这些图像存储为图像被设置成横向并排的一个图像。在图31c的示例中，使用该方法来将“图片a”的图像和“图片b”的图像存储为图像如图所示排列的一个图像。与同步周期同步地获取到存储为一个图像的“图片a”的图像和“图片b”的图像。在关注此时的特定帧6004的情况下，帧6004的数据是在横方向上具有两倍大小并且包括彼此邻接的“图片a”的图像6005和“图片b”的图像6006的图像。换句话说，文件6003是各帧包含“图片a”的运动图像的帧图像和与“图片a”同步地获取到的“图片b”的运动图像的帧图像的运动图像文件。
在开始运动图像的重放的情况下，从“图片b”的帧群的开头帧起按所设置的帧频来顺次重放帧图像。换句话说，在重放装置中，仅连续地呈现采用立体图像格式的向一只眼要呈现的图像。在并排方法中，可以剪切并呈现与“图片b”相对应的区域。由于“图片b”是以快门速度不会过快的设置(在本示例中为1/60秒)拍摄到的，因此所重放的图像是图像跳跃较少的高清晰度图像。
例如，在重放进展直到帧6004为止时用户暂停重放的情况下，自动显示与“图片b”的图像6006相对应的“图片a”的图像6005。换句话说，将图像切换为以立体图像格式的要向另一眼呈现的图像。“图片a”是以可以容易地获得定格效果的快的快门速度(在本示例中为1/1000秒)所拍摄到的，即“图片a”是通过拍摄运动场景的瞬间所获得的扣人心弦的图像。尽管“图片a”和“图片b”这两个图像是以不同的累积时间设置所拍摄到的，但在摄像元件184中获得了相同程度的信号电荷，而不是对“图片a”进行增益上升。因此，“图片a”和“图片b”这两者变为s/n比优良的无噪声图像。
图31d所示的方法是使用适合所谓的液晶快门型重放装置的另一立体图像格式的示例。在使用液晶快门的重放装置中，通过以时分方式切换向右眼呈现的图像和向左眼呈现的图像来呈现图像。使用该格式，可以将“图片a”和“图片b”存储到一个文件中。例如，在将拍摄时的图像的帧频指定为60fps的情况下，将“图片a”和“图片b”交替地存储为以该帧频的两倍的120fps的运动图像的帧。例如，存储以彼此同步的方式获取到的“图片a”的图像和“图片b”的图像的对作为帧6007和6008的数据。然后，存储在下一定时以彼此同步的方式获取到的“图片a”的图像和“图片b”的图像的对作为帧6009和6010的数据。在仅关注“图片a”或“图片b”的数据的情况下，如此存储的数据是以与拍摄时的帧频相同的60fps的帧频的运动图像的数据。换句话说，文件6003是为了交替地呈现“图片a”的运动图像的帧和“图片b”的运动图像的帧所记录的运动图像文件。然后，将彼此同步的“图片a”的运动图像的帧和“图片b”的运动图像的帧连续地记录在该运动图像文件中。
在开始运动图像的重放的情况下，从“图片b”的帧群的开头帧起按所设置的帧频来顺次重放帧图像。换句话说，在重放装置中，仅连续地呈现以立体图像格式的要向一只眼呈现的图像。在图31d的示例中，可以每隔一帧来重放帧以仅重放“图片b”。
例如，在重放进展直到帧6008为止时、用户暂停重放的情况下，显示与“图片b”的帧6008的图像相对应的“图片a”的帧6007的图像。因而，可以提供适合运动图像/静止图像这两者的观看的图像。
图31e所示的方法是使用用以将两个以上的运动图像作为多轨运动图像存储在一个文件中的格式的示例。图31e的格式是能够存储辅助图像和视差图像等作为两个以上的轨的格式。这里，将“图片b”记录为轨1的主图像6012，将“图片a”记录为轨2的辅助图像6011，并且将与摄像装置有关的信息等存储在元数据记录部中。两个以上的轨的运动图像与一个时间码相对应。换句话说，文件6003是包括第一运动图像轨和第二运动图像轨的运动图像文件，其中第一运动图像轨包含“图片a”的运动图像和同步信息，以及第二运动图像轨包含“图片b”的运动图像和同步信息。
在开始运动图像的重放的情况下，从“图片b”的帧群的开头帧起按所设置的帧频来顺次重放帧图像。换句话说，在重放装置中，呈现轨1的图像。在用户暂停重放的情况下，可以呈现与相同时间码相对应的轨2的图像。因而，可以提供适合运动图像/静止图像这两者的观看的图像。
第三实施例
将参考图32～图38来说明根据本发明的第三实施例的摄像装置。向与图1a～图31e所示的第一实施例和第二实施例的摄像装置的构成元件相同的构成元件赋予相同的附图标记，以省略或简化说明。
在第一实施例和第二实施例中，根据累积时间而使用在受光效率(感光度)方面不同的两个光电二极管310a、310b，以使得能够进行适合各种拍摄场景的运动图像拍摄。在本实施例中，将说明对一个光电二极管的累积时间进行控制以实现与第一实施例和第二实施例相同的效果的示例。
除摄像元件184的像素303的电路结构不同外，根据本实施例的摄像装置与根据第一实施例的摄像装置相同。
图32是示出根据本实施例的摄像装置的摄像元件184的像素303的电路结构的电路图。图32示出构成像素阵列302的多个像素303中的第1列第1行的像素303和第1列第m行的像素303。如图32所示，各像素303包括光电二极管600、传送晶体管601a、601b、602a、602b和603、复位晶体管604、放大器晶体管605以及选择晶体管606。
光电二极管600的阳极连接至接地线。光电二极管600的阴极分别连接至传送晶体管601a的源极、传送晶体管601b的源极和传送晶体管603的源极。传送晶体管601a的漏极连接至传送晶体管602a的源极。传送晶体管601a的漏极和传送晶体管602a的源极之间的连接节点构成了信号保持单元607a。传送晶体管601b的漏极连接至传送晶体管602b的源极。传送晶体管601b的漏极和传送晶体管602b的源极之间的连接节点构成了信号保持单元607b。
传送晶体管602a的漏极和传送晶体管602b的漏极连接至复位晶体管604的源极和放大器晶体管605的栅极。传送晶体管602a的漏极、传送晶体管602b的漏极、复位晶体管604的源极和放大器晶体管605的栅极的连接节点构成了浮动扩散区域608。放大器晶体管605的源极连接至选择晶体管606的漏极。复位晶体管604的漏极和放大器晶体管605的漏极连接至电源线620。传送晶体管603的漏极连接至电源线621。选择晶体管606的源极连接至信号输出线623。
因而，根据本实施例的摄像装置的摄像元件184的各像素303针对一个光电二极管600包括两个信号保持单元607a、607b。由于例如在本申请的申请人的日本特开2013-172210中公开了具有信号保持单元的cmos型摄像元件184的基本结构，因此这里将省略针对该结构的详细说明。
像素阵列302的多个像素303以行为单位连接至从垂直扫描电路307起沿行方向配置的控制线。各行中的控制线包括分别连接至传送晶体管601a、602a、601b、602b和603、复位晶体管604以及选择晶体管606的栅极的多个控制线。传送晶体管601a由传送脉冲
构成本实施例的摄像装置的一部分的摄像元件184针对一个光电二极管600包括两个信号保持单元607a、607b。这样使得能够同时拍摄到具有定格效果的第一运动图像和图像跳跃较少的第二运动图像。因此，可以在不会使s/n比降低的情况下读出累积时间段有所不同的两个图像。
可以以与第一实施例和第二实施例相同的方式来设置摄像装置中的(与“图片a”相对应的)第一运动图像和(与“图片b”相对应的)第二运动图像的拍摄条件。
图33是双图像模式中的程序ae图。横轴表示tv值和相应的快门速度，并且纵轴表示av值和相应的光圈值。此外，斜线方向是等bv线。在增益标注区域556中表示第一运动图像(“图片a”)的bv值和iso感光度之间的关系，并且在增益标注区域557中表示第二运动图像(“图片b”)的bv值和iso感光度之间的关系。在图33中，将各bv值表示为矩形所包围的数值，以与其它参数区分开。
参考图33，将说明快门速度、光圈值和iso感光度根据从高亮度向低亮度的变化而如何改变。由于本实施例的摄像装置用于同时拍摄第一运动图像和第二运动图像，因此在程序ae图中针对相同的被摄体亮度设置相同的光圈值。
首先，在bv值是14的情况下，将第一运动图像的iso感光度设置为iso100。第一运动图像的等bv线与第一运动图像的程序图558在点551处相交，并且根据点551判断为快门速度是1/4000秒且光圈值是f11。另一方面，将第二运动图像的iso感光度设置为iso1。第二运动图像的等bv线与第二运动图像的程序图559在点552处相交，并且根据点552判断为快门速度是1/60秒且光圈值是f11。
在bv值是11的情况下，第一运动图像的iso感光度增加了一级并且被设置为iso200。第一运动图像的等bv线与第一运动图像的程序图558在点553处相交，并且根据点553判断为快门速度是1/1000秒且光圈值是f11。另一方面，将第二运动图像的iso感光度设置为iso12。第二运动图像的等bv线与第二运动图像的程序图559在点552处相交，并且根据点552判断为快门速度是1/60秒且光圈值是f11。
在bv值是7的情况下，将第一运动图像的iso感光度设置为iso200。第一运动图像的等bv线与第一运动图像的程序图558在点554处相交，并且根据点554判断为快门速度是1/1000秒且光圈值是f2.8。另一方面，将第二运动图像的iso感光度设置为iso12。第二运动图像的等bv线与第二运动图像的程序图559在点555处相交，并且根据点555判断为快门速度是1/60秒且光圈值是f2.8。
在bv值是6的情况下，第一运动图像的iso感光度增加了一级并且被设置为iso400。第一运动图像的等bv线与第一运动图像的程序图558在点554处相交，并且根据点554判断为快门速度是1/1000秒且光圈值是f2.8。另一方面，将第二运动图像的iso感光度设置为iso25。第二运动图像的等bv线与第二运动图像的程序图559在点555处相交，并且根据点555判断为快门速度是1/60秒且光圈值是f2.8。
之后，随着亮度的降低，在无需改变第一运动图像和第二运动图像这两者的快门速度和光圈值的情况下，进行增益上升以增大iso感光度。
如此进行该程序ae图所示的曝光操作，使得第一运动图像在所标记的整个亮度范围内将保持1/1000秒或更快的快门速度，并且第二运动图像在该整个亮度范围内将保持1/60秒的快门速度。因而，可以在第一运动图像中实现定格效果的同时，在第二运动图像中获得无图像跳跃的高清晰度的运动图像。
同时，将以相同的光圈值同时拍摄到的第一运动图像和第二运动图像控制成在iso感光度方面彼此不同。然而，在进行曝光控制以使第一运动图像的曝光适当的情况下，第二运动图像的信号发生饱和而使得无法控制iso感光度。因此，在根据本实施例的摄像装置中，在与第二运动图像的帧频相对应的快门速度是1/60秒期间，按相等间隔使短的累积时间段进行np次(其中，np是2以上的整数(np>1))。然后，将在进行了np次的各个累积时间段之间所累积的电荷相加以生成图像，从而使iso感光度实际变低。
在本实施例中，将与第二运动图像的1/60秒的快门速度相对应的时间段设置为进行针对第二运动图像执行了np次的短累积时间段的累积的时间段。此外，将与第一运动图像的1/1000秒的快门速度相对应的时间段设置为第一运动图像所用的累积时间段(即，第一运动图像所用的累积时间为1/1000秒)。然后，对第二运动图像所用的短的累积时间段进行控制，使得第二运动图像所用的总累积时间将变得等于第一运动图像所用的累积时间。
换句话说，将通过对在与第二运动图像的快门速度相对应的时间段内进行了np次的短的累积时间段期间所累积的电荷进行相加而生成的第二运动图像所用的总累积时间控制为等于第一运动图像所用的累积时间。此外，对一个第二运动图像所用的np次累积时间段的各个累积时间进行控制，使得第二运动图像的iso感光度将变得等于在第二运动图像的拍摄周期内所拍摄到的第一运动图像的iso感光度。
作为示例，假定在亮度是bv7的情况下，在与1/60秒的快门速度相对应的时间段内进行16次电荷的累积相加，以生成第二运动图像。在这种情况下，将第二运动图像的生成所用的np次累积时间段的各个累积时间设置为1/16000秒，以使第二运动图像的iso感光度等同于第一运动图像的iso感光度(iso200)。
图34是用于同时拍摄第一运动图像和第二运动图像的双图像模式中的拍摄操作的流程图。由于第一运动图像适合具有定格效果的静止图像的观看，因此在以下说明中，可以将第一运动图像称为“静止图像”并且可以将第二运动图像称为“运动图像”，以将第一运动图像和第二运动图像区分开。此外，为了说明的目的，本实施例中的拍摄模式可被称为“运动图像/静止图像拍摄模式”。
在同时拍摄第一运动图像和第二运动图像的情况下，本实施例的摄像装置可以以以下运动图像拍摄模式中的任意模式进行拍摄：能够拍摄平滑的运动图像的运动图像拍摄模式和没有生成在cmos型摄像元件中通常产生的卷帘失真的运动图像拍摄模式。因此，在本实施例中，根据第一运动图像的快门速度来选择能够拍摄平滑的运动图像的第一运动图像/静止图像拍摄模式或者能够拍摄无卷帘失真的运动图像的第二运动图像/静止图像拍摄模式。以下将参考图34的流程图来说明双图像模式中的拍摄操作。
首先，在步骤s501中，作为摄像装置的控制单元的系统控制cpu178确认进行拍摄的人所设置的运动图像/静止图像拍摄模式。在确认为拍摄模式是用以同时拍摄第一运动图像和第二运动图像的双图像模式的情况下，系统控制cpu178进入步骤s502。
然后，在步骤s502中，系统控制cpu178确认所设置的第二运动图像的拍摄周期。
然后，在步骤s503中，系统控制cpu178确认进行拍摄的人所设置的第一运动图像的快门速度(静止图像快门速度)。
然后，在步骤s504中，系统控制cpu178判断所设置的第一运动图像的快门速度是否快于预定值。在判断为将第一运动图像的快门速度设置为比预定快门速度tth快的快门速度以获得对快速移动的被摄体具有定格效果的图像的情况下(“是”)，系统控制cpu178进入步骤s505。在步骤s505中，系统控制cpu178将运动图像/静止图像拍摄模式设置为没有产生卷帘失真的第二运动图像/静止图像拍摄模式(无失真运动图像拍摄模式)，并且进入步骤s507。
另一方面，在判断为将第一运动图像的快门速度设置为比预定快门速度tth慢的快门速度的情况下(“否”)，系统控制cpu178进入步骤s506。在步骤s506中，系统控制cpu178将运动图像/静止图像拍摄模式设置为能够拍摄平滑的运动图像的第一运动图像/静止图像拍摄模式(平滑运动图像拍摄模式)，并且进入步骤s507。
在步骤s505或步骤s506中设置运动图像/静止图像拍摄模式的情况下，在步骤s507中，系统控制cpu178设置与所设置的运动图像/静止图像拍摄模式相对应的摄像元件184的控制方法。后面将说明第一运动图像/静止图像拍摄模式和第二运动图像/静止图像拍摄模式中的摄像元件184的控制方法。
然后，在步骤s508中，系统控制cpu178经由开关输入单元179确认作为用于开始和停止运动图像拍摄的按钮的开关mv155的状态，以判断是否开始拍摄。在开关mv155中没有指示运动图像拍摄的开始的情况下(“否”)，系统控制cpu178返回至步骤s501，以重复从确认运动图像/静止图像拍摄模式起的过程。另一方面，在开关mv155中指示了运动图像拍摄的开始的情况下(“是”)，系统控制cpu178进入步骤s509。
在步骤s509中，系统控制cpu178基于与以前所拍摄到的图像有关的ae信息和所设置的第一运动图像的快门速度，来经由光圈控制单元182控制拍摄光学系统152的光圈181。
然后，在步骤s510中，系统控制cpu178经由时序发生单元189驱动摄像元件184以进行拍摄。在本实施例中，由于拍摄模式是用于同时拍摄第一运动图像和第二运动图像的双图像模式，因此利用作为用以开始和停止运动图像拍摄的按钮的开关mv155来进行拍摄操作。根据步骤s507中所设置的摄像元件184的控制方法来进行拍摄操作。后面将说明摄像元件184的控制方法。
然后，在步骤s511中，系统控制cpu178经由开关输入单元179确认作为用以开始和停止运动图像拍摄的按钮的开关mv155的状态，以判断拍摄是否完成。在开关mv155被设置成拍摄状态的情况下(“否”)，系统控制cpu178返回至步骤s509以继续拍摄。另一方面，在开关mv155被设置成拍摄停止状态的情况下(“是”)，系统控制cpu178进入步骤s512以停止拍摄。
图35是用于说明在以能够拍摄平滑的运动图像的第一运动图像/静止图像拍摄模式同时拍摄第一运动图像和第二运动图像的情况下的本实施例的摄像装置中的摄像元件184的累积和读出定时的图。这里，术语“累积”是指用于将光电二极管600中所生成的电荷传送并累积在信号保持单元607a、607b中的操作。术语“读出”是指用于将信号保持单元607a、607b中保持的基于电荷的信号经由浮动扩散区域608输出至摄像元件184的外部的操作。
在图35中，横轴用时间表示，以示出垂直同步信号650、水平同步信号651、静止图像累积时间段661、静止图像传送时间段662、静止图像读出时间段665、运动图像累积时间段663、运动图像传送时间段664和运动图像读出时间段666。这里，静止图像累积时间段661表示第一运动图像用的信号电荷向光电二极管600的累积时间段。静止图像传送时间段662表示将第一运动图像用的信号电荷从光电二极管600传送至信号保持单元607a的时间段。静止图像读出时间段665表示第一运动图像的读出时间段。运动图像累积时间段663表示第二运动图像用的信号电荷向光电二极管600的累积时间段。运动图像传送时间段664表示将第二运动图像用的信号电荷从光电二极管600传送至信号保持单元607b的时间段。运动图像读出时间段666表示第二运动图像的读出时间段。
在该驱动示例中，在垂直同步信号650的各周期内读出第一运动图像和第二运动图像。此外，为了说明的目的而在图35中示出16行的定时，但实际的摄像元件184具有数千行。在图35中，最后一行是第m行。
第一运动图像是基于在垂直同步信号650的各周期(时间tf)内在所有行中同时进行的一个累积时间段(静止图像累积时间段661)内生成的信号电荷而产生的。第二运动图像是基于通过将在被分割了np次(其中，np是2以上的整数(np>1))的累积时间段(运动图像累积时间段663)内分别生成的信号电荷进行相加所获得的信号电荷而产生的。作为在一个拍摄周期内所进行的第二运动图像的累积时间段的次数的np例如是16次，并且按相等的时间间隔进行这些累积时间段。垂直同步信号650的间隔(时间tf)是与在第一运动图像/静止图像拍摄模式中进行第二运动图像的np次累积时间段的时间段大致相对应的1/60秒。在一个拍摄周期内的第二运动图像的读出期间(运动图像读出时间段666)进行第一运动图像的累积。
这样使得能够同时拍摄第一运动图像和第二运动图像。还可以获取到进行拍摄的人所期望的累积时间段短的无模糊的图像作为第一运动图像。此外，按相等间隔所进行的np次累积时间段实际意味着从第一次累积时间段的开始时刻起直到第np次累积时间段的结束时刻为止的一个长的累积时间段。因此，可以获取到图像跳跃较少的平滑图像作为第二运动图像。
在图35中，将第一运动图像的累积时间段(静止图像累积时间段661)设置为与进行拍摄的人所设置的快门速度t1相对应的时间。在该驱动示例中，将快门速度t1设置为1/500秒。第一运动图像的累积时间段被设置成在所有行中同时进行、并且紧挨在第一行的第一运动图像的读出(静止图像读出时间段665)开始之前完成。第一运动图像的累积时间段的结束时刻是从垂直同步信号650起经过了时间ta之后的时刻。将时间ta设置为垂直同步信号650的间隔tf的一半以下。由于第一运动图像的累积时间段(静止图像累积时间段661)的结束时刻在所有行中均相同，因此根据第一运动图像的快门速度t1来设置相对于垂直同步信号650的第一运动图像的累积时间段的开始时刻。
另一方面，在各周期内按相等间隔多次进行第二运动图像的累积时间段(运动图像累积时间段663)。在该驱动示例中，该时间间隔被设置成紧挨在各行的读出(运动图像读出时间段666)开始之前完成被分割成16次的累积时间段。可以将第二运动图像的累积时间段的时间间隔设置为水平同步信号651的间隔th的整数倍。因而，各行中的第二运动图像的累积定时与其它行中的累积定时相同。在图35中，为了说明的目的，将第二运动图像的累积时间段的时间间隔例示为水平同步信号651的间隔th的两倍。在利用m来表示摄像元件184的行数、并且利用np来表示各周期内的第二运动图像的累积次数的情况下，通常将第二运动图像的累积时间段的时间间隔设置为通过将没有超过m/np的整数乘以水平同步信号651的间隔th所获得的值。
此外，将第二运动图像的一次累积时间设置为t1/np(＝1/8000秒)。各行中的第二运动图像的累积时间段的开始时刻相对于垂直同步信号650是固定的。根据进行拍摄的人所设置的静止图像快门速度t1，相对于垂直同步信号650来设置第二运动图像的一次累积时间段的结束时刻。
在图35中，由于第一运动图像的累积时间(t1)长，因此各周期内的第二运动图像的累积次数np是14次。因此，使用在一个拍摄周期内所生成的第一运动图像来校正在同一拍摄周期内所生成的第二运动图像。
接着参考图36的时序图，将说明在图35的时刻t1开始的拍摄周期内的摄像元件184的控制方法的示例。图36中垂直同步信号φv上升的时刻t1与图35中垂直同步信号650上升的时刻t1相同。
这里，假定摄像元件184在垂直方向上具有m行像素。在图36中，示出m行中的第一行和作为最后一行的第m行的定时。在图36中，信号φv是垂直同步信号，并且信号φh是水平同步信号。
首先，在时刻t1，从时序发生单元189供给的垂直同步信号φv和水平同步信号φh从低电平改变为高电平。
然后，在与垂直同步信号φv改变为高电平同步的时刻t2，从垂直扫描电路307供给的针对第一行的复位脉冲φres(1)从高电平改变为低电平。这样使第一行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，从垂直扫描电路307供给的针对第一行的选择脉冲φsel(1)从低电平改变为高电平。这样使第一行中的各像素303的选择晶体管606接通，以使得能够从第一行中的各像素303读出图像信号。
然后，在时刻t3，从垂直扫描电路307供给的针对第一行的传送脉冲φtx2b(1)从低电平改变为高电平。这样使第一行中的各像素303的传送晶体管602b接通，以将在先前拍摄周期(在时刻t1完成的拍摄周期)内信号保持单元607b中所累积的第二运动图像的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由放大器晶体管605和选择晶体管606被读出到信号输出线623中。读出到信号输出线623中的信号被供给至未示出的读出电路，并且被作为第一行中的各像素的第二运动图像的图像信号输出到外部(与图35的运动图像读出时间段666相对应)。
然后，在时刻t4，从垂直扫描电路307供给的针对第一行的传送脉冲φtx2b(1)和针对所有行的传送脉冲φtx2a(φtx2a(1),φtx2a(m))从低电平改变为高电平。这样使第一行中的各像素303的传送晶体管602b和所有行中的像素303的传送晶体管602a接通。此时，所有行中的复位脉冲φres(φres(1),φres(m))已改变为高电平，因而复位晶体管604处于接通状态。因而，所有行中的像素303的浮动扩散区域608、所有行中的像素303的信号保持单元607a和第一行中的各像素303的信号保持单元607b被复位。此时，第一行中的选择脉冲φsel(1)也改变为低电平，并且第一行中的各像素303恢复为非选择状态。
然后，在时刻t5，从垂直扫描电路307供给的针对所有行的传送脉冲φtx3(φtx3(1),φtx3(m))从高电平改变为低电平。这样使所有行中的传送晶体管603断开以解除所有行中的像素303的光电二极管600的复位，从而开始第二运动图像的信号电荷在所有行中的像素303的光电二极管600内的累积(与图35的运动图像累积时间段663相对应)。
这里，垂直同步信号φv变为高电平的时刻t1与第二运动图像的信号电荷在所有行中的像素303的光电二极管600内的累积开始的时刻t5之间的时间间隔tb是固定的。
注意，图36的时刻t5第二运动图像的第一行的累积时间段的开始表示从图35的时刻t1起的拍摄周期内的第二运动图像的累积时间段的开始。此外，时刻t5的第二运动图像的第m行的累积时间段的开始表示图35的时刻t1之前的拍摄周期内的第二运动图像的累积时间段的开始。
然后，紧挨在时刻t7之前，从垂直扫描电路307供给的针对所有行的传送脉冲φtx1b(φtx1b(1),φtx1b(m))从低电平改变为高电平。这样使所有行中的像素303的传送晶体管601b接通，以将所有行中的像素303的光电二极管600内所累积的信号电荷传送至信号保持单元607b(与图35的运动图像传送时间段664相对应)。
然后，在时刻t7，针对所有行的传送脉冲φtx1b(φtx1b(1),φtx1b(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管601b断开，以完成光电二极管600中所累积的信号电荷向信号保持单元607b的传送。
时刻t5～时刻t7的时间段与第二运动图像的np次累积时间段各自中的累积时间(＝t1/16)相对应。
同样，在时刻t7，针对所有行的传送脉冲φtx3(φtx3(1),φtx3(m))从低电平改变为高电平。这样使所有行中的像素303的传送晶体管603接通，以使所有行中的像素303的光电二极管600处于复位状态。
在从时刻t5起经过了水平同步信号φh的间隔th的两倍的时间之后的时刻t8，开始第二运动图像的第二次累积时间段，其中在时刻t5，开始在时刻t1开始的拍摄周期内的第二运动图像的第一次累积时间段。
由于在时刻t8开始且在时刻t10结束的第二运动图像的第二次累积时间段的操作与如上所述的在时刻t5开始且在时刻t7结束的第二运动图像的第一次累积时间段的操作相同，因此将省略针对该操作的说明。
这里，在第二运动图像的第一次累积时间段和第二累积时间段的操作中，将在这两次累积时间段内所生成的第二运动图像的信号电荷相加并保持在信号保持单元607b中。
然后，在时刻t10～时刻t11的时间段内，以与如上所述的时刻t5～时刻t7的时间段相同的方式进行第二运动图像的第三次累积时间段～第五次累积时间段。
然后，在时刻t11，第二运动图像的第六次累积时间段开始。这里，将第二运动图像的第六次累积时间段的开始时刻t11设置为在从垂直同步信号φv变为高电平的时刻t1起经过了时间t(＝6×2×th+tb)之后的时刻。这里，th表示水平同步信号φh的时间间隔，并且tb表示垂直同步信号φv变为高电平的时刻t1与在光电二极管600中开始第二运动图像的第一次累积时间段的时刻t5之间的时间间隔。
由于在时刻t11开始且在时刻t13结束的第二运动图像的第六次累积时间段的操作与如上所述的在时刻t5开始且在时刻t7结束的第二运动图像的第一次累积时间段的操作相同，因此将省略针对该操作的说明。
然后，在时刻t4开始作为第一图像的第一运动图像的累积时间段。在该驱动示例中，一个拍摄周期中的第一运动图像的累积时间段的次数是一次。相对于垂直同步信号φv的第一运动图像的(与图35的静止图像读出时间段665相对应的)读出时间段的开始时刻是固定的。因此，相对于垂直同步信号φv的第一运动图像的累积时间段的结束时刻固定为在从开始时刻起经过了时间ta之后的时刻，并且第一运动图像的累积时间段被设置成在时刻t19完成。这里，时刻t1～时刻t19的时间间隔与图35中的时间ta相对应。基于进行拍摄的人所设置的第一运动图像的快门速度t1来控制第一运动图像的累积时间段的开始时刻。
在从作为第一运动图像的累积时间段的结束时刻的时刻t19起回溯了时间t1的时刻t14，针对所有行的传送脉冲φtx3(φtx3(1),φtx3(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管603断开以解除所有行中的像素303的光电二极管600的复位。然后，开始所有行中的像素303的光电二极管600中第一运动图像的信号电荷的累积时间段(与图35的静止图像累积时间段661相对应)。
此外，在第一运动图像的信号电荷的累积时间段内，时刻t1结束的先前拍摄周期内的第二运动图像的第m行的读出时间段完成。
首先，在时刻t15，从垂直扫描电路307供给的针对第m行的复位脉冲φres(m)从高电平改变为低电平。这样使第m行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，从垂直扫描电路307供给的针对第m行的选择脉冲φsel(m)从低电平改变为高电平。这样使第m行中的各像素303的选择晶体管606接通，以使得能够从第m行的各像素303读出图像信号。
然后，在时刻t16，针对第m行的传送脉冲φtx2b(m)从低电平改变为高电平。这样使第m行中的各像素303的传送晶体管602b接通，以将在时刻t1结束的先前拍摄周期内信号保持单元607b中所累积的第二运动图像的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由放大器晶体管605和选择晶体管606被读出到信号输出线623中。读出到信号输出线623中的信号被供给至未示出的读出电路，并且被作为第m行中的各像素的第二运动图像的图像信号输出到外部(与图35的运动图像读出时间段666相对应)。
因而，在时刻t1结束的先前拍摄周期内的第二运动图像的读出完成。接着，进行在时刻t1开始的拍摄周期内的第一运动图像的读出(与图35的静止图像读出时间段665相对应)。
然后，在时刻t17，针对第m行的传送脉冲φtx2b(m)从低电平改变为高电平。这样使第m行中的各像素303的传送晶体管602b接通。此时，第m行中的复位脉冲φres(m)已改变为高电平，因而复位晶体管604处于接通状态。因而，第m行中的各像素303的浮动扩散区域608和第m行中的各像素303的信号保持单元607b被复位。此时，第m行中的选择脉冲φsel(m)也改变为低电平，并且第m行中的各像素恢复为非选择状态。
然后，在时刻t18，针对第一行的复位脉冲φres(1)从高电平改变为低电平。这样使第一行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位。同时，针对第一行的选择脉冲φsel(1)从低电平改变为高电平。这样使第一行中的各像素303的选择晶体管606接通，以使得能够从第一行中的各像素303读出图像信号。
然后，紧挨在时刻t19之前，从垂直扫描电路307供给的针对所有行的传送脉冲φtx1a(φtx1a(1),φtx1a(m))从低电平改变为高电平。这样使所有行中的像素303的传送晶体管601a接通，以将所有行中的像素303的光电二极管600内所累积的信号电荷传送至信号保持单元607a(与图35的静止图像传送时间段662相对应)。
在时刻t19，针对所有行的传送脉冲φtx1a(φtx1a(1),φtx1a(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管601a断开，以完成将所有行中的像素303的光电二极管600内所累积的信号电荷传送至信号保持单元607a。
时刻t14～时刻t19的时间段与在时刻t1开始的拍摄周期内的第一运动图像的累积时间(t1)相对应。在该驱动示例中，由于一个拍摄周期内的第一运动图像的累积时间段的次数是一次，因此第一运动图像的累积时间与对应于累积时间段的时间相同。
然后，在时刻t20，针对第一行的传送脉冲φtx2a(1)从低电平改变为高电平。这样使第一行中的各像素303的传送晶体管602a接通，以将第一行中的各像素303的信号保持单元607a中所累积的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由第一行中的各像素303的放大器晶体管605和选择晶体管606被读出到信号输出线623中。读出到信号输出线623中的信号被供给至未示出的读出电路，并且作为第一行中的各像素的第一运动图像的图像信号被输出到外部(与图35的静止图像读出时间段665相对应)。
然后，在时刻t21开始第二运动图像的第七次累积时间段。这里，将第二运动图像的第七次累积时间段的开始时刻t21设置为在从垂直同步信号φv变为高电平的时刻t1起经过了时间t(＝(7+2)×2×th+tb)之后的时刻。在该驱动示例中，第二运动图像的两次累积时间段与第一运动图像的(与图35的静止图像累积时间段661相对应的)累积时间段重叠。因此，第二运动图像的第七次累积时间段的开始时刻t21等同于在时刻t1开始的拍摄周期内的第二运动图像的第九次累积时间段的开始时刻。
由于在时刻t21开始并在时刻t23结束的第二运动图像的第七次累积时间段的操作与如上所述的在时刻t5开始并在时刻t7结束的第二运动图像的第一次累积时间段的操作相同，因此将省略针对该操作的说明。
然后，在时刻t23～时刻t24的时间段内，以与如上所述的时刻t5～时刻t7的时间段相同的方式进行第二运动图像的第八次累积时间段～第十三次累积时间段。
然后，在时刻t24开始进行在时刻t1开始的拍摄周期内的第二运动图像的最后的第十四次累积时间段。这里，将第二运动图像的第十四次累积时间段的开始时刻设置为在从垂直同步信号φv变为高电平的时刻t1起经过了时间t(＝(14+2)×2×th+tb)之后的时刻。
由于在时刻t24开始且在时刻t26结束的第二运动图像的第十四次累积时间段的操作与如上所述的在时刻t5开始且在时刻t7结束的第二运动图像的第一次累积时间段的操作相同，因此将省略针对该操作的说明。在拍摄模式中，用以进行第二运动图像的np次累积时间段的时间段是时刻t5～时刻t26的时间段。
然后，在时刻t27，针对第m行的复位脉冲φres(m)从高电平改变为低电平。这样使第m行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，针对第m行的选择脉冲φsel(m)从低电平改变为高电平。这样使第m行中的各像素303的选择晶体管606接通，以使得能够进行针对来自第m行中的各像素303的图像信号的读出。
然后，在时刻t28，针对第m行的传送脉冲φtx2a(m)从低电平改变为高电平。这样使第m行中的各像素303的传送晶体管602a接通，以将第m行中的各像素303的信号保持单元607a中所累积的第一运动图像的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由第m行中的各像素303的放大器晶体管605和选择晶体管606被读出到信号输出线623中。被读出到信号输出线623中的信号被供给至未示出的读出电路，并且作为第m行中的各像素的第一运动图像的图像信号被输出到外部(与图35的静止图像读出时间段665相对应)。
然后，在时刻t29，从时序发生单元189供给的垂直同步信号φv从低电平改变为高电平，以开始下一拍摄周期。
如上所述，在第一运动图像/静止图像拍摄模式中，第一运动图像的累积时间段的结束时刻相对于垂直同步信号是固定的，并且在一个拍摄周期内多次进行的第二运动图像的累积时间段的开始时刻相对于垂直同步信号是固定的。这样使得能够在同一拍摄周期内进行第一运动图像和第二运动图像的读出。
因此，在第一运动图像的快门速度t1慢于预定快门速度tth的情况下，可以在一个拍摄周期内，同时拍摄累积时间短且没有模糊的第一运动图像和累积时间段长且图像跳跃较少的第二运动图像。
图37是用于说明在能够拍摄无卷帘失真的运动图像的第二运动图像/静止图像拍摄模式中同时拍摄第一运动图像和第二运动图像的情况下的根据本实施例的摄像装置中的摄像元件184的累积和读出定时的图。这里，术语“累积”是指用于将光电二极管600中所生成的电荷传送并累积在信号保持单元607a、607b中的操作。术语“读出”是指用于将信号保持单元607a、607b中保持的基于电荷的信号经由浮动扩散区域608输出至摄像元件184的外部的操作。
在图37中，横轴用时间表示，以示出垂直同步信号650、水平同步信号651、静止图像累积时间段661、静止图像传送时间段662、静止图像读出时间段665、运动图像累积时间段663、运动图像传送时间段664和运动图像读出时间段666。在该驱动示例中，在垂直同步信号650的各周期内读出第一运动图像和第二运动图像。此外，为了说明的目的，在图37中示出16行的定时，但实际的摄像元件184具有数千行。在图37中，最后一行是第m行。
第一运动图像是基于在垂直同步信号650的各周期(时间tf)内在所有行中同时进行的一个累积时间段(静止图像累积时间段661)内生成的信号电荷而产生的。第二运动图像是基于通过将在被分割了np次(其中，np是2以上的整数(np>1))的累积时间段(运动图像累积时间段663)内分别生成的信号电荷进行相加所获得的信号电荷而产生的。作为在一个拍摄周期内所进行的第二运动图像的累积时间段的次数的np例如是8次，并且在第一运动图像的读出时间段(静止图像读出时间段665)内按相等的时间间隔在所有行中进行这些累积时间段。垂直同步信号650的间隔(时间tf)与运动图像的帧频相对应(在该驱动示例中为1/60秒)。此外，在一个拍摄周期内的第二运动图像的读出期间(运动图像读出时间段666)进行第一运动图像的累积。
这样使得能够同时拍摄第一运动图像和第二运动图像。还可以获取到进行拍摄的人所期望的累积时间段短的无模糊的图像作为第一运动图像。此外，按相等的时间间隔所进行的np次累积时间段实际意味着从第一次累积时间段的开始时刻起直到第np次累积时间段的结束时刻为止的一个长的累积时间段。因此，可以获取到图像跳跃较少且无卷帘失真的图像作为第二运动图像。
在图37的时刻t51结束的先前拍摄周期内，将第一运动图像的累积时间段(静止图像累积时间段661)设置为与进行拍摄的人所设置的快门速度t2相对应的时间。在该驱动示例中，将快门速度t2设置为1/2000秒。第一运动图像的累积时间段的中心时刻在所有行中均相同(从垂直同步信号650起经过了时间tc之后的时刻)，其中对该中心时刻进行设置，以使得累积时间段将在第一运动图像的第一行的读出时间段(静止图像读出时间段665)之前完成。这里，由于直到第一运动图像的累积时间段的中心时刻为止的时间tc在所有行中均相同，因此根据第一运动图像的快门速度t2来设置相对于垂直同步信号650的第一运动图像的累积时间段的开始时刻和结束时刻。将直到第一运动图像的累积时间段的中心时刻为止的时间tc设置为第二运动图像的读出时间段(运动图像读出时间段666)的中心，其中该时间被设置为与垂直同步信号650的间隔相对应的时间tf的约1/4。
另一方面，在第一运动图像的读出时间段(静止图像读出时间段665)内按相等的时间间隔多次进行第二运动图像的累积时间段(运动图像累积时间段663)。在该驱动示例中，设置该时间间隔，以紧挨在第二运动图像的第一行的读出时间段(运动图像读出时间段666)开始之前完成被分割成8次的累积时间段。将第二运动图像的累积时间段的时间间隔设置为水平同步信号651的间隔th的整数倍。因而，第二运动图像的所有行的np次累积时间段变得相同。在图37中，为了说明的目的，将第二运动图像的累积时间段的时间间隔例示为水平同步信号651的间隔th的两倍。在利用m来表示摄像元件184的行数、并且利用np来表示各周期内的第二运动图像的累积次数的情况下，通常将第二运动图像的累积时间段的时间间隔设置为通过将不超过m/np的整数乘以水平同步信号651的间隔th所获得的值。
此外，将第二运动图像的一次累积时间设置为t2/np(＝1/16000秒)。所有行中的第二运动图像的累积时间段的开始时刻相对于垂直同步信号650是固定的。第二运动图像的一次累积时间段的结束时刻是根据进行拍摄的人所设置的第一运动图像的快门速度t2而相对于垂直同步信号650所设置的。
使用在时刻t51结束的先前拍摄周期内生成的第一运动图像来校正在该拍摄周期内生成的第二运动图像的缺失时间，这也是有效的。
因而，在静止图像的读出时间段(静止图像读出时间段665)内在相同时刻在所有行中进行第二运动图像的累积时间段，使得可以获取到无卷帘失真的运动图像。
接着，参考图38的时序图，将说明在图37的时刻t51开始的拍摄周期内的摄像元件184的控制方法的示例。图38中垂直同步信号φv上升的时刻t51与图37中垂直同步信号φv650上升的时刻t51相同。
这里，假定摄像元件184在垂直方向上具有m行像素。在图38中，示出这m行中的第一行和作为最后一行的第m行的定时。在图38中，信号φvv是垂直同步信号，并且信号φvh是水平同步信号。
首先，在时刻t51，从时序发生单元189供给的垂直同步信号φv和水平同步信号φh从低电平改变为高电平。
然后，在与垂直同步信号φv改变为高电平同步的时刻t52，从垂直扫描电路307供给的针对第一行的复位脉冲φres(1)从高电平改变为低电平。这样使第一行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，从垂直扫描电路307供给的针对第一行的选择脉冲φsel(1)从低电平改变为高电平。这样使第一行中的各像素303的选择晶体管606接通，以使得能够进行来自第一行中的各像素303的图像信号的读出。
然后，在时刻t53，从垂直扫描电路307供给的针对第一行的传送脉冲φtx2b(1)从低电平改变为高电平。这样使第一行中的各像素303的传送晶体管602b接通，以将在先前拍摄周期(在时刻t51完成的拍摄周期)内信号保持单元607b中所累积的第二运动图像的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由放大器晶体管605和选择晶体管606被读出到信号输出线623中。读出到信号输出线623中的信号被供给至未示出的读出电路，并且作为第一行中的各像素的第二运动图像的图像信号被输出到外部(与图37的运动图像读出时间段666相对应)。
然后，在时刻t54，从垂直扫描电路307供给的针对第一行的传送脉冲φtx2b(1)和针对所有行的传送脉冲φtx2a(φtx2a(1),φtx2a(m))从低电平改变为高电平。这样使第一行中的各像素303的传送晶体管602b和所有行中的像素303的传送晶体管602a接通。此时，所有行中的复位脉冲φres(φres(1),φres(m))已改变为高电平，因而复位晶体管604处于接通状态。因而，所有行中的像素303的浮动扩散区域608、所有行中的像素303的信号保持单元607a和第一行中的各像素303的信号保持单元607b被复位。此时，第一行中的选择脉冲φsel(1)也改变为低电平，并且第一行中的各像素303恢复为非选择状态。
然后，从时刻t5进行第一运动图像的累积时间段。在该驱动示例中，一个拍摄周期内的第一运动图像的累积时间段的次数是一次。第一运动图像的累积时间段的中心时刻在所有行中均相同(从垂直同步信号650起经过了时刻tc之后的时刻)，其中对该中心时刻进行设置，以使得累积时间段将在第一运动图像的第一行的读出时间段(静止图像读出时间段665)之前完成。这里，由于直到第一运动图像的累积时间段的中心时刻为止的时间tc在所有行中均相同，因此根据进行拍摄的人所设置的第一运动图像的快门速度t2来设置相对于垂直同步信号650的第一运动图像的累积时间段的开始时刻和结束时刻。
在从作为第一运动图像的累积时间段的中心时刻的时刻t56起回溯了时间t2/2的时刻t55，针对所有行的传送脉冲φtx3(φtx3(1),φtx3(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管603断开以解除所有行中的像素303的光电二极管600的复位。然后，在所有行中的像素303的光电二极管600中，开始第一运动图像的信号电荷的累积时间段(与图37的静止图像累积时间段661相对应)。这里，时刻t51～时刻t56的时间段与图37的时间tc相对应。此外，在直到时刻t51为止的拍摄周期内的第m行中的第二运动图像的读出时间段(与图37的运动图像读出时间段666相对应)结束之前，完成第一运动图像的信号电荷的累积。
然后，紧挨在时刻t57之前，从垂直扫描电路307供给的针对所有行的传送脉冲φtx1a(φtx1a(1),φtx1a(m))从低电平改变为高电平。这样使所有行中的像素303的传送晶体管601a接通，以将所有行中的像素303的光电二极管600中所累积的信号电荷传送至信号保持单元607a(与图37的静止图像传送时间段662相对应)。
然后，在时刻t57，针对所有行的传送脉冲φtx1a(φtx1a(1),φtx1a(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管601a断开，以完成光电二极管600中所累积的信号电荷向信号保持单元607a的传送。
时刻t55～时刻t57的时间段与在图37的时刻t51开始的拍摄周期中的第一运动图像的累积时间(快门速度t2)相对应。在该驱动示例中，由于一个拍摄周期内的第一运动图像的累积时间段的次数是一次，因此一个拍摄周期内的第一运动图像的累积时间与累积时间段相同。
然后，在时刻t58，针对第m行的复位脉冲φres(m)从高电平改变为低电平。这样使第m行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，针对第m行的选择脉冲φsel(m)从低电平改变为高电平。这样使第m行中的各像素303的选择晶体管606接通，以使得能够进行来自第m行中的各像素303的图像信号的读出。
然后，在时刻t59，从垂直扫描电路307供给的针对第m行的传送脉冲φtx2b(m)从低电平改变为高电平。这样使第m行中的各像素303的传送晶体管602b接通，以将在先前拍摄周期(直到图37的时刻t51为止的拍摄周期)内信号保持单元607b中所累积的第二运动图像的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由放大器晶体管605和选择晶体管606被读出到信号输出线623中。读出到信号输出线623中的信号被供给至未示出的读出电路，并且作为第m行中的各像素的第二运动图像的图像信号被输出到外部(与图37的运动图像读出时间段666相对应)。
然后，在时刻t60，针对第m行的传送脉冲φtx2b(m)从低电平改变为高电平。这样使第m行中的各像素303的传送晶体管602b接通。此时，针对第m行的复位脉冲φres(m)已改变为高电平，因而复位晶体管604处于接通状态。因而，第m行中的各像素303的浮动扩散区域608和第m行中的各像素303的信号保持单元607b被复位。此时，第m行中的选择脉冲φsel(m)也改变为低电平，并且第m行中的各像素303恢复为非选择状态。
在作为时刻t51结束的先前拍摄周期内的第二图像的运动图像的读出完成时，开始进行在时刻t51开始的拍摄周期内的第一运动图像的读出(与图37的静止图像读出时间段665相对应)。此外，开始进行第二运动图像的累积(与图37的运动图像累积时间段663相对应)。
在时刻t61，针对第一行的复位脉冲φres(1)从高电平改变为低电平。这样使第一行中的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，针对第一行的选择脉冲φsel(1)从低电平改变为高电平。这样使第一行中的各像素303的选择晶体管606接通，以使得能够进行来自第一行中的各像素303的图像信号的读出。
然后，在时刻t62，针对第一行的传送脉冲φtx2a(1)从低电平改变为高电平。这样使第一行中的各像素303的传送晶体管602a接通，以将第一行中的各像素303的信号保持单元607a中所累积的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由第一行中的各像素303的放大器晶体管605和选择晶体管606被读出到信号输出线623中。被读出到信号输出线623中的信号被供给至未示出的读出电路，并且作为第一行中的第一运动图像的图像信号被输出到外部(与图37的静止图像读出时间段665相对应)。
然后，在时刻t63，针对所有行的传送脉冲φtx3(φtx3(1),φtx3(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管603断开，以解除所有行中的像素303的光电二极管600的复位，从而开始光电二极管600中的信号电荷的累积(与图37的运动图像累积时间段663相对应)。
这里，垂直同步信号φv变为高电平的时刻t51与所有行中的像素303的光电二极管600中信号电荷的累积开始的时刻t63之间的时间间隔tb是固定的。
然后，紧挨在时刻t64之前，从垂直扫描电路307供给的针对所有行的传送脉冲φtx1b(φtx1b(1),φtx1b(m))从低电平改变为高电平。这样使所有行中的像素303的传送晶体管601b接通，以将所有行的像素303的光电二极管600中所累积的信号电荷传送至信号保持单元607b(与图37的运动图像传送时间段664相对应)。
然后，在时刻t64，针对所有行的传送脉冲φtx1b(φtx1b(1),φtx1b(m))从高电平改变为低电平。这样使所有行中的像素303的传送晶体管601b断开，以完成光电二极管600中所累积的信号电荷向信号保持单元607b的传送。
时刻t63～时刻t64的时间段与第二运动图像用的一次累积时间段中的累积时间(＝t2/8)相对应。
同样，在时刻t64，针对所有行的传送脉冲φtx3(φtx3(1),φtx3(m))从低电平改变为高电平。这样使所有行中的像素303的传送晶体管603接通，以使所有行中的像素303的光电二极管600处于复位状态。
在从在时刻t51开始的拍摄周期内的第二运动图像的第一次累积时间段的开始时刻t64起经过了水平同步信号φh的间隔th的两倍的时间之后的时刻t65，开始第二运动图像的第二次累积时间段。
由于在时刻t65开始且在时刻t66结束的第二运动图像的第二次累积时间段的操作与如上所述的在时刻t63开始且在时刻t64结束的第二运动图像的第一次累积时间段的操作相同，因此省略了针对该操作的说明。
这里，在第二运动图像的第一次累积时间段和第二次累积时间段的操作中，将在这两次累积时间段内所生成的第二运动图像的信号电荷相加并保持在信号保持单元607b中。
然后，在时刻t66～时刻t67的时间段内，以与如上所述的时刻t63～时刻t64的时间段相同的方式进行第二运动图像的第三次累积时间段～第七次累积时间段。
然后，在时刻t67开始进行作为一个拍摄周期内的最后时间段的第二运动图像的第八次累积时间段。这里，将第二运动图像的第八次累积时间段的开始时刻t67设置为在从垂直同步信号φv变为高电平的时刻t51起经过了时间t(＝8×2×th+tb)之后的时刻。这里，th表示水平同步信号φh的时间间隔，并且tb表示垂直同步信号φv变为高电平的时刻t51和在光电二极管600中开始第二运动图像的第一次累积时间段的时刻t63之间的时间间隔。
由于在时刻t67开始且在时刻t68结束的第二运动图像的第八次累积时间段的操作与如上所述的在时刻t63开始且在时刻t64结束的第二运动图像的第一次累积时间段的操作相同，因此省略了针对该操作的说明。
时刻t63～时刻t68的时间段是用于累积针对拍摄模式中的第二运动图像的信号电荷的时间段，其中该时间段是在第一运动图像的读出时间段(时刻t62～时刻t70的时间段)内所进行的。
在第二运动图像的累积时间段完成的时刻t69，针对第m行的复位脉冲φres(m)从高电平改变为低电平。这样使第m行的各像素303的复位晶体管604断开，以解除浮动扩散区域608的复位状态。同时，针对第m行的选择脉冲φsel(m)从低电平改变为高电平。这样使第m行中的各像素303的选择晶体管606接通，以使得能够进行来自第m行中的各像素303的图像信号的读出。
然后，在时刻t70，针对第m行的传送脉冲φtx2a(m)从低电平改变为高电平。这样使第m行中的各像素303的传送晶体管602a接通，以将第m行中的各像素303的信号保持单元607a中所累积的信号电荷传送至浮动扩散区域608。结果，与浮动扩散区域608的电位变化相对应的信号经由第m行中的各像素303的放大器晶体管605和选择晶体管606被读出到信号输出线623中。读出到信号输出线623中的信号被供给至未示出的读出电路，并且作为第m行中的各像素的第一运动图像的图像信号被输出到外部(与图37的静止图像读出时间段665相对应)。
然后，在时刻t71，从时序发生单元189供给的垂直同步信号φv从低电平改变为高电平，以开始下一拍摄周期。
如上所述，在第二运动图像/静止图像拍摄模式中，在第一运动图像的读出时间段(静止图像读出时间段665)内按相同定时在所有行中进行第二运动图像的累积时间段。因而，可以获取到无卷帘失真的运动图像。此外，由于第二运动图像的累积时间段被设置得长于第一运动图像的累积时间段，因此可以获取到图像跳跃较少的图像。
如上所述，根据本实施例，可以同时获取到具有定格效果的“图片a”和图像跳跃较少的“图片b”。可以将如第一实施例所示的图像呈现方法用于在特性方面有所不同的两个运动图像，以在使用单个摄像元件184来同时拍摄并观看两个以上的图像的情况下，提供适合运动图像/静止图像这两者的观看的图像。
可选实施例
本发明不限于上述典型实施例，并且可以进行各种变形。
例如，上述实施例所述的摄像装置的结构仅是示例，并且可以应用本发明的摄像装置不限于图1a～图2所示的结构。此外，摄像元件的各单元的电路结构不限于图3、图8、图11或图32等所示的结构。
此外，在上述第一实施例中，例示出对“图片a”和“图片b”进行串扰校正的示例作为优选模式，但串扰校正并非是必须的。
此外，在上述第一实施例中，示出以相同帧频拍摄“图片a”和“图片b”的示例，但“图片a”和“图片b”不必采用相同帧频。在这种情况下，例如，可以使在“图片b”的一个帧时间段内所拍摄到的“图片a”的多个帧至少之一与“图片b”的帧相关联。
此外，在上述第三实施例中，进行1次第一运动图像的累积时间段，并且进行16次或8次第二运动图像的累积时间段。然而，累积时间段的次数是根据拍摄条件等适当地选择的，并且不限于此。例如，第一运动图像的累积次数可以是至少一次、或者可以是两次以上。此外，第二运动图像的累积次数可以是至少两次以上。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
- 还没有人留言评论。精彩留言会获得点赞！