摄像装置、摄像方法及摄像程序与流程

文档序号:17983056发布日期:2019-06-22 00:14阅读:147来源:国知局
摄像装置、摄像方法及摄像程序与流程

本发明涉及一种摄像装置、摄像方法及摄像程序。



背景技术:

近年来,伴随ccd(chargecoupleddevice:电荷耦合元件)图像传感器、或cmos(complementarymetaloxidesemiconductor:互补型金属氧化物半导体)图像传感器等成像元件的高分辨率化,电子内窥镜、数码照相机、数码摄像机或带相机的移动电话等具有摄像功能的信息设备的需求急剧增加。另外,将具有如以上摄像功能的信息设备称作摄像装置。

在mos型成像元件中有像素呈二维形状配置的成像元件,该像素包括:光电转换元件;电荷保持部,保持在该光电转换元件中产生并积蓄的电荷;浮动扩散区,保持在该电荷保持部的电荷被传送;及读取电路,输出与浮动扩散区的电位对应的信号(参考专利文献1)。

专利文献1中所记载的成像元件在光电转换元件的电荷传送到电荷保持部之前,将在电荷保持部中产生的暗电流排出到漏极部。

并且,作为进行在光电转换元件中产生的暗电流的检测的方法,在专利文献2中记载有在进行正式拍摄之前在将成像元件遮光的状态下进行暗摄像的方法。

并且,虽然不是检测暗电流的技术,但是在专利文献3中记载有在正式拍摄的曝光结束之前检测在读取电路的浮动扩散区产生的复位噪声。

以往技术文献

专利文献

专利文献1:日本特开2014-022795号公报

专利文献2:日本特开2012-191379号公报

专利文献3:日本特开2011-211448号公报



技术实现要素:

发明要解决的技术课题

如专利文献1中所记载的具有电荷保持部的成像元件除了能够进行基于卷帘快门方式的驱动以外,还能够进行基于全局快门方式的驱动。

全局快门方式为如下方式:在所有光电转换元件中使曝光的开始时刻一致,将积蓄在所有光电转换元件中的电荷同时传送到电荷保持部,由此结束该曝光,之后,对每一行依次读取与积蓄在电荷保持部中的电荷对应的信号。

根据具有电荷保持部的成像元件,无需使用机械快门便能够在所有光电转换元件中使曝光时间的开始及结束的时刻一致。因此,不受机械快门的动作时间的限制便能够得到没有失真的摄像图像。

在这种成像元件中,为了得到在光电转换元件中产生的暗电流的信息,例如,如专利文献2中所记载,需要在正式拍摄之前在将成像元件遮光的状态下进行摄像。

该情况下,需要用于将成像元件遮光的部件(例如机械快门),无法享受不使用机械快门便能够进行摄像的成像元件的优点。

并且,需要确保在将成像元件遮光的状态下进行摄像的时间,会阻碍摄像处理的高速化。

关于专利文献1中所记载的成像元件,在电荷保持部中产生的暗电流排出到漏极部,因此无法得到暗电流的信息。

专利文献3公开了检测浮动扩散区的复位噪声的技术,无法得到光电转换元件的暗电流的信息。

本发明是鉴于上述情况而完成的,其目的在于提供一种无需将成像元件遮光并进行摄像便能够高精度地得到在光电转换元件中产生的暗电流的信息的摄像装置、摄像方法及摄像程序。

用于解决技术课题的手段

本发明的摄像装置具备:

mos型成像元件,其具有多个像素,该多个像素包括:光电转换元件,接收光而积蓄电荷;被遮光的电荷保持部,保持积蓄在上述光电转换元件中的电荷;及浮动扩散区,电荷从上述电荷保持部被传送,并且,通过读取电路而读取与上述浮动扩散区的电位对应的信号,

驱动控制部,进行如下驱动控制:第一驱动控制,将上述像素的上述光电转换元件及上述电荷保持部进行复位以开始该光电转换元件的曝光,并将积蓄在该光电转换元件中的摄像电荷传送到该像素的上述电荷保持部以结束上述曝光;第二驱动控制,在上述摄像电荷通过上述第一驱动控制而传送到上述电荷保持部之前,通过上述读取电路而读取与保持在该电荷保持部中的暗电荷对应的信号;及第三驱动控制,在基于上述第一驱动控制的上述曝光结束之后,通过上述读取电路而读取与保持在上述电荷保持部中的上述摄像电荷对应的信号;以及

图像处理部,根据摄像图像信号和暗图像信号生成摄像图像数据并存储在存储介质中,上述摄像图像信号由通过上述第三驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述摄像电荷对应的信号构成,上述暗图像信号由通过上述第二驱动控制而从上述成像元件的上述多个像素的各像素读取的与所述暗电荷对应的信号构成。

本发明的摄像方法为通过mos型成像元件而拍摄被摄体的摄像方法,所述

mos型成像元件具有多个像素,该多个像素包括:光电转换元件,接收光而积蓄电荷;被遮光的电荷保持部,保持积蓄在上述光电转换元件中的电荷;及浮动扩散区,电荷从上述电荷保持部被传送,并且,通过读取电路而读取与上述浮动扩散区的电位对应的信号,

所述摄像方法具备:

驱动控制步骤,其进行如下驱动控制:第一驱动控制,将上述像素的上述光电转换元件及上述电荷保持部进行复位以开始该光电转换元件的曝光,并将积蓄在该光电转换元件中的摄像电荷传送到该像素的上述电荷保持部以结束上述曝光;第二驱动控制,在上述摄像电荷通过上述第一驱动控制而传送到上述电荷保持部之前,通过上述读取电路而读取与保持在该电荷保持部中的暗电荷对应的信号;及第三驱动控制,在基于上述第一驱动控制的上述曝光结束之后,通过上述读取电路而读取与保持在上述电荷保持部中的上述摄像电荷对应的信号;以及

图像处理步骤,根据摄像图像信号和暗图像信号生成摄像图像数据并存储在存储介质中,上述摄像图像信号由通过上述第三驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述摄像电荷对应的信号构成,上述暗图像信号由通过上述第二驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述暗电荷对应的信号构成。

本发明的摄像程序为通过mos型成像元件而拍摄被摄体的摄像程序,所述mos型成像具有包含被遮光的电荷保持部的多个像素,该多个像素包括:光电转换元件,接收光而积蓄电荷;被遮光的电荷保持部,保持积蓄在上述光电转换元件中的电荷;及浮动扩散区,电荷从上述电荷保持部被传送,并且,通过读取电路而读取与上述浮动扩散区的电位对应的信号,

所述摄像程序使计算机执行如下步骤:

驱动控制步骤,其进行如下驱动控制:第一驱动控制,将上述像素的上述光电转换元件及上述电荷保持部进行复位以开始该光电转换元件的曝光,并将积蓄在该光电转换元件中的摄像电荷传送到该像素的上述电荷保持部以结束上述曝光;第二驱动控制,在上述摄像电荷通过上述第一驱动控制而传送到上述电荷保持部之前,通过上述读取电路而读取与保持在该电荷保持部中的暗电荷对应的信号;及第三驱动控制,在基于上述第一驱动控制的上述曝光结束之后,通过上述读取电路而读取与保持在上述电荷保持部中的上述摄像电荷对应的信号;以及

图像处理步骤,根据摄像图像信号和暗图像信号生成摄像图像数据并存储在存储介质中,上述摄像图像信号由通过上述第三驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述摄像电荷对应的信号构成,上述暗图像信号由通过上述第二驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述暗电荷对应的信号构成。

发明效果

根据本发明,能够提供一种无需将成像元件遮光并进行摄像便能够高精度地得到在光电转换元件中产生的暗电流的信息的摄像装置、摄像方法及摄像程序。

附图说明

图1是表示作为本发明的摄像装置的一实施方式的数码相机100的概略结构的图。

图2是表示图1所示的成像元件5的概略结构的平面示意图。

图3是表示图2所示的成像元件5的像素61的概略结构的平面示意图。

图4是图3所示的成像元件5的像素61的a-a线的剖面示意图。

图5是表示图1所示的数码相机的静态图像摄像模式时的动作的时序图。

图6是表示图1所示的数码相机的静态图像摄像模式时的其他动作的时序图。

图7是用于说明图1所示的数码相机100的静态图像摄像模式时的动作的流程图。

图8是表示作为图1所示的数码相机100的变形例的数码相机100a的概略结构的图。

图9是用于说明图8所示的数码相机100a的静态图像摄像模式时的动作的流程图。

图10是表示图7所示的步骤s3的详细内容的流程图。

图11是表示图7所示的步骤s3的详细的变形例的流程图。

图12是表示图5所示的时序图的变形例的图。

图13是表示作为本发明的摄像装置的一实施方式的智能手机200的外观的图。

图14是表示图13所示的智能手机200的结构的框图。

具体实施方式

以下,参考附图对本发明的实施方式进行说明。

图1是表示作为本发明的摄像装置的一实施方式的数码相机100的概略结构的图。

图1所示的数码相机100具备透镜装置40,该透镜装置40具有摄像透镜1、光圈2、透镜控制部4、透镜驱动部8及光圈驱动部9。

在本实施方式中,将透镜装置40作为能够装卸于数码相机100主体的透镜装置而进行说明,但也可以是固定于数码相机100主体的透镜装置。摄像透镜1和光圈2构成摄像光学系统。

透镜装置40的透镜控制部4构成为通过有线或无线的方式能够与数码相机100主体的系统控制部11通信。

透镜控制部4按照来自系统控制部11的指令,经由透镜驱动部8而驱动包括在摄像透镜1中的聚焦透镜,或者经由光圈驱动部9而驱动光圈2。

数码相机100主体具备:cmos图像传感器等mos型成像元件5,通过摄像光学系统拍摄被摄体;成像元件驱动部10,驱动成像元件5;系统控制部11,总括控制数码相机100的电气控制系统整体;操作部14;数字信号处理部17;外部存储器控制部20,连接有装卸自如的存储介质21;及显示驱动器22,驱动搭载于主体背面等的有机el(electroluminescence:电致发光)显示器或lcd(liquidcrystaldisplay:液晶显示器)等显示部23。

系统控制部11包括各种处理器、ram(randomaccessmemory:随机存取存储器)和rom(readonlymemory:只读存储器)而构成,并总括控制数码相机100整体。

系统控制部11通过处理器执行包括存储在内置的rom中的摄像程序的程序而实现后述各功能。

数字信号处理部17包括各种处理器、ram及rom,通过该处理器执行包括存储在该rom中的摄像程序的程序而进行后述各种处理。

作为各种处理器,执行程序而进行各种处理的通用的处理器即cpu(centralprocessingunit:中央处理单元)、fpga(fieldprogrammablegatearray:现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(programmablelogicdevice:pld)、或者asic(applicationspecificintegratedcircuit:专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。

更具体而言,这些各种处理器的构造为组合了半导体元件等电路元件的电路。

系统控制部11的处理器和数字信号处理部17的处理器分别可以由各种处理器中的一个构成,也可以通过相同种类或不同种类的两个以上的处理器的组合(例如多个fpga的组合或cpu和fpga的组合)而构成。

数字信号处理部17、外部存储器控制部20及显示驱动器22通过控制总线24及数据总线25而彼此连接,并根据来自系统控制部11的指令进行动作。

图2是表示图1所示的成像元件5的概略结构的平面示意图。图3是表示图2所示的成像元件5的像素61的概略结构的平面示意图。图4是图3所示的成像元件5的像素61的a-a线剖面示意图。

成像元件5具备:受光面60,在与行方向x正交的列方向y上排列有多个由在单方向即行方向x上排列的多个像素61构成的像素行62;驱动电路63,驱动在受光面60上排列的像素61;及信号处理电路64,处理从在受光面60上排列的像素行62的各像素61读取到信号线的信号。

以下,在图2中将受光面60的列方向y的上方向的端部称作上端,将受光面60的列方向y的下方向的端部称作下端。

如图3所示,像素61具备形成于半导体基板的光电转换元件61a、电荷保持部61b、电荷传送部61c、浮动扩散区61d及读取电路61e。

光电转换元件61a接收在透镜装置40的摄像光学系统中穿过的光,产生与受光量对应的电荷并进行积蓄。光电转换元件61a由光电二极管等构成。

电荷传送部61c将积蓄在光电转换元件61a中的电荷传送到电荷保持部61b。电荷传送部61c由半导体基板内的杂质区域和形成于该杂质区域的上方的电极构成。

施加到构成电荷传送部61c的电极上的电压通过驱动电路63而被控制,由此进行从光电转换元件61a向电荷保持部61b传送电荷。

电荷保持部61b保持从光电转换元件61a通过电荷传送部61c而传送的电荷。电荷保持部61b由半导体基板内的杂质区域构成。

浮动扩散区61d用于将电荷转换成电压信号,保持在电荷保持部61b中的电荷被传送。

读取电路61e是将与浮动扩散区61d的电位对应的信号(摄像信号或暗信号)读取到信号线65的电路。读取电路61e通过驱动电路63而被驱动。

如图4所示,在n型基板70表面形成有p孔层71,在p孔层71的表面部形成有光电转换元件61a。光电转换元件61a由n型杂质层73和形成于其上的p型杂质层74构成。通过n型基板70和p孔层71构成半导体基板。

在p孔层71的表面部,从光电转换元件61a稍微隔离而形成有由n型杂质层构成的电荷保持部61b。在电荷保持部61b与光电转换元件61a之间的p孔层71的区域75的上方,经由省略图示的氧化膜而形成有传送电极76。

区域75和传送电极76构成电荷传送部61c。在图4的例子中,传送电极76形成至电荷保持部61b的上方,但传送电极76只要至少形成于区域75上方即可。通过控制传送电极76的电位而在区域75形成通道,由此能够将积蓄在光电转换元件61a中的电荷传送到电荷保持部61b。传送电极76的电位通过驱动电路63而被控制。

在p孔层71的表面部,从电荷保持部61b稍微隔离而形成有由n型杂质层构成的浮动扩散区61d。在电荷保持部61b与浮动扩散区61d之间的p孔层71的上方,经由省略图示的氧化膜而形成有读取电极72。

通过控制读取电极72的电位而在电荷保持部61b与浮动扩散区61d之间的区域形成通道,由此能够将保持在电荷保持部61b中的电荷传送到浮动扩散区61d。读取电极72的电位通过驱动电路63而被控制。

在图4所示例中,读取电路61e通过以下晶体管构成:复位晶体管77,用于使浮动扩散区61d复位的电位;输出晶体管78,将浮动扩散区61d的电位转换为信号并输出;选择晶体管79,用于将从输出晶体管78输出的信号选择性地读取到信号线65。读取电路的结构是一个例子,并不限定于此。

另外,有时读取电路61e在多个像素61中通用。

在图3所示的像素61的俯视下,光电转换元件61a的一部分区域、电荷保持部61b、电荷传送部61c、浮动扩散区61d及读取电路61e通过省略图示的遮光膜而被遮光。

另外,关于在成像元件5的受光面60配置的各像素行62的例如位于右端的像素61,光电转换元件61a、电荷保持部61b、电荷传送部61c、浮动扩散区61d及读取电路61e全部通过遮光膜而被遮光,该像素61作为黑电平检测用像素而发挥功能。

图2所示的驱动电路63通过成像元件驱动部10的控制而驱动各像素61的传送电极76、读取电极72及读取电路61e。

驱动电路63能够进行全局复位驱动、全局快门驱动、信号读取驱动、卷帘复位驱动及卷帘快门驱动。

全局复位驱动是如下驱动:在所有像素61中,同时进行光电转换元件61a及电荷保持部61b的复位(积蓄在光电转换元件61a和电荷保持部61b中的电荷的排出)。

在将电荷传送部61c设为能够传送电荷的状态、且在读取电极72下方的半导体基板上形成有通道的状态下,通过复位晶体管77使浮动扩散区61d复位,由此进行像素61的光电转换元件61a及电荷保持部61b的复位。

全局快门驱动是如下驱动:同时驱动所有像素61的电荷传送部61c,从而将积蓄在各像素61的光电转换元件61a中的电荷同时传送到电荷保持部61b。

信号读取驱动是如下驱动:驱动位于像素行62上的各像素61的读取电极72,从而将积蓄在该各像素61的电荷保持部61b中的电荷传送到浮动扩散区61d,一边改变像素行62,一边依次实施将与该电荷对应的信号读取到信号线65的驱动。

卷帘复位驱动是如下驱动:一边改变像素行62,一边依次实施位于像素行62上的各像素61的光电转换元件61a及电荷保持部61b的复位。

卷帘快门驱动是如下驱动:驱动位于像素行62上的各像素61的电荷传送部61c及读取电极72,从而将积蓄在该各像素61的光电转换元件61a中的电荷经由电荷保持部61b而传送到浮动扩散区61d,一边改变像素行62,一边依次实施将与该电荷对应的信号依次读取到信号线65的驱动。

图2所示的信号处理电路64对从像素行62的各像素61读取到信号线65的信号进行相关双采样处理,将相关双采样处理后的信号转换为数字信号并输出到数据总线25。信号处理电路64通过成像元件驱动部10而被控制。

图1所示的系统控制部11的处理器在静态图像摄像模式中发出了摄像指示的情况下,作为进行以下第一驱动控制、第二驱动控制及第三驱动控制的驱动控制部而发挥功能。

第一驱动控制是由驱动电路63依次实施上述全局复位驱动和全局快门驱动的控制。

在该第一驱动控制中,各像素61的光电转换元件61a及电荷保持部61b被复位而开始光电转换元件61a的曝光,之后,积蓄在光电转换元件61a中的摄像电荷传送到像素61的电荷保持部61b而结束曝光。

第二驱动控制是如下控制:在进行第一驱动控制的期间,在通过第一驱动控制而实施全局快门驱动之前,通过驱动电路63而实施上述信号读取驱动。

在该第二驱动控制中,在摄像电荷通过第一驱动控制的全局快门驱动而传送到电荷保持部61b之前,与保持在电荷保持部61b中的暗电荷对应的暗信号通过读取电路61e而被读取。

第三驱动控制是如下控制:在进行了第一驱动控制之后,通过驱动电路63而实施上述信号读取驱动。

在该第三驱动控制中,在基于第一驱动控制的曝光结束之后,对每个像素行62,与保持在电荷保持部61b中的摄像电荷对应的摄像信号通过读取电路61e而被读取。

另外,系统控制部11在静态图像摄像模式中未发出摄像指示的期间,通过驱动电路63交替地反复进行上述卷帘复位驱动和卷帘快门驱动。

图1所示的数字信号处理部17对通过上述第三驱动控制或卷帘快门驱动从成像元件5输出的摄像信号的集合即摄像图像信号进行黑电平校正、插值运算、伽马校正运算及rgb/yc转换处理等处理,由此生成对显示部23的显示用即时预览图像数据和对存储介质21的存储用摄像图像数据。

数字信号处理部17根据从成像元件5中所包含的黑电平检测用像素61读取的信号,进行从成像元件5输出的摄像图像信号的黑电平校正。

并且,数字信号处理部17根据暗图像信号进行通过上述第三驱动控制而从成像元件5输出的摄像图像信号的黑电平校正,所述暗图像信号由通过上述第二驱动控制而从成像元件5的各像素61读取的与暗电荷对应的暗信号构成。数字信号处理部17的处理器作为图像处理部而发挥功能。

黑电平校正是指去除在成像元件5的光电转换元件61a中产生的暗电流(在将光电转换元件61a遮光的状态下,与在光电转换元件61a中产生的暗电荷对应的信号)的信号处理。

对如上所述构成的数码相机100的静态图像摄像模式时的动作进行说明。

图5是表示图1所示的数码相机100的静态图像摄像模式时的动作的时序图。

图5中横轴表示时间。在图5的上级示出垂直同步信号vd。

在图5的下级中示出位于成像元件5的受光面60上的各像素行62的驱动时刻。在图5的下级中,纵轴表示像素行62的列方向y的位置。

图5所示的直线rr和直线gr分别表示进行在像素行62中所包含的各光电转换元件61a及各电荷保持部61b的复位时刻。

图5所示的直线gp表示与保持在像素行62中所包含的各电荷保持部61b中的暗电荷对应的暗信号通过读取电路61e而被读取的时刻。

图5所示的直线gs表示电荷从像素行62中所包含的各光电转换元件61a传送到电荷保持部61b的时刻。

图5所示的直线go表示与保持在像素行62中所包含的各电荷保持部61b中的电荷对应的信号通过读取电路61e而被读取的时刻。

图5所示的直线ro表示积蓄在像素行62中所包含的各光电转换元件61a中的电荷传送到浮动扩散区61d,与该电荷对应的信号通过读取电路61e而被读取的时刻。

若数码相机100设定为静态图像摄像模式,则开始即时预览序列lv。

在即时预览序列lv中,系统控制部11首先通过驱动电路63而进行卷帘快门驱动。

通过该卷帘快门驱动,如用直线ro来表示,从受光面60的上端侧向下端侧例如以四分之一的比率依次选择像素行62,并与积蓄在被选择的像素行62的各光电转换元件61a中的电荷对应的信号通过读取电路61e而被读取。

在即时预览序列lv开始之后,首先在直线ro上读取的信号不被利用于即时预览图像数据的生成中,而直接被废弃。

接着,系统控制部11通过驱动电路63进行卷帘复位驱动。

通过该卷帘复位驱动,如用直线rr来表示,从受光面60的上端侧向下端侧依次选择像素行62,进行被选择的像素行62的各光电转换元件61a及各电荷保持部61b的复位。由此,针对每个像素行62,在不同的时刻开始进行用于即时预览的曝光。

若经过指定的曝光时间,则系统控制部11通过驱动电路63而进行卷帘快门驱动。

通过该卷帘快门驱动,如用直线ro来表示,从受光面60的上端侧向下端侧以四分之一的比率依次选择像素行62,并在被选择的像素行62中,进行从光电转换元件61a向电荷保持部61b传送摄像电荷、以及从电荷保持部61b向浮动扩散区61d传送摄像电荷。然后,读取与该摄像电荷对应的摄像信号。

由此,由从依次被选择的像素行62读取的摄像信号构成的摄像图像信号输出到数据总线25。

数字信号处理部17根据输出到数据总线25的摄像图像信号生成即时预览图像数据并传送到显示驱动器22。由此,在显示部23显示基于即时预览图像数据的即时预览图像。

直至发出摄像指示为止,与垂直同步信号vd同步而反复进行以上处理。

若在即时预览序列lv的期间发出摄像指示,则在刚发出该摄像指示之后的垂直同步信号vd下降的时刻开始静态图像曝光序列ex。

在静态图像曝光序列ex中,系统控制部11首先通过驱动电路63而进行全局复位驱动。

通过该全局复位驱动,如用直线gr来表示,在所有像素行62中同时进行光电转换元件61a及电荷保持部61b的复位,在所有像素行62中,在相同的时刻开始进行静态图像的曝光。

若在静态图像的曝光开始之后经过时间,则作为静态图像曝光序列ex的一部分而开始进行电荷保持部预读取序列pre。

在电荷保持部预读取序列pre中,系统控制部11通过驱动电路63而进行信号读取驱动。

通过该信号读取驱动,如用直线gp来表示,从受光面60的上端侧向下端侧依次选择像素行62,在被选择的像素行62中实施从电荷保持部61b向浮动扩散区61d传送暗电荷、以及将与该暗电荷对应的暗信号读取到信号线65。

通过该电荷保持部预读取序列pre,在静态图像的曝光开始之后,由与在各电荷保持部61b中产生的暗电荷对应的暗信号构成的暗图像信号p1输出到数据总线25。该暗图像信号p1临时存储在数字信号处理部17的内部存储器17a。

之后,若在静态图像的曝光开始之后经过曝光时间t,则系统控制部11通过驱动电路63进行全局快门驱动。

通过该全局快门驱动,如用直线gs来表示,在所有像素行62中同时进行从光电转换元件61a向电荷保持部61b传送摄像电荷,在所有像素行62中,在相同的时刻结束静态图像的曝光,并结束静态图像曝光序列ex。

若静态图像曝光序列ex结束,则开始静态图像读取序列re。在静态图像读取序列re中,系统控制部11通过驱动电路63而进行信号读取驱动。

通过该信号读取驱动,如用直线go来表示,从受光面60的上端侧向下端侧依次选择像素行62,在被选择的像素行62中实施从电荷保持部61b向浮动扩散区61d传送摄像电荷、以及将与该摄像电荷对应的摄像信号读取到信号线65。

若结束从所有像素61读取摄像信号,则开始即时预览序列lv。

由此,在静态图像的曝光期间,由与在光电转换元件61a中产生的摄像电荷对应的摄像信号构成的摄像图像信号p2输出到数据总线25。该摄像图像信号p2临时存储在数字信号处理部17的内部存储器17a。

而且,数字信号处理部17根据暗图像信号p1计算摄像图像信号p2的黑电平,并根据所算出的黑电平进行摄像图像信号p2的黑电平校正。

例如,数字信号处理部17计算构成暗图像信号p1的所有暗信号的平均值,并从构成摄像图像信号p2的各摄像信号减去该平均值,由此进行摄像图像信号p2的黑电平校正。

或者,数字信号处理部17从构成摄像图像信号p2的各摄像信号减去构成从该各摄像信号的读取来源的像素61读取的暗图像信号p1的暗信号,由此进行摄像图像信号p2的黑电平校正。

而且,数字信号处理部17处理黑电平校正后的摄像图像信号p2而生成摄像图像数据,并存储在存储介质21。

另外,图5所示的时序图表示曝光时间t比用直线gp来表示的从电荷保持部61b读取暗信号时所需最低限度的时间(以下,称作预读取时间)长的情况的动作。

然而,在被摄体明亮的状况等、且曝光时间t比预读取时间短的情况下,在静态图像的曝光时间中无法执行电荷保持部预读取序列pre。

因此,在曝光时间t比预读取时间短的情况下,系统控制部11省略用直线gp来表示的第二驱动控制的实施。

图6是表示图1所示的数码相机的静态图像摄像模式时的其他动作的时序图,是曝光时间t比预读取时间短的情况的时序图。

图6所示的时序图除了省略了电荷保持部预读取序列pre这一点以外,与图5所示的时序图相同。

在图6所示的动作中,由于省略了电荷保持部预读取序列pre,因此无法获取暗图像信号p1。

由此,数字信号处理部17在构成在静态图像读取序列re中读取的摄像图像信号p2的摄像信号中,根据从黑电平检测用像素61读取的摄像信号计算黑电平。例如,计算从黑电平检测用像素61读取的摄像信号的平均值作为黑电平。

而且,数字信号处理部17从构成摄像图像信号p2的各摄像信号减去该黑电平,由此进行摄像图像信号p2的黑电平校正。数字信号处理部17处理该黑电平校正后的摄像图像信号p2而生成摄像图像数据,并存储在存储介质21。

图7是用于说明图1所示的数码相机100的静态图像摄像模式时的动作的流程图。

系统控制部11在所设定的静态图像的曝光时间t为阈值th1以上的情况下(步骤s1:是),如图5所示的时序图中所例示,在静态图像的曝光中实施电荷保持部预读取序列pre(步骤s2)。阈值th1被设定有上述预读取时间。

而且,数字信号处理部17根据通过电荷保持部预读取序列pre从电荷保持部61b读取的暗图像信号计算黑电平,并使用该黑电平进行通过静态图像读取序列re而读取的摄像图像信号的黑电平校正(步骤s3)。

另一方面,在曝光时间t小于阈值th1的情况下(步骤s1:否),如图6所示的时序图中所例示,系统控制部11省略静态图像的曝光中的电荷保持部预读取序列pre(步骤s4)。

而且,数字信号处理部17根据通过静态图像读取序列re而读取的摄像图像信号中的从黑电平检测用的像素61读取的摄像信号计算黑电平,之后,使用该黑电平进行通过静态图像读取序列re而读取的摄像图像信号的黑电平校正(步骤s5)。

如上所述,图1的数码相机100在静态图像的曝光期间中,读取与在电荷保持部61b中产生的暗电荷对应的暗信号,并根据该暗信号计算黑电平。而且,使用该黑电平进行在静态图像的曝光期间中得到的摄像图像信号的黑电平校正。

电荷保持部61b和光电转换元件61a靠近配置,这些均由半导体基板内的杂质区域构成,因此结构和特性相似。即,电荷保持部61b中的暗电荷的产生状态和光电转换元件61a中的暗电荷的产生状态相似。

因此,根据与在电荷保持部61b中产生的暗电荷对应的暗信号计算黑电平,由此能够将黑电平的可靠性设为较高,并能够生成高品质的摄像图像数据。

并且,根据数码相机100,在静态图像的曝光时间小于阈值th1的情况下不进行电荷保持部预读取序列pre,因此能够减少耗电量。

已知有在黑电平检测用像素61的光电转换元件61a中产生的第一暗电荷与在除了黑电平检测用像素61以外的像素61的光电转换元件61a中产生的第二暗电荷的关系根据曝光时间t发生变化。

例如,在曝光时间t短的情况下,第一暗电荷的量和第二暗电荷的量大致相同。然而,在曝光时间t长的情况下,第一暗电荷的量与第二暗电荷的量之差变大。图5中所例示的序列能够进行高精度的黑电平校正,因此在第一暗电荷的量与第二暗电荷的量之差变大的状况下,优选执行该序列。

从而,上述阈值th1可以设定有大于预读取时间的值。作为阈值th1,设定有导致第一暗电荷的量与第二暗电荷的量之差变大、且使用第一暗电荷计算的黑电平的可靠性不充分的曝光时间的下限值。根据该结构,提高省略电荷保持部预读取序列pre的可能性,因此能够减少耗电量。

另外,只要是曝光时间t只能设定为上述预读取时间以上的系统结构,则无需实施图6中所例示的摄像序列,在图7中不需要步骤s1、步骤s4及步骤s5。

图8是表示作为图1所示的数码相机100的变形例的数码相机100a的概略结构的图。数码相机100a除了追加了温度传感器50这一点以外,与数码相机100为相同的结构。

温度传感器50设置在成像元件5的附近,并检测成像元件5的温度。通过温度传感器50检测出的温度信息输入到系统控制部11。

在黑电平检测用像素61的光电转换元件61a中产生的第一暗电荷与在除了黑电平检测用像素61以外的像素61(以下,称作有效像素)的光电转换元件61a中产生的第二暗电荷的关系根据成像元件5的温度也发生变化。

例如,在温度低的情况下,第一暗电荷的量和第二暗电荷的量大致相同。然而,在温度高的情况下,第一暗电荷的量与第二暗电荷的量之差变大。

由此,系统控制部11在发出了摄像指示的情况下,在成像元件5的温度小于阈值th2的情况下省略第二驱动控制(电荷保持部预读取序列pre),从而进行第一驱动控制和第三驱动控制,在成像元件5的温度成为阈值th2以上的情况下,进行第一驱动控制、第二驱动控制及第三驱动控制,由此减少耗电量。

图9是用于说明图8所示的数码相机100a的静态图像摄像模式时的动作的流程图。

图9所示的流程图除了追加了步骤s11这一点以外,与图7所示的流程图相同。图9中对与图7所示的处理相同的处理标注相同的符号并省略说明。

系统控制部11在步骤s1的判定为“是”的情况下,判定通过温度传感器50检测出的成像元件5的温度是否为阈值th2以上(步骤s11)。

阈值th2设定为导致第一暗电荷的量与第二暗电荷的量之差变大、且使用第一暗电荷计算的黑电平的可靠性不充分的温度的下限值。

系统控制部11在判定出温度为阈值th2以上的情况下(步骤s11:是)进行步骤s2的处理,在判定出温度小于阈值th2的情况下(步骤s11:否)进行步骤s4的处理。

如上所述,根据数码相机100a,即使在曝光时间t足够长以能够实施电荷保持部预读取序列pre的情况下,只要成像元件5的温度未成为阈值th2以上,就不实施电荷保持部预读取序列pre。因此能够减少耗电量。

另一方面,在成像元件5的温度成为阈值th2以上的情况下实施电荷保持部预读取序列pre,因此能够高精度地进行黑电平校正。

另外,如果只能将曝光时间t设定为上述预读取时间以上的系统结构,则图9中不需要步骤s1。

以下,对数字信号处理部17使用暗图像信号p1计算黑电平的方法的优选例进行说明。

严格来讲,在光电转换元件61a中产生的暗电荷和在电荷保持部61b中产生的暗电荷不相同。由此,当制造数码相机时,生成表示第一暗信号与第二暗信号的相关关系的信息并存储在内部存储器17a,所述第一暗信号在成像元件5被遮光的状态下与在光电转换元件61a中产生的暗电荷对应,第二暗信号在相同状态下与在电荷保持部61b中产生的暗电荷对应。

而且,数字信号处理部17根据存储在内部存储器17a中的上述信息和暗图像信号p1计算摄像图像信号p2的黑电平。内部存储器17a构成存储部。

表示相关关系的信息是函数“y=ax+b”的系数a、b,其中,将与在光电转换元件61a中产生的暗电荷对应的第一暗信号设为y,将与在电荷保持部61b中产生的暗电荷对应的第二暗信号设为变量x。

系数a、b的计算如下。当制造数码相机100、100a时,在将成像元件5遮光的状态下、且成像元件5的温度为指定温度的状态下,多次测定与在任意的有效像素的光电转换元件61a中以规定时间产生的暗电荷对应的第一暗信号,并多次测定与在该任意的有效像素的电荷保持部61b中以规定时间产生的暗电荷对应的第二暗信号。

然后,由所测定出的多个第一暗信号和多个第二暗信号并通过最小二乘法等而计算上述函数“y=ax+b”的系数a、b。

如此计算的函数“y=ax+b”是用于将与在电荷保持部61b产生的暗电荷对应的信号换算为与在光电转换元件61a产生的暗电荷对应的信号的运算式。即,根据该计算式能够高精度地计算从光电转换元件61a读取的摄像信号的黑电平。

图10是表示图7所示的步骤s3的详细内容的流程图。在图10的处理例中,在内部存储器17a中存储有上述函数“y=ax+b”的系数a、b。

首先,数字信号处理部17计算构成暗图像信号p1的所有暗信号的平均值(步骤s21)

接着,数字信号处理部17从内部存储器17a读取转换系数a、b(步骤s22)。

接着,数字信号处理部17在函数“y=ax+b”的变量x中代入在步骤s21中算出的平均值,从而对所有有效像素计算通用的黑电平(步骤s23)。

若摄像图像信号p2存储在内部存储器17a中,则数字信号处理部17从构成摄像图像信号p2的各摄像信号减去在步骤s23中算出的黑电平而进行黑电平校正(步骤s34)。

如上所述,根据图10所示的黑电平校正处理,能够高精度地校正摄像图像信号p2的黑电平以提高摄像图像数据的品质。

数字信号处理部17省略步骤s21,在步骤s23中,可以在函数“y=ax+b”的变量x中代入暗图像信号p1的各暗信号,从而对每个多个像素61算出黑电平。

该情况下,数字信号处理部17在步骤s24中,从构成摄像图像信号p2的各摄像信号减去与该各摄像信号的读取来源的像素61对应的黑电平而进行黑电平校正。

另外,认为当制造数码相机时测定的第一暗信号与第二暗信号的关系根据成像元件5的温度或曝光时间也发生变化。

因此,可以改变上述规定时间或指定温度进行多次测定多次第一暗信号及第二暗信号的组,针对多个时间或多个温度中的每一个计算上述函数“y=ax+b”的系数a、b并进行存储。

该情况下,数字信号处理部17只要在图10的步骤s22中读取与成像元件5的温度或曝光时间t对应的转换系数a、b,并在步骤s23中使用该转换系数a、b计算黑电平即可。由此,能够以更高精度计算黑电平。

并且,可以不是针对多个时间或多个温度中的每一个计算转换系数a、b并进行存储,而是对曝光的基准时间或成像元件5的基准温度计算基准转换系数a、b并存储在内部存储器17a中。

该情况下,还将相对于基准时间的相对值或相对于基准温度的相对值和基准转换系数a、b的校正信息(表示增减多少a、b的数值)建立对应关联并存储在内部存储器17a中。

而且,数字信号处理部17计算成像元件5的温度与基准温度之差作为相对值,并从内部存储器17a读取与该相对值对应的校正信息和基准转换系数a、b。

数字信号处理部17根据所读取的校正信息校正基准转换系数a、b,并使用校正后的基准转换系数a、b计算黑电平。

或者,数字信号处理部17计算成像元件5的曝光时间t与基准时间之差作为相对值,并从内部存储器17a读取与该相对值对应的校正信息和基准转换系数a、b。

而且,数字信号处理部17根据所读取的校正信息校正基准转换系数a、b,并使用校正后的基准转换系数a、b计算黑电平。

另外,针对成像元件5的每个有效像素进行上述测定,根据该测定结果计算上述函数“y=ax+b”的系数a、b并存储在内部存储器17a中。

暗电荷的产生状态针对每个有效像素是不同的,因此使用与每个有效像素对应的转换系数计算黑电平,由此能够以更高精度计算黑电平。

图11是表示图7所示的步骤s3的详细内容的变形例的流程图。

在图11的处理例中,在内部存储器17a中,上述函数“y=ax+b”的系数a、b存储在成像元件5中所包含的所有有效像素的每一个中。

另外,将配置在受光面60上的有效像素的位置设为坐标(x,y),将与坐标(x,y)的有效像素对应的函数设为“y(x,y)=a(x,y)x+b(x,y)”而进行说明。

首先,数字信号处理部17从内部存储器17a读取与坐标(x,y)的有效像素对应的转换系数a(x,y)及转换系数b(x,y)(步骤s31)。

接着,数字信号处理部17在函数“y(x,y)=a(x,y)x+b(x,y)”的变量x中代入暗图像信号p1中的从坐标(x,y)的有效像素读取的暗信号,从而计算与坐标(x,y)的有效像素对应的黑电平y(x,y)(步骤s32)。

数字信号处理部17在对所有有效像素未算出黑电平的情况下(步骤s33:否),在步骤s34中,将有效像素的坐标(x,y)变更为另一值,并使处理返回到步骤s31。通过反复进行步骤s31~步骤s34的处理,对所有有效像素计算黑电平。

数字信号处理部17在对所有有效像素算出黑电平的情况下(步骤s33:是),若摄像图像信号p2存储在内部存储器17a中,则从摄像图像信号p2中的从坐标(x,y)的有效像素读取的摄像信号减去与该有效像素对应的黑电平y(x,y)而进行黑电平校正(步骤s35)。

如上所述,根据图11所示的黑电平校正处理,使用针对每个有效像素生成的转换系数,能够对每个有效像素高精度地计算黑电平。因此能够高精度地校正摄像图像信号p2的黑电平以提高摄像图像数据的品质。

在图11所示的黑电平校正处理中,也优选对成像元件5的每个温度或曝光时间求出与每个有效像素对应的转换系数并存储在内部存储器17a中。

该情况下,数字信号处理部17在图11的步骤s31中,在与坐标(x,y)的有效像素对应的转换系数中,读取与成像元件5的温度或曝光时间t对应的转换系数a(x,y)及转换系数b(x,y),在步骤s32中,使用该转换系数a(x,y)及转换系数b(x,y)计算黑电平即可。由此能够以更高精度计算黑电平。

并且,针对每个有效像素,可以相对于曝光的基准时间或成像元件5的基准温度计算基准转换系数a、b并存储在内部存储器17a中,进而,可以将相对于基准时间的相对值或相对于基准温度的相对值和基准转换系数a、b的校正信息建立对应关联并存储在内部存储器17a中。

该情况下,数字信号处理部17计算成像元件5的温度与基准温度之差作为相对值,并从内部存储器17a读取与作为黑电平的计算对象的有效像素对应的校正信息中的与该相对值对应的校正信息和与作为黑电平的计算对象的有效像素对应的基准转换系数a、b。

而且,数字信号处理部17根据所读取的校正信息校正基准转换系数a、b,并使用校正后的基准转换系数a、b计算作为黑电平的计算对象的有效像素的黑电平。

或者,数字信号处理部17计算成像元件5的曝光时间t与基准时间之差作为相对值,并从内部存储器17a读取与作为黑电平的计算对象的有效像素对应的校正信息中的与该相对值对应的校正信息、及与作为黑电平的计算对象的有效像素对应的基准转换系数a、b。

而且,数字信号处理部17根据所读取的校正信息校正基准转换系数a、b,并使用校正后的基准转换系数a、b计算作为黑电平的计算对象的有效像素的黑电平。

在数码相机100、100a中,在静态图像曝光序列ex中进行全局复位驱动和全局快门驱动,由此在所有像素61中同时进行曝光,但并不限定于此。

图12是表示图5所示的时序图的变形例的图。

例如,如图12的直线rr1所示,系统控制部11在静态图像曝光序列ex中进行卷帘复位驱动,从而对每个像素行62依次开始进行曝光。之后,如直线ro2所示,系统控制部11驱动位于像素行62上的各像素61的电荷传送部61c,从而一边改变像素行62,一边依次实施将积蓄在该各像素61的光电转换元件61a中的摄像电荷传送到电荷保持部61b的驱动,从而使针对每个像素行62依次结束进行曝光。

根据该结构,在各像素行62中,从进行电荷保持部61b的复位开始至读取与在电荷保持部61b中产生的暗电荷对应的暗信号为止的时间变成相同。因此能够以更高精度求出黑电平。

至此,作为摄像装置,以数码相机为例,以下,作为摄像装置,对相机的智能手机的实施方式进行说明。

图13是表示本发明的摄像装置的一实施方式即智能手机200的外观的图。

图13所示的智能手机200具有平板状框体201,在框体201的一面具备作为显示部的显示面板202和作为输入部的操作面板203成为一体的显示输入部204。

并且,这种框体201具备扬声器205、麦克风206、操作部207及相机部208。

另外,框体201的结构并不限定于此,例如能够采用显示部和输入部独立的结构,或者也能够采用折叠结构或具有滑动机构的结构。

图14是表示图13所示的智能手机200的结构的框图。

如图14所示,作为智能手机的主要构成要件,具备无线通信部210、显示输入部204、通话部211、操作部207、相机部208、存储部212、外部输入输出部213、gps(globalpositioningsystem:全球智能系统)接收部214、动作传感器部215、电源部216及主控制部220。

并且,作为智能手机200的主要功能,具备进行经由省略图示的基地局装置bs和省略图示的移动通信网络nw的移动无线通信的无线通信功能。

无线通信部210按照主控制部220的指示对容纳于移动通信网络nw的基地局装置bs进行无线通信。使用该无线通信进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发,或者进行web数据或流数据等的接收。

显示输入部204是所谓的触摸面板,其通过主控制部220的控制而显示图像(静态图像及动态图像)或字符信息等,从而以视觉的方式向用户传递信息,并且检测对所显示的信息的用户操作,并具备显示面板202和操作面板203。

显示面板202将lcd(liquidcrystaldisplay:液晶显示器)、oeld(organicelectro-luminescencedisplay:有机发光二极管)等用作显示器件。

操作面板203是以视觉辨认的方式载置显示于显示面板202的显示面上的图像,并检测通过用户的手指或触控笔操作的一个或多个坐标的器件。若通过用户的手指或触控笔而操作该器件,则将因操作而产生的检测信号输出到主控制部220。接着,主控制部220根据接收到的检测信号检测显示面板202上的操作位置(坐标)。

如图13所示,作为本发明的摄像装置的一实施方式而例示的智能手机200的显示面板202与操作面板203成为一体而构成显示输入部204,成为操作面板203完全覆盖显示面板202的配置。

在采用了这种配置的情况下,操作面板203可以具备对除了显示面板202以外的区域也检测用户操作的功能。换言之,操作面板203可以具备关于重叠于显示面板202的重叠部分的检测区域(以下,称作显示区域)和关于除此以外的不重叠于显示面板202的外缘部分的检测区域(以下,称作非显示区域)。

另外,可以使显示区域的大小与显示面板202的大小完全一致,但无需一定使两者一致。并且,操作面板203可以具备外缘部分和除此以外的内侧部分两个感应区域。另外,外缘部分的宽度可以根据框体201的大小等适当地设计。

而且,作为在操作面板203中采用的位置检测方式,可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式或静电电容方式等,也能够采用任一种方式。

通话部211具备扬声器205或麦克风206,将通过麦克风206输入的用户的语音转换成通过主控制部220能够处理的语音数据并输入到主控制部220,或者将由无线通信部210或外部输入输出部213接收到的语音数据进行解密并从扬声器205输出。

并且,如图13所示,例如将扬声器205搭载于与设置有显示输入部204的面相同的面上,能够将麦克风206搭载于框体201的侧面。

操作部207为使用了键开关等的硬件键,其接受来自用户的指示。例如如图13所示,操作部207为按钮式开关,其搭载于智能手机200的框体201的侧面,若用手指等按下则开启,若手指离开则通过弹簧等恢复力而成为关闭状态。

存储部212存储主控制部220的控制程序或控制数据、应用软件、将通信对方的名称或电话号码等建立对应关联的地址数据、收发电子邮件的数据、通过网页浏览而下载的web数据、所下载的内容数据,并且临时存储流数据等。并且,存储部212由智能手机内置的内部存储部217和具有装卸自如的外部存储器用的插槽的外部存储部218构成。

另外,构成存储部212的各个内部存储部217和外部存储部218使用闪存类型(flashmemorytype)、硬盘类型(harddisktype)、微型多媒体卡类型(multimediacardmicrotype)、卡类型存储器(例如microsd(注册商标)存储器等)、ram(randomaccessmemory:随机存取存储器)、rom(readonlymemory:只读存储器)等存储介质而实现。

外部输入输出部213发挥与连接于智能手机200的所有外部设备的接口的作用,用于通过通信等(例如通用串行总线(usb)、ieee1394等)或网络(例如因特网、无线lan、蓝牙(bluetooth)(注册商标)、rfid(radiofrequencyidentification:射频识别)、红外线通信(infrareddataassociation:irda)(注册商标)、uwb(ultrawideband:超宽带)(注册商标)、紫蜂(zigbee)(注册商标)等)而直接或间接地连接于其他外部设备。

作为连接于智能手机200上的外部设备,例如有:有线/无线头戴式耳机、有线/无线外部充电器、有线/无线数据端口、经由卡插槽而连接的存储卡(memorycard)或sim(subscriberidentitymodulecard:用户识别模块卡)/uim(useridentitymodulecard:用户身份模块卡)卡、经由音频/视频i/o(input/output:输入/输出)端子而连接的外部音频/视频设备、无线连接的外部音频/视频设备、有线/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的pda、有线/无线连接的个人计算机、耳机等。

外部输入输出部213能够将从这种外部设备接受到传送的数据传递至智能手机200内部的各构成要件,或者能够使智能手机200内部的数据传送到外部设备。

gps接收部214按照主控制部220的指示而接收从gps卫星st1~stn发送的gps信号,根据接收到的多个gps信号执行测位运算处理,并检测由智能手机200的纬度、经度、高度构成的位置。

gps接收部214在能够从无线通信部210或外部输入输出部213(例如无线lan)获取位置信息时,也能够使用该位置信息检测位置。

运动传感器部215例如具备3轴加速度传感器等,按照主控制部220的指示而检测智能手机200的物理移动。通过检测智能手机200的物理移动而检测智能手机200的移动方向或加速度。该检测结果被输出到主控制部220。

电源部216按照主控制部220的指示,向智能手机200的各部供应蓄存在电池(未图示)中的电力。

主控制部220具备微处理器,按照存储部212存储的控制程序或控制数据进行工作,对智能手机200的各部进行总括控制。

并且,主控制部220通过无线通信部210而进行语音通信或数据通信,因此具备控制通信系统的各部的移动通信控制功能和应用处理功能。

应用处理功能通过主控制部220按照存储部212存储的应用软件进行工作而实现。

作为应用处理功能,例如有控制外部输入输出部213而与对置设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能或浏览网页的网页浏览功能等。

并且,主控制部220具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)将影像显示于显示输入部204等的图像处理功能。

图像处理功能是指如下功能:主控制部220将上述图像数据进行解密,并对该解密结果实施图像处理,从而将图像显示于显示输入部204。

而且,主控制部220执行对显示面板202的显示控制和检测通过操作部207及操作面板203进行的用户操作的操作检测控制。通过执行显示控制,主控制部220显示用于启动应用软件的图标或滚动条等软件键,或者显示用于制作电子邮件的窗口。

另外,滚动条是指软件键,其关于无法完全收进显示面板202的显示区域中的大的图像等,用于接受移动图像的显示部分的指示。

并且,通过操作检测控制的执行,主控制部220检测通过操作部207进行的用户操作,通过操作面板203而接受对上述图标的操作或对上述窗口的输入栏的字符串的输入,或者接受通过滚动条进行的显示图像的滚动请求。

而且,通过操作检测控制的执行,主控制部220判定对操作面板203的操作位置是与显示面板202重叠的重叠部分(显示区域),还是除此以外的不与显示面板202重叠的外缘部分(非显示区域),具备对操作面板203的感应区域或软件键的显示位置进行控制的触摸面板控制功能。

并且,主控制部220也能够检测对操作面板203的手势操作,并根据检测到的手势操作执行预先设定的功能。手势操作不是以往的简单的触摸操作,而是通过手指等绘制轨迹,或者同时指定多个位置,或者组合这些从多个位置中至少对1个位置绘制轨迹的操作。

相机部208包括除了图1所示的数码相机中的外部存储器控制部20、存储介质21、显示驱动器22、显示部23及操作部14以外的结构。

通过相机部208而生成的摄像图像数据能够存储在存储部212,或者通过外部输入输出部213或无线通信部210而输出。

在图13所示的智能手机200中,相机部208搭载于与显示输入部204相同的面上,但相机部208的搭载位置并不限定于此,也可以搭载于显示输入部204的背面。

并且,相机部208能够利用于智能手机200的各种功能中。例如在显示面板202上能够显示在相机部208中获取的图像。作为操作面板203的操作输入之一,能够利用相机部208的图像。

并且,在gps接收部214在检测位置时,也能够参考来自相机部208的图像而检测位置。进而,也能够参考来自相机部208的图像,不使用3轴加速度传感器,或者并用3轴加速度传感器而判断智能手机200的相机部208的光轴方向,或者判断当前的使用环境。当然,也能够将来自相机部208的图像利用于应用软件内。

此外,也能够在静态图像或动画的图像数据中附加由gps接收部214获取的位置信息、由麦克风206获取的语音信息(也可以由主控制部等进行语音文本转换而成为文本信息)、由运动传感器部215获取的姿势信息等记录在存储部212,或者通过外部输入输出部213或无线通信部210而输出。

如上所述,本说明书中公开有以下内容。

(1)一种摄像装置,其具备:

mos型成像元件,其具有多个像素,该多个像素包括:光电转换元件,接收光而积蓄电荷;被遮光的电荷保持部,保持积蓄在上述光电转换元件中的电荷;及浮动扩散区,电荷从上述电荷保持部被传送,并且,通过读取电路而读取与上述浮动扩散区的电位对应的信号;

驱动控制部,其进行如下驱动控制:第一驱动控制,将上述像素的上述光电转换元件及上述电荷保持部进行复位以开始该光电转换元件的曝光,将积蓄在该光电转换元件中的摄像电荷传送到该像素的上述电荷保持部以结束上述曝光;第二驱动控制,在上述摄像电荷通过上述第一驱动控制而传送到上述电荷保持部之前,通过上述读取电路而读取与保持在该电荷保持部中的暗电荷对应的信号;及第三驱动控制,在基于上述第一驱动控制的上述曝光结束之后,通过上述读取电路而读取与保持在上述电荷保持部中的上述摄像电荷对应的信号;以及

图像处理部,根据摄像图像信号和暗图像信号生成摄像图像数据并存储在存储介质中,上述摄像图像信号由通过上述第三驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述摄像电荷对应的信号构成,上述暗图像信号由通过上述第二驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述暗电荷对应的信号构成。

(2)根据(1)所述的摄像装置,其中,上述图像处理部根据上述暗图像信号计算上述摄像图像信号的黑电平,并根据该黑电平进行上述摄像图像信号的黑电平校正。

(3)根据(2)所述的摄像装置,其还具备存储部,该存储部存储表示第一暗信号与第二暗信号的相关关系的信息,所述第一暗信号在上述成像元件被遮光的状态下与在上述光电转换元件中产生的暗电荷对应,所述第二暗信号与在上述电荷保持部中产生的第二暗电荷对应,上述图像处理部根据上述暗图像信号和表示上述相关关系的信息计算上述黑电平。

(4)根据(3)所述的摄像装置,其中,表示上述相关关系的信息为将上述第二暗信号作为变量而表示上述第一暗信号的函数的系数,上述图像处理部通过构成上述暗图像信号的各信号的平均值或将该各信号作为上述函数的变量的运算而计算上述黑电平。

(5)根据(4)所述的摄像装置,其中,上述系数对应于上述多个像素的各像素而存储在上述存储部中,上述图像处理部通过将构成上述暗图像信号的各信号作为上述函数的变量、且将与该各信号的读取来源的上述像素对应的上述系数作为该函数的系数的运算,针对每个上述多个像素计算上述黑电平。

(6)根据(3)~(5)中任一项所述的摄像装置,其中,上述信息对应于上述成像元件的每个温度或每个上述曝光时间而存储在上述存储部中,上述图像处理部使用与上述成像元件的温度或上述曝光时间对应的上述信息计算上述黑电平。

(7)根据(3)~(5)中任一项所述的摄像装置,其中,上述存储部对应于上述成像元件的基准温度或上述曝光的基准时间而存储有上述信息,还将相对于上述基准温度或上述基准时间的上述成像元件的温度或上述曝光时间的相对值和用于校正上述信息的校正信息建立对应关联而进行存储,上述图像处理部求出上述成像元件的温度或上述曝光时间的相对于上述基准温度或上述基准时间的相对值,根据与该相对值对应的上述校正信息校正上述信息,并使用校正后的上述信息计算上述黑电平。

(8)根据(1)~(7)中任一项所述的摄像装置,其中,在上述曝光时间小于阈值的情况下,上述驱动控制部省略上述第二驱动控制而进行上述第一驱动控制和上述第三驱动控制。

(9)根据(8)所述的摄像装置,其中,上述阈值为通过上述第二驱动控制而从上述多个像素的各像素读取与上述暗电荷对应的信号时所需时间。

(10)根据(1)~(9)中任一项所述的摄像装置,其还具备检测上述成像元件的温度的温度传感器,在上述成像元件的温度小于阈值的情况下,上述驱动控制部省略上述第二驱动控制而进行上述第一驱动控制和上述第三驱动控制。

(11)一种摄像方法,其为通过mos型成像元件而拍摄被摄体的摄像方法,所述mos型成像元件具有多个像素,该多个像素包括:光电转换元件,接收光而积蓄电荷;被遮光的电荷保持部,保持积蓄在上述光电转换元件中的电荷;及浮动扩散区,电荷从上述电荷保持部被传送,并且,通过读取电路而读取与上述浮动扩散区的电位对应的信号,

所述摄像方法具备:

驱动控制步骤,其进行如下驱动控制:第一驱动控制,将上述像素的上述光电转换元件及上述电荷保持部进行复位以开始该光电转换元件的曝光,将积蓄在该光电转换元件中的摄像电荷传送到该像素的上述电荷保持部以结束上述曝光;第二驱动控制,在上述摄像电荷通过上述第一驱动控制而传送到上述电荷保持部之前,通过上述读取电路而读取与保持在该电荷保持部中的暗电荷对应的信号;及第三驱动控制,在基于上述第一驱动控制的上述曝光结束之后,通过上述读取电路而读取与保持在上述电荷保持部中的上述摄像电荷对应的信号;以及

图像处理步骤,根据摄像图像信号和暗图像信号生成摄像图像数据并存储在存储介质中,上述摄像图像信号由通过上述第三驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述摄像电荷对应的信号构成,上述暗图像信号由通过上述第二驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述暗电荷对应的信号构成。

(12)根据(11)所述的摄像方法,其中,在上述图像处理步骤中,根据上述暗图像信号计算上述摄像图像信号的黑电平,并根据该黑电平进行上述摄像图像信号的黑电平校正。

(13)根据(12)所述的摄像方法,其中,在上述图像处理步骤中,根据从存储部读取的上述信息和上述暗图像信号计算上述黑电平,存储部存储表示第一暗信号与第二暗信号的相关关系的信息,所述第一暗信号在上述成像元件被遮光的状态下与在上述光电转换元件中产生的暗电荷对应,第二暗信号与在上述电荷保持部中产生的第二暗电荷对应。

(14)根据(13)所述的摄像方法,其中,表示上述相关关系的信息为将上述第二暗信号作为变量并表示上述第一暗信号的函数的系数,在上述图像处理步骤中,通过将构成上述暗图像信号的各信号作为上述函数的变量的运算而计算上述黑电平。

(15)根据(14)所述的摄像方法,其中,上述系数对应于上述多个像素的各像素而存储在上述存储部中,在上述图像处理步骤中,通过将构成上述暗图像信号的各信号作为上述函数的变量、且将与该各信号的读取来源的上述像素对应的上述系数作为该函数的系数的运算而计算上述黑电平。

(16)根据(13)~(15)中任一项所述的摄像方法,其中,上述信息对应于上述成像元件的每个温度或每个上述曝光时间而存储在上述存储部中,在上述图像处理步骤中,使用与上述成像元件的温度或上述曝光时间对应的上述信息计算上述黑电平。

(17)根据(13)~(15)中任一项所述的摄像方法,其中,上述存储部对应于上述成像元件的基准温度或上述曝光的基准时间而存储有上述信息,还将相对于上述基准温度或上述基准时间的上述成像元件的温度或上述曝光时间的相对值和用于校正上述信息的校正信息建立对应关联而进行存储,在上述图像处理步骤中,求出上述成像元件的温度或上述曝光时间的相对于上述基准温度或上述基准时间的相对值,根据与该相对值对应的上述校正信息校正上述信息,并使用校正后的上述信息计算上述黑电平。

(18)根据(11)~(17)中任一项所述的摄像方法,其中,在上述驱动控制步骤中,在上述曝光时间小于阈值的情况下,省略上述第二驱动控制而进行上述第一驱动控制和上述第三驱动控制。

(19)根据(18)所述的摄像方法,其中,上述阈值为通过上述第二驱动控制而从上述多个像素的各像素读取与上述暗电荷对应的信号时所需时间。

(20)根据(11)~(19)中任一项所述的摄像方法,其还具备检测上述成像元件的温度的步骤,在上述驱动控制步骤中,在上述成像元件的温度小于阈值的情况下,省略上述第二驱动控制而进行上述第一驱动控制和上述第三驱动控制。

(21)一种摄像程序,其为通过mos型成像元件而拍摄被摄体的摄像程序,所述mos型成像元件具有包含被遮光的电荷保持部的多个像素,该多个像素包括:光电转换元件,接收光而积蓄电荷;被遮光的电荷保持部,保持积蓄在上述光电转换元件中的电荷;及浮动扩散区,电荷从上述电荷保持部被传送,并且,通过读取电路而读取与上述浮动扩散区的电位对应的信号,

所述摄像程序使计算机执行如下步骤:

驱动控制步骤,其进行如下驱动控制:第一驱动控制,将上述像素的上述光电转换元件及上述电荷保持部进行复位以开始该光电转换元件的曝光,将积蓄在该光电转换元件中的摄像电荷传送到该像素的上述电荷保持部以结束上述曝光;第二驱动控制,在上述摄像电荷通过上述第一驱动控制而传送到上述电荷保持部之前,通过上述读取电路而读取与保持在该电荷保持部中的暗电荷对应的信号;及第三驱动控制,在基于上述第一驱动控制的上述曝光结束之后,通过上述读取电路而读取与保持在上述电荷保持部中的上述摄像电荷对应的信号;以及

图像处理步骤,根据摄像图像信号和暗图像信号生成摄像图像数据并存储在存储介质中,上述摄像图像信号由通过上述第三驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述摄像电荷对应的信号构成,上述暗图像信号由通过上述第二驱动控制而从上述成像元件的上述多个像素的各像素读取的与上述暗电荷对应的信号构成。

产业上的可利用性

根据本发明,能够提供一种无需将成像元件遮光并进行摄像便能够高精度地得到在光电转换元件中产生的暗电流的信息的摄像装置、摄像方法及摄像程序。

以上,通过特定的实施方式对本发明进行了说明,但本发明并不限定于该实施方式,在不脱离所公开的发明的技术思想的范围内能够进行各种变形。

本申请主张基于2016年11月14日申请的日本专利申请(特愿2016-221759),在此引用其内容。

符号说明

100-数码相机,1-摄像透镜,2-光圈,4-透镜控制部,5-成像元件,8-透镜驱动部,9-光圈驱动部,10-成像元件驱动部,11-系统控制部,14-操作部,17-数字信号处理部,17a-内部存储器,20-外部存储器控制部,21-存储介质,22-显示驱动器,23-显示部,24-控制总线,25-数据总线,40-透镜装置,60-受光面,61-像素,61a-光电转换元件,61b-电荷保持部,61c-电荷传送部,61d-浮动扩散区,61e-读取电路,62-像素行,63-驱动电路,64-信号处理电路,65-信号线,70-n型基板,71-p孔层,72-读取电极,73-n型杂质层,74-p型杂质层,75-区域,76-传送电极,77-复位晶体管,78-输出晶体管,79-选择晶体管,x-行方向,y-列方向,lv-即时预览序列,ex-静态图像曝光序列,pre-电荷保持部预读取序列,re-静态图像读取序列,rr、gr-表示复位时刻的直线,ro-表示曝光结束及信号读取时刻的直线,gp-表示信号读取时刻的直线,gs-表示曝光结束时刻的直线,go-表示信号读取时刻的直线,p1-暗图像信号,p2-摄像图像信号,100a-数码相机,50-温度传感器,rr1-表示复位时刻的直线,ro2-表示曝光结束时刻的直线,200-智能手机,201-框体,202-显示面板,203-操作面板,204-显示输入部,205-扬声器,206-麦克风,207-操作部,208-相机部,210-无线通信部,211-通话部,212-存储部,213-外部输入输出部,214-gps接收部,215-动作传感器部,216-电源部,217-内部存储部,218-外部存储部,220-主控制部,st1~stn-gps卫星。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1