摄像装置、相机以及摄像方法与流程

文档序号:18126528发布日期:2019-07-10 09:56阅读:221来源:国知局
摄像装置、相机以及摄像方法与流程

本公开涉及摄像图像的摄像装置、相机以及摄像方法。



背景技术:

以往,已知利用摄像元件摄像由多个连续的帧图像构成的影像的摄像装置。

在这种摄像装置中,提出了降低帧图像所包含的暗电流信号成分的技术。

例如,在专利文献1中记载了一种摄像装置,收缩透镜光圈以使处于遮光状态,取得并存储遮光状态下的暗电流信号成分,利用存储的暗电流信号成分,以降低摄像的帧图像所包含的暗电流信号成分的方式进行校正。

在先技术文献

专利文献

专利文献1:特许第4292751号公报



技术实现要素:

发明要解决的问题

在上述以往的摄像装置中,为了摄像连续的帧,在其摄像期间,需要使透镜光圈处于开放的状态。与之相对,在该摄像装置中,为了取得遮光状态下的暗电流信号成分,需要一定期间收缩透镜光圈以处于遮光状态。也就是说,在该摄像装置中,不能在连续的帧图像的摄像期间内取得遮光状态下的暗电流信号成分。

为此,在该摄像装置中,无法基于在连续的帧图像的摄像期间内取得的遮光状态下的暗电流信号成分,以降低在此摄像期间中摄像的帧图像所包含的暗电流信号成分的方式进行校正。

于是,本公开的目的在于提供摄像装置、相机以及摄像方法,能够基于在连续的帧图像的摄像期间内取得的遮光状态下的暗电流信号成分,以降低在此摄像期间内摄像的帧图像所包含的暗电流信号成分的方式进行校正。

用于解决问题的手段

本公开的一方式所涉及的摄像装置具备:摄像元件,包括光电转换部件和多个像素电路,所述光电转换部件在被施加第1规定范围的电压的状态下通过受光产生基于内部光电效应的电荷,而在被施加第2规定范围的电压的状态下即使受光也不产生基于内部光电效应的电荷,所述多个像素电路以像素为单位蓄积由所述光电转换部件产生的电荷,所述摄像元件输出基于所述多个像素电路所蓄积的电荷量的帧图像;电压控制部,控制施加至所述光电转换部件的电压;以及校正部,针对从所述摄像元件输出的1个以上的帧图像中的至少一部分,以降低暗电流信号成分的方式进行校正;所述电压控制部以如下方式进行所述控制:在作为规定的帧周期之中的一部分的曝光期间对所述光电转换部件施加所述第1规定范围的电压,在所述帧周期之中的所述曝光期间以外的遮光期间对所述光电转换部件施加所述第2规定范围的电压,所述摄像元件按每个所述帧周期,输出基于在所述曝光期间所述多个像素电路所蓄积的电荷量的信号帧图像、以及基于在所述遮光期间所述多个像素电路所蓄积的电荷量的遮光帧图像,所述校正部针对从所述摄像元件输出的信号帧图像,利用从所述摄像元件输出的遮光帧图像进行所述校正。

本公开的一方式所涉及的相机具备上述摄像装置、以及将外部光聚光至所述摄像元件的透镜。

本公开的一方式所涉及的摄像方法为包括摄像元件、电压控制部以及校正部的摄像装置所进行的摄像方法,所述摄像元件包括光电转换部件和多个像素电路,所述光电转换部件在被施加第1规定范围的电压的状态下通过受光产生基于内部光电效应的电荷,在被施加第2规定范围的电压的状态下即使受光也不产生基于内部光电效应的电荷,所述多个像素电路以像素为单位蓄积由所述光电转换部件产生的电荷;所述摄像方法包括:摄像步骤,所述摄像元件输出基于所述多个像素电路所蓄积的电荷量的帧图像;电压控制步骤,所述电压控制部控制施加至所述光电转换部件的电压;校正步骤,所述校正部针对从所述摄像元件输出的1个以上的帧图像中的至少一部分,以降低暗电流信号成分的方式进行校正,在所述电压控制步骤中,所述电压控制部以如下方式进行所述控制:在作为规定的帧周期之中的一部分的曝光期间对所述光电转换部件施加所述第1规定范围的电压,在所述帧周期之中的所述曝光期间以外的遮光期间对所述光电转换部件施加所述第2规定范围的电压,在所述摄像步骤中,所述摄像元件按每个所述帧周期,输出基于在所述曝光期间所述多个像素电路所蓄积的电荷量的信号帧图像、以及基于在所述遮光期间所述多个像素电路所蓄积的电荷量的遮光帧图像,在所述校正步骤中,所述校正部针对从所述摄像元件输出的信号帧图像,利用从所述摄像元件输出的遮光帧图像进行所述校正。

发明效果

根据上述本公开所涉及的摄像装置、相机以及摄像方法,能够基于在连续的帧图像的摄像期间内取得的遮光状态下的暗电流信号成分,以降低在此摄像期间内摄像的帧图像所包含的暗电流信号成分的方式进行校正。

附图说明

图1为表示实施方式所涉及的相机的构成的框图。

图2为表示摄像元件的构成的框图。

图3a为光电转换元件的平面图。

图3b为光电转换元件的侧视图。

图4为表示像素电路的构成的框图。

图5a为表示电压控制部的动作的定时图。

图5b为表示摄像元件的动作的定时图。

图6为表示校正部所进行的校正的情况的示意图。

图7为第1帧图像输出处理的流程图。

图8为第1校正处理的流程图。

图9为表示变形例1所涉及的相机的构成的框图。

图10a为表示电压控制部的动作的定时图。

图10b为表示摄像元件的动作的定时图。

图11为表示校正部所进行的校正的情况的示意图。

图12为第2帧图像输出处理的流程图。

图13为第2校正处理的流程图。

图14为表示变形例2所涉及的摄像装置的构成的框图。

图15为表示相加图像生成部所进行的相加遮光帧图像的生成情况的示意图。

图16为表示校正部所进行的校正的情况的示意图。

图17为第3校正处理的流程图。

图18为表示变形例3所涉及的相机的构成的框图。

图19为表示相加取平均图像生成部所进行的相加取平均遮光帧图像的生成情况的示意图。

图20为表示校正部所进行的校正的情况的示意图。

图21为第4校正处理的流程图。

图22为表示变形例4所涉及的相机的构成的框图。

图23a为表示电压控制部的动作的定时图。

图23b为表示摄像元件的动作的定时图。

图24为表示校正部所进行的校正的情况的示意图。

图25为第3帧图像输出处理的流程图。

图26为第5校正处理的流程图。

图27a为变形例所涉及的数码相机的斜视图。

图27b为变形例所涉及的摄像机的斜视图。

具体实施方式

以下,详细说明实施方式。另外,以下要说明的实施方式皆是表示本公开的优选的一具体例的方式。在以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等仅为一例,并非对本公开的限定。本公开仅由权利要求限定。因此,在以下的实施方式中的构成要素中,关于表示本公开的独立权利要求中未记载的构成要素,不是为了达到本公开的课题所必须的,而是作为构成更优选的方式来进行说明。

(实施方式)

在此,参照附图说明摄像图像的摄像装置1。

[1-1.构成]

图1为表示实施方式所涉及的相机200的构成的框图。

相机200具备透镜镜筒230和摄像装置1。并且,透镜镜筒230具备光学系统210和透镜驱动部220。

光学系统210由将外部光聚光至摄像装置1的摄像元件10上的1个以上的透镜构成。具体而言,光学系统210由变焦透镜211、手抖校正透镜212、调焦透镜213以及光圈214构成。通过使变焦透镜211沿着光轴210a移动,能够进行被摄体像的放大、缩小。另外,通过使调焦透镜213沿着光轴210a移动,能够调整被摄体像的焦距。另外,手抖校正透镜212能够在垂直于光学系统210的光轴210a的面内移动。通过在抵消相机200的抖动的方向上移动手抖校正透镜212,能够减少相机200的抖动对摄像图像的影响。另外,光圈214具有位于光轴210a上的开口部214a,根据使用者的设定或者自动地调整开口部214a的大小,调整透射光量。

透镜驱动部220包括驱动变焦透镜211的变焦致动器、驱动手抖校正透镜212的手抖校正致动器、驱动调焦透镜213的调焦致动器、驱动光圈214的光圈致动器。并且,透镜驱动部220控制上述的变焦致动器、调焦致动器、手抖校正致动器、光圈致动器。

摄像装置1构成为包括摄像元件10、校正部15、电压控制部20、控制部50、模数转换器250、图像处理部260、存储器270、卡槽290、内部存储器340、操作部件310以及显示监视器320。

摄像元件10以规定的帧周期t1(例如,1/60秒)输出信号帧图像(后述)以及遮光帧图像(后述)。

模数转换器250对由摄像元件10生成的模拟图像数据进行模拟增益提高,并转换成作为数字信号的数字图像数据。

校正部15针对从摄像元件10输出的1个以上的帧图像(在此,为由模数转换器250转换而得的数字图像数据)中的至少一部分以降低暗电流信号成分的方式进行校正。校正部15作为一例通过处理器(未图示)执行存储于存储器(未图示)的程序来实现。

电压控制部20控制施加至摄像元件10所包含的光电转换部件111(后述)的电压。电压控制部20作为一例通过处理器(未图示)执行存储于存储器(未图示)的程序来实现。

图像处理部260针对由摄像元件10生成的图像数据(在此,为由校正部15校正后的帧图像)实施各种处理,生成用于显示在显示监视器320上的图像数据,或者生成用于保存于存储卡300的图像数据。例如,图像处理部260针对由摄像元件10生成的图像数据,进行伽马校正、白平衡校正等各种处理。另外,图像处理部260通过以基于h.264标准或mpeg2标准的压缩形式等压缩由摄像元件10生成的图像数据。图像处理部260作为一例通过处理器(未图示)执行存储于存储器(未图示)的程序来实现。

控制部50控制相机200整体。控制部50作为一例通过控制部50内的处理器(未图示)将记录于内部存储器340的程序在进行临时存储的存储器270中展开并执行来实现。

存储器270可以作为图像处理部360以及控制部50的工作存储器来发挥功能。存储器270例如能够通过dram、sram等来实现。

卡槽390将存储卡300可装卸地保持。卡槽290能够机械性以及电性地与存储卡300连接。存储卡300内部包括非易失性闪存或强介电质存储器等,能够保存由图像处理部260生成的图像文件等数据。

内部存储器340由非易失性闪存或强介电质存储器等构成。内部存储器340存储用于控制相机200整体的控制程序等。

操作部件310为接受来自使用者的操作的用户接口的总称。操作部件310例如包括接受来自使用者的操作的十字键或确认按钮等。

显示监视器320具有能够显示由摄像元件10生成的图像数据所表示的图像、或从存储卡300读出的图像数据所表示的图像的画面320a。另外,显示监视器320也能够在画面320a上,显示用于进行相机200的各种设定的各种菜单画面等。在显示监视器320的画面320a上配置有触摸面板320b。触摸面板320b能够通过被用户触摸来接受各种触摸操作。将针对触摸面板320b的触摸操作所表示的指示通知给控制部50以进行各种处理。

以下,参考附图进一步详细说明构成摄像装置1的上述构成要素中的摄像元件10、校正部15以及电压控制部20。

图2为表示摄像元件10的构成的框图。

如同图所示,摄像元件10构成为包括光电转换元件110、像素电路阵列120、读出电路130、输出电路140、行扫描电路150、定时控制电路160以及电压施加电路170。

图3a为光电转换元件110的平面图,图3b为光电转换元件110的侧视图。

如图3a、图3b所示,光电转换元件110构成为包括薄膜状的光电转换部件111、紧密接合在光电转换部件111的上表面的上部透明电极112、紧密接合在光电转换部件111的下表面的呈n行m列(n、m为1以上的整数)二维阵列状配置而成的n×m个下部像素电极113。

光电转换部件111在被施加不包括0v的第1规定范围的电压的状态下通过受光产生基于内部光电效应的电荷,在被施加包括0v的第二规定范围的电压的状态下即使受光也不产生基于内部光电效应的电荷。

在此,光电转换部件111以具有上述特性的有机薄膜来加以说明。也就是说,在该实施方式中,以摄像元件10为以有机薄膜为光电转换部件的有机cmos(互补金属氧化物半导体)图像传感器的情况为例。

上部透明电极112为针对光电转换部件111的上表面整体施加使得相对于下表面产生包括“0”的电位差的电压的透明电极。

下部像素电极113为以覆盖光电转换部件111的下表面整体的方式呈n行m列二维阵列状地配置而成的电极。

在针对光电转换部件111的上表面施加相对于下表面产生正电位差的电压的情况下,在由光电转换部件111产生电荷时,下部像素电极113聚集在自身附近生成的电荷中的正电荷。

上述构成的光电转换元件110为:在针对光电转换部件111的上表面施加相对于下表面产生能发生内部光电效应的范围的正电位差的电压的条件下,下部像素电极113分别聚集基于由受光引起的内部光电效应的正电荷。也就是说,光电转换元件110在该条件下进入曝光状态。与之相对,光电转换部件111的上表面在与下表面大致相同电位的条件下,即使受光也不产生基于内部光电效应的电荷,因此,下部像素电极113不会分别聚集电荷。也就是说,光电转换元件110在该条件下进入遮光状态。

以下,将针对光电转换部件111的上表面施加相对于下表面产生能发生内部光电效应的范围的正电位差的电压的期间称作“曝光期间”;将针对光电转换部件111的上表面施加相对于下表面不发生内部光电效应的范围的电压(在此,为与下表面大致相同电位的电压)的期间称作“遮光期间”。

再次返回至图2,继续说明摄像元件10。

像素电路阵列120为n×m个像素电路21呈n行m列二维阵列状地配置而成的半导体元器件,与光电转换元件110重合地配置在光电转换元件110的下表面侧。

在像素电路阵列120中,在对摄像元件10进行平面视的情况下,各像素电路21配置为像素电路21各自的位置分别与下部像素电极113各自的位置一一对应地重叠。

图4为表示像素电路21的构成的框图。

如同图所示,像素电路21构成为包括复位晶体管22、放大晶体管23、选择晶体管24以及电荷蓄积节点25。

电荷蓄积结点25分别连接至与自身所属的像素电路21对应的下部像素电极113、复位晶体管22的源极和放大晶体管23的栅极,蓄积由连接的下部像素电极113聚集的正电荷。

复位晶体管22其栅极连接有复位信号线51,漏极被供给有复位电压vrst,源极连接有电荷蓄积节点25。

复位晶体管22通过从行扫描电路150(后述)介由复位信号线51输送的复位信号来导通,据此对电荷蓄积节点25所蓄积的电荷量进行复位(初始化)。

放大晶体管23其栅极连接有电荷蓄积节点25,漏极被供给有电源电压vdd,源极连接有选择晶体管24的漏极。

放大晶体管23的栅极被施加有与电荷蓄积节点25所蓄积的电荷相应的电压。

因此,放大晶体管23在选择晶体管24为导通状态的情况下,作为输出与电荷蓄积节点25所蓄积的电荷相应的电流的电流源来发挥功能。

选择晶体管24其栅极连接有选择信号线52,漏极连接有放大晶体管23的源极,源极连接有垂直信号线32。

选择晶体管24通过从行扫描电路150(后述)介由选择信号线52输送的选择信号来导通,据此将流经放大晶体管23的电流输出至垂直信号线32。

如后述,输出至垂直信号线32的电流的电流量由列读出电路31(后述)检测,据此读出包含由选择信号导通的选择晶体管24的像素电路21的电荷蓄积节点25所蓄积的电荷量。

像素电路21通过上述构成,以像素为单位将由光电转换部件111生成的电荷蓄积至电荷蓄积节点25。并且,非破坏性地读出电荷蓄积节点25所蓄积的电荷量。

再返回至图2继续说明摄像元件10。

行扫描电路150具有下述蓄积电荷量复位功能以及下述读出像素电路选择功能。

蓄积电荷量复位功能是:在像素电路阵列120中,从距读出电路130最远一侧的行(第1行)起,向距读出电路130最近一侧的行(第n行)逐行地依次将用于复位属于该行的像素电路21各自的电荷蓄积节点25所蓄积的正电荷的复位信号,介由与属于该行的像素电路21各自连接的复位信号线51进行输送。

据此,像素电路阵列120所包含的全部像素电路21的电荷蓄积节点25所蓄积的电荷的复位从第1行起直到第n行为止以行为单位依次得以执行。

读出像素电路选择功能是:在像素电路阵列120中,从第1行起向第n行逐行地依次将用于导通属于该行的像素电路21各自的选择晶体管24的选择信号,介由与属于该行的像素电路21各自连接的选择信号线52进行输送。

据此,像素电路阵列120所包含的全部像素电路21的电荷蓄积节点25所蓄积的电荷量的读出从第1行起直到第n行为止以行为单位依次得以执行。

读出电路130读出构成像素电路阵列120的像素电路21各自所蓄积的电荷量。

读出电路130构成为包括与像素电路阵列120的m个列分别对应的m个列读出电路31。

列读出电路31介由与属于所对应的列的像素电路21各自连接的垂直信号线32,检测包括因选择信号而处于导通的选择晶体管24的像素电路21(将该像素电路21的也称作“读出对象的像素电路21”)的放大晶体管23中流过的电流量,由此读出作为读出对象的像素电路21的电荷蓄积节点25所蓄积的电荷量,将表示所读出的电荷量的k比特(k为正整数,例如8)的数字信号作为读出对象的像素电路21的像素值来输出。

输出电路140将由从列读出电路31输出的像素值构成的帧图像输出至外部。

输出电路140所输出的帧图像有信号帧图像和遮光帧图像,信号帧图像是基于光电转换元件110处于曝光状态的期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量的图像,遮光帧图像是基于光电转换元件110处于遮光状态的期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量的图像。

在光电转换元件110处于遮光状态的期间,各像素电路21的电荷蓄积节点25所蓄积的电荷为各像素电路21的暗电流成分。因此,遮光帧图像为由各像素电路21的暗电流成分构成的帧图像。

电压施加电路170对光电转换部件111施加电压。更具体而言,电压施加电路170控制施加至上部透明电极112的电压,针对光电转换部件111的上表面,(1)施加相对于下表面产生发生内部光电效应的正电位差的第1规定范围的第1电压,据此在该施加状态期间,使光电转换元件110处于曝光期间;(2)施加相对于下表面产生“不产生发生内部光电效应的正电位差的电位差”(在此,与下表面相同电位)的第2规定范围的第2电压,据此在该施加状态期间,使光电转换元件110处于遮光期间。

定时控制电路160控制行扫描电路150的动作定时、读出电路130的动作定时、电压施加电路170的动作定时、输出电路140的动作定时。也就是说,定时控制电路160控制行扫描电路150执行蓄积电荷量复位功能的定时以及执行读出像素电路选择功能的定时,控制读出电路130读出由选择信号选择的像素电路21的电荷蓄积节点25所蓄积的电荷量的定时,控制电压施加电路170使光电转换元件110处于曝光期间的定时、以及使光电转换元件110处于遮光期间的定时,控制输出电路140输出帧图像的定时。

更具体而言,定时控制电路160若从电压控制部20接受帧开始信号(后述),则控制行扫描电路150、读出电路130、电压施加电路170和输出电路140的动作定时,(1)读出像素电路阵列120所包含的全部像素电路21的电荷蓄积节点25所蓄积的电荷量;(2)使基于所读出的电荷量的帧图像作为遮光帧图像输出至外部;(3)使像素电路阵列120所包含的全部像素电路21的电荷蓄积节点25所蓄积的电荷量复位;(4)开始向光电转换部件111施加第1电压。

另外,定时控制电路160若从电压控制部20接受曝光遮光切换信号(后述),则控制行扫描电路150、读出电路130、电压施加电路170和输出电路140的动作定时,(1)读出像素电路阵列120所包含的全部像素电路21的电荷蓄积节点25所蓄积的电荷量;(2)使基于所读出的电荷量的帧图像作为信号帧图像输出至外部;(3)使像素电路阵列120所包含的全部像素电路21的电荷蓄积节点25所蓄积的电荷量复位;(4)开始向光电转换部件111施加第2电压。再返回至图1,继续说明摄像装置1。

电压控制部20按每个规定的帧周期t1,以在作为帧周期t1中的一部分的曝光期间对光电转换部件111施加第1规定范围的第1电压,在帧周期t1中的不含上述曝光期间的遮光期间对光电转换部件111施加第2规定范围的第2电压的方式,控制向光电转换部件111施加的电压。更具体而言,针对摄像元件10,以帧周期t1输出表示开始新的帧周期的帧开始信号,进而,以处于从输出帧开始信号起延迟规定期间t2的相位的帧周期t1,输出表示将施加至光电转换部件111的电压从第1电压切换到第2电压的曝光遮光切换信号,据此控制向光电转换部件111施加的电压。

图5a为由电压控制部20输出的帧开始信号以及曝光遮光切换信号的定时图。并且,图5b为表示从电压控制部20接受帧开始信号以及曝光遮光切换信号时的摄像元件10的动作的定时图。

如图5a所示,电压控制部20针对摄像元件10按每个帧周期t1,按照曝光遮光切换信号比帧开始信号延迟规定期间t2(t2<t1)的定时输出帧开始信号与曝光遮光切换信号。

如图5b所示,摄像元件10若从电压控制部20接受按每个帧周期t1输出的帧开始信号以及曝光遮光切换信号,则在从接受帧开始信号起直到接着接受曝光遮光切换信号为止的期间,向光电转换部件111施加第1电压,在从接受曝光遮光切换信号起直到接着接受帧开始信号为止的期间,向光电转换部件111施加第2电压。

因此,光电转换元件110在从接受帧开始信号起直到接着接受曝光遮光切换信号为止的期间,处于曝光状态,在从接受曝光遮光切换信号起直到接着接受帧开始信号为止的期间,处于遮光状态。

并且,摄像元件10读出在光电转换元件110处于曝光状态的曝光期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量,输出基于所读出的电荷量的信号帧图像,读出在光电转换元件110处于遮光状态的遮光期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量,输出基于所读出的电荷量的遮光帧图像。

再返回至图1,继续说明摄像装置1。

校正部15针对从摄像元件10输出的信号帧图像,利用从摄像元件10输出的遮光帧图像,以降低暗电流信号成分的方式进行校正。

在此,校正部15针对设为校正对象的信号帧图像(以下,称作“校正对象信号帧图像”),利用与输出该校正对象信号帧图像的帧周期相同的帧周期中输出的遮光帧图像(以下,称作“校正用遮光帧图像”)进行校正。

图6为表示校正部15所进行的校正的情况的示意图。

在图6中,校正对象信号帧图像和校正用遮光帧图像所包含的白点示意性地表现该像素的暗电流信号成分。作为一例,有时所谓的称作“白缺陷”的暗电流信号成分呈现为帧图像上的白点。

一般而言,校正对象信号帧图像为在被摄体像上重叠有暗电流信号成分的图像,校正用遮光帧图像为由暗电流信号成分构成的图像。

首先,校正部15针对校正用遮光帧图像,进行归一化处理,生成归一化的遮光帧图像。在此,该归一化处理是指,将校正用遮光帧图像的遮光状态的期间(遮光期间ts)用校正对象信号帧图像的曝光状态的期间(曝光期间tr)进行归一化的处理。更具体而言,校正部15通过针对校正用遮光帧图像的各像素值乘以(曝光期间tr/遮光期间ts)的值,来生成归一化的遮光帧图像。据此,归一化的遮光帧图像的暗电流信号成分为校正用遮光帧图像的暗电流信号成分的(tr/ts)倍。在实施方式1中,如图5b所示,为处于tr>ts情况下的例子。因此,如图6所示,归一化的遮光帧图像的所谓的“白缺陷”的亮度大于校正用遮光帧图像的所谓的“白缺陷”的亮度。

并且,校正部15通过针对校正对象信号帧图像的各像素的像素值,减去所对应的归一化的遮光帧图像的各像素的像素值,生成校正后的信号帧图像。

校正部15通过进行上述处理,根据校正对象信号帧图像生成降低暗电流信号成分的校正后信号帧图像。

以下,参照附图说明上述构成的摄像装置1所进行的动作。

[1-2.动作]

摄像装置1作为其特征性动作,进行第1帧图像输出处理和第1校正处理。

以下,依次说明这些处理。

[1-2-1.第1帧图像输出处理]

第1帧图像输出处理为摄像元件10以规定的帧周期t1交替输出信号帧图像和遮光帧图像的处理。在以下,以在开始第1帧图像输出处理之前的初始状态下,向光电转换部件111的施加电压为第2电压(在此,例如0v)进行说明。

该第1帧图像输出处理通过接受由利用摄像装置1的用户进行的表示开始动态图像摄像的操作而开始。

图7为第1帧图像输出处理的流程图。

若开始第1帧图像输出处理,则电压控制部20针对摄像元件10输出帧开始信号(步骤s5)。

摄像元件10若接受从电压控制部20输出的帧开始信号,则读出像素电路阵列120所包含的各像素电路21的电荷蓄积节点25所蓄积的电荷量(步骤s10),输出基于所读出的电荷量的遮光帧图像(步骤s15)。

并且,摄像元件10将向光电转换部件111的施加电压从第2电压变更为第1电压(在此,例如10v)(步骤s20)。

于是,光电转换元件110的状态从遮光状态切换到曝光状态(步骤s25)。

并且,摄像元件10对像素电路阵列120所包含的各像素电路21的电荷蓄积节点25所蓄积的电荷量进行复位(步骤s30)。

另一方面,电压控制部20若从此前输出帧开始信号起经过规定期间t2(反复进行步骤s35为否之后成为步骤s35为是),则针对摄像元件10输出曝光遮光切换信号(步骤s40)。

摄像元件10若接受从电压控制部20输出的曝光遮光切换信号,则读出像素电路阵列120所包含的各像素电路21的电荷蓄积节点25所蓄积的电荷量(步骤s45),输出基于所读出的电荷量的曝光帧图像(步骤s50)。

并且,摄像元件10将向光电转换部件111的施加电压从第1电压向第2电压变更(步骤s55)。

于是,光电转换元件110的状态从曝光状态向遮光状态切换(步骤s60)。

并且,摄像元件10对像素电路阵列120所包含的各像素电路21的电荷蓄积节点25所蓄积的电荷量进行复位(步骤s65)。

另一方面,若从此前输出帧开始信号起经过规定时间t1(反复进行步骤s70为否之后成为步骤s70为是),摄像元件10进入步骤s5的处理反复进行以后的处理。

[1-2-2.第1校正处理]

第1校正处理为校正部15针对从摄像元件10输出的信号帧图像,利用从摄像元件10输出的遮光帧图像,以降低作为对象的暗电流信号成分的方式进行校正的处理。

该第1校正处理通过在上述的第一帧图像输出处理中从摄像元件10输出最初的遮光帧图像而开始。

图8为第1校正处理的流程图。

若开始第1校正处理,则校正部15等待直到从摄像元件10输出信号帧图像为止。并且,若在等待输出信号帧图像的过程中输出了信号帧图像(反复进行步骤s100为否之后成为步骤s100为是),则校正部15取得该信号帧图像(步骤s110)。

若取得信号帧图像,则校正部15等待直到从摄像元件10输出遮光帧图像为止。并且,若在等待输出遮光帧图像的过程中输出了遮光帧图像(反复进行步骤s120为否之后成为步骤s120为是),则校正部15取得该遮光帧图像(步骤s130)。

并且,校正部15针对所取得的遮光帧图像,进行归一化处理,生成归一化的遮光帧图像(步骤s140)。也就是说,校正部15通过针对所取得的遮光帧图像的各像素值乘以(tr/ts)的值,来生成归一化的遮光帧图像。

若生成归一化的遮光帧图像,则校正部15通过针对所取得的信号帧图像的各像素的像素值减去所对应的归一化的遮光帧图像的各像素的像素值(步骤s150),生成校正后的信号帧图像(步骤s160)。

若步骤s160的处理结束,则校正部15进入步骤s100的处理,反复进行以后的处理。

[1-3.效果等]

如上述,摄像装置1针对以规定的帧周期t1从摄像元件10输出的信号帧图像,利用在相同的帧周期从摄像元件10输出的遮光帧图像,进行降低暗电流信号成分的校正。

一般而言,暗电流信号成分根据摄像元件的温度等而变化。因此,若在连续的帧图像的摄像期间内摄像元件的温度等变化,则暗电流信号成分会变化。因此,根据本实施方式所涉及的摄像装置1,与不能取得连续的信号帧图像的摄像期间内的暗电流信号成分的以往的摄像装置相比,能够精度更好地降低在该摄像期间内摄像的帧图像所包含的暗电流信号成分。

(变形例1)

在此,通过实施方式所涉及的摄像装置1参照附图说明变更其部分功能而得的变形例1所涉及的摄像装置。

实施方式所涉及的摄像装置1的例子的构成为,通过校正部15针对校正用遮光帧图像的各像素值乘以(曝光期间tr)/(遮光期间ts)的值,生成归一化的遮光帧图像,通过针对校正对象信号帧图像的各像素值,减去所对应的归一化的遮光帧图像的各像素的像素值,生成校正后的信号帧图像。

与之相对,变形例1所涉及的摄像装置的例子的构成为,设定曝光期间tr与遮光期间ts相等,校正部针对校正对象信号帧图像的各像素值,直接减去所对应的校正用遮光帧图像的各像素,据此生成校正后的信号帧图像。

以下,针对变形例1所涉及的摄像装置,以相对于实施方式所涉及的摄像装置1的变更之处为中心,参照附图进行说明。

[2-1.构成]

图9为表示变形例1所涉及的相机900的构成的框图。

如同图所示,相机900与实施方式所涉及的相机200相比变形为,摄像装置1变更为摄像装置2。并且,摄像装置2与实施方式所涉及的摄像装置1相比变形为,校正部15变更为校正部915,电压控制部20变更为电压控制部920。

电压控制部920与实施方式所涉及的电压控制部20相比变形为,其部分功能发生变更。

实施方式所涉及的电压控制部20的例子构成为,通过针对摄像元件10以帧周期t1输出帧开始信号,进而,以处于从输出帧开始信号起延迟规定期间t2的相位的帧周期t1输出曝光遮光切换信号,控制向光电转换部件111施加的电压。

与之相对,电压控制部920通过针对摄像元件10以帧周期t1输出帧开始信号,进而,以处于从输出帧开始信号起延迟t1/2的相位的帧周期t1输出曝光遮光切换信号,控制向光电转换部件111施加的电压。

图10a为由电压控制部920输出的帧开始信号以及曝光遮光切换信号的定时图。并且,图10b为表示从电压控制部920接受帧开始信号以及曝光遮光切换信号时的摄像元件10的动作的定时图。

如图10a所示,电压控制部920针对摄像元件10按每个帧周期t1,按照曝光遮光切换信号比帧开始信号延迟t1/2的定时的方式输出帧开始信号与曝光遮光切换信号。

如图10b所示,摄像元件10若从电压控制部920接受按每个帧周期t1输出的帧开始信号以及曝光遮光切换信号,则在从接受帧开始信号起直到接着接受曝光遮光切换信号为止的期间,向光电转换部件111施加第1电压,在从接受曝光遮光切换信号起直到接着接受帧开始信号为止的期间,向光电转换部件111施加第2电压。

因此,光电转换元件110在从接受帧开始信号起直到经过t1/2为止的期间处于曝光状态,在从经过t1/2起直到接着接受帧开始信号为止的期间处于遮光状态。

并且,摄像元件10读出在光电转换元件110处于曝光状态的曝光期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量,输出基于所读出的电荷量的信号帧图像,读出在光电转换元件110处于遮光状态的遮光期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量,输出基于所读出的电荷量的信号帧图像。

再返回至图9,继续说明摄像装置2。

校正部915与实施方式所涉及的校正部15相比变形为,其部分功能发生变更。

实施方式所涉及的校正部15的例子的构成为,通过针对校正用遮光帧图像的各像素值乘以(曝光期间tr)/(遮光期间ts)的值,生成归一化的遮光帧图像,通过针对校正对象信号帧图像的各像素值减去所对应的归一化的遮光帧图像的各像素的像素值,生成校正后的信号帧图像。

与之相对,校正部915的例子的构成为,通过针对校正对象信号帧图像的各像素,直接减去所对应的校正用遮光帧图像的各像素,生成校正后的信号帧图像。

图11为表示校正部915所进行的校正的情况的示意图。

如同图所示,校正部915通过针对校正对象信号帧的像素的各像素值减去所对应的校正用遮光帧图像的像素值,生成校正后的信号帧图像。

在摄像装置2中,设定曝光期间tr与遮光期间ts相等。因此,校正部915无需如实施方式所涉及的校正部15那样,针对校正用遮光帧图像,进行各帧周期中的用曝光期间tr初始化遮光期间ts的初始化处理。

以下,参照附图说明上述构成的摄像装置2所进行的动作。

[2-2.动作]

摄像装置2作为其特征性动作,进行第2帧图像输出处理和第2校正处理。

以下,依次说明这些处理。

[2-2-1.第2帧图像输出处理]

第2帧图像输出处理为摄像元件10按规定的帧周期t1,以彼此错开t1/2的相位的方式交替输出信号帧图像和遮光帧图像的处理。

该第2帧图像输出处理为与实施方式所涉及的第1帧图像输出处理相比其部分处理发生变更的处理。

图12为第2帧图像输出处理的流程图。

在同图中,步骤s1205的处理~步骤s1230的处理以及步骤s1240的处理~步骤s1270的处理分别为针对实施方式所涉及的第1帧图像输出处理(参照图7)中的步骤s5的处理~步骤s30的处理以及步骤s40的处理~步骤s79的处理将电压控制部20替换为电压控制部920的处理。

因此,在此,步骤s1205的处理~步骤s1230的处理以及步骤s1240的处理~步骤s1270的处理已做过说明,说明步骤s1235的处理以及其前后的处理。

在步骤s1230的处理结束之后,电压控制部920从此前输出帧开始信号起经过t1/2(反复进行步骤s1235为否之后成为步骤s1235为是),针对摄像元件10输出曝光切换信号(步骤s1240)。

[2-2-2.第2校正处理]

第2校正处理为校正部915通过针对从摄像元件10输出的信号帧图像的各像素直接减去所对应的遮光帧图像的各像素,以降低暗电流成分的方式针对作为对象的信号帧图像进行校正的处理。

该第2校正处理为与实施方式所涉及的第1校正处理相比其部分处理发生变更的处理。

图13为第2校正处理的流程图。

在同图中,步骤s1300的处理~步骤s1330的处理以及步骤s1360的处理为分别针对实施方式所涉及的第1校正处理(参照图8)中的步骤s100的处理~步骤s130的处理将校正部15替换为校正部915的处理。

另外,在第2校正处理中,删除了与实施方式所涉及的第1校正处理中的步骤s140相对应的处理。

因此,在此,步骤s1300的处理~步骤s1330的处理以及步骤s1360的处理已做过说明,以下说明步骤s1350的处理及其前后的处理。

在步骤s1330的处理中,若取得遮光帧图像,则校正部915通过针对所取得的信号帧图像的各像素的像素值减去所对应的遮光帧图像的像素值(步骤s1350),生成校正后的信号帧图像(步骤s1360)。

[2-3.效果等]

如上述,在摄像装置2中,校正部915通过针对校正对象信号帧图像的各像素值直接减去所对应的校正用遮光帧图像的各像素值,生成校正后的信号帧图像。

因此,根据本变形例1所涉及的摄像装置2,能够以少于实施方式所涉及的摄像装置1的运算量实现信号帧图像的校正。

(变形例2)

在此,参照附图说明在实施方式所涉及的摄像装置1的基础上变更其部分功能而得的变形例2所涉及的摄像装置。

实施方式所涉及的摄像装置1的例子的构成为,利用在与输出校正对象信号帧的帧周期相同的帧周期中输出的遮光帧图像,对该校正对象信号帧进行校正。

对此,变形例2所涉及的摄像装置的例子的构成为,利用在包含输出校正对象信号帧的帧周期的多个帧周期中输出的遮光帧图像,对该校正对象信号帧进行校正。

以下,针对变形例2所涉及的摄像装置,以相对于实施方式所涉及的摄像装置1的变更之处为中心,参照附图进行说明。

[3-1.构成]

图14为表示变形例2所涉及的相机1400的构成的框图。

如同图所示,相机1400与实施方式所涉及的相机200相比变形为,摄像装置1变更为摄像装置3。并且,摄像装置3在实施方式所涉及的摄像装置1的基础上变形为,将校正部15变更为校正部1415,并追加相加图像生成部1417。

相加图像生成部1417通过针对从摄像元件10输出的多个遮光帧图像,将在各遮光帧图像中彼此对应的像素的像素值相加,生成相加遮光帧图像。

图15为表示相加图像生成部1417所进行的相加遮光帧图像的生成情况的示意图。

如同图所示,若从摄像元件10新输出遮光帧图像,则相加图像生成部1417通过针对包含该新输出的遮光帧图像的从摄像元件10输出的时序下的最新n(n为2以上的整数)张遮光帧图像,将在各遮光帧图像中彼此对应的像素的像素值相加,生成相加遮光帧图像。据此,在n张遮光帧图像中相同位置(即,相同像素)的暗电流信号成分,在相加遮光帧图像中被作为该位置(即,该像素)的暗电流信号成分相加。因此,如图15所例示,在n张遮光帧图像中出现在相同位置的所谓“白缺陷”,在相加遮光帧图像中作为针对该位置将各遮光帧图像中的白缺陷的亮度相加而得的亮度的白缺陷呈现。

另一方面,在n张遮光帧图像中产生于不同位置(即不同像素)的随机噪声(“随机成分”)在相加遮光帧图像中以1张的量相加。因此,作为与n次相加而得的“白缺陷”相比足够低的亮度呈现,几乎不醒目。也就是说,在相加遮光帧图像中,与“白缺陷”相比,降低“随机成分”。假设即使随机噪声在n张遮光帧图像中的多张遮光帧图像中发生在相同位置,因为与产生“白缺陷”的张数相比少,也不会构成问题。

再返回至图14,继续说明摄像装置3。

校正部1415在实施方式所涉及的校正部15的基础上变形为,其部分功能发生变更。

实施方式所涉及的校正部15的例子的构成为,利用在与输出校正对象信号帧的帧周期相同的帧周期中输出的遮光帧图像,对该校正对象信号帧进行校正。

与之相对,校正部1415的例子的构成为,利用包括与输出校正对象信号帧的帧周期相同的帧周期中输出的遮光帧图像作为相加对象的从相加图像生成部1417输出的相加遮光帧图像,对该校正对象信号帧进行校正。

图16为表示校正部1415所进行的校正的情况的示意图。

首先,校正部1415针对相加遮光帧图像,进行归一化处理,生成归一化的相加遮光帧图像。在此,该归一化处理是指用校正对象信号帧图像的曝光期间(tr)对相加遮光帧图像中的遮光期间的总和(n×ts)进行归一化的处理。更具体而言,校正部1415通过针对相加遮光帧图像的各像素值乘以(tr/(n×ts))的值,生成归一化的相加遮光帧图像。据此,归一化的相加遮光帧图像的暗电流信号成分为相加遮光帧图像的暗电流信号成分的(tr/(n×ts))倍。在变形例2中,为tr<(n×ts)时的例子。因此,如图16所例示,归一化的相加遮光帧图像中的所谓的“白缺陷”以及“随机成分”的亮度小于相加遮光帧图像中的所谓的“白缺陷”以及“随机成分”的亮度。在此,因为“随机成分”的亮度为与“白缺陷”相比足够低的亮度,所以能够通过归一化减小绝对值。另外,例如,若设定在进行归一化处理的亮度级中使得不包含“随机成分”那样的阈值,并设阈值以下的亮度为“0”,则“随机成分”能够进一步降低。

并且,校正部1415通过针对校正对象信号帧图像的各像素的像素值,减去所对应的归一化的相加遮光帧的各像素的像素值,生成校正后的信号帧图像。

以下,参照附图说明上述构成的摄像装置3所进行的动作。

[3-2.动作]

摄像装置3作为其特征性动作,进行第1帧图像输出处理和第3校正处理。

第1帧图像输出处理已经在实施方式中说明过。因此,在此说明第3校正处理。

[3-2-1.第3校正处理]

第3校正处理为校正部1415针对从摄像元件10输出的信号帧图像,利用从相加图像生成部1417输出的相加遮光帧图像,以降低暗电流信号成分的方式进行校正的处理。

该第3校正处理通过在上述的第1帧图像输出处理中从摄像元件10输出第n-1次的遮光帧图像而开始。

图17为第3校正处理的流程图。

若开始第3校正处理,则校正部1415等待直到从摄像元件10输出信号帧图像为止。并且,若在等待输出信号帧图像的过程中输出了信号帧图像(反复进行步骤s1700为否之后成为步骤s1700为是),则校正部1415取得该信号帧图像(步骤s1710)。

若取得信号帧图像,则校正部1415等待直到从相加图像生成部1417输出相加遮光帧图像为止。并且,若在等待输出相加遮光帧图像的过程中输出了相加遮光帧图像(反复进行步骤s1720为否之后成为步骤s1720为是),则校正部1415取得该相加遮光帧图像(步骤s1730)。

并且,校正部1415针对所取得的相加遮光帧图像,进行归一化处理,生成归一化的相加遮光帧图像(步骤s1740)。也就是说,校正部15通过针对所取得的相加遮光帧图像的各像素值乘以(tr/(n×ts))的值,来生成归一化的相加遮光帧图像。

若生成归一化的相加遮光帧图像,则校正部1415通过针对所取得的信号帧图像的各像素的像素值减去所对应的归一化的相加遮光帧图像的各像素的像素值(步骤s1750),生成校正后的信号帧图像(步骤s1760)。

若步骤s1760的处理结束,则校正部1415进入步骤s1700的处理,反复进行以后的处理。

[3-3.效果等]

如上述,在摄像装置3中,由相加图像生成部1417生成的相加遮光帧图像为通过对n张遮光帧图像各自的暗电流成分的随机成分进行平均从而降低后的图像。

因此,根据本变形例2所涉及的摄像装置3,与实施方式所涉及的摄像装置1相比能够更高精度地实现信号帧图像的校正。

(变形例3)

在此,参照附图说明在变形例1所涉及的摄像装置2的基础上变更其部分功能而得的变形例3所涉及的摄像装置。

变形例1所涉及的摄像装置2的例子的构成为,通过设定曝光期间tr与遮光期间ts相等,针对校正对象信号帧图像的各像素,直接减去在与输出校正对象信号帧的帧周期相同的帧周期中输出的遮光帧图像的各像素的像素值,生成校正后的信号帧图像。

与之相对,变形例3所涉及的摄像装置的例子的构成为,在设定曝光期间tr与遮光期间ts相等之处相同,不同之处在于变形为,成为从校正对象信号帧相减的对象的遮光帧图像变更为通过针对在包含输出校正对象信号帧的帧周期的多个帧周期中输出的遮光帧图像的各像素进行相加取平均而得的相加取平均遮光帧图像。

以下,针对变形例3所涉及的摄像装置,以相对于变形例1所涉及的摄像装置2的变更之处为中心,参照附图进行说明。

[4-1.构成]

图18为表示变形例3所涉及的相机1800的构成的框图。

如同图所示,相机1800与变形例所涉及的相机900相比变形为,摄像装置2变更为摄像装置4。并且,摄像装置4在变形例1所涉及的摄像装置2的基础上变形为,将校正部915变更为校正部1815,并追加相加取平均图像生成部1817。

相加取平均图像生成部1817通过针对从摄像元件10输出的多个遮光帧图像,将各遮光帧图像中彼此对应的像素的像素值相加取平均,生成相加取平均遮光帧图像。

图19为表示相加取平均图像生成部1817所进行的相加取平均遮光帧图像的生成情况的示意图。

如同图所示,若从摄像元件10新输出遮光帧图像,则相加取平均图像生成部1817针对包含该新输出的遮光帧图像的从摄像元件10输出的时序上最新n(n为2以上的整数)张遮光帧图像,对在各遮光帧图像中彼此对应的像素的像素值进行相加取平均,生成相加取平均遮光帧图像。据此,在n张遮光帧图像中相同位置(即相同像素)的暗电流信号成分,在相加取平均遮光帧图像中被作为该位置(即该像素)的暗电流信号成分相加取平均。因此,如图19所示,在n张遮光帧图像中出现在相同位置的所谓“白缺陷”,在相加取平均遮光帧图像中作为针对该位置对各遮光帧图像的白缺陷的亮度相加取平均而得的亮度的“白缺陷”呈现。另一方面,在n张遮光帧图像中产生于不同位置(即不同像素)的随机噪声(“随机成分”),在相加取平均遮光帧图像中只以1张的量相加,进一步通过平均化变为1/n倍。因此,作为与n次相加而得的“白缺陷”相比足够低的亮度呈现,几乎不醒目。另外,例如,若设定在进行相加取平均处理的亮度级中使得不包含“随机成分”的阈值,并设阈值以下的亮度为“0”,则“随机成分”能够进一步降低。如此地,由相加取平均处理生成的相加遮光帧图像为降低n张遮光帧图像各自的暗电流成分的随机成分的图像。

如此地,由相加取平均处理部1817生成的相加取平均遮光帧图像为通过对n张遮光帧图像各自的暗电流成分的随机成分进行平均从而降低后的图像。

再返回至图18,继续说明摄像装置4。

校正部1815在变形例1所涉及的校正部915的基础上变形为,其部分功能发生变更。

变形例1所涉及的校正部915的例子的构成为,通过针对校正对象信号帧图像的各像素,直接减去在与输出校正对象信号帧的帧周期相同的帧周期中输出的遮光帧图像的各像素的像素值,生成校正后的信号帧图像。

与之相对,校正部1815的例子的构成变形为,成为从校正对象信号帧相减的对象的遮光帧图像变更为:包含与输出校正对象信号帧的帧周期相同的帧周期中输出的遮光帧图像作为相加取平均对象的从相加取平均图像生成部1817输出的相加取平均遮光帧图像。

图20为表示校正部1815所进行的校正的情况的示意图。

如同图所示,校正部1815通过针对校正对象信号帧的像素的各像素值减去所对应的相加取平均遮光帧图像的像素值,生成校正后的信号帧图像。

以下,参照附图说明上述构成的摄像装置4所进行的动作。

[4-2.动作]

摄像装置4作为其特征性动作,进行第2帧图像输出处理和第4校正处理。

第2帧图像输出处理已经在变形例1中说明过。因此,在此说明第4校正处理。

[4-2-1.第4校正处理]

第4校正处理为校正部1815以从构成从摄像元件10输出的信号帧图像的各像素的像素值减去构成由相加取平均图像生成部1817生成的相加取平均遮光帧图像的像素的像素值,从而针对设为对象的信号帧图像降低暗电流信号成分的方式,进行校正的处理。

该第4校正处理通过在上述的第1帧图像输出处理中从摄像元件10输出第n-1次的遮光帧图像而开始。

图21为第4校正处理的流程图。

若开始第4校正处理,则校正部1815等待直到从摄像元件10输出信号帧图像为止。并且,若在等待输出信号帧图像的过程中输出了信号帧图像(反复进行步骤s2100为否之后成为步骤s2100为是),则校正部1815取得该信号帧图像(步骤s2110)。

若取得信号帧图像,则校正部1815等待直到从相加取平均图像生成部1817输出相加取平均遮光帧图像为止。并且,若在等待输出相加取平均遮光帧图像的过程中输出了相加取平均遮光帧图像(反复进行步骤s2120为否之后成为步骤s2120为是),则校正部1815取得该相加取平均遮光帧图像(步骤s2130)。

并且,校正部1815通过针对所取得的信号帧图像的各像素的像素值减去所对应的所取得的相加取平均遮光帧图像的各像素的像素值(步骤s2150),生成校正后的信号帧图像(步骤s2160)。

若步骤s2160的处理结束,则校正部1815进入步骤s2100的处理,反复进行以后的处理。

[4-3.效果等]

如上述,在摄像装置4中,由相加取平均图像生成部1817生成的相加取平均遮光帧图像为通过对n张遮光帧图像各自的暗电流成分的随机成分进行平均从而降低后的图像。

因此,根据本变形例3所涉及的摄像装置4,与变形例1所涉及的摄像装置2相比能够更高精度地实现信号帧图像的校正。

(变形例4)

在此,参照附图说明在变形例2所涉及的摄像装置3的基础上变更其部分功能而得的变形例4所涉及的摄像装置。

变形例2所涉及的摄像装置3的例子的构成为,校正部1415针对通过n张遮光帧图像相加而得的相加遮光帧图像的各像素值,乘以(曝光期间tr)/(n×(遮光期间ts))的值,从而生成归一化的相加遮光帧图像,针对校正对象信号帧图像的各像素值减去所对应的归一化的相加遮光帧图像的各像素的像素值,从而生成校正后的信号帧图像。

与之相对,变形例4所涉及的摄像装置的例子的构成为,设定曝光期间tr为遮光期间ts的n倍,校正部针对校正对象信号帧图像的各像素值,直接减去所对应的相加遮光帧图像的各像素值,据此生成校正后的信号帧图像。

以下,针对变形例4所涉及的摄像装置,以相对于变形例2所涉及的摄像装置3的变更之处为中心,参照附图进行说明。

[5-1.构成]

图22为表示变形例4所涉及的相机2200的构成的框图。

如同图所示,相机2200在变形例2所涉及的相机1400的基础上变形为,摄像装置3变更为摄像装置5。并且,摄像装置5在变形例2所涉及的摄像装置3的基础上变形为,校正部1415变更为校正部2215,电压控制部20变更为电压控制部2220。

电压控制部2220在变形例2所涉及的电压控制部20的基础上变形为,其部分功能发生变更。

变形例2所涉及的电压控制部20通过针对摄像元件10以帧周期t1输出帧开始信号,进而,以处于从帧开始信号起延迟规定期间t2的相位的帧周期t1输出曝光遮光切换信号,进行向光电转换部件111施加的电压的控制。

与之相对,电压控制部2220通过针对摄像元件10以帧周期t1输出帧开始信号,进而,以处于从输出帧开始信号起延迟(n/(n+1))×t1的相位的帧周期t1输出曝光遮光切换信号,控制向光电转换部件111施加的电压。

图23a为由电压控制部2220输出的帧开始信号以及曝光遮光切换信号的定时图。并且,图23b为表示从电压控制部2220接受帧开始信号以及曝光遮光切换信号时的摄像元件10的动作的定时图。

如图23a所示,电压控制部2220针对摄像元件10按每个帧周期t1,以成为曝光遮光切换信号比帧开始信号延迟(n/(n+1))×t1的定时的方式输出帧开始信号与曝光遮光切换信号。

如图23b所示,摄像元件10若从电压控制部2220接受按每个帧周期t1输出的帧开始信号以及曝光遮光切换信号,则在从接受帧开始信号起直到接着接受曝光遮光切换信号为止的期间,向光电转换部件111施加第1电压,在从接受曝光遮光切换信号起直到接着接受帧开始信号为止的期间,向光电转换部件111施加第2电压。

因此,光电转换元件110在从接受帧开始信号起直到经过(n/(n+1))×t1为止的期间处于曝光状态,在从经过(n/(n+1))×t1起直到接着接受帧开始信号为止的期间处于遮光状态。

并且,摄像元件10读出在光电转换元件110处于曝光状态的曝光期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量,输出基于读出的电荷量的信号帧图像,读出在光电转换元件110处于遮光状态的遮光期间中各像素电路21的电荷蓄积节点25所蓄积的电荷量,输出基于所读出的电荷量的信号帧图像。

再返回至图22,继续说明摄像装置5。

校正部2215在变形例所涉及的校正部1415的基础上变形为,其部分功能发生变更。

变形例2所涉及的校正部1415的例子的构成为,通过针对相加遮光帧图像的各像素值乘以(tr/(n×ts))的值,生成归一化的相加遮光帧图像,通过针对校正对象信号帧图像的各像素值,减去所对应的归一化的相加遮光帧图像的各像素的像素值,生成校正后的信号帧图像。

与之相对,校正部2215的例子的构成为,通过针对校正对象信号帧图像的各像素,直接减去所对应的相加遮光帧图像的各像素,生成校正后的信号帧图像。

图24为表示校正部2215所进行的校正的情况的示意图。

如同图所示,校正部2215通过针对校正对象信号帧的像素的各像素值减去所对应的相加遮光帧图像的像素值,生成校正后的信号帧图像。

在摄像装置5中,设定为曝光期间tr为遮光期间ts的n倍。因此,校正部2215无需如变形例2所涉及的校正部1415那样,针对相加遮光帧图像进行用校正对象信号帧图像的曝光状态期间(tr)对遮光状态的期间的总和(n×ts)进行归一化的归一化处理。

以下,参照附图说明上述构成的摄像装置5所进行的动作。

[5-2.动作]

摄像装置5作为其特征性动作,进行第3帧图像输出处理和第5校正处理。

以下,依次说明这些处理。

[5-2-1.第3帧图像输出处理]

第3帧图像输出处理为摄像元件10以规定的帧周期t1,按照遮光帧图像相对于信号帧图像延迟(n/(n+1))×t1的定时,交替输出信号帧图像以及遮光帧图像的处理。

该第3帧图像输出处理为在实施方式所涉及的第1帧图像输出处理的基础上,其部分处理发生变更的处理。

图25为第3帧图像输出处理的流程图。

在同图中,步骤s2505的处理~步骤s2530的处理以及步骤s2540的处理~步骤s2570的处理分别为针对实施方式所涉及的第1帧图像输出处理(参照图7)中的步骤s5的处理~步骤s30的处理以及步骤s40的处理~步骤s79的处理,将电压控制部20替换为电压控制部920的处理。

因此,在此,步骤s2505的处理~步骤s2530的处理以及步骤s2540的处理~步骤s2570的处理已做过说明,说明步骤s2535的处理及其前后的处理。

在步骤s2530的处理结束之后,若从此前输出帧开始信号起经过(n/(n+1))×t1(反复进行步骤s2535为否之后成为步骤s2535为是),电压控制部2220针对摄像元件10输出曝光切换信号(步骤s2540)。

[5-2-2.第2校正处理]

第5校正处理为校正部2215针对从摄像元件10输出的信号帧图像的各像素直接减去所对应的相加遮光帧图像的各像素,从而针对校正对象信号帧图像以降低暗电流信号成分的方式进行校正的处理。

该第4校正处理为在变形例2所涉及的第3校正处理的基础上其部分处理发生变更的处理。

图26为第5校正处理的流程图。

在同图中,步骤s2600的处理~步骤s2630的处理以及步骤s2660的处理分别为针对变形例2所涉及的第3校正处理(参照图17)中的步骤s1700的处理~步骤s1730的处理将校正部915替换为校正部2215的处理。

另外,在第5校正处理中,删除了与变形例2所涉及的第3校正处理中的步骤s1740相对应的处理。

因此,在此,步骤s2600的处理~步骤s2630的处理以及步骤s2660的处理已做过说明,以下说明步骤s2650的处理以及其前后的处理。

在步骤s2630的处理中,若取得相加遮光帧图像,则校正部2215通过针对所取得的信号帧图像的各像素的像素值减去所对应的相加遮光帧图像的像素值(步骤s2650),生成校正后的信号帧图像(步骤s2660)。

[5-3.效果等]

如上述,在摄像装置5中,校正部2215通过针对校正对象信号帧图像的各像素值直接减去所对应的相加遮光帧图像的各像素值,生成校正后的信号帧图像。

因此,根据本变形例4所涉及的摄像装置5,能够以少于变形例2所涉及的摄像装置3的运算量实现信号帧图像的校正。

(补充)

如上,作为在本申请公开的技术的例子,说明了实施方式、变形例1~变形例4。可是,本公开的技术不限于此,也能够适用于适宜进行变更、置换、附加、省略等而得的实施方式。

(1)在实施方式中,说明了在摄像装置1中光电转换部件111为有机薄膜,该有机薄膜具有在被施加第1规定范围的电压的状态下通过受光产生基于内部光电效应的电荷,而在被施加第2规定范围的电压的状态下即使受光也不产生基于内部光电效应的电荷的功能。

可是,只要是能够通过施加电压控制有无基于内部光电效应的电荷的生成的部件,光电转换部件111无需限定于上述有机薄膜。列举一例,在摄像装置1中,考虑光电转换部件111为具有pn结面的二极管的例子等。

(2)在实施方式中,对摄像装置1以帧周期t1为例如1/60秒来加以说明。

可是,帧周期t1无需一定要限定在1/60秒。

列举一例,可以考虑在摄像装置1中帧周期t1为1/50秒的例子、帧周期t1由使用摄像装置1的用户来进行设定的例子等。

(3)在变形例2中,关于摄像装置3,说明了若从摄像元件10新输出遮光帧图像,则相加图像生成部1417以包含该新输出的遮光帧图像的从摄像元件10输出的时序上最新n张遮光帧图像为对象,将各遮光帧图像中彼此对应的像素的像素值相加,从而生成相加遮光帧图像。

可是,相加遮光帧图像的生成方法未必一定要限定于上述方法。

列举一例,可以考虑若在已经生成相加遮光帧图像之后,输出新的遮光帧图像,则在已经生成的相加遮光帧图像中,通过相加取平均或者iir(infiniteimpulseresponse:无限脉冲响应)等运算处理取入新的遮光帧图像,从而更新相加遮光帧图像的例子等。

另外,列举另一例子,可以考虑以在时序上较新的遮光帧图像赋予较大的权重的方式,以n张遮光帧图像为对象,对在各遮光帧图像中彼此对应的像素的像素值进行加权相加,据此生成相加遮光帧图像等的例子。通过如此地,能够使较近输出的遮光帧图像较多地反映到暗电流信号成分的降低上。

(4)本申请显然还包括内置有实施方式的摄像装置1的电子设备。

这样的电子设备例如实现为图27a所示的数码相机或图27b所示的摄像机。

(5)在实施方式中,如图1所示,作为摄像装置1为与光学系统210分体的构成来加以说明。可是,摄像装置1未必限定于与光学系统210分体的构成。例如,摄像装置1也可以为包括光学系统210与透镜驱动部220的带透镜的相机。

(6)摄像装置1~摄像装置5中的各构成要素(功能块)可以通过ic(integratedcircuit:集成电路)、lsi(largescaleintegration:大规模集成电路)等半导体装置个别地进行单芯片化,也可以以包括一部分或者全部的方式进行单芯片化。另外,集成电路的方法并不限于lsi,也可通过专用电路或者通用处理器来实现。也可以利用在制造lsi后可编程的fpga(fieldprogrammablegatearray:现场可编程门阵列)或可重构lsi内部的电路单元的连接及设定的可重构处理器。进而,若由于半导体技术的进步或衍生的其他技术而置换lsi的集成电路的技术登场,则也可利用该技术进行功能块的集成化。生物技术的使用等也有可能。

另外,上述各种处理的全部或者一部分既可以采用电子电路等硬件来实现,也可以采用软件来实现。另外,软件的处理为通过摄像装置1所包含的处理器执行存储器所存储的程序来实现。另外,可以通过将该程序记录至记录介质上发布或流通。例如,将发布的程序安装至其他具有处理器的装置,使该处理器执行该程序,据此,能够使该装置进行上述各处理。

另外,通过任意组合在上述实施方式所示的构成要素以及功能来实现的方式也包括在本申请的范围内。

(7)本公开的一方式所涉及的摄像装置1具备:摄像元件10,包括光电转换部件111和多个像素电路21,光电转换部件111在被施加第1规定范围的电压的状态下通过受光产生基于内部光电效果的电荷,而在被施加第2规定范围的电压的状态下即使受光也不产生基于内部光电效果的电荷,多个像素电路21以像素为单位蓄积由光电转换部件111产生的电荷,摄像元件10输出基于多个像素电路21所蓄积的电荷量的帧图像;电压控制部20,控制施加至光电转换部件111的电压;以及校正部15,针对从摄像元件10输出的1个以上的帧图像中的至少一部分,以降低暗电流信号成分的方式进行校正,电压控制部20以如下方式进行所述控制:在作为规定的帧周期之中的一部分的曝光期间对光电转换部件111施加所述第1规定范围的电压,在所述帧周期之中的所述曝光期间以外的遮光期间对光电转换部件111施加所述第2规定范围的电压,摄像元件10按每个所述帧周期输出基于在所述曝光期间多个像素电路21所蓄积的电荷量的信号帧图像、以及基于在所述遮光期间多个像素电路21所蓄积的电荷量的遮光帧图像,校正部15针对从摄像元件10输出的信号帧图像,利用从摄像元件10输出的遮光帧图像,进行所述校正。

在该摄像装置1中,遮光状态下的暗电流成分在遮光期间作为电荷蓄积在像素电路21。并且,摄像元件10在连续的信号帧图像的摄像期间内,输出基于在遮光期间像素电路21所蓄积的电荷量的遮光帧图像。另一方面,校正部15以基于该遮光帧针对信号帧图像降低暗电流信号成分的方式进行校正。

因此,根据该摄像装置1,能够基于在连续的帧图像的摄像期间内取得的遮光状态下的暗电流信号成分,以降低在此摄像期间中摄像的帧图像所包含的暗电流信号成分的方式进行校正。

一般而言,暗电流信号成分根据摄像元件10的温度等而变化。因此,若摄像元件10的温度等在连续的帧图像的摄像期间内变化,则暗电流信号成分变化。因此,根据该摄像装置1,与不能取得连续的信号帧图像的摄像期间内的暗电流信号成分的以往的摄像装置相比,能够精度更好地降低在该摄像期间中摄像的帧图像所包含的暗电流信号成分。

另外,例如,摄像元件10也可为将有机薄膜作为光电转换部件111的有机cmos图像传感器。

据此,能够实现摄像元件10的高集成化。

另外,例如也可以是,所述曝光期间与所述遮光期间相等,校正部15通过从构成作为校正对象的信号帧图像的各像素的像素值减去与该像素对应的构成在与该信号帧图像相同的帧周期中从摄像元件10输出的遮光帧图像的像素的像素值,来进行所述校正。

据此,能够通过处理量较少的运算实现校正部15的校正。

另外,例如也可以是,校正部15通过从构成作为校正对象的信号帧图像的各像素的像素值,减去与该像素对应的构成在与该信号帧图像相同的帧周期中从摄像元件10输出的遮光帧图像的像素的像素值乘以所述曝光期间相对于所述遮光期间的比率而得的值,来进行所述校正。

据此,校正部15即使在曝光期间与遮光期间不相等的情况下也能够进行校正。

另外,例如也可以是,所述曝光期间与所述遮光期间相等,还具备相加取平均图像生成部1817,相加取平均图像生成部1817针对多个遮光帧图像,对在各遮光帧图像中彼此对应的像素的像素值进行相加取平均,从而生成相加取平均遮光帧图像,校正部15通过从构成作为校正对象的信号帧图像的各像素的像素值,减去与该像素对应的构成由相加取平均图像生成部1817生成的相加取平均遮光帧图像的像素的像素值,来进行所述校正。

据此,能够降低暗电流信号成分所包含的随机成分。

另外,例如也可以是,还具备相加图像生成部1417,相加图像生成部1417针对多个遮光帧图像,将各遮光帧图像中彼此对应的像素的像素值相加,从而生成相加遮光帧图像,校正部15基于由相加图像生成部1417生成的相加遮光帧图像进行所述校正。

据此,能够降低暗电流信号成分所包含的随机成分。

另外,例如也可以是,所述曝光期间与所述遮光期间的比率为n(n为2以上的整数):1,相加图像生成部1417以从摄像元件10输出的n张遮光帧图像为对象进行所述相加图像的生成,校正部15通过从构成作为校正对象的信号帧图像的各像素的像素值,减去与该像素对应的构成由相加图像生成部1417生成的相加图像的像素的像素值,来进行所述校正。

据此,能够通过处理量较少的运算实现校正部15利用降低了随机成分的暗电流信号成分所进行的校正。

另外,例如也可以是,相加图像生成部1417以依次生成以在时序上连续的n张遮光帧图像为对象的相加图像的方式,进行所述相加图像的生成,校正部15从构成作为校正对象的信号帧图像的各像素的像素值,减去与该像素对应的构成以包括在与该信号帧图像相同的帧周期中从摄像元件10输出的遮光帧图像在内的连续n张遮光帧图像为对象由相加图像生成部1417生成的相加图像的像素的像素值,来进行所述校正。

据此,能够利用摄像时间差最短的遮光帧图像群,实现利用降低了随机成分的暗电流信号成分所进行的校正。

本公开的一方式所涉及的相机200具备摄像装置1、以及将外部光聚光至摄像元件10的透镜。

在该相机200中,遮光状态下的暗电流成分在遮光期间作为电荷蓄积在像素电路21。并且,摄像元件10在连续的信号帧图像的摄像期间内,输出基于在遮光期间像素电路21所蓄积的电荷量的遮光帧图像。另一方面,校正部15基于该遮光帧针对信号帧图像以降低暗电流信号成分的方式进行校正。

因此,根据该相机200,能够基于在连续的帧图像的摄像期间内取得的遮光状态下的暗电流信号成分,以降低在此摄像期间中摄像的帧图像所包含的暗电流信号成分的方式进行校正。

本公开的一方式所涉及的摄像方法为包括摄像元件10、电压控制部20以及校正部15的摄像装置1所进行的摄像方法,摄像元件10包括光电转换部件111和多个像素电路21,光电转换部件111在被施加第1规定范围的电压的状态下通过受光产生基于内部光电效应的电荷,而在被施加第2规定范围的电压的状态下即使受光也不产生基于内部光电效应的电荷,多个像素电路21以像素为单位蓄积由光电转换部件111生成的电荷,所述摄像方法包括:摄像步骤,摄像元件10输出基于多个像素电路21所蓄积的电荷量的帧图像;电压控制步骤,电压控制部20控制施加至光电转换部件111的电压,以及校正步骤,校正部15针对从摄像元件10输出的1个以上的帧图像中的至少一部分,以降低暗电流信号成分的方式进行校正;在所述电压控制步骤中,以如下方式进行所述控制:电压控制部20在作为规定的帧周期之中的一部分的曝光期间对光电转换部件111施加所述第1规定范围的电压,在所述帧周期之中的所述曝光期间以外的遮光期间对光电转换部件111施加所述第2规定范围的电压,在所述摄像步骤中,摄像元件10按每个所述帧周期,输出基于在所述曝光期间所述多个像素电路21所蓄积的电荷量的信号帧图像、以及基于在所述遮光期间多个像素电路21所蓄积的电荷量的遮光帧图像,在所述校正步骤中,校正部15针对从摄像元件10输出的信号帧图像,利用从摄像元件10输出的遮光帧图像进行所述校正。

在该摄像方法中,遮光状态下的暗电流成分在遮光期间作为电荷蓄积在像素电路21。并且,摄像元件10在连续的信号帧图像的摄像期间内,输出基于在遮光期间像素电路21所蓄积的电荷量的遮光帧图像。另一方面,校正部15基于该遮光帧,针对信号帧图像,以降低暗电流信号成分的方式进行校正。

因此,根据该摄像方法,能够基于在连续的帧图像的摄像期间内取得的遮光状态下的暗电流信号成分,以降低在此摄像期间中摄像的帧图像所包含的暗电流信号成分的方式进行校正。

工业实用性

本公开能够广泛地利用于摄像图像的摄像装置。

附图标记说明:

1、2、3、4、5摄像装置

10摄像元件

15、915、1415、1815、2215校正部

20、920、2220电压控制部

21像素电路

30接口部

110光电转换元件

111光电转换部件

112上部透明电极

113下部像素电极

120像素电路阵列

130读出电路

140输出电路

150行扫描电路

160定时控制电路

170电压施加电路

200、900、1400、1800、2200相机

211变焦透镜

212手抖校正透镜

213调焦透镜

1417相加图像生成部

1817相加取平均图像生成部。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1