图像处理装置、摄像装置、图像处理方法及图像处理程序的制作方法_4

文档序号:9816701阅读:来源:国知局
,如图14所示,第I及第2像素组各自的光瞳分割方向的像素的线性灵敏度变化引起的显示用视差图像的线性亮度变化得到减轻。
[0136]如以上说明,在摄像装置100中,计算出在不同时刻获取的一对帧中后获取的后一帧中包含的相位差图像与普通图像的比较结果即最新校正系数。若计算出最新校正系数,则根据一对帧中先获取的前一帧中包含的相位差图像与普通图像的比较结果即第I及第2平均化校正系数以及计算出的最新校正系数,计算出新的第I及第2平均化校正系数。并且,包含利用新的第I及第2平均化校正系数校正了减光特性的裂像的即时预览图像显示于显示装置。由此,与不具有利用根据当前的第I及第2平均化校正系数以及最新校正系数计算出的新的第I及第2平均化校正系数校正减光特性的结构时相比,摄像装置100能够即时进行减光特性的校正。
[0137]并且,摄像装置100中,将对一对帧中的前一帧的减光特性的校正中利用的第I及第2平均化校正系数(当前的第I及第2平均化校正系数)与最新校正系数进行平均化来获得的值用作新的第I及第2平均化校正系数。由此,与将对当前的第I及第2平均化校正系数与最新校正系数进行平均化来获得的值不用作新的第I及第2平均化校正系数时相比,摄像装置100能够获得与当前的摄影条件对应的第I及第2平均化校正系数。
[0138]并且,摄像装置100中,第I及第2平均化校正系数分别是对相位差图像与普通图像的相互对应的像素位置(例如,在行方向上相同的像素位置)中的像素值进行比较的比较值。并且,最新校正系数是对相位差图像与普通图像的相互对应的像素位置中的像素值进行比较的比较值。由此,与不具有本结构时相比,摄像装置100能够获得可使已校正减光特性的相位差图像的亮度以像素单位与普通图像的亮度对应的第I及第2平均化校正系数。
[0139]并且,摄像装置100中,计算出对一对帧中的后一帧中包含的左眼图像与普通图像进行比较的比较结果即左眼图像校正系数的平均值(步骤406)。并且,计算出对一对帧中的后一帧中包含的右眼图像与普通图像进行比较的比较结果即右眼图像校正系数的平均值(步骤410)。其中,根据对前一帧中包含的左眼图像与普通图像进行比较的比较结果即当前的第I平均化校正系数及计算出的左眼图像校正系数的平均值,计算出用于校正左眼图像的减光特性的新的第I平均化校正系数(步骤414)。并且,根据对前一帧中包含的右眼图像与普通图像进行比较的比较结果即当前的第2平均化校正系数及计算出的右眼图像校正系数的平均值,计算出用于校正右眼图像的减光特性的新的第2平均化校正系数(步骤414)。并且,根据计算出的新的第I平均化校正系数,校正后一帧中包含的左眼图像的减光特性,根据计算出的新的第2平均化校正系数,校正后一帧中包含的右眼图像的减光特性(步骤418)。由此,与不具有本结构时相比,摄像装置100能够以高精度校正右眼图像及左眼图像的减光特性。
[0140]另外,上述第I实施方式中,举出针对特定相位差像素行,从所获取的各个左眼图像及普通图像根据特定的像素位置的像素值计算左眼、右眼图像校正系数的例子来进行了说明,但本发明并不限定于此。例如,也可根据成像元件20的行方向上相同的像素位置中的第I像素L的像素值的平均值及第2像素R的像素值的平均值,计算左眼、右眼图像校正系数。
[0141]并且,上述第I实施方式中,将根据特定相位差像素行内的相位差像素的像素值获得的第I及第2平均化校正系数分别用于其他行中的相位差像素的减光特性的校正,但本发明并不限定于此。例如,可针对所有相位差像素行分别计算第I及第2平均化校正系数,计算从行方向上相同的像素位置获得的第I及第2平均化校正系数的各自的平均值、模式或中位数作为用于校正的新的第I及第2平均化校正系数。
[0142]并且,上述第I实施方式中,举出对从行方向上相邻的普通像素N与相位差像素获得的像素值进行比较的例子来进行了说明,但本发明并不限定于此。例如,在不存在与相位差像素相邻的普通像素N时,对相位差像素的像素值与存在于距离该相位差像素最近的位置的普通像素N的像素值进行比较即可。
[0143]并且,上述第I实施方式中,作为在步骤404、408中获取像素值的特定相位差像素行,例示了成像元件20中的列方向的最上段的第I像素行150,但本发明并不限定于此。例如,可以是存在于成像元件150中的列方向的中央段的第I像素行150或第2像素行152,也可以是存在于成像元件150中的列方向的最下段的第I像素行150或第2像素行152。并且,在步骤404、408中获取像素值的特定相位差像素行根据摄影透镜16的种类或光圈值等摄影条件而选择性地设定即可。并且,在步骤404、408中获取像素值的特定像素位置也根据摄影透镜16的种类或光圈值等摄影条件而选择性地设定即可。
[0144]并且,上述第I实施方式中,举出按每I帧计算新的第I及第2平均化校正系数的例子来进行了说明,但本发明并不限定于此。例如,可按根据CPU12当前的处理速度(运算负荷)确定的帧数计算新的第I及第2平均化校正系数。作为具体例,可举出如下例,S卩,CPU12的处理速度小于阈值时,按每5帧计算新的第I及第2平均化校正系数,CPU12的处理速度为阈值以上时,按每I帧计算新的第I及第2平均化校正系数。
[0145]并且,上述第I实施方式中说明的图像输出处理的流程(参考图13)仅为一例。因此,在不脱离宗旨的范围内当然可以删除不必要的步骤、或追加新的步骤、或替换处理顺序。并且,上述第I实施方式中说明的图像输出处理中包含的各处理可通过执行程序,利用计算机通过软件配置来实现,也可通过硬件配置与软件配置的组合来实现。并且,上述第I实施方式中说明的图像输出处理中包含的各处理可通过ASIC或可编程逻辑设备等硬件配置来实现,也可通过硬件配置与软件配置的组合来实现。
[0146]并且,通过由计算机执行程序来实现上述第I实施方式中说明的图像输出处理时,预先将程序存储于规定的存储区域(例如辅助存储部26)即可。另外,并不一定要从最开始就存储于辅助存储部26。例如,可先将程序存储于与计算机连接来使用的SSD(S0lid StateDrive)、CD-R0M、DVD盘、磁光盘、IC卡等任意的便携式存储介质。并且,也可设为由计算机从这些便携式存储介质获取程序来执行。并且,也可设为将程序存储于经由互联网或LAN(Local Area Network)等与计算机连接的其他计算机或服务器装置等中,由计算机从这些获取程序来执行。
[0147]并且,为了通过软件配置实现上述第I实施方式中说明的图像输出处理中包含的各处理,例如,设为通过由CPU12执行图像输出处理程序,从而在摄像装置100中进行图像输出处理即可。其中,图像输出处理程序例如指具有获取处理、校正处理及控制处理的程序。图像输出处理程序存储于辅助存储部26即可,CPU12从辅助存储部26读出图像输出处理程序并向主存储部25展开,依次进行获取处理、校正处理及控制处理即可。此时,CPU12通过执行获取处理,发挥与图7所示的获取部28A相同的作用。并且,CPU12通过执行校正处理,发挥与图7所示的校正部28B相同的作用。而且,CPU12通过执行控制处理,发挥与图7所示的控制部28C相同的作用。
[0148]并且,上述第I实施方式中说明的摄像装置100可具有确认景深的功能(景深确认功能)。此时,摄像装置100例如具有景深确认键。景深确认键可以是硬件键,也可以是软件键。若是通过硬件键发出命令,则优选适用例如瞬时动作型开关(非保持型开关)。在此所说的瞬时动作型开关例如指在按下至规定位置的期间维持摄像装置100中的特定的动作状态的开关。其中,若按下景深确认键,则光圈值被变更。并且,在持续按下景深确认键期间(按下至规定位置期间),光圈值持续变化,直至达到极限值。如此,按下景深确认键期间,光圈值发生变化,因此有时无法获得为了获得裂像所需的相位差。因此,也可设为在显示有裂像的状态下,景深确认键被按下时,在按下期间从裂像变更为普通的即时预览显示。并且,也可由CPU12以在解除按下状态时再次显示裂像的方式进行画面的切换。另外,在此,作为景深确认键的一例,例示了适用瞬时动作型的开关的情况,但并不限于此,也可适用交替动作式开关(保持型开关)。
[0149][第2实施方式]
[0150]上述第I实施方式中,例示了按每I个相位差像素个别地计算最新校正系数的情况,本第2实施方式中,对按多个相位差像素计算最新校正系数的情况进行说明。另外,本第2实施方式中,对于上述第I实施方式中说明的构成要件,标注相同符号并省略说明。
[0151]本第2实施方式所涉及的摄像装置100A与上述第I实施方式所涉及的摄像装置100相比,不同点在于,代替通过图像处理部28进行图13所示的图像输出处理,通过图像处理部28进行图15所示的图像输出处理。图15所示的图像输出处理与图13所示的图像输出处理相比,不同点在于,代替步骤404?412而具有步骤430?步骤448。
[0152]图15所示的图像输出处理中,在步骤430中,校正部28B设定在步骤400中获取的帧中的关注行600(参考图16),之后过渡到步骤432。在此,关于关注行600,作为一例,如图16所示,是指包含2个相位差像素行(沿光瞳分割方向配置有多个相位差像素的行)的5行。
[0153]步骤432中,校正部28B作为在步骤430中设定的关注行600中应关注的像素组设定系数计算像素组602n(参考图16),之后过渡到步骤434。图16所示的例子中,作为系数计算像素组602η的一例,示出有系数计算像素组6021、6022。作为一例,如图16所示,系数计算像素组602η为行列状(图16所示的例子中,为5 X 12的行列状)的像素组。系数计算像素组602η具有多个普通像素N、多个第I像素L(图16所示的例子中,为4个第I像素L)及多个第2像素R(图16所示的例子中,为4个第2像素R)。另外,步骤432中应关注的像素组是指未被当作步骤434至步骤440的处理对象的像素组。
[0154]步骤434中,校正部28Β分别从在步骤432中设定的系数计算像素组602η中包含的特定的第I像素L及特定的普通像素N获取像素值,之后过渡到步骤436。步骤434中,特定的第I像素L是指,系数计算像素组602η中包含的多个第I像素L中,未在步骤434中获取像素值的I个第I像素L。步骤434中,特定的普通像素N是指与特定的第I像素L相邻的I个普通像素N。
[0155]步骤436中,校正部28Β计算左眼图像校正系数。并且,对计算出的左眼图像校正系数与像素位置的坐标(例如,能够确定已在步骤434中获取像素值的第I像素L的像素位置的坐标)建立对应关联来存储(覆盖保存)于第I校正系数存储区域25Β,之后过渡到步骤438。
[0156]步骤438中,校正部28Β分别从在步骤432中设定的系数计算像素组602η中包含的特定的第2像素R及特定的普通像素N获取像素值,之后过渡到步骤440。步骤438中,特定的第2像素R是指,系数计算像素组602η中包含的多个第2像素R中,未在步骤438中获取像素值的I个第2像素R。步骤438中,特定的普通像素N是指与特定的第2像素R相邻的I个普通像素N。
[0157]步骤440中,校正部28Β计算右眼图像校正系数。并且,对计算出的右眼图像校正系数与像素位置的坐标(例如,能够确定已在步骤438中获取像素值的第2像素R的像素位置的坐标)建立对应关联来存储(覆盖保存)于第2校正系数存储区域25C,之后过渡到步骤442。
[0158]步骤442中,校正部28Β判定是否针对关注像素组中包含的所有第I像素L及所有第2像素R已计算出左眼图像校正系数及右眼图像校正系数。其中,关注像素组是指在步骤432中设定为应关注的像素组的系数计算像素组600η。
[0159]步骤442中,针对关注像素组中包含的所有第I像素L及所有第2像素R未计算左眼图像校正系数及右眼图像校正系数时,判定为否定,并过渡到步骤434。步骤442中,针对关注像素组中包含的所有第I像素L及所有第2像素R已计算出左眼图像校正系数及右眼图像校正系数时,判定为肯定,并过渡到步骤444。
[0160]步骤444中,校正部28Β从存储于第I校正系数存储区域25Β的左眼图像校正系数删除最大左眼图像校正系数(最大校正值)及最小左眼图像校正系数(最小校正值)。并且,校正部28Β从存储于第2校正系数存储区域25C的右眼图像校正系数删除最大右眼图像校正系数(最大校正值)及最小右眼图像校正系数(最小校正值)。
[0161]接下来的步骤446中,校正部28B判定针对在步骤430中设定的关注行600中包含的所有系数计算像素组602n,步骤434至步骤444的处理是否结束。步骤446中,针对在步骤430中设定的关注行600中包含的所有系数计算像素组602n,步骤434至步骤444的处理未结束时,判定为否定,并过渡到步骤432ο步骤446中,针对在步骤430中设定的关注行600中包含的所有系数计算像素组600n,步骤434至步骤444的处理已结束时,判定为肯定,并过渡到步骤448。
[0162]步骤448中,校正部28B将对存储于第I校正系数存储区域25B的左眼图像校正系数按每个系数计算像素组602n进行平均化的值作为最新校正系数,按每个像素存储于第I使用系数存储区域26A。在此,对左眼图像校正系数按每个系数计算像素组602n进行平均化的值是指,例如针对与图16所示的比例Ao对应的像素位置,是指对从比例Ao、比例A1、比例A2及比例A3除去最大值及最小值的值进行平均化的平均值X1。针对分别与图16所示的比例A1、比例八2及比例A3对应的像素位置,是指根据平均值X1及平均值¥:计算出的平均值叾“ =(3X#Yi) /4)。平均值Yi是指从图16所示的比例A4、比例六5、比例A6及比例A7除去最大值及最小值的值的平均值。另外,并不限于平均值Z1,针对分别与图16所示的比例A1、比例A2及比例A3对应的像素位置,也可以是通过利用平均值X1及平均值^的内插法获得的值。
[0163]并且,按每个像素将按每个系数计算像素组602n进行平均化的值存储于第I使用系数存储区域26A是指,例如将对左眼图像校正系数按每个系数计算像素组602?进行平均化的值,按存储于第I校正系数存储区域25B的每个坐标进行存储。
[0164]并且,步骤448中,校正部28B将对存储于第2校正系数存储区域25C的右眼图像校正系数按每个系数计算像素组602n进行平均化的值作为最新校正系数,按每个像素存储于第2使用系数存储区域26B。在此,对右眼图像校正系数按每个系数计算像素组602n进行平均化的值是指,例如针对与图16所示的比例Ao对应的像素位置,是指对从比例Bo、比例B1、比例出及比例B3除去最大值及最小值的值进行平均化的平均值X2。针对分别与图16所示的比例仏、比例B2及比例B3对应的像素位置,是指根据平均值X2及平均值YH+算出的平均值Ζ2( =(3Χ2+Υ2)/4)。平均值Y2是指从图16所示的比例Β4、比例B5、比例B6及比例B7除去最大值及最小值的值的平均值。另外,并不限于平均值Ζ2,针对分别与图16所示的比例B1、比例B2及比例B3对应的像素位置,也可以是通过利用平均值X2及平均值¥2的内插法获得的值。
[0165]如以上说明,摄像装置100Α中,根据从系数计算像素组602η获得的左眼图像校正系数中除了最小值及最大值以外的左眼图像校正系数计算第I平均化校正系数。并且,根据从系数计算像素组602?获得的右眼图像校正系数中除了最小值及最大值以外的右眼图像校正系数计算第2平均化校正系数。由此,与不具有本结构时相比,摄像装置100Α能够获得精度良好地平滑化的第I及第2平均化校正系数。
[0166]另外,上述第2实施方式中,举出将按每个系数计算像素组602η对最大、最小校正值以外的左眼、右眼图像校正系数进行平均化的值用作最新校正系数的例子来进行了说明,但本发明并不限定于此。例如,也可按系数计算像素组602η计算除了最大、最小校正值以外的左眼、右眼图像校正系数的中位数或模式,并将计算出的中位数或模式用作最新校正系数。
[0167][第3实施方式]
[0168]上述第I实施方式中,例示了将计算出的左眼、右眼图像校正系数直接存储于存储区域的情况,但本第3实施方式中,对当计算出的左眼、右眼图像校正系数超过上限值或低于下限值时将替代值存储于存储区域的情况进行说明。另外,本第2实施方式中,对于上述第I实施方式中说明的构成要件,标注相同符号并省略说明。
[0169]本第3实施方式所涉及的摄像装置100B与上述第I实施方式所涉及的摄像装置100相比,不同点在于,代替通过图像处理部28进行图13所示的图像输出处理,通过图像处理部28进行图17A及图17B所示的图像输出处理。图17A及图17B所示的图像输出处理与图13所示的图像输出处理相比,不同点在于,代替步骤404?412而具有步骤430?步骤448。并且,图17A及图17B所示的图像输出处理与图13所示的图像输出处理相比,不同点在于具有步骤460?470ο
[0170]图17Α及
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1