图像处理装置、图像拍摄装置及图像处理方法

文档序号:9730430阅读:229来源:国知局
图像处理装置、图像拍摄装置及图像处理方法
【专利说明】
[000。 本申请是申请日为2014年3月5日、申请号为201410078684.7、发明名称为"图像处 理装置、图像拍摄装置及图像处理方法"的发明专利申请的分案申请。
技术领域
[0002] 本发明设及一种用于获得关于被摄体的焦点控制的信息的图像处理装置、图像拍 摄装置及图像处理方法。
【背景技术】
[0003] 作为诸如数字照相机等的图像拍摄装置,已知有如下的装置,该装置通过由用户 W触摸板操作等指定拍摄图像中包括的被摄体,来进行该被摄体的聚焦调整(例如,日本特 开2011-39457号公报)。
[0004] 此外,还提出了如下的技术,该技术能够通过显示如下的地图图像,来使用户轻松 地掌握要拍摄图像的对焦对象(被摄体),其中,所述地图图像用于表示代表要拍摄图像的 对象在深度方向上的位置的深度位置、W及代表焦点的位置的焦点位置(例如,日本特开 2010-177741 号公报)。
[000引近年来,已知还有光场摄影技术,该技术获取光线的朝向(orientation)及强度的 信息(光场数据),并且通过后面的图像处理来进行焦点位置的调整(再聚焦)W及景深的调 整(例如,日本特表2008-515110号公报)。
[0006] 使用该技术存在如下的优点:因为能够在图像拍摄之后进行焦点调整,因此,能够 通过图像处理来弥补图像拍摄时的焦点调整的失败。此外,还存在如下的优点:能够通过改 变图像处理方法,由一个拍摄图像来获得在图像中使任意被摄体对焦的多个图像,因此,能 够减少图像拍摄的次数。
[0007] 在光场摄影中,由从多个视点拍摄的图像的数据,来计算穿过空间中的多个位置 中的各位置的光线的方向及强度(光场)。然后,通过使用获得的光场的信息,来计算在假设 光穿过虚拟光学系统并在虚拟传感器上形成图像的情况下的图像。通过适当地设置运样的 虚拟光学系统及虚拟传感器,能够实现先前描述的再聚焦。作为用于获取光场的图像拍摄 装置,已知在主透镜的后面布置有微透镜阵列的全光照相机(plenoptic camera)(例如,日 本特开2009-124213号公报)、W及并排布置有小型照相机的照相机阵列。运两者均能够通 过一次图像拍摄,来获得从不同方向拍摄的来自多个视点的被摄体图像的数据。换言之,可 W将光场摄影表述为:由来自多个视点的图像的数据,来计算要在虚拟光学条件下由虚拟 传感器获取的图像。在下文中,计算由虚拟传感器获取的图像的处理被称为"再聚焦处理"。 作为再聚焦处理,已知有如下的方法:获取的来自多个视点的图像的数据经历到虚拟传感 器上的射影变换,并且被相加和求平均(例如,W02008050904)。
[0008] 作为用于在改变焦点位置的同时、显示已经历再聚焦处理的图像下称为再聚 焦图像)的方法,可W提及的例如有美国专利2008/0131019号公报中公开的方法。在美国专 利2008/0131019号公报中公开的方法中,在显示再聚焦图像的画面上准备用来调整焦点位 置的用户界面化I),并且经由该UI来改变焦点位置。另外,在美国专利2008/0131019号公报 中,公开了如下的方法:显示焦点位置被调整到如下的被摄体的再聚焦图像,其中,用户期 望将所述被摄体置于焦点位置,并通过显示有再聚焦图像的画面而给出了指令。
[0009] 在拍摄图像数据或光场数据的显示中,要对焦的对象存在于与图像拍摄位置相距 固定距离的平面上。然而,在通过指定特定被摄体来进行聚焦的情况下,用户无法掌握除所 述被摄体之外的哪个被摄体被对焦。
[0010] 另外,通过在日本特开2010-177741号公报中公开的技术,能够通过在深度方向上 按次序布置有如下标记的地图图像,来掌握哪个被摄体被对焦,其中,所述标记表示要拍摄 图像的对象;然而,地图图像与拍摄图像(实际图像)完全不同,因此,难W直观地掌握被摄 体。
[0011] 亦即,在上述专利文献等中公开的传统方法中,在摄影时或者在编辑图像时,未清 楚地指定在哪个范围内的被摄体上能够进行再聚焦,因此存在如下的问题:用户难W通过 自己预期的方式来进行图像拍摄或图像编辑。

【发明内容】

[0012] 根据本发明的图像处理装置具有:获取单元,其被配置为获取包括多个被摄体区 域的图像W及与所述多个被摄体区域相对应的距离信息;W及生成单元,其被配置为生成 在所述图像中对所述多个被摄体区域的位置进行了移位的移位图像。
[0013] 作为另选方案,所述图像处理装置具有:获取单元,其被配置为获取包括多个被摄 体区域的图像W及与所述多个被摄体区域相对应的距离信息;第一生成单元,其被配置为 基于所述距离信息,来生成在所述图像中对所述多个被摄体区域进行了再布置的再布置图 像;W及第二生成单元,其被配置为生成包括所述再布置图像的图像,其中,在所述再布置 图像中反映了关于用来改变包括所述多个被摄体区域的图像的聚焦状态的图像组合处理 的聚焦状态的信息。
[0014] 根据本发明,用户能够在摄影时或者在编辑图像时,直观地掌握被摄体的聚焦状 态。
[0015] 通过W下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
【附图说明】
[0016] 图1是示出数字照相机的外观的示例的图;
[0017] 图2是示出数字照相机的内部结构的框图;
[0018] 图3是示出图3A至图3C之间的关系的图,并且图3A至图3C是示出在根据第一实施 例的数字照相机中进行的图像处理的流程的流程图;
[0019] 图4是示出在数字照相机的显示单元上显示的二维图像的示例的图;
[0020] 图5是示出从二维图像中检测出被摄体的状态的图;
[0021] 图6是示出距离图像的示例的图;
[0022] 图7是示出提取出被摄体区域的状态的图;
[0023] 图8是示出用来确定水平方向与垂直方向的移位量之比的处理的流程的流程图;
[0024] 图9是示出对提取出被摄体区域的图像进行移位图像生成处理的结果的图;
[0025] 图10是示出对移位图像中的各被摄体区域进行剪切处理(shear processing)的 结果的图;
[0026] 图11是示出在经历了剪切处理的图像上叠加地面网格图案的结果的图;
[0027] 图12是示出在组合有地面网格图案的图像上、叠加聚焦距离的指标W及景深的指 标的结果的图;
[0028] 图13是示出处理光场数据的装置的内部结构的示例的图;
[0029] 图14是示出在根据第二实施例的装置中进行的图像处理的流程的流程图;
[0030] 图15是示出根据第Ξ实施例的照相机阵列图像拍摄装置的内部结构的框图;
[0031] 图16是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例;
[0032] 图17是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例;
[0033] 图18是在图像形成光学系统的图像侧布置了透镜阵列的结构的示例;
[0034] 图19是排列了多个图像形成光学系统的结构(照相机阵列)的示例;
[0035] 图20是示出透镜阵列与图像感测元件之间的关系的图;
[0036] 图21示意性地表示了第Ξ实施例中的表示再聚焦的系数〇±的表达式的关系;
[0037] 图22是示出根据第Ξ实施例的图像处理单元的内部结构的框图;
[0038] 图23是示出根据第Ξ实施例的图像处理单元中的处理的流程的流程图;
[0039] 图24A是示出单视点图像的示例的图,并且图24B是示出作为由单视点图像推导出 的距离信息的距离图的图;
[0040] 图25A及图25B分别是示出从距离图中提取被摄体区域的结果的示例的图;
[0041] 图26A至图2抓分别是示出在从正上方俯视单视点图像的场景的情况下的再布置 图像(rearranged image)的示例的图;
[0042] 图27是示出图16中所示的图像拍摄单元的结构中的光学布置的图;
[0043] 图28A及图28B分别是示出聚焦信息显示图像的示例的图;
[0044] 图29A至图29C分别是示出聚焦信息显示图像的变化的图;
[004引图30A至图30C分别是示出在连同单视点图像和/或组合图像一起显示聚焦信息显 示图像的情况下的示例的图;
[0046] 图31A及图31B分别是通过在图17中所示的图像拍摄单元的结构中主要放大透镜 阵列及图像感测元件的部分而获得的图;
[0047] 图32示意性地表示了第四实施例中的表示再聚焦的系数〇±的表达式的关系;
[0048] 图33是在从正面(物体侧)观察具有照相机阵列的结构的图像拍摄单元的情况下 的图;
[0049] 图34是在从侧面观察根据第五实施例的图像形成光学系统及图像感测元件的情 况下的图(截面);W及
[0050] 图35示意性地表示了第五实施例中的表示再聚焦的系数〇±的表达式的关系。
【具体实施方式】
[0051 ]在下文中,参照附图来详细说明本发明的实施例。
[0052] [第一实施例]
[0053] 在此,说明根据本发明的图像处理装置被应用于数字照相机的方面,作为第一实 施例。
[0054] 图1是示出数字照相机的外观的示例的图。
[0055] 在显示单元101中,例如,使用液晶显示器,并且显示图像W及各种信息。显示单元 101具有触摸屏(touch screen)功能,并且能够检测对显示单元101的触摸。例如,触摸板 (touch panel)被配置为使得光的透射率不影响显示单元101的显示,并且该触摸板被附着 至显示单元101的显示面的上层。然后,使触摸板上的输入坐标和显示单元101上的显示坐 标彼此相关联。由此,能够配置如下的GUI,利用该GUI,能够让用户看起来像直接操作在显 示单元101上显示的画面一样。
[0056] 快口按钮102是用于给出进行图像拍摄的指令的操作单元。
[0057] 模式转盘103是用于切换各种模式的操作单元。
[0058] 连接器104是连接电缆111与数字照相机100之间的连接器。
[0059] 操作单元105包括用来接收来自用户的各种操作的各种开关、按钮等。
[0060] 控制器轮106是包括在操作单元105中的操作部件,并且能够被旋转操作。
[0061] 电源开关107在数字照相机100的电源的开启(on)与关闭(off)之间进行切换。
[0062] 存储介质108是用于存储拍摄图像数据及光场数据的、诸如存储卡及硬盘等的信 息存储介质。
[0063] 存储介质插槽109是用于容纳存储介质108的插槽。能够使在存储介质插槽109中 容纳的存储介质108与数字照相机100通信。
[0064] 盖子110是存储介质插槽109的盖子。
[006引图2是示出数字照相机100的内部结构的框图。
[0066] 图像拍摄透镜201包括聚焦透镜。
[0067] 快口包括光圈功能,并且W与快口按钮102联锁(interlock)的方式来控制曝光。
[0068] 图像拍摄单元203包括将光学图像转换为电信号的CCDXM0S元件等。
[0069] A/D转换器204将从图像拍摄单元203输出的模拟信号转换为数字信号。
[0070] 挡板205通过覆盖包括图像拍摄透镜201和快口202的图像拍摄单元203,来防止图 像拍摄系统的沾污和破损。
[0071] 图像处理单元206对来自A/D转换单元204的图像数据或者来自存储器控制单元 207的图像数据,进行大小调整处理(例如预定的像素插值和缩小)W及颜色转换处理。在图 像处理单元206中,使用拍摄图像数据来进行预定的算术运算处理,并且系统控制单元208 基于获得的算术运算结果,来进行曝光控制及距离测量控制。由此,进行TTL(通过镜头)AF (自动聚焦)处理、AE(自动曝光)处理及EF(预闪光)处理。在图像处理单元206中,使用拍摄 图像数据进一步进行预定的算术运算处理,并且还基于获得的算术运算结果来进行TTL AWB (自动白平衡)处理。来自A/D转换器204的图像数据经由图像处理单元206及存储器控制 单元207、或者经由存储器控制单元207,而被直接写入存储器209。
[0072] 存储器209存储由图像拍摄单元203获得并被A/D转换器204转换为数字数据的图 像数据、W及要在显示单元101上显示的图像数据。存储器209包括足W存储预定数量的静 止图像、预定时间段的运动图像W及声音的存储容量。通过利用显示单元101依次显示拍摄 图像数据,能够实现电子取景器功能(即显图像(throu曲-image)显示)。此外,存储器209还 充当用于显示图像的存储器(视频存储器)dD/A转换器210将用于显示存储在存储器209中 的图像的数据转换为模拟信号,并且将运些信号供给至显示单元101。W运种方式,经由D/A 转换器210,在显示单元101上显示被写入存储器209的待显示图像数据。
[0073] 显示单元101依照来自D/A转换器210的模拟信号,在诸如LCD等的显示器上产生显 /J、- 〇
[0074] 非易失性存储器211是电可擦除/可编程存储器,并且,例如使用邸PROM等。非易失 性存储器211存储用于系统控制单元208的操作的常数、程序等。在此所指的程序是用来执 行后述的各种流程图的程序。
[0075] 系统控制单元208控制整个数字照相机100。系统控制单元208通过执行前述的存 储在非易失性存储器211中的程序,来实现后述的各处理。作为系统存储器212,使用了 RAM, 并且在该RAM上,展开用于系统控制单元208的操作的常数、变量、从非易失性存储器211中 读取的程序等。此外,系统控制单元208还通过控制存储器209、D/A转换器210、显示单元101 等,来进行显示控制。此外,系统控制单元208能够检测对触摸板的W下操作。
[0076] ?用手指或笔对触摸板进行触摸的操作下称为触摸着屏(touch down))
[OOW] ?手指或笔与触摸板相接触的状态(w下称为触摸中(touch on))
[0078] .在使手指或笔与触摸板保持接触的状态下移动所述手指或笔的操作(W下称为 移动(move))
[0079] .用两个手指对触摸板进行触摸、并移动运两个手指W便缩窄运两个手指之间的 间隔的操作下称为双指捏合(pinch in))
[0080] .用两个手指对触摸板进行触摸、并移动运两个手指W便增大运两个手指之间的 间隔的操作下称为双指分开(pinch out))
[0081] .放开与触摸板接触的手指或笔的操作(W下称为触摸释放(touch up))
[0082] ?没有什么与触摸板相接触的状态(W下称为无触摸(touch off))
[0083] 向系统控制单元208,通知上述各种操作、W及手指或笔与触摸板相接触的位置的 坐标,并且系统控制单元208基于通知的信息,来确定在触摸板上进行了哪种操作。对于移 动而言,还能够基于位置坐标的改变,分别针对触摸板上的垂直分量和水平分量,来确定在 触摸板上移动的手指或笔的移动方向。假设在进行从触摸板上的触摸着屏到持续移动后的 触摸释放的运一系列操作的情况下,来描述划按(S化oke)。用来快速描述划按的操作称为 轻滑(flick)。轻滑是如下的操作:将与触摸板相接触的手指快速移动一定距离,然后放开 该手指。换言之,轻滑是在触摸板上快速滑动手指W便使该手指轻滑的操作。在检测到W预 定速度或更高速度移动了预定距离或更多的情况下,能够确定进行了轻滑。假设在检测到 W低于预定速度的速度移动了预定距离或更多的情况下,确定进行了拖动。作为触摸板,也 可W使用如下各种系统中的任何系统,诸如电阻膜系统、静电电容系统、表面声波系统、红 外系统、电磁感应系统、图像辨识系统及光学传感器系统等。
[0084] 模式转盘103将系统控制单元208的操作模式,切换到能够记录静止图像和运动图 像的图像拍摄模式、再现模式等中的任何模式。快口按钮102包括未示意性地示出的第一快 口开关和第二快口开关。第一快口开关在快口按钮102的操作当中、即通过所谓的半按下操 作(进行图像拍摄准备的指令)而开启,并且生成第一快口开关信号SW1。第一快口开关信号 SW1引发如下的操作,诸如AF(自动聚焦)处理、AE(自动曝光)
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1