专利名称：图像处理装置及图像处理方法
技术领域：
本发明特别涉及基于从单一的视点拍摄的多张图像计测场景的进深的图像处理装置及图像处理方法。
背景技术：
提出了用来以非接触的方式计测某3维场景的进深、即到各被摄体的距离的各种方法。这些方法大致分为主动的方法和被动的方法。主动的方法是将红外线、超声波或激光等照射在被摄体上、基于到反射波返回来为止的时间或反射波的角度等计算到被摄体的距离的方法。被动的方法是基于被摄体的像计算距离的方法。尤其在使用摄像机计测到被摄体的距离的情况下，广泛地使用不需要用来照射红外线等的装置的被动的方法。被动的方法也提出了许多方法，作为其中之一，提出了基于因焦点的变化而产生的模糊来计测距离的称作D印th from Defocus (散焦测距，以下记为DFD)的方法。DFD具有不需要多个摄像机、能够根据少量的图像进行距离计测等的特征。DFD是利用图像的模糊来计测距离的方法，但是存在很难根据拍摄的图像自身判断在拍摄的图像中存在的模糊是因透镜的焦点的变化而产生的、还是表示没有由透镜引起的模糊的状态的原图像原本具有模糊的纹理的问题。对此，在专利文献1所记载的方法中，通过将多个摄像图像间的空间频谱之比和与场景的进深对应的模糊的空间频谱之比较，进行不依存于原图像的频谱成分的距离计测。另一方面，在专利文献2所记载的方法中，一边改变焦点一边拍摄许多图像，并仅将它们的对焦部分取出，由此得到相当于原图像的参照图像。构成对该参照图像卷积各种模糊的尺度空间(Scale Space)，通过在尺度空间上将参照图像与摄像图像比较，来进行距离计测。即，通过将参照图像的模糊的程度与摄像图像的模糊的程度比较来进行距离计测。先行技术文献专利文献专利文献1 日本专利第四63990号公报专利文献2 美国专利申请公开第2007/0019883号说明书非专利文献非专利文献 1 :H. Nagahara, S. Kuthirummal，C. Zhou, S. K. Nayer,"Flexible Depth of Field Photography", European Conference on Computer Vision (ECCV), Oct,2008
发明概要发明要解决的问题但是，在专利文献1所记载的方法中，为了使计测变得容易而对光学系统的开口部插入特殊的构造的掩模，进行在模糊的空间频谱中周期性地出现零点等的构造化。但是， 因此而存在入射光量减少的问题，为了补偿它，需要提高摄像元件的灵敏度或延长曝光时间。但是，前者导致摄像图像的噪声的增大，后者导致被摄体变模糊，因此被摄体的波谱成分变得紊乱，距离计测的精度下降。另一方面，在专利文献2所记载的方法中，只要不将光圈大幅缩小，则图像的景深的幅度比进行距离计测的范围非常窄，所以为了得到参照图像需要拍摄很多图像。这抵消了 DFD的能够通过少量的图像进行距离计测的优点。除此以外，通过将光圈大幅缩小，能够从较少的张数的图像得到参照图像，但由于入射光量下降，所以存在与专利文献1所记载的方法相同的问题。
发明内容
本发明是鉴于上述问题而做出的，目的是提供一种能够从较少的张数的摄像图像稳定地进行距离计测的图像处理装置及图像处理方法。有关本发明的一技术方案的图像处理装置，具备摄像部，摄像图像；对焦范围控制部，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的η张(其中，η ^ 2)图像的模糊的程度，计测到被摄体的距离。根据这样的结构，由于不需要向光路上插入掩模或缩小光圈，不会导致光量的下降，所以能够根据较少的张数的摄像图像稳定地进行距离计测。此外，其特征也可以是，上述对焦范围控制部对在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。根据这样的结构，景深扩展移动焦点的量，能够以较少的张数进行较大的范围的距离计测。此外，也可以是，上述摄像部包括位于从上述被摄体到上述摄像部的光路上的、对光线的波阵面进行调制的波阵面调制元件、或者由上述摄像部摄像的上述图像的对焦范围大致连续的具有多个焦点的多焦点透镜。根据这样的结构，不移动焦点就能够得到同样的效果。此外，其特征也可以是，上述对焦范围控制部通过在上述摄像部的曝光中使焦点位置阶段性地变化来进行控制，以得到不连续的对焦范围。根据这样的结构，具有不连续的对焦范围的图像的模糊的变化模式变得特殊，能够具有通过DFD算法更容易进行距离计测的模糊的形状。此外，其特征也可以是，上述摄像部包括具有多个焦点的多焦点透镜，该多焦点透镜位于从上述被摄体到上述摄像部的光路上，并且由上述摄像部摄像的上述图像的对焦范围不连续。根据这样的结构，能够具有不移动焦点而通过DFD算法更容易进行距离计测的模糊的形状。此外，其特征也可以是，上述摄像部具备η个摄像元件，配置成距离上述被摄体的光路长度分别不同；以及分束器，将光线分割为η个，并将分割后的光线分别向上述η个摄像元件导引；上述对焦范围控制部对在上述摄像部的曝光中使焦点位置大致等速变化， 由此扩展景深。根据这样的结构，能够将对焦范围相互不同的η张图像同时摄像，能够将处理整体所花费的时间缩短。此外，由于各图像的景深被连续地扩展，所以能够以较少的张数进行较大的范围的距离计测。此外，其特征也可以是，上述摄像部具备m个摄像元件；光轴变化机构，使光线的光轴方向变化；以及驱动部，驱动上述光轴变化机构，由此使上述光轴方向朝向上述摄像元件中的某1个；上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化；上述驱动部按照规定的时间变化模式，使上述光轴变化机构改变上述光轴方向。根据这样的结构，能够将对焦范围相互不同的η张图像同时摄像，能够将处理整体所花费的时间缩短。此外，由于各图像具有不连续的对焦范围，所以能够具有通过DFD算法更容易进行距离计测的模糊的形状。此外，也可以是，上述图像处理装置还具备参照图像生成部，该参照图像生成部根据由上述摄像部摄像的上述η张图像的平均图像，生成参照图像。另外，本发明不仅能够作为具备这样的特征性的处理部的图像处理装置实现，还能够作为以在图像处理装置中包含的特征性的处理部执行的处理为步骤的图像处理方法实现。此外，也可以作为使计算机执行在图像处理方法中包含的特征性的步骤的程序实现。 并且，当然能够使这样的程序经由CD-R0M(Compact Disc-Read Only Memory)等的计算机可读取的非易失性的记录媒体或因特网等的通信网络流通。发明效果根据本发明，通过对焦范围控制部能够不用将光圈缩小就得到对焦范围比通常大的图像，所以能够根据较少的张数的图像得到参照图像。除此以外，由于各图像具有的对焦范围相互大致独立，所以将各图像平均的图像相对于到被摄体的距离具有大致均勻的模糊。因而，能够通过简单的方法得到精度高的参照图像。
图1是表示有关本发明的实施方式的图像处理装置的结构的图。图2是示意地表示使焦点变化时的聚光的状况的图。图3是表示3次相位板的形状的图。图4是表示基于3次相位板进行的聚光的状况的图。图5是表示图1的图像处理装置的动作的流程的流程图。图6是表示使焦点位置等速变化的状况的曲线图。图7是示意地表示将不同特性的光学元件切换的机构的图。图8是表示使焦点位置阶段性变化的状况的曲线图。图9A是表示场景的纹理的图。图9B是表示场景的被摄体距离的图。图IOA是表示根据具有连续的对焦范围的2张图像进行距离计测的结果的图。图IOB是表示根据具有不连续的对焦范围的2张图像进行距离计测的结果的图。图1IA是示意地表示变形例1的光路的例子的图。图IlB是表示在变形例1中使焦点位置等速变化的状况的曲线图。图12是示意地表示变形例1的光路的另一例的图。
图13A是示意地表示变形例2的光路的例子的图。图13B是示意地表示通过反射镜向摄像元件1导引光线的状况的图。
图13C是示意地表示通过反射镜向摄像元件2导引光线的状况的图。图14是表示在变形例2中使焦点位置等速变化的状况的曲线图。
具体实施例方式以下，举例说明本发明的实施方式。图1是表示有关本发明的实施方式的图像处理装置的结构的图。图像处理装置10 具备摄像部11、对焦范围控制部12、参照图像生成部13及距离计测部14。摄像部11包括作为装入有将光线聚集的透镜的光学系统的透镜单元、 CCD (Charge Coupled Device 电荷耦合设备)传感器或 CMOS (Complementary Metal Oxide Semiconductor 互补金属氧化物半导体)传感器等的摄像元件而构成，具有拍摄被摄体的像并输出图像的功能。对焦范围控制部12具有控制摄像部11具有的透镜单元、使由摄像部11拍摄的图像的对焦位置及景深扩展的功能。具体而言，通过使装入在透镜单元中的自动对焦机构以指定的模式动作、或者切换指定的光学元件等而进行控制。参照图像生成部13根据通过对焦范围控制部12的作用而具有不同的对焦位置及景深的多张图像，生成推测出没有透镜带来的模糊的状态的参照图像。距离计测部14根据多张图像的模糊的程度计测到被摄体的距离。S卩，距离计测部 14使用所拍摄的具有不同的对焦位置及景深的多张图像及参照图像，基于DFD的方法进行距离计测。接着，说明对拍摄的图像进行的景深扩展的方法。一般的景深的幅度如以下这样定义。首先，对超焦距(Hyper focal Distance)进行说明。所谓超焦距，是在将焦点对准于该距离的情况下、判断为从该距离起向后侧(远离透镜侧)到无限远都对焦的距离，当设透镜的焦距为f、透镜的F数(焦距比数)为F、表示能够检测的最小的模糊的容许弥散圆的大小为c时，超焦距h用以下的式1近似。[数式1] f
权利要求
1.一种图像处理装置，具备 摄像部，摄像图像；对焦范围控制部，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的η张图像的模糊的程度，计测到被摄体的距离，其中，η ^ 2。
2.如权利要求1所述的图像处理装置，上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。
3.如权利要求1所述的图像处理装置，上述摄像部包括波阵面调制元件，该波阵面调制元件位于从上述被摄体到上述摄像部的光路上，对光线的波阵面进行调制。
4.如权利要求1所述的图像处理装置，上述摄像部包括具有多个焦点的多焦点透镜，该多焦点透镜位于从上述被摄体到上述摄像部的光路上，并且由上述摄像部摄像的上述图像的对焦范围大致连续。
5.如权利要求1所述的图像处理装置，上述对焦范围控制部通过在上述摄像部的曝光中使焦点位置阶段性地变化来进行控制，以得到不连续的对焦范围。
6.如权利要求1所述的图像处理装置，上述摄像部包括具有多个焦点的多焦点透镜，该多焦点透镜位于从上述被摄体到上述摄像部的光路上，并且由上述摄像部摄像的上述图像的对焦范围不连续。
7.如权利要求1所述的图像处理装置， 上述摄像部具备η个摄像元件，配置成距离上述被摄体的光路长度分别不同；以及分束器，将光线分割为η个，并将分割后的光线分别向上述η个摄像元件导引； 上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化，由此扩展景深。
8.如权利要求1所述的图像处理装置， 上述摄像部具备η个摄像元件；光轴变化机构，使光线的光轴方向变化；以及驱动部，驱动上述光轴变化机构，由此使上述光轴方向朝向上述摄像元件中的某1个； 上述对焦范围控制部在上述摄像部的曝光中使焦点位置大致等速变化； 上述驱动部按照规定的时间变化模式，使上述光轴变化机构改变上述光轴方向。
9.如权利要求1 8中任一项所述的图像处理装置，由上述摄像部摄像的上述η张图像各自具有的对焦范围相互大致独立。
10.如权利要求1 9中任一项所述的图像处理装置，还具备参照图像生成部，该参照图像生成部根据由上述摄像部摄像的上述η张图像的平均图像，生成参照图像。
11.一种图像处理方法，包括 摄像步骤，通过摄像部摄像图像；对焦范围控制步骤，对上述摄像部的摄像元件或聚焦透镜进行控制，由此使在上述摄像步骤中摄像的上述图像的对焦位置及景深扩展；以及距离计测步骤，根据在上述摄像步骤中摄像的、分别具有不同的对焦范围的η张图像的模糊的程度，计测到被摄体的距离，其中，η ^ 2。
12.—种程序，用于使计算机执行权利要求11所述的图像处理方法所包含的全部步马聚ο
13.一种集成电路，具备对焦范围控制部，对摄像部的摄像元件或聚焦透镜进行控制，由此使摄像的图像的对焦位置及景深扩展；以及距离计测部，根据由受到上述对焦范围控制部的控制的上述摄像部摄像的、分别具有不同的对焦范围的η张图像的模糊的程度，计测到被摄体的距离，其中，η > 2。
全文摘要
图像处理装置(10)具备摄像部(11)，拍摄图像；对焦范围控制部(12)，对摄像部(11)的摄像元件或聚焦透镜进行控制，由此使拍摄的图像的对焦位置及景深扩展；以及距离计测部(14)，根据由受到对焦范围控制部(12)的控制的摄像部(11)拍摄的、分别具有不同的对焦范围的n张(其中，n≥2)图像的模糊的程度，计测到被摄体的距离。
文档编号H04N5/232GK102472620SQ20118000333
公开日2012年5月23日 申请日期2011年6月16日 优先权日2010年6月17日
发明者木村雅之, 长原一 申请人:松下电器产业株式会社