摄像装置和摄像系统的制造方法

文档序号:11170617阅读:624来源:国知局
摄像装置和摄像系统的制造方法
本发明涉及照相机等的摄像装置。

背景技术:
近年来,在汽车的车间距离测量、照相机的自动焦点系统、三维形状测量系统中,使用根据多个摄像光学系统间的视差来测量到被摄体(测距对象物)的距离的测距装置。在这种的测距装置中,由配置在左右或者上下的一对摄像光学系统在各自的摄像区域形成图像,根据这些图像的视差通过三角测量来检测到被摄体的距离。此外,作为根据单一的摄像光学系统来测量到被摄体的距离的方式,已知DFD(DepthFromDefocus)法。DFD法是通过所取得的图像的虚化量的解析来算出距离的方法,但是由于单一图像中无法判别是被摄体本身的模样、还是因被摄体距离而出现了虚化,因此采用根据多个图像来估计距离的方法(专利文献1、非专利文献1)。【在先技术文献】【专利文献】【专利文献1】专利第3110095号公报【非专利文献】【非专利文献1】XueTu,Youn-sikKangandMuraliSubbaraoTwo-andThree-DimensionalMethodsforInspectionandMetrologyV.EditedbyHuang,PeisenS..ProceedingsoftheSPIE,Volume6762,pp.676203(2007).

技术实现要素:
【发明要解决的课题】但是,在上述现有技术中,谋求摄像装置的小型化、低成本化、测距精度的提高等。本发明的并不是限定的作为例示的某个实施方式,提供一种小型且能够高精度地测量距离的摄像装置。【用于解决课题的技术方案】本发明的一个方式的摄像装置具备:镜头光学系统,其具有第1区域以及第2区域,并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性;摄像元件,其具有让通过了所述镜头光学系统的光入射并且配备具备第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并且配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统光入射并且配备具有第3分光透过率特性的滤光器的多个第4像素;和阵列状光学元件,其配置在所述镜头光学系统和所述摄像元件之间,使通过了所述第1区域的光入射至所述多个第1像素,使通过了所述第2区域的光入射至所述多个第2像素,所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素,使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。【发明的效果】根据本发明的一个方式涉及的测距装置,利用单一的摄像系统,就能够高精度地进行距离测量。附图说明图1是表示本发明的摄像装置A的实施方式1的示意图。图2是从被摄体侧观察本发明的实施方式1中的光学元件L1的主视图。图3是本发明的实施方式1中的阵列状光学元件K的立体图。图4(a)是放大表示图1所示的阵列状光学元件K以及摄像元件N的图,(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。图5是表示在本发明的实施方式1中由通过了光学区域D1以及光学区域D2的光线产生的球面像差的曲线。图6是表示本发明的实施方式1中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图7(a)至(c)表示16×16尺寸的图像块的亮度分布,(d)至(f)表示对图7(a)至(c)各自所示的图像块以二维方式进行傅立叶变换而得到的频谱。图8(a)是表示作为被摄体的白黑的图样的图。(b)是表示(a)的被摄体的亮度的断面的图。(c)是表示由图1的摄像装置A拍摄的图像的每个颜色的亮度的断面的图。(d)是表示(c)的G1(绿)以及R(红)的亮度的二次微分的图。(e)表示从(c)的G2(绿)、B(蓝)的亮度中减去(d)的二次微分的情况下的亮度的断面的图。图9是表示本发明的实施方式1中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图10是表示本发明的实施方式1中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图11是从被摄体侧观察本发明的实施方式2中的光学元件L1的主视图。图12是本发明的实施方式2中的阵列状光学元件K的立体图。图13(a)是放大表示本发明的实施方式2中的阵列状光学元件K和摄像元件N的图,(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。图14是表示本发明的实施方式2中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图15是表示本发明的实施方式2中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图16是表示本发明的实施方式2中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图17(a)以及(b)是放大表示本发明的实施方式3中的阵列状光学元件K以及摄像元件N的图。图18(a)、(b)以及(c)是表示本发明的实施方式4的各光学区域和遮光部件的位置关系的主视图。图19是表示本发明的摄像装置A的实施方式5的示意图。图20是从被摄体侧观察本发明的实施方式5中的光学元件L1的主视图。图21是本发明的实施方式5中的阵列状光学元件K的立体图。图22(a)是放大表示图19所示的阵列状光学元件K以及摄像元件N的图,(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。图23是本发明的实施方式5中的信号处理部的流程图。图24是表示在本发明的实施方式5中由通过了光学区域D1以及光学区域D2的光线形成的球面像差的曲线。图25是表示本发明的实施方式5中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图26(a)至(c)是16×16尺寸的图像块的亮度分布图,(d)至(f)是表示对图26(a)至(c)各自示出的图像块以二维方式进行傅立叶变换而得到的频谱的图。图27(a)是表示作为被摄体的白黑的图样的图。(b)是表示(a)的被摄体的亮度的断面的图。(c)是表示由图19的摄像装置A拍摄的图像的亮度的断面的图。(d)是表示(c)的G1的亮度的二次微分的图。(e)是表示从(c)的G2的亮度中减去(d)的二次微分的情况下的亮度的断面的图。图28是表示本发明的实施方式5中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图29是表示本发明的实施方式5中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图30(a)是表示本发明的实施方式5的被摄体图像的图。(b)是表示(a)的被摄体图像的深度图的图。图31是本发明的实施方式5中的以高斯分布表示的PSF(点扩散函数)断面强度的分布图。图32(a)以及(b)是表示本发明的实施方式5中的被摄体位置和PSF的关系的图。图33(a)至(c)是表示本发明的实施方式5中的PSF的二维数据的图。图34(a)以及(b)是本发明的实施方式5中的PSF的二维强度的分布图。图35是表示本发明的实施方式5中的、根据图30(b)的深度图对图30(a)的被摄体图像进行重对焦得到的图像的图。图36是表示本发明的实施方式6中的被摄体位置和PSF的关系的图。图37是表示本发明的摄像装置A的实施方式7的示意图。图38(a)是放大表示图37所示的阵列状光学元件K以及摄像元件N的图,(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。图39是表示本发明的实施方式7中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图40(a)是表示作为被摄体的白黑的图样的图。(b)是表示(a)的被摄体的亮度的断面的图。(c)是表示由图37的摄像装置A拍摄的图像的每个颜色的亮度的断面的图。(d)是表示(c)的G1(绿)以及R(红)的亮度的二次微分的图。(e)是表示从(c)的G2(绿)、B(蓝)的亮度中减去(d)的二次微分的情况下的亮度的断面的图。图41是表示本发明的实施方式7中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图42是表示本发明的实施方式7中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图43是从被摄体侧观察本发明的实施方式8中的光学元件L1的主视图。图44是本发明的实施方式8中的阵列状光学元件K的立体图。图45(a)是放大表示本发明的实施方式8中的阵列状光学元件K和摄像元件N的图,(b)是表示阵列状光学元件K和摄像元件N上的像素的位置关系的图。图46是表示本发明的实施方式8中的被摄体距离和锐度(图像的锐利度)关系的曲线。图47是表示本发明的实施方式8中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图48是表示本发明的实施方式8中的被摄体距离和锐度(图像的锐利度)的关系的曲线。图49(a)是放大表示本发明的实施方式中发生串扰的情况下的摄像面的附近的图,(b)是放大表示减少串扰的情况下的摄像面的附近的图。图50(a1)是表示具有相对于光轴而旋转非对称的形状的微透镜阵列的立体图。(a2)是表示(a1)所示的微透镜阵列的等高线的图。(a3)是将(a1)、(a2)所示的微透镜应用于本发明的阵列状光学元件的情况下的、光线追踪仿真的结果的图。(b1)是表示具有相对于光轴而旋转对称的形状的微透镜阵列的立体图。(b2)是表示(b1)所示的微透镜阵列的等高线的图。(b3)是表示将(b1)、(b2)所示的微透镜应用于本发明的实施方式的阵列状光学元件的情况下的、光线追踪仿真的结果的图。图51(a)以及(b)是表示本发明的实施方式中摄像元件上的滤光器排列的其他实施方式的图。具体实施方式根据本申请发明的研究,在现有的采用多个摄像光学系统的结构中,摄像装置大型化且高成本化的问题突出。此外,由于存在使多个摄像光学系统的特性一致、并且使2个摄像光学系统的光轴高精度地平行的必要性,因此在制造上较为困难,进而该需要用来求出照相机参数的校准工序,因此一般认为需要较多的工时。在专利文献1以及非专利文献1所公开的这种DFD法中,能够由1个摄像光学系统算出到被摄体的距离。但是,在专利文献1以及非专利文献1的方法中,需要改变到合焦的被摄体的距离(合焦距离),以时间分割获取多个图像。在将这种方法应用于运动图像时,由于因摄影的时间差而在图像间产生偏差,因此存在测距精度下降的这种课题。此外,专利文献1中公开了一种摄像装置,通过棱镜来分割光路,由后焦点不同的2个摄像面进行摄像,从而通过一次摄像就能够测量到被摄体的距离。但是,在这种方法中,由于需要2个摄像面,因此存在摄像装置大型化、且成本大幅提高的这种课题。本申请发明者鉴于这样的课题,提出新的摄像装置。本发明的一个方式的概要如下。本发明的一个方式的摄像装置具备:镜头光学系统,其具有第1区域以及第2区域,并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性;摄像元件,其具有让通过了所述镜头光学系统的光入射并且配备具备第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并且配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统光入射并且配备具有第3分光透过率特性的滤光器的多个第4像素;和阵列状光学元件,其配置在所述镜头光学系统和所述摄像元件之间,使通过了所述第1区域的光入射至所述多个第1像素,使通过了所述第2区域的光入射至所述多个第2像素,所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素,使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。所述阵列状光学元件可以仅使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素,仅使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第4像素。所述阵列状光学元件可以是双凸透镜,所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素,使通过了所述第1区域以及所述第2区域之中的另一个区域的光入射至所述多个第4像素。所述阵列状光学元件可以是微透镜,所述阵列状光学元件使通过了所述第1区域以及所述第2区域之中的任意一个区域的光入射至所述多个第3像素以及所述多个第4像素。本发明的其他方式的摄像装置具备:镜头光学系统,其具有第1区域以及第2区域,并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性;摄像元件,其具有让通过了所述镜头光学系统的光入射并配备具有第1分光透过率特性的滤光器的多个第1以及第2像素、让通过了所述镜头光学系统的光入射并配备具有第2分光透过率特性的滤光器的多个第3像素、和让通过了所述镜头光学系统的光入射并配备具有第3分光透过率特性的滤光器的多个第4像素;和阵列状光学元件,其配备在所述镜头光学系统和所述摄像元件之间,使通过了所述第1区域的光入射至所述多个第1像素,使通过了所述第2区域的光入射至所述多个第2像素,在所述多个第1、第2、第3、第4像素分别被逐1像素配置成2行2列的像素群内,所述第1像素以及所述第2像素分别被配置在(1、1)以及(2、2)的任意位置、或者被配置在(1、2)以及(2、1)的任意位置。在所述摄像装置中,在一次摄像中,光线可以入射至所述第1区域以及所述第2区域。具有所述第1分光透过率特性的滤光器可以是使绿色频带的光线通过的滤光器,具有所述第2分光透过率特性的滤光器是使蓝色频带的光线通过的滤光器,具有所述第3分光透过率特性的滤光器是使红色频带的光线通过的滤光器。在被摄体距离处在某个规定的范围内的情况下,由入射至所述第1区域的光所形成的点像强度分布大致恒定,由入射至所述第2区域的光所形成的点像强度分布根据到被摄体的距离而变化。所述第1区域的表面以及所述第2区域的表面可以具有彼此不同的曲率半径。所述第1区域以及所述第2区域可以是将所述镜头光学系统的光轴作为边界中心被分割而得到的区域。所述多个第1、第2、第3以及第4像素可以通过一次的摄像分别生成第1至第4亮度信息,所述摄像装置还具备:第1信号处理部,其利用所述第1至第4亮度信息来生成彩色图像。所述第1信号处理部可以具备锐度检测部,该锐度检测部按所述彩色图像中的每个规定区域检测所述多个第1至第4像素的亮度信息之中至少1个以上的像素成分的锐度,基于所述各个锐度之中最高的锐度的成分来对其他像素的亮度信息的成分进行锐化。所述第1信号处理部可以利用预先存储的点像强度分布函数,进行由入射至所述第1区域的光所到达的像素的亮度信息形成的图像的复原处理,生成被复原的锐化图像。所述第1信号处理部可以利用单一的所述点像强度分布函数,进行由入射至所述第1区域的光所到达的像素的亮度信息形成的图像的全区域的复原处理,生成被复原的锐化图像。所述第1信号处理部可以具备锐度检测部,该锐度检测部按所述被复原的锐化图像中的每个规定区域检测锐度,基于所述被复原的锐化图像中的每个规定区域的锐度,对其他像素的亮度信息的成分进行锐化。所述摄像装置可以还具备第2信号处理部,该第2信号处理部算出到被摄体的距离,所述第1信号处理部生成由所述多个第1像素得到的第1图像以及由所述多个第2像素得到的第2图像,所述第2信号处理部利用所述第1图像以及所述第2图像,算出到被摄体的距离。在被摄体距离处于某个一定范围内的情况下,所述第1图像的锐度与所述第2图像的锐度之比的值和到所述被摄体的距离具有相关关系,所述第2信号处理部基于所述相关关系、所述第1图像的锐度与所述第2图像的锐度之比,算出到所述被摄体的距离。所述第1信号处理部可以还具备对比度检测部,该对比度检测部检测出在所述多个第1像素中得到的第1图像的对比度、和在所述多个第2像素中得到的第2图像的对比度,在被摄体距离处在某个一定范围内的情况下,所述第1图像的对比度与所述第2图像的对比度之比,与所述被摄体距离具有相关关系,所述第2信号处理部基于所述相关关系、以及所述第1图像的对比度、所述第2图像的对比度,算出到所述被摄体的距离。所述第2信号处理部可以利用对所述第1图像和所述第2图像相加之后的图像的亮度信息、以及所述第1图像或者所述第2图像的亮度信息,算出到所述被摄体的距离。在被摄体距离处在某个一定范围内的情况下,根据所述被复原的锐化图像和由入射至所述第2区域的光所形成的图像而导出的点像强度分布函数,与所述被摄体距离具有相关关系,所述第2信号处理部基于所述相关关系和所述点像强度分布函数,算出到所述被摄体的距离。所述镜头光学系统可以是像方远心光学系统。所述镜头光学系统可以是像方非远心光学系统,在所述镜头光学系统的光轴外使所述阵列状光学元件的排列相对于所述摄像元件的像素的排列而偏移。所述阵列状光学元件可以是双凸透镜或者微透镜阵列。所述阵列状光学元件可以是微透镜阵列,所述第2区域具有第2A区域、第2B区域、以及第2C区域的3个区域,所述微透镜阵列使通过了所述第1区域的光线入射至所述多个第1像素,使通过了所述第2A区域的光线入射至所述多个第2像素,使通过了所述第2B区域的光线入射至所述多个第3像素,使通过了所述第2C区域的光线入射至所述多个第4像素。所述第2A区域、所述第2B区域、以及所述第2C区域可以彼此具有不同的光学功率,与设置在所述多个第2像素、所述多个第3像素、以及所述多个第4像素的滤光器的透过频带对应的波段的光的合焦位置,和所述第2A区域、所述第2B区域、以及所述第2C区域具有彼此相等的光学功率的情况相比更近。所述阵列状光学元件可以是微透镜阵列,所述微透镜阵列具有多个光学要素,所述多个各光学要素各自具有相对于光轴而旋转对称的形状。所述阵列状光学元件可以形成在所述摄像元件上。所述摄像装置可以还具备微透镜,其设置在所述阵列状光学元件与所述摄像元件之间,所述阵列状光学元件隔着所述微透镜而形成在所述摄像元件上。所述摄像装置可以还具备在所述第1区域与所述第2区域之间的边界部设置的遮光部件。所述镜头光学系统可以还具备光圈,所述第1区域以及所述第2区域配置在所述光圈附近。在所述多个第1、第2、第3、第4像素分别被逐1像素配置成2行2列的像素群内,第1像素和第2像素可以在所述摄像元件的摄像面中,在上下、左右、倾斜的任意方向上彼此相邻。所述第2信号处理部可以按所述彩色图像的每个规定区域算出被摄体距离,所述摄像装置还具备第3信号处理部,该第3信号处理部利用在所述第2信号处理部中算出的每个所述规定区域的被摄体距离,生成被重对焦的图像。所述第2信号处理部可以利用每个所述规定区域的被摄体距离,生成每个被摄体距离的点扩散函数。从作为所述点扩散函数的强度变化成为极大的被摄体距离的至少1个最佳对焦位置起,越是在被摄体距离方向上远离,则所述点扩散函数的强度的变化越小。所述至少1个最佳对焦位置可以是从外部输入的位置或者由所述第2信号处理部决定的位置。所述第3信号处理部可以利用每个所述规定区域的被摄体距离、所述点扩散函数,生成所述被重对焦的图像。所述点扩散函数可以是高斯函数。所述第3信号处理部可以按每个规定区域利用傅立叶变换来进行所述点扩散函数的卷积运算,生成所述被重对焦的图像。所述第3信号处理部可以基于每个所述规定区域的被摄体距离,进行空间过滤器处理,来生成所述被重对焦的图像。所述至少1个最佳对焦位置,可以断续地存在多个。本发明的其他方式的摄像系统具备:上述任意的摄像装置;和生成彩色图像的第1信号处理装置,所述第1信号处理部利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素、所述多个第3像素、以及所述多个第4像素的亮度信息来生成所述彩色图像。摄像系统可以还具备第2信号处理装置,其算出到被摄体的距离,所述第2信号处理装置利用通过所述一次摄像而得到的所述多个第1像素、所述多个第2像素的亮度信息,算出到被摄体的距离。本发明的其他方式的摄像系统具备摄像装置和信号处理装置,其中,所述摄像装置具备:镜头光学系统,其具有第1区域以及第2区域,并且所述第2区域具有相对于通过了所述第1区域的光线所产生的合焦特性而使合焦特性不同的光学特性;摄像元件,至少具有让通过了所述镜头光学系统的光入射的多个第1像素和多个第2像素;和阵列状光学元件,其配置在所述镜头光学系统和所述摄像元件之间,使通过了所述第1区域的光入射至所述多个第1像素,使通过了所述第2区域的光入射至所述多个第2像素,所述信号处理装置具备:第1信号处理部,利用在所述多个第1像素中得到的第1图像以及在所述多个第2像素中得到的第2图像的亮度信息,按摄像图像的每个规定区域算出被摄体距离;和第2信号处理部,利用在所述第1信号处理部中所算出的每个所述规定区域的被摄体距离,生成被重对焦的图像。根据上述的摄像装置以及摄像系统,利用单一的光学系统,通过一次的摄像,就能够获取用于彩色图像的输出以及被摄体距离的测量的亮度信息。因此,无需像使用多个摄像光学系统的摄像装置那样使多个摄像光学系统间的特性、位置一致。此外,在运动图像的摄影中,即便随着时间的经过而被摄体的位置发生变化,也能够测量到被摄体的正确的距离。此外,能够对任意的被摄体位置合焦,例如能够获取使主要的人物/物锐化、仅使背景虚化的有张有弛的图像。以下,参照附图说明本发明的摄像装置的实施方式。(实施方式1)图1是表示实施方式1的摄像装置A的示意图。本实施方式的摄像装置A具备:将V作为光轴的镜头光学系统L、在镜头光学系统L的焦点附近配置的阵列状光学元件K、摄像元件N、第1信号处理部C1、第2信号处理部C2、和存储部Me。镜头光学系统L由来自被摄体(未图示)的光束B1、B2入射的光学元件L1、通过了光学元件L1的光入射的光圈S、和通过了光圈S的光入射的透镜L2构成。光学元件L1具有光学区域D1、具有相对于通过了光学区域D1的光线的合焦特性而使合焦特性不同的光学特性的光学区域D2。光学元件L1也可以配置在光圈S的附近。图2是从被摄体侧观察光学元件L1的主视图。光学元件L1中的光学区域D1和D2在以光轴V为边界中心而与光轴V垂直的面内在上下方向被一分为二。图2中,虚线s表示光圈S的位置。图1中,光束B1是通过光学元件L1上的光学区域D1的光束,光束B2是通过光学元件L1上的光学区域D2的光束。光束B1、B2依次通过光学元件L1、光圈S、透镜L2、阵列状光学元件K,到达摄像元件N上的摄像面Ni(图4等中示出)。图3是阵列状光学元件K的立体图。在阵列状光学元件K的摄像元件N侧的面,在与光轴V垂直的面内在横方向细长的多个光学要素M1被配置在纵方向。各个光学要素M1的断面(纵方向的断面)具有向摄像元件N侧突出的圆弧状的形状。这样,阵列状光学元件K具有双凸透镜(lenticularlens)的结构。如图1所示,阵列状光学元件K被配置在镜头光学系统L的焦点附近,配置在距摄像面Ni规定距离的位置。实际上,虽然光学元件L1中的光学特性对作为镜头光学系统L整体的合焦特性带来影响,但例如只要将透镜L2的焦点作为基准来决定配置阵列状光学元件K的位置即可。再者,本实施方式中,“合焦特性不同”是指在利用规定波长的光进行比较的情况下,在该光学系统中有助于光的聚集的特性的至少一个是不同的。具体而言,是指在利用规定波长的光进行比较的情况下,通过了光学区域D1、D2的光的镜头光学系统L的焦点距离、到对上焦的被摄体的距离、锐度成为固定值以上的距离范围等不同。通过调整光学区域D1、D2的曲率半径、非球面系数、折射率,由此能够使得镜头光学系统L的合焦特性不同。本实施方式中,通过一次摄像从而通过了2个光学区域D1、D2的光通过透镜L2之后,入射至阵列状光学元件K。阵列状光学元件K使通过了光学区域D1的光入射至摄像元件N的像素P1、P3(图4等所示),使通过了光学区域D2的光入射至摄像元件N中的像素P2、P4。图4(a)是放大表示图1所示的阵列状光学元件K以及摄像元件N的图,图4(b)是表示阵列状光学元件K与摄像元件N上的像素的位置关系的图。阵列状光学元件K被配置成形成了光学要素M1的面朝向摄像面Ni侧。如图4(b)所示,在摄像面Ni,像素P配置成矩阵状。像素P能够区别为像素P1、P2、P3以及P4。在像素P1以及P2配备具有第1分光透过率特性的滤光器,该滤光器主要使绿色频带的光线通过,而吸收其他频带的光线。在像素P3配备具有第2分光透过率特性的滤光器,该滤光器主要使红色频带的光线通过,而吸收其他频带的光线。此外,在像素P4配备具有第3分光透过率特性的滤光器,该滤光器主要使蓝色频带的光线通过,吸收其他频带的光线。为了进行说明,将配置成2行2列的像素P1、P2、P3以及P4的1组称为“像素群Pg”。在1个像素群Pg内,在将像素P2的位置设为(1、1)时,像素P1配置在(2、2)的位置,像素P3配置在(2、1)的位置,像素P4配置在(1、2)的位置。即,像素P1以及像素P3各自在相同的行被交替配置。此外,像素P2以及像素P4各自在相同的行交替配置。此外,像素P1与P3的行、和像素P2与P4的行在纵方向(列方向)交替配置。这样,各个的多个像素P1、P2、P3以及P4形成拜尔排列。在以拜尔排列来配置像素P1、P2、P3以及P4的情况下,都是具有透过绿色频带的光的滤光器的像素P1以及像素P2,在摄像面Ni的面内配置在倾斜的位置。像素P3与像素P4的位置可以是相反的。作为阵列状光学元件K,其光学要素M1之一被配置成与由摄像面Ni上的1行像素P1、P3以及1行的像素P2、P4构成的2行像素相对应。在摄像面Ni上设置微透镜Ms,以覆盖像素P1、P2、P3以及P4的表面。阵列状光学元件K被设计成:通过了光学元件L1上的光学区域D1(图1、图2所示)的光束B1(图1中以中实线示出的光束B1)(的大部分)到达摄像面Ni上的像素P1以及P3,通过了光学区域D2的光束(图1中以虚线示出的光束B2)(的大部分)到达摄像面Ni上的像素P2以及P4。具体而言,通过适当地设定阵列状光学元件K的折射率、距摄像面Ni的距离及光学要素M1表面的曲率半径等的参数,从而实现上述结构。像素P1至P4中使用的滤光器,例如是使用了有机材料的吸收型的滤光器、使用了电介质多层膜的反射型的滤光器。再者。具有第1分光透过率特性、第2分光透过率特性以及第3分光透过率特性的各个特性的滤光器,主要使彼此不同波段的光线透过。不过,各个滤光器透过的光的波段的一部分也可以重叠。此外,并不限于RGB的原色系的滤光器,也可以使用补色系(蓝绿色、洋红、黄色)的滤光器。光圈S是全部视场角的光束通过的区域。因此,通过在光圈S的附近插入具有对合焦特性进行控制的光学特性的面,能够同样地控制全部视场角的光束的合焦特性。即,在本实施方式中,光学元件L1也可以设置在光圈S的附近。将使得光学系统L的合焦特性彼此不同的光学区域D1、D2配置在光圈S的附近,从而能够将与分割数相应的合焦特性赋予光束。图1中,通过了光学元件L1的光直接(不经由其他的光学部件)被设置在入射于光圈S的位置。光学元件L1也可以较之光圈S而设置在摄像元件N侧。在该情况下,光学元件L1可以被设置在光圈S与透镜L2之间,通过了光圈S的光直接(不经由其他的光学部件)入射至光学元件L1。此外,阵列状光学元件K具有根据光线的入射角而分配出射方向的功能。因此,能够按照与在光圈S的附近被分割出的光学区域D1、D2对应的方式,向摄像面Ni上的像素分配光束。第1信号处理部C1(图1所示)利用通过一次摄像而在像素P1、P2、P3以及P4所得到的多个亮度信息来生成彩色图像。以下,具体说明生成彩色图像的方法。在图1的摄像装置A的光学系统中,光学区域D1具有平面,光学区域D2具有非球面形状。此外,为了简化说明,假定透镜L2是没有像差的理想透镜来进行说明。由于光学区域D1具有平面,因此在通过了光学区域D1和透镜L2的光线中,如图5的实线所示的曲线那样没有产生球面像差。在没有球面像差的情况下,随着偏离焦点,点像强度分布发生变化。即,随着被摄体距离的变化,点像强度分布发生变化。此外,由于光学区域D2的非球面形状,通过了光学区域D2和透镜L2的光线所产生的球面像差如图5的虚线所示的曲线那样。通过调整光学区域D2的非球面形状,能够引起这种的球面像差。通过这种的球面像差,在镜头光学系统L的焦点附近的规定的范围内,能够使得通过了光学区域D2的光线的点像强度分布大致恒定。即,在规定的被摄体距离范围内使得点像强度分布大致恒定。随着点像强度分布的变化,锐度也变化。由于点像的大小越小则图像的锐度越增加,因此在以曲线表示被摄体距离和锐度的关系时,成为图6这种的关系。在图6的曲线中,G1、R分别表示在像素P1(绿色的成分)、P3(红色的成分)所生成的图像的规定区域的锐度,G2、B分别表示在像素P2(绿色的成分)、P4(蓝色的成分)所生成的图像的规定区域的锐度。基于规定的大小的图像块内相邻的像素间的亮度值的差值,能够求出锐度。此外,也能够基于对规定大小的图像块的亮度分布进行傅立叶变换之后的频谱来求取。在将规定大小的块内的锐度设为E,基于像素P1、P2、P3、以及P4的每个成分中相邻的像素间的亮度值的差值来求取的情况下,例如采用(式1)。【式1】如前述,由于像素P1、P2、P3、以及P4形成拜尔排列,因此在求取各个成分的锐度时,在图像的x方向、y方向都是提取每隔1像素的像素信息来进行计算。(式1)中Δxi,j是规定大小的图像块内的坐标(i,j)处的像素的亮度值与坐标(i+2,j)的像素的亮度值之间的差值,Δyi,j是规定大小的图像块内的坐标(i,j)处的像素的亮度值与坐标(i,j+2)的像素的亮度值之间的差值。通过(式1)的计算,规定大小的图像块内的亮度值的差越大,则得到越大的锐度。图像的锐度也能够利用前述的(式1)来求取,但也可以基于对规定大小的块内的锐度进行傅立叶变换而得到的频谱来求取。图7(a)至(c)表示16×16尺寸的图像块的亮度分布。锐度按图7(a)、(b)、(c)的顺序变小。图7(d)至(f)表示对图7(a)至(c)各自所示的图像块以二维进行傅立叶变换从而得到的频谱。图7(d)至(f)中为了容易理解,而对各频谱的强度进行对数变换来进行表示,频谱越强则表示得越亮。各频谱中中央的亮度最高的位置为直流成分,越是靠近周边部则频率越高。图7(d)至(f)中可知图像的锐度越小则高频谱越是缺失。因此,为了根据这些频谱来求取锐度,例如能够提取频谱整体或者一部分来求取锐度。在生成彩色图像的情况下,可以以像素P1、P2、P3、以及P4的亮度信息为基础,仅对每个像素位置补齐所缺失的颜色信息从而生成彩色图像,但如图6所示那样G2、B的锐度比G1、R的锐度小,因此也可以对G2、B的锐度进行锐化之后生成彩色图像。图8是说明基于G1、R的锐度对G2、B的锐度进行锐化的方法的图。图8(a)是作为被摄体的黑白图样,图8(b)是表示(a)的被摄体的亮度的断面的图。如图8(b)所示,图样(chart)的亮度的断面是阶梯状,但是例如在将图样配置在从到达像素P1、P3的光线最为合焦的被摄体位置向跟前偏离了少许的规定位置来进行摄像时,图像的亮度断面成为如图8(c)所示那样。图8(c)的曲线中,G1、R分别是在像素P1(绿色的成分)、P3(红色的成分)所生成的图像的亮度断面,G2、B分别是在像素P2(绿色的成分)、P4(蓝色的成分)生成的图像的亮度断面。这样,可以说G1、R的亮度断面比G2、B的亮度断面更接近于图8(b)的实际的图样的亮度断面,锐度更高。在拍摄图8(a)这种黑白图样的情况下,G1的亮度断面和R的亮度断面是大致相同的断面,但由于实际上是拍摄所有颜色成分的被摄体图像,因此图8(c)的G1、R的亮度断面大部分情况是不一致的。因此,也可以根据G1、R的亮度断面来检测各自的锐度,选择锐度高的颜色成分,使得G2、B的亮度断面锐化。锐度的检测在第1信号处理部C1内的锐度检测部中进行。在选择锐度高的亮度断面,对其亮度断面进行二次微分时,得到图8(d)的分布,能够检测锐度高的颜色成分的图像的边沿。接下来,从图8(c)的G2、B各自的亮度分布中减去图8(d)的分布,由此得到图8(e)的分布,能够使得G2、B的亮度分布锐化。在此,在减去图8(d)的分布时,在对图8(d)的分布乘以规定系数之后,从图8(c)的G2、B的亮度分布中减去,由此能够控制G2、B的锐化程度。在本实施方式中,为了简化说明,以一维的方式进行了使图像锐化的说明,但由于图像是二维的,因此实际上以二维进行锐化处理。通过以上的图像处理,图6的实线所示的G2、B的锐度被锐化成虚线所示的G2’、B’那样,能够使所生成的彩色图像锐化。图9是表示将图1中光学区域D2的光学面从非球面形状置换为球面形状的情况下的被摄体距离与锐度的关系的曲线。在这种情况下,也与图6的情况同样地能够使彩色图像锐化。在图9中,因被摄体距离从而锐度高的颜色成分不同。因此,根据G1、G2、R、以及B的亮度断面检测各自的锐度,选择锐度最高的颜色成分来使其他颜色成分锐化。通过以上这种的图像处理,图9中实线所示的G1、G2、R、以及B的锐度分别被锐化成由虚线示出的G1’、G2’、R’、以及B’那样,能够使所生成的彩色图像锐化。接下来,说明其他的图像锐化手法。图10是说明基于对G2、B的锐度锐化之后的G2’、B’来锐化G1、R的锐度的方法的图。光学区域D1、D2的结构与图6的情况相同,由通过了光学区域D2的光线所形成的点像强度分布在规定的被摄体距离范围内大致恒定。因此,分别提取像素P2(G2的成分)、P4(B的成分)所形成的点像强度分布在规定的被摄体距离范围内大致恒定。如果在规定的被摄体距离范围中点像强度分布大致恒定,则分别提取像素P2(G2的成分)、P4(B的成分)所形成的图像,能够与被摄体距离无关地,基于规定的点像强度分布进行复原。以下说明根据预先存储的点像强度分布函数来复原摄影图像的方法。在将原图像设为f(x,y)、将点像强度分布设为h(x,y)时,摄影图像g(x,y)能够由(式2)表示。【式2】其中,表示卷积。在对(式2)的两边进行傅立叶变换后,成为(式3)那样。【式3】G(u,v)=F(u,v)H(u,v)在此,将(式4)的逆过滤器Hinv(u,v)适用于劣化图像G(u,v),从而如(式5)那样求出原图像的二维傅立叶变换F(u,v)。对其进行逆傅立叶变换,从而能够作为复原图像而获得原图像f(x,y)。【式4】【式5】F(u,v)=Hinv(u,v)G(u,v)但是,在H(u,v)成为0或者极小的值时,Hinv(u,v)发散,因此,利用(式6)这种的维纳(Wiener)过滤器Hw(u,v)来复原劣化图像。【式6】在(式6)中,N(u,v)为噪声。由于通常噪声和原图像F(u,v)是未知的,因此实际上使用常数k通过(式7)的过滤器来复原劣化图像。【式7】通过这种的复原过滤器,图10的实线所示的G2、B的锐度能够锐化成点线所示的G2’、B’。这样,根据本实施方式,利用点像强度分布函数,能够进行由入射至光学区域D1的光所到达的像素的亮度信息形成的图像的全区域的复原处理。一般情况下,由于点像强度分布函数是根据光学系统的摄像位置而变化的,因此可利用与各摄像位置对应的点像强度分布函数。但是,在点像强度分布函数几乎不依赖于摄像位置的光学系统的情况下,能够利用单一的点像强度分布函数来进行图像的全区域的复原处理。尽管需要在存储器等中预先保存点像强度分布函数,但通过利用单一的点像强度分布,能够降低存储器的使用量。再有,与图8所示的方法同样,根据G2’、B’的亮度断面(被复原的锐化图像)按每个规定区域检测各自的锐度(锐度检测部),对锐度高的颜色成分的亮度断面进行二次微分,从G1、R中减去,能够将G1、R的锐度如图10的虚线所示的G1’、R’那样进行提高。这样,能够基于锐度对其他像素的亮度信息的成分进行锐化。通过以上这样的图像处理,图10的实线所示的G2、B的锐度、以及G1、R的锐度能够如点线所示的G2’、B’以及虚线所示的G1’、R’那样提高,能够使得所生成的彩色图像锐化。通过这样的锐化处理,较之图6所示的锐化处理,能够进一步扩展景深。接下来,说明具体求取被摄体距离的方法。图1所示的第1信号处理部C1,输出提取来自像素P1(G1的成分)的亮度信息而得到的第1图像I1(图1所示)、提取来自像素P2(G2的成分)的亮度信息而得到的第2图像I2。由于2个光学区域D1、D2的光学特性彼此不同,因此第1、第2图像I1、I2的图像的锐度(利用亮度而算出的值)因被摄体距离而不同。存储部Me(图1所示)中存储通过了光学区域D1、D2的各自区域的光的锐度和被摄体距离之间的相关关系。在第2信号处理部C2(图1所示)中,基于第1、第2图像I1、I2的锐度和上述相关关系,能够获得到被摄体的距离。在此,图6以及图10中的Z的范围表示G1变化、并且G2几乎不变化...
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1