摄像元件、摄像装置以及图像处理装置的制造方法

文档序号:9476557阅读:283来源:国知局
摄像元件、摄像装置以及图像处理装置的制造方法
【技术领域】
[0001 ] 本发明涉及摄像元件、摄像装置以及图像处理装置。
【背景技术】
[0002] 已知使用单一的摄影光学系统通过一次摄影而生成相互具有视差的左右视差图 像的摄像装置。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1 :JP特开2003-7994号公报

【发明内容】

[0006] 在由这种摄像装置生成的左视差图像和右视差图像中,模糊的形状不对称。模糊 的形状的不对称产生二线性模糊,其结果为变成不自然的模糊。
[0007] 本发明的第一方面的摄像元件,其为通过一个光学系统,对全部光束中通过相互 不同区域的部分光束的被摄体像进行拍摄的摄像元件,其由无视差像素、第一视差像素及 第二视差像素的至少3种像素分别配置有多个的像素排列构成,其中,无视差像素具有产 生基准方向的视点的开口掩膜,第一视差像素具有产生与基准方向不同的第一方向的视点 的开口掩膜,第二视差像素具有产生与基准方向不同的第二方向的视点的开口掩膜,第一 视差像素的开口掩膜和第二视差像素的开口掩膜分别在视点变化的方向上具有比半开口 大的开口面积的宽度。
[0008] 本发明的第二方面的图像处理装置,针对上述的摄像元件的输出还基于无视差像 素的像素信息,对各像素生成基准视点图像,基于第一视差像素的像素信息,对各像素生成 临时的第一视点图像,基于第二视差像素的像素信息,对各像素生成临时的第二视点图像, 对于基准视点图像,使用临时的第一视点图像和临时的第二视点图像使视点位置变化,来 生成新的第一视点图像和新的第二视点图像。
[0009] 本发明的第三方面的摄像元件具有偏移像素,该偏移像素的接收被摄体光束的第 一受光区域包含像素区域的中心,并且设定在相对于像素区域的中心偏移的位置。
[0010] 本发明的第四方面的图像处理装置具有:获取部,其获取上述摄像元件的输出; 和图像生成部,其使用第一偏移像素的输出和第二偏移像素的输出,根据不偏移像素的输 出,生成向第一方向赋予视差的第一视差图像数据和向第二方向赋予视差的第二视差图像 数据。
[0011] 本发明的第五方面的摄像装置具有上述摄像元件和上述图像处理装置。
[0012] 此外,上述的发明的概要并没有列举出本发明全部的所需特征。另外,这些特征组 的组合也可以另外构成发明。
【附图说明】
[0013] 图1是说明本发明的实施方式的数码相机的结构的图。
[0014] 图2是说明摄像元件的截面的结构的图。
[0015] 图3是说明无视差像素的散焦的概念的图。
[0016] 图4是说明视差像素的散焦的概念的图。
[0017] 图5是示出无视差像素与视差像素的光强度分布的图。
[0018] 图6是说明在视差像素的种类为两个的情况下的开口部104的开口形状的图。
[0019] 图7是用于说明模糊的不对称性的图。
[0020] 图8是示出视差图像以及无视差图像与景深的关系的图。
[0021] 图9是用于说明半开口的视差像素的模糊的不对称性的图。
[0022] 图10是针对开口掩膜的开口部和点扩散进行说明的图。
[0023] 图11是说明左视差图像Lt2/3与右视差图像Rt 2/3之差的概念的图。
[0024] 图12是说明作为其他的衍生例的无视差图像&和无视差图像C2/3的点扩散的图。
[0025] 图13是说明视差像素的阴影的图。
[0026] 图14是用于说明比半开口大的视差像素的模糊的形状的图。
[0027] 图15是示出作为像素排列的一个例子的实际空间的排列和k空间的图。
[0028] 图16是示出作为像素排列的一个例子的实际空间的排列和k空间的图。
【具体实施方式】
[0029] 以下,通过发明的实施方式来说明本发明,但是以下的实施方式并不限定权利要 求的范围内的发明。另外,发明的解决手段不一定需要在实施方式中说明的特征组合的全 部。
[0030] 作为摄像装置的一种形式的本实施方式的数码相机构成为,能够通过一次摄影针 对一个场景生成多个视点的图像。将彼此视点不同的各个图像称为视差图像。在本实施方 式中,尤其针对生成基于与右眼和左眼相对应的两个视点的右视差图像和左视差图像的情 况进行说明。在后面说明详细内容,本实施方式的数码相机能够将基于作为基准方向的视 点的中央视点的没有视差的无视差图像与视差图像一起生成。
[0031] 图1是说明本发明的实施方式的数码相机10的结构的图。数码相机10具有作为 摄像光学系统的摄影透镜20,将沿着光轴21入射的被摄体光束引导至摄像元件100。摄影 透镜20可以是相对于数码相机10可拆装的可更换透镜。数码相机10除了摄影透镜20以 及摄像元件100以外,还具有:控制部201、A/D转换电路202、存储器203、驱动部204、图像 处理部205、存储卡IF(接口)207、操作部208、显示部209以及LCD驱动电路210。
[0032] 此外,如图示那样,将与朝向摄像元件100的光轴21平行的方向设定为+Z轴方 向,将在与Z轴正交的平面中朝向纸面里面的方向设定为+X轴方向,将朝向纸面上方的方 向设定为+Y轴方向。与摄像中的构图的关系是:X轴是水平方向,Y轴是垂直方向。在以下 的若干幅图中,将图1的坐标轴作为基准,以可知各幅图的朝向的方式来显示坐标轴。
[0033] 摄影透镜20由多个光学透镜组构成,使来自场景的被摄体光束在该摄影透镜20 的焦平面附近成像。此外,在图1中为了便于说明摄影透镜20,用配置于光瞳附近的假想的 一个透镜代表来表不。
[0034] 摄像元件100配置在摄影透镜20的焦平面附近。摄像元件100是以二维方式排 列多个像素的(XD、CMOS传感器等图像传感器。摄像元件100由驱动部204定时控制,将成 像于受光面上的被摄体像转换为图像信号并向A/D转换电路202输出。输出至A/D转换电 路202的图像信号包含左视点以及右视点的图像信号。
[0035] A/D转换电路202将由摄像元件100输出的图像信号转换为数字图像信号并向存 储器203输出。图像处理部205以存储器203作为工作空间来实施各种各样的图像处理, 生成图像数据。除此以外,图像处理部205还担当按照所选择的图像格式来调整图像数据 等图像处理的通常功能。生成的图像数据通过IXD驱动电路210转换为显示信号,显示在 显示部209上。另外,记录在安装于存储卡IF207上的存储卡220中。
[0036] -系列摄像过程是通过操作部208接收用户的操作并向控制部201输出操作信号 而开始的。伴随摄像过程的AF(自动对焦)、AE(自动曝光)等各种动作是由控制部201控 制来进行的。
[0037] 以下,针对摄像元件100的结构的一个例子进行说明。图2是示出摄像元件100 的截面的概略图。
[0038] 摄像元件100从被摄体侧依次排列有微透镜101、彩色滤光片102、开口掩膜103、 布线层105以及光电转换元件108。光电转换元件108由将入射的光转换为电信号的光电 二极管构成。光电转换元件108在基板109的表面以二维方式排列有多个。
[0039] 由光电转换元件108转换的图像信号、控制光电转换元件108的控制信号等是经 由设于布线层105的布线106进行发送接收的。另外,具有与各光电转换元件108 -一对应 设置且以二维方式重复排列的开口部104的开口掩膜103与布线层105相接触地设置。如 后所述,开口部104相对于各个对应的光电转换元件108偏移,严格地设定了相对的位置。 因具有该开口部104的开口掩膜103的作用,使得在光电转换元件108接收的被摄体光束 中产生视差,在后面详细说明。
[0040] 另一方面,在不产生视差的光电转换元件108上不存在开口掩膜103。换言之,也 可以说是设有如下的开口掩膜103,该开口掩膜103所具有的开口部104不限制入射至相 应的光电转换元件108的被摄体光束,即使入射光束整体通过。虽然没有产生视差,但由于 实质上由布线106形成的开口 107规定了入射的被摄体光束,所以也能够将布线106视为 使不产生视差的入射光束整体通过的开口掩膜。开口掩膜103可以分别对应于各光电转换 元件108独立排列,也可以与彩色滤光片102的制造工艺同样地相对于多个光电转换元件 108统一形成。
[0041] 彩色滤光片102设于开口掩膜103上方。彩色滤光片102是与被着色为使特定波 段相对于各光电转换元件108透过的、与光电转换元件108的每一个一一对应设置的滤光 片。为了输出彩色图像,只要排列至少两种彼此不同的彩色滤光片即可,但为了获取更高画 质的彩色图像,最好排列3种以上的彩色滤光片。例如,可以呈网格状地排列使红色波段透 过的红滤光片(R滤光片)、使绿色波段透过的绿滤光片(G滤光片)以及使蓝色波段透过的 蓝滤光片(B滤光片)。彩色滤光片不仅可以是原色RGB的组合,也可以是YCM的互补色滤 光片的组合。
[0042] 微透镜101设于彩色滤光片102上方。微透镜101是用于将入射的被摄体光束更 多地引导至光电转换元件108的聚光透镜。微透镜101分别与各个光电转换元件108-- 对应地设置。优选地,微透镜101考虑摄影透镜20的光瞳中心与光电转换元件108的相对 的位置关系来偏移其光轴,以将更多的被摄体光束引导至光电转换元件108。进一步地,也 可以与开口掩膜103的开口部104的位置一起调整配置位置,以使得后述的特定的被摄体 光束更多地入射。
[0043] 如此,将与各个光电转换元件108--对应地设置的开口掩膜103、彩色滤光片 102以及微透镜101的一个单位称为像素。特别地,将设有产生视差的开口掩膜103的像素 称为视差像素,将未设有产生视差的开口掩膜103的像素称为无视差像素。有时也将左视 点的视差像素记为视差Lt像素,将右视点的视差像素记为视差Rt像素,将无视差像素记为 N像素。另外,有时也将左视点的视差图像记为视差Lt图像,将右视点的视差图像记为视差 Rt图像,将无视差图像记为N图像。例如,在摄像元件100的有效像素区域为24mmX 16mm 左右的情况下,像素数达到1200万左右。
[0044] 此外,在集光效率、光电转换效率较高的图像传感器的情况下,也可以不设置微透 镜101。另外,在为背面照射型图像传感器的情况下,布线层105设于光电转换元件108的 相反侧。另外,若使开口掩膜103的开口部104带有颜色成分,则也能够一体地形成彩色滤 光片102和开口掩膜103。此外,在只要输出黑白图像信号即可的情况下,不设置彩色滤光 片 102〇
[0045] 另外,在本实施方式中,开口掩膜103和布线106分开设置,但是视差像素的开口 掩膜103的功能也可以由布线106来担当。即,由布线106形成规定的开口形状,利用该开 口形状限制入射光束,仅将特定的部分光束引导至光电转换元件108。在这种情况下,优选 使形成开口形状的布线106位于布线层105中最靠近光电转换元件108侦k
[0046] 另外,开口掩膜103可以由与光电转换元件108重叠设置的防透光膜形成。在这 种情况下,开口掩膜103是例如依次层叠SiN膜和SiOj莫来作为防透光膜,再通过蚀刻去 除与开口部104相当的区域而形成。而且,也可以以与开口掩膜103的开口部104相当的 方式来形成光电转换元件108本身的区域。
[0047] 接下来,针对单眼立体摄像中的模糊与视差的关系进行说明。出于简化说明的目 的,对后述的半
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1