双传感器照相机及其方法_2

文档序号:9914671阅读:来源:国知局
);以及以色列Herzliya Pituach的Dblur Technologies有限公司(其相关IP资产现在由Tessera拥有)(在其SOFTWARE LENS?商标下)。另外,以下专利、公开的专利申请、以及技术文档被认为公开了 相关 EDoF 技术:PCT/FR2006/050197、PCT/FR2008/051265、PCT/FR2008/051280、US5,748,371、US 6,069,738、US 7,031,054、US 7,218,448、US 7,436,595、PCT/IL2004/00040、PCT/IL2006/01294、PCT/IL2007/00381、PCT/IL2007/000382、PCT/IL2007/00383、PCT/IL2003/000211、以及Dowski和Cathey的 “Extended Depth of Field ThroughWavefront Coding”Applied Optics 34,11,p.1859-66(1995),在此以其整体并入其中每一个的内容。
[0018]景深是指在一些聚焦位置处形成具有满意锐度的图像的物空间中、纵向区域的深度。在普通光学中,通过可允许的旁轴模糊、透镜焦距以及透镜f数来确定旁轴景深。例如,参见Warren J.Smith的Modern Optical Engineering第三版第6章。在旁轴模型中,一旦做出这些选择,就固定透镜的景深。
[0019]普通光学中的景深的更复杂的模型包括透镜像差和衍射效应。该模型典型地使用直通(through)聚焦调制传递函数(MTF)计算来分析景深。在该模型中,聚焦深度依赖于透镜的像差和以透镜的f数发生的衍射。通过这些因素加上透镜的焦距来确定景深。随着像差变小,透镜的景深接近衍射设置的极限,该极限由透镜f数、透镜的焦距、以及各种物距处的可允许的MTF降低来确定。类似于旁轴景深模型,最大景深由可允许的模糊(MTF降低)、透镜f数、以及透镜焦距来设置。
[0020]在普通光学设计处理中,目的是在符合尺寸和成本约束的情况下,使透镜中存在的像差最小化。该目的是当透镜处于聚焦时形成清晰(sharp)的图像。在扩展景深(EDoF)技术中,通过将特殊设计的透镜的使用与传感器捕捉的图像的EDoF图像处理一起组合,来增加景深。各个公司(上面已经提到了它们中的一些)已经提出或者实现了各种类型的m)0F技术。
[0021]各种EDoF技术都需要透镜以特殊方式形成降级的图像,而不是以最佳聚焦来尽可能地形成最清晰的(sharpest)图像。在一个实现方式中,这利用“降级”图像的相位屏蔽来实现。在其它实现方式中,这通过将指定的单色或彩色像差引入到透镜设计来实现。然后通过信号处理技术恢复清晰的图像。在各种EDoF技术之间怎样降级图像以及怎样恢复图像的细节不同。
[0022]在用于与EDoF技术共同使用的透镜设计中,目的不是使在由透镜形成的图像中存在的像差最小化,而是将相位屏蔽的使用或者特殊的一组像差引入到由透镜形成的图像,该透镜允许在扩展景深上恢复清晰的图像。必须引入的精确的像差或者相位屏蔽的类型依赖于使用的特定的EDoF技术。在一些情况下,通过向其它锐度(sharp)透镜添加附加的光学元件,如立体相位元件(或者立体相位屏蔽),来引入这些像差。在其它情况下,可以向透镜设计自身引入轴的彩色或者单色像差。
[0023]在图1所示的示例中,透镜16具有其中设计用于与EDoF处理20共同使用的某些像差,所述EDoF处理20将由与透镜16对应的传感器18执行。在该示例中,透镜16可以是具有7.2mm的焦距、32度的视场(FOV)、以及f/2.8的f数的透镜。透镜12可以是具有3.62mm的焦距,63度的F0V、以及f/2.8的f数的透镜。这些透镜规格仅仅是示例性的,并且任何其它适合的透镜特性可以是可接受的。另外,透镜12和16中的一个或者二者可以是可变的焦距(变焦)透镜。
[0024]在图1所示的示例中,两个透镜12和16具有相同的f数,使得在传感器14和18处接收的光的照度(illuminance)相当。在相同照度的情况下,可以以相似等级的放大和相似的曝光时间操作传感器。以该方式,由分开的传感器14和18捕捉的分开的图像可以有相似等级的亮度和对比度。通过具有相似等级的放大,每个图像中的背景噪声将相似。通过具有相似的曝光时间,由于被摄体运动引起的每个图像中的伪像将相似。通过关于两个图像中这两个特性保持相似性,从两个图像形成的合成图像对于用户将是更可接受的。
[0025]可能用于传感器18的传感器的示例是型号VD6826和6903/953(其中每个包括DxOEDoF算法)、以及VD6803/853(其包括Dblur EDoF算法),其中每个可从瑞士日内瓦的STMicroelectronics得到。可用于传感器14的传感器的示例是以上提及的这些相同的传感器(EDoF处理关闭)、或不具有EDoF能力的类似的传感器,如VD6852或VD6892。在该示例中,每个传感器是Bayer传感器,如众所周知,Bayer传感器在单独的像素阵列上使用滤色器阵列。这样的传感器用在红色像素和蓝色像素之间交替的居间(intervening)像素,在每隔一个像素处感测绿光。稍后将原始感测的信号提供给去马赛克算法,去马赛克算法在像素之间进行内插以获得每个像素的全色信号。然而,本发明不限于与Bayer传感器共同使用,并且与具有不同滤色器阵列的传感器、基于时间顺序颜色的照相机、使用分束器和用于每个颜色通道的单独的传感器的照相机、以及其它照相机架构,将等效地良好地工作,如果这些架构与底层的EDoF技术之一的操作一致。
[0026]在一些情况下,可以考虑照相机10仅仅包括上述的功能部分。在其它情况下,也可以将这些部分(统称为照相机模块22)与作为照相机10的一部分的某些下游组件组合。在这种情况下,照相机10还可以包括图像信号处理器(ISP)24、显示器26、以及用户接口控制28。当然,如照相机产业中众所周知的,照相机还可以典型地包括这里出于简化而省略的若干其它组件。例如,作为非限制性示例,这些其它组件可以包括电池、电源、用于外部电源的应用接口、USB或者到计算机和/或打印机的其它接口、闪光摄影的光源、自动聚焦和图像稳定控制、内部存储器、用于接收外部存储卡或装置(例如,SD或xD存储卡)的一个或多个端口,以及在移动电话中使用照相机的情况下,麦克风、扬声器、传送器/接收器和用于外部麦克风和扬声器的接口(例如,蓝牙耳机)。
[0027]用户接口控制28可以包括用于操作照相机的传统的控制,其包括用于指令照相机捕捉一个或多个图像和操纵图像、以及许多其它功能的控制。显示器26可以是传统的显示器,其按照ISP 24的指引或者在经由用户接口控制28和ISP 24由用户请求时,自动地显示图像。ISP 24包括某些失真校正算法,所述失真校正算法在形成合成图像时,平滑地匹配两个单独的图像之间的特征。此外,ISP 24可以包括去马赛克算法(以上关于Bayer传感器引用)、锐化算法、以及在这样的应用中在ISP中使用的其它标准算法。ISP还包括用于从两个捕捉的图像创建组合图像的算法。在如上引用的美国专利公开N0.2008/0030592中讨论了用于组合图像的合适的方法。
[0028]图2示出来自第一传感器(具有较宽FOV的传感器)的图像50、以及来自第二传感器(具有较窄FOV的传感器)的图像52 二者。宽FOV图像50经过上采样54,而窄FOV图像52经过下采样56。为了确保组合这两个图像以形成单个叠合(congruent)的图像,而在图像目标的外观之间不存在任何可见的不匹配,较宽的FOV图像50通常经历图像上采样操作(S卩,数字变焦),其缩放因子A可以从1(即,不应用上采样操作)到Z,其中Z是第一传感器的FOV对第二传感器FOV的比率。窄FOV图像52经历下采样操作,其缩放因子B通过Z除以A给出。因此,通常通过以下等式给出两个缩放因子之间的关系:
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1