双孔径变焦数字摄影机的制作方法
【专利说明】双孔径变焦数字摄影机
[0001]相关申请的交叉引用
[0002]本申请涉及2013年6月13日提交的具有相同标题的美国临时专利申请号61/834，486并且要求其优先权，该申请被全文合并在此以作参考。
技术领域
[0003]这里所公开的实施例总体上涉及数字摄影机，并且特别涉及具有静止图像和视频能力全部二者的纤薄变焦数字摄影机。
【背景技术】
[0004]数字摄影机模块当前正被合并到多种寄主设备中。这样的寄主设备包括蜂窝电话、个人数字助理(PDA)、计算机等等。针对寄主设备中的数字摄影机模块的消费者需求正在持续增长。
[0005]寄主设备制造商希望数字摄影机模块的尺寸较小，从而可以在不增大寄主设备的总体尺寸的情况下将数字摄影机模块合并到其中。此外，对于这样的摄影机具有更高性能特性的需求也在不断增加。许多更高性能摄影机(例如独立式数字静止摄影机)所具有的一项此类特性是改变摄影机的焦距以便增大和减小图像的放大率的能力。这种能力通常是利用变焦透镜实现的，并且被称作光学变焦。“变焦(zoom) ”通常被理解成通过改变光学系统的焦距提供相同场景和/或对象的不同放大率的能力，其中更高的变焦水平与更高的放大率相关联，并且较低的变焦水平与较低的放大率相关联。光学变焦通常是通过将透镜元件相对于彼此机械地移动而实现的。与固定焦距透镜相比，这样的变焦透镜通常更加昂贵、更大并且可靠性更低。用于近似变焦效果的一种替换的方法是利用所谓的数字变焦而实现的。对于数字变焦，取代改变透镜的焦距，摄影机中的处理器对图像进行裁剪并且在所捕获的图像的像素之间进行内插，从而产生经过放大的但是分辨率较低的图像。
[0006]使用多孔径成像系统来近似变焦透镜的效果的尝试是已知的。多孔径成像系统(其例如被实施在数字摄影机中)包括多个光学子系统(其也被称作“子摄影机”)。每一个子摄影机包括一个或更多透镜以及/或者其他光学元件，其定义孔径从而使得所接收到的电磁辐射由所述光学子系统成像，并且将所得到的图像导向二维(2D)像素化图像传感器区段。图像传感器(或者简称作“传感器”)区段被配置成接收图像，并且基于所述图像生成图像数据集合。数字摄影机可以被对准以接收与具有包括一个或更多对象的给定集合的场景相关联的电磁辐射。所述图像数据集合可以被表示成数字图像数据，正如本领域内所熟知的那样。在后面的描述中，“图像”、“图像数据”和“数字图像数据”可以被互换使用。此外，“对象”和“场景”可以被互换使用。
[0007]例如在美国专利公开号2008/0030592、2010/0277619 和 2011/0064327 中描述了多孔径成像系统和相关联的方法。在us 2008/0030592中，两个传感器被同时操作以便捕获通过相关联的透镜所成像的图像。传感器及其相关联的透镜形成透镜/传感器组合。所述两个透镜具有不同的焦距。因此，尽管每一个透镜/传感器组合被对准成朝向相同的方向，但是其分别以两个不同的视场(FOV)捕获相同主体的图像。一个传感器通常被称作“广角(Wide)”，另一个被称作“长焦(Tele)”。每一个传感器提供单独的图像，其分别被称作“广角”(或“W”)和“长焦”(或“T”)图像。与T图像相比，W图像反映出更宽的FOV并且具有较低的分辨率。所述图像随后被缝合(融合)在一起，从而形成复合(“融合”)图像。在复合图像中，中心部分由通过具有更长焦距的透镜/传感器组合取得的相对更高分辨率图像形成，外围部分由通过具有较短焦距的透镜/传感器组合取得的相对较低分辨率图像的外围部分形成。用户选择所期望的变焦数量，并且使用复合图像对来自所选择的变焦数量的数值进行内插，以便提供对应的变焦图像。在视频模式下，除了高帧率要求和高功率消耗之外，US 2008/0030592所给出的解决方案还要求非常多的处理资源(这是因为全部两个摄影机都处于完全操作状态)。
[0008]US 2010/0277619教导了一种具有两个透镜/传感器组合的摄影机，所述两个透镜具有不同的焦距，从而使得来自其中一个组合的图像具有近似来自另一个组合的图像的2-3倍大的F0V。随着摄影机的用户请求给定的变焦数量，从具有大于所请求的F0V的下一个F0V的透镜/传感器组合提供经过变焦的图像。因此，如果所请求的F0V小于较小的F0V组合，则从通过该组合捕获的图像产生经过变焦的图像，并且在必要时使用裁剪和内插。类似地，如果所请求的F0V大于较小的F0V组合，则从通过另一个组合捕获的图像产生经过变焦的图像，并且在必要时使用裁剪和内插。当在视频模式下移动到长焦摄影机时，US2010/0277619所给出的解决方案导致视差伪像。
[0009]在US 2008/0030592和US 2010/0277619全部二者中，不同焦距的系统导致利用CMOS传感器在不同的时间暴露出长焦和广角匹配F0V。这样就降低了总体图像质量。不同的光学F数(“F#”)导致图像强度差异。利用这样的双传感器系统进行工作需要双带宽支持，也就是从传感器到后续硬件组件的附加连线。US 2008/0030592和US 2010/0277619都没有解决配准误差。US 2008/000592和US 2010/0277619都没有提到部分融合，也就是在静止模式下融合广角和长焦图像全部二者的少于所有像素。
[0010]US 2011/0064327公开了多孔径成像系统和用于图像数据融合的方法，其提供了分别对应于所成像的第一和第二场景的第一和第二图像数据集合。所述场景至少部分地在重叠区段中重叠，从而定义作为第一图像数据集合的一部分的重叠图像数据的第一总集，以及作为第二图像数据集合的一部分的重叠图像数据的第二总集。重叠图像数据的第二总集被表示成多个图像数据子摄影机，从而使得每一个子摄影机是基于第二总集的至少一项特性，并且每一个子摄影机跨越所述重叠区段。通过基于至少所选择的其中一个但是少于所有图像数据子摄影机修改重叠图像数据的第一总集，由图像处理器产生图像数据的融合集合。在本申请中所公开的系统和方法仅仅应对融合的静止图像。
[0011]已知的现有技术参考文献都没有提供具有固定焦距透镜的纤薄(例如装配在蜂窝电话中)双孔径变焦数字摄影机，所述摄影机被配置成既能操作在静止模式下也能操作在视频模式下以便提供静止和视频图像，其中摄影机配置在静止模式下使用部分或完全融合来提供融合图像，并且在视频模式下不使用任何融合来提供连续的平滑变焦。
[0012]因此，所需要的并且有利的将是具有免于遭受通常所遇到的问题和缺点(前面列出了其中的一些)的纤薄数字摄影机，其具有光学变焦并且既能操作在视频模式下也能操作在静止模式下。
【发明内容】
[0013]这里所公开的实施例教导了双孔径(其也被称作双透镜或两传感器)光学变焦数字摄影机的使用。所述摄影机包括两个子摄影机，即广角子摄影机和长焦子摄影机，每一个子摄影机包括固定焦距透镜、图像传感器以及图像信号处理器(ISP)。长焦子摄影机是更高变焦子摄影机，广角子摄影机是较低变焦子摄影机。在一些实施例中，所述透镜是具有小于大约9mm的较短光径的纤薄透镜。在一些实施例中，长焦透镜的厚度/有效焦距(EFL)比值小于大约1。所述图像传感器可以包括两个分开的2D像素化传感器或者被划分成至少两个区域的单一像素化传感器。所述数字摄影机既可以操作在静止模式下也可以操作在视频模式下。在静止模式下，通过融合W和T图像在“具有融合”(完全或部分)的情况下实现变焦，所得到的融合图像总是包括来自W和T图像全部二者的信息。可以通过在其中长焦图像未被聚焦的图像区域中不使用融合来实现部分融合。这样就有利地降低了计算要求(例如时间)。
[0014]在视频模式下，通过在W和T图像之间进行切换以便缩短计算时间要求，在“没有融合”的情况下实现光学变焦，从而允许高视频速率。为了避免视频模式中的不连续，所述切换包括应用附加的处理块，其中包括图像伸缩和偏移。
[0015]为了达到光学变焦能力，由每一个摄影机子摄影机捕获(抓取)相同场景的不同放大率图像，从而导致两个子摄影机之间的F0V重叠。在静止模式下，在所述两幅图像上应用处理，以便融合并且输出一幅融合图像。根据用户变焦因数请求对所述融合图像进行处理。作为融合规程的一部分，可以在其中一幅或全部两幅所抓取的图像上应用上采样，以便将其伸缩到由长焦子摄影机抓取的图像或者伸缩到由用户定义的尺度。可以仅对传感器的其中一些像素应用融合或上采样。如果输出分辨率小于传感器分辨率，则也可以实施下采样。
[0016]这里所公开的摄影机和相关联的方法解决并且纠正了已知的双孔径光学变焦数字摄影机的许多问题和缺点。其提供了一种涉及所有方面的总体变焦解决方案:光学器件、算法处理以及系统硬件(服)。所提出的解决方案在处理流程中的视频与静止模式之间作出了区分，并且指定了光学要求和硬件要求。此外，所述解决方案提供了一种新颖的光学设计，从而利用特定的透镜曲率阶数实现了低TTL/EFL比值。
[0017]由于较大的焦距，处在焦平面前方或后方的对象看起来非常模糊，并且实现了良好的前景对背景对比度。但是利用具有相对较短的焦距和较小孔径尺寸的紧凑摄影机(比如蜂窝电话摄影机)难以产生这样的