双孔径变焦数字摄影机的制作方法

本申请是申请号为201480033014.1的、发明名称为“双孔径变焦数字摄影机”的、申请人为“核心光电有限公司”的、国际申请日为2014年6月12日的专利申请的分案申请。该申请的母案申请201480033014.1系国际申请号为pct/ib2014/062180的中国国家阶段申请。

相关申请的交叉引用

本申请涉及2013年6月13日提交的具有相同标题的美国临时专利申请号61/834,486并且要求其优先权，该申请被全文合并在此以作参考。

这里所公开的实施例总体上涉及数字摄影机，并且特别涉及具有静止图像和视频能力全部二者的纤薄变焦数字摄影机。

背景技术

数字摄影机模块当前正被合并到多种寄主设备中。这样的寄主设备包括蜂窝电话、个人数字助理(pda)、计算机等等。针对寄主设备中的数字摄影机模块的消费者需求正在持续增长。

寄主设备制造商希望数字摄影机模块的尺寸较小，从而可以在不增大寄主设备的总体尺寸的情况下将数字摄影机模块合并到其中。此外，对于这样的摄影机具有更高性能特性的需求也在不断增加。许多更高性能摄影机(例如独立式数字静止摄影机)所具有的一项此类特性是改变摄影机的焦距以便增大和减小图像的放大率的能力。这种能力通常是利用变焦透镜实现的，并且被称作光学变焦。“变焦(zoom)”通常被理解成通过改变光学系统的焦距提供相同场景和/或对象的不同放大率的能力，其中更高的变焦水平与更高的放大率相关联，并且较低的变焦水平与较低的放大率相关联。光学变焦通常是通过将透镜元件相对于彼此机械地移动而实现的。与固定焦距透镜相比，这样的变焦透镜通常更加昂贵、更大并且可靠性更低。用于近似变焦效果的一种替换的方法是利用所谓的数字变焦而实现的。对于数字变焦，取代改变透镜的焦距，摄影机中的处理器对图像进行裁剪并且在所捕获的图像的像素之间进行内插，从而产生经过放大的但是分辨率较低的图像。

使用多孔径成像系统来近似变焦透镜的效果的尝试是已知的。多孔径成像系统(其例如被实施在数字摄影机中)包括多个光学子系统(其也被称作“子摄影机”)。每一个子摄影机包括一个或更多透镜以及/或者其他光学元件，其定义孔径从而使得所接收到的电磁辐射由所述光学子系统成像，并且将所得到的图像导向二维(2d)像素化图像传感器区段。图像传感器(或者简称作“传感器”)区段被配置成接收图像，并且基于所述图像生成图像数据集合。数字摄影机可以被对准以接收与具有包括一个或更多对象的给定集合的场景相关联的电磁辐射。所述图像数据集合可以被表示成数字图像数据，正如本领域内所熟知的那样。在后面的描述中，“图像”、“图像数据”和“数字图像数据”可以被互换使用。此外，“对象”和“场景”可以被互换使用。

例如在美国专利公开号2008/0030592、2010/0277619和2011/0064327中描述了多孔径成像系统和相关联的方法。在us2008/0030592中，两个传感器被同时操作以便捕获通过相关联的透镜所成像的图像。传感器及其相关联的透镜形成透镜/传感器组合。所述两个透镜具有不同的焦距。因此，尽管每一个透镜/传感器组合被对准成朝向相同的方向，但是其分别以两个不同的视场(fov)捕获相同主体的图像。一个传感器通常被称作“广角(wide)”，另一个被称作“长焦(tele)”。每一个传感器提供单独的图像，其分别被称作“广角”(或“w”)和“长焦”(或“t”)图像。与t图像相比，w图像反映出更宽的fov并且具有较低的分辨率。所述图像随后被缝合(融合)在一起，从而形成复合(“融合”)图像。在复合图像中，中心部分由通过具有更长焦距的透镜/传感器组合取得的相对更高分辨率图像形成，外围部分由通过具有较短焦距的透镜/传感器组合取得的相对较低分辨率图像的外围部分形成。用户选择所期望的变焦数量，并且使用复合图像对来自所选择的变焦数量的数值进行内插，以便提供对应的变焦图像。在视频模式下，除了高帧率要求和高功率消耗之外，us2008/0030592所给出的解决方案还要求非常多的处理资源(这是因为全部两个摄影机都处于完全操作状态)。

us2010/0277619教导了一种具有两个透镜/传感器组合的摄影机，所述两个透镜具有不同的焦距，从而使得来自其中一个组合的图像具有近似来自另一个组合的图像的2-3倍大的fov。随着摄影机的用户请求给定的变焦数量，从具有大于所请求的fov的下一个fov的透镜/传感器组合提供经过变焦的图像。因此，如果所请求的fov小于较小的fov组合，则从通过该组合捕获的图像产生经过变焦的图像，并且在必要时使用裁剪和内插。类似地，如果所请求的fov大于较小的fov组合，则从通过另一个组合捕获的图像产生经过变焦的图像，并且在必要时使用裁剪和内插。当在视频模式下移动到长焦摄影机时，us2010/0277619所给出的解决方案导致视差伪像。

在us2008/0030592和us2010/0277619全部二者中，不同焦距的系统导致利用cmos传感器在不同的时间暴露出长焦和广角匹配fov。这样就降低了总体图像质量。不同的光学f数(“f#”)导致图像强度差异。利用这样的双传感器系统进行工作需要双带宽支持，也就是从传感器到后续硬件组件的附加连线。us2008/0030592和us2010/0277619都没有解决配准误差。us2008/000592和us2010/0277619都没有提到部分融合，也就是在静止模式下融合广角和长焦图像全部二者的少于所有像素。

us2011/0064327公开了多孔径成像系统和用于图像数据融合的方法，其提供了分别对应于所成像的第一和第二场景的第一和第二图像数据集合。所述场景至少部分地在重叠区段中重叠，从而定义作为第一图像数据集合的一部分的重叠图像数据的第一总集，以及作为第二图像数据集合的一部分的重叠图像数据的第二总集。重叠图像数据的第二总集被表示成多个图像数据子摄影机，从而使得每一个子摄影机是基于第二总集的至少一项特性，并且每一个子摄影机跨越所述重叠区段。通过基于至少所选择的其中一个但是少于所有图像数据子摄影机修改重叠图像数据的第一总集，由图像处理器产生图像数据的融合集合。在本申请中所公开的系统和方法仅仅应对融合的静止图像。

已知的现有技术参考文献都没有提供具有固定焦距透镜的纤薄(例如装配在蜂窝电话中)双孔径变焦数字摄影机，所述摄影机被配置成既能操作在静止模式下也能操作在视频模式下以便提供静止和视频图像，其中摄影机配置在静止模式下使用部分或完全融合来提供融合图像，并且在视频模式下不使用任何融合来提供连续的平滑变焦。

因此，所需要的并且有利的将是具有免于遭受通常所遇到的问题和缺点(前面列出了其中的一些)的纤薄数字摄影机，其具有光学变焦并且既能操作在视频模式下也能操作在静止模式下。

技术实现要素：

这里所公开的实施例教导了双孔径(其也被称作双透镜或两传感器)光学变焦数字摄影机的使用。所述摄影机包括两个子摄影机，即广角子摄影机和长焦子摄影机，每一个子摄影机包括固定焦距透镜、图像传感器以及图像信号处理器(isp)。长焦子摄影机是更高变焦子摄影机，广角子摄影机是较低变焦子摄影机。在一些实施例中，所述透镜是具有小于大约9mm的较短光径的纤薄透镜。在一些实施例中，长焦透镜的厚度/有效焦距(efl)比值小于大约1。所述图像传感器可以包括两个分开的2d像素化传感器或者被划分成至少两个区域的单一像素化传感器。所述数字摄影机既可以操作在静止模式下也可以操作在视频模式下。在静止模式下，通过融合w和t图像在“具有融合”(完全或部分)的情况下实现变焦，所得到的融合图像总是包括来自w和t图像全部二者的信息。可以通过在其中长焦图像未被聚焦的图像区域中不使用融合来实现部分融合。这样就有利地降低了计算要求(例如时间)。

在视频模式下，通过在w和t图像之间进行切换以便缩短计算时间要求，在“没有融合”的情况下实现光学变焦，从而允许高视频速率。为了避免视频模式中的不连续，所述切换包括应用附加的处理块，其中包括图像伸缩和偏移。

为了达到光学变焦能力，由每一个摄影机子摄影机捕获(抓取)相同场景的不同放大率图像，从而导致两个子摄影机之间的fov重叠。在静止模式下，在所述两幅图像上应用处理，以便融合并且输出一幅融合图像。根据用户变焦因数请求对所述融合图像进行处理。作为融合规程的一部分，可以在其中一幅或全部两幅所抓取的图像上应用上采样，以便将其伸缩到由长焦子摄影机抓取的图像或者伸缩到由用户定义的尺度。可以仅对传感器的其中一些像素应用融合或上采样。如果输出分辨率小于传感器分辨率，则也可以实施下采样。

这里所公开的摄影机和相关联的方法解决并且纠正了已知的双孔径光学变焦数字摄影机的许多问题和缺点。其提供了一种涉及所有方面的总体变焦解决方案：光学器件、算法处理以及系统硬件(hw)。所提出的解决方案在处理流程中的视频与静止模式之间作出了区分，并且指定了光学要求和硬件要求。此外，所述解决方案提供了一种新颖的光学设计，从而利用特定的透镜曲率阶数实现了低ttl/efl比值。

由于较大的焦距，处在焦平面前方或后方的对象看起来非常模糊，并且实现了良好的前景对背景对比度。但是利用具有相对较短的焦距和较小孔径尺寸的紧凑摄影机(比如蜂窝电话摄影机)难以产生这样的模糊。在一些实施例中，通过利用长焦透镜的更长焦距，这里所公开的双孔径变焦系统可以被用来捕获浅dof照片(与单独的广角摄影机的dof相比较浅)。通过融合利用广角透镜同时捕获的图像的数据，在最终图像中可以进一步增强由更长的长焦焦距所提供的降低的dof效果。取决于到对象的距离，随着长焦透镜聚焦在照片的主体上，广角透镜可以被聚焦到比所述主体更近的距离，从而使得处在主体后方的对象看起来非常模糊。一旦捕获了所述两幅图像，就把来自广角图像中的失焦模糊背景的信息与原始的长焦图像背景信息融合，从而提供更加模糊的背景以及甚至更浅的dof。

在一个实施例中，提供了一种变焦数字摄影机，其包括：广角成像部分，其包括具有广角fov的固定焦距广角透镜、广角传感器和广角图像信号处理器(isp)，所述广角成像部分适于提供对象或场景的广角图像数据；长焦成像部分，其包括具有比广角fov更窄的长焦fov的固定焦距长焦透镜、长焦传感器和长焦isp，所述长焦成像部分适于提供对象或场景的长焦图像数据；以及适于耦合到广角和长焦成像部分的摄影机控制器，所述摄影机控制器被配置成在静止模式下组合至少其中一些广角和长焦图像数据以便提供来自特定视点(pov)的所述对象或场景的融合输出图像，并且在没有融合的情况下提供所述对象或场景的连续变焦视频模式输出图像，适于耦合到广角和长焦成像部分的摄影机控制器，所述摄影机控制器被配置成在静止模式下组合至少其中一些广角和长焦图像数据以便提供来自特定视点的所述对象或场景的融合输出图像，并且在没有融合的情况下提供所述对象或场景的连续变焦视频模式输出图像，每一幅输出图像具有对应的输出分辨率，其中在较低变焦因数(zf)数值与更高zf数值之间进行切换(或者反之亦然)时以平滑的过渡提供视频输出图像，其中在较低zf数值下的输出分辨率由广角传感器决定，并且其中在更高zf数值下的输出分辨率由长焦传感器决定。

在一个实施例中，用以在较低zf数值与更高zf数值之间进行切换(或者反之亦然)时以平滑的过渡提供视频输出图像的摄影机控制器配置包括在高zf下使用来自广角摄影机的次要信息并且在低zf下使用来自长焦摄影机的次要信息的配置。这里所使用的“次要信息”指的是白平衡增益、曝光时间、模拟增益以及颜色校正矩阵。

在双孔径摄影机像平面中，正如每一个子摄影机(和对应的图像传感器)所看到的那样，给定的对象将发生偏移并且具有不同的透视(形状)。这被称作视点(pov)。系统输出图像可以具有任一幅子摄影机图像的形状和位置，或者其组合的形状或位置。如果输出图像保留了广角图像形状，则其具有广角透视pov。如果其保留了广角摄影机位置，则其具有广角位置pov。这一点对于长焦图像位置和透视同样适用。在本说明书中所使用的透视pov可以是广角或长焦子摄影机的透视pov，而位置pov则可以在广角与长焦子摄影机之间连续地偏移。在融合图像中，有可能把长焦图像像素配准到广角图像像素内的匹配像素集合，在这种情况下，输出图像将保留广角pov(“广角融合”)。或者，有可能把广角图像像素配准到长焦图像像素内的匹配像素集合，在这种情况下，输出图像将保留长焦pov(“长焦融合”)。还有可能在任一幅子摄影机图像被偏移之后实施所述配准，在这种情况下，输出图像将保留对应的广角或长焦透视pov。

在一个实施例中，提供了一种用于利用数字摄影机在静止和视频全部两种模式下获得对象或场景的变焦图像的方法，所述方法包括以下步骤：在数字摄影机中提供广角成像部分，其包括具有广角fov的广角透镜、广角传感器和广角图像信号处理器(isp)，长焦成像部分，其包括具有比广角fov更窄的长焦fov的长焦透镜、长焦传感器和长焦isp，以及适于耦合到广角和长焦成像部分的摄影机控制器；以及对摄影机控制器进行配置，从而在静止模式下组合至少其中一些广角和长焦图像数据以便提供来自特定视点的所述对象或场景的融合输出图像，并且在没有融合的情况下提供所述对象或场景的连续变焦视频模式输出图像，每一幅输出图像具有对应的输出分辨率，其中在较低zf数值与更高zf数值之间进行切换(或者反之亦然)时以平滑的过渡提供视频模式输出图像，并且其中在较低zf数值下的输出分辨率由广角传感器决定，而在更高zf数值下的输出分辨率则由长焦传感器决定。

附图说明

下面将参照在本段之后列出的附图来描述这里所公开的实施例的非限制性实例。附图及其描述意图说明和澄清这里所公开的实施例，而不应当被视为以任何方式作出限制。

图1a示意性地示出了这里所公开的双孔径变焦成像系统的方框图；

图1b是图1a的双孔径变焦成像系统的示意性机械图；

图2示出了广角传感器、长焦传感器及其对应的pov的一个实例；

图3示意性地示出了cmos传感器图像抓取与时间的关系的实施例；

图4示意性地示出了允许利用双传感器变焦系统共享一个传感器接口的传感器时间配置；

图5示出了这里所公开的用于在捕获模式下采集变焦图像的方法的一个实施例；

图6示出了这里所公开的用于在视频/预览模式下采集变焦图像的方法的一个实施例；

图7示出了有效分辨率变焦因数的曲线图；

图8示出了这里所公开的纤薄摄影机中的透镜块的一个实施例；

图9示出了这里所公开的纤薄摄影机中的透镜块的另一个实施例。

具体实施方式

图1a示意性地示出了这里所公开的编号为100的双孔径变焦成像系统(其也被简称作“数字摄影机”或“摄影机”)的一个实施例的方框图。摄影机100包括广角成像部分(“子摄影机”)，其包括广角透镜块102、广角图像传感器104和广角图像处理器106。摄影机100还包括长焦成像部分(“子摄影机”)，其包括长焦透镜块108、长焦图像传感器110和长焦图像处理器112。所述图像传感器可以在物理上分开，或者可以是更大的单一图像传感器的一部分。广角传感器像素尺寸可以等于或者不同于长焦传感器像素尺寸。摄影机100还包括摄影机融合处理核心(其也被称作“控制器”)114，其包括传感器控制模块116、用户控制模块118、视频处理模块126和捕获处理模块128，所述各个模块全部可操作地耦合到传感器控制块110。用户控制模块118包括操作模式功能120、感兴趣区段(roi)功能122和变焦因数(zf)功能124。

传感器控制模块116连接到两个子摄影机并且连接到用户控制模块118，其被用来根据变焦因数选择其中哪一个传感器是可操作的，并且控制曝光机制和传感器读出。模式选择功能120被用来选择捕获/视频模式。roi功能122被用来选择感兴趣区段。这里所使用的“roi”是用户定义的图像的子区段，其例如可以是图像面积的4％或更少。roi是全部两个子摄影机都被聚焦在其上的区段。变焦因数功能124被用来选择变焦因数。视频处理模块126连接到模式选择功能120并且被用于视频处理。静止处理模块128连接到模式选择功能120并且被用于高图像质量静止模式图像。当用户希望在视频模式下进行拍摄时应用视频处理模块。当用户希望拍摄静止画面时应用捕获处理模块。

图1b是图1a的双孔径变焦成像系统的示意性机械图。示例性的规格如下：广角透镜ttl＝4.2mm并且efl＝3.5mm；长焦透镜ttl＝6mm并且efl＝7mm；广角和长焦传感器都是1/3英寸。广角和长焦摄影机的外部规格如下：宽度(w)和长度(l)＝8.5mm并且高度(h)＝6.8mm。摄影机中心之间的距离“d”＝10mm。

下面是使用摄影机100的不同方法的详细描述和实例。

针对视频模式下的连续和平滑变焦的设计

在一个实施例中，为了在视频摄影机模式下实现高质量连续和平滑光学变焦并且同时利用固定焦距子摄影机实现真实光学变焦，根据以下规则(等式1-3)来设计所述系统：

tan(fovwide)/tan(fovtele)＝plwide/plvideo(1)

其中，tan是指“正切”，fovwide和fovtele分别是指广角和长焦透镜视场(以度数计)。这里所使用的fov是从传感器的中心轴到角落测量的(也就是正常定义的角度的一半)。plwide和plvideo分别是指广角传感器像素的“线内”(也就是一条线中的)数目和输出视频格式像素的线内数目。plwide/plvideo比值被称作“过采样比值”。举例来说，为了对于12mp传感器(4000x3000传感器规格)和所要求的1080p(1920x1080规格)视频格式获得完全并且连续的光学变焦体验，fov比值应当是4000/1920＝2.083。此外，如果广角透镜fov被给出为fovwide＝37.5°，则所需的长焦透镜fov是20.2°。根据线内传感器像素与视频格式中的线内像素的数目之间的比值设定变焦切换点并且如下定义：

zswitch＝plwide/plvideo(2)

根据下面的公式达到最大光学变焦：

zmax＝tan(fovwide)/tan(fovtele)*pltele/plvideo(3)

举例来说：对于前面所定义的配置并且假设pltele＝4000和plvideo＝1920，则zmax＝4.35。

在一个实施例中，传感器控制模块具有取决于广角和长焦fov并且取决于传感器过采样比值的设定，所述设定被使用在每一个传感器的配置中。举例来说，在使用4000x3000传感器时并且在输出1920x1080图像时，过采样比值是4000/1920＝2.0833。

在一个实施例中，广角和长焦fov以及过采样比值满足以下条件

0.8*plwide/plvideo<tan(fovwide)/tan(fovtele)<1.2plwide/plvideo(4)

静止模式操作/功能

在静止摄影机模式下，在所有变焦水平下从通过全部两个子摄影机获得的信息融合所获得的图像，参见图2，其中示出了广角传感器202和长焦传感器204及其对应的fov。如图所示，作为示例，长焦传感器fov是广角传感器fov的一半。静止摄影机模式处理包括两个阶段：(1)设定硬件设定和配置，其中第一个目的是控制传感器，从而使得在同一时间扫描全部两幅图像(长焦和广角)中的匹配fov。第二个目的是根据透镜属性来控制相对曝光。第三个目的是对于isp最小化来自全部两个传感器的所需带宽；以及(2)融合广角和长焦图像以实现光学变焦、改进snr并且提供较宽动态范围的图像处理。

图3示出了对应于由cmos传感器捕获的图像部分的图像线数与时间的关系。通过对每一幅图像的线(行)扫描获得融合图像。为了防止在不同时间扫描全部两个传感器中的匹配fov，在保持相同帧率的同时由摄影机控制器在全部两个图像传感器上应用特定配置。传感器之间的fov中的差异决定对应于每一个传感器的卷帘快门时间与垂直消隐时间之间的关系。在所述特定配置中，扫描是同步的，从而使得同时获得每一个视图中的对象的相同点。

特别参照图3并且根据这里所公开的方法的一个实施例，用以同步扫描的配置包括：将长焦传感器垂直消隐时间vbtele设定到等于广角传感器垂直消隐时间vbwide加上广角传感器卷帘快门时间rstwide的一半；将长焦和广角传感器曝光时间ettele和etwide设定成相等或不同；将长焦传感器卷帘快门时间rsttele设定成0.5*rstwide；并且将两个传感器的帧率设定成相等。这一规程导致长焦和广角传感器图像中的完全相同的图像像素在同一时间被曝光。

在另一个实施例中，摄影机控制器将广角和长焦传感器同步，从而使得全部两个传感器的卷帘快门在同一时间启动。

被应用于两个传感器的曝光时间可以是不同的，以便例如利用对应于长焦和广角系统的不同f#和不同像素尺寸达到相同的图像强度。在这种情况下，可以根据下面的公式来配置相对曝光时间：

ettele＝etwide·(f#tele/f#wide)²·(pixelsizewide/pixelsizetele)²(5)

可以应用其他曝光时间比值以便实现较宽的动态范围和改进的snr。融合具有不同强度的两幅图像将得到较宽动态范围的图像。

更加详细地参照图3，在第一阶段中，在用户选择了所需的变焦因数zf之后，传感器控制模块如下配置每一个传感器：

1)裁剪索引广角传感器：

ywidestart＝1/2·pcwide(1-1/zf)

ywideend＝1/2·pcwide(1+1/zf)

其中，pc是一列中的像素数目，并且y是行号

2)裁剪索引长焦传感器：

如果zf>tan(fovwide)/tan(fovtele)，则

ytelestart＝1/2·pctele(1-(1/zf)·tan(fovtele)/tan(fovwide))

yteleend＝1/2·pctele(1+(1/zf)·tan(fovtele)/tan(fovwide))

如果zf<tan(fovwide)/tan(fovtele)，则

ytelestart＝0

yteleend＝pctele

这样将导致长焦传感器的曝光起始时间具有以下延迟(相对于广角传感器起始时间以线数计)：

(1-zf/((tan(fovwide)/tan(fovtele)))·1/(2·fps)(6)

其中，fps是传感器的每秒帧数配置。如果zf>tan(fovwide)/tan(fovtele)，则在长焦和广角曝光起始点之间将不会引入延迟。例如对于其中tan(fovwide)/tan(fovtele)＝2并且zf＝1的情况，在广角图像第一像素被曝光的1/4·(1/fps)秒之后长焦图像第一像素被曝光。

在根据所需的变焦因数应用裁剪之后，应当配置传感器卷帘快门时间和垂直消隐，以便满足以下等式以保持相同的帧率：

vbwide+rstwide＝vbtele+rsttele(7)

图3例示了等式(7)。满足等式(7)的一种方式是增大rstwide。控制rstwide可以通过改变广角传感器的水平消隐(hb)来进行。这样将导致来自广角传感器的每一行的数据之间的延迟。

通常来说，利用双传感器系统进行工作需要把带宽乘以后续块，例如isp。举例来说，利用12mp在30fps下工作，每像素10比特则要求在3.6gbit/秒下工作。在该例中，支持这一带宽需要从每一个传感器到处理链中的对应的后续isp的4条通道。因此，利用两个传感器进行工作需要双倍带宽(7.2gbit/秒)以及连接到对应的后续块的8条通道。通过对两个传感器进行配置和同步可以减小带宽。因此，通道的数目可以是传统配置的一半(3.6gbit/秒)。

图4示意性地示出了允许利用双传感器变焦系统共享一个传感器接口的传感器时间配置，其同时满足前面的图3的描述中的条件。为了简单起见，假设长焦传感器图像与广角传感器图像相比被放大2倍，广角传感器水平消隐时间hbwide被设定到广角传感器线读出时间的两倍。这就导致输出广角线之间的延迟。这一延迟时间精确地匹配从长焦传感器输出两条线所需的时间。在从长焦传感器输出两条线之后，长焦传感器水平消隐时间hbtele被设定到一个广角线读出时间，因此在广角传感器从该传感器输出一行的同时，没有数据从长焦传感器输出。对于该例，长焦传感器中的每第三条线被延迟一个附加的hbtele。在该延迟时间中，从所述双传感器系统输出来自广角传感器的一条线。在传感器配置阶段之后，数据被并行地或者通过使用多路复用被发送到处理部分中。

图5示出了这里所公开的用于在静止模式下采集变焦图像的方法的一个实施例。在isp步骤502中，将每一个传感器的数据传输到对应的isp组件，其对所述数据实施本领域内已知的各种处理，比如去噪声、去马赛克、锐化、伸缩等等。在步骤502中的处理之后，在捕获处理核心128中实施所有后续动作：在矫正步骤504中，将广角和长焦图像都对准在核线(epipolarline)上；在配准步骤506中，实施广角与长焦对准图像之间的映射，从而产生配准映射图；在重采样步骤508中，根据配准映射图对长焦图像进行重采样，从而得到经过重采样的长焦图像；在决定步骤510中，对所述经过重采样的长焦图像和广角图像进行处理以便检测配准中的错误，并且提供决定输出。更具体来说，在步骤510中，把经过重采样的长焦图像数据与广角图像数据进行比较，并且如果所述比较检测到显著的不同点，则表明错误。在这种情况下，在输出图像中选择使用广角像素数值。随后在融合步骤512中，将所述决定输出、经过重采样的长焦图像以及广角图像融合到单一变焦图像中。

为了减少处理时间和能力，可以通过在未聚焦区域中不融合图像来绕过步骤506、508、510和512。在这种情况下，前面所指出的所有步骤应当仅被应用在已聚焦区域上。由于长焦光学系统将引入比广角光学系统更浅的场深度，因此散焦区域在长焦系统中将受困于较低的对比度。

静止摄影机模式下的焦距拉近和焦距拉远

我们如下定义：tfov＝tan(摄影机fov/2)。“低zf”指的是满足zf<广角tfov/长焦tfov的所有zf。“高zf”指的是满足zf>广角tfov/长焦tfov的所有zf。“zft”指的是满足zf＝广角tfov/长焦tfov的zf。在一个实施例中，如下实施静止模式下的焦距拉近和焦距拉远：

焦距拉近：在向上直到略高于zft的低zf下，输出图像是经过数字变焦的广角融合输出。对于上转换(up-transfer)zf，通过全局配准(gr)对长焦图像进行偏移和校正以便实现平滑过渡。随后，所述输出被变换到长焦融合输出。对于更高(高于上转换)的zf，所述输出是经过数字变焦的长焦融合输出。

焦距拉远：在向下直到略低于zft的高zf下，输出图像是经过数字变焦的长焦融合输出。对于下转换(down-transfer)zf，通过gr对广角图像进行偏移和校正以便实现平滑过渡。随后，所述输出被变换到广角融合输出。对于更低(低于下转换)的zf，所述输出基本上是经过数字变焦但是具有逐渐更小的广角偏移校正的下转换zf输出，直到对于zf＝1，所述输出是未发生改变的广角摄影机输出。

在另一个实施例中，如下实施静止模式下的焦距拉近和焦距拉远：

焦距拉近：在向上直到略高于zft的低zf下，输出图像是经过数字变焦的广角融合输出。对于上转换zf及其以上，输出图像是长焦融合输出。

焦距拉远：在向下直到略低于zft的高zf下，输出图像是经过数字变焦的长焦融合输出。对于下转换zf及其以下，输出图像是广角融合输出。

视频模式操作/功能

平滑过渡

当双孔径摄影机在子摄影机或视点之间切换摄影机输出时，用户通常将看到“跳跃”(不连续的)图像改变。但是对应于相同的摄影机和pov的变焦因数的改变则被视为连续改变。“平滑过渡”是最小化跳跃效应的摄影机或pov之间的过渡。这可以包括匹配过渡之前和之后的输出图像的位置、尺度、亮度和颜色。但是子摄影机输出之间的整个图像位置匹配在许多情况下是不可能的，这是因为视差使得位置偏移取决于对象距离。因此，在这里所公开的平滑过渡中，仅在roi区段中实现位置匹配，而尺度、亮度和颜色则对于整个输出图像区域被匹配。

视频模式下的焦距拉近和焦距拉远

在视频模式下，传感器过采样被用来实现连续和平滑的变焦体验。在从一个子摄影机到另一个的交叉期间，应用处理以消除图像中的改变。仅利用广角传感器实施从1到zswitch的变焦。从zswitch往后则主要通过长焦传感器来实施。为了防止“跳跃”(图像中的粗糙性)，利用比zswitch高一点的变焦因数(zswitch+δzoom)来进行切换到长焦图像。δzoom是根据系统的属性来确定的，并且对于其中应用焦距拉近的情况和其中应用焦距拉远的情况是不同的(δzoomin≠δzoomout)。这样做是为了防止残留跳跃伪像在特定变焦因数下可见。对应于增大的变焦和对应于减小的变焦的传感器之间的切换是在不同的变焦因数上进行的。

变焦视频模式操作包括两个阶段：(1)传感器控制和配置，以及(2)图像处理。在从1到zswitch的范围内，仅有广角传感器是可操作的，因此可以仅向该传感器供应电力。类似的条件对于广角af机制也是成立的。从zswitch+δzoom到zmax，仅有长焦传感器是可操作的，因此仅向该传感器供应电力。类似地，对于长焦af机制，仅有长焦传感器是可操作的，并且仅向该传感器供应电力。另一种选项是长焦传感器是可操作的，并且广角传感器在低帧率下操作。从zswitch到zswitch+δzoom，全部两个传感器都是可操作的。

焦距拉近：在向上直到略高于zft的低zf下，输出图像是经过数字变焦的未发生改变的广角摄影机输出。对于上转换(up-transfer)zf，所述输出是经过变换的长焦子摄影机输出，其中通过全局配准(gr)算法实施所述变换以实现平滑过渡。对于更高(高于上转换)的zf，所述输出是经过数字变焦的转换zf输出。

焦距拉远：在向下直到略低于zft的高zf下，输出图像是经过数字变焦的变换后的长焦摄影机输出。对于下转换(down-transfer)zf，所述输出是经过偏移的广角摄影机输出，其中通过gr算法实施广角偏移校正以实现平滑过渡，也就是说在roi区段中没有跳跃。对于更低(低于下转换)的zf，所述输出基本上是经过数字变焦但是具有逐渐更小的广角偏移校正的下转换zf输出，直到对于zf＝1，所述输出是未发生改变的广角摄影机输出。

图6示出了这里所公开的用于针对3个不同的变焦因数(zf)范围在视频/预览模式下采集变焦图像的方法的一个实施例：(a)zf范围＝1:zswitch；(b)zf范围＝zswitch:zswitch+δzoomin；以及(c)变焦因数范围＝zswitch+δzoomin:zmax。其描述是参照有效分辨率与变焦数值的关系的曲线图(图7)。在步骤602中，传感器控制模块116选择(指示)传感器(广角、长焦或全部二者)是可操作的。具体来说，如果zf范围＝1:zswitch，则模块116指示广角传感器是可操作的，并且长焦传感器是不可操作的。如果zf范围是zswitch:zswitch+δzoomin，则模块116指示全部两个传感器都是可操作的，并且从广角传感器生成变焦图像。如果zf范围是zswitch+δzoomin:zmax，则模块116指示广角传感器是不可操作的并且长焦传感器是可操作的。在步骤602中的传感器选择之后，所有后续动作都在视频处理核心126中实施。可选的是，在步骤604中，如果两幅图像由两个传感器提供，则计算色平衡。另外可选的是，在步骤606中，在其中一幅图像中(取决于变焦因数)应用所计算的色平衡。另外可选的是，在步骤608中，在广角与长焦图像之间实施配准，以便输出变换系数。所述变换系数可以被用来在步骤610中设定af位置。在步骤612中，在其中一幅图像上(取决于变焦因数)应用步骤602-608当中的任一个步骤的输出以用于图像信号处理，所述图像信号处理可以包括去噪声、去马赛克、锐化、伸缩等等。在步骤614中，根据所述变换系数、所请求的zf(从变焦功能124获得)以及输出视频分辨率(例如1080p)对经过处理的图像进行重采样。为了避免在相同的zf下执行过渡点，在进行焦距拉近时以及在进行焦距拉远时，δzoom可以发生改变。这样将导致传感器切换点中的滞后。

更具体来说，对于zf范围1:zswitch，对于zf<zswitch，广角图像数据在步骤612中被传输到isp并且在步骤614中被重采样。对于zf范围＝zswitch:zswitch+δzoomin，全部两个传感器都是可操作的，并且从广角传感器生成变焦图像。根据给定的roi对于全部两幅图像计算色平衡。此外，对于给定的roi，在广角与长焦图像之间实施配准，以便输出变换系数。所述变换系数被用来设定af位置。所述变换系数包括两幅图像中的匹配点之间的平移。这一平移可以通过像素数来测量。不同的平移将导致图像中的匹配点中的不同像素数的移动。这一移动可以被转换成深度，并且所述深度可以被转换成af位置。这样就允许通过仅分析两幅图像(广角和长焦)来设定af位置。其结果是快速聚焦。

色平衡比值和变换系数全部二者都被使用在isp步骤中。并行地对广角图像进行处理以便提供经过处理的图像，随后进行重采样。对于zf范围＝zswitch+δzoomin:zmax并且对于变焦因数>zswitch+δzoomin，先前所计算的色平衡现在被应用在长焦图像上。长焦图像数据在步骤612中被传输到isp并且在步骤614中被重采样。为了消除交叉伪像并且为了实现平滑过渡到长焦图像，根据所述变换系数、所请求的zf(从变焦功能124获得)以及输出视频分辨率(例如1080p)对经过处理的长焦图像进行重采样。

图7示出了对应于焦距拉近情况以及对应于焦距拉远情况的作为变焦因数的函数的有效分辨率，其中在焦距拉近时设定δzoomup，在焦距拉远时设定δzoomdown。把δzoomup设定为不同于δzoomdown将导致在使用焦距拉近时以及在使用焦距拉远时在不同的变焦因数下(“滞后”)实施传感器之间的过渡。视频模式下的这一滞后现象导致平滑连续的变焦体验。

光学设计

此外还考虑到附加的光学设计考虑因素，以便允许利用较小的光学总长(ttl)达到光学变焦分辨率。这些考虑因素涉及长焦透镜。在一个实施例中，摄影机是“纤薄”的(还参见图1b)，这是在于其光程小于9mm，并且其厚度/焦距(fp)比值小于大约0.85。作为示例，如图8中所示，这样的纤薄摄影机具有包括(沿着从对象开始算起的光轴)五个透镜的透镜块：具有正光焦度的第一透镜元件802，具有负光焦度的两个透镜804和806，具有正光焦度的第四透镜808，以及具有负光焦度的第五透镜810。在图8的实施例中，efl是7mm，ttl是4.7mm，f＝6.12，并且fov＝20°。因此，长焦透镜ttl/efl比值小于0.9。在其他实施例中，长焦透镜ttl/efl比值可以小于1。

在图9中所示的纤薄摄影机中的透镜块的另一个实施例中，摄影机所具有的透镜块包括(沿着从对象开始算起的光轴)：具有正光焦度的第一透镜元件902，具有负光焦度的第二透镜元件904，具有正光焦度的第三透镜元件906，具有负光焦度的第四透镜元件908，以及具有正或负光焦度的第五场透镜元件910。在该实施例中，f＝7.14，f#＝3.5，ttl＝5.8mm，并且fov＝22.7°。

总而言之，这里所公开的双孔径光学变焦数字摄影机和相关联的方法减少了处理资源的数量，降低了帧率要求，减少了功率消耗，去除了视差伪像，并且在视频模式下从广角改变到长焦时提供连续的聚焦(或者提供失焦)。所述摄影机和方法大大减小了视差范围(disparityrange)，并且在捕获模式下避免了错误配准。所述摄影机和方法减小了图像强度差异，并且允许利用单一传感器带宽进行工作，而不是已知的摄影机中的两个传感器带宽。

在本说明书中所提到的所有专利申请都被全文合并到本说明书中以作参考，其程度等同于明确地并且单独地表明每一项单独的专利申请都被合并在此以作参考的情况。此外，在本申请中对于任何参考文献的引述或标识不应当被理解成承认这样的参考文献可以作为本公开内容的现有技术。

虽然通过某些实施例和总体上相关联的方法描述了本公开内容，但是本领域技术人员将认识到对于所述实施例和方法的改动和置换。应当理解的是，本公开内容不受这里所描述的具体实施例的限制，而仅由所附权利要求书的范围限制。