r>[0029]Z=A X B
[0030]上采样54和下采样56的量表示组合图像的锐度质量和尺寸之间的不同折中(tradeoff)。上采样因子通常通过由用户选择的“数字变焦”设置控制；然而，可能选择与“数字变焦”设置不匹配的值A，以便限制组合图像中的像素数量。在已经上采样宽FOV图像50之后，宽FOV图像50可以可选地经过另外的锐化58。然后宽FOV图像50具有施加于其的屏蔽60，屏蔽60用作遮挡图像50的中心部分62，同时允许图像50的外围部分64用于形成组合图像66。在已经下采样窄FOV图像52之后，其具有施加于其的屏蔽68，屏蔽68用作遮挡图像52的外围部分70，同时允许图像52的中心部分72用于形成组合图像66。如在组合图像66中的边界74所区分的，组合图像66的中心部分76取自窄FOV图像52，而组合图像66的外围部分78取自宽FOV图像50。
[0031]图3示出了组合图像66的外围区域的数字裁剪，使得作为结果的图像具有与用户指定的“数字变焦”设置对应的较小的FOV 80。这可以被称为组合图像66的“数字变焦”。在该图中，通过边界74(尽管在操作中边界74实际上对于用户将不可见)，将组合图像66的中心部分76与外围部分78区分开。在一个变焦的图像82中，已经将照相机10变焦到其中仅仅使用组合图像66的中心部分76(其是窄FOV图像52)的位置。在光谱(spectrum)的另一端，可以创建其中使用组合图像66的另一变焦图像83。在光谱的中间位置，可以创建不同的变焦图像84。对于该图像，扩展组合图像66的中心部分76，并且仅仅使用组合图像66的外围部分78的一小部分。
[0032]可替换地，照相机模块22可以包括位于其上的一个或多个ISP。它们可以与传感器分离或者集成到传感器中。此外，尽管在此描述的透镜12和16是固定焦距，但它们中的任一或者二者可以是可变的焦距(变焦)透镜。
[0033]应理解，利用上述的照相机20，组合图像将具有相似等级的亮度、背景噪声、运动伪像和景深。这将有助于更令人愉悦和可接受的组合图像。如果不利用m)0F技术，则将不可能实现这一点。这是因为利用传统光学，不可能从两个不同焦距的透镜得到递送到图像平面的相同照度，而同时匹配景深。例如，通过每个具有f/2.8的f数的透镜，可以选取以具有相同的图像照度。但是，在这样的情况下，景深对于较短焦距的透镜将要大很多。可替换地，例如，利用以上连同图1描述的示例中使用的两个透镜的焦距，可以选取以具有相同的景深，较长焦距透镜将需要具有接近f/ΙΙ的f数，以便具有与较短焦距透镜相同的景深。但是在这样的情况下，由较长焦距透镜(在f/ΙΙ)递送的光功率(optical power)，将是较短焦距递送的光功率的1/16。上述的照相机10考虑光功率和景深对于每个透镜/传感器组合相同。当然，如果利用不同的放大量或者利用不同的曝光时间操作两个不同的图像传感器，还将可能利用不同焦距透镜来获得相同光功率和景深。不幸的是，这将在两个图像之间分别改变背景噪声等级或者运动伪像等级。
[0034]以上公开的一个变型是在上采样操作之前，可能存在某一类型或者预裁剪的宽FOV图像的外围和中心区域(以降低在上采样操作中涉及的图像处理的处理和存储器需求)。
[0035]在此讨论的所有技术的任何其它组合也是可能的。已经呈现的上述描述用于说明和描述的目的。此外，本描述不旨在将本发明限制于在此公开的形式。虽然以上已经讨论了许多示例性方面以及实施例，但本领域技术人员将认识到其某些变型、修改、置换、添加和子组合。因此其旨在将权利要求和其后引入的权利要求解释为包括所有这样的变型、修改、置换、添加和子组合，如同在它们的真实精神和范围内。
【主权项】
1.一种照相机，包括: 第一传感器，捕捉第一图像； 第一透镜，将光引导到第一传感器，所述第一透镜具有第一焦距； 第二传感器，捕捉第二图像；以及 第二透镜，将光引导到第二传感器，所述第二透镜具有比第一焦距长的第二焦距，并具其中 第一传感器和第一透镜的组合基本上与第二传感器和第二透镜的组合对齐，以允许每一个指向相同被摄体； 将第一和第二图像组合在一起以形成单个组合图像，所述第二图像形成所述单个组合图像的中心部分，且所述第一图像的外围部分形成所述单个组合图像的外围部分； 第一和第二图像的组合包括上采样第一图像和下采样第二图像中的至少一个；以及 当上采样第一图像时，在上采样之后锐化第一图像。2.如权利要求1所述的照相机，其中利用缩放因子A来执行上采样，并且利用缩放因子B来执行下采样。3.如权利要求2所述的照相机，其中: Z是第一传感器的视场FOV与第二传感器的FOV的比率；以及 Z=AXB04.如权利要求3所述的照相机，其中A是在I和Z之间并且包括I和Z的范围中的值。5.如权利要求2所述的照相机，其中: A是在I和Z之间并且包括I和Z的范围中的值；以及 Z是第一传感器的视场(FOV)对第二传感器的FOV的比率。6.如权利要求1所述的照相机，其中在第一图像与第二图像组合在一起之前，第一图像和第二图像中的至少一个具有施加于其的屏蔽，所述屏蔽遮挡所述屏蔽施加于的图像的一部分。7.如权利要求1所述的照相机，其中第一透镜和第二透镜具有基本上相等的f数。8.如权利要求1所述的照相机，其中: 第二透镜已经设计为通过将指定的像差引入到第二传感器上形成的第二图像中，来与扩展景深H)oF处理一起工作；以及 第二图像经历H)0F处理以聚焦第二图像。9.如权利要求8所述的照相机，其中: 第一图像具有由第一传感器和第一透镜的组合确定的第一景深；以及 第二图像的m)0F处理导致具有与第一景深基本上相等的第二景深的第二图像。10.—种利用照相机生成组合图像的方法，所述方法包括: 利用第一传感器从具有第一焦距的第一透镜接收光； 利用第一传感器捕捉在第一传感器上形成的第一图像； 利用第二传感器从具有第二焦距的第二透镜接收光，所述第二焦距比所述第一焦距长； 利用第二传感器捕捉在第二传感器上形成的第二图像，第一传感器和第一透镜的组合与第二传感器和第二透镜的组合指向相同被摄体；以及 将第一图像和第二图像组合在一起以形成单个组合图像，所述第二图像形成所述单个组合图像的中心部分，且所述第一图像的外围部分形成所述单个组合图像的外围部分;并且其中 组合第一和第二图像的步骤包括上采样第一图像和下采样第二图像中的至少一个；以及 当上采样第一图像时，在上采样之后锐化第一图像。
【专利摘要】本发明提供一种双传感器照相机及其方法，该照相机包括：第一传感器，捕捉第一图像；第一透镜，将光引导到第一传感器，所述第一透镜具有第一焦距；第二传感器，捕捉第二图像；以及第二透镜，将光引导到第二传感器，所述第二透镜具有比第一焦距长的第二焦距，并具其中第一传感器和第一透镜的组合基本上与第二传感器和第二透镜的组合对齐，以允许每一个指向相同被摄体；将第一和第二图像组合在一起以形成单个组合图像，所述第二图像形成所述单个组合图像的中心部分，且所述第一图像的外围部分形成所述单个组合图像的外围部分；第一和第二图像的组合包括上采样第一图像和下采样第二图像中的至少一个；以及当上采样第一图像时，在上采样之后锐化第一图像。
【IPC分类】H04N5/225, G06T5/50, H04N5/272
【公开号】CN105681633
【申请号】CN201610004157
【发明人】J.D.格里菲思, J.李
【申请人】数字光学公司
【公开日】2016年6月15日
【申请日】2010年3月19日
【公告号】CN102356630A, CN102356630B, US8542287, US8913145, US9118826, US20100238327, US20140118569, US20150097981, US20150365604, US20150365605, WO2010108119A2, WO2010108119A3