包括具有放大率梯度的透镜的相机系统的制作方法

所公开的实施例一般涉及相机，特别是但不排他地涉及包括具有放大率梯度的透镜的多相机系统。

背景技术：

在最新智能手机中发现的双相机系统类型具有朝向相同方向的一对数字相机。每个相机具有不同的透镜：一个相机的透镜具有短焦距，另一个相机的透镜具有长焦距。例如，在一些双相机配置中，短焦距透镜可以是普通或广角透镜，并且长焦距透镜可以是与广角透镜相比具有3X放大率的长焦透镜(即，如果我们将普通或广角透镜的放大率指定为1X，则长焦具有三倍的总体放大率，或3X)。

通过它们自身，这些双相机配置使得用户仅捕获广角(1X)图像或长焦(3X)图像，并且之间没有任何图像。但是如果用户想要以处于两个透镜放大率之间的中间放大率捕获图像——比如说在具有1X和3X透镜的系统中的2X图像呢？两个透镜的焦距是固定的且不能改变，所以不能实现真正的光学变焦来创建2X图像。尽管如此，为了模拟光学变焦，可以利用1X和3X透镜两者捕获图像，并且可以通过已知的软件方法来融合所捕获的数字图像，以创建如果事实上可以将透镜中的一个的放大率调节到2X实质上会产生的图像。

如果短焦距透镜和长焦距透镜之间的焦距差变得太大，则该模拟光学变焦将产生问题。在这些情况下，融合具有不同放大率的图像以形成具有期望的中间放大率的图像的算法创建中间放大率下的好的图像是困难的。

技术实现要素：

根据第一方面，其中提供了一种装置，包括：第一数字相机，包括光学地耦合到第一透镜的图像传感器，第一透镜具有第一放大率；第二数字相机，包括光学地耦合到第二透镜的图像传感器，其中第二透镜是具有其中放大率在第二透镜的中心处最高并且在第二透镜的边缘处最低的放大率梯度的非直线透镜(non-rectilinear lens)，并且其中第二透镜具有的放大率大于第一透镜的放大率。因此，可以提供改进的图像，特别是以中间(两个或更多个透镜之间)的放大率或焦距。

可选地，第二透镜的放大率梯度是线性的。

可选地，放大率从第二透镜的中心向其边缘单调地减小。

可选地，第二透镜的放大率梯度是非线性的。

可选地，放大率从第二透镜的中心向其边缘单调地减小。

可选地，第一透镜是直线透镜(rectilinear lens)。

可选地，第一透镜是非直线透镜。

可选地，第一透镜具有放大率梯度。

可选地，第二透镜的边缘处的放大率等于或小于第一透镜的边缘处的放大率。

根据第二方面，其中提供了一种过程，所述过程包括以下步骤：用包括光学地耦合到第一透镜的图像传感器的第一数字相机捕获第一数字图像，第一透镜具有第一放大率；用包括光学地耦合到第二透镜的图像传感器的第二数字相机捕获第二数字图像，第二透镜具有大于第一放大率的第二放大率，其中第二透镜是具有其中放大率在第二透镜的中心处最高、在第二透镜的边缘处最低的放大率梯度的非直线透镜；将第一数字图像与第二数字图像融合以创建具有第一放大率和第二放大率之间的放大率的第三数字图像。

可选地，第二透镜的放大率梯度是线性的。

可选地，放大率从第二透镜的中心向其边缘单调地减小。

可选地，第二透镜的放大率梯度是非线性的。

可选地，放大率从第二透镜的中心向其边缘单调地减小。

可选地，其中第一透镜是直线透镜。

可选地，第一透镜是非直线透镜。

可选地，第一透镜具有放大率梯度。

可选地，第二透镜边缘处的放大率等于或小于第一透镜边缘处的放大率。

可选地，该过程还可以包括在第二数字图像与第一数字图像融合以形成第三数字图像之前将失真补偿应用于第二数字图像。

根据进一步的方面，其中提供了一种进一步包括适于执行所描述的过程的步骤的设备的装置。

根据另一方面，其中提供了一种计算机程序，其包括使该装置执行该过程的步骤的指令。例如，该装置可以是移动设备(例如，智能手机)。

应当注意，上述任何特征可以与本发明的任何特定方面或实施例一起使用。

附图说明

参考以下附图描述本发明的非限制性和非穷尽性实施例，其中除非另有指定，否则相同的附图标记表示各个视图中的相同部件。

图1A是包括双相机系统的智能手机的实施例的背面的平面图。

图1B是可以与如图1A中所示的智能手机一起使用的双相机系统的实施例的框图。

图2A是双相机系统的实施例的顶视图，示出了透镜的视场及其对场景的捕获。

图2B-2C是在多相机系统中的两个透镜的放大率下的图像捕获的视图和在中间放大率下的图像。

图3A是示出其中两个透镜中的一个是直线的并且另一个透镜是非直线的双相机系统中的放大率分布的实施例的曲线图。

图3B是示出具有如图3A中所示的放大率分布的实施例的非直线透镜的放大率轮廓的图像的视图。

图3C-3D是示出其中两个透镜中的一个是直线的并且另一个透镜是非直线的双相机系统中的放大率分布的其他实施例的曲线图。

图4是示出两个透镜中的一个是直线的并且另一个透镜是非直线的双相机系统中的放大率分布的其他实施例的曲线图。

图5是示出其中两个透镜是非直线的双相机系统中的放大率分布的其他实施例的曲线图。

图6是用双相机系统产生在第一透镜的放大率与第二透镜的放大率之间的中间放大率下的融合图像的过程的实施例的流程图。

具体实施方式

描述了用于包括具有放大率梯度的透镜的多相机系统的装置、系统和方法的实施例。描述具体细节以提供对实施例的理解，但是相关领域的技术人员将认识到，在一些情况下，可以在没有一个或多个所描述的细节的情况下实践本发明，并且在其他情况下，本发明可以用其他方法、组件、材料等实践。在一些情况下，未示出或详细描述公知的结构、材料或操作，但是仍然在本发明的范围内。

贯穿本说明书对“一个实施例”或“实施例”的引用是指所描述的特征、结构或特性可以被包括在至少一个所描述的实施例中，使得“在一个实施例中”或“在实施例中”的出现不必都指代相同的实施例。此外，特定的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。

图1A示出了智能电话100中的多相机系统的实施例。智能手机100包括面向相同方向的两个数字相机，使得它们两者可以同时捕获相同场景的图像。所示实施例包括两个相机——第一相机A和第二相机B——但是其他实施例也可以包括多于两个的相机。相机A和B在智能手机100中并排定位，但在其他实施例中可以不同地定位。此外，在另外的其他实施例中，多个相机可以被包括在不是智能手机的设备中，例如专用数字相机，并且可以包括多于两个的相机。

图1B以框图的形式示出在诸如智能手机100的多相机系统中可使用的双相机系统150的实施例。相机A包括第一透镜152和第一图像传感器156，而相机B包括第二透镜154和第二图像传感器158。在下面透镜152有时也被称为透镜A，因为它对应于相机A，并且类似地透镜154有时也被称为透镜B，因为它对应于相机B。透镜152和154具有不同的焦距，这意味着它们具有不同的放大率，因为对于单个透镜，放大率与焦距如下相关：

其中，M是放大率，f是焦距，并且do是物距。在一个实施例中，透镜152可以是普通或广角透镜，并且透镜154可以是长焦透镜(telephoto lens)。通常，第一透镜152的放大率小于第二透镜154的放大率，或者换句话说，透镜152的焦距短于第二透镜154的焦距。例如，在一个特定实施例中，透镜152可以是1X透镜并且透镜154可以是3X透镜。但是在其他实施例中，透镜152可以具有在1X和5X之间的放大率，并且透镜154可以具有在2X和10X之间的放大率或更大的放大率。

双相机系统150还包括处理器160和存储器162。在所示实施例中，相机A和B共享单个处理器和存储器。在其他实施例中，相机A和B可以具有共享存储器的单独处理器或具有单独存储器的单独处理器，但是在这样的实施例中，处理器、存储器或这两者可以彼此通信地链接以允许一个或两个处理器用已知的图像融合方法(例如，高通滤波技术；基于IHS变换的图像融合；基于PCA的图像融合；小波变换图像融合；以及成对空间频率匹配)融合由相机捕获的图像。

图2A示出了使用第一相机A和第二相机B来捕获场景190的图像。其透镜具有较低的放大率并因此具有较宽的视场(在一个实施例中为大约90°)的相机A捕获场景190的全部。其透镜154具有较高的放大率并因此具有较窄的视场(对于3X的实施例，大约为30°；对于10X的实施例，大约为9°，以此类推)的相机B仅捕获场景190的一部分，但是以比相机A更高的放大率进行捕获。通过图像尺寸和像素计数来测量，由两个相机产生的数字图像实质上相同，但是由于相机B捕获场景的较小部分，因此其将具有更大的空间分辨率。

图2B-2C示出了由相机150捕获的图像。更具体地，它们示出了相机A和B的场景覆盖区域。图2B示出了利用针对相机A和B的一组放大率的场景覆盖——例如，1X用于相机A并且3X用于相机B。第一相机A以1X的放大率捕获整个场景，但是由于第二相机B具有较高的放大率，所以它捕获场景的较小部分。

图2C示出了与图2B相比在增加了透镜B的放大率的相机A和B的情况下的场景覆盖。如果图2B示出了具有3X透镜的相机B，则图2C可以示出具有5X或10X透镜的相机B。最终的结果是相机B的场景覆盖实质上更小。场景覆盖的这种差距或变化量，以及引申开来的图像分辨率，使得创建具有中间放大率C的图像变得更加困难，并且场景覆盖中的变化量越大则越困难。在图2B和2C两者中，可以用已知技术融合数字图像A和B以创建在A和B之间的中间放大率C下看见的数字图像。但是，如果透镜A和B之间的放大率之差增大，则两个图像的空间分辨率之差相应地增大。结果，变得更难以融合这两个图像以在中间放大率下形成图像C。相机A和B之间的ΔM越高，在中间放大率C下图像将越不令人满意。

图3A示出了在多相机系统的实施例中放大率的分布。曲线图相对于沿水平轴的归一化半径(r/R)绘制了沿垂直轴的放大率M。在所示实施例中，相机A具有直线透镜(rectilinear lens)，而相机B具有非直线透镜。直线透镜是在透镜的整个区域上放大相同量的透镜，因此不产生径向失真。在所示实施例中，透镜A是直线的，因此其放大率相对于半径是不变的。但是透镜B是非直线的，这意味着它的放大率随着半径而变化，或者换句话说，透镜B在其中心和其边缘之间具有放大率梯度。因为透镜B的放大率梯度将创建光学失真，所以描述这种放大率的另一种方式是说透镜B具有预失真。

在所示实施例中，透镜B在其中心具有其峰值放大率，并且放大率从透镜的中心到边缘非线性并单调地减小，但是在其他实施例中，放大率梯度不必是非线性或单调的。为了比较，曲线图还示出了具有等于非直线版本的峰值放大率的放大率的透镜B的直线版本的放大率。通常，透镜A的放大率小于透镜B的平均放大率，或者换句话说，透镜A的焦距比透镜B的平均焦距长。从曲线图中可以看出，如果透镜B具有放大率梯度，则即使在中心处具有高峰值放大率，透镜A和B之间的平均ΔM也低于在两个透镜是直线的并且透镜B处于峰值的情况下的ΔM。在透镜边缘以及因此所得图像的边缘处的ΔM也实质上较低。这两个特征使得使用已知的图像融合技术更容易实现在中间放大率下令人满意的图像。透镜B的精确放大率分布可以实验或数值地确定，并且可以被选择以优化已知图像融合方法的性能。

图3B示出了透镜B的图像捕获区域上的放大率轮廓的实施例。在所示实施例中，图像捕获区域的放大率轮廓可与图3A中所示的放大率分布对应。放大率梯度将会导致一些图像失真，因为透镜是非直线的，但是使用软件技术可以从所得到的图像中去除失真。

图3C-3D示出了放大率分布的其他可能组合。如图3A中所示，两个曲线图都相对于沿水平轴的归一化半径(r/R)绘制了沿垂直轴的放大率M，并且同样如图3A，透镜A是直线的并且透镜B是非直线的。图3C-3D和图3A之间的主要区别在于透镜B的放大率分布向下移动以与透镜A的放大率在边缘处或边缘附近相匹配或重叠。图3C示出了在边缘处的放大率匹配的情况，即，其中在透镜边缘处的ΔM＝0。图3D示出了在边缘处的放大率重叠的情况，即，其中在透镜边缘处的ΔM<0。

图4示出了透镜B的放大率分布的其他实施例。放大率分布B1包括围绕透镜中央(即，以透镜的光轴为中心)的区域的恒定放大率的中间部分，及在透镜的恒定放大率的中间部分和边缘之间的放大率线性和单调下降。放大率分布B2在透镜的中心处具有最大放大率；然后放大率向透镜的边缘线性地并且单调地下降。

图5示出了双相机系统中的放大率分布的又另一个实施例。在先前讨论过的双相机系统中，一个透镜是直线的，而另一个透镜不是——即一个具有恒定的放大率，而另一个具有放大率梯度。但这不一定是每一个实施例中的配置。例如，图5示出了其中两个透镜都是非直线的双相机系统中的透镜的放大率分布。在所示实施例中，透镜A和B都具有类似形状的放大率分布，但是不一定在每个实施例中都是这种情况。在另一个实施例中，例如，透镜B可以具有所示的放大率分布，而透镜A可以具有诸如图4所示的分布B1或B2的线性放大率分布。可以选择它们各自的放大率梯度以允许图像成功融合以模拟中间放大率。

图6示出了用于捕获和融合由包括相机A和相机B的双相机系统捕获的一对图像的过程的实施例，所述相机A具有直线透镜A，所述相机B包括具有在其中心与边缘之间具有放大率梯度的非直线透镜。

该过程在框602处开始。在框604处，输入期望的放大率。例如，如果双相机系统中的透镜中的一个是1X透镜，另一个是10X透镜，但用户需要或期望5X图像，则在框604处由用户指定5X。在框606处，由相机A捕获图像A，并且在框608处，由相机B捕获图像B。

在如由其虚线轮廓所示可选的框610处，可以发生对图像B的一些失真补偿，以解决由放大率梯度产生的图像失真。在框612处，使用已知的图像融合方法，在期望的输入放大率下，如果在框610处应用则具有失真补偿、如果未在框610处应用则不具有失真补偿的图像B与图像A融合。在框614处，输出融合图像，并且在框616处该过程停止。

实施例的上述描述，包括摘要中所描述的内容，并不旨在是穷尽性的或将本发明限制于所描述的形式。为了说明的目的，在本文中描述了本发明的具体实施例和示例，但是将由相关领域的技术人员认识到的是，鉴于上述详细描述，在本发明的范围内可以进行各种等同的修改。

在所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的具体实施例和权利要求。相反，本发明的范围将完全由所附权利要求确定，这些权利要求将使用已建立的权利要求解释理论进行解释。