在多透镜相机中的成像器上移动图像的制作方法
【专利说明】
【背景技术】
[0001]在成像的领域内，许多方案牵涉以一组两个或更多个透镜为特征的相机，每个透镜被配置成将图像聚焦在成像器上，并且其中由成像器所捕获的图像被组合来形成合成图像。作为第一例子，从平行视角拍摄的多个图像可以被组合来形成具有比任何一个图像更多的视觉维度的全景图像。作为第二例子，在不同方向上从单个视角捕获的多个图像被组合来生成环境的球面图像。在这些方案中，鱼眼透镜可以提供宽视场，其减少完成所组合的球面全景图像所需的图像的数目。成像器可以包括捕获图像的相应部分的光敏元件的阵列，诸如捕获像素阵列的数码相机的电荷耦合器件(CCD)成像器。所捕获的图像的质量可以随着用来捕获图像的光敏元件的密度而成比例地变化；例如，与将图像聚焦在更低密度CCD上相比，聚焦在更高密度CCD上的同一图像可以带来更大量的像素的捕获。更大的像素的计数可以使得能实现更高分辨率的图像，其比更低分辨率的图像呈现更多的细节和/或准确度。
【发明内容】
[0002]本
【发明内容】
被提供来以简化的形式引入在下面的【具体实施方式】中被进一步描述的构思的选择。本
【发明内容】
不旨在标识所要求保护的主题的关键因素或必要特征，它也不旨在被用来限制所要求保护的主题的范围。
[0003]当使用透镜和成像器来捕获图像时，可以观察到，透镜典型地生成圆形图像，但是成像器提供光敏元件的矩形阵列。典型地，鱼眼透镜的聚焦被选择来产生以成像器为中心并且具有等于成像器的高度和/或宽度的直径的圆形图像，使得圆形图像被扩展以便在不扩展越过成像器的任何边缘的情况下与成像器的边缘会合，从而在不丢失圆形图像的任何部分的同时，使成像器的覆盖范围最大化并且实现高分辨率。然而，可以了解，成像器的数个部分在透镜(包括在矩形成像器的每个拐角中提供的光敏元件)的这个聚焦期间未利用。更高分辨率可能可通过进一步扩展聚焦在成像器上的图像实现，但是以图像的一些外围部分离开成像器的边缘为代价，从而带来裁切的图像。用于调整透镜以便将图像聚焦在成像器上的这些替代选项可以在使图像的所捕获的部分的分辨率最大化与使图像的外围裁切最小化之间提供权衡。
[0004]然而，可以了解，这个权衡可以在被配置成通过组合来自多个透镜的图像来产生合成图像的相机中被不同地评估。例如，在以被定向在相反方向上并且配置成捕获球面图像的两个鱼眼透镜为特征的相机中，可以了解，图像的一部分典型地是模糊的(例如，通过用户的手或安装装置)并且对于用户而言价值不大。虽然裁切图像的任何其他部分可能是不可接受的，但是裁掉图像的这个特定部分可能是可接受的，尤其作为对图像的剩余部分的增强分辨率的交换。因此，相应的透镜可以被配置成在成像器上扩展图像以便创建至少两个裁切部分，并且然后从成像器的中心移动图像以便扩展一个裁切部分，同时减小或者消除其他裁切部分。这些偏离中心的位移技术可以通过图像来使得能实现成像器的更大覆盖范围，从而提供更高的分辨率，同时创建图像的所裁切的部分，其呈现了用户在捕获方面不感兴趣的盲区。
[0005]为了实现前面的和相关目的，以下描述和附图阐述特定说明性方面和实施方案。这些指示可采用一个或多个方面的各种方式中的仅仅几个。本公开内容的其他方面、优点以及新颖特征当结合附图考虑时从以下【具体实施方式】将变得显而易见。
【附图说明】
[0006]图1是以根据由多个透镜捕获的图像而生成合成图像为特征的第一示范性方案的图示。
[0007]图2是以根据由两个透镜捕获并且投影到两个成像器上的一组图像而生成合成图像为特征的第二示范性方案的图示。
[0008]图3是以根据由两个透镜捕获并且投影到两个成像器上的一组图像而生成合成图像为特征的第三示范性方案的图示。
[0009]图4是依照本文中所呈现的技术，以根据由两个透镜捕获并且按位移投影到两个成像器上的一组图像来生成合成图像为特征的示范性方案的图示。
[0010]图5是根据本文中所呈现的技术采用一组透镜捕获图像的示范性方法的图示。
[0011]图6是以一组透镜的相对位移为特征的示范性方案的图示。
[0012]图7图示了其中可以实施本文中所阐述的规定中的一个或多个的示范性计算环境。
[0013]图8呈现了其中本文中所呈现的技术可以被实施的示范性计算环境的图示。
【具体实施方式】
[0014]现在参考附图描述所要求保护的主题，其中同样的附图标记被用来自始至终指代同样的元件。在以下描述中，出于解释的目的，许多特定细节被阐述以便提供对所要求保护的主题的透彻理解。然而，可能显然的是，所要求保护的主题可以在没有这些特定细节的情况下被实践。在其他实例中，结构和设备以框图形式加以示出，以便便于描述所要求保护的主题。
[0015]在成像的领域内，许多方案牵涉包括多个透镜并且配置成生成合成图像的相机，所述合成图像对由所述透镜提供的图像进行聚合。作为第一例子，相机可以包括全景相机，其同时捕获表示环境的数个角度的图像并且然后将图像聚合成全景。虽然某种图像操纵可能必须被执行来减少图像的球面像差，但是然而，相机可以产生比较平的全景图像。作为第二例子，相机可以被配置成生成球面图像，其包括由在相反方向上指向的两个或更多个透镜捕获并且聚合成表示环绕在图像被捕获时的视点周围的视图的图像的图像。
[0016]在这些和其他方案中，相机可以包括一个或多个成像器，其接收由至少一个透镜聚焦在成像器上的图像，经由光敏元件对(一个或多个)所聚焦的图像进行采样，并且生成可以被聚合成合成图像的一个或多个图像作为输出。例如，数码相机常常包括电荷耦合器件(CCD)，其中图像被聚焦在光敏元件的二维平面阵列上，所述光敏元件的二维平面阵列生成包括该图像的像素的二维阵列。由一个或多个CCD所捕获的图像可以被组合(例如，使用图像配准技术来对准图像)以便生成合成图像。
[0017]图1呈现了以由用户104操作来捕获场景102 (诸如在用户104周围的环境)的相机106为特征的示范性方案100的图示。在这个示范性方案100中，相机106包括两个透镜108，一个面朝前面而一个面朝后面，并且每个透镜被配置成捕获场景102的大约180度视图。例如，第一透镜108可以捕获表示在用户104前面的查看范围(viewing sphere)的第一图像110，并且第二透镜108可以捕获表示面朝用户104后面的查看范围的第二图像110。每个图像110可以通过透镜108被聚焦在包括光敏元件114的阵列的成像器112上，每个光敏元件114被配置成对图像110的一小部分进行采样并且输出作为像素的光读数。由成像器112所记录的采样然后可以被组合来产生以在用户104周围的查看范围(常常包括握住相机106的用户104)为特征的合成图像116。(虽然为了简单起见，合成图像116在本文中被图示为平整图像，但是可以了解，合成图像116还可以是圆柱形的和/或球面的，并且可以被呈现在使得用户能够在合成图像116内察看的用户界面中。)。
[0018]在这些和其他方案中，合成图像116的质量常常显著地与由成像器112所生成的采样的质量有关。特别地，成像器112的光敏元件的密度可能直接地影响聚焦在其上的图像110的采样；例如，特定大小的图像110可以通过具有较高密度的光敏元件114的成像器112在较高细节水平下被采样。较高密度可以提供增大的分辨率(例如，在合成图像116内越来越小的元件和细节的可见性)、颜色准确度(例如，生成合成图像116的相应像素作为数个样本的平均，而不是一个样本，从而减少采样误差并且提高颜色准确度)和/或灵敏度(例如，使得更多的光敏元件114能够在简短的时间段期间捕获更多的光量子使得能够在更低光环境中捕获更多的细节，和/或减小快速运动的对象的模糊的更快快门速度)。
[0019]至少由于这些原因，可能合期望的是，在捕获图像110的同时使图像112的使用最大化。第一种这样的技术牵涉按比例扩大成像器112的大小并且物理上延伸透镜108的焦距，使得图像110可以被投射在更大面积成像器112上并且因此提供更多的采样。然而，这个技术的适用性受到对以下的利害关系的限制，即:提供更小尺寸(阻碍焦距的物理延伸)和更低价格(阻碍制造更昂贵的更大CCD)的高质量相机。第二种这样的技术牵涉生成具有更高密度的光敏元件114的成像器112。虽然成像器112已经通过持续研究和开发而稳定地变得更密集，但是可能合期望的是，考虑到本领域技术的当前状态来使任何特定成像器112的利用最大化。
[0020]图2呈现了以利用第一组透镜108来将图像110聚焦在成像器112上的相机106为特征的示范性方案200的图示。在这个示范性方案200中，由鱼眼透镜108所产生的图像110是圆形的，并且成像器112是矩形的。透镜108因此被定向成采用被选择为使得图像110的直径等于矩形成像器112的较短侧(例如，成像器112的高)的焦距来将图像110聚焦在成像器112上。也就是说，图像110以成像器112为中心，并且被扩展(通过改变焦距)直到圆形图像110的边缘与成像器112的边缘会合为止。透镜108的这个定向因此采用成像器112的最大覆盖范围捕获图像110的全部，从而使得用来对图像110进行采样的光敏元件114的数目最大化。然而，可以了解，矩形成像器112的数个区域保持未用，其包括矩形成像器112的横向边缘以及成像器在圆弧与成像器112的边缘之间的对角拐角。