立体成像的制作方法

本发明的示例和非限制性实施例涉及用于立体图像的数字图像数据的捕获。

背景技术：

使用立体照相机的数字成像使得能够部分地基于能够在描绘相同场景的两个或更多个图像基础上得到的深度信息来捕获和/或创建三维(3d)图像。在现实数字照相机中，被布置为对人类视觉进行建模的两个或更多个图像传感器被用于捕获场景的相应的数字图像。然而，由于实际的约束，由立体照相机的两个图像传感器所捕获的视场(fov)并不是完全相同的。因此，使用第一图像传感器捕获的第一图像的图像内容中的一些图像内容未被包括在使用第二图像传感器捕获的第二图像的图像内容中。在该方面在典型的示例中，第一图像传感器和第二图像传感器(具有相应的透镜组件)被布置成彼此邻近，其以与人的眼睛之间的距离相对应的距离而分离。由于两个图像传感器相对于待成像的场景的不同的位置，因而第一图像的最左边部分中的图像内容中的一些图像内容未被包括在第二图像中，而另一方面，第二图像的最右边部分中的图像内容中的一些图像内容未被包括在第一图像中。

在可以在描绘场景的两个或更多个图像基础上提取的差异(disparity)信息的基础上，可以得到创建表示场景的数字3d图像通常所要求的深度信息。然而，在上文所描绘的第一图像传感器和第二图像传感器的示例中，不存在得到仅在第一图像和第二图像之一中描绘的场景的那部分的差异信息的可能性，针对这些图像部分的得到的深度信息要么是不准确的或者是完全缺失的，从而可能导致折中质量的3d图像。

技术实现要素：

根据示例实施例，提供了一种装置，装置包括：立体图像捕获部件，其用于捕获图像数据，该立体图像捕获部件包括第一成像子系统和第二成像子系统，第一成像子系统包括被布置为经由第一透镜接收光的第一图像传感器，并且第二成像子系统包括被布置为经由第二透镜接收光的第二图像传感器，其中第一成像子系统和第二成像子系统被布置以使得第一透镜和第二透镜的光轴彼此平行；图像采集部件，其用于从第一图像传感器和第二图像传感器的相应的光敏区域读取像素值，图像采集部件被配置为从第一图像传感器上的第一读出区域针对第一图像读取像素值，从第二图像传感器上的第二读出区域针对第二图像读取像素值，并且从与第一图像传感器和第二图像传感器中的至少一个图像传感器上的相应的读出区域邻近的光敏区域的至少一部分针对支持数据读取像素值；以及图像处理部件，其用于基于针对第一图像、针对第二图像和针对支持数据读取的像素值，得到关于第一图像和第二图像的差异信息。

根据另一示例实施例，提供了一种方法，方法包括：促进立体图像捕获部件以用于捕获图像数据，立体图像捕获部件包括第一成像子系统和第二成像子系统，第一成像子系统包括被布置为经由第一透镜接收光的第一图像传感器，并且第二成像子系统包括被布置为经由第二透镜接收光的第二图像传感器，其中第一成像子系统和第二成像子系统被布置以使得第一透镜和第二透镜的光轴彼此平行；从第一图像传感器和第二图像传感器的相应的光敏区域读取像素值，包括从第一图像传感器上的第一读出区域针对第一图像读取像素值，从第二图像传感器上的第二读出区域针对第二图像读取像素值，并且从与第一图像传感器和第二图像传感器中的至少一个图像传感器上的相应的读出区域邻近的光敏区域的至少一部分针对支持数据读取像素值；以及基于针对第一图像、针对第二图像和针对支持数据读取的像素值，得到关于第一图像和第二图像的差异信息。

根据另一示例实施例，提供了一种装置，装置包括用于捕获图像数据的数字成像系统，数字成像系统包括第一成像子系统和第二成像子系统，第一成像子系统包括被布置为经由第一透镜接收光的第一图像传感器，并且第二成像子系统包括被布置为经由第二透镜接收光的第二图像传感器，其中第一成像子系统和第二成像子系统被布置以使得第一透镜和第二透镜的光轴彼此平行；以及用于控制数字成像系统的操作的控制器。控制器被配置为从第一图像传感器和第二图像传感器的相应的光敏区域读取像素值，包括从第一图像传感器上的第一读出区域针对第一图像读取像素值，从第二图像传感器上的第二读出区域针对第二图像读取像素值，以及从与第一图像传感器和第二图像传感器中的至少一个图像传感器上的相应的读出区域邻近的光敏区域的至少一部分针对支持数据读取像素值；以及基于针对第一图像、针对第二图像和针对支持数据读取的像素值，得到关于第一图像和第二图像的差异信息。

根据另一示例实施例，提供了一种装置，装置包括至少一个处理器、存储指令的程序的存储器，存储指令的程序的存储器被配置为与至少一个处理器一起将装置配置为至少：促进立体图像捕获部件以用于捕获图像数据，立体图像捕获部件包括第一成像子系统和第二成像子系统，第一成像子系统包括被布置为经由第一透镜接收光的第一图像传感器，并且第二成像子系统包括被布置为经由第二透镜接收光的第二图像传感器，其中第一成像子系统和第二成像子系统被布置以使得第一透镜和第二透镜的光轴彼此平行；从第一图像传感器和第二图像传感器的相应的光敏区域读取像素值，包括从第一图像传感器上的第一读出区域针对第一图像读取像素值，从第二图像传感器上的第二读出区域针对第二图像读取像素值，并且从与第一图像传感器和第二图像传感器中的至少一个图像传感器上的相应的读出区域邻近的光敏区域的至少一部分针对支持数据读取像素值；以及基于针对第一图像、针对第二图像和针对支持数据读取的像素值，得到关于第一图像和第二图像的差异信息。

根据另一示例实施例，提供了一种计算机程序，计算机程序包括计算机可读程序代码，其被配置为当程序代码在计算装置上被运行时使得执行以下项：促进立体图像捕获部件以用于捕获图像数据，立体图像捕获部件包括第一成像子系统和第二成像子系统，第一成像子系统包括被布置为经由第一透镜接收光的第一图像传感器，并且第二成像子系统包括被布置为经由第二透镜接收光的第二图像传感器，其中第一成像子系统和第二成像子系统被布置以使得第一透镜和第二透镜的光轴彼此平行；从第一图像传感器和第二图像传感器的相应的光敏区域读取像素值，包括从第一图像传感器上的第一读出区域针对第一图像读取像素值，从第二图像传感器上的第二读出区域针对第二图像读取像素值，并且从与第一图像传感器和第二图像传感器中的至少一个图像传感器上的相应的读出区域邻近的光敏区域的至少一部分针对支持数据读取像素值；以及基于针对第一图像、针对第二图像和针对支持数据读取的像素值，得到关于第一图像和第二图像的差异信息。

上文所提到的计算机程序可以在易失性或非易失性计算机可读记录介质上被实现为例如计算机程序产品，其包括具有被存储在其上的程序代码的至少一个计算机可读非暂态介质，程序当由装置执行时使得装置至少执行根据本发明的示例实施例的计算机程序的上文所描述的操作。

本专利申请中呈现的本发明的实施例不应被解译为提出对随附的权利要求的适用性的限制。动词“包括(tocomprise)”及其衍生在本专利申请中被用作开放式限制，其不排除还未记载的特征的存在。除非另外明确说明，否则在下文中所描述的特征是可相互自由组合的。

在随附的权利要求中阐述本发明的一些特征。然而，关于其构造和其操作方法二者的本发明的实施例连同附加对象和其优点将从结合附图阅读时的一些示例实施例的以下描述得到更佳理解。

附图说明

在附图中以示例的方式而非以限制的方式图示本发明的实施例，其中

图1示意性地图示了根据示例实施例的成像系统的一些部件；

图2示意性地图示了根据示例实施例的图像传感器的曝光区域的使用；

图3示意性地图示了根据示例实施例的图像传感器的曝光区域的使用；

图4示意性地图示了根据示例实施例的电子设备；

图5示意性地图示了根据示例实施例的图像传感器的曝光区域的使用；

图6示意性地图示了根据示例实施例的成像系统的一些部件；以及

图7图示了根据示例实施例的方法。

具体实施方式

图1示意性地图示了例示用于捕获用于数字立体成像的图像数据的数字成像系统100的一些组件。成像系统100还可以被称为立体成像部件或立体图像捕获部件。图1示出了具有第一透镜101、第二透镜102、第一图像传感器103和第二图像传感器104的成像系统100。第一透镜101和第二透镜103关于彼此而布置，使得其光轴在距彼此距离b处平行。可以选择距离b使得其接近人的眼睛之间的距离(被称为眼内距离)，或者可以基于立体系统的深度分辨率要求选择来选择距离b。成像系统100可以应用具有设定到固定值的距离b的固定结构(例如，与平均眼内距离或所要求的深度分辨率相对应)，或者成像系统100可以采用其中距离b可调节以匹配期望的眼内距离或提供所要求的深度分辨率的结构。

在一些示例实施例中，图像捕获部件的示例可以包括具有被定位在彼此旁边的两个摄像头用于也捕获图像/场景以得到图像/场景的深度信息的设备。例如，双摄像头、阵列相机等。

第一图像传感器103被布置在距第一透镜101距离u1处，使得提供有用于捕获图像数据的光敏区域的第一图像传感器103的表面垂直于第一透镜101的光轴，使得当用于控制第一图像传感器103的曝光的快门打开时光能够落在光敏区域上。类似地，第二图像传感器104被布置在距第一透镜102距离u2处，使得提供有光敏区域的第二图像传感器104的表面垂直于第二透镜102的光轴，使得当用于控制第二图像传感器104的曝光的快门打开时光能够落在光敏区域上。距离u2通常与距离u1相同或基本上相同，尽管并不是必定如此。

图1的图示可以被认为是表示第一透镜101和第二透镜102的光轴的平面。虽然以单数形式提到第一透镜101和第二透镜102中的每一个(为了简洁以及为了描述的编辑清晰)，第一透镜101和第二透镜102中的每一个可以包括相应的透镜组件，其包括被布置使得其光轴在空间上重合的一个或多个透镜。

第一透镜102和第一图像传感器103的布置可以被认为是构成第一成像子系统的一部分，然而第二透镜102和第二图像传感器104的布置可以被认为是构成第二成像子系统的一部分。换句话说，第一成像子系统包括第一透镜101和第一图像传感器103，并且第二成像子系统包括第二透镜102和第二图像传感器104。第一成像子系统和第二成像子系统中的每一个可以包括在图1的示意图中未描绘的部件的附加部分。

作为示例，第一成像子系统和第二成像子系统中的每一个可以被提供为相应的专用数字成像模块(照相机模块)。作为另一示例，第一成像子系统和第二成像子系统可以联合地被提供在单个数字立体成像模块(照相机模块)中。数字成像模块或单个数字立体成像模块中的每一个在控制器(例如，微处理器、微控制器等)的控制下操作。

第一成像子系统和第二成像子系统可以被提供为相同的成像子系统，例如使得两个成像系统的透镜、图像传感器和其他部件具有相同或基本上相同的特点并且其以相同或基本上相同的方式(在空间上)被布置在相应的成像子系统内。在该方面中作为示例，图1的示例描绘了相同的第一成像子系统和第二成像子系统，其中第一透镜101与第二透镜102相同或基本上相同，第一图像传感器103与第二图像传感器104相同或基本上相同，并且距离u1与距离u2相同或基本上相同。

备选地，不同的成像子系统可以应用到成像系统100。在这样的场景中，成像子系统可以展示不同的特点，例如，关于透镜101、102的光学特点、关于图像传感器103、104的尺寸和/或关于距离u1和u2(和/或关于其他方面，透镜101、102和相应的图像传感器103、104相对(空间)布置)。在该文本中稍后将描述包含采用不同的第一成像子系统和第二成像子系统的示例实施例。

图像传感器103、104的透镜面对的表面上的光敏区域可以被提供为光敏元件阵列。可以使用本领域已知的任何适合的技术提供光敏元件阵列。在该方面中作为示例，可以应用电荷耦合器件(ccd)或有源像素传感器(aps)。光敏元件阵列被布置为输出信号，该信号指示表示经由相应的透镜101、102被投影在图像传感器103、104的光敏区域上的图像的像素阵列。光敏元件阵列在下文被称为曝光区域。图像传感器103、104的曝光区域的中心点使其中心在其中透镜101、102的光轴和相应的图像传感器103、104相交的点处。曝光区域通常(但并不是必须地)是矩形区域。第一图像传感器103上的曝光区域可以被认为是具有宽度2*w1和高度2*h1，并且第二图像传感器104上的曝光区域可以被认为是具有宽度2*w2和高度2*h2。曝光区域内的光敏元件阵列通常(但并不是必须地)以光敏元件的行和列被布置。图像传感器103、104电气耦合到处理元件，处理元件能够读取表示被投影在图像传感器103、104上的图像的信号。从图像传感器103、104读取的信号可以为相应的图像传感器103、104的曝光区域的光敏元件中的每一个提供相应的像素值，并且从曝光区域获得(例如，读取)的像素值阵列构成输出图像。

图2示意性地图示了像圈与曝光区域之间的关系的示例。像圈表示如被投影在相应的图像传感器103、104的透镜面对的表面上的由透镜101、102发射的光锥的剖面。图2的图示(a)描绘由像圈111包含的曝光区域112。与像圈111同心的曝光区域112具有高度2*wi和高度2*hi，其在该示例中表示4：3的纵横比。图2的图示(b)描绘由像圈111包含并且与像圈111同心的曝光区域113。矩形曝光区域113具有宽度2*wj和高度2*hj，其表示16：9的纵横比。曝光区域112和曝光区域113的尺寸和/或纵横比用作可以被用于第一图像传感器103和/或第二图像传感器104的曝光区域的示例。在图2的示例中，曝光区域112、113中的每一个以其整体可以被用作相应的读出区域，即，从其读取用于相应的输出图像的像素值的曝光区域的一部分。读出区域还可以被称为裁剪区域或裁剪的区域。

图3示意性地图示了其中曝光区域114未完全由像圈111包含的方法的示例。在该方法中，多个预定义读出区域中的所选择的一个(其中的每一个完全由像圈111包含并且与像圈111同心)可以被用于针对输出图像的像素值的采集。在图3的示例中，在像圈111内描绘读出区域的两个示例：第一读出区域122，其可以被用于读取具有4：3的纵横比的输出图像的像素值；以及第二读出区域123，其可以被用于读取具有16：9的纵横比的输出图像的像素值。取代使用所描绘的示例的读出区域122和读出区域123，可以应用像圈111内的附加和/或不同的读出区域。

如在图3中可以看到，针对读出区域的所描绘的选择中的每一个留下未使用的曝光区域114的部分：如果使用读出区域122，则在读出区域122的左侧和右侧的、曝光区域114的相应部分未被用于读取用于输出图像的像素值，然而如果使用读取区域123，则在读出区域123上面和下面的、曝光区域114的相应部分未被用于读取用于输出图像的像素值。然而，曝光区域的这些未使用的部分在像圈111内并且因此当相应的快门打开时经由相应的透镜101、102接收光。在一些示例实施例中，曝光区域的一个或多个未使用部分中的像素值可以被用作用于(一个或多个)输出图像的后续处理的支持数据，如在该文本中稍后将更详细描述的。

第一透镜101和第二透镜102优选地包括相应的直线透镜，其使得空间上不失真的图像能够被投影在第一图像传感器103和第二图像传感器104中的相应一个的曝光区域上。可以使用下式计算跨越感兴趣尺寸的成像子系统的aov(还被称为视场(fov))。

其中在式(1a)中，∝1表示用于第一成像子系统的aov，并且d1表示在感兴趣方向上第一透镜101的中心线与第一图像传感器103的曝光区域的外边缘之间的距离(例如，曝光区域的半宽度w1或半高度h1之一)，而在式(1b)中，∝2表示用于第二成像子系统的aov，并且d2表示在感兴趣方向上第二透镜102的中心线与第二图像传感器104的曝光区域的外边缘之间的距离(例如，曝光区域的半宽度w2或半高度h2之一)。因此，第一图像传感器的曝光区域的总体尺寸是2*d1(例如，宽度2*w1或高度2*h1)，而第二图像传感器104的曝光区域的总体尺寸是2*d2(例如，宽度2*w2或高度2*h2)。

我们还可以通过f1表示第一透镜101的焦距并且通过f2表示第二透镜102的焦距。为了确保使用第一成像布置采集远处物体的清晰图像，第一透镜101与第一图像传感器103的表面之间的距离u1需要针对无限处的物体等于第一透镜101的焦距f1、否则由透镜式1/f1＝1/u1+1/v1约束，其中v1是透镜与物体之间的距离。类似地，为了使用第二成像布置采集远处物体的清晰图像，第二透镜102与第二图像传感器104的表面之间的距离u2需要针对无限处的物体等于第二透镜102的焦距f2、否则由透镜式支配的的。为了使能可以位于距透镜101、102各种各样的距离的物体的清晰图像的捕获，距离u1和距离u2可以可调节例如以使能图像清晰的微调。通常地，在这样的布置中，距离u1和距离u2是联合地可调节的，使得调节操作引起距离u1和距离u2二者在相应的透镜101、102的光轴的方向上以相等或基本上相等的量被调节。

返回参考图1中所图示的示例，符号e1表示从沿着图1中所描绘的平面的第一透镜101的光轴到点105的距离。该距离定义针对在第一透镜101的光轴的方向上距第一透镜101距离v处的物体的第一成像子系统的aov的外部界限。换句话说，如果沿着图1中所描绘的平面对象距第一透镜101的光轴不比e1更远，则在第一透镜101的光轴的方向上距透镜101距离v处，对象在aov内并且因此被投影在第一图像传感器103的曝光区域内。然而，点105处的物体未被投影在第二图像传感器104的曝光区域内并且其因此在第二成像子系统的aov外部。

在不失一般性的情况下，如果假定对于成像系统100的水平基线(即，对于其中在成像系统100的默认使用定向上第一成像子系统和第二成像子系统并排布置的布置)，我们可以认为e1与距第一透镜101距离v处的aov的半宽度(例如，水平aov的一半)相对应，并且水平aov可以被计算为

类似地，对于垂直基线而言(即，对于其中在成像系统100的默认使用定向上第一成像子系统和第二成像子系统被布置在彼此上的布置而言)，我们可以假定e1与距第一透镜101距离v处的aov(例如，垂直aov的一半)的半高度相对应，并且可以使用式(2)计算垂直aov。

成像系统100可以被用作诸如数字照相机、摄像机、移动电话、媒体播放器设备、平板计算机、膝上型计算机、个人数字助理(pda)、便携式导航设备、游戏设备等电子设备的一部分。图4示意性地图示了例示可以被用于托管成像系统100的电子设备200的一些部件。除成像系统100之外，设备200还包括处理器216和用于存储数据和计算机程序代码的存储器215。设备200还包括用户i/o(输入/输出)部件218，其可以可能地连同处理器216和计算机程序代码的一部分一起被布置为提供用于从用户接收输入和/或向用户提供输出的设备200的用户接口。处理器216可以被布置为例如根据被存储在存储器215中的计算机程序代码并且可能地进一步根据经由用户i/o部件218接收到的用户输入来控制设备200的操作。虽然在图4中被描绘为与成像系统100分离的部件，但是存储器215、处理器216和i/o部件218中的至少一些可以部分地或以其整体被提供为成像系统100的一部分。

存储器215和被存储在其中的计算机程序代码的一部分还可以被布置为利用处理器216提供控制功能的一个或多个方面以用于控制成像系统100的操作的至少一些方面。就此作为几个示例，控制功能可以提供在图4中被描绘为处理器216中的逻辑实体的快门控制部件220、图像参数控制部件230和图像处理部件250。

在一些实施例中，快门控制部件220可以是控制图像传感器的曝光的设备和/或软件。例如，透镜前面的机械快门，或者控制对传感器像素的曝光的持续时间的软件代码。图像参数部件230可以是全部成像系统的参数(类似曝光传感器区域、读出传感器区域、焦距、孔径尺寸等)。在一些实施例中，图像采集部件240的示例包括辅助捕获传感器中的场景/图像强度作为图像像素、传送以及存储用于图像处理单元的像素值所需要的附加电路和/或软件。图像处理部件250的示例包括但不限于处理器。

在一些实施例中，图像采集部件240的示例可以包括互补金属氧化物半导体(cmos)传感器、电荷耦合器件(ccd)传感器、量子薄膜传感器或有机传感器。

快门控制部件220可以包括快门速度控制部件。快门控制部件220的一些示例包括软件或机械快门设备中设定曝光持续时间使用的软件模块，用于选择成像布置110的第一成像子系统和第二成像子系统的曝光时间(还被称为快门速度)。曝光时间的选择可以是自动的(基于例如环境光的当前水平的测量)，或者可以根据经由设备200的用户接口接收到的用户选择而做出选择。作为另一备选方案，可以应用固定的预定曝光时间。

快门速度控制装置可以被布置为联合地选择用于第一成像子系统和第二成像子系统的曝光时间，使得在捕获相应的输出图像时，相同的曝光值(ev)被选择用于这两个成像子系统以确保到这两个图像传感器103、104的相同或基本上相同的光传输。在透镜101和透镜102具有相同f数的情况下，曝光时间的联合选择可以包括选择对于第一成像子系统和第二成像子系统的相同的曝光时间，然而在具有不同的f数的透镜101、102的情况下，联合选择可以包括选择对于第一成像子系统和第二成像子系统的不同的曝光时间，使得考虑到相应的f数，这两个成像子系统相同或基本上相同。

作为另一示例，快门速度控制装置可以被布置为分离地并且独立地选择对于第一成像子系统和第二成像子系统的曝光时间。该选择可以是自动的或者其可以根据经由设备200的用户接口接收到的用户选择而做出。虽然曝光时间的分离和独立的选择使能单独地调整对于第一成像子系统和第二成像子系统的ev的灵活性，但是该方法也要求更加注意，以确保在捕获相应的输出图像时选择曝光时间使得对第一图像传感器103的光传输与第二图像传感器104的光传输之间的适合的平衡。

快门控制装置220可以包括快门致动装置，用于打开第一成像子系统和第二成像子系统的快门。快门致动装置可以被布置为对于由当前被选择用于相应的成像子系统的曝光时间定义的时段联合地引起打开第一成像子系统和第二成像子系统的快门。快门致动装置的示例包括用于发起快门的开始和结束的过程的硬件。可以例如通过经由设备200的用户接口接收到的用户命令触发快门的打开。致动控制装置被布置为引起第一图像传感器103和第二图像传感器104的曝光，使得其二者使用其相应的aov捕获相同场景的相应的输出图像。在该方面中，在相同或基本上相同曝光时间被用于第一成像子系统和第二成像子系统的情况下，快门致动装置可以被布置为同时或基本上同时打开和关闭两个成像子系统的快门。在不同的曝光时间被用于第一成像子系统和第二成像子系统的情况下，快门致动装置可以被布置为控制将快门打开和关闭，使得具有更短的曝光时间的成像子系统的快门的打开状态与另一成像子系统的快门的打开状态(时间上)完全重叠。在该方面中作为示例，快门致动装置可以被布置为同时或基本上同时引起打开第一成像子系统和第二成像子系统的快门，或者引起同时或基本上同时关闭第一成像子系统和第二成像子系统的快门。

根据以下所描述的示例实施例，成像系统100的成像子系统相同或基本上相同。在这样的布置中，图像参数控制部件230可以被布置为从至少两个预定义的可用的读出区域选择用于第一图像传感器103的第一读出区域和用于第二图像传感器104的第二读出区域。可以例如根据经由设备200的用户接口接收到的用户选择做出(一个或多个)选择，或者可以采用可用的读出区域的预定的(例如，预选择的)一个。虽然不必要地，但是可用于选择的预定义读出区域通常包括不同的纵横比的矩形读出区域。作为示例，图3的上下文中所描述的读出区域122和读出区域123可能地连同一个或多个进一步的读出区域可用于选择。图像捕获部件230优选地选择用于第一图像传感器103和第二图像传感器104的相同的读出区域。

因此，第一读出区域和第二读出区域未完全覆盖相应的图像传感器103、104的曝光区域，但是在图像传感器103、104中的每一个上，存在邻近于读出区域的未使用的曝光区域的一个或多个部分，即，在相应的读出区域的轮廓与曝光区域的轮廓之间。这通过将图3的上下文中所描述的曝光区域114和读出区域122和读出区域123用作示例示意性地被描绘在图5中。在图5中，图示(a)指示当采用读出区域122时的曝光区域的未使用区域：在读出区域122的左边界与曝光区域114的左边界之间存在未使用的区域122a，并且在读出区域122的右边界与曝光区域114的右边界之间存在另一未使用区域122b(换句话说，对于读出区域122而言，在读出区域122的两侧存在未使用的区域)。图示(b)指示当采用读出区域123时的曝光区域144的未使用区域：在读出区域123的上边界与曝光区域114的上边界之间存在未使用区域123c，并且在读出区域123的下边界与曝光区域114的下边界之间存在另一未使用区域123d(换句话说，对于读出区域123而言，在读出区域123上面和下面存在未使用的区域)。

图像采集部件240被布置为在相应的成像子系统的曝光时间的完成之后，立即地或基本上立即地读取来自第一图像传感器103的第一图像数据和来自第二图像传感器104的第二图像数据。在该方面中，图像采集部件240可以被布置为从针对第一图像传感器103所选择的第一读出区域读取用于第一图像的像素值，并且从针对第二图像传感器104所选择的第二读出区域读取用于第二图像的像素值。用于第一图像和第二图像的读取像素值可以被存储在存储器215中以用于得到和提供一个或多个输出图像和/或用于进一步处理所获得的图像数据(例如，用于得到关于第一图像和第二图像的差异信息)。

图像捕获部件240还被布置为从曝光区域的至少一个未使用区域读取支持数据，该至少一个未使用区域邻近第一读出区域(在第一图像传感器103的曝光区域上)和/或邻近第二读出区域(在第二图像传感器104的曝光区域上)。在该方面中，图像采集部件250可以被布置为从第一图像传感器102和/或第二图像传感器104的曝光区域的至少一个这样的未使用区域读取用于支持数据的像素值。用于支持数据的读取像素值可以被存储在存储器215中用于由图像处理部件250进一步使用。

作为示例，图像采集部件240可以被布置为从第一读出区域与距第二透镜102的光轴最远的第一图像传感器103的一侧(例如，在距第二图像传感器104最远的第二图像传感器104的一侧)的第一图像传感器103的曝光时间的边界之间的未使用区域读取用于支持数据的第一组像素值。用于支持数据的第一组像素值可以被用于增强第一图像的像素值以便促进以经改进的方式得到图像处理部件250中的差异信息。

附加地或者备选地，图像采集部件240可以被布置为从第或读出区域与距第一透镜101的光轴最远的第二图像传感器104的一侧(例如，在距第一图像传感器103最远的第二图像传感器104的一侧)的第二图像传感器104的曝光时间的边界之间的未使用区域读取用于支持数据的第二组像素值。用于支持数据的第二组像素值可以被用于增强第二图像的像素值以便促进以进一步经改进的方式得到图像处理部件250中的差异信息。

返回参考图5(a)，如果使用用于第一图像传感器103和第二图像传感器104的读出区域122，则第一组像素值可以包括来自未使用区域122a的像素值，并且第二组像素值可以包括来自未使用区域122b的像素值(或者反之亦然)。从未使用区域读取的一组像素可以包括例如被包括在相应的未使用区域122a、122b中的所有像素或最靠近相应的读出区域的相应的未使用区域122a、122b中的预定义列数的像素。如果使用被布置为采用水平基线的成像系统100，则这样的方法可以是特别有利的。

作为另一示例，参考图5(b)，如果使用用于第一图像传感器103和第二图像传感器104的读出区域123，则第一组像素值可以包括来自未使用区域123c的像素值，并且第二组像素值可以包括来自未使用区域123d的像素值(或者反之亦然)。从未使用区域读取的一组像素可以包括例如被包括在相应的未使用区域123c、123d中的所有像素或最靠近相应的读出区域的相应的未使用区域123c、123d中的预定义行数的像素。如果使用被布置为采用垂直基线的成像系统100，则这样的方法可以是特别有用的。

由于未使用区域122a、122b、123c、123d的部分在像圈111外部延伸，因而其通常不被保证接收足够的光量并且因此从这些部分读取的像素值可以是无效的并且可以在后续处理中被忽略(例如，通过信号处理部件250)。

图像处理部件250可以被配置为得到第一图像与第二图像之间的差异信息。在该方面中，图像处理部件250可以被布置为在针对第一图像读取的像素值、针对第二图像读取的像素值和针对支持数据读取的像素值基础上，得到关于第一图像和第二图像的差异信息。

由于第一成像子系统和第二成像子系统相对于设备200的环境的不同的位置，第一输出图像和第二输出图像表示第一图像和第二图像中描绘的拍摄场景的稍微不同的视图。特别地，第一输出图像中所描绘的拍摄场景的视图是第二输出图像中所描绘的拍摄场景的在空间上的偏移版本(并且反之亦然)，其中图像平面中的空间偏移的程度取决于第一成像子系统和第二成像子系统的特点、第一透镜101和第二透镜102的光轴之间的距离b、以及所描绘的物体与透镜101、102的平面之间的距离v。特别地，距透镜101、102的平面不同的距离处的物体经历图像平面中的不同的空间偏移，这使能针对所捕获的场景的差异(并且因此深度)的计算。给定图像和对应的深度图，存在可以应用的若干后处理效果，示例包括散景(取决于深度由模糊造成的人工浅景深)、前景分割/配衬边等。

因此，由于空间偏移，图像特征在第一图像中出现在与在第二图像中不同的位置(例如，相对于图像的中心)。为了描述图像平面中的空间偏移的程度，差异信息的得到可以包含得到针对第一图像和第二图像的像素的差异图。作为示例，差异图的得到可以包含针对第一图像的每个像素找到第二图像的对应的像素(即，描绘与在考虑的第一图像的像素相同的现实世界特征的第二图像的像素)，并且将这些像素位置中的差别用作用于在考虑的第一图像的像素的差异指示。得到差异信息的各种技术在本领域中是已知的。作为示例，找到第一图像的子区域中的像素的差异指示可以包含例如找到最大化(归一化的)相关性或最小化第一图像中的子区域内的像素值与第二图像中的类似子区域中的像素值之间的(平方或绝对)差之和的偏移(以像素的数目)。

然而，由于空间偏移，在相同形状和尺寸的读出区域的情况下，在第一图像的第一侧(即，在与最接近于第二图像传感器104的第一图像传感器103的一侧相对应的一侧)存在区域并且在第一图像和第二图像中的另一个中根本未描绘的第二图像的相对侧(即，在与最接近于第一图像传感器103的第二图像传感器104的一侧相对应的一侧)存在另一区域。因此，在第一图像的像素值和第二图像的像素值基础上得到的常规差异图未使得能够计算用于第一图像和第二图像的这些区域的差异指示。

为了解释该缺点，图像处理部件250被布置为利用用于支持数据的第一组像素值增强第一图像的像素值以创建增强的第一图像和/或利用用于支持的第二组像素值增强第二图像的像素值以创建增强的第二图像。如果增强的第一图像是可用的，则图像处理部件250被配置为在差异信息的得到中采用增强的第一图像而不是第一图像。类似地，如果增强的第二图像是可用的，则图像处理部件250被配置为在差异信息的得到中采用增强的第二图像而不是第二图像。换句话说，图像处理部件250被配置为在增强的第一图像和/或增强的第二图像基础上，执行差异信息(例如，差异图)的得出，从而使得能够计算针对描绘未被包括在第一图像和第二图像中的另一个中的图像内容的第一图像和/或第二图像的区域的至少部分的差异指示。

第一图像的增强将aov从第一图像的aov扩大以包含在第二图像中描绘但是在第一图像中未描绘的图像内容的至少部分。类似地，第二图像的增强将aov从第二图像的aov扩大以包含在第一图像中描绘但是在第二图像中未描绘的图像内容的至少部分。在差异信息的得到中利用增强的第一图像和/或增强的第二图像使得能够得到用于第一图像和第二图像的扩大区域的准确的差异信息，从而使能相对于输出图像具有经改进的fov的深度图(由此，使用深度图的图像的任何编辑可以适用于经改进的fov)。

因此，图像处理部件250可以被布置为在第一图像、第二图像和在增强的第一图像和/或增强的第二图像基础上得到的差异图的基础上，创建3d图像(立体图像)。利用在增强的第一图像和/或增强的第二图像基础上得到的差异图使能创建相对于输出图像具有经改进的fov的深度图，不像其中深度图将仅可用于输出图像fov的一部分的情况。

在前述内容中，描述了利用相同成像子系统的示例实施例的各方面和变化。然而，描述一般化为其中成像子系统不严格相同但是其中第一图像传感器103和第二图像传感器104上的曝光区域延长超过相应的读出区域但是在形状和尺寸方面可以不是相同或基本上相同的场景。

在以下所描述的另一示例实施例中，第一成像子系统和第二成像子系统可以不相同，使得在第二成像子系统能够完全地包含在至少一个维度上由第一成像子系统的aov使能的图像内容的程度上，第二成像子系统的aov在该至少一个维度上比第一成像子系统的aov更大。对于水平基线而言，该至少一个维度包括至少水平维度，而对于垂直基线而言，至少一个维度包括至少垂直维度。

在该方面中作为示例，图6示意性地图示了例示的成像系统100'，其是图1的成像系统100的变型。成像系统100'与成像系统100不同之处在于第一成像子系统和第二成像子系统不相同：第二图像传感器104比第一图像传感器103更大(d2>d1)，并且距离u2比距离u1更小。利用d1、d2、u1和u2的适合的选择，这样的方法使得第二成像子系统的视角(aov)能够完全地覆盖第一成像子系统的视角(aov)。如在图6中所图示的，在成像系统100'中，点105处(第一成像子系统的aov的外部界限处)的物体也被投影在第二图像传感器104的曝光区域上，并且点105因此在第二成像子系统的aov内。相同目标也是可实现的，例如，通过使第二图像传感器104比第一图像传感器更大(使得d2>d1)同时保持距离u1和距离u2相同或基本上相同，或者通过使距离u2比距离u2更小同时保持图像传感器103、104(的尺寸)相同或基本上相同(例如，使得d2＝d1)。

对于这样的成像系统100'而言，图像采集部件240可以被布置为采用用于第一成像子系统的固定的预定第一读出区域，该第一读出区域完全覆盖第一图像传感器103的曝光区域，例如，根据图2的上下文中所描述的示例。另一方面，对于第二成像子系统而言，图像采集部件240可以被布置为采用在形状和尺寸方面与第一读出区域相同的(预定的)第二读出区域。

而且，图像采集部件240还可以被布置为从邻近于第二读出区域的曝光区域(在第二图像传感器104的曝光区域上)的至少一个未使用区域读取支持数据。在该方面中，图像采集部件250可以被布置为从第二图像传感器104的曝光区域的至少一个这样的未使用区域读取用于支持数据的像素值。读取的用于支持数据的像素值可以被存储在存储器215中以由图像处理部件250进一步使用。在该方面中作为特定示例，图像采集部件240可以被布置为从第二读出区域与距第一透镜101的光轴最远的第二图像传感器104的一侧(例如，在距第一图像传感器103最远的第二图像传感器104的一侧)的第二图像传感器104的曝光区域的边界之间的未使用区域，读取用于支持数据的一组像素值。

用于支持数据的该组像素值可以被用于增强第二图像的像素值，以便促进以进一步经改进的方式得到图像处理部件250中的差异信息。在该场景中，图像处理部件250可以被布置为利用用于支持的一组像素值增强第二图像的像素值，以创建增强的第二图像并且在第一图像和增强的第二图像基础上得到差异信息(例如，差异图)，如前文所描述的。

为了使第二图像传感器104的曝光区域在期望的维度上足够大(与第一图像传感器103的曝光区域相比较)，可以做出以下观察。

基于图1和图6，我们可以写出

以及

通过将式(3)代入式(4)，我们可以写出

通过使用以下关系

我们可以将式(5)写为

如果进一步假定相同焦距f1和f2，则式(6)变为

因此，式(7)可以被用于至少在一个维度上(例如，其宽度和/或其高度)关于第一图像传感器103的曝光区域的尺寸得到第二图像传感器104上的曝光区域的最小尺寸，以确保第二成像子系统能够完全地包含由第一成像子系统所捕获的图像内容。

图6图示了根据示例实施例的方法300。方法300包括操作立体图像捕获部件100、100'，如在块310中所指示的。方法300还包括从第一图像传感器103和第二图像传感器104的相应的光敏区域读取像素值。该读取包括从第一图像传感器103上的第一读出区域读取用于第一图像的像素值，如在块320中所指示的，从第二图像传感器104上的第二读出区域读取用于第二图像的像素值，如在块320中所指示的，以及从邻近第一图像传感器103和第二图像传感器104中的至少之一上的相应的读出区域的光敏区域的至少一部分读取用于支持数据的像素值，如在块310中所指示的。方法300还包括在针对第一图像、针对第二图像和针对支持数据读取的像素值基础上，得到关于第一图像和第二图像的差异信息。方法300还可以包括在差异信息连同针对第一图像和/或第二图像读取的像素基础上创建3d图像(立体图像)并且输出所创建的3d图像。

在块310到块350的上下文中所描述的方法步骤(以及任何可能的附加步骤)可以以若干方式实现和/或变化，例如，如在成像系统100、100'的操作的更详细描述中的前述内容中所描述的。

返回参考图4，处理器216被配置为从存储器215读取以及写入存储器215，并且处理器236被配置为从存储器235读取以及写入存储器235。虽然处理器216被描绘为单个部件，但是处理器216可以被实现为一个或多个分离的部件。类似地，虽然存储器215被图示为单个部件，但是存储器215可以被实现为一个或多个分离的部件，其中的一些或全部可以是集成/可移除的和/或可以提供永久/半永久/动态/高速缓存存储装置。

存储器215可以存储计算机程序，其包括当被加载到处理器216时控制设备200的操作的计算机可执行指令。作为示例，计算机程序可以包括一个或多个指令的一个或多个序列。计算机程序可以被提供为计算机程序代码。处理器216能够通过从存储器215读取被包括在其中的一个或多个指令的一个或多个序列来加载和执行计算机程序。一个或多个指令的一个或多个序列可以被配置为当由处理器216执行时，使得设备200执行在成像系统100、100'的上下文中的前述内容中所描述的操作、程序和/或功能。因此，设备200可以包括至少一个处理器216和包括用于一个或多个程序的计算机程序代码的至少一个存储器215，至少一个存储器215和计算机程序代码被配置为利用至少一个处理器216使得设备200执行成像系统100的上下文中的前述内容中所描述的操作、程序和/或功能。

计算机程序可以被包括在计算机程序产品中。根据示例实施例，计算机程序产品可以包括非暂态计算机可读介质。因此，计算机程序可以例如被提供为包括已经在其上存储程序代码的至少一个计算机可读非暂态介质的计算机程序产品，程序当由设备200执行时使得装置至少执行第一设备110的上下文中的前述内容中所描述的操作、程序和/或功能。计算机可读非暂态介质可以包括存储器设备或记录介质，诸如cd-rom、dvd、蓝光光盘或有形地实现计算机程序的另一制造品。作为另一示例，计算机程序可以被提供为被配置为可靠地传送计算机程序的信号。

对处理器的(一个或多个)引用不应当被理解为仅涵盖可编程处理器，而是还涵盖专用电路(诸如现场可编程门阵列(fpga)、专用电路(asic)、信号处理器等)。

前述描述中所描述的特征可以被使用在除明确地描述的组合外的组合中。虽然已经参考某些特征描述功能，但是这些功能可以是由无论是否描述的其他特征可执行的。虽然已经参考某些实施例描述特征，但是这些特征还可以存在于无论是否描述的其他实施例中。