立体照相装置和相关控制方法与流程

本发明有关于照相装置(camera device)，尤其有关于可动态调整多个图像捕捉装置的视野(Field Of View,FOV)重叠区域的立体照相装置(stereoscopic camera device)和相关控制方法。

背景技术：

随着技术的进步，如今具有立体照相装置的电子装置被广泛应用。然而，在市场上的电子装置中，传统立体照相装置只能用来以固定相机配置(camera arrangement)捕捉图像，这会使不同应用产生图像不方便并更复杂。因此，需要一种立体照相装置和相关控制方法，来解决上述问题。

技术实现要素：

有鉴于此，本发明提供一种立体照相装置，包括：第一图像捕捉装置，用来沿着第一光轴以第一视野捕捉第一图像；第二图像捕捉装置，用来与该第一图像捕捉装置捕捉该第一图像同时，沿着第二光轴以第二视野捕捉第二图像，其中该第一视野和该第二视野重叠；以及处理器，用来根据该立体照相装置的操作模式，动态调整该第一视野和该第二视野之间的该重叠。

本发明另提供一种控制方法，用于立体照相装置，其中该立体照相装置包括第一图像捕捉装置和第二图像捕捉装置，该控制方法包括：利用该第一图像捕捉装置沿着第一光轴以第一视野捕捉第一图像；利用该第二图像捕捉装置与该第一图像捕捉装置捕捉该第一图像同时，沿着第二光轴以第二视野捕捉第二图像，其中该第一视野和该第二视野重叠；以及根据该立体照相装置的操作模式，动态调整该第一视野和该第二视野之间的该重叠。

通过利用本发明，可使用户更方便使用立体照相装置。

如下详述本发明的最佳实施例。阅读完以下描述和附图后，本领域技术人员可轻易理解本发明的精神。

附图说明

图1是根据本发明一实施例的立体照相装置的示意图。

图2A-2C是根据本发明一实施例的立体照相装置的不同操作模式的示意图。

图2D-2F是根据本发明一实施例的第一图像捕捉装置和第二图像捕捉装置的FOV之间的重叠区域的示意图。

图3A-3C是根据本发明一实施例的立体照相装置的不同操作模式中光轴旋转的示意图。

图4A-4B是根据本发明另一实施例的立体照相装置的不同操作模式的示意图。

图5A-5D是根据本发明实施例的改变第一图像捕捉装置和第二图像捕捉装置的光轴的不同实施方式示意图。

图6A是根据本发明一实施例的第一图像捕捉装置和第二图像捕捉装置的旋转控制的方块示意图。

图6B是根据本发明一实施例的旋转控制方法的流程图。

图7是根据本发明一实施例的立体照相装置的控制方法流程图。

具体实施方式

在本专利说明书及权利要求当中使用了某些词汇来指称特定的组件。所属领域中具有通常知识者应可理解，硬件制造商可能会用不同的名词来称呼同一个组件。本专利说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。在通篇说明书及请求项当中所提及的“包含”或“包括”为开放式的用语，故应解释成“包含但不限定于”；“组件”、“系统”和“设备”意指与计算机有关的实体，可为硬件、软件或硬件以及软件的组合。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或透过其他装置或连接手段间接地电气连接至该第二装置。

图1是根据本发明一实施例的立体照相装置100的示意图。立体照相装置100可为数码照相模块，可集成在消费电子装置或任何其他电子组件或可嵌入数码照相功能的装置中(包括专业视频录像和静物照相机)。立体照相装置100包括多个图像捕捉装置，如可包括第一图像捕捉装置110和第二图像捕捉装置120。此 外，立体照相装置100可包括处理器130。第一图像捕捉装置110和第二图像捕捉装置120中的每个可包括一个或多个单独的镜头以及一个或多个单独的传感器(如图像传感器)，以探测并转换光。图像捕捉装置也可包括数码相机、胶卷相机、数字传感器、电荷耦合装置或其他图像捕捉装置。第一图像捕捉装置110和第二图像捕捉装置120用来在不同的视角(view angle)捕捉图像。具体来说，第一图像捕捉装置110用来沿着第一光轴以第一FOV捕捉第一图像；第二图像捕捉装置120用来沿着第二光轴以第二FOV捕捉第二图像。第一图像捕捉装置110和第二图像捕捉装置120的捕捉操作可同时或同步进行，第一FOV和第二FOV可能会有重叠。在一实施例中，第一图像捕捉装置110和第二图像捕捉装置120可分别为左侧相机和右侧相机，第一图像和第二图像可分别为左眼图像和右眼图像。在另一实施例中，第一图像捕捉装置110和第二图像捕捉装置120可分别为下侧相机和上侧相机，第一图像和第二图像可分别为下方视图图像和上方视图图像。处理器130用来动态调整第一FOV和第二FOV之间的重叠。处理器130可根据立体照相装置100的操作模式进行调整，具体细节将在下面进行描述。

图2A-2C是根据本发明一实施例的立体照相装置的不同操作模式的示意图。举例来说，立体照相装置100可具有多种操作模式，如图2A-2C中分别显示的平行模式(parallel mode)、发散模式(divergence mode)和收敛模式(convergence mode)。在立体照相装置100的不同操作模式中，第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴在不同位置交叉或在任何位置均不交叉。举例来说，如图2A所示，在平行模式中，第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴彼此平行，因此两个光轴在任何位置均不交叉。如图2B所示，在发散模式中，第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴在第一图像捕捉装置110和第二图像捕捉装置120的后面交叉。如图2C所示，在收敛模式中，第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴在第一图像捕捉装置110和第二图像捕捉装置120的前面交叉。如图2A-2C清楚所示，光轴之间的不同交叉情况，会造成第一FOV和第二FOV之间的重叠也不同。

请参照图1和图2A-2C。第一图像捕捉装置110包括第一镜头111、第一控制单元112和第一图像传感器113。第二图像捕捉装置120包括第二镜头121、第二控制单元122和第二图像传感器123。请注意，在不同的实施例中，第一镜头111和第二镜头121可包括一个或多个镜头。处理器130可通过旋转第一图像捕捉装 置110和第二图像捕捉装置120中的至少一个，动态调整第一FOV和第二FOV的重叠。举例来说，第一控制单元112可包括机械硬件以及/或者相关软件控制模块，可控制第一图像捕捉装置110在第一光轴所在的平面上旋转第一光轴，或者绕着第一光轴的延伸方向旋转第一图像捕捉装置110(如绕着第一图像捕捉装置110中心进行旋转)。第二控制单元122可控制第二图像捕捉装置120在第二光轴所在的平面上旋转第二光轴。此外，当第一图像捕捉装置110的旋转和第二图像捕捉装置120的旋转分别基于第一光轴所在的平面和第二光轴所在的平面时，处理器130可控制第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴之间的夹角θ。由于上述旋转操作，立体照相装置100可在不同模式(如图2A-2C所示的平行模式、发散模式和收敛模式)之间切换。

图2D-2F是根据本发明一实施例的第一图像捕捉装置110和第二图像捕捉装置120的FOV之间的重叠区域的示意图。在一实施例中，处理器130可将第一图像捕捉装置110捕捉的第一图像与第二图像捕捉装置120捕捉的第二图像进行合并(merge)，以产生第三图像，其中第三图像沿着第三光轴覆盖第三FOV。第三光轴可为第一光轴和第二光轴之一。举例来说，如图2D所示，当立体照相装置100操作在平行模式时，处理器130将第一图像和第二图像合并，产生立体图像作为第三图像，其中第一图像和第二图像可分别为左眼图像和右眼图像。处理器130可根据第一图像和第二图像计算深度信息(如基于第一图像捕捉装置110和第二图像捕捉装置120之间的视差(parallax))，从而产生立体图像。

当立体照相装置100操作在发散模式中时，处理器130可将第一图像和第二图像进行拼接(stitch)，以产生输出图像。其中输出图像可为超广角图像(ultra-wide angle image)、全景图像(panorama image)或球幕图像(sphere image)。如图2E所示，发散模式中第一FOV和第二FOV之间的重叠区域220比平行模式中的重叠区域210小。

如图2F所示，当立体照相装置100操作在收敛模式中时，处理器130可采用第一图像和第二图像产生输出图像，其中输出图像具有更高的图像质量，或者优化了深度信息。收敛模式中第一FOV和第二FOV之间的重叠区域230比平行模式中的重叠区域210大。举例来说，在收敛模式中，处理器130进一步进行以下操作之一或多个：获取高动态范围(High Dynamic Range,HDR)图像、噪声降低(noise reduction)以及微距摄影(macro photography)。

图3A-3C是根据本发明一实施例的立体照相装置100的不同操作模式中光轴 旋转的示意图。请参照图1和图3A。如图3A所示，第一控制单元112可控制第一图像捕捉装置110绕着第一光轴的延伸方向旋转(如绕着第一图像捕捉装置110的中心旋转)，使得第一图像捕捉装置110可通过旋转光轴本身进行旋转，且捕捉到的第一图像可在纵向模式(portrait mode)和横向模式(landscape mode)之间切换。类似地，第二控制单元122可控制第二图像捕捉装置120绕着第二光轴的延伸方向旋转(如绕着第二图像捕捉装置120的中心旋转)，使得第二图像捕捉装置120可通过旋转光轴本身进行旋转，且捕捉到的第二图像可在纵向模式和横向模式之间切换。举例来说，处理器130可控制第一图像捕捉装置110以及/或者第二图像捕捉装置120旋转其各自光轴，以分别形成具有不同长宽比(aspect ratio)的第一图像和第二图像。

如图3B所示，第一图像捕捉装置110捕捉的第一图像和第二图像捕捉装置120捕捉的第二图像均为纵向模式，处理器130将第一图像和第二图像组合，以产生全景图像。

如图3C所示，第一图像捕捉装置110捕捉的第一图像和第二图像捕捉装置120捕捉的第二图像均为横向模式，处理器130将第一图像和第二图像组合，以产生超广角图像。

图4A-4B是根据本发明另一实施例的立体照相装置100的不同操作模式的示意图。第一图像捕捉装置110和第二图像捕捉装置120的旋转控制可以以不同的方式进行。举例来说，当立体照相装置100操作在平行模式中时，第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴彼此平行，并与第一图像捕捉装置110和第二图像捕捉装置120放置的表面垂直。在平行模式中，第一图像捕捉装置110和第二图像捕捉装置120可同时旋转，以维持二者之间的平行关系。具体来说，如图4A所示，第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴保持平行，但不再与第一图像捕捉装置110和第二图像捕捉装置120放置的表面垂直，所以第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴方向一致。

在另一实施例中，如图4B所示，第一图像捕捉装置110和第二图像捕捉装置120的旋转可自由、独立地进行控制，因此第一图像捕捉装置110和第二图像捕捉装置120可聚焦于不同的物体。此外，当处理器130执行追踪(tracking)应用时，处理器130可控制第一图像捕捉装置110和第二图像捕捉装置120同时分别追踪第一移动物体和第二移动物体。处理器130也可将第一图像和第二图像进行拼 接产生输出图像，或单独保存第一图像和第二图像用于后续处理。

图5A-5D是根据本发明实施例的改变第一图像捕捉装置和第二图像捕捉装置的光轴的不同实施方式示意图。为了便于描述，图5A-5D中的实施例采用第一图像捕捉装置110的第一光轴进行描述。本领域技术人员可以理解，这些实施方式也可用于第二图像捕捉装置120。

请参照5A，第一光轴默认与第一图像捕捉装置110的镜头表面垂直。有多种方法来改变第一图像捕捉装置110的第一光轴。举例来说，如图5B所示，第一图像捕捉装置110的整个模块可旋转，使得第一光轴相应旋转。或者，第一控制单元112可通过移动镜头的全部或一部分来倾斜第一光轴。举例来说，如图5C所示，其中一个镜头被移动，第一光轴相应旋转。或者，如图5D所示，第一控制单元112也可通过移动第一图像传感器113，来倾斜第一光轴。

在以下部分，将描述第一图像捕捉装置110和第二图像捕捉装置120的旋转控制的细节。图6A是根据本发明一实施例的第一图像捕捉装置110和第二图像捕捉装置120的旋转控制的方块示意图。图6B是根据本发明一实施例的旋转控制方法的流程图。该方法可包括一个或多个操作、动作或功能，由一个或多个步骤(如步骤610-650)表示。尽管本实施例以分离的步骤描述，基于所需实施方式，各步骤可划分成额外的步骤、组合成更少的步骤或进行删除。本方法可由图1中的立体照相装置100和图7中的旋转控制实现，但本发明并不限于此。以下将描述图6B中的方法通过图1中的立体照相装置100采用图6A中的旋转控制进行，但仅为说明的，并无意图限制本发明。本方法从610开始。

在610中，用户可从用户界面选择应用。举例来说，用户可开始图像捕捉应用或视频录像应用。在620中，旋转控制单元(如处理器130)从用户界面接收信息和一个或多个以下信号/数据：自动对焦(Auto Focus,AF)控制信号、同步控制信号、第一图像的图像内容、第二图像的图像内容以及预校准(pre-calibrated)数据。处理器130确定第一图像捕捉装置110的第一旋转设定和第二图像捕捉装置120的第二旋转设定。换句话说，处理器130可根据AF控制信号、同步控制信号、第一图像的图像内容、第二图像的图像内容以及预校准数据中的一个或多个，动态调整第一FOV和第二FOV的重叠。

AF控制信号可形成自动对焦控制单元(图中未示)，并用来调整第一图像捕捉装置110和第二图像捕捉装置120的焦点。预校准数据记录最优旋转角度(optimum rotation angles)、焦距(focus distance)和焦点信息(如数模转换 器指数)之间的关系，并可存储到如EEPROM等的非易失性存储器中。

需注意，第一旋转设定可指示第一图像捕捉装置110可如何被旋转。具体来说，第一旋转设定可包括在第一光轴的平面旋转第一图像捕捉装置110的旋转角度，以及/或者绕着第一图像捕捉装置110的中心旋转第一图像捕捉装置110的旋转角度。类似地，第二旋转设定可指示第二图像捕捉装置120可如何被旋转。具体来说，第二旋转设定可包括在第二光轴的平面旋转第二图像捕捉装置120的旋转角度，以及/或者绕着第二图像捕捉装置120的中心旋转第二图像捕捉装置120的旋转角度。

在630中，第一控制单元112和第二控制单元122分别根据第一旋转设定和第二旋转设定，旋转第一图像捕捉装置110和第二图像捕捉装置120。

在640中，第一控制单元112和第二控制单元122旋转完成后，返回第一完成旋转信号和第二完成旋转信号给旋转同步控制单元(如处理器130)。

在650中，旋转同步控制单元(如处理器130)返回同步控制信号给应用，使得视频录像应用被通知以开始视频录像。此外，旋转同步控制单元也可返回同步控制信号给旋转控制单元，以在需要时使能下一个旋转设定。

在以下段落，描述多种估计旋转角度的方法。

预校准时期的离线校准阶段

在离线校准阶段，用于平行模式、发散模式和收敛模式的预校准数据被训练(trained)求得。

步骤1：可建立棋盘图、点阵图等，如第一图像捕捉装置110和第二图像捕捉装置120可用来捕捉棋盘图的图像。因此，可计算并记录第一图像捕捉装置110的第一光轴和第二图像捕捉装置120的第二光轴之间的夹角。

步骤2：计算每个模式中第一FOV和第二FOV之间的重叠百分比，作为“场景重叠分数”。

步骤3：重复进行步骤1和步骤2，以获得最大和最小分数。最大或最小分数依赖于立体照相装置100的操作模式。举例来说，为了获取广角图像，可采用发散模式，且场景重叠分数应最小化。也就是说，第一FOV和第二FOV之间的重叠区域应尽可能小，以根据不同需求或设计，获取广角图像或不同范围。

步骤4：估计的最优旋转角度、焦距和焦点信息(如数模转换器指数)存储到如EEPROM等的非易失性存储器中。

步骤5：重复进行步骤1-4，摄影距离相应改变，以获取用于不同场景距离 的最优旋转角度。

预校准时期的在线校准阶段

在在线校准阶段，用于平行模式、发散模式和收敛模式的预校准数据被获取并传送给第一图像捕捉装置110和第二图像捕捉装置120。

步骤1：从离线校准阶段描述的非易失性存储器中检索(retrieve)相关校准数据。

步骤2：从检索到的校准数据中获取焦点信息。

步骤3：从检索到的校准数据中获取旋转角度。

步骤4：将获取的旋转角度提供给第一图像捕捉装置110和第二图像捕捉装置120。

步骤5：接收到同步控制信号后，处理第一图像和第二图像以生成输出图像。举例来说，为了获取发散模式中的广角图像，处理器130需进行图像拼接算法，以将多个图像(如第一图像和第二图像)拼接成广角图像。

在线计算时期的估计阶段

在估计阶段，第一图像和第二图像的图像特征被用于估计平行模式、发散模式或收敛模式中第一图像捕捉装置110和第二图像捕捉装置120的旋转角度。

步骤1：从第一图像捕捉装置110获取第一图像并从第二图像捕捉装置120获取第二图像。

步骤2：计算第一图像和第二图像的图像特征。举例来说，图像特征可为像素颜色、特征点或任何能够代表图像的特征。

步骤3：计算出的第一图像和第二图像的图像特征被用来估计第一图像捕捉装置110和第二图像捕捉装置120的旋转角度。举例来说，特征提取和匹配算法可用来获取一组特征对应(feature correspondence)，从而计算第一图像捕捉装置110和第二图像捕捉装置120之间的相对角度。因此，第一图像捕捉装置110和第二图像捕捉装置120的旋转角度可相应确定。

在线计算时期的应用阶段

在应用阶段，用于平行模式、发散模式和收敛模式的旋转角度被获取并传送给第一图像捕捉装置110和第二图像捕捉装置120。

步骤1：将确定的旋转角度提供给第一图像捕捉装置110和第二图像捕捉装置120。

步骤2：接收到同步控制信号后，处理第一图像和第二图像以生成输出图像。 举例来说，为了获取发散模式中的广角图像，处理器130需进行图像拼接算法，以将多个图像(如第一图像和第二图像)拼接成广角图像。

图7是根据本发明一实施例的立体照相装置100的控制方法流程图。控制方法可包括一个或多个操作、动作或功能，由一个或多个步骤(如步骤S710-S730)表示。尽管本实施例以分离的步骤描述，基于所需实施方式，各步骤可划分成额外的步骤、组合成更少的步骤或进行删除。本方法可由图1中的立体照相装置100实现，但本发明并不限于此。以下将描述图7中的控制方法通过图1中的立体照相装置100采用图6A中的旋转控制进行，但仅为说明的，并无意图限制本发明。本方法从710开始。

在步骤S710中，第一图像捕捉装置110用来沿着第一光轴以第一视野捕捉第一图像。在步骤S720中，与第一图像捕捉装置110捕捉第一图像同时，第二图像捕捉装置120用来沿着第二光轴以第二视野捕捉第二图像。其中，第一视野与第二视野重叠。在步骤S730中，第一视野与第二视野的重叠根据立体照相装置的操作模式进行动态调整。

据此，本发明提供了立体照相装置和相关控制方法的不同实施例。立体照相装置和相关控制方法可根据立体照相装置的操作模式，动态调整相机视野的重叠区域。在不同的操作模式中，第一图像捕捉装置110和第二图像捕捉装置120的光轴可在图像捕捉装置之前交叉(如收敛模式)、在图像捕捉装置之后交叉(如发散模式)或不彼此交叉(如平行模式)。第一图像捕捉装置110的第一FOV和第二图像捕捉装置120的第二FOV之间的重叠区域也可根据操作模式进行改变。此外，第一图像和第二图像之间的长宽比也可通过分别绕着第一图像捕捉装置110的中心旋转第一图像捕捉装置110和绕着第二图像捕捉装置120的中心旋转第二图像捕捉装置120而调整。相应地，第一图像和第二图像可被合并以生成输入图像用于不同的应用，如HDR图像、超广角图像、全景图像、球幕图像、噪声降低以及微距摄影。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明，任何熟习此技艺者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视后附的权利要求所界定者为准。