图像拼接的制作方法

图像拼接的制作方法
【专利摘要】提供了一种设备、方法和计算机程序。该方法包括：分析第一图像和第二图像，第一图像由第一图像传感器部件捕获并且第二图像由第二图像传感器部件捕获，其中第一图像和第二图像上的发起对第一图像和第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据第一图像和第二图像的分析确定针对第一图像部分和第二图像部分的重叠捕获区域；以及使用重叠捕获区域将第一图像和第二图像拼接在一起。
【专利说明】图像拼接
【技术领域】
[0001]本发明各实施方式涉及图像拼接。具体地，涉及处理图像用于拼接。
【背景技术】
[0002]图像拼接是用于将具有重叠视野的多个图像组合以产生更大图像(例如，全景图 像)的过程。

【发明内容】

[0003]根据本发明的各种但未必是全部的实施方式，提供了一种方法，包括:分析第一图 像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传 感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图 像的所述分析的至少一个位置取决于至少一个上下文特性；根据所述第一图像和所述第二 图像的所述分析确定针对所述第一图像部分和所述第二图像部分的重叠捕获区域；以及使 用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
[0004]根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括:至少一个处 理器；以及存储有包括指令的计算机程序的至少一个存储器；被配置为与所述至少一个处 理器一起使得所述设备至少执行:分析第一图像和第二图像，所述第一图像由第一图像传 感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第 二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少 一个上下文特性；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传 感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述 第一图像和所述第二图像拼接在一起。
[0005]根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括:用于分析第 一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由 第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和 所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；用于根据所述第一 图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感 器部件的重叠捕获区域的装置；以及用于使用所述重叠捕获区域将所述第一图像和所述第 二图像拼接在一起的装置。
[0006]根据本发明的各种但未必是全部的实施方式，提供了一种存储有包括指令的计算 机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行:分析第 一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图 像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第 二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据所述第一图像和所述 第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重 叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。[0007]根据本发明的各种但未必是全部的实施方式，提供了一种方法，包括:分析一个或 多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感 器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像 传感器部件的重叠捕获区域；取决于根据所述一个或多个图像集的所述分析确定的所述重 叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且 所述第四图像由所述第二图像传感器部件捕获；根据所述第三图像和所述第四图像的所述 分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域； 以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
[0008]根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括:用于分析一 个或多个图像集的装置，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第 二图像传感器部件捕获的第二图像；用于根据所述分析确定针对所述第一图像传感器部件 和所述第二图像传感器部件的重叠捕获区域的装置；用于取决于根据所述一个或多个图像 集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像的装置，所述第三图像由 所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；用于根 据所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第 二图像传感器部件的另一重叠捕获区域的装置；以及用于使用所述另一重叠捕获区域将所 述第三图像和所述第四图像拼接在一起的装置。
[0009]根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括:至少一个处 理器；以及存储有包括指令的计算机程序的至少一个存储器；被配置为与所述至少一个处 理器一起使得所述设备至少执行:分析一个或多个图像集，其中图像集包括由第一图像传 感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定 针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；取决于根据所 述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述 第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件 捕获；根据所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和 所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第 三图像和所述第四图像拼接在一起。
[0010]根据本发明的各种但未必是全部的实施方式，提供了一种存储有包括指令的计算 机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行:分析一 个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像 传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二 图像传感器部件的重叠捕获区域；取决于根据所述一个或多个图像集的所述分析确定的所 述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获 并且所述第四图像由所述第二图像传感器部件捕获；根据所述第三图像和所述第四图像的 所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获 区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
[0011]根据本发明的各种但未必是全部的实施方式，提供了一种方法，包括:分析第一图 像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传 感器部件捕获；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像部分和所述第二图像部分的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述 第二图像拼接在一起。
[0012]根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括:至少一个处 理器；以及存储有包括指令的计算机程序的至少一个存储器；被配置为与所述至少一个处 理器一起使得所述设备至少执行:分析第一图像和第二图像，所述第一图像由第一图像传 感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据所述第一图像和所述第 二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠 捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
[0013]根据本发明的各种但未必是全部的实施方式，提供了一种设备，包括:用于分析第 一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由 第二图像传感器部件捕获；用于根据所述第一图像和所述第二图像的所述分析确定针对所 述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及用于使用 所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置。
[0014]根据本发明的各种但未必是全部的实施方式，提供了一种存储有包括指令的计算 机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行:分析第 一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图 像传感器部件捕获；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像 传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所 述第一图像和所述第二图像拼接在一起。
【专利附图】

【附图说明】
[0015]为了更好地理解本发明的实施方式的各种示例，现在将仅通过示例的方式参考附 图，在附图中:
[0016]图1图示了一种设备的示意图；
[0017]图2图示了另一设备的示意图；
[0018]图3A图示了该另一设备的第一示例的透视截面图；
[0019]图3B图示了用于该另一设备的第二示例的第一图像传感器部件和第二图像传感 器部件；
[0020]图3C和图3D图示了该另一示例的第二示例；
[0021]图4图示了第一图像传感器和第二图像传感器；
[0022]图5图示了第一方法的流程图；以及
[0023]图6图示了第二方法的流程图。
【具体实施方式】
[0024]本发明的各实施方式涉及图像拼接。本发明的各实施方式例如可以支持相对快速 的图像拼接。这可能对于处于提供/记录全景视频图像的取景或摄像模式的相机而言非常 有利，其中全景视频图像包括每秒多个帧(例如，每秒30帧)。
[0025]各附图图示了设备10/20，包括:至少一个处理器12 ;以及存储有包括指令18的 计算机程序16的至少一个存储器14 ;被配置为与所述至少一个处理器12 —起使得所述设备10/20至少执行:分析第一图像和第二图像，所述第一图像由第一图像传感器部件21捕 获并且所述第二图像由第二图像传感器部件22捕获，其中取决于至少一个上下文特性在 所述第一图像和所述第二图像上的至少一个位置发起对所述第一图像和所述第二图像的 所述分析；根据所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部 件21和所述第二图像传感器部件22的重叠捕获区域；以及使用所述重叠捕获区域将所述 第一图像和所述第二图像拼接在一起。
[0026]图1图示了包括至少一个处理器12和至少一个存储器14的设备10。该设备10 例如可以是芯片或芯片组。虽然图1中图示了单个处理器12和单个存储器14，但是在本发 明的某些实现中提供了不止一个处理器12和/或不止一个存储器14。
[0027]处理器12被配置为从存储器14读取并且向存储器14写入。处理器12还可以包 括输出接口和输入接口，处理器12经由输出接口 12输出数据和/或命令，经由输入接口向 处理器12输入数据和/或命令。
[0028]虽然存储器14被示出为单个组件，但是其也可以实现为一个或多个单独组件，其 中的某些或者全部可以是集成/可移除的和/或可以提供永久/半永久/动态/高速缓存 的存储。
[0029]存储器14存储计算机程序16，计算机程序16包括当加载到处理器12中时控制设 备10的操作的计算机程序指令18。计算机程序指令18提供使得设备10/20能够执行图5 和图6中所示的方法的逻辑和例程。处理器12通过读取存储器14，能够加载并且执行计算 机程序16。
[0030]计算机程序16可以经由任何适当的递送机制40到达设备10/20。递送机制40例 如可以是非瞬态计算机可读存储介质、计算机程序产品、存储器设备、记录介质(诸如压缩 盘只读存储器(⑶-ROM)、或者数字通用盘(DVD))、或者有形地体现计算机程序16的制品。 递送机制40可以是配置用于可靠地传送计算机程序16的信号。设备10/20可以将计算机 程序16作为计算机数据信号来传播或者传输。
[0031]图2图示了另一设备20。该设备20例如可以是相机。在本发明的某些实施方式 中，设备20可以手持并且可以具有其他功能。例如，设备20可以被配置为作为移动电话、 平板计算机、游戏机和/或便携式音乐播放器进行操作。
[0032]图2中所示的设备20包括第一图像传感器部件21、第二图像传感器部件22、显示 器24以及图1中所示的设备10。元件12、14、21、22和24被操作地耦合并且可以存在任意 数目的中间元件或其组合(包括没有中间元件)。
[0033]在某些实施方式中，第一图像传感器部件21和第二图像传感器部件22是分离的 图像传感器。在其他实施方式中，第一图像传感器部件21和第二图像传感器部件22是单 个图像传感器的不同部分。
[0034]图像传感器部件21和图像传感器部件22中的每一个被配置为将光学图像转换成 电信号。图像传感器部件21和图像传感器部件22可以是任意类型的图像传感器部件。例 如，在某些实施方式中，其可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传 感器部件。
[0035]设备20可以进一步包括至少一个光学布置，其被配置为将光传至图像传感器部 件21和图像传感器部件22以使得其能够捕获图像。图像传感器部件21和图像传感器部件22和/或所述光学布置被布置使得图像传感器部件21和图像传感器部件22具有部分 重叠的视野。即，当图像传感器部件21和图像传感器部件22实质上同时捕获图像时，第一 图像传感器部件21捕获的图像中的某些但不是全部内容将出现在第二图像传感器部件22 捕获的图像中，反之亦然。
[0036]显示器24被配置为显示第一图像传感器部件21和第二图像传感器部件22捕获 的图像。显示器24可以是任意类型的显示器。例如，显示器24可以是液晶显示器(IXD)或 有机发光二极管(OLED)显示器。在某些实施方式中，显示器24是被配置为接收用户输入 的触敏显示器。
[0037]在图2中，存储器14被图示为存储重叠数据24、环境数据28和模式数据29。这 在下文将更加详细地进行描述。
[0038]图3A图示了设备20的一部分的一个示例的透视截面图。在此示例中，第一图像 传感器部件21和第二图像传感器部件22是分离的图像传感器。设备20包括容纳第一图 像传感器部件21和第二图像传感器部件22以及两个光学布置31和32的外壳109。图3 中图示的设备20的一部分可以被认为是a和b两个部分。
[0039]第一部分a包括第一图像传感器部件21和第一光学布置31。在此不例中，第一光 学布置31包括棱镜113a和多个透镜114a。第二部分b包括第二图像传感器部件22和第 二光学布置32。在此示例中，第二光学布置32包括棱镜113b和多个透镜114b。
[0040]在操作过程中，光被棱镜113a弯曲并且由透镜114a传至第一图像传感器部件21。 类似地，光被棱镜113b弯曲并且由透镜114b传至第二图像传感器部件22。
[0041]图3A图示了第一视角锥IlOa和第二视角锥110b，其中第一视角锥IlOa表示第 一图像传感器部件21的视野，以及第二视角锥IlOb表示第二图像传感器部件22的视野。 第一图像传感器部件21和第二图像传感器部件22的视野重叠。重叠的体积由图3中的参 考标号70指出，并且意味着当图像实质上同时被第一图像传感器部件21和第二图像传感 器部件22捕获时，相同图像数据(S卩，相同图像内容)中的某些将被第一图像传感器部件21 和第二图像传感器部件22两者捕获。
[0042]图3B至图3D图示了与图3A所示不同的设备20的示例。图3B图示了安装在印 刷电路板48上的第一图像传感器部件21和第二图像传感器部件22。在所示示例中，第一 图像传感器部件21和第二图像传感器部件22是不同的图像传感器。然而，在某些实施方 式中，第一图像传感器部件21和第二图像传感器部件22是单个图像传感器的不同部分。
[0043]图3C和图3D图示了位于设备20内的第一图像传感器部件21和第二图像传感器 部件22。光通过设备20的外壳中的一个或多个孔径进入设备20，并且由棱镜/镜子50引 导至第一光学器件52和第二光学器件54。光学器件52和光学器件54的形状实质上为五 棱镜52和54。每个光学器件52和54具有上表面、下表面以及五个侧面。每个光学器件 52和54将入射光的方向改变实质上90°，并且将其引导至其相应的图像传感器部件21和
22。这有图3D中的光线62和64所示。每个光学器件52和54还将光聚焦在图像传感器 部件21和22上。
[0044]图像传感器部件21和22以及印刷电路板48可以由机制49移动用于图像聚焦。 箭头68和69指示图像传感器部件21和22以及印刷电路板48的移动扩展。
[0045]虽然图3B至图3D中没有明确地示出，但是图3B至图3D示例中的图像传感器部件21和22具有与上文关于图3A示例所述相同的重叠视野。
[0046]在图3A以及图3B至图3D的示例中，第一图像传感器部件21和第二图像传感器 部件22可以被认为具有“重叠捕获区域”，其包括第一图像传感器部件21的像素的子集以 及第二图像传感器部件22的像素的子集。例如，重叠捕获区域可以包括:i)第一图像传感 器部件21用于捕获也被第二图像传感器部件22捕获的图像内容的某些但未必全部像素， 以及ii)第二图像传感器部件22用于捕获也被第一图像传感器部件21捕获的图像内容的 某些但未必全部像素。
[0047]图4图示了第一图像传感器部件21和第二图像传感器部件22的示意图示例。在 此示例中，第一图像传感器部件21和第二图像传感器部件22的每一个包括十列Cl-ClO和 十行Rl-RlO的像素。重叠捕获区域例如可以包括第一图像传感器部件21的Cl和C2列以 及第二图像传感器部件22的C9和ClO列。
[0048]指示理论上重叠捕获区域的数据可以被存储在设备10/20的存储器14中的重叠 数据26中。理论上重叠捕获区域可以指示，针对特定理论环境，第一图像传感器部件21 和第二图像传感器部件22期望用于捕获在第一图像和第二图像中均呈现的图像内容的像素。
[0049]然而，实际重叠捕获区域取决于一个或多个上下文特性可以与理论上重叠捕获区 域不同。即，实际重叠捕获区域可以取决于其中图像被设备20捕获的上下文而改变。一个 或多个上下文特性可以随时间变化。
[0050]上下文特性可以与设备20的周围环境有关。例如，上下文特性可以包括周围温度 和周围压强。周围温度的改变可以使得设备20的组件热膨胀，以及重叠捕获区域的改变。 压强的改变也可以使得重叠捕获区域的改变。
[0051]上下文特性可以包括设备20的操作模式或与其相关。例如，捕获分辨率、焦距和 图像稳定的改变可以使得重叠捕获区域改变。
[0052]在某些实施方式中，设备20可以具有固定的捕获分辨率和/或固定的焦距，并且 可以不具有图像稳定。然而，一个或多个上下文特性(诸如周围温度和/或压强)的改变可 以使得重叠捕获区域改变。
[0053]图5和图6图示了根据本发明各实施方式的流程图。本发明各实施方式的第一分 组将参考图5进行描述。
[0054]在此实施方式分组中，存储器14存储查找表，该查找表指示重叠捕获区域期望如 何取决于一个或多个上下文特性而改变。例如，多个不同的重叠捕获区域可以存储在重叠 数据26中，其中每个均与环境数据28中存储的不同环境特性(例如，不同的温度和/或压 强)以及/或者模式数据29中的不同操作模式(例如，捕获分辨率、焦距和图像稳定位置/ 状态)相关联。
[0055]查找表例如可以基于理论计算或后加工确定的经验数据。查找表中存储的不同重 叠捕获区域可以被认为是随上下文特性改变的数据。
[0056]在图5的框43处，处理器12分析由第一图像传感器部件21捕获的第一图像，以 及由第二图像传感器部件22捕获的第二图像。取决于至少一个上下文特性可以在第一图 像和第二图像上的至少一个位置发起对第一图像和第二图像的分析。
[0057]由处理器12执行的分析是图像配准过程，其中处理器12将第一图像与第二图像进行比较以确定在两者图像中呈现的内容。由处理器12执行的分析例如可以包括比较第 一图像中的数据与第二图像中的数据之间绝对差的总和。
[0058]分析的目的在于使得处理器12能够将第一图像和第二图像准确地拼接在一起以 创建更大的图像(诸如全景图像)。
[0059]在捕获第一图像和第二图像之前、之后或期间，处理器12例如可以确定一个或多 个当前上下文特性(使用来自适当传感器的输入)，诸如当前温度、当前大气压强、当前捕获 分辨率、当前焦距和/或图像稳定的当前状态/位置。处理器12继而可以将上述信息与存 储的环境数据28和/或存储的模式数据29进行比较以从重叠数据26获取相关联存储的 重叠捕获区域。
[0060]在图5的框43中，处理器12使用从存储器14中的重叠数据26获取的存储的重 叠捕获区域来分析第一图像和第二图像。存储的重叠捕获区域指示在给定已经感测到的设 备特性的情况下，实际重叠捕获区域期望所在的位置。
[0061]处理器12例如可以在第一图像和第二图像的每个图像上对应于以下像素区域的 位置发起分析，该像素区域来自存储的重叠捕获区域，期望包括也在另一图像中呈现的内 容。即，处理器12可以使用存储的重叠捕获区域作为用于分析第一图像和第二图像的“开 始点”以确定用于将第一图像和第二图像拼接在一起的经验/实际重叠捕获区域。
[0062]在图5的框44，处理器12根据其对第一图像和第二图像的分析确定针对第一图像 传感器部件21和第二图像传感器部件22的实际/经验重叠捕获区域。
[0063]经验重叠捕获区域可以包括第一图像传感器部件21的第一多个像素以及第二图 像传感器部件22的第二多个像素。本领域技术人员应当理解，经验确定的捕获区域可以不 是直线或者可以不具有直线边缘。例如，其可以是图像传感器部件21和22上的锯齿状线， 或者是图像传感器部件21和22上具有锯齿状边缘的更大面积。
[0064]在图5的框45，处理器12使用图5的框44中确定的实际/经验重叠捕获区域将 第一图像和第二图像拼接在一起以创建更大的图像(诸如全景图像)。处理器12例如可以 控制显示器24显示所创建的图像。
[0065]上文所述本发明的各实施方式使得处理器12能够快速地将图像对准并拼接在一 起。这在设备20是处于取景或摄像模式(其中每秒拼接并显示多个图像)的相机时尤其占 有优势。
[0066]本发明各实施方式的第二分组将参考图6进行描述。
[0067]在此示例中，用户提供用户输入，使得处理器12控制第一图像传感器部件21捕获 第一图像，以及控制第二图像传感器部件22捕获第二图像。第一图像和第二图像可以实质 上同时被捕获，并且可以被认为是“图像集”。
[0068]在图6的框41，处理器12分析第一图像传感器部件21和第二图像传感器部件22 捕获的图像集，以便确定第一图像传感器部件21和第二图像传感器部件22关于第一图像 和第二图像的“重叠捕获区域”，使得处理器12能够将第一图像和第二图像准确地拼接在 一起以创建更大的图像(诸如全景图像)。
[0069]处理器12执行的分析是图像配准过程，其中处理器12将第一图像与第二图像进 行比较以确定在两者图像中均呈现的内容。由处理器12执行的分析例如可以包括比较第 一图像中的数据与第二图像中的数据之间绝对差的总和。[0070]处理器12可以使用存储器中存储的重叠数据26来执行分析。例如，存储器14中 存储的重叠数据26可以包括指示针对第一图像传感器部件21和第二图像传感器部件22 的理论重叠捕获区域的数据。
[0071]处理器12可以通过在第一图像和第二图像上对应于理论重叠捕获区域中像素的 位置发起图6的框41中的分析来使用此信息，以确定在第一图像和第二图像两者中均呈现 的内容。即，处理器12使用理论重叠捕获区域作为用于分析第一图像和第二图像的“开始 点”以确定用于将第一图像和第二图像拼接在一起的经验重叠捕获区域。
[0072]在图6的框42，处理器12根据其对第一图像和第二图像的分析来确定针对第一图 像传感器部件21和第二图像传感器部件22的经验重叠捕获区域。该重叠捕获区域可以至 少临时被存储为存储器14中重叠数据26的一部分。
[0073]在某些环境中，上文所述已经在图6的框42经验确定的重叠捕获区域可以被认为 取决于至少一个上下文特性。例如，出于上文给定的原因，当第一图像和第二图像被捕获 时，经验确定的重叠捕获区域可以取决于设备20的当前环境特性(例如，温度和/或压强) 和/或当前操作模式(例如，捕获分辨率、焦距和图像稳定状态/位置)而改变。
[0074]图6的框42中确定的重叠捕获区域使得处理器12能够将第一图像和第二图像对 准并且将其准确地拼接在一起以创建更大的图像(诸如全景图像)。处理器12例如可以控 制显示器24显示所创建的图像。
[0075]在图6的框42确定针对第一图像传感器部件21和第二图像传感器部件22的重 叠捕获区域之前、期间或之后，第一图像传感器部件21和第二图像传感器部件22可以用于 分别捕获第三图像和第四图像。
[0076]在图6的框43，处理器12取决于在图6的框42的分析中确定的并且在重叠数据 26中存储的重叠捕获区域来分析第三图像和第四图像。
[0077]分析被执行以便确定第一图像传感器部件21和第二图像传感器部件22关于第三 图像和第四图像的又一重叠捕获区域，从而使得处理器12能够将第三图像和第四图像准 确地拼接在一起以创建更大的图像(诸如全景图像)。
[0078]处理器12执行的分析可以与上文关于第一图像和第二图像所述的图像配准过程 相同，只是在此实例中用于第三图像和第四图像。例如，处理器12可以将第三图像和第四 图像进行比较以确定在两者图像中均呈现的内容。
[0079]处理器12例如可以在取决于图6的框42中确定的重叠捕获区域的位置发起分 析。即，处理器12可以通过分析第三图像和第四图像中对应于先前确定的经验重叠捕获区 域中的像素的面积开始，以确定在第三图像和第四图像两者中均呈现的内容。先前确定的 经验重叠捕获区域因此提供用于分析第一图像和第二图像的“开始点”以确定用于将第三 图像和第四图像拼接在一起的经验重叠捕获区域。
[0080]在分析第三图像和第四图像时使用先前确定的经验重叠捕获区域有利地使得处 理器12能够快速地确定又一经验重叠捕获区域，这是因为重叠捕获区域的任意改变通常 相对较小。
[0081]本领域技术人员可以理解图6的框43中对第三图像和第四图像的分析在某些情 况下可以被认为取决于至少一个上下文特性。这是因为用于分析第三图像和第四图像的先 前确定的经验重叠捕获区域可以取决于至少一个上下文特性。[0082]在图6的框44，处理器12确定又一经验重叠捕获区域，并且在框45，其使用该又 一经验重叠捕获区域将第三图像和第四图像拼接在一起以创建更大的图像。处理器12可 以控制显示器24显示该更大的图像。
[0083]上文所述本发明的各实施方式使得处理器12能够将图像快速地对准并拼接在一 起。这在设备20是处于取景或摄像模式(其中每秒拼接并显示多个图像)的相机时尤其占 有优势。
[0084]在上文关于图6所述的示例中，先前确定的经验重叠捕获区域形成用于在图6的 框44中确定又一经验重叠捕获区域的开始点。备选地，该又一经验重叠捕获区域可以取决 于先前确定的经验重叠捕获区域以及理论重叠捕获区域(例如，其可以是两者的平均)。
[0085]备选地，重叠捕获区域可以是已经根据对多个图像集的分析确定的平均重叠捕获 区域或者取决于所述平均重叠捕获区域，其中每个图像集包括第一图像传感器部件21捕 获的图像以及第二图像传感器部件22捕获的图像。
[0086]处理器12可以被配置为将经验重叠捕获区域存储在重叠数据26中，并且将其与 存储器14中环境数据28中存储的特定温度或温度范围相关联。设备20还可以配备有向 处理器12提供输入的温度传感器和/或压强传感器。处理器12可以被配置为获取与感测 到的温度和/或感测到的压强对应的先前确定的经验重叠捕获区域，用于分析第一图像传 感器部件21和第二图像传感器部件22捕获的图像。
[0087]处理器12还可以被配置为将经验重叠捕获区域存储在重叠数据26中，并且将其 与存储器14中模式数据29中存储的操作模式相关联。存储的操作模式例如可以标识图像 分辨率、焦距和/或图像稳定状态/位置。
[0088]当处理器12随后确定设备20处于特定操作模式时，其可以获取与该操作模式对 应的先前确定的经验重叠捕获区域，用于分析第一图像传感器部件21和第二图像传感器 部件22捕获的图像。
[0089]对“计算机可读存储介质”、“计算机程序产品”、“有形实现的计算机程序”等或者 “计算机”、“处理器”等的引用应当被理解为不仅包括具有不同架构的计算机(诸如单/多处 理器架构和串行(冯诺依曼)/并行架构)，还包括专用电路，诸如现场可编程门阵列(FPGA)、 专用电路(ASIC)、信号处理设备以及其他处理电路。对计算机程序、指令、代码等的引用应 当被理解为包括用于可编程处理器的软件或者固件，例如，硬件设备的可编程内容，诸如用 于处理器的指令或者用于固定功能的设备、门阵列或者可编程逻辑设备的配置设置等的。
[0090]如本申请中所使用的，术语“电路”是指以下全部:
[0091](a)仅硬件实现(诸如，仅在模拟和/或数字电路中的实现)；以及
[0092](b)电路和软件(和/或固件)的组合，诸如(可应用的):(i)处理器的组合或者
(ii)一起工作以使得装置(诸如移动电话或者服务器)执行各种功能的一个或多个处理器 /软件的部分(包括一个或多个数字信号处理器)、软件以及存储器；以及
[0093](C)电路,诸如一个或多个微处理器或者一个或多个微处理器的一部分，即使在在 物理上不存在软件或者固件，其也需要软件或者固件来操作。
[0094]“电路”的这一定义应用于该术语在本申请包括任何权利要求中的全部使用。作为 另外的示例，如在本申请中使用的，术语“电路”还将覆盖仅处理器(或者多个处理器)或者 处理器的一部分及其伴随的软件和/或固件的实现。术语“电路”还将覆盖例如(如果可应用于特定权利要求元件的话)用于移动电话的基带集成电路或者应用处理器集成电路，或 者服务器、蜂窝网络设备或者其他网络设备中的类似集成电路。
[0095]图5和图6中所示的框可以表示方法中的步骤和/或计算机程序16中的代码部 分。对框的特定顺序的示出并非意味着框的期望顺序或者优选顺序，而是框的顺序和布置 可以改变。另外，可以省略某些框。
[0096]虽然已经在前述段落中参照各种示例描述了本发明的实施方式，但是应当理解， 在不脱离所要求保护的本发明的范围的情况下，可以对所给出的示例进行修改。例如，应当 理解设备20没必要具有图3A或图3B至图3D所示的配置。
[0097]当然本领域技术人员可以理解，对图4所示图像传感器部件21和22的解释仅是 提供用于说明的目的，在实践中，第一图像传感器部件21和第二图像传感器部件22中提供 的像素数目可以更大并且可以是百万级的。
[0098]以上说明中描述的特征可以在除了明确描述的组合之外的组合中使用。
[0099]虽然已经参照特定特征描述了功能，但是这些功能可以由描述的和没有描述的其 他特征来执行。
[0100]虽然已经参照特定实施方式描述了特征，但是这些特征还可以存在于描述过或者 未描述的其他实施方式中。
[0101]同时，以上说明书尽力关注于本发明的确信特别重要的那些特征，应当理解，不管 是否特别强调， 申请人:要求保护参照附图和/或附图中示出的此处的任何可专利特征或者 特征的组合。
【权利要求】
1.一种方法，包括:分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据对所述第一图像和所述第二图像的所述分析确定针对第一图像部分和第二图像部分的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
2.根据权利要求1所述的方法，其中所述第一图像和所述第二图像实质上同时被捕-M-犾。
3.根据权利要求1或2所述的方法，其中所述第一图像传感器部件包括第一像素集，所述第二图像传感器部件包括第二像素集，并且所述重叠捕获区域包括:所述第一像素集的子集和所述第二像素集的子集。
4.根据权利要求3所述的方法，其中所述第一像素集的所述子集捕获第一图像内容作为所述第一图像的一部分，以及所述第二像素集的所述子集捕获所述第一图像内容作为所述第二图像的一部分。
5.根据先前权利要求中的任一项所述的方法，其中所述图像传感器部件与所述第二图像传感器部件是分离的。
6.根据先前权利要求中的任一项所述的方法，其中所述至少一个上下文特性与设备的操作模式和/或设备的周围环境有关。
7.根据先前权利要求中的任一项所述的方法，其中使用随所述至少一个上下文特性改变的数据执行所述分析。
8.根据权利要求7所述的方法，其中所述数据是所述第一图像传感器部件与所述第二图像传感器部件的先前通过分析一个或多个图像集确定的重叠捕获区域，其中图像集包括由所述第一图像传感器部件捕获的图像以及由所述第二图像传感器部件捕获的图像。
9.根据权利要求8所述的方法，其中所述先前确定的重叠捕获区域是根据对多个图像集的分析确定的平均重叠捕获区域，或者取决于根据对多个图像集的分析确定的平均重叠捕获区域。
10.根据先前权利要求中的任一项所述的方法，其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
11.根据先前权利要求中的任一项所述的方法，其中使用处于取景模式或摄像模式的相机来捕获所述第一图像和所述第二图像。
12.一种包括指令的计算机程序，当由至少一个处理器执行所述指令时，使得执行先前权利要求中的任一项所述的方法。
13.一种设备，包括用于执行根据权利要求1至11中的一个或多个所述的方法的装置。
14.一种设备，包括:至少一个处理器；以及存储有包括指令的计算机程序的至少一个存储器，被配置为与所述至少一个处理器一起使得所述设备至少执行:分析第一图像和第二图像 ，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
15.根据权利要求14所述的设备，其中所述第一图像和所述第二图像实质上同时被捕获。
16.根据权利要求14或15所述的设备，其中所述第一图像传感器部件包括第一像素集，所述第二图像传感器部件包括第二像素集，并且所述重叠捕获区域包括:所述第一像素集的子集和所述第二像素集的子集。
17.根据权利要求16所述的设备，其中所述第一像素集的所述子集捕获第一图像内容作为所述第一图像的一部分，以及所述第二像素集的所述子集捕获所述第一图像内容作为所述第二图像的一部分。
18.根据权利要求14至17中的任一项所述的设备，其中所述图像传感器部件与所述第二图像传感器部件是分离的。
19.根据权利要求14至18中的任一项所述的设备，其中所述至少一个上下文特性与所述设备的操作模式和/或所述设备的周围环境有关。
20.根据权利要求14至19中的任一项所述的设备，其中使用随所述至少一个上下文特性改变的数据执行所述分析。
21.根据权利要求20所述的设备，其中所述数据是所述第一图像传感器部件与所述第二图像传感器部件的先前通过分析一个或多个图像集确定的重叠捕获区域，其中图像集包括由所述第一图像传感器部件捕获的图像以及由所述第二图像传感器部件捕获的图像。
22.根据权利要求21所述的设备，其中所述先前确定的重叠捕获区域是根据对多个图像集的分析确定的平均重叠捕获区域，或者取决于根据对多个图像集的分析确定的平均重置捕获区域。
23.根据权利要求14至22中的任一项所述的设备，其中所述重叠捕获区域取决于针对所述第一图像传感器和所述第二图像传感器的理论重叠捕获区域。
24.根据权利要求14至23中的任一项所述的设备，其中使用处于取景模式或摄像模式的相机来捕获所述第一图像和所述第二图像。
25.根据权利要求14至24中的任一项所述的设备，其中所述设备是包括所述第一图像传感器和所述第二图像传感器的相机。
26.—种设备,包括:用于分析第一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性； 用于根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及用于使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置。
27.一种存储有包括指令的计算机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行:分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获，其中所述第一图像和所述第二图像上的发起对所述第一图像和所述第二图像的所述分析的至少一个位置取决于至少一个上下文特性；根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
28.根据权利要求27所述的非瞬态计算机可读介质，其中所述第一图像和所述第二图像实质上同时被捕获。
29.根据权利要求27或28所述的非瞬态计算机可读介质，其中所述第一图像传感器部件包括第一像素集，所述第二图像传感器部件包括第二像素集，并且所述重叠捕获区域包括:所述第一像素集的子集和所述第二像素集的子集。
30.根据权利要求29所述的非瞬态计算机可读介质，其中所述第一像素集的所述子集捕获第一图像内容作为所述第一图像的一部分，以及所述第二像素集的所述子集捕获所述第一图像内容作为所述第二图像的一部分。
31.根据权利要求27至30中的任一项所述的非瞬态计算机可读介质，其中所述图像传感器部件与所述第二图像传感器部件是分离的。
32.根据权利要求27至31中的任一项所述的非瞬态计算机可读介质，其中所述至少一个上下文特性与设备的操作模式和/或设备的周围环境有关。
33.根据权利要求27至32中的任一项所述的非瞬态计算机可读介质，其中使用随所述至少一个上下文特性改变的数据执行所述分析。
34.根据权利要求33所述的非瞬态计算机可读介质，其中所述数据是所述第一图像传感器部件与所述第二图像传感器部件的先前通过分析一个或多个图像集确定的重叠捕获区域，其中图像集包括由所述第一图像传感器部件捕获的图像以及由所述第二图像传感器部件捕获的图像。
35.根据权利要求34所述的非瞬态计算机可读介质，其中所述先前确定的重叠捕获区域是根据对多个图像集的分析确定的平均重叠捕获区域，或者取决于根据对多个图像集的分析确定的平均重叠捕获区域。
36.根据权利要求27至35中的任一项所述的非瞬态计算机可读介质，其中所述重叠捕获区域取决于针对所述第一图像传感器部件和所述第二图像传感器部件的理论重叠捕获区域。
37.一种方法,包括:分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；取决于根据所述对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
38.一种设备,包括:用于分析一个或多个图像集的装置，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；用于根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；用于取决于根据对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像的装置，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；用于根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域的装置；以及用于使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起的装置。
39.一种设备,包括:至少一个处理器；以及存储有包括指令的计算机程序的至少一个存储器，被配置为与所述至少一个处理器一起使得所述设备至少执行:分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；·取决于根据对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
40.一种存储有包括指令的计算机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行:分析一个或多个图像集，其中图像集包括由第一图像传感器部件捕获的第一图像以及由第二图像传感器部件捕获的第二图像；根据所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；取决于根据对所述一个或多个图像集的所述分析确定的所述重叠捕获区域分析第三图像和第四图像，所述第三图像由所述第一图像传感器部件捕获并且所述第四图像由所述第二图像传感器部件捕获；根据对所述第三图像和所述第四图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的另一重叠捕获区域；以及使用所述另一重叠捕获区域将所述第三图像和所述第四图像拼接在一起。
41.一种方法，包括:分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像部分和所述第二图像部分的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
42.一种设备，包括:至少一个处理器；以及存储有包括指令的计算机程序的至少一个存储器，被配置为与所述至少一个处理器一起使得所述设备至少执行:分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
43.一种设备，包括:用于分析第一图像和第二图像的装置，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；用于根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域的装置；以及 用于使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起的装置。
44.一种存储有包括指令的计算机程序的非瞬态计算机可读介质，被配置为与至少一个处理器一起使得至少执行:分析第一图像和第二图像，所述第一图像由第一图像传感器部件捕获并且所述第二图像由第二图像传感器部件捕获；根据对所述第一图像和所述第二图像的所述分析确定针对所述第一图像传感器部件和所述第二图像传感器部件的重叠捕获区域；以及使用所述重叠捕获区域将所述第一图像和所述第二图像拼接在一起。
【文档编号】H04N13/00GK103597810SQ201180071175
【公开日】2014年2月19日 申请日期:2011年5月27日 优先权日:2011年5月27日
【发明者】H·谢尔林 申请人:诺基亚公司