用于校准成像装置的方法及设备的制造方法
【技术领域】
[0001] 本发明的实施例涉及成像装置，且确切地说，涉及用于包含一个以上成像传感器 的成像装置的校准的方法及设备。
【背景技术】
[0002] 过去十年，数字成像能力已经集成到各种各样的装置中，所述装置包含数码相机 及移动电话。近年来，用这些装置来捕获立体图像的能力已经在技术上成为可能。装置制 造商通过引入集成了多个数字成像传感器的装置来作出响应。多种多样的电子装置，包含 移动无线通信装置、个人数字助理（PDA)、个人音乐系统、数码相机、数字记录装置、视频会 议系统及其类似者利用多个成像传感器向其用户提供多种能力及特征。这些不仅包含立体 (3D)成像应用，例如3D照片及视频或电影，而且包含较高动态范围成像及全景成像。
[0003] 包含这种能力的装置可以包含多个成像传感器。举例来说，一些产品将两个成像 传感器集成在数字成像装置内。当捕获立体图像时，这些传感器可以沿着水平轴对齐。每 一相机可以不仅基于数字成像装置的位置，而且基于成像传感器在相机上的物理位置及定 向捕获场景的图像。由于一些实施方案提供可以水平偏移的两个传感器，因此通过每一传 感器捕获的图像还可以在水平定向上反映两个传感器之间的差异。在水平定向上通过传感 器捕获的两个图像之间的此种差异提供两个图像之间的视差。当用户观察由两个图像组成 的立体图像对时，人类大脑基于两个图像之间的视差感知图像内的深度。
[0004] 在一些环境中，包含多个成像传感器的成像装置的主要用途仍可以是捕获传统的 二维快照及电影。在这些环境中，双成像传感器针对立体图像及电影的使用可以被认为是 不太频繁使用的便利性特征。对于这些用户，可以设计提供一个具有相对高的分辨率的成 像传感器的成像装置。可以采用此第一成像传感器来捕获二维快照及电影。由于可以仅使 用一个成像传感器来捕获二维图像，因此可以使用一个相对高分辨率的传感器提供高质量 的二维图像。成像装置还可以包含第二成像传感器，所述第二成像传感器以低于第一成像 传感器的分辨率捕获图像。此第二成像传感器可以与第一成像传感器结合使用以捕获立体 快照及电影的图像对。由于这些立体图像对包含以不同分辨率捕获的两个图像，因此成像 装置内的额外图像处理可以补偿通过两个成像传感器捕获的图像之间的差异，以向用户提 供令人满意的立体快照或电影。
[0005] 当与设计有两个高分辨率传感器的成像装置相比时，使用具有不同分辨率的两个 成像传感器可以降低成像装置的成本。成本降低不仅可以归因于第二较低分辨率成像传 感器的较低成本，而且还归因于用于较低分辨率传感器的较低成本的辅助电子设备，包含 (例如）电源电路及图像处理电路。
[0006] 当具有不同分辨率的成像传感器用于捕获立体图像对时，通过成像装置采用的图 像处理方法可以补偿不对称的传感器分辨率以及可能存在于两个成像传感器之间的其它 差异。举例来说，这些方法可以补偿传感器几何结构、亮度及颜色响应方面的差异。另外， 补偿不同传感器的电子定时及同步方面的差异也可能是必需的。相机校准方法还可以适用 于更好地校准不同成像传感器。
【发明内容】
[0007] 本发明的实施例中的一些实施例可以包含校准立体成像装置的方法。所述方法包 含：通过第一图像传感器捕获所关注场景的第一图像，所述第一图像传感器具有第一分辨 率、本征参数的第一集合及非本征参数的第一集合；通过第二图像传感器捕获所述所关注 场景的第二图像，所述第二图像传感器具有不同于所述第一分辨率的第二分辨率、本征参 数的第二集合及非本征参数的第二集合，其中所述第一图像及第二图像包括立体图像对； 至少部分地基于所述本征及非本征参数确定参考成像传感器的正规化焦距；基于所述正规 化焦距调整校准矩阵；及基于所述校准矩阵调整非参考图像。在一些实施例中，所述本征参 数包含分辨率及视场。在一些实施例中，所述非本征参数包含相机位姿参数。在这些实施 例中的一些实施例中，所述相机位姿参数包含侧倾、纵倾及所述第一成像传感器与所述第 二成像传感器之间的侧滚偏移。在一些实施例中，所述参考成像传感器为所述第一成像传 感器且所述非参考图像为所述第二图像。
[0008] 揭示的另一方面是一种用于捕获立体图像对的设备。所述设备包含：第一成像传 感器，其具有第一分辨率、第一本征参数及第一非本征参数；第二成像传感器，其具有不同 于所述第一分辨率的第二分辨率、第二本征参数及第二非本征参数；传感器控制器，其可操 作地耦合到所述第一成像传感器及所述第二成像传感器；处理器；存储器，其可操作地耦 合到所述处理器并且存储：传感器控制模块，其经配置以通过第一图像传感器捕获所关注 场景的第一图像并且通过第二图像传感器捕获所述所关注场景的第二图像，其中所述第一 图像及第二图像包括立体图像对；焦距确定模块，其经配置以至少部分地基于所述本征及 非本征参数确定参考成像传感器的正规化焦距；校准矩阵调整模块，其经配置以基于所述 正规化焦距调整校准矩阵；及投影校正模块，其经配置以基于所述校准矩阵调整非参考图 像。
[0009] 在一些实施例中，所述本征参数包含分辨率及视场。在一些实施例中，所述非本征 参数包含相机位姿参数。在一些实施例中，所述相机位姿参数包含侧倾、纵倾及所述第一成 像传感器与所述第二成像传感器之间的侧滚偏移。
[0010] 揭示的另一方面是一种用于捕获立体图像对的设备。所述设备包含：用于通过第 一图像传感器捕获所关注场景的第一图像的装置，所述第一图像传感器包含第一分辨率、 第一本征参数及第一非本征参数；用于通过第二图像传感器捕获所述所关注场景的第二图 像的装置，所述第二图像传感器具有第二分辨率、第二本征参数及第二非本征参数，其中所 述第一图像及第二图像包括立体图像对；用于至少部分地基于所述本征及非本征参数确定 参考成像传感器的正规化焦距的装置；用于基于所述正规化焦距调整校准矩阵的装置；及 用于基于所述校准矩阵调整非参考图像的装置。
[0011] 揭示的另一方面是一种存储处理器指令的非暂时性计算机可读媒体，当执行时， 所述处理器指令使处理器执行以下所述方法：通过第一图像传感器捕获所关注场景的第一 图像，所述第一图像传感器具有第一分辨率、第一本征参数及第一非本征参数；通过第二图 像传感器捕获所述所关注场景的第二图像，所述第二图像传感器具有第二分辨率、第二本 征参数及第二非本征参数，其中所述第一图像及第二图像包括立体图像对；至少部分地基 于所述本征及非本征参数确定参考成像传感器的正规化焦距；基于所述正规化焦距调整校 准矩阵；及基于所述校准矩阵调整非参考图像。在一些实施例中，所述本征参数包含分辨率 及视场。在一些实施例中，所述非本征参数包含相机位姿参数。在一些实施例中，所述相机 位姿参数包含侧倾、纵倾及所述第一成像传感器与所述第二成像传感器之间的侧滚偏移。
【附图说明】
[0012] 将在下文中结合附图来描述所揭示方面，提供附图是为了说明但不限制所揭示方 面，其中相同符号表示相同元件。
[0013] 图1是展示包含立体成像装置的成像环境的一个方面的框图，所述立体成像装置 包含两个成像传感器。
[0014] 图2是实施图像捕获系统的至少一个操作性实施例的成像装置的框图。
[0015] 图3是用于调整立体图像对的过程的一个实施例的流程图。
[0016] 图4A是传感器控制器及第一和第二成像传感器的框图。
[0017] 图4B是传感器控制器的框图。
[0018] 图4C是说明使用所揭示的I2C路由器的实施例将两个命令发送到不对称成像传 感器的时序图。
[0019] 图5是使用共享SCL线将两个不同命令发送到两个成像传感器的过程的一个实施 例的流程图。
【具体实施方式】
[0020] 本发明的实施例涉及包含用于捕获立体图像对的两个不同大小或不同分辨率的 图像传感器的方法及系统。为了向用户提供良好质量的立体图像，所述系统调整用于所述 两个不同图像传感器，如下文所描述。举例来说，在一个实施例中，所述系统可以包含具有 相对低数目的百万像素的第一传感器及具有相对高数目的百万像素的第二传感器。另外， 在一个实施例中，所述系统可以包含以相对低的分辨率捕获图像的第一传感器及以相对高 的分辨率捕获图像的第二传感器。如下文所使用，这两个不同传感器被称作"不对称成像传 感器"。
[0021] 补偿成像装置中的不对称成像传感器之间的差异可以通过下文描述的图像处理 方法执行。在一些实施方案中，这些图像处理方法可以通过成像装置本身执行。举例来说， 在一个实施例中，通过一对不对称传感器捕获的图像的观测几何结构经调整，使得分辨率、 视场及焦距在通过不对称成像传感器捕获的图像之间是相等的。
[0022] 为了在通过不对称成像传感器捕获的图像之间实现基本上相同的分辨率，一些实 施方案可以合并来自第一较高分辨率成像传感器的第一图像中的像素数据以减小第一图 像数据的分辨率。在第一图像中的数据被合并之后，第一图像的分辨率可以基本上等于通 过较低分辨率成像传感器捕获的第二图像的分辨率。
[0023] 在产生具有比通过第二较低分辨率图像传感器捕获的第二图像大四倍的分辨率 的第一图像的实例实施方案中，通过第一成像传感器捕获的像素值可以使用2X2分组过 程合并。在此过程中，来自第一高分辨率传感器的四个（4)像素可以合并成单个较大像素， 从而减少通过第一成像传感器产生的图像数据中的像素的总数目。通过合计或分组通过较 高分辨率图像传感器产生的图像数据，通过第一成像传感器捕获的图像的分辨率可以被调 整成基本上等于通过第二较低分辨率成像传感器产生的图像的分辨率。
[0024] 除分组图像数据之外，一些其它实施方案可以裁剪通过较高分辨率的第一成像传 感器产生的第一较高分辨率图像，使得第一图像数据具有与通过较低分