专利名称：用于全景照相机系统的参数校准的制作方法
用于全景照相机系统的参数校准
站旦冃豕
因特网通过允许雇员、厂商以及消费者通过电子邮件和/或音频(电话会议)技术沟通和进行交易促进了更加分散的商业环境。但是，这种信息交换机制缺乏能够提供更有效以及多产的环境的更加私人化的面对面交流的好处。
现有的视频会议系统只提供了参与者工作环境的有限的视角，并且例如当会议需要在白板上绘画或做草图时甚至会更加低效。此外，随着越来越多的用户上线并且传输与多媒体内容相关联的大文件，现有网络的可用带宽正在变得超负荷。因此，企业正在不断地寻找用于视频通信的更有效的手段。
用于广角观看的全景照相机不仅找到了对于休闲的应用，而且找到了对于个人原因、家庭安全、旅游、游戏应用程序、以及商业会议的应用。关于商业会议，全景照相机能够被用来不仅通过记录会议环境的视频图像，而且还通过提供用于记录音频输入的话筒阵列来记录以及广播会议，从而观看者能够看到和听到正在发生的大部分事情。
多照相机(或全向的)全景照相机系统需要校准来最终能够将单独的图像缝合在一起以形成无缝的全景图像。 一种常规的技术使用通过学习从照相机到全景图像的任意扭曲图像的蛮力方法。这种校准技术虽然非常普通，但是难以设置，它包括非常大(达到兆字节数量级)的非参数文件，并且因花费相对较长的时间(例如一个小时或更多时间)来完成，而同时很少或者几乎不向制造商提供关于照相机结构(例如镜头/反射镜对齐)的反馈，而影响了正在制造的产品。
概述
以下给出简单概述以便于提供对于所公开的本发明的一些方面的基本理解。本概述不是广泛的总览，且不旨在标识出关键/重要元素，也不旨在描绘其范围。其唯一的目的是以一种简单的形式给出一些概念以作为将在后面给出的更详细描述的序言。
所公开的体系结构提供了用于从参数上表征和校准全景照相机和/或多全景照相机系统的技术。空间扭曲模型描述了如何将来自图像传感器的像素映射到全景图像上。然后，参数模型仅仅用几个参数来描述这一映射，从而提供了一种得到用于处理和存储的小得多的文件的数据压縮形式。通过在参数模型中同时包括理想全景扭曲模型和制造校准数据，校准也解决了制造误差(例如镜头对齐、反射镜对齐、焦距等)。该参数模型被存储在照相机头的存储器中以供校准过程访问。校准技术能够包括接合以下参
数修正模型中的一个或多个对理想全景扭曲模型(Z)(例如Zemax模型)的处理照相机内单应性、照相机间单应性、以及照相机内仿射。通过在
照相机头中包括参数模型，在制造商处能够更快地执行校准和设置，并且还向制造商提供了帮助提高质量和产量的有用数据。
一种替代的混合校准方法在测试模式的缝区域处使用子像素校准并且在别处使用参数模型。该混合方法在缝附近使用多项式，但是在其它区域
仍然使用单应性(H)和制造模型Z (用于H + Z)。这是一种参数性方法，因为多项式是参数性的。换言之，它是一种提高建模准确度但是仍然保持参数性建模的优点的双参数性方法。
可以采用低阶多项式扭曲来代替单应性。或者，能够使用大网格尺寸上的测得的边框值，而不是多项式扭曲。
校准系统配置能够包括用于为每台照相机进行空间模式测试的固定照相机系统以及用于旋转多照相机系统通过单个空间模式的旋转校准系统配置。
在一个实现中，所建模的校准参数由总计将近160字节的大约40个数值组成。因此，在校准模型中减小的大小允许将参数存储在照相机头中廉价的非易失性存储器中。这使得照相机制造商能够在不需要将校准文件存储在照相机外部的存储器(例如在基础稳定子系统中)的情况下创建自含式照相机以及校准数据。此外，这简化了系统组件，并且降低了总成本。此外，如果需要照相机更换，则以最优方式加速更换和照相机操作，因为正确的校准文件总是与照相机一起维护的。
作为支持，此处公开并要求保护的体系结构包括便于全景照相机的校准的系统。提供了用于生成与照相机相关联的数据的参数模型的模型组件。存储组件便于与照相机相关联地存储参数模型，而校准元件使用该参数模型来对照相机进行空间校准。
为了实现前述以及相关的目的，此处结合以下描述以及附图描述了所公开的本发明的某些说明性方面。然而，这些方面仅指示了能采用此处公开的原理的各种方法中的几种，并且旨在包括所有这样的方面及其等效方面。当结合附图考虑以下详细描述时，其它优点和新颖特征将变得明显。
附图简述
图1示出了便于在制造者处校准全景照相机的系统。图2示出了便于照相机校准的照相机系统。图3示出了校准照相机系统的方法。
图4示出了与基础稳定子系统协同安装以便进行全向视频处理的多全景照相机系统。
图5示出了能够被用来进行全景照相机校准的多种校准方法。
图6示出了首先将图像扭曲成直线作为将图像映射到全景空间的一部
分的照相机内单应性过程。
图7示出了根据照相机内单应性的校准的方法。
图8示出了通过在原始图像上执行单应性来获得直线图像的照相机内
参数校准的方法。
图9示出了用单应性将三个邻接的照相机图像缝合在一起的放大的视图。
图IO示出了使用两个单应性来校准多传感器照相机的方法。图11示出了用于单个全景照相机校准系统的示例性校准系统配置。图12示出了使用多个测试模式和旋转台的用于多传感器照相机校准的示例性校准系统配置。图13示出了仅使用两个校准模式的用于以圆柱方向排列的五台照相 机系统的另一个校准配置。
图14示出了用于空间校准的示例性模式。
图15示出了用于依照所公开的体系结构的校准和使用的示例性全景 摄像机的框图。
详细描述
现在将参考附图来描述本发明，在全部附图中，使用相同的标号来指 示相同的元素。在下面的描述中，出于解释的目的，阐明了众多具体细节 以提供对本发明的全面理解。但是显然，本发明能够在没有这些具体细节 的情况下实现。在其它情况中，用框图形式示出了公知结构和设备以便于 描述它们。
所公开的体系结构提供了一种用于从参数上表征并校准全景照相机和 /或多全景照相机系统的技术。生成包括理想全景扭曲模型(即Z)的参数 模型，该扭曲模型是为所有照相机所共用的数据(例如，通过制造)以及 专用于所制造的每台照相机的数据(制造修正数据)，从而解决了与至少 该特定照相机的制造相关的制造问题。之后，该参数模型被存储在照相机 头的存储器中以供校准过程在制造时或其后的任意时间访问。
首先参考附图，图1示出了便于在制造商处校准全景照相机的系统
100。提供了用于生成与全景照相机系统108 (例如， 一个或多个全景照相 机)相关联的制造数据106的参数模型104的模型组件102。存储组件110 便于存储与照相机系统108相关联的参数模型104，而校准组件112使用该 参数模型104来对照相机系统108进行空间校准。
模型组件102能够接收并处理由制造商开发的理想全景扭曲模型，并 且便于生成一个或多个修正模型(例如，照相机间单应性、照相机内单应 性、以及仿射模型)，这一个或多个修正模型与制造数据模型106的组合 处理提供了参数模型104以供校准组件112对照相机系统108进行参数校 准。参数模型104然后能够作为大小比制造商数据模型106小得多的文件 被存储在照相机头上的存储组件110 (例如，非易失性存储器)中。因此，这一校准参数模型信息一直留在照相机中以供制造阶段之后任何需要的过 程快速且容易地访问(例如，由最终用户)。
图2示出便于照相机校准的更详细的照相机系统200。系统200包括 具有用于存储参数模型206的照相机存储组件204 (例如，诸如EEPROM 或闪存等非易失性存储器)的全景照相机202，该参数模型206部分地包括 理想全景扭曲模型以及与照相机202的制造相关联的制造校准信息。照相 机202还可以包括用于捕捉图像并且可任选地用于传感其它所需信息(例 如，音频、光照等)的一个或多个传感器208。照相机基础系统210包括用 于存储制造数据(用Z表示)的基础存储器212，以及用于从组合Z + H中 生成非参数缝合表的代码。可任选地，照相机202可以包括访问存储组件 204来检索并处理至少用于空间校准过程(例如，使用垂直缝合模式)的参 数模型206的校准组件214。
照相机202可以是用于捕捉多个独立图像并便于生成全景视图的静止 全景照相机。
通过将参数模型216包括在照相机头的存储组件204中，在制造商处 能够更块地执行校准和设置，并且还能向制造商提供帮助提高质量和产量 的有用数据。
在一个实现中，被建模的校准参数包括总计将近160字节的大约40个 值，而不像传统应用需要330K个数字(总计大约1.3MB)。因此，在校准 参数中减小的大小允许参数被存储在照相机头中廉价的非易失性存储器中 (例如，EEPROM或闪存)。这使得照相机制造商能够创建自含式照相机 和校准数据而不要求将校准稳健存储在照相机外部的存储器(例如，在基 础稳定子系统)中。这进一步简化了系统组件，并且降低了总成本。此外， 如果需要照相机更换，则可以用最优的方式来加速更换和照相机操作，因 为正确的校准文件总是与照相机一起维护的。
每台照相机的校准组件208能够被配置为例如在开机时和/或在照相机 操作期间周期性地自动启动。或者，每台照相机的校准组件能够从中央控 制组件(未示出)处接收启动对于该特定照相机的校准的一个或多个命令。 这些仅仅是能够被使用的校准控制的几个例子，并且不决不被解释为限制性的。
图3示出了校准照相机系统的方法。尽管出于解释简单的目的，此处 例如以流图或流程图形式所示的一个或多个方法被示出并描述为一系列动 作，但要理解和意识到，本发明不受动作的次序限制，因为根据本发明， 某些动作可以按与所示并描述的不同的次序和/或与其它动作同时发生。例 如，本领域的技术人员将理解和意识到，方法可被替换地表示为一系列相 关的状态或事件，诸如用状态图。此外，并非不所有示出的动作都是执行 依照本发明的方法所必需的。
在300处，接收与全景照相机相关联的已知全景扭曲模型(包括具有
制造误差的空间映射数据)。在302处，生成用于修正制造误差的照相机 模型和修正模型两者的参数模型。在304处，将参数模型存储在照相机头 中的存储器中。在306处，通过从存储器中访问参数模型并处理该参数模 型来空间地校准照相机。
图4示出了与基础稳定子系统402协同安装以便进行全向视频处理的 多全景照相机系统400 (例如，两台照相机的系统)，基础子系统402还包 括用于存储制造数据误差的照相机模型的存储器404。此处，第一照相机 406包括用于存储至少在参数上对照相机建模的第一参数模型410以及关 于该第一照相机406的制造数据的第一存储组件408，以及多个传感器412。
类似地，第二照相机414包括用于存储至少在参数上对照相机建模的 第二参数模型418以及关于该第二照相机414(并且能够被访问以在校准阶 段执行)的制造数据的第二存储组件416，以及多个传感器420。
在该具体实现中，照相机(406和414)能够同时或者单独地进行校准。 应当意识到，校准控制能够以任何需要的方式来配置。
图5示出了能够被用来进行参数照相机校准的多种校准方法500。在 一种方法中，使用了单应性。单应性是同一场景的两个照相机视点之间的 平面映射。换言之，在视频处理的上下文中，目标是找出视频序列中的任 何两个图像之间的单应性，并且可以使用连续帧之间的点对应关系来定义 这些变换。点对应关系生成的过程可被完全自动化。
第一种方法502是通过首先使用全景扭曲模型将图像扭曲成直线表示的照相机内单应性。第二种方法504是通过在图像扭曲之前执行单应性的
对照相机内单应性的第一方法502的变型。第三种方法506是通过估计同 时最小化所有照相机的缝合误差的单应性的照相机间单应性。第四种方法 508是照相机内仿射模型，其中仿射变换是保持直线和平行性(例如，将平 行线映射到平行线)的变换。
第五种方法510是使用通用(非参数)扭曲的缝附近的子像素(例如， 0.1像素)校准。该方法在Z模型加上单应性修正是真实照相机的准确模型 的情况下提供缝附近的子像素校准。第六种方法512是在缝处或附近使用 非参数通用扭曲(例如，四边形到矩形)而在别处使用参数模型的混合方 法。这一混合方法具有参数模型的所有优点，而且它对于来自照相机模型 的镜头失真或其它偏差是非常稳健的。第六种方法使用垂直以及水平多项
式也可以是参数性的，其中的交点是目标中的角点。也可以采用此处没有 描述的其它方法。
可利用低阶(例如，3阶、5阶)多项式扭曲而非单应性。这是另一种 参数方法。此外，当使用大网格尺寸时，能够使用边框上的测得的(平滑 的)的值。
照相机内单应性的第一种方法502首先将图像扭曲成直线表示。在该 第一种方法中，校准过程确定将图像点^,(对于照相机c和点/)映射到全 景图像点^,的映射函数T^，如由以下三个关系式表示的
图6示出了首先将图像扭曲为直线作为将图像映射到全景空间的一部 分的照相机内单应性过程。如图所示，初始图像600T^能够通过首先经由 变换操作Z将图像600扭曲成直线图像602,然后使用单应性(A)进一
步将直线图像602扭曲成全景图像604来逼近。直线映射是Z，并且能够 由用于照相机的光学设计的模型工具(例如，ZEMAX开发公司的ZEMAX) 来提供。例如，单应性A解决了制造误差以及未对准。新映射用等式(1)来表示
其中A，,是&,的同质等价物。
设^是Z(^,)的同质等价物
(1)
从而
设A是一列行向:
<formula>formula see original document page 12</formula>
(1)中化的解由下式给出
<formula>formula see original document page 12</formula>
上式可以被写为
<formula>formula see original document page 12</formula>
A的解是对应于最小特征值的特征向量，该最小特征值可以通过取4做
的奇异值分解(SVD)来确定。SVD是处理或者是奇异的，或者在数值上 非常接近奇异的方程组或矩阵，并且允许诊断给定矩阵中的问题且还提供 数值答案的一组技术。解决这个问题的关键是大部分点p位于缝上，从而 该解决方案最小化了缝附近的建模误差，这导致了更无缝的全景图像。
图7示出了根据照相机内单应性来校准的方法。在700处，启动通过 照相机内单应性的参数校准。在702处，启动对映射函数T^的计算。在704
处，将初始图像扭曲成直线图像。在706处，使用单应性将直线图像进一 步扭曲成全景图像。在708处，完成对映射函数M的计算以及参数校准。 注意到该第一种方法502可以反转单应性和扭曲的次序，从而变为第 二种方法504:
该第二种方法具有单应性现在能够在镜头扭曲图像之前对照相机反射镜中的旋转和倾斜更好地建模的优点。但是，由于Z是非线性的，求解变 得更困难，并且现在应该应用迭代方法而不是闭合式线性方法。因此，图8 示出了通过在初始图像上执行单应性来得到直线图像的照相机内参数校准
的方法。在800处，启动通过照相机内单应性的参数校准。在802处，启 动对映射函数M。的计算。在804处，使用单应性/Z将初始图像变换成直线
图像。在806处，使用Z变换将直线图像进一步扭曲成全景图像。在808
处，完成对映射函数M的计算以及参数校准。
为了使用单应性来生成新的校准文件，为网格点A,找到& ,:
gc,,-z-'(/d)
上述照相机内方法为每台照相机独立地优化了单应性。另一种替换的 方法是图5中估计同时为所有照相机最小化缝合误差的单应性的第三种方 法506。这个问题更难解决，因为现在是一个40维的问题，而非原来的5 个8维的问题。但是，如果考虑缝合误差，则高方法更有可能给出更好的 结果。
两台照相机间的基本约束可被定义为
Hd,' = Hi,,.
这可以展开为下式
这是非线性优化问题并且可以使用迭代技术。图9示出了用单应性将
三个邻接的照相机图像缝合在一起的放大的视图。
使用图5中的该第三种方法506的校准可以在没有任何测试模式的情
况下自动执行。该第三方法506最大化了重叠区域中的图像相关来确定校准参数。但是，所学习的单应性将会隐式地使用目标距离，所以不应使用 背景目标(例如，墙)。能够被理想地用于校准的目标是能够用MPD (多 人检测)验证的围在会议桌边上的人。使用这种方法，可以持续地更新校 准来为将要在其上放置照相机系统的各种桌子尺寸进行优化。
比单应性更简单的修正是保持平行线的仿射模型(即图5中的第四种
方法50S)。仿射矩阵4的解可以由下式给出。<formula>formula see original document page 14</formula>
可以用许多不同的程序来求解4。注意到如果在y坐标上存在系统偏
斜，则如果使用单应性就可以修正该偏斜。
仿射模型的一种非常有用的应用是诊断照相机制造。具体而言，矩阵4
是旋转、非各项同性縮放以及平移的合成，表示如下
'i 0、
f 1
对于该照相机:
1.07100.0056 0、 -0.0038 0.9948 0 -42.8032 3.5586 1
旋转矩阵可以使用SVD分解旋转与縮放来分析。对于该照相机， 6> = 0.26度，& =1.0710，且 =0.9948 。平移为^ =—42.8032且,少=3.5586像素。
一种校准配置使用用于校准J照相机系统的J校准模式，其中J是正整 数。例如，对于一个5台照相机的全向视频照相机校准系统需要5个模式 (见图12)。此外，这一系统需要更大的用于设置的覆盖区域。
校准系统配置可以包括用于为每台照相机执行空间模式测试的固定照 相机系统，以及用于旋转单个或多全景照相机通过单个空间模式或多个测 试模式的旋转校准系统配置。图10示出了使用两个单应性来校准多传感器照相机的方法。在1000
处，接收到全景扭曲模型Z。在1002处，按以下方式从参数上将单应性^ 和A与Z组合以进行校准p-H"Z(H2(q))。这被表示为A+Z + 7^模型。
图11示出了用于单个全景照相机校准系统的示例性校准系统配置 1100。此处，单个全景照相机(表示为C)被安装在夹持机构上。空间测 试模式被合适地定位在照相机前距离为《的位置以便校准。该距离复制了
在工作设置下通常在照相机与目标之间经历的距离。
图12示出了使用多个测试模式和旋转台的用于多传感器照相机的示
例性校准系统配置1200。此处，单个全景照相机(表示为C)被安装在一
旋转台(表示为RT)上，该旋转台中的两个测试模式被合适地定位以便模
拟当被置于工作环境中(例如，会议室)时的距离。第一校准模式(表示 为A)位于离照相机C (如果需要，这可以是照相机中心)近似距离^ (例
如，1米)处。第二校准模式(表示为B)位于与穿过照相机C与第一校 准模式A之间距离的假想线呈一角度处，这适用于将第二校准模式B呈现 在离照相机C近似距离^ (例如，1.5米)处。虽然示出了两个测试模式(A
和B)，但是可能只需要一个。
在操作中，旋转台可以在例如数字伺服系统(未示出)或提供照相机 到所需位置的精确角度旋转以捕捉测试模式的其它类似的精确机械装置的 控制下旋转。
在多测试模式实现中，当不使用旋转台时，该设置将需要在多照相机 校准设置中的最长距离^ (例如，2米)直径的两倍，从而在制造商处占
用比所需多的空间。但是，通过使用旋转台，通过经由用于模式A和B的 目标捕捉过程来旋转照相机，非RT实现所需要的覆盖区域和设置可以被模 拟并且降低。
因此，在一个实现中，照相机系统在旋转台RT上旋转，从而在单个 照相机系统中，照相机被旋转到第一位置以捕捉校准模式A，然后旋转到 第二位置以捕捉第二校准模式B，或相反。
图13示出了仅使用两个校准模式的用于以圆柱方向排列的五台照相 机的系统的另一个校准配置。此处，该照相机系统被放置在旋转台上，5个校准模式A和B被等距离且等角度地位于该旋转台周围。
一组模式(A
或B)与另外一组模式(B或A)偏离，从而照相机系统的微小旋转将每台 照相机移至捕捉相应校准模式的位置。例如，在5台照相机被定向为捕捉 校准模式A的第一位置，所有的照相机然后都被激活来同时捕捉模式A。
或者，可以用信号通知每台照相机连续地捕捉其相应的模式A。在另 一个实现中，少于5个但是多于1个的照相机被触发为捕捉相应的校准模 式A。接着，将RT旋转到第二位置，从而可以为第二校准模式B重复捕 捉过程，如可以在上述的一个或多个信号通知或触发场景中执行的一样。
图14示出了用于空间校准的示例性模式1400。模式1400包括2宽度 为2的棋盘带以及沿着该带的长度延伸的平行线。该模式可以被用于H+Z 模型。在用于该模式的一个校准实现中，控制照相机来为了校准的目的沿 着垂直带向上看大约29.5度并向下看大约20度。在一替换实现中，可以对 双参数(或P + H+Z)模型使用14列的模式。
图15示出了用于依照所公开的体系结构的校准和使用的示例性全景 视频照相机1400的框图。照相机1500可以包括用于光学地接收来自场景 的图像数据的光学子组件1502。外部电源可以经由提供用于电源的有线接 口和端口、以及用于照相机1500的数据和信号的I/0子组件1504来提供。 此外，1/0子组件1504还可以包括用于在照相机1500与外部系统之间传送 信号和/或数据的无线通信能力。1/0子组件1504可以进一步使用到基础稳 定子系统的高速并行总线来最终与外部系统(例如，计算机)进行通信。
照相机1500还包括用于传感和捕捉来自光学子组件1504的耦合的场 景图像的传感器子组件1506 (例如，成像仪、CCD—电荷耦合器件)。传 感器子组件1506可以将所捕捉的数据存储到专用传感器存储器1508 (例 如，快速非易失性存储器)中。存储器1510可以被用来存储一个或多个模 型(例如，单应性、仿射等)来支持校准过程；但是，这些存储器(1508 和1510)可以是单个单元。
存储器1510可以被用来存储用于校准目的的一个或多个单应性1512。 此外，存储器可以存储一个或多个程序1514，例如，促进I/0通信的代码、 光学数据以及存储器管理。照相机基础系统210包括用于存储制造数据(表示为Z)，以及用来
从组合Z + H生成非参数缝合表的代码的的基础存储器212。
注意，如本申请中所使用的，术语"组件"和"系统"指的是计算机 相关的实体，其可以是硬件、硬件和软件的结合、软件、或执行中的软件。 例如，组件可以是，但不局限于，运行在处理器上的进程、处理器、硬盘 驱动器、多个存储器驱动器(光学和/或磁性存储介质)、对象、可执行码、 执行的线程、程序、照相机、照相机子组件、照相机子系统、和/或计算机。 作为示例，运行在照相机上的应用程序以及照相机都可以是组件。 一个或 多个组件可以驻留在进程和/或执行的线程中，并且组件可以位于一台计算 机上和/或分布在两台或者多台计算机之间。
以上所描述的包括所公开的本发明的示例。当然，不可能描述组件和/ 或方法的每一可想到的组合，但是本领域的普通技术人员可以认识到许多 进一步的组合和置换是可能的。因此，本发明旨在涵盖落入所附权利要求 书的精神和范围中的所有这样的改变、修改以及变型。此外，就在说明书 或权利要求书中使用术语"包括"而言，这一术语旨在以类似于术语"包 含"在被用作权利要求中的过渡词时所解释的方式是包括性的。
权利要求
1. 一种便于多传感器全景照相机(108)的空间校准的系统(100)，所述系统包括用于生成与所述照相机相关联的数据的参数模型的模型组件(102)；用于与所述照相机相关联地存储所述参数模型的存储组件(110)；以及使用所述参数模型来对所述照相机进行空间校准的校准组件(112)。
2. 如权利要求1所述的系统，其特征在于，所述参数模型对于所述照相机是专用的并且对制造误差进行修正。
3. 如权利要求1所述的系统，其特征在于，所述参数模型被存储在所述 照相机上。
4. 如权利要求1所述的系统，其特征在于，所述参数模型包括多项式和 单应性。
5. 如权利要求1所述的系统，其特征在于，所述校准结合所述参数模型 使用非参数模型来对所述照相机进行空间校准。
6. 如权利要求1所述的系统，其特征在于，由所述模型组件生成的所述 参数模型包括用于空间校准的单应性过程和扭曲过程。
7. 如权利要求1所述的系统，其特征在于，所述校准组件通过对缝区域 应用扭曲过程而在所述缝区域外应用所述参数模型来使用与多个校准图像的 缝区域相关联的双参数方法。
8. 如权利要求7所述的系统，其特征在于，所述扭曲过程由多项式等式 来表征。
9. 如权利要求1所述的系统，其特征在于，所述校准组件使用为每个传 感器独立地优化单应性的照相机内单应性。
10. 如权利要求1所述的系统，其特征在于，所述校准组件使用估计为所 有传感器同时充分地最小化缝合误差的单应性的照相机间单应性。
11. 如权利要求l所述的系统，其特征在于，所述校准组件使用多个单应 性来修正照相机模型中的制造误差。
12. 如权利要求l所述的系统，其特征在于，所述系统还包括用于校准多传感器照相机系统的校准系统配置，所述多传感器系统被安装在所述系统配置 中的固定位置上，并且每个传感器处理单个空间校准模式。
13. 如权利要求l所述的系统，其特征在于，所述系统还包括用于校准全 景照相机的多传感器系统的校准系统配置，所述多传感器系统被安装在所述系 统配置的旋转台上，并且每个传感器被旋转到单个空间校准模式。
14. 一种校准多传感器全景照相机系统的方法，所述方法包括 生成全景照相机的参数模型，所述模型包括诊断数据和制造数据中的至少一个(302);在所述照相机的非易失性存储器中存储所述参数模型(304);以及 通过使用所述参数模型处理通过所述照相机的空间校准模式以在空间上 校准所述照相机(306)。
15. 如权利要求14所述的方法，其特征在于，所述方法还包括根据照相 机内单应性通过将模式图像点映射到全景图像点来校准所述多传感器系统。
16. 如权利要求14所述的方法，其特征在于，所述方法还包括通过估计 为所述多传感器系统的每台所述全景照相机同时充分地最小化缝合误差的单 应性来校准所述多传感器系统。
17. 如权利要求14所述的方法，其特征在于，所述方法还包括 通过使用多人检测过程来独立于测试模式校准所述多传感器系统；以及 基于所述多传感器系统的变化条件持续地更新校准参数。
18. 如权利要求14所述的方法，其特征在于，所述方法还包括用位于重 叠区域以及大部分位于重叠区域中的至少一种的点来求解单应性H。
19. 如权利要求14所述的方法，其特征在于，所述方法还包括使用通用 扭曲函数在两个或多个测试模式图像的缝处执行子像素校准。
20. —种用于全景照相机校准的计算机可执行系统，所述系统包括 用于接收定义与全景照相机的制造相关联的制造模型的制造数据的计算机实现的装置(106);用于对空间测试模式使用单应性和扭曲函数以考虑诊断数据和制造数 据中至少一个来修正所述制造模型的计算机实现的装置(104);以及用于将所修改的制造模型作为参数模型存储在所述照相机的非易失性存储器中的计算机实现的装置(iio),
全文摘要
一种用于在空间上校准多传感器全景照相机的体系结构。用存储在照相机上并且用于照相机校准的参数模型来表征全景扭曲校准模型以及制造校准数据。校准技术能够使用照相机内单应性、照相机间单应性以及多项式扭曲的组合，这修正了无误差的空间全景扭曲校准模型。校准系统配置能够包括用于为每台照相机进行空间模式测试的固定照相机系统以及用于旋转多传感器全景照相机通过单个空间模式的旋转照相机系统。
文档编号H04N5/232GK101480041SQ200780024391
公开日2009年7月8日 申请日期2007年2月21日 优先权日2006年6月30日
发明者R·G·柯特勒 申请人:微软公司