利用旋转对称广角透镜获得全景图像的方法及其设备的制作方法

专利名称：利用旋转对称广角透镜获得全景图像的方法及其设备的制作方法
技术领域：
本发明一般涉及从利用装配有广角透镜的照相机得到的图像获取对裸眼呈现得最为自然的全景图像的数学上精确的图像处理方法、以及利用该方法的设备，该广角透镜绕光轴旋转对称。

背景技术：
捕捉诸如旅游胜地的景色优美的地方的360°视图的全景照相机是全景成像系统的示例。全景成像系统是从给定点捕捉一个人能够通过做出一个完整的转向所得到的视图的成像系统。另一方面，全向成像系统从给定点捕捉每个可能方向的视图。全向成像系统提供一个人从给定位置通过转向以及上下看所能观察到的视图。在数学术语中，能够由成像系统捕捉的区域的立体角为4π球面度。
不仅在诸如拍摄建筑物、自然景物以及天体的传统领域中，而且在利用CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)照相机的安全/监测系统中，在房地产、旅馆以及旅游胜地的虚拟旅游中，以及在用于移动式遥控装置和无人机(UAV)的导航设备中，对全景成像系统都已经进行了大量的研究和发展。
作为获得全景图像的可行方法，人们积极地研究折反射全景成像系统，折反射全景成像系统是应用反射镜和折射透镜的成像系统。在图1中示出的是普通折反射全景成像系统的示意图。如图1示意性示出的那样，现有技术的折反射全景成像系统(100)包括作为组成元件的旋转对称全景反射镜(111)，其横截面轮廓接近于双曲线；透镜(112)，其位于反射镜(111)的旋转对称轴(101)上并且朝向所述反射镜(111)定向；以及图像采集装置，其包括内部具有图像传感器(113)的照相机主体(114)。因而，来自绕所述反射镜的全部360°方向并朝向旋转对称轴(101)传播的、具有高度角δ的入射光线(105)反射在镜面(111)的点M上，并由图像传感器(113)捕捉为相对于旋转对称轴(101)具有天顶角θ的反射光线(106)。此处，高度角是指从地平面(即，X-Y平面)朝向顶点测量的角度。图2是可采用图1示意性示出的现有技术的折反射全景成像系统(100)获得的示例性乡村景观的概念图。如图2所示，胶片或图像传感器(213)的形状为正方形或矩形，而采用全景成像系统(100)获得的全景图像(233)的形状为环形。图2中的非阴影区域组成全景图像，而中央处的阴影圆形区域对应于位于照相机的后方的区域，因为照相机主体阻碍了其视图，因而该区域未被捕捉。在该圆形区域内存在由反射镜(111)反射的照相机本身的图像。另一方面，位于四个角处的阴影区域源自照相机透镜(112)的对角视场大于全景反射镜(111)的视场的事实。在该区域中，具有在不存在全景反射镜的情况下可观察到的位于照相机的前侧的区域的图像。图3是通过沿切割线(233c)切割并采用图像处理软件转换为立体普通视图而从环形的全景图像(233)得到的示例性展开全景图像(334)。
为了使图3中展开全景图像(334)对裸眼呈现为自然的，在展开操作之前的原全景图像(233)必须由符合一定投影方案的全景透镜捕捉。此外，全景透镜是指由全景反射镜(111)和折射镜(112)组成的复杂透镜。图4是应用在符合直线性投射方案的全景成像系统的物平面(431)的概念图，而图5是通过采用所述全景成像系统捕捉图4的物平面上的景物而得到的原全景图像(533)的概念图。在这种直线性全景成像系统中，假设了圆柱形物平面(131，431)，圆柱形物平面(131，431)的旋转对称轴与全景透镜的光轴重合。在图4中，优选地是圆柱形物平面(431)的旋转对称轴与地平面(417)垂直。
参见图1和图4，所述物平面(131)的半径为S，且由全景反射镜(111)和折射镜(112)组成的全景透镜形成位于所述物平面(131)上物体的点(104)的图像，换言之，焦平面(132)上的像点P。为了得到清晰图像，图像传感器的传感器平面(113)必须与所述焦平面(132)重合。到达所述像点P处的光线(106)首先在全景反射镜(111)的点M处反射，然后经过折射镜(112)的节点N。此处，节点是当照相机近似为理想的针孔照相机时针孔的位置。从节点到焦平面(132)的距离近似地等于折射镜(112)的有效焦距f。为了讨论的简便，我们将在反射镜处反射之前的光线(105)称为入射光线，而将反射之后的光线称为反射光线(106)。如果反射光线相对于照相机的光轴(101)具有的天顶角为θ，则，从传感器平面(113)的中心(换言之，传感器平面(113)和光轴(101)之间的交点O)到图像传感器平面上反射光线(106)被捕捉处的点P的距离由等式1给出。
[数学式1] r＝f tan θ 对于符合直线性投射方案的全景透镜，物平面(131)中的高度，换言之，平行于光轴测量的距离Z，与传感器平面上的距离r成正比。全景反射镜表面(111)上的点M的轴向半径(在点M上发生反射)为ρ，高度是z，而物平面(131)上的相应点(104)的轴向半径为S，且高度是Z。因为所述入射光线(105)的高度角为δ，因而所述物体的高度Z由等式2给出。
[数学式2] Z＝z+(S-ρ)tanδ 如果从照相机到物平面的距离与照相机相比较大(即，S＞＞p，Z＞＞z)，则等式2能够近似为等式3。
[数学式3] 因此，如果物平面的半径S是固定的，则物体的高度(即，物体尺寸)与tanδ成正比，而焦平面上相对应像点的轴向半径(即，像尺寸)与tanθ成正比。如果tanδ以这种方式正比于tanθ，则物平面上的物体的图像被捕捉在图像传感器上，而其竖直比例不变。理想地，参见图1，能够注意到入射光线的高度角和反射光线的天顶角都具有上限和下限。如果入射光线的高度角的范围是从δ1到δ2(即，δ1≤δ≤δ2)，而反射光线的天顶角的范围是从θ1到θ2(即，θ1≤θ≤θ2)，则物平面上对应的物体高度的范围是从Z1＝Stanδ1到Z2＝Stanδ2(Z1≤Z≤Z2)，而焦平面上，像点的轴向半径的范围r1＝ftanθ1到r2＝ftanθ2(r1≤r≤r2)。对于这些相互成正比的r和Z的投影方案由等式4给出。
[数学式4] 因此，当全景透镜实施由等式4给出的直线性投射方案时，能够得到最为自然的全景图像。这种全景成像系统的一个缺点是在图像传感器上具有大量的不用的像素。图6是示出了在具有标准的4∶3的长宽比的图像传感器的传感器平面(613)上像素利用程度的示意图。横侧B与纵侧V的比例等于1∶1或16∶9的图像传感器种类不多且价格不菲，并且多数图像传感器都被制造为具有4∶3的比例。假设图像传感器具有4∶3的长宽比，图像传感器平面(613)的面积A1由等式5给出。
[数学式5] 在这种图像传感器平面上，全景图像(633)形成在外边缘(633b)和内边缘(633a)之间，其中这两个边缘形成同心圆。此处，所述传感器平面(613)与透镜的一部分焦平面(632)重合，而所述全景图像(633)位于一部分传感器平面(613)上。在图6中，全景图像(633)的外径为r2，且内径为r1。因此，全景图像的面积A2由等式6给出。
[数学式6] A2＝π(r22-r12) 参见图2和图5，展开的全景图像的高度由外径和内径之间的差给定，换言之，由r2-r1给定。另一方面，展开的全景图像的横向尺寸由2πr1或2πr2给定，这取决于将哪个半径用作基数。因此，外径r2和内径r1必须具有适当的比例，且2∶1能够认为是合适的比例。此外，为了最大程度地利用像素，所期望的是全景图像的外边缘(633b)接触图像传感器平面(613)的横侧。因此，优选地是r2＝(1/2)V，且r1(1/2)r2＝(1/4)V。在这些条件下，全景图像(633)的面积由等式7给出。
[数学式7] 因此，全景图像(633)的面积A2与图像传感器平面(613)的面积A1之间的比例由等式8给出。
[数学式8] 因而，像素利用率小于50％，因而现有技术的全景成像系统具有未有效利用像素的缺点。
获得全景图像的另一方法是使用具有宽的视场(FOV)的鱼眼透镜。例如，整个天空和地平线能够通过将装配有具有180°FOV的鱼眼透镜指向天顶(即，将照相机的光轴调整为垂直于地平面)而捕捉在单个图像中。由于这个原因，鱼眼透镜已经经常被称为“全天空透镜”。尤其是，Nikon的高端鱼眼透镜，即，6mm f/5.6鱼眼-Nikkor，具有220°的FOV。因此，安装有该透镜的照相机能够捕捉到该照相机的部分后部以及该照相机的前部。因而，通过如图2和图3所示的方法，能够从这样获得的鱼眼图像来获得全景图像。
在很多情况下，成像系统安装在竖直墙壁上。安装在建筑物的外墙上的用于监视环境的成像系统或者以及用于监视客车后部的后视照相机便是这样的实例。在这些情况下，如果水平视场明显大于180°，则效率较低。这是因为无需监视的墙壁在监视屏中占据较大的空间，浪费了像素，并且屏幕显得迟钝。因此，对于这些情况，180°左右的水平FOV更为合适。然而，对于这种应用来说，具有180°FOV的鱼眼透镜不是理想的。这是因为伴随鱼眼透镜的桶形失真引起心理上的不适并且被消费者所痛恨。
摇拍-俯仰-缩放照相机是能够安装在内部墙壁用于监视整个房间的成像系统的实例。这种照相机由装配有光学变焦透镜的摄像机组成，其安装在摇拍-俯仰物台上。摇拍是对于给定角度在水平方向上的旋转操作，而仰俯是对于给定角度在竖直方向上的旋转操作。换言之，如果我们假设照相机位于天球的中心，则摇拍是改变经度的操作，而仰俯是改变纬度的操作。因此，摇拍操作的理论范围是360°，而仰俯操作的理论范围是180°。摇拍-俯仰-缩放照相机的缺点包括高价、较大尺寸以及较重的重量。由于设计的困难以及复杂的结构，光学变焦透镜大、重且昂贵。此外，摇拍-俯仰物台也是不比照相机便宜的昂贵设备。因此，安装摇拍-俯仰-缩放照相机需要花费大量的金钱。此外，由于摇拍-俯仰-缩放照相机大且重，因而这点对某些应用可能成为阻碍。这些情况的实例包括有效负载的重量非常重要的飞机，或者当存在严格的尺寸限制来在受限的空间安装照相机时。此外，因为摇拍-俯仰-缩放操作为机械操作，因而较为耗时。因此，取决于将进行的具体应用，这种机械响应可能不够快速。
参考文献1和2提供了从具有其他非所期望观察点或投影方案的图像中获取具有特定观察点或投影方案的图像的基本技术。具体地，参考文献2提供了立方体全景图的实例。简言之，立方体全景图为一种特殊的显示技术，其中，假定观察者位于由玻璃制成的虚构立方体房间的正中央，而在该玻璃房间的中心外部的视图直接转录在玻璃墙壁的、从物体到观察者的光线矢量与玻璃墙壁相交的区域。此外，在上述参考文献中提供了更加先进的技术的实例，利用该技术，能够计算从任意形状的镜面的反射。具体地，参考文献2的作者创建了如同由金属表面制成的具有高度反射的镜类皮肤的虚构蜥蜴，然后建立与该蜥蜴分开的观察者的观察点，并计算从虚构观察者的观察点的在蜥蜴皮肤上反射的虚构环境。然而，该环境不是由光学透镜捕捉的真实环境，而是用虚构无失真针孔照相机捕捉的计算机创建的虚拟环境。
另一方面，在参考文献3中描述的成像系统能够执行摇拍-俯仰-缩放操作而没有物理移动部分。所述发明利用装配有具有大于180°FOV的鱼眼透镜来给环境照相。因而，用户利用诸如操纵杆的多种设备指定景象的主方向，基于此，计算机从能够通过将无失真照相机朝向该特定方向而获得的鱼眼图像中获取直线性图像。该发明和现有技术之间的主要区别在于该发明创建了与用户采用诸如操纵杆或计算机鼠标的设备指定的特定方向相对应的直线性图像。在虚拟现实领域，或者当期望替代机械摇拍-俯仰-缩放照相机时，该技术是本质的，并且关键词是“交互式照片”。在该技术中，在照相机中没有物理移动部件。因此，系统反应快速，并且机械故障的概率更低。
通常，当安装诸如安全照相机的成像系统时，需要进行预防措施以使得垂直于水平面的竖直线在所获取的图像中同样呈现为竖直。在这种情况下，即使进行摇拍-俯仰-缩放操作，竖直线也仍然呈现为竖直。另一方面，在所述发明中，在执行了软件摇拍-俯仰-缩放操作后，竖直线通常不呈现为竖直。为了补正这种不自然的结果，需要额外进行旋转操作，这在机械的摇拍-俯仰-缩放照相机中是找不到的。此外，所述发明不提供转动角的精确数量，而这是将竖直线显示为竖直线所需的。因此，为了将竖直线显示为竖直线，必须在试错法中得到精确的转动角。
此外，所述发明假定鱼眼透镜的投影方案为理想的等距投影方案。但是，鱼眼透镜的真实投影方案通常示出与理想的等距投影方案的巨大偏差。因为该发明未考虑实际透镜的失真性质，因而图像处理后获得的图像仍然显示出失真。
参考文献4中描述的发明纠正了参考文献3中描述的发明的缺点，即，未考虑图像处理中使用的鱼眼透镜的真实投影方案。然而，在监视屏中未将竖直线显示为竖直线的缺点并没有解决。
从另一方面说，由于万有引力，包括人类在内的所有动物和植物都限制在地球表面上，并且在需要注意或需采取预防措施的事件的多数都发生在地平线附近。因此，即使必须监视地平线上的全部360°方向，也没有必要沿着竖直方向监视例如高至天顶或低至天底。如果我们想要在二维平面上描述全部360°方向的景物，那么失真是不可避免的。类似的困难出现在地图学中，其中作为球表面上的结构的地球上的地理需要映射到平面的二维地图上。在所有失真当中，对人类来说呈现得最为不自然的失真是竖直线呈现为曲线的失真。因此，即使存在其他种类的失真，确保不存在这种失真也是重要的。
参考文献5中描述了多种地图投影方案中的公知的地图投影方案，诸如等矩形投影、墨卡脱(Mercator)投影以及圆柱投影方案，而参考文献6提供了多种地图投影方案的简史。在这些当中，当我们描述地球上的地理时，或者当我们绘制天球以便制作星座图时，等矩形投影方案是我们最为熟悉的。
参见图7，如果我们假设地球为半径为S的球面，那么地球表面上的任意点Q具有经度ψ和纬度δ。另一方面，图8为根据等矩形投影方案绘制的平面图的示意图。地球表面上的具有的经度ψ和纬度δ点Q在根据等矩形投影方案绘制的平面图(834)上具有对应的点P″。该对应点的直角坐标设定为(x″，y″)。此外，经度为0°和纬度为0°的赤道上参考点在该平面图上具有对应点O″，并且该对应点O″为直角坐标系的原点。在此，根据等矩形投影方案，经度上的相同间隔(即，沿着赤道的相同角距离)对应于平面图上的相同横向间隔。换言之，平面图(834)上的横坐标x″与经度成正比。
[数学式9] x＝cψ 此处，c是比例常数。同样，纵坐标y″与纬度成正比，并且具有与横坐标相同的比例常数。
[数学式10] y＝cδ 经度跨度是360°，范围从-180°到+180°，纬度跨度是180°，范围从-90°到+90°。因此，根据等矩形投影方案绘制的平面图必须具有360∶180＝2∶1的宽度W∶高度H比。
此外，如果比例常数c设定为地球的半径S，那么上述平面图的宽度设定为在等式3中给定的沿着赤道测量的地球周长。
[数学式11] W＝2πS 考虑到地球表面接近于球面的事实，这种等矩形投影方案呈现为自然投影方案。然而，不利之处在于地理范围的尺寸严重失真。例如，在根据等矩形投影方案绘制的地图中，北极附近两个非常接近的点能够呈现为如同它们位于地球的相对侧面上。
另一方面，在根据墨卡脱投影方案绘制的地图中，经度坐标给定为等式4给出的复杂函数。
[数学式12] 另一方面，图9为圆柱投影方案的概念图或全景透视。在圆柱投影方案中，虚构的观察者位于半径为S的天球(931)的中心N处，并且期望使得该天球图的中心位于该观察者上，除了天顶和天底之外，该地图覆盖大部分区域。换言之，经度跨度必定是360°，范围从-180°到+180°，而纬度跨度可能较窄，包括其跨度内的赤道。具体地，纬度跨度的范围能够假设为从-Δ到+Δ，而此处，Δ必定小于90°。
在该投影方案中，假设了在赤道(903)处接触天球(931)的假定圆柱面(934)。然后，对于天球上的具有给定的经度ψ和纬度δ的点Q(ψ，δ)，将连接天球中心和点Q的线段延伸，直到其与所述圆柱面相交。该交点标定为P(ψ，δ)。这样，对于天球(931)上的在所述纬度范围内的每个点Q，都能够得到圆柱面(934)上的对应点P。从而，当将圆柱面切割并在平面上放平时，得到了具有圆柱投影方案的地图。因此，变平的圆柱面上的点P的横坐标x由等式13给出，并且经度y由等式14给出。
[数学式13] x＝Sψ [数学式14] y＝S tan δ 对于通过在水平面中旋转而产生全景图像的全景照相机，这种圆柱投影方案为自然投影方案。特别地，如果安装在旋转全景照相机上的透镜为无失真的直线性透镜，那么传输的全景图像精确地符合圆柱投影方案。大体上，这种圆柱投影方案是最为精确的全景投影方案。然而，当经度范围较大时，全景图像呈现为非自然的，因而在实际中并未得到广泛地应用。
从而产生的并具有圆柱投影方案的打开的全景图像具有由等式11给定的横向宽度W。另一方面，如果纬度的范围从δ1到δ2，那么打开的全景图像的经度高度由等式15给出。
[数学式15] H＝S(tanδ2-tanδ1) 因此，以下等式能够由等式11和等式15得到。
[数学式16] 因此，符合圆柱投影方案的打开的全景图像必定满足等式16。
图10是参考文献7中给出的展开全景图像的实例，而图11是参考文献8中给出的展开全景图像的实例。图10和图11已采用符合直线性投射方案的全景透镜(或者，在绘图术语中，采用符合圆柱投影方案的全景透镜)获得。因此，在图10和图11的全景图像中，纵坐标y正比于tanδ。另一方面，通过全景透镜的结构，横坐标x正比于经度ψ。因此，除了比例常数外，满足等式13和14。
在图10的示例中，横向尺寸为2192像素，而纵向尺寸为440像素。因此，通过计算等式16的LHS(左手侧)得到4.98。在图10中，竖直入射角的范围是从δ1＝-70°到δ2＝50°。因此，通过计算等式16的RHS(右手侧)得到1.60。因而，图10中的示例性全景图像不满足等式16给出的比例关系。另一方面，在图11的示例中，横向尺寸为2880像素，而纵向尺寸为433像素。因此，通过计算等式16的LHS得到6.65。在图11中，竖直入射角的范围是从δ1＝-23°到δ2＝23°。因此，通过计算等式16的RHS得到7.40。因此，虽然误差可小于图10的误差，但图11中的示例性全景图像仍然不满足等式16给出的比例关系。
能够注意到的是，尽管全景图像不满足这种比例关系，但图10和图11中给出的展开的全景图像呈现为自然的全景图像。这是因为在全景图像中，垂直于地平面的线(即，竖直线)呈现为曲线或斜线的现象容易观察并引起观众的不适，但是横向和纵向尺度没有相互匹配的现象在相同程度上并没有使眼睛不舒服，这是因为比较横向和纵向的参照物并不经常存在于照相机周围的环境中。
地球上所有的动物、植物以及诸如建筑物的无生命体都受到重力的影响，而重力的方向为垂直方向或竖直方向。地平面正垂直于重力，但是不必说，在倾斜地面上并不是那样。因此，词语“地平面”实际上是指水平面，而竖直方向是垂直于水平面的方向。即使我们为了讨论简便将其称为地平面、横向和纵向，当需要解释术语的精确含义时，地平面也必定理解为水平面，竖直方向必定理解为垂直于水平面的方向，而水平方向必定理解为平行于水平面的方向。
在参考文献7和8中描述的全景透镜将全景图像放在一个镜头中，将全景透镜的光轴对准为垂直于地平面。附带地，通过之前描述的具有水平旋转透镜的照相机的全景图像获取方法的更便宜的可选方法包括利用光轴水平对准的普通照相机获得图像，并且在水平方向上将该光轴旋转一定量之后重复地去进行照相。通过这种方式拍摄四到八张图片，从而能够通过连续地将这些图片无缝地接合起来而获得具有圆柱投影方案的全景图像。这种技术称为拼接。苹果计算机公司的QuickTime VR为支持该拼接技术的商业软件。该方法需要复杂的、耗时的且精细的精确结合若干图片的操作，并需要校正透镜失真。
根据参考文献9，获得全景或全向图像的另一方法为通过使装配有具有大于180°FOV的鱼眼透镜的水平朝向来获得半球图像，然后将该照相机朝向精确的相对方向，并获得另一半球图像。通过采用适当软件对由该照相机获得的两张图片进行拼接，能够获得具有各个方向(即，4π球面度)的视图的全向图像。通过采用诸如因特网的通信装置将从而获得的图像发送至地理上分开的远程用户，该用户能够根据其自身的个人兴趣来从所接收的全向图像选取其自身的视点，并且该用户的计算设备上的图像处理软件能够获取与该用户选取的视点相对应的局部图像，并且能够在该计算设备上显示依透视画法正确的平面图像。因此，利用图像处理软件，用户能够选择旋转(摇拍)、上下看(俯仰)或者获得较近的(放大)或遥远的(缩小)的视图，如同用户实际出现在图像中的特定位置一样。该方法具有的明显优势在于访问相同因特网站点的多个用户能够沿着他们本身选择的方向进行观察。在应用诸如摇拍-俯仰照相机的移动照相机的全景成像系统中不能具有该优点。
参考文献10和11描述了获得提供每个方向的视图、中心位于观察者上的全向图像的方法。尽管该发明的说明书较长，但是该参考文献提供的投影方案实质上是一种等距投影方案。换言之，这些文献描述的技术使得可能从真实的环境或从立方体全景图中获得全向图像，但是所获得的全向图像仅符合等距投影方案，因而其有效性受到限制。
另一方面，参考文献12提供了采用鱼眼透镜将奥姆尼麦克斯(OMNIMAX)电影投影到半圆柱形屏幕上的算法。特别地，考虑到安装在电影放映机上的鱼眼透镜的投影方案偏离于理想的等距投影方案，描述了一种用于将胶片上的物点的位置定位为与其上形成的像点的屏幕上的某一点相对应的方法。因此，可能要计算需要位于胶片上的图像以便将具体的图像投影到屏幕上，并且在胶片上采用计算机生成这种图像。特别地，由于在该图像处理算法中已经反映了透镜失真，因而靠近电影放映机的观众能够通过令人满意的全景图像来使自己娱乐。然而，在所述参考文献中的鱼眼透镜的真实投影方案不便于应用，这是因为其已经用胶片平面上的实像高度模拟为自变量，而用入射光线的天顶角模拟为因变量。此外，不必要地，鱼眼透镜的真实投影方案已经仅仅用奇数多项式进行了模拟。
参考文献13提供了由Paul Bourke教授提出的立体全景图像的实例。每个全景图像均符合圆柱投影方案，并且提供了由计算机生成的虚构景物的全景图像以及由旋转狭缝照相机生成的全景图像。对于由计算机生成的或者由旋转狭缝照相机的传统方法生成的全景图像，透镜失真不是严重的问题。然而，旋转狭缝照相机不能用来获得真实世界的实时全景图像(即，电影)。
[参考文献1]J.F.BUnn and M.E.Newel，″Texture and reflectionin computer generated images(计算机生成图像中的结构和反射)″，Communications of the ACM，19，542-547(1976). [参考文献2]N.Greene，″Environment mapping and otherapplications of world projections(世界投影的环境映射和其他应用″，IEEE Computer Graphics and Applications，6，21-29(1986). [参考文献3]S.D.Zimmermann，″Omniview motionless照相机orientation system(全景静止照相机导向系统)″，美国专利5,185,667，专利日期1993年2月9日. [参考文献4]E.Gulchsen and S.Wyshynski，″Wide-angle imagedewarping method and apparatus(广角图像反扭曲方法和装置)″，美国专利6,005,611，专利日期，1入射光线年12月21日. [参考文献5]E.W.Weisstein，″Cylindrical Projection(圆柱投影)″，http://mathworld.wolfram.com/CylindricalProjection.html. [参考文献6]W.D.G.Cox，″An introduction to the theory ofperspective-part 1(远景理论的介绍-部分1)″，The British Journal ofPhotography，4，628-634(1969). [参考文献7]G.Kweon，K.Kim，Y.Choi，G.Kim，and S.Yang，″Catadioptric panoramic lens with a rectilinear projection scheme(具有直线性投影方案的折反射全景透镜)″，Journal of the Korean PhysicalSociety，48，554-563(2006). [参考文献8]G.Kweon，Y.Choi，G.Kim，and S.Yang，″Extractionof perspectively normal images from video sequences obtained using acatadioptric panoramic lens with the rectilinear projection scheme(从采用具有直线性投影方案的折反射全景透镜得到的视频序列获得依透视画法正常的图像)″，Technical Proceedings of the 10th WorldMulti-Conference on Systemics，Cybernetics，and Informatics，67-75(2006年6月，美国佛罗里达州奥兰多). [参考文献9]H.L.Martin and D.P.Kuban，″System foromnidirectional image viewing at a remote location without thetransmission of control signals to select viewing parameters(用于在遥远位置处观测全向图像而无需传输控制信号来选取观测参数的系统)″，美国专利5,384,588，专利日期，1995年1月24日. [参考文献10]F.Oxaal，″Method and apparatus for performingperspective transformation on visible stimuli(用于执行可见光刺激上的透镜转换的方法和装置)″，美国专利5,684,937，专利日期，1997年11月4日. [参考文献11]F.Oxaal，″Method for generating and interactivelyviewing spherical image data(用于生成并交互式观测球形图像数据的方法)″，美国专利6,271,853，专利日期，2001年8月7日. [参考文献12]N.L.Max，″Computer graphics distortion for IMAXand OMMMAX projection(对于IMAX和OMNIMAX投影的计算机图像失真)″，Proc.MCOGRAPH，137-159(1983). [参考文献13]P.D.Bourke，″Synthetic stereoscopic panoramicimages(合成立体全景图像)″，Lecture Notes in Computer Graphics(LNCS)，Springer，4270，147-155(2006). [参考文献14]G.Kweon and M.Laikin，″Fisheye lens(鱼眼透镜)″，韩国专利申请10-2008-0030184，提交日期，2008年4月1日. [参考文献15]G.Kweon and M.Laikin，″Wide-angle lenses(广角透镜)″，韩国专利10-0826571，专利日期April 24，2008年4月24日.

发明内容
技术问题 本发明的目的在于提供用于从利用装配有广角透镜的照相机得到的数字化图像中获取看上去自然的全景图像的图像处理算法以及实施这些算法的设备，其中所述广角透镜绕光轴旋转对称。
技术方案 本发明提供了基于与通过具有失真的广角透镜的图像形成有关的几何光学原理以及全景图像的数学定义的、基本上精确的图像处理算法。
有益效果 对裸眼呈现得最为自然的全景图像能够通过对采用旋转对称广角透镜得到的图像进行精确地图像处理获得。这些全景成像系统和设备不仅能够用在用于室内和室外环境的安全监测应用中，而且还能用在诸如用于公寓入口门的视频电话、用于车辆的后视照相机、用于自动机械的视觉传感器的多种领域中，此外，其能够用来采用数字照相机获得全景照片。



图1是现有技术的折反射全景成像系统的示意图； 图2是采用图1中示意性示出的折反射全景成像系统获得的示例性原全景图像的概念图； 图3是与图2中给出的原全景图像相对应的展开全景图像； 图4是示出了在直线性全景成像系统中应用的物平面的形状的概念图； 图5是与图4中的物平面相对应的原全景图像的概念图； 图6是示出了在图像传感器平面上的全景图像的所期望位置和尺寸的示意图； 图7是天球上的经度和纬度的概念图； 图8是具有等矩形投影方案的地图的概念图； 图9是示出了圆柱投影方案的概念图； 图10是符合圆柱投影方案的示例性的展开全景图像； 图11是符合圆柱投影方案的另一示例性的展开全景图像； 图12是示出了最适于本发明的第一实施方式的全景成像系统的投影方案的概念图； 图13是根据本发明的第一实施方式的未修正的像平面的概念图； 图14是根据本发明的第一实施方式的全景成像系统的示意图； 图15是根据本发明的第一实施方式的、显示在图像显示装置上的经处理的像平面的概念图； 图16是根据本发明的第一实施方式的水平截面的概念图； 图17是根据本发明的第一实施方式的竖直截面的概念图； 图18是示出了普通旋转对称透镜的真实投影方案的概念图； 图19是示出具有等距投影方案的鱼眼透镜的光学结构连同光线追迹的简图； 图20是示出了图19中的鱼眼透镜的真实投影方案的简图； 图21是示出了图19中的鱼眼透镜的真实投影方案和采用最小二乘误差法的拟合投影方案之间的差别的简图； 图22是示出了未修正的像平面上物点的直角坐标和极坐标之间的转换关系的概念图； 图23是数字化的经处理的像平面的概念图； 图24是用于理解失真修正原理的数字化未修正的像平面的概念图； 图25是用于理解双线性插值原理的概念图； 图26是由假设具有等距投影方案的鱼眼透镜已用来拍摄虚构景物的照片的计算机生成的示例性鱼眼图像； 图27是从图26中给出的鱼眼图像获得的符合圆柱投影方案的全景图像； 图28是示出了图像传感器平面上的真实图像的所期望尺寸和位置的示意图； 图29是采用鱼眼透镜获得的示例性图像； 图30是示出了用来获得图29中给出的鱼眼图像的鱼眼透镜的真实投影方案的简图； 图31是从图29中给出的鱼眼图像获得的符合圆柱投影方案的全景图像； 图32是从图26中给出的鱼眼图像获得的符合等矩形投影方案的全景图像； 图33是从图26中给出的鱼眼图像获得的符合莫卡脱投影方案的全景图像； 图34是现有技术的安装在室内壁的上部、用于监视整个室内空间的广角照相机的概念图； 图35是示出了最适于本发明的第三实施方式的、图像传感器平面上的真实图像的所期望尺寸和位置的示意图； 图36是用于监视整个室内空间的超广角照相机的水平安装的概念图； 图37是根据本发明的第四实施方式的应用全景成像系统的汽车后视照相机的示意图； 图38是由倾斜的成像系统捕捉的虚构鱼眼图像的实例； 图39是根据本发明的第四实施方式的从图38中给出的鱼眼图像获得的示例性全景图像； 图40是通过应用根据本发明的第一至第四实施方式的全景成像系统、用于从建筑物或大巴监视整个360°方向而没有任何盲点的成像系统的示意图； 图41是根据本发明的第六实施方式的设备的示意图，其中世界坐标系中的竖直线在第一直角坐标系中不是竖直线； 图42是由根据本发明的第六实施方式的倾斜成像系统捕捉的虚构图像的实例； 图43是采用本发明的第一实施方式描述的方法、从图42中给出的图像获得的示例性全景图像； 图44是示出了最适于本发明的第六实施方式的、图像传感器平面上的真实图像的所期望尺寸和位置的示意图； 图45是根据本发明的第六实施方式的成像系统的示意图； 图46是示出了第三直角坐标系和本发明的第六实施方式中的世界坐标系之间的关系的概念图； 图47是根据本发明的第六实施方式的符合圆柱投影方案的示例性全景图像； 图48和49是示出了第一直角坐标系和本发明的第七实施方式中的世界坐标系之间的关系的概念图； 图50是由本发明的第七实施方式的倾斜成像系统捕捉的虚构图像的实例； 图51是根据本发明的第七实施方式的符合圆柱投影方案的示例性全景图像； 图52是根据本发明的第八实施方式的物平面的概念图； 图53是示出具有立体投影方案的折射鱼眼透镜的光学结构连同光线追迹的简图；图54是示出具有立体投影方案的折反射鱼眼透镜的光学结构连同光线追迹的简图； 图55是根据本发明的第八实施方式的入射平面的概念图； 图56是根据本发明的第八实施方式的未修正的像平面的概念图； 图57是根据本发明的第八实施方式的经处理的像平面的概念图； 图58和图59是根据本发明的第八实施方式的示例性全景图像； 图60是根据本发明的第九实施方式的入射平面的概念图； 图61和图62是根据本发明的第九实施方式的示例性全景图像； 图63是根据本发明的第十实施方式的世界坐标系的概念图；以及 图64是根据本发明的第十实施方式的经处理的像平面的概念图。

具体实施例方式 在下文中，参见图12至图64，将详细描述本发明的优选实施方式。
第一实施方式 图12是用于理解根据本发明的第一实施方式的全景成像系统的投影方案和视场的示意图。假设本实施方式的全景成像系统附接在竖直壁(1230)上，竖直壁(1230)垂直于地平面。该壁与X-Y平面重合，且Y轴从地平面(即，X-Z平面)向天顶延伸。坐标的原点位于透镜的节点N，透镜的光轴(1201)与Z轴重合(换言之，其平行于地平面)。在下文中，该坐标系称为世界坐标系。世界坐标系是用来描述在由透镜捕捉的照相机周围的环境的坐标系，并且该世界坐标系是右手坐标系。
在严格的意义上，光轴的方向是世界坐标系负Z轴的方向。这是因为，按照成像光学的符号惯例，从物体(或，物点)到像平面(或，像点)的方向为负向。尽管如此，为了讨论的简便，我们还是将光轴描述为与世界坐标系的Z轴重合。这是因为本发明不是关于透镜设计的发明而是使用透镜的发明，并且以透镜使用者的观点，通过如本发明的本实施方式中那样描述光轴更易于理解。
图像传感器平面(1213)是形状为矩形且垂直于光轴的平面，其中横向尺寸为B，而纵向尺寸为V。此处，我们假设第一直角坐标系，其中将透镜的节点N作为原点，且将光轴(1201)作为负(-)z轴。换言之，z轴的方向是与Z轴正相反的方向。z轴和图像传感器平面(1213)之间的交点是O。第一直角坐标系的x轴经过交点O并平行于图像传感器平面的横侧，而y轴经过交点O并平行于图像传感器平面的纵侧。与世界坐标系相同，该第一直角坐标系是右手坐标系。
在本实施方式中，世界坐标系的X轴平行于第一直角坐标系的x轴，并指向相同的方向。另一方面，世界坐标系的Y轴平行于第一直角坐标系的y轴，但是Y轴的方向与y轴的方向正相反。因此，在图12中，第一直角坐标系的x轴的正向为从左至右，而y轴的正方向为从上到下。
第一直角坐标系的z轴和第二传感器平面(1213)之间的交点O(在下文中称为第一交点)通常不位于传感器平面的中心处，并甚至能够位于传感器平面之外。当图像传感器的中心被从透镜的中心位置(即，光轴)移开时，这种情况能够发生，目的是为了获得对称的竖直或水平视场。
传感器平面(1213)上的任意点P(下文称为第一点)的横坐标x具有最小值x1和最大值x2(即，x1≤x≤x2)。作为定义，最大横坐标和最小横坐标之间的差值为传感器平面的横向尺寸(即，x2-x1＝B)。以相同的方式，第一点P的纵坐标y具有最小值y1和最大值y2(即，y1≤y≤y2)。作为定义，最大纵坐标和最小纵坐标之间的差值为传感器平面的横向尺寸(即，y2-y1＝V)。
然而，不期望采用利用鱼眼透镜获得的原图像来获得180°的水平视场。这是因为，由于之前提到的筒形失真，因而使得不能得到看起来自然的全景图像。图4至图9中示意性示出的假设物平面的全景透镜在竖直方向上符合直线性投射方案，并且通过透镜的内在结构，在水平方向上符合等距投影方案。因此，所期望的是本发明的全景成像系统在水平方向上符合等距投影方案，并且在竖直方向上符合直线性投射方案。这种投影方案对应于假设具有半径S的并将Y轴作为旋转对称轴的半圆柱形物平面(1231)，并且物平面(1231)上的任意点Q(在下文中称为物点)的图像在所述传感器平面(1213)上呈现为像点。根据本发明的所期望投影方案，半圆柱形物平面(1231)上的物体的图像被捕捉在传感器平面(1213)上，且其竖直比例不变，并且像点的横坐标x与所述物平面上的对应物点的水平弧长成正比，并且通过物平面(1231)上所有物点，图像传感器平面上的像点共同形成实像。当这种条件满足时，可得到的图像实际上等同于在图3中选择对应于180°的水平FOV的一部分图像。
然而，包括鱼眼透镜的任意旋转对称透镜都不符合所述投影方案。因此，为了实现所述投影方案，图像处理阶段是不可避免的。图13是在图像处理阶段之前的未修正的像平面(1334)的概念图，其对应于图像传感器平面(1213)上的实像。如果图像传感器平面(1213)的横向尺寸为B且纵向尺寸为V，那么未修正的像平面的横向尺寸为gB且纵向尺寸为gV，其中g为比例常数。
未修正的像平面(1334)能够被认为是在图像显示装置上显示的未经失真修正的图像，并且是图像传感器平面上的实像以放大率g放大了的图像。例如1/3英寸CCD传感器的图像传感器平面具有矩形形状，其横向尺寸为4.8mm，且纵向尺寸为3.6mm。另一方面，如果监视器的尺寸为宽48cm且高36cm，那么放大率g为100。更期望地是，将数字图像中的像素的侧面尺寸当作是1。VGA级1/3英寸CCD传感器具有二维阵列的像素，该阵列具有640行和480列。因此，每个像素的形状均为正方形，宽度和高度测量为4.8mm/640＝7.5μm，并且在这种情况下，放大率给定为1像素/7.5μm＝133.3像素/mm。总体来说，未修正的像平面(1334)为通过将形成在图像传感器平面上的实像转换为电信号而获得的失真的数字图像。
所述第一交点O是光轴(1201)和图像传感器平面(1213)之间的交点。因此，沿着光轴进入的光线在所述第一交点O上形成像点。通过定义，沿着光轴进入的光线的水平入射角ψ和竖直入射角δ都为零。因此，未修正的像平面上的与图像传感器平面中的第一交点O相对应的点O′(在下文中称为第二交点)与水平入射角为0且竖直入射角为0的入射光线形成的像点相对应。
假定了第二直角坐标系，其中将经过所述第二交点并且平行于未修正的像平面(1334)的横侧的轴作为x′轴，而将经过未修正的像平面上的第二交点并且平行于未修正的像平面的纵侧的轴作为y′轴。在图13中，x′轴的正向为从左到右，且y′轴的正向为从上到下。因而，未修正的像平面(1334)上的任意点的横坐标x′具有最小值x′1＝gx1和最大值x′2＝gx2(即，gx1≤x′≤gx2)。同样，所述点的纵坐标y′具有最小值y′1＝gy1和最大值y′2＝gy2(即，gy1≤y′≤gy2)。
如上所述，鱼眼透镜不提供如图12示意性示出的看起来自然的全景图像。本实施方式的主要点关于通过在利用旋转对称的广角透镜获得的失真图像上应用数学上精确的图像处理算法得到如图12示意性示出的看起来最为自然的全景图像的方法，该广角透镜包括鱼眼透镜。图14为利用本发明的本实施方式的图像处理方法的设备的示意图， 其中，所述设备具有成像系统，该成像系统主要包括图像采集装置(1410)、图像处理装置(1416)以及图像显示装置(1415，1417)。图像采集装置(1410)包括旋转对称广角透镜(1412)以及内部具有图像传感器(1413)的照相机体部(1414)。所述广角透镜能够是FOV大于180°并具有等距投影方案的鱼眼透镜，但其决不限于这种鱼眼透镜。下文中，为了讨论的简便，将广角透镜称为鱼眼透镜。所述照相机体部是数字照相机或能够生成电影文件的摄像机，并包含诸如CCD或CMOS的图像传感器。在本实施方式中，所述鱼眼透镜的光轴(1401)与地平面(1417)平行。在其他实施方式中，光轴能够垂直于地平面，或者其能够以一定角度倾斜。通过所述鱼眼透镜(1412)，物平面(1431)的实像(1433在图中标识为实线)形成在焦平面(1432标识为虚线)上。为了获得清晰图像，图像传感器平面(1413)必须与焦平面(1432)重合。
物平面(1431)上的物体的由鱼眼透镜(1412)形成的实像(1433)由图像传感器(1413)转换为电信号，并在图像显示装置(1415)上显示为未修正的像平面(1434)。该未修正的像平面含有失真像差。如果所述透镜为鱼眼透镜，则失真将主要是桶形失真。该失真的图像能够由图像处理装置(1416)校正，然后在诸如计算机监视器或者CCTV监视器的图像显示装置(1417)上显示为经处理的像平面(1435)。所述图像处理能够是由计算机进行的软件图像处理，或者是由计算机或FPGA(现场可编程门阵列)进行的硬件图像处理。下表1总结了物平面、图像传感器平面、未修正的像平面以及经处理的像平面上的对应的变量。
[表1] 图15是本发明经校正的屏幕的概念图，其中已经除去了失真。换言之，图12是像平面(1535)的概念图。经处理的像平面(1535)具有矩形的形状，该形状的横侧测量为W，纵侧测量为H。此外，假定了第三直角坐标系，其中x″轴平行于经处理的像平面的横侧，而y″轴平行于经处理的像平面的纵侧。第三直角坐标系的z″轴与第一直角坐标系的z轴以及第二直角坐标系的z′轴平行。所述z″轴和经处理的像平面之间的交点O″能够占据任意位置，并且甚至能够位于经处理的像平面之外。此处，x″轴的正向为从左到右，且y″轴的正向为从上到下。此处，经处理的像平面(1 535)上的第三点P″的横坐标x″具有最小值x″1和最大值x″2(即，x″1≤x″≤x″2)。通过定义，最大横向坐标和最小横向坐标之间的差异为经处理的像平面的横向尺寸(即，x″2-x″1＝W)。同样，第三点P″的纵坐标y″具有最小值y″1和最大值y″2(即，y″1≤y″≤y″2)。通过定义，最大纵向坐标和最小纵向坐标之间的差异为经处理的像平面的纵向尺寸(即，y″2-y″1＝H)。
图16示出了X-Z平面中的图12的物平面的剖面。本发明的成像系统的水平FOV不必是180°，而是能够比180°更小或更大。由于这个原因，图16中示出的是FOV大于180°的情况。入射在本发明的成像系统的任意入射光线(1605)的入射水平角度(该角度是由入射光线和Y-Z平面界定的角度)为ψ。换言之，该角度为在X-Z平面(即，地平面)中相对于Z轴(即，光轴)在横向上的入射角。通常，将通过透镜的成像性质在焦平面上形成清晰图像的入射光线假设为经过透镜的节点N。
水平入射角的最小值是ψ1，最大入射角是ψ2(即，ψ1≤ψ≤ψ2)，且水平FOV为Δψ＝ψ2-ψ1。通常，如果水平FOV为180°，则水平入射角的期望范围将由ψ2＝-ψ1＝90°给出。因为物平面的半径为S，因而所述物平面的弧长由等式17给出。
[数学式17] L＝S(ψ2-ψ1)＝SΔψ 此处，已经假设视场Δψ的单位是弧度。该弧长L必定正比于经处理的像平面的水平尺寸W。因此，如果该比例常数是c，则满足以下等式18。
[数学式18] L＝cW 另一方面，图17示出了Y-Z平面中的图12的物平面的剖面。所述物平面(1731)的半径是S，且物平面的高度是T。进入本发明的透镜的入射光线(1705)的竖直入射角是δ，该竖直入射角是Y-Z平面(即，包含竖直线的平面)中相对于Z轴(即，光轴)的角度。换言之，所述入射光线(1705)和X-Z平面形成的竖直入射角是δ。该竖直入射角的最小值是δ1，最大值是δ2(即，δ1≤δ≤δ2)。当竖直FOV是Δδ＝δ2-δ1时，如果竖直入射角的范围由δ2＝-δ1＝Δδ/2给出则更为简单，但根据需要，可能期望这两个值是不同的。例如，如果将其安装在车辆的顶部上，则期望主要监视水平线之上的区域，但是如果将其安装在飞机上，则期望主要监视水平线之下的区域。此处，从所述坐标系的原点N观察的物平面的高度T由等式19给出。
[数学式19] T＝S(tanδ2-tanδ1) 此外，物平面的高度T必须满足与经处理的像平面的高度H的相同的比例关系。
[数学式20] T＝cH 等式21能够从等式17和18获得，其中A是常数。
[数学式21] 另一方面，等式22能够从等式19和20获得。
[数学式22] 因此，从等式21和22能够看到以下等式必定满足。
[数学式23] 在多数情况下，如果水平入射角的范围和竖直入射角的范围是对称的则将是期望的。因此，水平FOV将给定为Δψ＝ψ2-ψ1＝2ψ2，而竖直FOV将给定为Δδ＝δ2-δ1＝2δ2。当设计透镜或评测透镜的性质时，水平FOVΔψ和竖直FOVΔδ是重要的标记。从等式23能够看到竖直FOV必须给定为如在等式24中那样的作为水平FOV的参数。
[数学式24] 例如，如果我们假设成像系统的水平FOV为180°，且应用具有横向尺寸和纵向尺寸之间的4∶3的长宽比的普通图像传感器平面，则自然的全景图像的竖直FOV由等式25给出。
[数学式25]
另一方面，如果我们假设图像传感器具有的比例为16∶9，则竖直FOV由等式26给出。
[数学式26]
因此，即使采用具有的比例为16∶9的图像传感器，竖直FOV也对应于超广角。
更一般地，当等式17至等式23的程序在含有第三交点O″的间隔上重复时，则能够得到等式27。
[数学式27] 因此，当设置经处理的像平面的所期望尺寸和FOV时，必须确保满足等式27。
如果图15中的经处理的像平面满足所述投影方案，则与所述经处理的像平面上的第三点P″的横坐标x″相对应的入射光线的水平入射角由等式28给出。
[数学式28] 同样，从等式27，与纵坐标y为y″的第三点相对应的入射光线的竖直入射角由等式29给出。
[数学式29] 因此，具有理想投影方案的经处理的像平面上的第三点的信号值，必须给定为图像传感器平面上由来自物平面上具有由等式28给出的水平入射角(即，经度)和由等式29给出的竖直入射角(即，纬度)的物点的入射光线形成的像点的信号值。
物平面上具有所述水平和竖直入射角的物点Q的位置能够通过以下方法获得。参见图7，从世界坐标系的原点N到物平面上具有所述水平和竖直入射角的物点Q的矢量能够写为

这个矢量的方向与入射光线(1605，1705)的传播方向正相反，并且所述矢量在世界坐标系中能够写为等式30。
[数学式30] 在等式30中，

为沿着X轴的单位矢量，而

和

分别为沿着Y轴和Z轴的单位矢量。另一方面，所述矢量

能够在球极坐标系中给定为如等式31中给出的天顶角θ和方位角φ的函数。
[数学式31] 此处，R是所述矢量

的大小，而

是所述矢量的方向。然后，以下关系在直角坐标和球极坐标之间成立。
[数学式32] [数学式33] [数学式34] [数学式35] 在等式32至35中，点(·)表示标量积。
另一方面，所述方向矢量能够由等式36给定为描述本发明的投影方案的两个入射角的函数，即，水平入射角ψ和竖直入射角δ。在下文中，该坐标系将称为圆柱极坐标系。
[数学式36] 采用上述两个入射角，直角坐标能够如下给出。
[数学式37] X＝Rcosδsinψ [数学式38] Y＝Rsinδ [数学式39] Z＝Rcosδcosψ 采用等式37至39，水平和竖直入射角能够如等式40和41中那样从物点的直角坐标(X，Y，Z)得到。
[数学式40] [数学式41] 另一方面，由于在球极坐标系中和圆柱极坐标系中给出的坐标必须一致，因而在等式42至44中给出的以下关系必定成立。
[数学式42] sinθcosφ＝cosδsinψ [数学式43] sinθsinφ＝sinδ [数学式44] cosθ＝cosδcosψ 等式45能够通过将等式43除以等式42得到。
[数学式45] 因此，方位角φ由等式46给出。
[数学式46] 另一方面，从等式44，天顶角θ由等式47给出。
[数学式47] θ＝cos-1(cosδcosψ) 反向地，为了从球极坐标转换为圆柱极坐标，能够通过将等式42除以等式44得到等式48。
[数学式48] tanψ＝tanθcosφ 因此，水平入射角由等式49给出。
[数学式49] ψ＝tan-1(tanθcosφ) 另一方面，从等式43，竖直入射角由等式50给出。
[数学式50] δ＝sin-1(sinθsinφ) 因此，具有水平入射角ψ和竖直入射角δ的入射光线为在球极坐标系中具有等式47给出的天顶角θ和等式46中给出的方位角φ的入射光线。为了处理图像，必须确定图像传感器平面上与具有该天顶角θ和方位角φ的入射光线相对应的位置。
图18是示出了包括鱼眼透镜的旋转对称广角透镜(1812)的概念图。本实施方式的透镜(1812)的光轴(1801)与坐标系的Z轴重合。具有相对于Z轴的天顶角θ的入射光线(1805)由透镜(1812)折射并在照相机主体(1814)内的传感器平面(1813)上形成像点P，即，第一点。所述图像传感器平面(1813)垂直于光轴，并且为了获得清晰图像，传感器平面必须与透镜的焦平面(1832)重合。所述像点P与光轴(1801)和传感器平面(1813)之间的交点O(换言之，第一交点)之间的距离为r。
对于具有理想等距投影方案的鱼眼透镜，图像高度r由等式51给出。
[数学式51] r(θ)＝fθ 在图51中，入射角θ的单位是弧度，而f是鱼眼透镜的有效焦距。图像高度r的单位与有效焦距f的单位相同。等式51中给出的理想等距投影方案和透镜的真实投影方案之间的差别为f-θ失真。然而，对于鱼眼透镜来说，很难如实地执行等式51给出的投影方案，并且差异能够高达10％。此外，本图像处理算法的适用性不限于具有等距投影方案的鱼眼透镜。因此，假设透镜的投影方案给定为如等式52给出的入射光线的天顶角θ的一般函数。
[数学式52] r＝r(θ) 该函数为入射光线的天顶角θ的单调递增函数。
透镜的这种真实投影方案能够采用实际透镜实验地测量，或者能够采用诸如Code V或Zemax的专门的透镜设计软件从透镜规格中计算。例如，通过具有给定水平和竖直入射角的入射光线的焦平面上的像点的y轴坐标y能够采用Zemax算符REAY计算，并且能够类似地采用算符REAY计算x轴坐标x。
图19是示出了具有等距投影方案的鱼眼透镜的光学结构连通光线追迹的简图，其完整的透镜配置在参考文献14中给出。该鱼眼透镜的FOV为190°，F数2.8，并且其对于VGA级照相机同时在可见光和近红外波长中具有足够的分辨率。此外，相对照度非常合理，大于0.8。该透镜仅由8个球面透镜元件组成，并因为具有足够的制造容差而适于大规模生产。
图20示出了在可见光波长范围内的鱼眼透镜的真实投影方案(虚线)，以及通过多项式函数的拟合投影方案(实线)。此处，已基于完整的透镜配置采用所述REAY算子得到真实投影方案，并且该真实投影方案已被拟合为等式53中给出的经过原点的五阶多项式。
[数学式53] r(θ)＝a1θ+a2θ2+a3θ3+a4θ4+a5θ5 表2示出了等式53中的多项式系数。
[表2] 图21示出了真实投影方案和拟合为由等式53以及表2给出的多项式的近似投影方案之间的误差。如能够从图21看到的那样，误差小于0.3μm，考虑到在VGA级1/3英寸CCD传感器中像素的每一侧的尺寸都为7.5μm的事实，这实际上是无误差的。
图22是示出了未修正的像平面(2234)上与传感器平面上的第一点对应的第二点P′的直角坐标和极坐标之间的转换关系的概念图。参见图22，未修正的像平面上的第二点的二维直角坐标(x′，y′)能够如等式54和55那样从二维极坐标(r′，φ′≡φ)得到。
[数学式54] x′＝gr(θ)cosφ [数学式55] y′＝gr(θ)sinφ 采用等式27至55，具有理想投影方案的全景图像能够从采用呈现失真像差的鱼眼透镜获得的图像获取。首先，取决于用户的需要，确定全景图像的所期望尺寸(W，H)以及第三交点O″的位置。所述第三交点甚至能够位于经处理的像平面之外。换言之，经处理的像平面上的横坐标的范围(x″1≤x″≤x″2)以及纵坐标的范围(y″1≤y″≤y″2)能够采用任意实数。同样，该全景图像(即，经处理的像平面)的水平FOVΔψ确定。然后，与具有直角坐标(x″，y″)的全景图像上的第三点相对应的入射光线的水平入射角ψ和竖直入射角δ能够采用等式28和29获得。然后，采用等式47和46计算具有所述水平入射角和竖直入射角的入射光线的天顶角θ和方位角φ。接着，采用等式52获得与入射光线的天顶角θ相对应的真实图像高度r。利用该入射光线的真实图像高度r、放大率g以及方位角φ，采用等式54和55获得未修正的像平面上的像点的直角坐标(x′，y′)。在这种程序中，未修正的像平面上的第二交点的坐标，或者等同地，传感器平面上的第一交点的位置，需要精确的确定。交点的这种位置能够容易地采用包括图像处理方法的多种方法获得。因为这种技术是本领域技术人员公知的，因此本文中不再描述。最后，来自具有所述直角坐标的像点的通过鱼眼透镜的视频信号(即，RGB信号)给定为用于全景图像上在具有直角坐标(x″，y″)的像点的视频信号。通过上述方法，能够通过对于经处理的像平面上所有像点的图像处理得到具有理想投影方案的全景图像。
然而，实际上，由于所有的图像传感器和显示设备都是数字化设备，因而发生了复杂情况。图23是数字化经处理的像平面的示意图，而图24是未修正的像平面的示意图。所述经处理的像平面具有形式为在横向具有Jmax列且在纵向具有Imax低的二维阵列的像素。虽然一般说来，每个像素均具有横向尺寸和纵向尺寸都测量为p的正方形形状，但在图像处理领域，像素的横向和纵向尺寸都认为是1。为了指定具体的像素P″，使用了低数I和列数J。在图23中，所述像素P″的坐标给定为(I，J)。因此，存储在该像素上的信号能够指定为S(I，J)。像素具有有限的面积。为了修正数字化图像的失真，将任意像素P″的物理坐标作为像素的中心位置，在图23中标记为实心圆。
在图像传感器平面上具有与所述经处理的像平面(2335)上的像素P″相对应的像点，即，第一点。世界坐标系中在所述第一点处形成图像的入射光线的水平入射角能够写为ψI，J≡ψ(I，J)。同样，竖直入射角能够写为δI，J≡δ(I，J)。附带地，该第一点的位置一般不与任意一个像素的确切位置重合。
此处，如果所述屏幕(2335)与全景图像相对应，则如等式56给出的那样，水平入射角必定为横向像素坐标J的唯一函数。
[数学式56] ψI，J＝ψJ≡ψ(J) 同样，竖直入射角必定为纵向像素坐标I的唯一函数。
[数学式57] δI，J＝δI≡δ(I) 此外，如果在横向上满足等距投影方案，且在纵向上满足直线性投射方案，则水平入射角的范围和竖直入射角的范围必定满足等式58给出的关系。
[数学式58] 与之前描述的图像修正方法相比，用于数字化图像的图像修正方法通过以下程序。首先，通过试验或基于精确的透镜配置来获得将要用在图像处理中的广角透镜的真实投影方案。在本文中，当相对于光轴具有天顶角θ的入射光线通过透镜的图像形成性质在图像传感器平面上形成清晰像点时，透镜的真实投影方案是指从所述图像传感器平面和光轴之间的交点O到所述作为入射光线的天顶角θ的函数得到的像点的距离r。
[数学式59] r＝r(θ) 所述函数是天顶角θ的单调递增函数。接着，得到未修正的像平面上的光轴的位置，换言之，与图像传感器平面上的第一交点O相对应的第二交点O′的位置。假设该第二交点的像素坐标为(Ko，Lo)。此外，得到在图像传感器平面上的真实图像高度r之上的、未修正的像平面上的像素距离r′的放大率g。该放大率g由等式60给出。
[数学式60] 上述一系列的准备阶段一经完成，则安装有所述鱼眼透镜的照相机就被安装，其光轴对准为平行于地平面，并获得原图像(即，未修正的像平面)。接着，确定经处理的像平面的所期望尺寸以及第三交点的位置(Io，Jo)，然后对于所述经处理的像平面上的所有像素(I，J)，计算由等式61和62给出的水平入射角ψJ和竖直入射角δI。
[数学式61] [数学式62] 从这些水平和竖直入射角，采用等式63和64获得在第一直角坐标系中的入射光线的天顶角θI，J和方位角ΦI，J。
[数学式63] θI，J＝cos-1(cosδIcosψJ) [数学式64] 接着，利用等式63和59获得图像传感器平面上的图像高度rI，J。
[数学式65] rI，J＝r(θI，J) 接着，利用未修正的像平面上的第二交点的位置(Ko，Lo)和放大率g，采用等式66和67获得未修正的像平面上的第二点(2407)的位置。
[数学式66] x′I，J＝Lo+grI，JcosφI，J [数学式67] y′I，J＝Ko+grI，JsinφI，J 所述第二点的位置不与任意一个像素的位置精确重合。因此，(x′I，J，y′I，J)能够认为是未修正的像平面上与经处理的像平面上的第三点相对应的虚像素的坐标，并通常具有实数。
因为所述第二点不与任意一个像素重合，因而必须采用插值方法进行图像处理。采用等式68和69能够获得距离所述第二点位置最近的像素(2408)的坐标。
[数学式68] K＝int(y′I，J) [数学式69] L＝int(x′I，J) 此处，int{x}是其输出为与实数x最接近的整数的函数。然后，存储在该像素处的信号值P(K，L)被复制并分配为用于展开全景图像中的相对应像素的信号值S(I，J)。
[数学式70] S(I，J)＝P(K，L) 这种几何转换非常简单，但其优点在于即使对于在全景图像中具有大量像素的情况，执行时间也很快。
由这种最简单的方法进行图像处理的展开的全景图像的缺点在于，当像素数量在图像传感器中并不充足或者当将展开的全景图像放大时，两个不同物体之间的边缘呈现为如同锯齿的锯齿状。为了克服该缺点，能够应用双线性插值法。参见图25，在失真未修正的像平面上与无失真经处理的像平面上的坐标为(I，J)的像素P″相对应的第二点(2507)的位置(x′，y′)标记为黑三角形。此处，相邻像素之间的横向和纵向间隔都为1，并且所述第二点与像素(2508)在横向上分开Δx像素，在纵向上分开Δy像素。所述像素(2508)为这样的像素，其坐标由通过截取所述第二点的实数坐标而获得的整数值(K，L)给出。换言之，例如，如果将x′给定为x′＝103.9，则int(x′)＝104，但是该值并不用在双线性插值法中。相反，小于x′的最大整数103成为L值。在数学术语中，其被指定为L＝Floor(x′)，及K＝Floor(y′)。然后，采用双线性插值法计算的像素的信号值由等式71给出。
[数学式71] S(I，J)＝(1-Δy)(1-Δx)P(K，L)+Δy(1-Δx)P(K+1，L)+(1-Δy)ΔxP(K，L+1)+ΔyΔxP(K+1，L+1) 当利用这种双线性插值法时，图像变得更清晰。然而，因为计算负担增加，因而在诸如生成现场视频信号的实时操作的成像系统中这能够成为障碍。另一方面，如果采用诸如双三次插值或样条插值法的插值法，则能够得到更令人满意的图像，但仍然更多地增加计算负担。为了防止由这种计算负担的增大引起的速度(即，帧频)的下降，能够由诸如FPGA芯片的硬件进行图像处理。
另一方面，当图像放大或缩小时，换言之，当图像由软件放大或缩小时，仍会出现其他问题。例如，当图像过分地放大时，图像能够出现模糊，而当图像缩小时，能够发生莫尔效应。此外，由于图像处理，图像能够在相同屏幕内放大和缩小，而上述两种反作用能够同时出现。为了改进这些问题，通常能够进行滤波操作。
图26是Paul Bourke教授通过采用计算机生成的虚构室内景物，并且已假定用来捕捉图像的虚构透镜为FOV为180°的具有理想等距投影方案的鱼眼透镜。该图像为正方形图像，其横向和纵向尺寸均未250像素。因此，光轴的坐标为(125.5，125.5)，且对于天顶角为90°的入射光线来说图像高度给定为r′(π/2)＝125.5-1＝124.5。此处，r′不是物理距离，而是以像素距离测量的图像高度。因为该虚构鱼眼透镜符合等距投影方案，因而该透镜的投影方案由等式72给出。
[数学式72] 另一方面，图27是从图26中给出的鱼眼图像获得的符合圆柱投影方案的全景图像，其中横向和纵向尺寸都是250像素，且第三交点位于经处理的像平面的中心处。此外，经处理的像平面的水平FOV是180°(即，π)。如能够从图27看到的那样，图26中的三个壁(即，前壁、左壁和右壁)中的所有竖直线都在图27中呈现为直线。世界坐标系中的所有竖直线都在经处理的像平面上呈现为直线的事实为本发明的特征。
图28是示出了图像传感器平面(2813)上的真实图像(2833)的所期望尺寸和位置的示意图。适于本实施方式的鱼眼透镜是具有大于180°的FOV且符合等距投影方案的鱼眼透镜。此外，鱼眼透镜的光轴和图像传感器平面之间的交点O位于图像传感器平面的中心处。因此，横坐标的范围是(-B/2≤x≤B/2)，纵坐标的范围是(-V/2≤y≤V/2)。
如果该鱼眼透镜的最大FOV给定为2θ2，则图像传感器平面处具有最大天顶角的入射光线的图像高度给定为r2≡r(θ2)。此处，所期望的图像高度由等式73给出。
[数学式73] 因此，图像圆(2833)接触图像传感器平面(2813)的左边缘(2813L)和右边缘(2813R)。在这种结构中，成像系统利用图像传感器平面上的多数像素并提供令人满意的经处理的像平面。
图29是采用具有185°的FOV的商用鱼眼透镜的获得的示例性鱼眼图像，而图30是该鱼眼透镜的实验测量的真实投影方案，其中该未经处理的像平面的上的图像高度给定为入射光线的天顶角θ的函数r′(θ)＝gr(θ)。如果该鱼眼透镜是理想的鱼眼透镜，则图30中的图必定给定为直线。然而，能够注意的是明显从直线偏离。图30中示出的真实投影方案能够给定为等式74中给出的天顶角θ的简单多项式。
[数学式74] r(θ)＝a1θ+α2θ2+a3θ3 此处，天顶角的单位是弧度。表3示出了三阶多项式的系数。
[表3] 由于实验测量误差，假设表3给出的近似投影方案和透镜的真实投影方案之间的差异大于3像素。
这种算法能够采用诸如MatLab的科学程序进行检验。以下是从图29中给出的图像获得具有180°的水平FOV的全景图像的算法。
％ Image processing of a panoramic image. ％ ％ *********** Real projection scheme **************************** coeff＝[-30.3594，18.5071，561.5398，0.0]； ％ ％ *** Read in the graphic image ********** picture＝imread(′image′，′jpg′)； [Kmax，Lmax，Qmax]＝size(picture)； CI＝double(picture)+1； ％ Lo＝1058；％ x position of the optical axis in the raw image Ko＝806；％ y position of the optical axis in the raw image ％ ％ Draw an empty canvas Jmax＝1600；％ canvas width Imax＝600；％ canvas height EI＝zeros(Imax，Jmax，3)；％ dark canvas ％ Jo＝(1+Jmax)/2； Io＝200； Dpsi＝pi； A＝(Jmax-1)/Dpsi； ％ ％ Virtual screen for I＝1:Imax for J＝1:Jmax p＝J-Jo； q＝I-Io； psi＝p/A； delta＝atan(q/A)； phi＝atan2(tan(delta)，sin(psi))； theta＝acos(cos(delta)*cos(psi))； r＝polyval(coeff，theta)； x＝r*cos(phi)+Lo； y＝r*sin(phi)+Ko； Km＝floor(y)； Kp＝Km+1； dK＝y-Km； Lm＝floor(x)； Lp＝Lm+1； dL＝x-Lm； if((Km＞＝1)&(Kp＜＝Kmax)&(Lm＞＝1)&(Lp＜＝Lmax)) EI(I，J，:)＝(1-dK)*(1-dL)*CI(Km，Lm，:)... +dK*(1-dL)*CI(Kp，Lm，:)... +(1-dK)*dL*CI(Km，Lp，:)... +dK*dL*CI(Kp，Lp，:)； else EI(I，J，:)＝zeros(1，1，3)； end end end DI＝uint8(EI-1)； imagesc(DI)； axis equal； 图31是采用上述算法获得的示例性全景图像，其中矩形经处理的像平面在横向上为1600像素，在纵向上为600像素。原点的坐标为(800.5，200.5)，而水平FOV为180°。图31中可看到的轻微误差主要是由于将光轴对准为平行于地平面的误差以及定位第二交点的位置的误差造成的。
第二实施方式 如上所述，严格意义上的圆柱投影方案并没有广泛使用。尽管其提供了数学上最为精确的全景图像，但当竖直FOV(即，Δδ＝δ2-δ1)较大时，图像对于裸眼呈现的不自然。
第一实施方式的圆柱投影方案能够归纳如下。经处理的像平面上横坐标x″与水平入射角成正比。因此，如第一实施方式中的那样，等式75中给出的关系成立。
[数学式75] 另一方面，如等式76中给出的那样，经处理的像平面上的纵向坐标y″与竖直入射角的单调函数成正比。
[数学式76] y″∝F(δ) 此处，F(δ)是竖直入射角δ的连续和单调函数。因此，与等式22相对应的等式77给出的关系保持如下。
[数学式77] 因此，水平入射角的范围、竖直入射角的范围以及经处理的像平面的尺寸满足以下关系。
[数学式78] 此外，与经处理的像平面上具有横坐标x″和纵坐标y″的第三点相对应的水平入射角由等式79给出，而竖直入射角由等式80给出。
[数学式79] [数学式80] 此处，F-1是函数F()的逆函数。第一实施方式中的所述圆柱投影方案是函数F由等式81给出的情况。
[数学式81] F(δ)＝tanδ 另一方面，如果所述一般投影方案特定为等矩形投影方案，则所述函数由等式82给出。
[数学式82] F(δ)＝δ 因此，水平和竖直入射角的范围以及经处理的像平面的尺寸满足以下关系。
[数学式83] 此外，竖直入射角由等式84给出。
[数学式84] 另一方面，如果所述一般投影方案特定为莫卡脱投影方案，则所述函数由等式85给出。
[数学式85] 同样，水平和竖直入射角的范围以及经处理的像平面的尺寸满足以下关系。
[数学式86] 另一方面，竖直入射角由等式87给出。
[数学式87] 如本发明的第一实施方式中那样，考虑到图像传感器平面、未修正的像平面和经处理的像平面都进行数字化的事实，第一和第二实施方式的图像处理方法包括获得未修正的像平面的阶段，同时安装有旋转对称广角透镜的照相机的光轴以及图像传感器平面的横向侧对准为平行于地平面；以及从未修正的像平面获得经处理的像平面的图像处理阶段。所述未修正的像平面为具有Kmax行且在纵向具有Lmax列的二维阵列，所述未修正的像平面上的光轴的像素坐标为(K0，L0)，而所述透镜的真实投影方案给定为等式88中给出的函数。
[数学式88] r＝r(θ) 此处，透镜的真实投影方案是指作为入射光线的天顶角θ的函数得到的像点的图像高度r，而所述照相机的放大率g由等式89给出，其中r′是未修正的像平面上与图像高度r相对应的像素距离。
[数学式89] 所述经处理的像平面为具有Imax行和Jmax列的二维阵列，经处理的像平面上的光轴的像素坐标为(I0，J0)，而与所述经处理的像平面上具有坐标(I，J)的像素相对应的入射光线的水平入射角ψI，J≡ψ(I，J)＝ψJ由等式90给出为所述像素坐标J的唯一函数。
[数学式90] 此处，ψ1是与J＝1相对应的水平入射角，而ψJmax是与J＝Jmax相对应的水平入射角。另一方面，所述入射光线的竖直入射角δI，J≡δ(I，J)＝δI等式91给出为所述像素坐标I的唯一函数。
[数学式91] 此处，F-1是入射角δ的连续和单调递增函数F(δ)的逆函数，而所述经处理的像平面上具有坐标(I，J)的信号值由未修正的像平面上具有坐标(x′I，J，y′I，J)的虚像素的信号值给出，其中所述虚像素的所述坐标(x′I，J，y′I，J)由等式92至96给出的系列等式获得。
[数学式92] θI，J＝cos-1(cosδIcosψJ) [数学式93] [数学式94] rI，J＝r(θI，J) [数学式95] x′I，J＝Lo+grI，J cosφI，J [数学式96] y′I，J＝Ko+grI，J sin φI，J 如果全景图像的投影方案是圆柱投影方案，则所述函数F由等式97给出，而所述竖直入射角由等式98给出。
[数学式97] F(δ)＝tan δ [数学式98] 如果全景图像的投影方案是等矩形投影方案，则所述函数F由等式99给出，而所述竖直入射角由等式100给出。
[数学式99] F(δ)＝δ [数学式100] 如果全景图像的投影方案是莫卡脱投影方案，则所述函数F由等式101给出，而所述竖直入射角由等式102给出。
[数学式101] [数学式102] 用于获得与给定水平和竖直入射角相对应的像点的位置以及对图像进行插值的程序与等式63至71中给出的程序相同。
图32是从图26中给出的鱼眼图像获得的符合等矩形投影方案的全景图像，而图33是符合莫卡脱投影方案的全景图像。尤其是在图32中的具有等矩形投影方案的全景图像投影方案中，水平和竖直FOV都是180°。
第三实施方式 在安全和监测领域应用的典型广角透镜的视场最大为90°，且具有该数量的FOV的安全透镜通常呈现极大程度的失真。具有的FOV大于90°的透镜并未广泛使用，这是因为这种透镜呈现过大的失真并引起心理上的不适。
图34是采用具有的FOV接近90°的典型的广角照相机用于监视整个室内空间的成像系统(3400)概念图。通常，安全照相机必须安装在人们够不到的较高位置。因此，为了监视整个室内空间同时保持使人们够不到，照相机(3410)安装在天花板和两个壁相交的角处，并且照相机向下面向室内。照相机的光轴(3401)相对水平线和竖直线都倾斜，并且照相机以倾斜的角度捕捉物体(3467)。当使用这种具有的FOV接近90°的照相机时，由照相机捕捉的区域(3463)能够包含整个室内空间，但在较近和较远侧之间的距离上存在较大差异，因而对于较远侧的视觉信息可能不够。
通常，照明设备(3471)安装在室内天花板上。因为典型的照相机安装为以一定角度向下面向室内，因而所述照明设备在照相机的视场(3463)之外，并且来自该照明设备的较强光线(3473)未由照相机捕捉。
图35是示意性的示出了本发明的第三实施方式的图像传感器平面(3513)上的真实图像(3533)的所期望尺寸和位置的简图。适于本实施方式的鱼眼透镜是具有的FOV大于180°并符合等距投影方案的鱼眼透镜。此外，鱼眼透镜的光轴和图像传感器平面之间的交点O的位置比图像传感器平面的正中心高。如果该鱼眼透镜的最大FOV给定为2θ2，则图像传感器平面处的具有最大天顶角的入射光线的图像高度给定位r2≡r(θ2)。此处，所期望的图像高度由等式73给出。所期望的是，图像圆(3533)接触图像传感器平面(3513)的左边缘(3513L)、右边缘(3513R)和底部边缘(3513B)。在这种结构中，成像系统使用图像传感器平面上的大多数像素并监视整个室内空间，同时安装在该室内空间的天花板附近。
图36是采用具有的FOV大于用于监视整个室内空间的典型广角透镜的FOV的超广角透镜的成像系统(3600)的所期望安装状态的概念图。如果采用具有的FOV远大于用于监视整个室内空间的典型广角透镜的FOV的超广角透镜，则照相机无需以图34中的倾斜角度安装以便监视整个室内空间。
为了获得看起来自然的全景图像，图像采集装置(3610)的光轴(3601)必须平行于地平面。此外，安全照相机必须安装在人们够不到的较高位置。因此，如图36中示意性示出的那样，照相机必须安装在天花板以下的较高位置，且光轴对准为平行于地平面。然而，如果以这种方式安装照相机，则通常一半的屏幕将由天花板占据，且需要监视的天花板之下的区域仅占据一部分屏幕。因此，通过图35示出的图像传感器平面的配置，需要使竖直FOV不对称。此外，由于照相机是水平安装的，因而发光设备(3671)能够包含在照相机的视场(3663)内。因为当这些较强光线由照相机捕捉时图像并不能令人不满意，因而如图36所示的挡住地平线之上区域的盖(3675)能够是有用的。
在这种物理环境下，能够得到具有的水平FOV约为180°的全景图像，诸如本发明的第一和第二实施方式中示出的全景图像，同时，使得竖直FOV不对称。此外，当竖直FOV接近60°左右的标准FOV时，圆柱投影方案是期望的，而当FOV更大时，莫卡脱投影方案是期望的。此外，在安全监视中的天花板或地板处的任何盲区都不能容忍的应用实例中，则能够使用等矩形投影方案。在这种情况下，水平FOV和竖直FOV都将为180°。
第四实施方式 图37为普通的车辆后视照相机(3710)的示意图。对于车辆后视照相机来说，应用FOV大于150°的广角透镜是非常普通的，并且如图37所示，透镜的光轴通常向地平面(3717)倾斜。通过以这种方式安装照相机，当倒车的时候能够容易地识别停车车道。此外，因为透镜表面向下朝向地面，因而防止落下尘土，并且提供了对雨雪的部分保护。
需要在客车的车厢顶部安装本发明的第四实施方式的图像采集装置(3710)，并以和地平面成一定的角度对准光轴。此外，最为优选的是FOV大于180°并符合等距投影方案的鱼眼透镜，并且需要紧邻驾驶员座位安装图像显示装置。
采用其光轴向地平面倾斜的广角照相机，可以获得诸如本发明的第一和第二实施方式中示出的全景图像。本实施方式的世界坐标系将成像系统(371 0)的节点N作为原点，并将垂直于地平面的竖直线作为Y轴，而Z轴设置为平行于汽车(3751)车轴。根据右手坐标系的传统，X轴的正方向为直接插入图37的纸面的方向。因此，如果透镜光轴倾斜到地平线以下角度为α，那么固定至照相机的坐标系已绕着世界坐标系的X轴旋转了角度α。该坐标系称为第一世界坐标系，而该第一世界坐标系的三个轴分别称为X′轴、Y′轴和Z′轴。在图37中，呈现出第一世界坐标系已绕着X轴、相对于世界坐标系顺时针旋转了角度α。然而，考虑到正X轴的方向，实际上其被逆时针旋转了角度α。因为旋转方向将逆时针旋转看做为正方向，因此图37中的第一世界坐标系已绕着世界坐标系的X轴转动了+α。
关于坐标系的转动，使用欧拉矩阵是方便的。为此，三维空间中的物点Q的坐标指定为以下给出的三维矢量。
[数学式103] 此处，

表示三维空间中在原点开始并在点Q结束的在世界坐标系中的矢量。因而，可通过在空间中将点Q绕X轴旋转-α角度得到的新点的坐标通过将等式23中给出的矩阵乘以上述矢量给出。
[数学式104] 同样，在等式15中给出的矩阵能够用来得到可通过在空间中将点Q绕Y轴旋转-β角度得到的新点的坐标，而在等式106中给出的矩阵能够用来得到可通过在空间中将点Q绕Z轴旋转-γ角度得到的新的点的坐标。
[数学式105] [数学式106] 等式104到106中的矩阵能够描述坐标系固定且已将空间中的点旋转的情况，而且相同的矩阵还能够描述空间中的点固定且已将坐标系在相反方向上旋转的情况。这两种情况是数学上等同的。因此，在如图37所示的可通过将世界坐标系绕X轴旋转角度α得到的第一世界坐标系中的点Q的坐标由等式107给出。
[数学式107] 采用等式104中给出的矩阵，根据世界坐标系中的坐标，第一世界坐标系中的坐标能够按以下方式给出。
[数学式108] X′＝X [数学式109] Y′＝Ycosα+Zsinα [数学式110] Z′＝-Ysinα+Zcosα 参见图37，让我们假设已安装了成像系统且其光轴向地平面倾斜，然而，需要得到平行于地平面的全景图像。图38是α＝30°的广角图像。在这种情况下，以下算法能够用来得到平行于地平面的全景图像。首先，通过与前述实施方式中实施例中相同的方法确定在所述成像系统平行于地平面的假设下，经处理的像平面的尺寸、第三交点的位置以及水平视场。然后，与经处理的像平面上的横坐标x″相对应的水平入射角以及与纵坐标y″相对应的竖直入射角由等式111至113给出。
[数学式111] [数学式112] [数学式113] 接着，假设具有这些水平和竖直入射角的入射光线源自半径为1且中心位于透镜节点的半球上的物点。然后，所述物点在世界坐标系中的坐标由等式114至116给出。
[数学式114] X＝cosδsinψ [数学式115] Y＝sinδ [数学式116] Z＝cosδcosψ 第一世界坐标系中该物点的坐标由等式108至110给出。该第一世界坐标系的X′轴、Y′轴和Z′轴分别平行于第一直角坐标系中的x轴、y轴和z轴。因此，通过与第一实施方式中相同的方法，入射光线的天顶角和方位角由等式117和118给出。
[数学式117] θ＝cos-1(Z′) [数学式118] 最后，图像传感器平面上具有上述天顶角和方位角的第一点的位置能够通过第一和第二实施方式中的相同方法得到。
与之前的实施例相同，考虑到所有的图像传感器和显示设备都是数字设备的事实，图像处理程序必须采用以下一组等式。在进行了如第一和第二实施方式中采取的一系列准备阶段之后，确定经处理的像平面的所期望尺寸以及第三交点的位置(I0，J0)，然后，对于所述经处理的像平面上的所有像素(I，J)计算由等式119和120给出的水平入射角ψJ和竖直入射角δI。
[数学式119] [数学式120] 从以上水平和竖直入射角，采用等式121至123计算世界坐标系中的虚构物点的坐标。
[数学式121] XI，J＝cosδIsinψJ [数学式122] YI，J＝sinδI [数学式123] ZI，J＝cosδIcosψJ 从该物点在世界坐标系中的该坐标，通过等式124至126得到物点在第一世界坐标系中的坐标。
[数学式124] X′I，J＝XI，J [数学式125] Y′I，J＝YI，Jcosα+ZI，Jsinα [数学式126] Z′I，J＝-YI，Jsinα+ZI，Jcosα 通过该坐标，采用等式127和128来计算入射光线的天顶角θI，J和方位角ΦI，J。
[数学式127] θI，J＝cos-1(Z′I，J) [数学式128] 接着，采用等式129计算图像传感器平面上的图像高度rI，J。
[数学式129] rI，J＝r(θI，J) 然后，利用未修正的像平面上的第二交点的位置(K0，L0)以及放大率g来得到第二点在未修正的像平面上的位置。
[数学式130] x′I，J＝Lo+grI，Jcos(φI，J) [数学式131] y′I，J＝Ko+grI，J sin(φI，J) 一旦获得了相应的第二点的位置，便能够利用诸如在第一和第二实施方式中描述的插值法来得到全景图像。
图39是采用这种方法得到的全景图像，并且已应用了圆柱投影方案。如能够从图39看到的那样，尽管光轴不平行于地平面，但是已获得了与第一实施方式中相同的全景图像。将这种全景成像系统用作车辆后视照相机，能够完全监视车辆的背部而没有任何盲点。
需要特别注意的一点是，当将这种全景成像系统用作车辆后视照相机时，对于移动方向为图像采集装置的光轴的正相对的方向的设备(即，车辆)，如果未经任何进一步处理便显示通过第一至第四实施方式中的方法获得的全景图像，那么这会对驾驶员引起极大的混乱。因为车辆后视照相机指向车辆的背部，因此车辆的右端在显示由后视照相机捕捉的图像的监视器上呈现为左端。然而，驾驶员可能从其自身在车辆的前端观察的观察点而认为图像显示的是车辆的左端而使其自身迷惑，因而，存在极大的可能发生事故的危险。为了防止这种危险的迷惑，在将采用车辆后视照相机获得的图像显示在监视器上之前，将该图像的左侧和右侧转换是非常重要的。对于在经镜像的(即，左侧和右侧互换)经处理的像平面中的坐标为(I，J)的像素的视频信号S′(I，J)，由来自经处理的像平面的坐标为(I，Jmax-J+1)的像素的视频信号S(I，Jmax-J+1)给出。
[数学式132] S′(I，J)＝S(I，Jmax-J+1) 另一方面，同样的系统能够被安装在房间镜、前保险杠或散热器护栅附近，以便用作连接至用于记录车辆行驶历史的车辆黑匣子处的记录照相机。
已关于车辆后视照相机描述了以上实施方式，但是必定显然的是本发明的用途不限于车辆后视照相机。
第五实施方式 对于较大巴士和卡车，有必要监视车辆的横侧以及车辆的后侧。这种侧部监视成像系统当在狭窄小路中转弯时或者当在高速公路上变换车道时尤其有用。此外，其作为安全监视照相机将会是有用的，用于防止当乘客上巴士或下巴士时的事故。图40是这种设备的概念图，并且其示出了从上方观察的该设备的顶视图。当将本发明的图像采集装置(换言之，装配有FOV为180°的等距投影鱼眼透镜的视频照相机)安装在所述车辆(4051)的前壁、后壁以及两个侧壁的顶部附近时，则每个照相机在其各自的壁上监视180°而没有任何盲区，并且总体上，车辆的整个周围环境都能监视而没有任何盲区。照相机的光轴能够如本发明的第一至第三实施方式那样平行于地平面，或者其能够如第四实施方式那样以一定角度倾斜。
第六实施方式 图41示出了图像传感器平面的纵侧可不垂直于地平面的应用实例。如果广角照相机(4110)安装在图41中示出的摩托车(4151)上用于记录行驶历史，则图像传感器平面的纵侧能够偶尔不垂直于地平面(4117)。图41示出的是固定于地平面的世界坐标系的X轴和固定在摩托车上的第一直角坐标系的x轴相差了角度γ的情况。尤其是，如果摩托车需要改变其移动方向，则摩托车需要朝该方向倾斜，因此，这种情况不可避免地发生了。类似的情况会出现于在带有较高波浪的海洋中漂浮的船、或进行特技飞行的飞机、或UAV(无人机)上。此外，相同的情况能够发生于在过度倾斜的道路上的车辆。
图42是采用成像系统获得的虚构鱼眼图像，其中图像传感器平面的纵侧相对于竖直线倾斜20°。另一方面，图43是符合本发明的第一实施方式描述的圆柱投影方案、从图42中给出的图像获得的全景图像。如能够从图43看到的那样，图像呈现得非常不自然。这是因为第一和第二实施方式中的成像系统是将平行于图像传感器平面的纵侧的直线捕捉为直线的成像系统，因此，如果图像传感器平面的竖直线和纵侧不相互平行，则不能获得所期望的全景图像。
图44是示出了根据本发明的第六实施方式的、图像传感器平面(4413)上的真实图像(4433)的所期望尺寸和位置的简图。适于本实施方式的鱼眼透镜是FOV大于180°且符合等距投影方案的鱼眼透镜。此外，鱼眼透镜的光轴和图像传感器平面之间的交点O位于图像传感器平面的中心。因此，横坐标的范围是(-B/2≤x≤B/2)，而纵坐标的范围是(-V/2≤y≤V/2)。
如果该鱼眼透镜的最大FOV给定为2θ2，则图像传感器平面上具有最大天顶角的入射光线的图像高度给定为r2≡r(θ2)。此处，所期望的图像高度由等式133给出。
[数学式133] 因此，图像圆(4433)接触图像传感器平面(4413)的顶部边缘(4413T)和底部边缘(4413T)。在这种结构中，即使成像系统相对于地平面以任意角度倾斜，通常也能够获得相同的水平FOV。
图45是本发明的第六实施方式的示意图，其是主要包括图像采集装置(4510)、图像处理装置(4516)、图像显示装置(4517)以及方向感测装置(4561)的设备。所述方向感测装置(4561)指示描述所述图像采集装置的第一直角坐标系与描述成像系统周围物体的世界坐标系之间的倾斜角γ。此处，角度γ是世界坐标系的X轴和第一直角坐标系的x轴之间的倾斜角，或者世界坐标系和Y轴与第一直角坐标系的负(-)y轴之间的倾斜角。因为所述方向感测装置广泛用来植入在多数照相机电话和数字照相机中，因而将省略详细描述。本发明第六实施方式的设备的特征在于其采用从所述方向感测装置得到的角度γ提供世界坐标系的Y轴上的全景图像参考。
参见图46，经处理的像平面(4635)上的第三点P″具有直角坐标(x″，y″)。附带地，如果经处理的像平面的纵侧平行于世界坐标系的Y轴，则该第三点的坐标将由等式134给出的横坐标x″′和等式135给出的给出的纵坐标y″′组成。
[数学式134] x″′＝x″cosγ+y″sinγ [数学式135] y″′＝-x″sinγ+y″cosγ 因此，与所述第三点相对应的入射光线的水平和竖直入射角必定分别由等式136和137给出。
[数学式136] [数学式137] 因此，具有理想的投影方案的经处理的像平面上的第三点的信号值必定是由物平面上来自具有由等式136给出的水平入射角(即，经度)和等式137给出的竖直入射角(即，纬度)的物点的入射光线形成的像点的信号值。该入射光线的天顶角由等式138给出，方位角由等式139给出，而图像高度由等式140给出。
[数学式138] θ＝cos-1(cosδcosψ) [数学式139] [数学式140] r＝r(θ) 与具有上述天顶角和方位角的物点相对应的像点在第二直角坐标系中具有由等式141和142给出的二维直角坐标，该直角坐标系是轴相对于Y轴旋转了角度γ的坐标系。
[数学式141] x′＝gr(θ)cos(γ+φ) [数学式142] y′＝gr(θ)sin(γ+φ) 因此，能够将未修正的像平面上具有该直角坐标的像点的信号值分配为经处理的像平面上第三点的信号值。
与之前的实施例相同，考虑到所有的图像传感器和显示设备都是数字设备的事实，图像处理程序必须采用以下一组等式。在进行了如第一至第五实施方式中采取的一系列准备阶段之后，确定经处理的像平面的所期望尺寸以及第三交点的位置(I0，J0)，然后，对于所述经处理的像平面上的所有像素(I，J)计算由等式143和144给出的水平入射角ψJ和竖直入射角δI。
[数学式143] [数学式144] 从以上水平和竖直入射角，采用等式145和146计算世界坐标系中入射光线的天顶角顶角θI，J和方位角ΦI，J。
[数学式145] θI，J＝cos-1(cosδI，JcosψI，J) [数学式146] 接着，利用等式147获得图像传感器平面上的图像高度rI，J。
[数学式147] rI，J＝r(θI，J) 接着，利用未修正的像平面上的第二交点的位置(Ko，Lo)和放大率g，来获得未修正的像平面上的第二点的位置。
[数学式148] x′I，J＝Lo+grI，Jcos(γ+φI，J) [数学式149] y′I，J＝Ko+grI，Jsin(γ+φI，J) 一旦获得了相应的第二点的位置，便能够利用诸如在第一至第三实施方式中描述的插值法来得到全景图像。
本实施方式中的入射角的单调递增函数F(δ)的所期望实施例能够由等式97、99和101给出。图47是采用这种方法获得的全景图像，并且已应用了等式97中给出的圆柱投影方案。如能够从图47中看到的那样，竖直线呈现为以角度γ倾斜的直线。这种成像系统提供了令人满意的全景图像以及关于竖直方向的精确反馈。
第七实施方式 当飞机从地面起飞时、或者当它着陆时、或者当它转弯时，机身向一旁以及朝向移动方向倾斜。图48和49示出了这种应用实例。假设成像系统已安装为平行于机身。本实施方式的世界坐标系将成像系统的节点作为原点，将垂直于地平面的竖直线作为Y轴，并且在飞机将其机身保持为水平姿势时飞机朝向的方向为Z轴的方向。附带地，如果飞机向前倾斜角度α，则固定于飞机的坐标系已绕世界坐标系的X轴旋转了角度α。该坐标系为第一世界坐标系，并且该第一世界坐标系的三个轴分别称为X′、Y′和Z′轴。另一方面，如果飞机如图49已示出的也横向倾斜了角度γ，则固定至飞机的坐标系绕第一世界坐标系的Z′轴旋转了角度γ。该坐标系称为第二世界坐标系，且该第二世界坐标系的三个轴分别称为X″、Y″和Z″轴。
关于坐标系的转动，如第四实施方式中那样使用欧拉矩阵是方便的。所述一个点在第一世界坐标系中的坐标由等式150给出，第一世界坐标系是如图48示出的绕X轴旋转了角度α的坐标系。
[数学式150] 另一方面，参见图49，第二世界坐标系是已绕第一世界坐标系的Z′轴旋转了角度γ的第一世界坐标系。因此，所述一个点在第二世界坐标系中的坐标由等式151给出。
[数学式151] 此处，绕Z′轴旋转角度γ的操作是与绕Z轴旋转角度γ的操作的完全不同的操作。然而，采用欧拉矩阵，涉及第一世界坐标系中的轴的旋转矩阵能够根据世界坐标系中的旋转矩阵写出。
[数学式152] MZ′(γ)＝MX(α)MZ(γ)MX(-α) 因此，等式151能够简化如下。
[数学式153] 采用等式104和106给出的旋转矩阵，第二世界坐标系的坐标能够根据世界坐标系中的坐标如下写出。
[数学式154] X″＝Xcosγ+Ysinγ [数学式155] Y″＝-Xcosαsinγ+Ycosαcosγ+Zsinα [数学式156] Z″＝Xsinαsinγ-Ysinαcosγ+Zcosα 参见图48和49，让我们假设成像系统已安装为平行于机身，并且让我们进一步假设期望获得平行于地平面的全景图像，而不管飞机是否相对于地平面倾斜。当需要一直监视地平线周围的区域时这种结构能够是有用的，包括当飞机从地面起飞时、着陆时、或者转弯时。同样，对于摩托车或船来说，可能会出现相同的需要，并且可能由于军事目的需要一直监视地平线周围的区域，诸如通过拦截导弹。
如果广角成像系统安装为平行于诸如图48中示出的飞机和船的设备的主体，则不能从采用本发明的第一至第六实施方式中描述的方法的鱼眼透镜获得的图像获得全景图像。图50示出了当倾斜角给定为α＝30°且γ＝40°时的示例性广角图像。
在这种情况下，以下算法能够用来获得平行于地平面的全景图像，而不管设备的倾斜角如何。首先，这种系统需要如第六实施方式中的方向感测装置，并且该方向感测装置必须向图像处理装置提供两个角度值α和γ。
因而，在所述成像系统平行于地平面的假设下，通过如前述实施方式的实施例中描述相同的方法，确定经处理的像平面的尺寸、交点的位置以及视场。因而，与经处理的像平面上的横坐标x″相对应的水平入射角以及与纵坐标y″相对应的竖直入射角由等式157至159给出。
[数学式157] [数学式158] [数学式159] 接着，假设具有上述水平和竖直入射角的入射光线源自半径为1且中心位于所述透镜的节点的半球上的物点。然后，所述物点在世界坐标系中的坐标由等式160至162给出。
[数学式160] X＝cosδsinψ [数学式161] Y＝sinδ [数学式162] Z＝cosδcosψ 该物点在第二世界坐标系中的坐标由等式154至156给出。该第二世界坐标系的X″轴、Y″轴和Z″轴分别平行于第一直角坐标系的x轴、y轴和z轴。因此，入射光线的天顶角和方位角通过与第一实施方式相同的方法由等式163和164给出。
[数学式163] θ＝cos-1(Z″) [数学式164] 最后，图像传感器平面上具有上述天顶角和方位角的第一点的位置能够通过第一至第四实施方式中的相同方法得到。
与之前的实施例相同，考虑到所有的图像传感器和显示设备都是数字设备的事实，图像处理程序必须采用以下一组等式。在进行了如第一至第四实施方式中采取的一系列准备阶段之后，确定经处理的像平面的所期望尺寸以及第三交点的位置(I0，J0)，然后，对于所述经处理的像平面上的所有像素(I，J)计算由等式165和166给出的水平入射角ψJ和竖直入射角δI。
[数学式165] [数学式166] 从以上水平和竖直入射角，采用等式167至169计算世界坐标系中的虚构物点的坐标。
[数学式167] XI，J＝cosδIsinψJ [数学式168] YI，J＝sinδI [数学式169] ZI，J＝cosδIcosψJ 从物点在世界坐标系中的该坐标，采用等式170至172得到物点在第二世界坐标系中的坐标。
[数学式170] X″I，J＝XI，Jcosγ+YI，Jsinγ [数学式171] Y″I，J＝-XI，Jcosαsinγ+YI，Jcosαcosγ+ZI，Jsinα [数学式172] Z″I，J＝XI，Jsinαsinγ-YI，Jsinαcosγ+ZI，Jcosα 通过该坐标，采用等式173和174来计算入射光线的天顶角θI，J和方位角ΦI，J。
[数学式173] θI，J＝cos-1(Z″I，J) [数学式174] 接着，采用等式175计算图像传感器平面上的图像高度rI，J。
[数学式175] rI，J＝r(θI，J) 然后，利用未修正的像平面上的第二交点的位置(K0，L0)以及放大率g来得到第二点在未修正的像平面上的位置。
[数学式176] x′I，J＝Lo+grI，Jcos(φI，J) [数学式177] y′I，J＝Ko+grI，Jsin(φI，J) 一旦获得了相应的第一点的位置，便能够利用诸如在第一和第二实施方式中描述的插值法来得到全景图像。
本实施方式中的入射角的单调递增函数F(δ)的所期望实施例能够由等式97、99和101给出。图51是采用这种方法获得的全景图像，并且已应用了等式101中给出的莫卡脱全景图像。如能够从图51中看到的那样，所有的竖直线都呈现为竖直线。
能够看出第四实施方式是第七实施方式的特殊情况。换言之，第四实施方式是具有γ＝0°的限制的第七实施方式。
第八实施方式 图52是根据本发明第八实施方式的物平面的概念图。在该实施方式中，广角透镜用来获得从观察者的全部360°方向的视图，并且优选地，广角透镜的光轴(5201)垂直于地平面。此外，绕光轴旋转对称的所有种类的广角透镜都能够使用，包括具有图53中示出的立体投影方案的折射鱼眼透镜、具有图54中示出的立体投影方案的折反射鱼眼透镜、和图1中示意性示出的折反射全景透镜，以及具有等距投影方案的鱼眼透镜。
在该实施方式中，假设半径为S的天球(5230)将透镜的节点N作为球体的中心。当对具有从地平面(5217)(即，X-Y平面)的纬度角χ的所有点(5209)都进行标记时，则这些点的集合在天球上形成小圆(5239)。进一步假设圆锥体，其与该天球的切点包括所述小圆。因而，该圆锥体的顶点半角也为χ，并且该圆锥体的旋转对称轴与Z轴重合。在下文中，该顶点半角称为参考角。
图55示出了所述圆锥体在含有Z轴的入射平面中的剖面。所述圆锥体上的物点(5504)具有相对于连接透镜节点N与所述切点(5509)的线段的仰角μ。本实施方式的全景成像系统是将所述圆锥体具有相对于所述切点的在μ1和μ2之间的仰角的部分作为物平面(5531)的成像系统。
来自物平面上的所述物点(5504)的入射光线的仰角和方位角能够通过以下方法获得。与第一实施方式相同，从世界坐标系中的原点N到物平面上的所述物点(5504)的矢量能够写为

该矢量的方向与入射光线的传播方向正相反，并且该矢量能够在世界坐标系中如等式178中那样写出。
[数学式178] 在等式178中，

是沿X轴方向的单位矢量，同样，

和

分别是沿Y轴和Z轴方向的单位矢量，

是所述矢量的方向矢量，而R是所述矢量的大小。因而，以下关系在直角坐标和极坐标之间成立。
[数学式179] [数学式180] [数学式181] 因此，采用等式179至181，能够从物点的直角坐标(X，Y，Z)获得入射光线的天顶角θ和方位角Φ。
[数学式182] [数学式183] 此外，参见图55，入射光线的天顶角θ和仰角μ满足等式184中给出的关系。
[数学式184] 图56是根据本发明第八实施方式的未修正的像平面的概念图，而图57是经处理的像平面的概念图。如图57中所标记的那样，经处理的像平面的横向尺寸为W，纵向尺寸为H。与之前实施方式的实施例不同，经处理的像平面上的参考点O″不与光轴和图像传感器平面之间的交点相对应，但与所述小圆(5239)和X-Z平面(即，参考面)之间的交点相对应。所述参考点的坐标为(x″O，y′O)。此外，从所述参考点到经处理的像平面上的第三点P″的横向距离与所述物点(5504)的方位角成正比，而纵距与经过原点的仰角的单调函数G(μ)成正比。如果使得经处理的像平面中的纵距与物平面中的纵距成正比，则所述单调函数由等式185给出。
[数学式185] G(μ)＝tanμ 等式185具有与本发明的第一实施方式中的相同的几何含义。
从所述切点(5509)到光轴的距离，换言之，轴向半径(5537)，给定为Scosχ。在本实施方式中，将该距离认为是物平面的半径。因此，物平面的横向尺寸必须满足以下等式186，其中c是比例常数。
[数学式186] 2πScosχ＝cW 此外，考虑到所述仰角的范围，等式187中给出的下式必定成立。
[数学式187] SG(μ)＝c(y″-y″o) 因此，等式188必须满足。
[数学式188] 此处，B是常数。另一方面，另一单调函数F(μ)定义为等式189。
[数学式189] 因此，能够从等式188和189得到等式190。
[数学式190] 以下等式能够从等式185、189和190中得到。
[数学式191] 因此，与所述第三点相对应的仰角由等式192给出。
[数学式192] 此外，天顶角能够容易地从入射光线的仰角获得。
[数学式193] 另一方面，与所述第三点相对应的仰角由等式194给出。
[数学式194] 因此，采用等式190至194，能够获得与经处理的像平面上的第三点相对应的入射光线的天顶角和方位角，并且用此，能够如上述实施方式那样进行图像处理。
与之前的实施例相同，考虑到所有的图像传感器和显示设备都是数字设备的事实，图像处理程序必须采用以下一组等式。首先，设定经处理的像平面的所期望尺寸(Imax，Jmax)、参考点的位置(I0，J0)、以及圆锥体的顶点半角(换言之，参考角χ)。在本实施方式中，参考角χ的取值大于-90°且小于90°。然后，所述常数A由等式195给出。
[数学式195] 通过在这种情况下将Jmax-1用作分子，经处理的像平面的第一列(即，J＝1的列)呈现出与最后一列(即，J＝Jmax的列)相同的信息。在呈现360°方向的视图的全景图像中，当左边缘和右边缘匹配时呈现得较自然。然而，如果不希望信息的这种双重显示，则仅需要将等式195中的分子改为Jmax。接着，对于所述经处理的像平面上的所有像素(I，J)，计算等式196和197中给出的仰角μI和方位角фJ。
[数学式196] [数学式197] 另一方面，入射光线的天顶角由等式198给出。
[数学式198] 采用等式199获得图像传感器平面上的图像高度rI。
[数学式199] rI＝r(θI) 然后，利用未修正的像平面上第二交点的位置(K0，L0)和放大率g来获得未修正的像平面上第二点的位置。
[数学式200] x′I，J＝Lo+grIcosφJ [数学式201] y′I，J＝Ko+grI sinφJ 一旦获得了相应的第二点的位置，便能够利用诸如在第一至第三实施方式中描述的插值法来得到全景图像。这种经处理的像平面满足等式202或等式203中给出的关系。
[数学式202] [数学式203] 图58是利用上述方法从图26得到的全景图像，其中经处理的像平面的横向尺寸为Jmax＝720像素，纵向尺寸为Imax＝120像素，参考点的位置为(I0＝1，J0＝1)，且参考角χ＝0。另一方面，在图59中，参考点的位置为(I0＝60.5，J0＝1)，且参考角χ＝45°，并且使用了等式185中给出的函数。从图58和59，清楚地看出能够获得看起来自然的全景图。
第九实施方式 图60是根据本发明第九实施方式的物平面的概念图。本发明第八与第九实施方式的实施例之间的主要区别在于，在第八实施方式中，将接触天球的圆锥体用作物平面，而在第九实施方式中，将天球本身用作物平面。所有其他的方面几乎相同。在第九实施方式中，同样，假设半径为S的天球(6030)将透镜的节点N作为球体的中心。当对具有从地平面(即，X-Y平面)的纬度角χ的所有点都进行标记时，则这些点的集合在天球上形成小圆。入射光线的仰角μ相对于该小圆测量，且入射光线的天顶角θ和仰角μ满足等式204中给出的以下关系。
[数学式204] 根据本发明第九实施方式的未修正的像平面的概念图与图56相同，并且经处理的像平面的概念图与图57相同。如已在图57中标记出的那样，经处理的像平面的横向尺寸为W，且纵向尺寸为H。经处理的像平面上的参考点O″与所述小圆和X-Z平面间(即，参考面)的交点相对应。所述参考点的坐标为(x″O，y′O)。此外，从所述参考点到经处理的像平面上的第三点P″的横向距离与所述物点(6004)的方位角成正比，而纵距与从所述切点(6009)到所述物点(6004)的仰角的任意单调函数F(μ)成正比，其中该函数经过原点。与本发明的第二实施方式类似，所述单调函数能够由等式205或206给出。
[数学式205] F(μ)＝μ [数学式206] 本实施方式的物平面的半径作为天球的半径。因此，物平面的横向尺寸必定满足等式207中给出的关系，其中c是比例常数。
[数学式207] 2πS＝cW 此外，考虑到仰角的范围，等式208中给出的关系必定满足。
[数学式208] SF(μ)＝c(y″-y″o) 因此，等式209中给出的关系必须成立。
[数学式209] 因此，与所述第三点对应的仰角由等式210给出。
[数学式210] 此外，天顶角能够容易地从入射光线的仰角获得。
[数学式211] 在本实施方式中，参考角χ的取值大于-90°且小于90°。另一方面，与第三点相对应的方位角由等式212给出。
[数学式212] 因此，采用等式208至212，能够得到与经处理的像平面上的第三点相对应的入射光线的天顶角和方位角，并且用此，能够如之前实施方式中那样进行图像处理。
与之前的实施例相同，考虑到所有的图像传感器和显示设备都是数字设备的事实，图像处理程序必须采用以下一组等式。首先，设定经处理的像平面的所期望尺寸(Imax，Jmax)、参考点的位置(I0，J0)、以及参考角χ。然后，由等式213或214给出所述常数A。
[数学式213] [数学式214] 通过将Jmax-1用作等式213中的分子，经处理的像平面的第一列呈现出与最后一列相同的信息。另一方面，通过将Jma用作等式214中的分子，所有的列都与不同的方位角相对应。接着，对于所述经处理的像平面上的所有像素(I，J)，计算等式215和216中给出的仰角μI和方位角фJ。
[数学式215] [数学式216] 另一方面，入射光线的天顶角由等式217给出。
[数学式217] 采用等式218获得图像传感器平面上的图像高度rI。
[数学式218] rI＝r(θI) 然后，利用未修正的像平面上第二交点的位置(K0，L0)和放大率g来获得未修正的像平面上第二点的位置。
[数学式219] x′I，J＝Lo+grIcosφJ [数学式220] y′I，J＝Ko+grIsinφJ 一旦获得了相应的第二点的位置，便能够利用诸如在第一和第二实施方式中描述的插值法来得到全景图像。这种经处理的像平面满足等式221或等式222中给出的关系。
[数学式221] [数学式222] 本实施方式中的仰角的单调递增函数F(μ)的所期望实施例能够由等式97、99和101给出。图61是采用这种方法获得的全景图像，并且已应用了等式99中给出的等距投影方案。经处理的像平面的横向尺寸为Jmax＝720像素，纵向尺寸为Imax＝180像素，参考点的位置为(I0＝90.5，J0＝1)，且参考角(即，圆锥体的顶半角)χ＝45°。另一方面，在图62中应用了等式101中给出的莫卡脱投影方案。特别地，由于图62中的竖直视场为90°，能够实现在安全监视中完全不存在盲区的成像系统。
第十实施方式 除了第五和第六实施方式中的成像系统之外，本发明的多数成像系统拥有许多共同的特征。图63是与本发明的多数实施方式相同的世界坐标系的概念图。为了讨论的简便，这将称为第十实施方式。本发明的第十实施方式是一种设备，其包括图像采集装置、图像处理装置、以及图像显示装置，其中图像采集装置为安装有绕光轴旋转对称的广角透镜，所述图像处理装置通过对采用所述图像采集装置获得的失真广角图像进行图像处理获得全景图像，且所述图像显示装置将所述全景图像显示在矩形屏幕上。
本发明第十实施方式的的世界坐标系将所述透镜的节点N作为原点，并将穿过该原点的竖直线作为Y轴。此处，竖直线为垂直于地平面的线，或者更精确地是垂直于水平面(6317)。该世界坐标系X轴和Z轴包含在地平面内。所述广角透镜的光轴(6301)通常不与Y轴重合，并且能够包含在地平面内(即，平行于地平面)，或者不包含在地平面内。在本文中，将包含所述Y轴和所述光轴(6301)的平面(6304)称为参考面。该参考面(6304)和地平面(6317)之间的交线(6302)与世界坐标系的Z轴重合。另一方面，来自世界坐标系中的直角坐标为(X，Y，Z)的物点Q的入射光线(6305)具有从地平面的高度角δ，以及相对于参考面的方位角ψ。包含Y轴和所述入射光线的平面为入射面(6306)。所述入射光线相对于所述参考面的水平入射角ψ由等式223给出。
[数学式223] 另一方面，由所述入射光线和X-Z平面界定的竖直入射角(即，高度角)δ由等式224给出。
[数学式224] 所述入射光线的仰角μ由等式225给出，其中参考角χ的取值大于-90°且小于90°。
[数学式225] μ＝δ-χ 另一方面，如果我们假设屏幕上与世界坐标系中的坐标为(X，Y，Z)的物点相对应的像点的坐标为(x″，y″)，那么所述图像处理装置处理该图像，以使得与来自所述物点的入射光线相对应的像点呈现在所述屏幕上，坐标为(x″，y″)，其中像点的横坐标x″由等式226给出。
[数学式226] x″＝cψ 此处，c为比例常数。此外，所述像点的纵坐标y″由等式227给出。
[数学式227] y″＝cF(μ) 此处，F(μ)为经过原点的单调递增函数。在数学术语中，其意味着满足等式228和229。
[数学式228 F(0)＝0 [数学式229] 上述函数F能够采用任意形式，但是最为期望的形式由等式230至232给出。
[数学式230] [数学式231] F(μ)＝μ [数学式232] 本发明的说明书隐含地参照可见光波长范围进行了描述，但是本发明的投影方案甚至在毫米和微米波长范围内、在紫外光波长范围内、在进红外波长范围内、在远红外波长范围内、以及在可见光波长范围内，通过如上所述的相同等式进行描述。因此，本发明不限于在可见光波长范围内操作的成像系统。
已参照附图详细描述了本发明的优选实施方式。然而，详细的描述以及本发明的实施方式纯粹为了说明的目的，并且对于本领域技术人员来说，在不偏离本发明的精神和范围的情况下，显然能够作出变化和修改。
工业应用性 根据本发明，提供了从采用具有绕光轴旋转对称的广角透镜的照相机获得的图像上获取对裸眼呈现得最为自然的全景图像的数学上精确的图像处理方法、以及利用该方法的设备。
序列文本
全景、失真、投影方案、等距投影、直线性投影、鱼眼透镜、全景透镜、图像处理、图像修正、后视照相机、视频电话。
权利要求
1.全景成像系统，包括
图像采集装置，用于采用绕光轴旋转对称的广角透镜获得广角图像；
图像处理装置，用于基于所述广角图像生成全景图像；以及
图像显示装置，用于将所述全景图像显示在矩形屏幕上，
其中
所述矩形屏幕上的与世界坐标系中具有坐标(X，Y，Z)的物点相对应的像点的坐标给定为(x″，y″)，所述世界坐标系将所述广角透镜的节点作为原点，将经过所述原点的竖直线作为Y轴，将包含所述Y轴和所述透镜的所述光轴的参考面与垂直于所述竖直线的水平面之间的交线作为Z轴，
来自所述物点的入射光线与所述参考面形成的水平入射角ψ给定为
所述入射光线与X-Z平面形成的竖直入射角δ给定为
所述入射光线的仰角μ给定为μ＝δ-χ，
此处，χ为大于-90°且小于90°的参考角，
所述像点的横坐标x″给定为x″＝cψ，
此处，c为比例常数，
所述像点的纵坐标y″给定为y″＝cF(μ)，
此处，所述函数F(μ)是经过所述原点的单调递增函数，其满足以下关系
F(0)＝0和
2.如权利要求1所述的全景成像系统，
其中，所述入射光线的所述仰角μ的所述函数F(μ)给定为
3.如权利要求1所述的全景成像系统，
其中，所述入射光线的所述仰角μ的所述函数F(μ)给定为
F(μ)＝μ。
4.如权利要求1所述的全景成像系统，
其中，所述入射光线的所述仰角μ的所述函数F(μ)给定为
5.获得全景图像的方法，所述方法包括
采用装配有旋转对称的广角透镜的照相机获得未修正的像平面，其中所述照相机的光轴和所述照相机的图像传感器平面的横侧平行于地平面；以及
基于所述未修正的像平面获得经处理的像平面，
其中，
所述未修正的像平面为具有Kmax行和Lmax列的二维阵列，
在所述未修正的像平面上所述光轴的像素坐标为(Ko，Lo)，
所述透镜的真实投影方案为作为相应入射光线的天顶角θ的函数得到的图像高度r，并且给定为r＝r(θ)，
所述照相机的放大率g给定为
其中，r′是所述未修正的像平面上与所述图像高度r相对应的像素距离；
所述经处理的像平面是具有Imax行和Jmax列的二维阵列，
所述光轴在所述经处理的像平面上的像素坐标为(Io，Jo)，
与所述经处理的像平面上具有坐标(I，J)的像素相对应的入射光线的水平入射角ψI，J≡ψ(I，J)＝ψJ给定为所述像素坐标J的唯一函数
此处，ψ1是与J＝1相对应的水平入射角，
ψJmax是与J＝Jmax相对应的水平入射角，
所述入射光线的竖直入射角δI，J≡δ(I，J)＝δI给定为所述像素坐标I的唯一函数
此处，F-1是所述竖直入射角δ的连续和单调递增函数F(δ)的逆函数，
所述经处理的像平面上具有坐标(I，J)的信号值由所述未修正的像平面上具有坐标(x′I，J，y′I，J)的虚像素的信号值给出，
所述虚像素的所述坐标(x′I，J，y′I，J)由以下一系列等式给出，
θI，J＝cos-1(cosδIcosψJ)
rI，J＝r(θI，J)
x′I，J＝Lo+grI，JcosφI，J
y′I，J＝Ko+grI，JsinφI，J。
6.如权利要求5所述的获得全景图像的方法，
其中，所述函数F给定为F(δ)＝tanδ，
且所述竖直入射角给定为
7.如权利要求5所述的获得全景图像的方法，
其中，所述函数F给定为F(δ)＝δ，
且所述竖直入射角给定为
8.如权利要求5所述的获得全景图像的方法，
其中，所述函数F给定为
且所述竖直入射角给定为
9.获得全景图像的方法，所述方法包括
采用装配有旋转对称的广角透镜的照相机获得未修正的像平面，其中所述照相机的光轴平行于地平面；以及
基于所述未修正的像平面获得经处理的像平面，
其中，
所述照相机的图像传感器平面的横侧与所述地平面之间的角度是γ，
所述未修正的像平面为具有Kmax行和Lmax列的二维阵列，
在所述未修正的像平面上所述光轴的像素坐标为(Ko，Lo)，
所述透镜的真实投影方案为作为相应入射光线的天顶角θ的函数得到的图像高度r，并且给定为r＝r(θ)，
所述照相机的放大率g给定为
其中，r′是所述未修正的像平面上与所述图像高度r相对应像素距离，
所述经处理的像平面是具有Imax行和Jmax列的二维阵列，
所述光轴在所述经处理的像平面上的像素坐标为(Io，Jo)，
与所述经处理的像平面上具有坐标(I，J)的像素相对应的入射光线的水平入射角给定为
此处，ψ1是与J＝1相对应的水平入射角，而ψJmax是与J＝Jmax相对应的水平入射角，
所述入射光线的竖直入射角δI，J≡δ(I，J)＝δI给定为
此处，F-1是所述竖直入射角δ的连续和单调递增函数F(δ)的逆函数，
所述经处理的像平面上具有坐标(I，J)的信号值由未修正的像平面上具有坐标(x′I，J，y′I，J)的虚像素的信号值给出，
所述虚像素的所述坐标(x′I，J，y′I，J)由以下一组等式给出，
θI，J＝cos-1(cosδI，JcosψI，J)
rI，J＝r(θI，J)
x′I，J＝Lo+grI，Jcos(γ+φI，J)
y′I，J＝Ko+grI，Jsin(γ+φI，J)。
10.如权利要求9所述的获得全景图像的方法，
其中，所述函数F给定为
F(δ)＝tanδ。
11.如权利要求9所述的获得全景图像的方法，
其中，所述函数F给定为
12.获得全景图像的方法，所述方法包括
采用装配有旋转对称的广角透镜的照相机获得未修正的像平面；以及
基于所述未修正的像平面获得经处理的像平面，
其中，
所述照相机的光轴与地平面之间的角度是α，
所述照相机的图像传感器平面的横侧与地平面之间的角度是γ，
所述未修正的像平面为具有Kmax行和Lmax列的二维阵列，
在所述未修正的像平面上所述光轴的像素坐标为(Ko，Lo)，
所述透镜的真实投影方案为作为相应入射光线的天顶角θ的函数得到的图像高度r，并且给定为r＝r(θ)，
所述照相机的放大率g给定为
其中，r′是所述未修正的像平面上与所述图像高度r相对应像素距离，
所述经处理的像平面是具有Imax行和Jmax列的二维阵列，
所述光轴在所述经处理的像平面上的像素坐标为(Io，Jo)，
与所述经处理的像平面上具有坐标(I，J)的像素相对应的入射光线的水平入射角ψI，J≡ψ(I，J)＝ψJ给定为所述像素坐标J的唯一函数
此处，ψ1是与J＝1相对应的水平入射角，而ψJmax是与J＝Jmax相对应的水平入射角，
所述入射光线的竖直入射角δI，J≡δ(I，J)＝δI给出为所述像素坐标I的唯一函数
此处，F-1是所述竖直入射角δ的连续和单调递增函数F(δ)的逆函数，
所述经处理的像平面上具有坐标(I，J)的信号值由未修正的像平面上具有坐标(x′I，J，y′I，J)的虚像素的信号值给出，
其中所述虚像素的所述坐标(x′I，J，y′I，J)由以下一组等式给出，
XI，J＝cosδIsinψJ
YI，J＝sinδI
ZI，J＝cosδIcosψJ
X″I，J＝XI，Jcosγ+YI，Jsinγ
Y″I，J＝-XI，Jcosαsinγ+YI，Jcosαcosγ+ZI，Jsinα
Z″I，J＝XI，Jsinαsinγ-YI，Jsinαcosγ+ZI，Jcosα
θI，J＝cos-1(Z″I，J)
rI，J＝r(θI，J)
x′I，J＝Lo+grI，Jcos(φI，J)
y′I，J＝Ko+grI，Jsin(φI，J)。
13.如权利要求12所述的获得全景图像的方法，
其中，所述函数F给定为F(δ)＝tanδ，
且所述竖直入射角给定为
14.如权利要求12所述的获得全景图像的方法，
其中，所述函数F给定为
且所述竖直入射角给定为
15.获得全景图像的方法，所述方法包括
采用装配有旋转对称的广角透镜的照相机获得未修正的像平面，其中所述照相机的光轴垂直于地平面；以及
基于所述未修正的像平面获得经处理的像平面，
其中，
所述未修正的像平面为具有Kmax行和Lmax列的二维阵列，
在所述未修正的像平面上所述光轴的像素坐标为(Ko，Lo)，
所述透镜的真实投影方案为作为相应入射光线的天顶角θ的函数得到的图像高度r，并且给定为r＝r(θ)，
所述照相机的放大率g给定为
其中，r′是所述未修正的像平面上与所述图像高度r相对应像素距离；
所述经处理的像平面是具有Imax行和Jmax列的二维阵列，
所述光轴在所述经处理的像平面上的像素坐标为(Io，Jo)，
与所述经处理的像平面上具有坐标(I，J)的像素相对应的入射光线的仰角给定为所述像素坐标I的唯一函数
此处，A是常数，给定为
F-1是所述竖直入射角δ的连续和单调递增函数F(δ)的逆函数，
所述入射光线的方位角给定为所述像素坐标J的唯一函数
所述经处理的像平面上具有坐标(I，J)的信号值由未修正的像平面上具有坐标(x′I，J，y′I，J)的虚像素的信号值给出，
所述虚像素的所述坐标(x′I，J，y′I，J)由以下一组等式给出，
rI＝r(θI)
x′I，J＝Lo+grIcosφJ
y′I，J＝Ko+grIsinφJ。
16.如权利要求15所述的获得全景图像的方法，
其中，所述函数F给定为
且所述仰角给定为
17.如权利要求15所述的获得全景图像的方法，
其中，所述函数F给定为F(μ)＝μ，
且所述仰角给定为
18.如权利要求15所述的获得全景图像的方法，
其中，所述函数F给定为
且所述仰角给定为
全文摘要
本发明提供了通过在采用绕光轴旋转对称的广角透镜获得的广角图像上执行数学上精确的图像处理操作而得到对裸眼呈现得最为自然的全景图像的方法、以及利用该方法的设备。采用该方法的成像系统不仅能够用在用于室内和室外环境的安全监测应用中，而且还能用在诸如用于公寓入口门的视频电话、用于车辆的后视照相机、用于无人机和自动机械的视觉传感器以及广播照相机的多种领域中，此外，其能够用来采用数字照相机获得全景照片。
文档编号H04N5/238GK101809993SQ200880108547
公开日2010年8月18日 申请日期2008年7月24日 优先权日2007年7月29日
发明者权琼一 申请人:奈米光子有限公司