通过矩形形状的图像传感器拍摄全景图像的方法

专利名称：通过矩形形状的图像传感器拍摄全景图像的方法
技术领域：
本发明涉及获得数字全景图像并且在计算机屏幕上显示全景图像。
本发明特别涉及一种用于拍摄数字全景图像的方法，包括以下步骤通过相对于其光轴具有恒定视场角的鱼眼物镜将全景投影到图像传感器上，图像传感器的形状是矩形。
本发明还涉及一种用于在屏幕上显示根据上述方法拍摄的初始全景图像的方法。
背景技术：
图1表示允许产生数字全景图像并将其显现在计算机屏幕上的传统设备。该设备包括装备有鱼眼物镜2的数字摄像机1，其中，鱼眼物镜2相对于其光轴具有恒定视场角，并且最好提供至少2π球面度的立体图像拍摄角度(即，至少180°的视场角)。摄像机1连接到装备有屏幕6的计算机5，例如微型计算机。当例如摄像机1是数字摄像机时，与微型计算机5的连接可以是永久性的，或者当例如摄像机1是装备有图像存储器的静止数字摄像机时，该连接可以是临时性的。
图2示意性地表示通过鱼眼物镜2投影到数字图像传感器3上的全景图像4的显现。根据消费品数字摄像机的最普遍工业标准，图像传感器3的形状是矩形，以产生4/3格式(视频格式)的矩形照片。投影到图像传感器上的全景图像具有圆盘形状，并且它是相对于其光轴具有恒定视场角的鱼眼物镜的轴对称性的特征体现。因此，矩形图像传感器上的整个图像具有暗边缘，当随后进行数字处理时，将消除这些暗边缘。由图像圆盘4构成的该矩形数字图像以计算机文件的形式由摄像机1进行传送，其中，该计算机文件包含以二维表排列的图像点编码RGBA，“R”为图像点的红像素，“G”为绿像素，“B”为蓝像素，并且“A”为阿尔法参数或透明度，参数R、G、B、A通常以8比特编码。
然后，将图像文件传输到微型计算机5中，微型计算机5将初始图像圆盘4变换成三维数字图像，然后在占据屏幕6的全部或部分的显示窗口DW中向用户显现三维图像的一个扇区(sector)。
图3示意性地示出将二维全景图像变换成提供真实透视效果的全景图像的传统步骤。在消除图像的黑边缘之后，微型计算机具有形成具有中心O’以及轴O’U和O’V的图像圆盘10的一组图像点。图像圆盘10的图像点转换到由轴OXYZ的正交坐标系定义的三维空间中，轴OZ垂直于图像圆盘平面。该转换操作是通过由微型计算机执行的算法所实现的数学函数来执行的，并且导致获得在坐标系OXYZ中引用的一组图像点。这些图像点例如以球面坐标RGBA(，θ)编码，其中，是图像点的纬度而θ是经度，角度和θ以4到8字节编码(IEEE标准)。这些图像点形成球面部分HS，球面部分HS覆盖相对于坐标系的中心O至少2π球面度的立体角。因此，微型计算机具有三维虚拟图像，考虑到观察者位于轴OXYZ的坐标系的中心点O，该点与图像扇区11的中心O″一起定义称作“观察方向”的方向OO″，在屏幕(图1)上显现与上述显示窗口DW相对应的三维虚拟图像的一个扇区11。
这种在计算机屏幕上显示数字全景图像扇区的技术具有多个优点，特别是有可能通过向左、向右、向上或向下滑动显现在屏幕上的图像扇区11直到到达全景图像的边界来“研究”全景图像。当拍摄出两个互补数字图像并且将它们提供给微型计算机从而微型计算机通过组合两个半球来重建完整全景球面时，该技术还允许在图像内部执行完全的旋转。通过在屏幕上显现全景图像所提供的另一个优点是允许观察者对图像的局部进行放大或变焦。变焦是通过缩小所显示的图像扇区并且扩大图像点在屏幕像素上的分布来以数字方式执行的。
尽管存在这些优点，数字变焦存在一个缺点是受限于图像传感器的分辨率，该分辨率通常大大低于传统照片的分辨率。因此，当放大增加时，随着到达图像传感器的分辨率极限，将出现图像的颗粒。
为了克服该缺点，公知的是采用像素内插值从而延缓暴露传感器分辨率极限的色彩块的出现。然而，该方法仅改善放大图像扇区的显现，并且无论如何都不会提高清晰度。另一个明显的解决方案是向图像传感器提供高于不放大显现图像扇区的分辨率的高分辨率，从而对于变焦留有剩余清晰度容限。然而，该解决方案是昂贵的，因为图像传感器的成本价格随着单元面积的像素数而快速上涨。另一个传统解决方案是将图像传感器布置在图像圆盘直径等于图像传感器长度的平面中。因此，覆盖图像传感器的整个表面，但是投影图像在图像传感器横向的顶部和底部被切除。在这种情况下，缺点是视野减小。
因此，本发明的一个总体目的是提高通过对数字全景图像的特定部分进行数字放大而提供的清晰度，而无需增大图像传感器的单位面积像素数并且无需减小视野。
为了实现该目的，本发明基于两个前提1)用于消费品数字摄像机中的矩形图像传感器，特别是4/3传感器没有针对鱼眼图像拍摄进行优化。从上面图2可以看出，图像圆盘4每侧的黑边缘占据相当大的表面面积，并且表示大量浪费像素，从而损害数字变焦的清晰度和质量。
2)在诸如视频监视、视频会议、可视会议的很多应用中，数字全景图像的最感兴趣区域通常位于沿着通过其中心从左向右跨越图像圆盘的水平线朝向图像的中心。在休闲领域，大部分全景图像还包括比其他部分更不感兴趣的部分，例如表示天空或天花板的部分以及地面，最有用部分通常位于沿着上述水平线的图像中心附近。
在这些前提下，本发明的思想是通过提供并使用本发明的鱼眼物镜来扩大投影到矩形图像传感器上的鱼眼图像，其中，该鱼眼物镜在不减小视野的情况下通过图像变形(anamorphose)来变形图像，并且向侧面拉伸它们。因此，在图像传感器的纵向上进行该扩大，而不在图像传感器的横向上扩大图像，从而避免图像超出传感器的感光表面区域。因而，沿着上述水平线的图像中心区域比不扩大的情况覆盖更大数目的图像传感器像素，并且具有更佳的清晰度，这将大大改善数字变焦的质量。
根据本发明的另一方面，提供图像的后续处理来校正物镜的光学变形同时保持较佳清晰度的优点，并且在显示窗口内显现无变形的图像扇区。
更具体地说，本发明涉及一种用于拍摄数字全景图像的方法，包括以下步骤通过相对于其光轴具有恒定视场角的鱼眼物镜将全景投影到图像传感器上，图像传感器的形状为矩形，其中，提供鱼眼物镜以在不减小视野的情况下将变形全景图像投影到图像传感器上，该变形全景图像不是圆盘形状，并且与传统图像圆盘相比覆盖更多的图像传感器像素。
根据一个实施例，鱼眼物镜具有根据垂直于物镜光轴的轴而不同的图像点分布函数，该函数沿着垂直于光轴的第一轴具有最小图像扩展率(spreading rate)，并且沿着垂直于光轴的至少第二轴具有最大图像扩展率，从而使投影到图像传感器上的图像沿着第二轴扩大。
根据一个实施例，物镜的第一和第二轴相互垂直，并且由物镜投影到图像传感器上的图像的形状为椭圆体。
根据一个实施例，图像传感器相对于物镜的第一和第二轴布置成使椭圆体图像的长轴与图像传感器的有效长度一致。
根据一个实施例，图像传感器相对于物镜的第一和第二轴布置成使椭圆体图像的长轴与图像传感器的对角线一致。
根据一个实施例，物镜具有非线性分布函数，该函数与线性分布函数相比具有至少±10％的最大散度，从而使投影图像具有至少一个大幅扩大区域和至少一个大幅压缩区域。
根据一个实施例，鱼眼物镜包括被提供用来根据既定视场角拍摄全景图像的透镜组和其旋转轴垂直于物镜光轴的至少一个柱面透镜的组合。
本发明还涉及一种用于在屏幕上显示根据本发明的方法拍摄的初始全景图像的方法，包括校正初始图像变形的步骤。
根据一个实施例，校正步骤包括将初始图像变换成圆盘形状的校正数字图像，校正图像的直径选成使校正图像包括数目高于初始图像所覆盖的图像传感器像素数的图像点。
根据一个实施例，初始图像的形状是椭圆体，并且校正图像的直径为其像素数大小至少等于初始椭圆体图像的长轴的像素数大小。
根据一个实施例，该方法包括以下步骤将要显现在屏幕上的图像扇区的图像点投影到初始图像上，从而允许确定要显现在屏幕上的图像扇区的图像点的色彩，将图像扇区的图像点投影到初始图像上的步骤通过代表鱼眼物镜的光学特性的分布函数来执行，从而校正初始图像变形的步骤隐含在投影步骤中。
根据一个实施例，投影步骤包括第一步骤，将图像扇区的图像点投影到球面部分上；以及第二步骤，将投影到球面部分上的图像点投影到初始图像上。
本发明还涉及一种记录在介质上并且可载入到数字计算机的存储器中的计算机程序产品，包括可由计算机执行的程序代码，该代码安排成执行本发明的显示方法的各步骤。
本发明还涉及一种相对于其光轴具有恒定视场角的鱼眼物镜，包括用于将全景图像投影到图像传感器上的光学装置；以及在不减小视野的情况下投影变形图像的光学装置，其中，变形图像不是圆盘形状，并且与传统图像圆盘相比覆盖更多的图像传感器像素。
根据一个实施例，物镜具有根据垂直于物镜光轴的轴而不同的图像点分布函数，该函数沿着垂直于光轴的第一轴具有最小图像扩展率，并且沿着垂直于光轴的至少第二轴具有最大图像扩展率，从而使由物镜提供的图像沿着第二轴扩大。
根据一个实施例，物镜具有非线性分布函数，该函数与线性分布函数相比具有至少±10％的最大散度，从而使由物镜提供的图像具有至少一个大幅扩大区域和至少一个大幅压缩区域。
根据一个实施例，鱼眼物镜包括被提供用来根据既定视场角拍摄全景图像的透镜组和其旋转轴垂直于物镜光轴的至少一个柱面透镜的组合。
根据一个实施例，物镜包括形成变迹器(apodizer)的光学装置。
根据一个实施例，形成变迹器的光学装置包括至少一个a-球面透镜(a-spherical lens)。
根据一个实施例，物镜包括至少一个变形反射镜。
根据一个实施例，物镜为全景适配器类型，并且安置在静止摄像机非全景物镜的前面。


本发明的这些和其他目的、特性和优点将在下面结合下列附图但不限于它们而给出的对本发明的方法以及本发明的鱼眼物镜的实施例的一个例子的描述中进行更详细的说明图1表示用于在屏幕上显示数字全景图像的传统系统；图2表示投影到矩形图像传感器上的鱼眼型全景图像；图3示出用于将二维全景图像变换成三维数字全景图像的传统方法；
图4是包括本发明的鱼眼物镜的全景图像拍摄系统的示意横截面图；图5A、5B、5C表示用来实现本发明的图像拍摄方法的鱼眼物镜的光学特性；图6表示用于显示数字全景图像的系统；图7A和7B示出本发明的用于校正全景图像的第一方法；图8是描述包括第一校正方法的用于显示全景图像的方法的流程图；图9示出本发明的用于校正全景图像的第二方法；图10是描述包括第二校正方法的用于显示全景图像的方法的流程图；图11通过横截面示出本发明的鱼眼物镜的实施例的一个例子；图12是图11的物镜中的透镜系统的分解横截面；图13示出本发明的全景图像拍摄方法的一个可选方案；图14A和14B示出本发明的全景图像拍摄方法的另一个可选方案；以及图15A和15B示出本发明的全景图像拍摄方法的另一个可选方案。
具体实施例方式
本发明的全景图像拍摄方法的描述I-初始图像的变形图4通过横截面示意性表示全景图像拍摄系统，该系统包括本发明的鱼眼物镜15，相对于其光轴OZ具有恒定视场角；以及矩形图像传感器16，布置在鱼眼物镜15的图像平面中。
在图4的平面图平面(planigraphic plane)中可以看到，鱼眼物镜15的特性符合传统物镜的特性，并且其特征在于既定角度分布函数Fd。作为例子，将考虑属于全景PM并且分别具有视场角α1、α2的两个对象点a、b。传统地，对象点的视场角是通过所考虑对象点和以点“p”标记的全景pM的中心的入射光线相对于光轴OZ的角度。在传感器16上，与对象点a、b相对应的图像点a’、b’位于通过下面关系式与角度α1、α2关联的离图像中心的距离d(a’)、d(b’)处
(1)d(a’)＝Fd(α1)(2)d(b’)＝Fd(α2)Fd是图像点相对于对象点视场角的分布函数。
本发明的物镜15不同于传统物镜之处在于分布函数Fd在垂直于光轴OZ的平面中根据对象点的位置而不同。参照示出该物镜特性的图5A、5B和5C，这将得到更好的理解。
图5A表示圆形的全景PM，在此光轴OZ垂直于该图的平面。物镜具有位于与光轴OZ垂直的平面PL(即，与纸张平面平行或重合)中的两个轴X1、X2，两个轴X1、X2均通过光轴OZ。两个轴X1、X2之间的角度差以φ1表示，并且最好等于90°。根据本发明，物镜具有沿着轴X1的分布函数Fd[X1]和沿着轴X2的分布函数Fd[X2]。函数Fd[X1]和Fd[X2]不同，函数Fd[X1]是具有较低图像扩展率的函数而函数Fd[X2]是具有较高图像扩展率的函数。
为了更好理解，将考虑分别沿着轴X1和轴X2排列的两对对象点a1、b1和a2、b2，其中，相对于光轴OZ，点a1和a2具有相同视场角α1，并且点b1和b2具有相同视场角α2(比较图4)。图5B表示这些点到矩形图像传感器16上的投影。物镜相对于图像传感器16布置成使具有较低扩展的轴X1与传感器的宽度一致并且使具有较高扩展的轴X2与传感器的长度一致。轴X2最好对应于所取镜头的水平轴，并且轴X1对应于垂直轴。在图5B所示的投影图像上，可以看到沿着轴X1的图像点a1’、b1’以及沿着轴X2的图像点a2’、b2’。点a1’位于离图像中心的距离d(a1’)＝F[X1](α1)处，点b1’位于离图像中心的距离d(b1’)＝F[X1](α2)处，点a2’位于离图像中心的距离d(a2’)＝F[X2](α1)处，并且点b2’位于离图像中心的距离d(b2’)＝F[X2](α2)处。采用传统鱼眼物镜，由于对象点a1、a2具有相同视场角α1，因此距离d(a2’)将等于距离d(a1’)。类似地，由于对象点b1、b2具有相同视场角α2，因此距离d(b2’)将等于距离d(b1’)。采用本发明的鱼眼物镜，距离d(b2’)大于距离d(b1’)，并且距离d(a2’)大于距离d(a1’)。
最好，函数Fd[X1]选成使沿着轴X1的图像点占据传感器的整个有效宽度lc。类似地，函数Fd[X2]选成使沿着轴X2的图像点占据传感器的整个有效长度Lc。因此，如果如图4和5A所示对象点b1、b2的视场角等于90°，并且如果物镜的孔径张角(angular aperture)为180°，则图像点b1’、b2’相对于图像中心的距离d(b1’)、d(b2’)分别等于lc/2和Lc/2(图5B)。
除了轴X1和X2之外，本发明的物镜还具有无穷多个中间轴Xi，沿着中间轴Xi，物镜具有既定扩展率高于最小扩展率的分布函数Fd[Xi]。作为例子，将考虑相对于轴X1具有角度ψi的轴Xi以及位于轴Xi上且具有视场角α1、α2的两个对象点ai、bi，其中，ψi小于ψ1(图5A)。传感器16上的对应图像点ai’、bi’(图5B)相对于图像中心位于距离d(ai’)＝F[X1](α1)和d(bi’)＝F[Xi](α2)处。距离d(ai’)和d(bi’)分别大于距离d(a1’)和d(b1’)。
因此，本发明的鱼眼物镜的分布函数Fd在垂直于光轴OZ的平面中根据对象点所在的轴而不同，并且在上述例子中具有沿着轴X1的最小扩展率和沿着至少第二轴即轴X2的最大扩展率。
下面将参照图11和12描述本发明的物镜的一个实施例，它通过使用其旋转轴平行于光轴的超环面透镜(toroidal lens)来提供椭圆体图像，其中，该超环面透镜等效于其旋转轴垂直于光轴的柱面透镜。因而，在图5B上，图像点ai’位于通过点a1’和a2’的椭圆上，并且图像点bi’位于通过点b1’和b2’的椭圆上。
而且，再次根据下面参照图11和12所述的实施例，函数Fd沿着物镜的各轴Xi是线性的，从而使图像点ai’相对于图像中心的距离d(ai’)遵循下面关系式(3)d(ai’)＝Kiαi其中，αi是对应对象点ai的视场角，并且Ki是根据对象点所在轴Xi而不同的分布常数。
为了更好理解，在Y轴为相对距离dr和X轴为视场角α的图上，本发明的物镜的分布函数Fd[Xi]的例子在图5C中以曲线形式表示。图像点的相对距离dr是除以轴X1上的图像点相对于图像中心的最大距离之后的图像点相对于图像中心的距离。在椭圆体图像的情况下，沿着轴X1的该最大距离是椭圆体短轴的一半长度D1/2。
在图5C上，可以看到对应于三个分布函数Fd[X1]、Fd[X2]、Fd[Xi]的三条曲线。在本例中，这些分布函数是线性的，因此具有斜率分别为K1、K2和Ki的直线形式。对于孔径张角为180°的物镜，斜率K1等于1/90°，斜率K2大于K1，并且斜率Ki介于K1和K2之间。如上所述，斜率K2最好等于K1*Lc/lc，从而使图像覆盖图像传感器的整个有效长度Lc。
在下面描述中，将考虑把椭圆体图像投影到图像传感器上的情况描述本发明的其他方面。按照常用术语，该椭圆体图像将称作“图像椭圆体”，而圆盘形状的传统图像将称作“图像圆盘”。
本发明方法的优点是在不减小视野的情况下投影图像所覆盖的表面大于图像圆盘所覆盖的表面，从而图像所覆盖的像素数更高。在椭圆体图像的情况下，以像素比率表达的使用本发明获得的清晰度增益易于计算。在图像传感器的表面区域上，图像椭圆体覆盖如下像素数NP(4)NP＝π(D1/2)*(D2/2)*NpNp是单位面积的传感器像素数，D2是椭圆体图像的长轴而D1是短轴(在此需要注意，D1是由传感器的有效宽度lc施加的，并且D2最大可以等于传感器的有效长度Lc)。
作为比较，图像圆盘所覆盖的像素数NP’如下(5)NP’＝π(D12/4)*NpD1是由传感器宽度施加的图像直径。
通过组合关系式(4)和(5)，图像椭圆体和图像圆盘之间所增加的像素百分比G％等于(6)G％＝(D1/D2-1)*100消费品数字摄像机的图像传感器当前所包括的像素数约为2百万像素，即1600×1200像素，与消费品数字摄影市场标准相对应的4/3比率。执行椭圆体投影的本发明物镜在这些条件下提供所覆盖像素数的33％增益，它表示沿着轴X2以及位于轴X2附近的图像部分中的显著清晰度增益。
当本发明的方法采用使用长宽比为3/2(商业胶卷的格式24*36)的胶卷的传统摄像机来实现时，该增益甚至更高。然后，采用具有既定清晰度的扫描仪对所拍照片进行数字化。在数字化之后，所覆盖像素数的增益(在数字化期间以恒定清晰度)则为50％。
因此，在此需要注意，本发明的方法适用于使用数字图像传感器的数字摄影技术和如下数字拍摄技术，该数字拍摄技术包括进行传统摄影的步骤随后是通过扫描仪对照片进行数字化的步骤。因此，在本申请中，术语“数字图像传感器”表示数字图像传感器和与数字化设备如扫描仪相结合的传统摄影胶片。
II-校正初始图像的变形上面描述了本发明的第一方面，根据该方面，通过增加扩大区域所覆盖的图像传感器像素数，提供对投影到图像传感器上的图像的扩大以便改善扩大区域中图像的清晰度。在描述本发明的鱼眼物镜的实施例的一个例子之前，将描述本发明的第二方面，该方面涉及校正初始图像的变形从而向观察者提供没有光学变形的图像。如上所述，将参照图像椭圆体描述本发明的这一方面。
本发明的该第二方面是在由计算机处理初始图像的阶段实现的，以在屏幕上显现交互式全景图像。用于实现本发明方法的装置如图6所示，并且就其总体布置而言在本质上是传统的。从图中可以看出，数字摄像机20装备有鱼眼物镜21，在此为本发明的物镜，数字摄像机20连接到包括屏幕23的微型计算机22。通过摄像机20拍摄的数字图像Imi传输到微型计算机以进行处理并且显示在屏幕23上的显示窗口DW内。首先通过CD-ROM 25或者通过在例如因特网上下载，将包括用于变换和显示图像的算法的本发明处理程序载入到微型计算机中。摄像机20可以是静止数字摄像机或数字视频摄像机，并且与微型计算机的连接可以是永久性的或其他方式。在视频摄像机的情况下，微型计算机接收图像流，对它们进行实时处理以显示在屏幕上。
在本上下文中，本发明提供两种校正初始图像变形的方法。根据第一实施例，校正图像椭圆体，从而获得传统图像圆盘。经过校正的图像圆盘等同于通过传统鱼眼物镜产生的图像圆盘，因而可以由可以购买的任何传统显示软件程序进行处理，该显示软件程序用于将图像圆盘的图像点转换到三维空间中，并且在屏幕上交互式地显示三维图像的一个扇区。根据第二实施例，通过使用物镜的角度分布函数Fd，在确定组成要显现在显示窗口DW中的图像扇区的图像点的时候，实时校正图像。
校正方法的第一实施例图7A和7B示出本发明方法的第一实施例。在此假定存在包括具有短轴D1和长轴D2的图像椭圆体ID1的初始图像Img1(图7A)。初始图像Img1变换成包括半径D3的图像圆盘ID2的校正图像Img2(图7B)。图像圆盘ID2的半径D3最好等于图像椭圆体ID1的长轴D2，从而使图像圆盘ID2的分辨率等于或大致等于图像椭圆体ID1的最伸长区域所提供的分辨率，其中，最拉长区域的信息密度最大。在此，它是位于长轴D2附近的图像中央部分。
因此，该方法涉及在垂直方向上以(D2/D1)*100百分比的比例拉伸图像。作为例子，它可以通过下述算法1来实现，其中-Img1是包括图像椭圆体ID1的初始图像，-Img2是包括传统图像圆盘ID2的通过算法1产生的图像，-a是以像素数表达的图像椭圆体ID1的短轴的一半长度，即a＝D1/2*Np1，其中，NP1是所用图像传感器的单位长度像素数，-b是以像素数表达的图像椭圆体ID1的长轴的一半长度，即b＝D2/2*Np1，-b还是以像素数表达的图像圆盘ID2的半径，-“O”表示初始图像Img1的中心以及所生成图像Img2的中心，-i和j是图像Img2中图像点Img2[i，j]的坐标，i表示列，j表示行，坐标(0，0)位于图像中心，-r是图像Img2中的图像点相对于图像中心的距离，-“u”和“v”是初始图像Img1中图像点Img1[u，v]的坐标，“u”表示列，“v”表示行，坐标(0，0)位于图像中心，-[OU)是以O为起点的方向U的参考轴，-[OP]是以O为起点且以P为终点的直线段，P是坐标(u，v)的图像点，-θ是[OU)和线段[OP]之间的角度，“√”是平方根函数。
“arc cos”是余弦函数的反函数。
算法11/ For i＝-b to +b2/ For j＝-b to +b3/ r＝√(i*i+j*j)4/ If(r≤b)then5/ If j＜0 then
6/ θ＝arc cos(i/r)7/If not8/ θ＝-arc cos(i/r)9/End if10/ u＝r*cos(θ)11/ v＝(a/b)*r*sin(θ)12/ Img2[i，j]＝Img1[u，v]13/End if14/ End for15/ End for实际上，算法1可以通过随后对图像Img2执行双线性插值从而平滑最终图像来得到改进，这一点在本质上为本领域的技术人员所公知。
图8是给出用于拍摄全景图像并在屏幕上交互显现它的方法的各步骤的总体概述的流程图。该流程图在作为本文组成部分的附录的表1内描述。步骤S1和S2分别是获取图像和将图像传输到计算机中，这两个步骤在本质上是传统的，并且与现有技术不同之处在于所拍摄图像的形状为椭圆体。校正图像椭圆体ID1的步骤S3通过例如上述算法，根据本发明的方法来执行。称作“数字化”的步骤S4也是传统的。该步骤涉及将图像圆盘ID2的图像点转换到轴OXYZ的三维空间中，其中，图像点例如以球面坐标引用。步骤S5也是传统的，并且涉及在显示窗口DW中显现图像扇区。显示窗口根据用户操作向上或向下移动，或者根据用户请求进行放大。当放大时，在与初始图像的扩大部分相对应的区域内，清晰度比现有技术更好。
校正方法的第二实施例本发明的校正方法的第二实施例如图9所示。非常概括地说，该方法涉及把要显现在显示窗口DW(图6)中的图像扇区IS的图像点投影到初始图像Img1的图像椭圆体ID1上。该方法不需要计算校正图像圆盘。
要显示在窗口DW中的图像扇区IS的图像点以图像扇区IS的坐标系内的E(i，j)引用，E(i，j)是以行坐标i和列坐标j表达的。首先将点E(i，j)投影到原点O和轴OX、OY、OZ的坐标系内中心O和半径R的球面部分HS上，以获得属于球面部分的图像点P(px，py，pz)。
为了保持简单起见，将考虑在此所用的鱼眼物镜具有180°的孔径张角。球面部分HS在本例中为半球。图像扇区IS相切于该半球移动。
然后，通过鱼眼物镜的分布函数Fd，将在半球HS上确定的图像点P(px，py，pz)投影到图像椭圆体ID1上，这首先需要计算点P相对于半球的中心O的视场角α，中心O是拍摄图像的时候全景中心“p”的虚拟相同点。将图像点P(px，py，pz)投影到半球HS上允许在具有对应于图像椭圆体中心的中心O’以及轴O’U和O’V的坐标系中的图像椭圆体上获得图像点P’(pu，pv)。半球坐标系中的坐标OZ垂直于图像椭圆体ID1的平面，并且通过中心O’，从而轴O’Z和OZ重合。
本领域的技术人员应该清楚，图像变形校正在此是隐式的，因为与图像扇区IS的图像点E(i，j)相对应的图像点P’(pu，pv)是通过分布函数Fd从图像椭圆体ID1“检索”的。
本发明的方法通过下述算法2来实现，其中-i和j是图像扇区IS的点E(i，j)的坐标，-Imax和Jmax是图像扇区IS的列数和行数，-Ex、Ey和Ez是图像扇区IS的点E(i，j)在坐标系OXYZ中的笛卡儿坐标，-px、py和pz是半球HS上点P(px，py，pz)的笛卡儿坐标，-pu和pv是坐标系O’UV中图像椭圆体的图像点P’(pu，pv)的笛卡儿坐标，-L1是以像素数表达的图像椭圆体的半短轴的大小(L1＝D1/2*NP1)，-L2是以像素数表达的图像椭圆体的半长轴的大小(L2＝D2/2*NP1)，-M是图像扇区IS的中心，-“观察方向”是由点O和图像扇区IS的中心M确定的方向，图像扇区形成顶点为点O(观察者位置)的观察者视觉金字塔的基底，-θ0和0是观察方向的经度和纬度，-Screen_Pixel[i，j]是图像扇区IS的点E(i，j)的色彩(RGBA)，-Image_Pixel[pu，pv]是图像椭圆体ID1的点P’(pu，pv)的色彩，
-R是用于相切滑动图像扇区IS的参考半球HS的半径，R具有选成改善计算准确性的任意值，例如10,000，-α是图像点P(px，py，pz)相对于中心O的角度(表示对应对象点在拍摄镜头时候的视场角)，-aux1、aux2是中间变量，-“Zoom”是定义放大的变量，缺省值为R，以及-“√”是平方根函数。
算法21/ For i＝-Imax/2 to i＝Imax/2 do[增1]2/ For j＝-Jmax/2 to j＝Jmax/2 do[增1][计算图像扇区的点E在坐标系(OXYZ)中的笛卡儿坐标Ex、Ey、Ez]3/ Ey＝j*cos(0)-Zoom*sin(0)4/ Ez＝Zoom*cos(0)+j*sin(0)5/ aux1＝Ez6/ Ez＝Ez*cos(θ0)-i*sin(θ0)7/ Ex＝i*cos(θ0)+aux1*sin(θ0)[计算对应于点E的点P的坐标]8/ aux2＝r/√(Ex*Ex+Ey*Ey+Ez*Ez)9/ px＝Ex*aux210/py＝Ey*aux211/pz＝Ez*aux2[计算对应于点P(px，py，pz)的点P’(pu，pv)的坐标]12/X＝px/R13/Y＝py/R14/r＝√(X*X+Y*Y)15/α＝arc sine(r)[相对于中心的角度]16/U＝x/r17/V＝Y/r18/pu＝L1*U*Fd(α)19/pv＝L2*V*Fd(α)[将点P’(pu，pv)的色彩分配给图像扇区的点E(i，j)]
20/Screen_pixel[i，j]＝Image_pixel[pu，pv]21/ end for22/end for需要注意，此处在步骤18和19所用的函数Fd不是依赖于被考虑轴Xi的函数Fd[Xi]，而是沿着轴X1的函数Fd[X1]。实际上，在此这样选择是为了简化算法从而不考虑角度ψ，这是由于图像ID1为椭圆体形状而可以如此。步骤18和19针对图像的椭圆体形状的修改通过参数L1和L2来实现。如果函数Fd[X1]是线性的，则可以通过下面关系式在步骤18和19期间来计算Fd(α)的各值Fd(α)＝Fd[X1](α)＝K1*α其中，K1＝2π/α用户的放大(变焦)请求导致算法修改“Zoom”参数。当“Zoom”参数等于半球的半径R时，不执行变焦。当“Zoom”参数高于R时，窗口DW向远离半球HS的方向移动(沿着由观察方向OM给出的轴)，这对应于缩小视觉金字塔以及相应放大显现在窗口DW中的图像扇区。因此，向观察者显现的图像扇区的放大等于“Zoom”与R参数的比率。
当采用高于R的“Zoom”参数执行算法时，在拍摄镜头的时候图像得到扩大的区域内，由于当没有达到分辨率极限的时候对于图像扇区的两个相邻像素仍然存在图像椭圆体ID1上的两个图像点与之对应，因此获得清晰度增益。另一方面，在图像的非扩大区域内，通过关系式L1*U*Fd(α)和L2*V*Fd(α)搜索最近像素导致算法对于图像扇区IS的若干相邻像素得出图像椭圆体ID1上的相同图像点。然而，根据本发明所基于的前提，与采用传统鱼眼物镜所获得的相同的得益于图像椭圆体上较低清晰度的这些非扩大图像区域对于所打算的应用被认为是次要的。
一般而言，本领域的技术人员应该清楚也可以提供其他投影方法，关键是求得半球HS上的对象点相对于中心O的视场角α从而在计算中使用分布函数Fd。
应该理解，当存在两个互补图像椭圆体，其中一个对应于全景前面照片而另一个对应于全景后面照片，第二照片通过围绕通过全景中心的轴旋转本发明的鱼眼物镜180°来拍摄时，可以应用算法2。在这种情况下，定义两个互补半球和称作“Front_Image_Pixel”和“Rear_Image_Pixel”的两个图像点。算法的步骤18及其后步骤因此修改如下18’/ pu＝L1*U*Fd(α)19’/ pv＝L2*V*Fd(α)20’/ If pz＞＝0 then21’/ Screen_Pixel[i，j]＝Front_Image_Pixel[pu，pv]22’/ If not23’/ Screen_Pixel[i，j]＝Rear_Image_Pixel[L1-pu，pv]24’/ End if25’/ end for26’/ end for图10是给出用于拍摄全景图像并将其交互显现在屏幕上的方法的各步骤的总体概述的流程图。该流程图在作为本文组成部分的附录的表2内描述。再次包括上述获取步骤S1和传输步骤S2。步骤S2之后是根据刚才所述的方法执行的交互显示步骤S3’，隐含包括通过使用物镜的分布函数Fd校正图像椭圆体的变形以得出图像椭圆体上与图像扇区的像素相对应的点。
III-本发明的鱼眼物镜的实施例的一个例子椭圆体投影鱼眼物镜的设计在此基于使用柱面透镜。这种透镜在本质上是公知的，并且用于电影中以获得宽银幕电影镜头格式的透镜。这种透镜还用于致密盘播放器中以采用高精度将激光束定位在致密盘的表面上。
作为本发明的一部分，柱面透镜(也称作曲率半径无穷大的超环面透镜)用来与执行鱼眼型图像拍摄的透镜相结合增大图像传感器的纵向分辨率。预期技术效果可以使用置于等效于鱼眼物镜的一组透镜的一端的一个或多个柱面透镜来获得，该图像沿着圆柱轴的垂直方向拉伸。
下面描述本发明的物镜的一个特定实施例，它只作为示例，而不起限制作用。
图11是本发明的鱼眼物镜30的横截面。物镜30在此为全景适配器类型(“全景转换器”)，并且设计成安装到静止摄像机的前透镜上。它还涉及包括35毫米固定物镜的非SLR(非反射)类型的消费品摄像机。
在从光线输入端(图左)向光线输出端的方向上，物镜30包括八个透镜L1到L8。透镜L1是前凸后凹的发散凹凸透镜类型的丙烯酸树脂a-球面透镜。透镜L2是前凹后凸的会聚凹凸透镜类型的丙烯酸树脂球面透镜。透镜L3是双凸类型的丙烯酸树脂a-球面透镜。透镜L4是前凸后凹的会聚凹凸透镜类型的a-球面衍射透镜(a球面衍射)，其中，后部包括衍射光栅。透镜L5是前凹后凸的汇聚凹凸透镜类型的丙烯酸树脂a-球面透镜。透镜L6是前凸的BK7(硼硅酸盐或用于光学器件中的标准矿物玻璃)平凸球面透镜。
根据本发明，透镜L7和L8是旋转轴垂直于光轴的柱面透镜。对于本领域的技术人员而言，这些透镜等效于旋转轴平行于光轴的具有无穷大直径的环面部分。透镜L7是后凹的BK7平凹柱面透镜(凹度由于低而未在图11中示出)。透镜L8是前凸的平凸类型的BK7柱面透镜(同上)。
非常概括地说，透镜L1允许根据期望视场角在此为185°视场角拍摄全景图像。透镜L2的后部对应于瞳孔，并且形成光学系统的主光阑。透镜L4是帮助瞳孔成像的场透镜。除了其屈光功能之外，该透镜所具有的衍射表面还使得光波遵循孔径半径的多项式定律发生相移。透镜L8和L7执行所寻求的椭圆体变形。其他透镜没有特殊作用，但是它们有助于获得最终结果以及本发明的物镜的整体工作。
全景适配器透镜30的一个详细实施例由作为本文组成部分的附录中的表3描述。表3参照图12描述了各表面的特性，其中，图12是透镜系统的分解图。在该图中，透镜L1的前部和后部以S11和S12表示，透镜L2的前部和后部以S21和S22表示，透镜L3的前部和后部以S31和S32表示等等，透镜L8的前部和后部以S81和S82表示。
a-球面通过如下类型的表面方程来确定z(r)＝[(c*r2)/(1+√(1-(1+k)*C2*r2)]+A1r2+A2r4+A3r6+A4r8+A5r10其中“k”是锥度常数，“A1”、“A2”、“A3”、“A4”、“A5”是用于根据位置调整锥度系数的常数，“z”是表面形状，
“r”是中心处半径，以及“C”是曲率半径。
厚度和直径采用毫米来表达。锥度是无量纲的量，“0”的锥度表示旋转圆，“-1”锥度表示旋转抛物线，“-1”与“+1”之间的锥度表示旋转椭圆，低于-1或大于+1的锥度表示旋转双曲线，表面方程中的系数Ai允许调整总体形状。
透镜L4的衍射侧通过如下类型的公式来确定Φ(r)＝β1(r/R0)2+β2(r/R0)4其中“r”是位于透镜表面上的所考虑点相对于透镜中心的距离，β1和β2是定义波表面相移的常数，“R0”是允许对r进行归一化的常数，以及“”是在所考虑点由衍射表面引入的相移。
本领域的技术人员应该清楚，刚才所述的透镜的组合只是允许获得与图像传感器的矩形形状接近的形状的实施例的一个例子。物镜也可以使用复曲面透镜或形状更复杂的双复曲面透镜，例如带a-球面表面的环面。在一个可选实施例中，本发明的物镜可以通过使用反射镜的间接类型光学系统来产生。具体而言，可以使用柱面或超环面表面的反射镜来变形和扩展图像传感器表面上的图像。
IV-本发明的范围-可选实施例上面描述是用于通过鱼眼物镜和形状为矩形的数字图像传感器拍摄全景图像的方法，其中，物镜设计成变形全景图像以便在不减小视野的情况下覆盖图像传感器上更大数目的像素。还描述了用于在屏幕上显示根据该方法所获得的全景图像的一个扇区的方法，包括校正变形全景图像的步骤。该校正步骤可以包括在将图像转换到三维空间中之前校正图像，从而导致获得传统图像圆盘。校正也可以是隐式的，并且通过使用物镜的分布函数或者类似数学函数，在把要显现在屏幕上的图像扇区投影到未校正初始图像上的时候执行。
本领域的技术人员应该清楚，关于所用鱼眼物镜的光学特性或者其相对于图像传感器的布置，以及对所获得的全景图像进行后续处理的步骤，可以采用本发明的不同可选方案。本发明的各种不同应用也是可能的。除了应用于摄影和视频之外，本发明特别可应用于医疗例如内窥镜检查，其中，通常使用矩形图像传感器。在这些应用中所用的透镜的视场角通常低于180°而约为140°。
关于图像传感器与物镜的轴X1和X2的相对布置的可选方案图13示出本发明的方法的可选实施例，其中，物镜和图像传感器相对布置成使轴X2(较大扩展的轴)与图像传感器16的对角线一致。该实施例允许沿着轴X2覆盖更大数目的图像传感器像素。在此，物镜沿着轴X1(较低扩展的轴)具有相对于传统鱼眼物镜压缩图像的分布函数F[X1]。该实施例相当于对沿着轴X2的图像清晰度给予最大优先级，这在实际上可以对应于镜头的水平轴。
包括提供非线性鱼眼物镜的可选方案在本发明的方法的一个有利可选方案中，提供沿着其轴Xi还具有非线性分布函数Fd’[Xi]的物镜。为了更好理解，图14A和14B示出椭圆投影非线性鱼眼物镜的特性。图14A是Y轴为图像点的相对距离dr(相对于图像中心的相对距离)且X轴为对应对象点的视场角α的图。在该图上，表示物镜的两个最重要分布函数，即沿着轴X1和X2的函数Fd’[X1]和Fd’[X2]，以及沿着任意轴Xi的分布函数Fd’[Xi]。上面结合图5C所述的线性函数Fd[X1]、Fd[X2]、Fd[Xi]以虚线表示以作比较。
对于低于角度α1的视场角，函数Fd’[X1]、Fd’[X2]、Fd’[Xi]的斜率均高于对应线性函数Fd[X1]、Fd[X2]、Fd[Xi]的斜率K1、K2、Ki。这意味着与视场角在0到α1之间的对象点相对应的图像点以高于常数K1、K2、Ki的扩展率投影到图像传感器上，因此进一步相互远离。对于高于角度α1的视场角，函数Fd’[X1]、Fd’[X2]、Fd’[Xi]的斜率均低于对应线性函数Fd[X1]、Fd[X2]、Fd[Xi]的斜率K1、K2、Ki。这意味着与视场角在α1到A/2(A是物镜的孔径张角)之间的对象点相对应的图像点彼此更靠近。
采用该非线性物镜获得的图像椭圆体ID3如图14B所示。图像椭圆体具有其中图像被扩大的中央椭圆体区域ID3-1和其中图像被压缩的外围区域ID3-2。因此，获得两种技术效果的组合。第一技术效果是清晰度由于沿着轴X2的图像扩展而提高。第二技术效果是进一步提高图像的中央区域ID3-1内的清晰度，而降低被认为是较不重要的压缩区域ID3-2的清晰度。扩大区域由于覆盖图像传感器上较大数目的像素而得益于高清晰度，而压缩区域的清晰度降低。
实际上，当进行数字变焦时，需要与线性分布函数相比至少±10％的最大散度来获得基本上有利的图像扩大。“散度”是指图像点相对于中心的距离与在分布函数为线性的情况下对于相同图像点所获得的该距离之间的百分比差。最大散度是在非线性函数最远离对应线性函数的点测量的散度。如果以图14A上的曲线Fd’[X2]为例，则可以看到图像点pmax是曲线Fd’[X2]最远离线性曲线Fd[X2]的图像点。通过以drmax表示点pmax的相对距离，并且以drlin表示在分布函数为线性的情况下该点相对于图像中心的相对距离，则最大散度在此等于DIVmax％＝[[drmax-drlin]/[drlin]]*100实际上，本领域的技术人员应该理解，通过在本发明的物镜中加入一组形成变迹器的透镜，制造具有非线性分布函数Fd’[X1]、Fd’[X2]、Fd’[Xi]的物镜。变迹器是本领域的技术人员公知的光学系统，例如用作滤光器来覆盖光学仪器的孔径，从而消除衍射图案的次级环。在此，本发明的思想是将变迹器用于不同的目的，即控制全景透镜的角度分布以及实现非线性的目的。
实际上，变迹器可以简单地通过可能与衍射表面相结合的一个或多个a-球面透镜来制造。该光学组例如可以包括具有凹形a-球面前部的平凹透镜、让其平面侧面向前端的平凸透镜、具有凹形a-球面前部和衍射凸形后部的凹凸透镜。
使用由变迹器规定的非线性函数Fd获得若干非线性函数Fd’[X1]、Fd’[X2]、Fd’[Xi]由包括例如柱面透镜的一组上述类型的透镜执行。
将变迹器引入到上述类型的物镜中的另一方式是提供包括将光束反射到凹形、a-球面形状的变形发射镜上的平面反射镜的光学系统，其中，由变形反射镜反射的光束发送到图像传感器上。在本实施例中，反射镜的凹部所具有的球面不规则性确定为预期应用寻求的角度分布函数Fd(中心处、边缘处...的变形)。
推广校正方法和算法2在此需要注意，现代计算机辅助透镜设计工具可以用来制造本发明的任意类型的物镜，它以比图像圆盘覆盖更多像素的任意形状的图像的形式投影全景，具有线性或非线性分布函数，使用直接或间接光学系统(反射镜)。
在这些条件下，并且在可以作出的本发明的物镜的不同模型的预期中，推广本发明的校正方法是有用的。
图15A示出本发明的鱼眼物镜把趋向于与传感器的矩形形状类似的任意形状的变形图像ID4投影到图像传感器上的情况。从图中可以看到若干曲线J(α1)、J(α2)、J(α3)、J(α＝90°)，它们各自由与具有相同视场角α1、α2、α3、α＝90°的对象点相对应的图像点组成。还可以看到曲线G(ψi)，它表示位于角度ψi的相同轴Xi上的一组对象点的投影，其中，角度ψi在此相对于物镜所包括的具有较大扩展的两个轴X2、X2’之一来测量(这些轴未被示出，基本上与图像传感器的两条对角线一致)。在此可以看出，曲线G(ψi)或者轴Xi在图像传感器上的投影不是直线，这是由于透镜的物理缺陷而自然导致该变形。该变形无论如何都不妨碍实现本发明的校正方法，并且只需在物镜的计算机辅助设计的时候量化本发明的物镜的多个分布函数Fd[Xi](α)。函数Fd[Xi]的这一量化可以采用表的形式，该表针对由角度ψ、α规定的各对象点给出变形图像ID4上对应图像点的位置。为了节省负责显示图像ID4(以相切于球面部分滑动的交互式图像扇区的形式)的微型计算机的存储空间，该表可以通过删除特定数目的对象点来抽样。被删除的各对象点的分布函数Fd[ψi](αi)则可以通过对相邻对象点的分布函数进行插值来计算。
参照图15B，将以点P(px，py，pz)为例，该点是要显现在屏幕上的图像扇区的图像点E(i，j)(在此未示出)在球面部分HS上的投影。点P(px，py，pz)具有确定角度ψ和α。角度ψ是作为点P(px，py，pz)在平面OXY中的投影的点“m”相对于轴OX的角度。角度α是通过点P(px，py，pz)和球面部分HS的中心O的直线段L相对于轴OZ的角度。如上所述，点P(px，py，pz)相当于所摄全景的对象点，球面部分HS的中心O相当于所摄全景的中心，直线段L相当于入射光线，轴OZ表示物镜的光轴，并且角度α表示对象点P(px，py，pz)的视场角。
然后，假设角度α和ψ在下面角度之间ψi＜ψ＜ψi+1αj＜α＜αj+1并且物镜的分布函数例如在下面部分描述的表T1中对于角度αi、αi+1、ψi、ψi+1作过量化。
作为点P(px，py，pz)在变形图像ID4上的投影的点P’(pu，pv)的坐标(pu，pv)易于通过插值例如下面对四个值的插值来计算pu＝[(pu)i，j+(pu)i+1，j+(pu)i，j+1+(pu)i+1，j+1]/4pv＝[(pv)i，j+(pv)i+1，j+(pv)i，j+1+(pv)i+1，j+1]/4表T1

因此，上述算法2可以通过以下面步骤替换行16到19来推广[搜索角度Ψ]If px＞0 thenΨ＝arc cos(px/√(px2+py2))If not if px＜0Ψ＝-arc cos(px/√(px2+py2))If not if px＝0 and py＞0 thenΨ＝π/2If not if px＝0 and py＜0 thenΨ＝-π/2If notΨ＝0End ifpu＝L2*Fd[Ψ](α)(1)pv＝L2*Fd[Ψ](α)(2)在这些步骤，Fd[ψ](α)(1)表示与属于半球HS的点P(px，py，pz)在图像ID4上的投影相对应的点P’(pu，pv)的坐标“pu”，点p本身是属于所要显示的图像扇区的点E(i，j)的投影(未在图15B中示出)。类似地，Fd[ψ](α)(2)表示点P’(pu，pv)的坐标“pv”。
因此，将算法2推广至本发明范围内的任意类型的物镜。在线性椭圆图像的情况下，函数Fd[ψ](α)可以以下面数学形式表达，并且不需要绘制量化表Fd[Ψ](α)＝[cos(Ψ)*2*(π/α)*(L1/L2)；sin(Ψ)*2*(π/α)]刚才所述的例子示出本发明的物镜可以具有若干较大扩展的轴(X2、X2’)。本例子还示出较大扩展的一个或多个轴不一定垂直于较低扩展的轴X1。
附录(形成说明书的一个组成部分)表1

表2

表3

权利要求
1.用于拍摄数字全景图像的方法，包括以下步骤通过相对于其光轴具有恒定视场角的鱼眼物镜将全景(PM)投影到图像传感器(16)上，图像传感器的形状为矩形，其特征在于提供鱼眼物镜(15，30)以在不减小视野的情况下将变形全景图像(ID1，ID3)投影到图像传感器(16)上，该变形全景图像不是圆盘形状，并且与传统图像圆盘(4)相比覆盖图像传感器上更多的像素。
2.如权利要求1所述的方法，其中，鱼眼物镜具有根据垂直于物镜光轴(OZ)的轴(Xi)而变化的图像点分布函数(Fd[Xi]，Fd’[Xi])，该函数沿着垂直于光轴的第一轴(X1)具有最小图像扩展率，并且沿着垂直于光轴的至少第二轴(X2)具有最大图像扩展率，从而使投影到图像传感器上的图像沿着第二轴(X2)扩大。
3.如权利要求2所述的方法，其中，物镜的第一轴(X1)和第二轴(X2)相互垂直，并且由物镜投影到图像传感器上的图像(ID1)的形状为椭圆体的。
4.如权利要求3所述的方法，其中，图像传感器(16)相对于物镜的第一和第二轴布置成使椭圆体图像(ID1)的长轴(D2)与图像传感器的有效长度(Ld)一致。
5.如权利要求3所述的方法，其中，图像传感器(16)相对于物镜的第一和第二轴布置成使椭圆体图像的长轴(X2)与图像传感器的对角线一致。
6.如权利要求2到5之一所述的方法，其中，物镜具有非线性分布函数(Fd’[Xi])，该函数与线性分布函数(Fd[Xi])相比具有至少±10％的最大散度，从而使投影图像(ID3)具有至少一个大幅扩大区域(ID3-1)和至少一个大幅压缩区域(ID3-2)。
7.如权利要求1到6之一所述的方法，其中，鱼眼物镜包括被提供用来根据既定视场角拍摄全景图像的透镜组(L1-L6)和其旋转轴垂直于物镜光轴的至少一个柱面透镜(L7，L8)的组合。
8.用于在屏幕(23)上显示根据如权利要求1到7之一所述的方法拍摄的初始全景图像(ID1)的方法，其特征在于它包括校正(S3，S3’)初始图像变形的步骤。
9.如权利要求8所述的方法，其中，校正步骤(S3)包括将初始图像变换成圆盘形状的校正数字图像(ID2)，校正图像的直径选成使校正图像包括数目高于初始图像所覆盖的图像传感器像素数的图像点。
10.如权利要求9所述的方法，其中，初始图像(ID1)的形状是椭圆体，并且校正图像(ID2)的直径(D3)为其像素数大小至少等于初始椭圆体图像(ID1)的长轴(D2)的像素数大小。
11.如权利要求8所述的方法，包括以下步骤把要显现在屏幕(23)上的图像扇区(IS)的图像点(E(i，j))投影到初始图像(ID1)上，从而允许确定要显现在屏幕上的图像扇区的图像点的色彩，将图像扇区(IS)的图像点(E(i，j))投影到初始图像(ID1)上的步骤通过代表鱼眼物镜的光学特性的分布函数(Fd)来执行，从而校正(S3’)初始图像变形的步骤隐含在投影步骤中。
12.如权利要求11所述的方法，其中，投影步骤包括第一步骤，将图像扇区(IS)的图像点(E(i，j))投影到球面部分(HS)上；以及第二步骤，将投影到球面部分上的图像点(P(px，py，pz))投影到初始图像(ID1)上。
13.记录在介质(25)上并且可载入到数字计算机(22)的存储器中的计算机程序产品，其特征在于它包含可由计算机执行的程序代码，该代码安排成执行如权利要求8到12之一所述的显示方法的各步骤。
14.相对于其光轴具有恒定视场角的鱼眼物镜，包括用于将全景(PM)的图像投影到图像传感器(16)上的光学装置(L1-L8)，其特征在于它包括用于在不减小视野的情况下投影变形图像(ID1，ID3)的光学装置(L6-L7)，其中，变形图像不是圆盘形状，并且与传统图像圆盘(4)相比覆盖更多的图像传感器像素。
15.如权利要求14所述的物镜，具有根据垂直于物镜光轴(OZ)的轴(Xi)而不同的图像点分布函数(Fd[Xi]，Fd’[Xi])，该函数沿着垂直于光轴的第一轴(X1)具有最小图像扩展率，并且沿着垂直于光轴的至少第二轴(X2)具有最大图像扩展率，从而使由物镜提供的图像沿着第二轴(X2)扩大。
16.如权利要求15所述的物镜，具有非线性分布函数(Fd’[Xi])，该函数与线性分布函数(Fd[Xi])相比具有至少±10％的最大散度，从而使由物镜提供的图像(ID3)具有至少一个大幅扩大区域(ID3-1)和至少一个大幅压缩区域(ID3-2)。
17.如权利要求14到16之一所述的物镜，包括被提供用来根据既定视场角拍摄全景图像的透镜组(L1-L6)和其旋转轴垂直于物镜光轴的至少一个柱面透镜(L7，L8)的组合。
18.如权利要求14到17之一所述的物镜，包括形成变迹器的光学装置。
19.如权利要求18所述的物镜，其中，形成变迹器的光学装置包括至少一个a-球面透镜。
20.如权利要求14到19之一所述的物镜，包括至少一个变形反射镜。
21.如权利要求14到20之一所述的物镜，其特征在于它为全景适配器类型，并且安置在静止摄像机非全景物镜的前面。
全文摘要
本发明涉及一种用于拍摄数字全景图像的方法，通过相对于其光轴具有恒定视场角的鱼眼物镜将全景投影到图像传感器上，图像传感器的形状为矩形。根据本发明，提供鱼眼物镜以在不减小视野的情况下将变形全景图像(ID1)投影到图像传感器上，该变形全景图像与图像圆盘相比覆盖图像传感器上更多的像素。优点改善有用图像区域中的清晰度，特别是改善数字缩放的质量。
文档编号G03B37/06GK1554036SQ02817779
公开日2004年12月8日 申请日期2002年7月12日 优先权日2001年7月20日
发明者C·莫斯蒂尔, B·布兰, C 莫斯蒂尔 申请人:6115187加拿大公司