三反射镜全景相机的制作方法

专利名称：三反射镜全景相机的制作方法
技术领域：
本发明涉及图像检测。更为具体地，本发明涉及适于超广视场角的全景相机。
背景技术：
目前已知存在许多采用各种折射和反射光学元件的全景成像相机和光学系统。例如，严格由折射透镜构成的鱼眼透镜。鱼眼透镜可覆盖非常宽的视场，高达220度。鱼眼透镜的缺点是众所周知的。所述缺点之一为在宽视场内图像照度和分辨率不均勻。单纯的折射光学系统(例如鱼眼透镜)通常称为折光系统。另外一种全景成像系统包括反射镜和透镜。这种光学系统称为反折射光学系统。 反折射光学系统一般采用一个或两个凹反射镜和/或凸反射镜以及一个或两个中继透镜， 所述中继透镜通常置于所述凹反射镜和/或凸反射镜之后。已研发出反折射系统获得超广角的视场。James S. Conant提出一种具有一个反射镜和一个中继透镜的简易反折射系统 (美国专利2，299, 682)。该美国专利中描述了产生弯曲的虚像的凸抛物面反射镜或半球状反射镜，所述弯曲的虚像由相机的透镜投影至照相胶片或底片上。在此种情形下，标准相机的透镜充当中继透镜。该Conant光学系统，与大多数广角光学系统一样，主要缺点是图像质量差，这是由于未校正像散和场曲之类的场像差(field aberrations)。减少上述有害影响将产生更清晰的图像。进一步地，需要更高的光圈级数值 (F-stop number)并必须增加曝光时间以保持静态图片的图像质量以及提高视频录制的帧速率。使用凸抛物面反射镜以及远心中继物镜和标准相机透镜的全景照相机的发明者 Shree K. Nayar对Conant光学系统作出了有效的改进，所述全景照相机能够使来自单个视角点的半球景象渲染到二维形式上(美国专利5，760，826)。所述Nayar光学系统的主要缺点在于场曲未校正，降低了图像的质量，尤其是在具有低光圈级数(F-stop)的紧凑光学系统中。为了得到令人满意的清晰图像，所述Nayar 光学系统的光圈级数根据传感器形式应当设置为大于或等于8，并因此要求较高的目标照度和较长的曝光时间。较高的图像照度需要使用笨重的整体包装，如抛物面反射镜的直径应当近似于3-4英寸，光学系统的长度大约为12英寸。小Edward Driscoll等人描述了另一种在采用抛物面镜的反折射全景光学系统中改善图像质量的尝试(美国专利6，480，229B1)。在Driscoll光学系统中，引入了两个平视场校正透镜(field-flattening correction lenses)。第一校正透镜放置在所述抛物面镜和相机透镜之间，第二校正透镜放置在所述相机透镜和传感器平面之间。所述第一校正透镜校正像散，所述第二校正透镜校正场曲。在Driscoll的专利中没有详细叙述所述两个校正透镜，没有提供有关这种校正的水平或能获得的光学图像质量的数据。此外，如果所述平视场透镜未位于所述像平面内，将很难分离像散效应和场曲效应。所述Driscoll光学系统是第二种Nayar光学系统的衍生，其中所述Driscoll光学系统中的第一和第二校正透镜替代了 Nayar中继透镜。两种光学系统都提高了原始Conant光学系统的图像质量，所述 Conant光学系统未提供平视场校正。Javaan Singh Chahl 等(美国专利 5，790，181) ,Alfred Μ· Bruckstein等(美国专利5，920，376)以及^sushi Yagi等(美国专利6，130，783)提出了单反射镜和双反射镜全景光学系统，但没有光学图像形成和光学图像质量的具体描述。基本上，ChahLBruckstein 和^gi叙述了主光线和将主光线映射至传感器平面。在这三篇专利中，未解决光线束以及相关的光学像差，例如未校正的场曲、像散以及横向颜色位移(color displacement)。对于上述三篇专利中的每一篇所描述的光学系统，必需要较高的光圈级数来锐化图像，产生低图像照度水平和低对比度。为了进一步校正全景光学系统中的场曲，Gottfried R. Rosendahl等(美国专利 4，395，093)提出凸双曲面反射镜与包含21个透镜元件的定制物镜结合使用。以类似的方法，Arthur Cox (美国专利4，484，801)采用双曲面反射镜和包含16个独立的透镜元件的定制物镜来校正场像差和改善图像质量。两种定制物镜光学系统都要求高光圈级数，要求复杂的光学装置，但是最终不能消除高的图像压缩。数字成像光学装置在集成数字传感器的设计和数字图像处理软件的功能方面对图像质量校正容许的自由度远大于其在照相胶片光学系统所容许的自由度。无需图像压缩和免于全景失真的高质量数字图像可通过将数字传感器和图像处理软件结合到光学系统的全景光学装置来实现。

发明内容
上述专利中没有一篇专利将所述光学元件、数字图像传感器元件以及图像处理元件这三种数字图像元件结合到全景光学系统中。例如，Cox严格地论述了光学系统， Nayar (美国专利5，760，826)和Chahl (美国专利5，790，181)论述了光学系统以及数字图像传感器平面上的图像压缩。一般而言，数字图像传感器上的图像压缩在图像高度压缩区域产生的分辨率较低，而且还会导致全景失真。集合了图像压缩、分辨率和全景失真的问题在上述任意一篇专利中均未被考虑到，也没有在上述专利的任意结合中被考虑到。本发明通过提供一种具有至少三面反射镜的紧凑、高分辨、有效的全景相机满足现有技术存在的需求。所述相机提供广泛的用途，包括电话会议、机器人视觉、无人驾驶车辆、监控以及其他类似的应用。在一些实施方式中，该紧凑全景相机为便携式。高分辨全景相机意味着相机在超广视场内提供清晰、无失真的全景图像，所述超广视场在一些实施方式中可以是全视场。此外，本发明提供相对较小的光圈级数以缩短全景相机的曝光时间。所述缩短的曝光时间在视频应用中特别重要，其中全景相机的光圈级数以及图像传感器场或平面内的像素灵敏度容许视频录制达到甚至超过100帧/秒(FPS)。在一个或一个以上优选实施方式中，本发明涉及适于对超广视场角内的物体产生图像的系统。所述系统包括具有至少3个非球面反射镜的光学子系统。所述光学子系统的第一凸反射镜限定了中心光圈和光轴，第二非球面反射镜限定了中心光圈，以及第三非球面反射镜。所述光学子系统的第二非球面反射镜相对于所述第一凸非球面反射镜沿着光轴布置。所述光学子系统的第三非球面反射镜在所述第一凸非球面反射镜中心光圈处或者靠近所述第一凸非球面反射镜中心光圈同样沿光轴布置。所述至少三反射镜光学子系统适于将来自物体空间的反射光引导至光学校正元件上。超广视场角内的物体的图像由标准光学元件可校正以在像平面上产生光学分辨率大约等于或超过图像传感器的奈奎斯特 (Nyquist)采样准则的图像。在一个或一个以上优选实施方式中，本发明涉及将超广视场内一个或一个以上物体的图像投影至图像传感器平面的方法。所述方法包括通过凸非球面反射表面反射超广视场内的一个或一个以上物体以提供第一虚像。所述第一虚像由第二非球面反射镜反射以形成第二图像，其中反射所述第一虚像包括校正第一图像场曲和第一图像压缩中的一个或多个。第三非球面反射镜反射所述第二图像以形成第三图像，其中反射所述第二图像包括校正第二图像场曲和第二图像压缩中的一个或一个以上。第三图像由光学校正元件聚焦以投影出衍射受限图像(diffraction limited image)，该衍射受限图像的光学分辨率大约等于或超过图像传感器的奈奎斯特采样准则。


本发明的上述和其他一些目的、特征和优点通过下面本发明优选实施方式更为具体的描述将显而易见，如附图所示，附图中相似的附图标记表示不同视图中相同的部分。所述附图不一定按比例，而是将重点放在说明本发明的原理上。图1示出了根据本发明优选实施方式的全景相机的系统框图。图2示出了本发明优选实施方式的方法流程图。图3A和图;3B示出了本发明的一种示例性实施方式的垂直截面图。图4呈现了图3A和图;3B所示的本发明示例性实施方式的点源物体的像点图。图5A和图5B示出了本发明另一示例性实施方式的垂直截面图。图6呈现了图5A和图5B所示的本发明示例性实施方式的点源物体的像点图。图7A和图7B示出了本发明又一示例性实施方式的垂直截面图。图8呈现了图7A和图7B所示的本发明示例性实施方式的点源物体的像点图。图9A和图9B示出了本发明又一示例性实施方式的垂直截面图。图10呈现了图9A和图9B所示的本发明示例性实施方式的点源物体的像点图。图IlA和图IlB示出了本发明又一示例性实施方式的垂直截面图。图12呈现了图IlA和图IlB所示的本发明示例性实施方式的点源物体的像点图。图13呈现了图IlA和图IlB所示本发明示例性实施方式的校正的场曲曲线和校正的平场聚焦(f-theta)失真或图像压缩曲线。图14A和图14B示出了本发明又一示例性实施方式的垂直截面图。图15呈现了图14A和图14B所示的本发明示例性实施方式的点源物体的像点图。图16呈现了图14A和图14B所示本发明示例性实施方式的校正的场曲曲线和校正的平场聚焦失真或图像压缩曲线。
7
图17A和图17B示出了本发明又一示例性实施方式的垂直截面图。图18呈现了图17A和图17B所示的本发明示例性实施方式的点源物体的像点图。图19呈现了图17A和图17B所示本发明示例性实施方式的校正的场曲曲线和校正的平场聚焦(f-theta)失真或图像压缩曲线。
具体实施例方式应当理解本文所述和所示的特定实施方式为本发明的实施例，并非意在以其他任何方式限定本发明的范围。进一步地，本发明技术适合应用于电话会议、机器人视觉、无人驾驶车辆或其他任何类似的应用。在一些实施方式中，根据本发明原理构造的全景相机包括至少三个部分。第一部分包括光学系统。第二部分包括数字图像传感器，该数字图像传感器以这样一种方式安装至所述光学系统，所述方式为数字图像传感器的传感器平面正好与所述光学系统的像平面重合。第三部分包括图像处理软件，其中所述图像处理软件安装在计算机上或者嵌入到包含在数字相机电子设备中的印制电路板(PC board)上。所述光学系统包括至少两个子系统。第一子系统包括配置为捕捉超广视场的三反射镜光学子系统。所述三反射镜光学子系统提供双重折叠光学路径，产生沿着光轴的紧凑构造。所述紧凑构造至少一部分是由于所述第二非球面反射镜和第三非球面反射镜结合提供双重光学折叠的光学路径从而使所述三反射镜光学子系统沿着光轴的长度缩短。为了用数字表示光学系统组件的特征，可确定出三反射镜光学子系统沿其光轴测量的长度与其第一非球面反射镜直径的比值。在一些单反射镜光学系统中，这种长度-直径比值可低至大约3. 68或更高。在本文所述的实施方式中，所述长度-直径比值可低至大约1. 1-1. 2，并可更低。第二子系统，与所述第一子系统光连通，包括光学校正元件，例如，一个或一个以上反射镜、一个或一个以上透镜、或者一个或一个以上反射镜与一个或一个以上透镜的组合。例如，所述校正元件可以是透镜，如放置用于接收来自所述三反射镜光学系统的双重折叠光线的校正透镜。所述校正透镜可包括折射物镜组件。在一些实施方式中，所述校正透镜包括微投影透镜(MPL)。所述光学系统在像平面上产生物体空间(视场)的源图像。在所述像平面上放置图像传感器以捕捉所述源图像。所述源图像为所述物体空间的压缩图像。 在一些实施方式中，所述物体空间达到绕所述三反射镜光学子系统的光轴测量的360度。 在一些实施方式中，本发明提供了图像处理软件来处理所捕捉到的源图像以及产生透视全景视图。例如，投影至像平面的所述360度源图像为圆形图像(即更适合采用极坐标)。 所述图像处理软件通过基本展开源图像以及在笛卡尔坐标(Cartesian coordinates)下重建图像可创建所述透视全景视图。所述光学子系统包括至少三个反射镜第一凸非球面反射镜、第二非球面反射镜和第三非球面反射镜。在优选实施方式中，第一凸反射镜包括光轴和弯曲的、凸面的非球面反射镜，其中，光轴为对称光轴，非球面反射镜具有位于其一端的第一反射镜中心光圈。所述第一凸反射镜可以由曲线(构造器)限定并且可以为构造曲线绕光轴旋转的表面。第一凸反射镜反射来自所述视场的光线以形成所述物体空间的第一虚拟且压缩的图像。在一些实施方式中，第二反射镜为沿着所述光轴具有中心光圈的非球面反射镜。可选地或此外，第三反射镜也是沿着所述光轴布置的非球面反射镜。在一个或一个以上优先实施方式中，所述第二和第三反射镜具有不同的形状。所述第二和第三反射镜也可以由各自的构造曲线限定，并且是绕所述光轴旋转的平面。在一些实施方式中，所述第一、第二和第三反射镜关于所述光轴轴对称。此外，在一些实施方式中，所述反射镜为构造曲线围绕所述光轴部分地旋转(即小于180度)形成的表面。所述第二反射镜和第三反射镜的结合提供双重光学折叠以缩短沿所述三反射镜光学子系统光轴的长度，从而容许构造更为紧凑的全景相机。在一个或一个以上优选实施方式中，所述第二反射镜和第三反射镜联合提供高阶光学像差的校正。在一些实施方式中，第一凸非球面反射镜将入射光线朝向所述第二非球面反射镜反射，所述第二非球面反射镜将经一次反射的光线朝向所述第三非球面反射镜反射。所述第三非球面镜将经二次反射的入射光线反射通过所述第二非球面反射镜中心光圈。将来自第三反射镜的经三次反射的光线引导至光学校正元件，该光学校正元件配置为在像平面产生图像。选定所述三个非球面反射镜的相对形状以产生通过所述光学校正元件可校正的图像，通过所述光学校正元件校正以产生大约等于或超过奈奎斯特采样准则的光学分辨率。 可选地或此外，所述投影产生的图像还具有小于大约0. 015mm 1的校正的场曲。在一些实施方式中，所述像平面包括具有离散像素阵列的传感器。所述奈奎斯特采样准则可表示为1/(2*N)，其中“N”为像素尺寸。所述像素尺寸N为中心-中心的像素间隔，也称为像素间距。在一些实施方式中，投影图像每2*N具有至少2线，对于目前可获得的像素间距大约2微米的数字传感器而言，这对应于大约250线对/毫米或者250周期数/毫米。在一些实施方式中，投影图像具有至少40线/毫米或40周期数/毫米。在一些实施方式中，投影图像具有至少100线/毫米或100周期数/毫米。在一些实施方式中， 投影图像具有至少150线/毫米或150周期数/毫米。在一些实施方式中，投影图像具有至少200线/毫米或200周期数/毫米。在一些实施方式中，投影图像具有至少500线/ 毫米或500周期数/毫米。在一些实施方式中，所述像平面可采用滤色片阵列(CFA)以在光传感器的栅格上排列红、绿、蓝(RGB)颜色滤光片。已知的这种CFA的一个例子为拜耳模式(Bayer pattern) 0以Bayer模式为例，CFA可以用于采用单个传感器获取景象颜色信息。各个颜色通道的CFA像平面的奈奎斯特抽样频率可以比所述颜色通道的结合或集合的抽样频率低。因此，各个颜色通道的离散像素阵列的像素间隔可比所述颜色通道的结合或集合的像素间隔大。在一些类似的实施方式中，所述像平面可包括具有照相胶片而不是离散像素阵列的传感器。因此，照相胶片的粒度可大概类似于所述离散像素阵列的像素总量N，其中粒度的直径、粒度的边缘以及粒度的中心-中心间隔可与所述离散像素阵列的直径、边缘以及中心-中心间隔类似。图1示出了根据本发明优选实施方式的全景相机110的系统框图。所述全景相机 110包括多个部件。第一部件为光学系统111。第二部件包括数字图像传感器122，数字图像传感器122相对于光学系统111以这样在一种方式安装，所述方式为数字图像传感器122 的传感器平面12 正好与光学系统111的像平面122b重合。光学系统111在所述像平面 122b上产生图像125。在一些实施方式中，所述图像为圆形。例如，在一些实施方式中，圆环形图像125可形成在在图像内圈12 和图像外圈12 之间，这由光学系统111确定。
第三子系统包括控制器105，控制器105配置为接收数字图像传感器122所捕捉的图像的电子表示。在一些实施方式中，本发明提供了图像处理软件106用于处理所述捕捉的图像。图像处理软件106可用于完成除了其他事项之外的以下至少一种事项自动聚焦图像125和人工聚焦图像125。渲染聚焦的图像的数字表示并显示给终端用户。例如，渲染的聚焦图像可在位于用户接口 108的视频显示器107上显示。用户接口 108可包括用户控制装置，该用户控制装置允许用户操作图像处理软件106以实现以下至少一种功能自动聚焦图像125的功能和人工聚焦图像125的功能。图2示出了本发明的示例性方法50的流程图。方法50包括首先调节光学系统 (步骤51)以捕捉超广视场、将接收到的来自超广视场光线双重折叠并将所述双重折叠的光线投射至传感器平面(步骤52)。所述系统接收像平面上的图像并确定像焦点的估计值 (步骤53)。如果所述图像确定为焦点未对准(S卩，不在可容许的聚焦范围内)，控制器将重新调节光学系统(步骤。采用可使用的聚焦检测技术(例如边缘检测)可完成自动像焦点检测。所述方法50还包括如果在步骤53检测图像焦点中认为所述图像焦点对准，则对所述图像执行图像处理功能(步骤55)以进一步锐化图像，将锐化图像渲染到显示器上 (步骤56)，自动地第一次检测所述锐化图像的焦点(步骤57)，并且如果所述图像焦点未对准，则重新调节图像处理功能(步骤58)。所述聚焦处理可以参数化，通过调节光学系统 54进行聚焦，然后通过图像处理进行聚焦，并且根据需要，可重复上述步骤中的一个或一个以上。方法50进一步包括以下至少一个步骤如果所述锐化图像焦点未对准，自动地第二次检测该锐化图像的焦点，以及手动地第二次检测所述锐化图像的焦点(步骤59)。方法50在所述焦点检测步骤M、58和59令人满意地通过时结束。在一些实施方式中，所述方法以反馈循环的方式重复以追踪和保持聚焦。这种追踪为振动等的短期性能强化、环境因素(例如温度)的长期性能强化以及元件老化提供了改善的性能。图3图示了具有对称光轴112的示例性高分辨全景相机110。所述示例性全景相机110包括三个部分。第一部分包括光学系统111。第二部分包括以这样一种方式安装至光学系统111的数字图像传感器122，所述方式为数字图像传感器122的传感器平面12 与光学系统111的像平面122b重合。第三部分包括图像处理软件106(见图1)。光学系统111包括至少两个子系统。第一子系统包括三反射镜光学子系统111a。 第二子系统包括光学校正元件，例如校正透镜。在示例性实施方式中，所述校正透镜为折射物镜子系统111b。在一些实施方式中，所述校正透镜为微投影透镜120。在第一优选实施方式中，所述微投影透镜包括理想透镜。三反射镜光学子系统Illa包括第一凸非球面反射镜114、第二反射镜116和第三反射镜118。所述反射镜114、116和118由各自围绕光轴112的旋转曲线限定。在一些实施方式中，第一凸反射镜为抛物面。在其他一些实施方式中，第一凸反射镜为双曲面。在一些实施方式中，第一凸反射镜为高阶抛物面。在其他一些实施方式中，第一凸反射镜为高阶双曲面。所述高阶抛物面和高阶双曲面可表示为偏离其相应的二阶圆锥截面的轴对称旋转表面，如下
10... c-h,4 ,6 ,8 ,10 ,12 ,14 ,16 ^18 ,2(
z(h) =--+ α/|·η + ag-n + ag-n + aigh + aj2n + aj^h + aig-h + ajg-h + a2gh
l+/l-(l + k)-c2-h2ζ轴与所述光轴重合，h为垂直所述光轴的平面内的径向尺寸。系数k为圆锥常数(conic constant)，其与离心率ε具有简单的关系，换句话说， 离心率ε是k的相反数的平方根。如果(111 = 0，11 = 4，6，8，....，并且1^<-1，那么旋转面为双曲面。如果k = -l，所述旋转面为抛物面。如果-1 <k<0，所述旋转面为椭球面。 如果k = 0，所述旋转面为球面。偏离二阶圆锥截面会产生高阶圆锥截面。具体地，当011不等于0，η = 6，8，10， 12，....时，产生高阶抛物面和高阶双曲面。第一凸反射镜限定了位于其一端且中心围绕所述中心光轴的中心光圈114a。在示例性实施方式中，第一凸反射镜114包括镜顶曲率半径为13. 56mm的凸抛物面反射镜。对于所述示例性实施方式，中心光圈IHa具有大约16. Omm的直径，并且第一凸反射镜的最大直径114b为大约44. 0mm。第二反射镜116包括曲率半径为2169. Omm的凸非球面反射镜， 第二反射镜中心光圈116a的直径为10. Omm,并且第二反射镜的直径116b为29. 0mm。第三反射镜118包括曲率半径为观6. Omm的凹非球面反射镜，并且第三反射镜直径118a为 16. 0mm，恰好与第一反射镜中心光圈11 相等。第三反射镜118优选地置于第一反射镜中心光圈11 的中心，并且完全取代第一反射镜中心光圈114a。这样布置可简化构造和性能，由于第一凸反射镜和第三反射镜相互可严格地连接以保持它们的相对位置。在示例性实施方式中，第一反射镜114和第二反射镜116之间分开的距离为22. 2mm。第二反射镜116和第三反射镜118之间分开的距离为 24. 5mm。光学系统111沿着对称光轴112从第一反射镜的远端IHc到像平面122b的长度为50. 0mm，然而，由于双重折叠，通过光学系统111的光线路径要长得多。微投影透镜120可置于第二反射镜中心光圈116a的中心。微投影透镜120的直径为大约3. 5mm、焦距为大约6. 7mm以及数值孔径(NA)大约0. 25。光线束组124、126及128分别以相对于对称光轴68度、90度和126度的角度描绘在图3A中。沿着所述光轴112旋转180度形成的光学系统111在像平面122b上产生圆形图像125，其中图像125形成在直径为1. 83mm的图像内圈12 和直径为4. 2mm的图像外圈 125b之间。图;3B与图3A几乎相同，仅描绘了光线束组124、126、128中每一组的主光线。图像内圈12 由光线束124限定。图像内圈12 的内部为空的图像分量，这是由第一反射镜中心光圈IHa导致的。图像外圈12 由光线束128限定。受到第一反射镜远端114c的限制，在图像外圈125b外侧没有图像形成。因此，全景相机110的视场(FOV) 基本为除了两个沿对称光轴112对齐的圆锥面的球面，接近全4 π球面度。所述圆锥面切去了相对于对称光轴112测量的68度和1 度角。第一凸反射镜114给第一虚像引入了场曲，并且压缩更靠近图像外圈12 的第一虚像的分量。第一虚像中的压缩出现在径向和圆周两个方向上。因而，与更靠近图像外圈 12 的第一虚像的分量相比，更靠近图像内圈12 的第一虚像的分量压缩得更少。这主要是由于第一反射镜114越靠近其镜顶，其径向和圆周二者上的曲率半径越小。第二反射镜 116和第三反射镜118对由第一反射镜114产生的第一虚像场曲和第一虚像压缩的一部分进行校正。通过双重折叠对称光轴112和以光线束组124、126、1观表示的光学路径，第二反射镜116和第三反射镜118缩短了光学系统111的长度。第二反射镜116和第三反射镜118对提供适当的图像压缩的光瞳中的球面像差进行校正，并且还校正图像中的彗形像差。标准光学元件(例如微投影透镜120)校正由高阶凸抛物面反射镜114引入的场曲。微投影透镜120充当光学系统111的光圈以及出射光瞳， 将图像125呈现在像平面122b上。所述系统的光圈控制光照量，而所述光照量与图像的捕捉速度有关。一般而言，优选更多的光用于图像质量和用来提供更高的图像捕捉速度的灵活性。光圈可以用光圈级数来描述。在一些实施方式中，为了期望的性能，所述系统采用的光圈级数大约为2. 8或更小。在一些实施方式中，相对较小的光圈级数会缩短所述全景相机的曝光时间。所述缩短的曝光时间在视频应用中尤其重要，在所述视频应用中全景相机的光圈级数和图像传感器场或平面的像素灵敏度允许视频录制。在一些实施方式中，光阑图像监控应用的视频速率可以每1秒1帧或者更长时间1帧。可选地或此外，视频速率可大于1帧/秒。例如， 可支持30帧/秒到60帧/秒的标准视频速率。在一些实施方式中，甚至可以有更高的视频捕捉速率，达到或大于100帧/秒(FPS)，这可以用于慢动作应用。在一些实施方式中，图像传感器通过提供大量的像素(例如大于大约4M像素)来提供高分辨率。在一些实施方式中，数字图像传感器122的每行和每列组装有像素均勻大小为1. 75微米的大约2400个像素(例如从Micron Technology, Inc. of Boise, ID商业上可获得的Micron CMOS Sensor MT9E001I12STC)，或组装有像素均勻大小为2. 2微米的大约 1900个像素(Micron CMOS Sensor MT9P031I12STC)，其中数字图像传感器122组装成以至少覆盖形成在图像内圈12 与图像外圈12 之间的图像125。前一例子的示例性数字图像传感器122的奈奎斯特频率为S后一例子的示例性数字图像传感器122的奈奎斯特频率为227mm ^光学系统111的第一优选实施例的光学空间频率分辨率超过了数字图像传感器122的空间分辨率，并且因为这个原因，系统110的总分辨率受到数字传感器122 的分辨率的限制。图4呈现了点图130，示出了第一优选实施方式的点源物体在像平面122上的模糊斑点。中心特征表示由像平面122截取的点扩散函数的横截面。外圈表示艾里斑(Airy disk)。如果根据点扩散函数确定的斑点大小包含在Airy斑内，则所述光学系统被认为是衍射受限。对于偏离对称光轴112的角度介于68度和126度之间的物体(OBJ)给出的斑点大小，分别对应于图3A中所描绘的光线束组IM和128。包含在内的有来自像平面122b的相应的径向图像位置(IMA)，其从图像内圈12 延伸至图像外圈12恥。在示例性实施方式中，斑点大小完全在Airy斑的直径范围内，其略小于大约3mm。因此，产生的图像125衍射受限。对于全视场而言，第一优选实施方式的波前像差等于大约0.05个波长或更少。第一优选实施方式的光学系统111的光圈级数为2. 0。图5A和图5B示出了本发明另一示例性实施方式的垂直截面图，其在功能上等同于第一优选实施方式，但其构建成适应更大的图像225以及与图像225共面的更大的数字图像传感器222。第二优选实施方式中的数字图像传感器222的直径为9. 0mm。数字图像传感器222包含像素大小为3. 2x3. 2微米的3. 1兆像素(Micron CMOS sensor MT9T001P12STC)或者像素大小为 2. 2x2. 2 微米的 5 兆像素(Micron CMOS SensorMT9P031I12STC)，其中数字图像传感器222组装成至少覆盖形成在图像内圈22 与图像外圈22 之间的图像255。第二优选实施方式的光学系统211的光学空间频率分辨率大约为 280周期数/毫米。图6呈现了第二优选实施方式的点源物体的像点图230。斑点大小完全位于Airy 斑的直径范围内，其大约为3微米。因而，图像225衍射受限。对于全视场而言，第二优选实施方式的波前像差小于0. 10个波长。第二优选实施方式的光学系统211的光圈级数大约为2.0。返回参照图5A，第一反射镜214包括镜顶曲率半径为29. 065mm的凸抛物面反射镜，第一反射镜中心光圈21 的直径为34. 4mm，第一反射镜最大直径214b为94. 3mm。第二反射镜216包括曲率半径为4649. Omm的凸非球面反射镜，第二反射镜中心光圈216a的直径为15. 8mm,第二反射镜直径216b为66. 2mm。第三反射镜218包括曲率半径为613. 6mm 的凹非球面反射镜，第三反射镜直径218a为34. 4mm，恰好等于第一反射镜中心光圈214a。第二反射镜216和第三反射镜218分开的距离为52. 8mm。光学系统211沿对称光轴212从第一反射镜的远端2Hc到像平面222b的长度为103. 2mm。微投影透镜220置于第二反射镜中心光圈216a的中心。微投影透镜220具有的焦距为14. 36mm、硬件光圈直径为大约7. 6mm以及数值光圈(NA)为0. 25。第二优选实施方式中图像表面曲率半径大约为14. 96mm。图7A和图7B示出了本发明第三优选实施方式的垂直截面图。第三优选实施方式是所述第一优选实施方式中将第三反射镜318从第一反射镜中心光圈31 中移走并移动至更靠近第二反射镜316的变形。在图7A中描绘了分别相对于对称光轴312测得的角度为大约70度、90度、110度的光线束组324、326、328。图像325与图3A中给出的第一优选实施方式中的图像125 —样大小。三反射镜光学子系统311a包括第一反射镜314、第二反射镜316和第三反射镜 318。第一反射镜314包括镜顶焦距为大约8. 36mm的纯抛物面反射镜，并且第一反射镜的最大直径314b为42. 2mm。第二反射镜316包括焦距为大约258. Omm的凹高阶非球面反射镜，并且第二反射镜直径316b为大约35. Omm0第三反射镜318包括焦距大约144. Omm的凹高阶非球面反射镜。第三反射镜318位于第一反射镜中心光圈31 的中心。第一反射镜314和第二反射镜316分开26. Omm的距离。第二反射镜316和第三反射镜318分开的距离为27. Omm0理想的微投影透镜320位于第二反射镜中心光圈316a的中心。微投影透镜320 具有的焦距为大约6. 7mm。图像表面曲率半径大约8. 5mm。图8呈现了第三优选实施方式的点源物体的像点图330。图像325衍射受限。第三优选实施方式的光学系统311的多色调制传递函数(MTF)曲线在空间频率为200周期数 /毫米时的幅度大约为0. 7以及在空间频率大约400周期数/毫米时的幅度为0. 4。第三优选实施方式的光学系统311的光圈级数为2. 0。图9A和图9B示出了本发明第四优选实施方式的垂直截面图。第四优选实施方式是第一优选实施方式中第三反射镜418从第一反射镜中心光圈41 中移走并移至更远离第二反射镜416的变形。在图9A中描绘了分别相对于对称光轴412测得的角度为大约80 度、100度和110度的光线束组424、426、428。图像425与图3A给出的第一优选实施方式中的图像125 —样大小。三反射镜光学子系统411a包括第一反射镜414、第二反射镜416和第三反射镜 418。第一反射镜414包括焦距为大约7. Omm的纯抛物面反射镜。第二反射镜416包括焦距为大约271. Omm的凹高阶非球面反射镜。第三反射镜418包括焦距为大约148. Omm的凹高阶非球面反射镜。第三反射镜418位于第一反射镜中心光圈41 的中心。微投影透镜420位于第二反射镜中心光圈416a的中心。微投影透镜420的焦距为大约6. 7mm,与第一反射镜414 焦距的绝对值大约相等。图像表面曲率半径为大约7. 4mm。图10呈现了第四优选实施方式的点源物体的像点图430。图像425衍射受限。对于全视场而言，第四优选实施方式的波前像差小于0. 10个波长。对于全视场而言，图像425 的压缩低于10%。第四优选实施方式的光学系统411的光圈级数为2.0。图IlA和图IlB示出了本发明第五优选实施方式的垂直截面图。第五优选实施方式是所述第一优选实施方式的变形，其中第一反射镜514为高阶双曲面反射镜，第二反射镜516为平面反射镜，这样在三反射镜光学子系统51 Ia中，仅有两个非球面反射镜514、518 和一个平面折叠反射镜516。在图IlA中描绘了分别相对于对称光轴512测得的角度为大约79度、90度、1 度的光线束组524、526、528。图像圈525与图3A中给出的第一优选实施方式的图像125 —样大小。三反射镜光学子系统511a包括第一反射镜514、第二反射镜516和第三反射镜 518。第一反射镜514包括其最大直径514b为大约55. Omm的高阶双曲反射镜。第二反射镜516包括其直径516b为大约33. Omm的平面反射镜。第三反射镜518包括其直径518a 为大约17. 5mm的凹高阶非球面反射镜。第三反射镜518位于第一反射镜中心光圈51 的中心。第一反射镜514和第二反射镜516分开大约23. 9mm的距离。第二反射镜516和第三反射镜518分开的距离为大约洸· 8mm。理想的微投影透镜520位于第二反射镜中心光圈516a的中心。微投影透镜520 的焦距为大约6. 9mm。图像表面曲率半径540为大约6. 35mm。图12呈现了第五优选实施方式的点源物体的像点图530。所有的点图由Airy斑表示，图像525衍射受限。图13呈现了校正的场曲曲线550和校正的平场聚焦失真或图像压缩曲线560。视场边缘的图像压缩系数为1.444，其给出了比标准鱼眼透镜高接近60%的解压缩图像。第五优选实施方式的光学系统511的光圈级数为大约2. 0。图14A和14B示出了本发明第六优选实施方式的垂直截面图。第六优选实施方式是第一优选实施方式的变形，其中第一优选实施方式中的理想微投影透镜120由微投影透镜620替代，所述微投影透镜620为改进的双高斯(Gauss)物镜。在图14A中描绘了分别相对于对称光轴612测得的角度为大约68度、90度、1 度的光线束组624、626、628。图像 625与图3A给出的第一优选实施方式的图像125 —样大小。三反射镜光学子系统611a包括第一反射镜614、第二反射镜616和第三反射镜 618。第一反射镜614包括镜顶焦距为大约6. 78mm并且其最大直径614b为大约43. Omm的抛物面反射镜。第二反射镜616包括焦距为大约1085. Omm且其直径616b大约27. 4mm的非球面反射镜。第三反射镜618包括焦距为大约143. Omm且其直径618a为大约16. Omm的凹非球面反射镜。第三反射镜618位于第一反射镜中心光圈61 的中心。光学系统611沿对称光轴612从第一反射镜远端616c到像平面622b的长度为大约49. 0mm。微投影透镜620位于第二反射镜中心光圈616a的中心。微投影透镜620，以改进的双高斯物镜为代表，包括7个透镜元件和5个光学元件，3个单透镜和2个双合透镜。所述微投影透镜的直径在4. 5mm到5. Omm之间。微投影透镜620的焦距为大约7. 1mm。标准的双高斯物镜包括6个透镜元件和4个光学元件，2个内部双合透镜和2个外部单透镜。为了提供第六优选实施方式中所使用的改进的双高斯物镜，所述标准双高斯物镜中的第二内部双合透镜由两个单透镜代替以及所述标准双高斯物镜中的第二外部单透镜由双合透镜代替。微投影透镜620校正由高度弯曲的双曲面反射镜614引入的场曲以及校正其自身的内部像差。图15呈现了第六优选实施方式的点源物体的像点图630。光学系统611的光学分辨率不低于200周期数/毫米。对于此空间频率，MTF等于0. 50。图16呈现了校正的场曲曲线650和校正的平场聚焦失真或图像压缩曲线660。对于全视场，图像625校正后的场曲减少至0. 015mm 1或更少。视场边缘的图像压缩系数为 1. 292.第六优选实施方式的光学系统611的光圈级数为2. 8。图17A和图17B示出了本发明第七优选实施方式的垂直截面图。第七优选实施方式是所述第六优选实施方式的变形，其中微投影透镜620改进的双高斯物镜由进一步改进的微投影透镜720代替。在图17A中描绘了分别相对于对称光轴712测得的角度为大约68 度、90度、1 度的光线束组724、726、728。图像725与图3A给出的第一优选实施方式的图像125 一样大小。三反射镜光学子系统711a包括第一反射镜714、第二反射镜716和第三反射镜 718。第一反射镜714包括镜顶焦距为大约7. 02mm且其最大直径714b为大约44. Omm的抛物面反射镜。第二反射镜716包括焦距为大约103. Omm且其直径716b为大约27. Omm的凸非球面反射镜。第三反射镜718包括焦距为大约123. 5mm且其直径718a为大约16. Imm的凹非球面反射镜。第三反射镜718位于第一反射镜中心光圈71 的中心。第一反射镜714和第二反射镜716分开的距离为大约22. 9mm。第二反射镜716和第三反射镜718分开的距离为大约25. 2mm。光学系统711沿对称光轴712从第一反射镜远端716c到像平面722b的长度为大约 53. 0mm。微投影透镜720位于第二反射镜的中心光圈716a的中心。微投影透镜720，以进一步改进的双高斯物镜为代表，包括7个透镜元件和4个光学元件，1个单透镜和3个双合透镜。微投影透镜720的焦距为大约8. 0mm。图18呈现了第七优选实施方式的点源物体的像点图730。较之大约4. 2mm的Airy 斑直径，所有斑点直径的均方根(RMS)小于大约3. Omm0第七优选实施方式中的图像725衍射受限或接近于衍射受限。对于大约0. 50的MTF，光学系统711的光学分辨率为大约200
周期数/毫米或更高。图19呈现了校正的场曲曲线750和校正的平场聚焦失真或图像压缩曲线760。视
15场边缘的图像压缩为大约33.7%。第七优选实施方式的光学系统711的光圈级数为大约
2.8 ο图17Β描绘的主光线的交叉点处于微投影透镜720光圈的中心，其位于微投影透镜720的第一双合透镜和第二双合透镜之间。所述交叉点在通过过滤进入光学系统711的光线形成图像方面发挥重要作用。第七优选实施方式表明可采用不同的微投影透镜构造来解决来自本发明的三反射镜子系统的光线路径。本发明所述第一至第七优选实施方式还包括采用图像处理功能对图像125-725 进行类似的处理以进一步校正图像125-725内的场曲、图像压缩以及球面像差以及通过展开图像125-725渲染透视全景视图。提供用于处理图像125-725的手段包括以下至少一种 软件、硬件、固件、FPGA、PLA以及它们的结合。在一些实施方式中，全景相机配置成在电磁光谱的一个或一个以上波段接收入射辐射。例如，全景相机可配置成工作于可见光谱、近红外(IR)光谱、中红外及远红外光谱、 紫外光谱，甚至所述电磁光谱中的其他区域。在一些实施方式中，所述光学子系统为宽光谱，在多个波段范围内工作；同时，所述图像传感器被选定在一个或一个以上所述期望的波段工作。本说明书中提及的所有出版物、专利和专利申请通过引用并入本文，如同每个出版物、专利和专利申请明确且分别指出通过引用并入一样。尽管结合具体实施方式
对本发明进行了描述，但应当理解本发明能够进一步修改。而且，本申请意在覆盖本发明的任何变化、用途或改变，包括那些偏离本次公开但属于本发明所属领域的公知或常用手段的范围以及落入所附权利要求范围的内容。
权利要求
1.一种适于产生超广视场角内的物体的图像的设备，该设备包括光学子系统，包括第一凸非球面反射镜，限定了中心光圈和光轴；第二非球面反射镜，限定了中心光圈，所述第二非球面反射镜相对于所述第一凸反射镜沿所述光轴布置；以及第三非球面反射镜，所述第三非球面反射镜在所述第一凸非球面反射镜中心光圈处或靠近所述第一凸非球面反射镜中心光圈同样沿所述光轴布置；其中所述超广视场角内物体的图像可通过标准光学元件校正，以在像平面上产生光学分辨率近似等于或大于图像传感器的奈奎斯特采样准则的图像，所述图像传感器捕捉光学图像并调整至所述像平面。
2.如权利要求1所述的设备，其中所述图像具有的光学分辨率达到并且大于大约40线对/毫米或40周期数/毫米。
3.如权利要求1所述的设备，其中所述超广视场大于大约250度。
4.如权利要求1所述的设备，其中所述设备具有的光圈级数低至大约4.0或更低。
5.如权利要求1所述的设备，其中所述第二非球面反射镜和所述第三非球面反射镜的结合提供双重光学折叠以缩短所述三反射镜光学子系统沿光轴的长度。
6.如权利要求5所述的设备，其中所述三反射镜光学子系统沿光轴的长度与第一凸非球面反射镜直径的比值低至大约1. 1-1. 2或更低。
7.如权利要求1所述的设备，其中所述第一凸非球面反射镜的表面选自抛物面、双曲面、高阶抛物面以及高阶双曲面。
8.如权利要求1所述的设备，其中所述第二非球面反射镜具有的焦度选自正光焦度、 负光焦度以及零光焦度。
9.如权利要求1所述的设备，其中所述第三非球面反射镜为凹面。
10.如权利要求1所述的设备，其中所述标准光学元件为校正透镜。
11.如权利要求10所述的设备，其中所述校正透镜包括微投影透镜。
12.如权利要求10所述的设备，其中所述校正透镜包括复合透镜。
13.如权利要求12所述的设备，其中所述复合透镜包括以下一种双高斯物镜和改进的双高斯物镜。
14.如权利要求1所述的设备，所述设备还包括布置于所述像平面的数字图像传感器， 该数字图像传感器配置成接收所述像平面上所产生的图像。
15.一种将超广视场内一个或一个以上物体的图像投影至图像传感器平面的方法，所述方法包括(a)通过凸非球面反射表面反射所述超广视场内的一个或一个以上物体以提供第一虚像；(b)采用第二非球面反射镜反射所述第一虚像以形成第二图像，其中反射所述第一虚像包括对第一图像场曲和第一图像压缩中的一个或一个以上进行校正；(c)采用第三非球面反射镜反射所述第二图像以形成第三图像，其中反射所述第二图像包括对第二图像场曲和第二图像压缩中的一个或一个以上进行校正；以及(d)采用光学校正元件聚焦所述第三图像以投影光学分辨率近似等于或大于数字传感器的奈奎斯特采样准则的衍射受限图像。
16.如权利要求15所述的方法，其中所述衍射受限图像具有的剩余场曲近似平场并且对于低至4. 0或更低的光圈级数的图像传感器平面的照度基本上均勻。
17.如权利要求15所述的方法，其中聚焦所述第三图像包括校正以下一种或一种以上第三图像场曲、第三图像压缩、第三图像像散、第三图像彗形像差、第三图像三阶球面像差以及第三图像高阶球面像差组。
18.如权利要求15所述的方法，其中聚焦所述第三图像包括采用校正透镜进行聚焦。
19.如权利要求15所述的方法，其中(b)和(c)中的校正包括彼此独立地调节以下至少一种参数所述第一、第二和第三反射镜的形状、直径和焦距。
20.如权利要求15所述的方法，其中聚焦所述第三图像包括调节以下至少一种所述校正透镜的多个透镜元件中至少一个的形状、直径、焦距以及折射率。
21.如权利要求15所述的方法，其中，对于所述超广视场，所述衍射受限图像包括大约介于1. 2与1. 5之间的图像压缩系数。
22.如权利要求15所述的方法，其中，对于近似等于或超过40周期数/毫米的空间频率，所述衍射受限图像具有的多色调制传递函数(MTF)近似等于或大于大约0. 30。
23.如权利要求15所述的方法，所述方法还包括采用数字图像传感器捕捉所述衍射受限图像。
24.如权利要求23所述的方法，所述方法进一步包括采用图像处理功能处理所述捕捉的图像以进一步校正所述衍射受限图像。
25.如权利要求23所述的方法，其中捕捉所述衍射受限图像包括在以下至少一个波段中捕捉图像可见波段、紫外波段、红外波段。
26.如权利要求15所述的方法，其中所述超广视场相对于所述光轴是全向的并且正交于该光轴。
27.如权利要求26所述的方法，其中所述超广视场是沿所述光轴达到或超过大约250 度，具有中央封闭区域。
28.如权利要求27所述的方法，其中所述封闭区域的延伸不高于从所述光轴测量的大约68度。
29.如权利要求16所述的方法，其中所述低至4.0或更低的光圈级数所提供的曝光时间短得足以适应帧速率达到以及超过100帧/秒(FPS)的视频录制。
30.一种适于产生超广视场角内的物体的基本无失真的图像的设备，所述设备包括用于通过凸非球面反射表面反射所述超广视场内的一个或一个以上物体以提供第一虚像的装置；用于采用第二非球面反射镜反射所述第一虚像以形成第二图像的装置，其中反射所述第一虚像包括对第一图像场曲和第一图像压缩中的一个或一个以上进行校正；用于采用第三非球面反射镜反射所述第二图像以形成第三图像的装置，其中反射所述第二图像包括对第二图像场曲和第二图像压缩中的一个或一个以上进行校正；以及用于采用光学校正元件聚焦所述第三图像以投影出光学分辨率近似等于或大于数字传感器的奈奎斯特采样准则的衍射受限图像的装置。
31.一种捕捉超广视场的全景相机，该相机包括沿着光轴布置的凸非球面反射镜；同样沿着所述光轴布置的至少一个其他非球面反射镜；布置于像平面的图像传感器；以及光学校正元件，所述光学校正元件接收由所述凸非球面反射镜和所述至少一个其他非球面反射镜中的每一个至少反射一次的光线，在所述像平面上产生光学分辨率近似等于或超过图像传感器的奈奎斯特采样准则的图像。
32.如权利要求31所述的设备，其中所述设备具有的光圈级数低至大约4. 0或更低。
全文摘要
一种获取具有超广视场角图像的方法和系统。全景相机包括两个子系统光学子系统和图像传感器。所述光学子系统包括至少三面非球面反射镜用于产生超广视场内物体的图像。所产生的图像通过标准光学元件可校正以在像平面上产生光学分辨率大约等于或大于所述图像传感器的奈奎斯特采样准则的图像。第一反射镜采用凸的抛物面或双曲面反射镜提供清晰、压缩的虚像。第二和第三反射镜通过折叠的光学路径将光线重新导向至所述校正元件上。所述标准光学元件将虚像投影至所述图像传感器上。可使用图像处理软件来解压缩并展开所述图像传感器器捕捉到的超广角图像。
文档编号G03B35/00GK102177468SQ200980137595
公开日2011年9月7日 申请日期2009年8月13日 优先权日2008年8月14日
发明者文卡特·佩里, 谢尔盖·特鲁布科 申请人:远程保真公司