专利名称：全景视觉系统和方法
技术领域：
本发明涉及视觉系统，更具体地说，涉及一种具有图像失真校正的全景视觉系统。
背景技术：
改进的环境感知技术已越来越被许多实际应用所需求，例如，监视系统、视频会议可视系统和车辆视觉系统。这些应用的本质是需要监视一个广阔的操作区域，并构成复合图像以方便不同的用户模式理解。为了最小化摄像机数量和成本，具有全景镜头的摄像机可以拍摄到广阔的区域，但因为其固有的几何形状和光学非线性，会产生失真。在监视系统应用中，多个全景摄像头可覆盖建筑的整个外部和内部区域，并且所述系统可提供该区域的动态观测，并可手动或自动地追踪经过该区域的物体。
在车辆视觉系统中，多个全景摄像机可提供整个区域以及障碍物周围360度的观察。所述系统可将显示视角转至特定操作员模式，例如转向、倒车和车道转换以改善环境观察。车辆视觉系统的其它优点是降低后视镜造成的风阻和噪音，并通过去掉该突出的后视镜减小车辆的宽度。这些系统也能够检测移动中的物体，提供接近物体的警告，并通过多个视区追踪该物体。视觉系统也可通过各种技术显著地增强夜视能力，例如，红外线、雷达和光敏设备。
视觉系统包括一个或多个图像获取设备，连接至一个或多个可视显示单元。图像获得设备可结合具有不同的焦距和景深的不同的镜头，例如，平面镜头、全景镜头、鱼眼(fish-eye)镜头和环形镜头。鱼眼镜头和环形镜头具有广阔的视野范围和较大的景深。它们可以抓取宽且深的视野范围。然而，它们可能使图像失真，特别是边沿部分，使得图像看起来不成比例。在任何类型的镜头中，也有因镜头切向和径向的非理想性、镜头偏置、镜头焦距和镜头外部附近的光分散导致的光学失真。在视觉系统中，还有因亮度变化和色像差导致的其它类型的图像失真。这些失真影响图像的质量和清晰度。
现有全景视觉系统在正确地混合多个图像的同时，未消除图像失真。美国专利6,498,620 B2便公开了这样一种全景系统，名称为“车辆后视系统”。这个系统由图像抓取设备、图像合成器和显示系统组成。无论是该专利还是本申请引用的任何文献中，都没有提供用于校正几何、光学、颜色失常和亮度图像失真的电子图像处理系统。公开号为2003/0103141A1的美国专利申请描述了一种车辆视觉系统，仅包括有以预校准为基础的亮度校正，不包括其它光学和几何校正。
失真的图像和多个图像之间的不连续性降低了操作员的视觉认知速度，并因此，他/她的环境认知可能会产生错误。这是启动有效全景视觉系统的重要阻碍之一。因此需要通过消除几何、光学、颜色失常、亮度和其它失真并提供多个视角的合成图像，提供能准确呈现周围环境的全景视觉系统。这种校正可帮助目视观察和识别，并改善可视图像质量。
发明内容
本发明的一方面提供一种具有相关的摄像机、显示光学器件和几何特性的全景视觉系统，所述系统包括(a)多个图像获取设备，从场景中抓取图像帧数据，并产生图像感应器输入，所述图像帧数据共同地覆盖最高360°范围的视野，所述图像获得设备具有几何和光学失真参数；(b)数字转换器，连接至所述多个图像获取设备以对所述图像帧数据和图像感应器输入采样并转换为数字图像数据；(c)图像处理器，连接至所述数字转换器，所述图像处理器包括(i)图像测量设备，用以接收所述数字图像数据并测量所述数字图像数据的图像亮度和环境光照度级别；(ii)亮度校正模块，连接至所述图像测量设备以接收所述数字图像数据以及所述摄像机、显示光学器件和几何特性、所述图像亮度和环境光照度级别，并校正亮度不均性，优化所述数字图像数据中选择区域的亮度范围；(iii)卷积级，连接至所述亮度校正模块以组合所述几何和光学失真参数以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显示光学器件和几何特性以及与之相关的非理想性；(iv)失真校正模块，连接至所述卷积级以对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图像数据；(v)显示控制器，连接至所述失真校正模块以根据所述经校正的数字图像数据组成合成图像；以及(d)显示器系统，连接至所述图像处理器以在观察表面显示所述合成图像以供观察，所述合成图像无视觉失真。
另一方面，本发明提供一种使用具有相关的摄像机、显示光学器件和几何特性以及几何和光学失真参数的全景视觉系统生成覆盖最高360°或4π立体弧度范围的合成图像以提供全景观察的方法，所述方法包括(a)从场景中获取图像帧数据，所述图像帧数据共同覆盖最高360°或4π立体弧度的视野范围，并产生一组图像感应器输入；(b)转换所述图像帧数据和图像感应器输入为数字图像数据，所述数字图像数据与图像亮度和环境光照度级别相关；(c)获取所述摄像机、显示光学器件和几何特性、所述图像亮度和环境光照度级别，并校正亮度不均性以优化所述数字图像数据中选择区域的亮度范围；(d)对所述几何和光学失真参数进行卷积处理以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显示光学器件和几何特性及与之相关的非理想性；(e)对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图像数据；
(f)根据所述经校正的数字图像数据组成合成图像；以及(g)在观察表面显示所述合成图像以供观察，所述合成图像无视觉失真。
在另一方面，本发明提供一种图像处理器，用于具有相关的摄像机、显示光学器件和几何特性以及几何和光学失真参数的全景视觉系统，所述全景视觉系统使用多个图像获取设备以从场景中抓取图像帧并生成数字图像数据和图像感应器输入，并使用数字转换器以转换所述数字图像数据和图像感应器输入为数字图像数据，所述图像处理器包括(a)图像测量设备，用以接收所述数字图像数据并测量所述数字图像数据的图像亮度和环境光照度级别；(b)亮度校正模块，连接至所述图像测量设备以接收所述数字图像数据以及所述摄像机、显示光学器件和几何特性、所述图像亮度和环境光照度级别，并校正亮度不均性，优化所述数字图像数据中选择区域的亮度范围；(c)卷积级，连接至所述亮度校正模块以组合所述几何和光学失真参数以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显示光学器件和几何特性以及与之相关的非理想性；(d)失真校正模块，连接至所述卷积级以对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图像数据；以及(e)显示控制器，连接至所述失真校正模块以根据所述经校正的数字图像数据组成合成图像。
在本发明的第一实施例中，提供了一种车辆视觉系统，覆盖高达360°的水平视野范围以及高达180°的垂直视野范围，重点在车的后部、两侧和角落的观察。所述环境显示图像可与其他车辆信息数据例如车辆状态或导航数据相结合。图像首选显示在前控制面板上，接近驾驶员的视野范围。还可显示附加的观察图像以改善覆盖性和灵活性，例如，替代后视镜的内部仪表板(dashboard)角落显示器，可消除外部部件的突起和风阻。当一个视图比其它的视图更重要时，所述系统适用于再配置显示器并基于控制输入在各视图之间切换。
例如，在倒车时，显示器重新设置以显示车尾交广范围内的图像；或者，右转灯打开且车辆在较高速度行驶时，显示右侧的图像；或者在右转灯打开，车辆停止或低速行驶时，显示右侧拐角的图像。在优选实施例中，所述系统提供相关帮助，用作停车助手，或通过对路边线、车道和物体的识别提供车道变线警告，以及确定距离。
在另一个实施例中，本发明提供一种监测系统，覆盖某一结构(例如建筑物、桥梁等)内部和/或外部高达360°的水平范围以及高达180°的垂直视野范围。所述系统可提供多个经失真校正后的图像以产生连续图像带或扫描全景视图。所述系统可执行动态检测和监测范围内的物体追踪，以及物体识别以识别出人、车辆等。
在另一个实施例中，本发明提供一种视频会议视觉系统，产生宽达180°或环形360°的广阔视野。在这个实施例中，本发明帮助观察会议或聚会的参与者，并使用一个摄像机提供镜头拉近发言者的功能。
本发明实施例的各种细节以及本发明的优点将通过下面的描述和附图展示。
附图中图1是本发明视觉系统及其内置的部件的整体视图；图2A是图1中作为视觉系统一部分的图像处理器的结构示意图；图2B是图1中图像处理器的逻辑流程图；图3A是具有后视镜用于两侧和尾部观察的传统车辆的示意图；图3B是车辆视觉系统实施例中摄像机的设置及其观察范围的示意图；图3C是车辆视觉系统实施例中选择的摄像机观察范围的示意图；图4A是车辆视觉系统实施例中视觉系统显示器的观察表面的示意图；图4B是车辆视觉系统实施例中右转指示灯打开时图4A所示相同的观察表面的示意图；图5A是车辆视觉系统实施例中视觉系统显示器的观察表面的可选择的大视野范围的示意图；图5B是车辆倒车时图5A中的观察表面经重新设置后的示意图；图6A是车辆变线时经重新设置的显示器的示意图；图6B是车辆右转且驾驶员视野不清楚时经重新设置的显示器的示意图；图7是显示车辆和临近物体的俯视图；图8是车辆视觉系统中的控制输入的一个示例的示意图；图9A是视频会议视觉系统实施例中设置在会议桌中央的半球形、180°(2π的弧度)视野的摄像机的示意图；图9B是视频会议视觉系统实施例的显示器的示意图；图10是走廊或建筑墙上安装有两个摄像机作为监视系统实施例的一部分的示意图；图11A是本发明监视系统实施例的显示器的示意图；图11B是图9A中同一显示器在稍后时间的示意图。
具体实施例方式
图1展示了根据本发明建立的视觉系统100的整体结构，其包括多个图像获取设备如像摄像机110用以抓取图像帧，数字转换器118用以转换图像帧数据为数字图像数据，图像处理器200用以调整亮度并校正图像失真并根据数字图像数据和控制参数构成合成图像，控制器101用以传递用户和感应器参数至图像处理器200，以及显示设备120用以在观察表面160上显示合成的图像以供观察。本发明最终合成的图像覆盖高达360°，包括多个感兴趣的特定区域，并且无失真。这一系统很大程度上增强了环境认知性。
图1中的摄像机110包括图像光学器件112、感应器阵列114和图像抓取控制器116。对于需要较广区域覆盖的应用，图像光学器件112可使用广角镜头以最小化需要的摄像机的数量。广角镜头也具有较大的景深，降低聚焦的调整及其成本。这种镜头一般具有超过100°的视野范围，景深从几英尺到无限远。这些属性均使得所述镜头正是全景视觉系统所需要的。广角镜头具有较大的光学失真，光学地校正非常难并且成本很高。在本发明中，使用电子校正来补偿任何光学和几何失真，以及光学或投影路径中任何其它的非线性和非理想性。
在本发明中，摄像机镜头不需要完美或产生完美的图像。所有的图像失真，包括镜头几何结构或非理想性导致的图像失真，均被数学模拟和电子校正。这一特征的重要性在于其可允许用户使用便宜的可扩展景深的广角镜头。这类镜头的缺点是会产生图像失真和亮度不均；这类镜头会拉伸物体，特别是靠近取景范围的边缘处。这个效果是众所周知的，例如，鱼眼或环形镜头便是如此。它们使得物体看起来不成比例。有大量的光学解决方案可用于补偿这些失真。然而，附加大量光学器件将使得所述设备更大、更重和更贵。大量光学器件的成本由人工成本决定，例如，磨光、对准等。但是电子元件变得较便宜且更有效。众所周知，光学器件不可能完全消除某些失真。
光学器件解决方案的另一个缺点是对对准的敏感度以及碰撞后导致的功能故障。因此，非常需要电子图像校正以使得视觉系统表示真实的设置，在使其性能优良的同时，价格也相对低。这在视觉系统中得到证实，电子元件是最可能被需要以完成其它任务。这些任务包括全景转换和显示器控制。稍后将描述的图像处理器200提供了这些基本的功能。
图像感应器阵列114设置在摄像机110内。该感应器阵列适用于缓和通过摄像机系统的取景范围的光强度的极剧变化。对于有效工作在不同光照情况下的视觉系统，需要很大的动态范围。这个动态范围要求源于从白天到晚上环境光照强度的变化，以及夜晚偶然的光源引起的变化。摄像机感应器基本上是多个镶嵌的片段，每个片段从取景范围内一部分接收光线，记录光线强度作为电压输出。图像抓取控制器116发送图像帧强度信息，并基于这些数据，从图像处理器200接收命令以用于合成优化、镜头光圈控制和白平衡控制。
数字转换器118从图像抓取控制器116接收数据，并转换这些数据为数字图像数据。在另一个实施例中，数字转换器118的功能可集成在图像感应器114或图像处理器200中。在存在音频数据获取的情况下，数字转换器118从音频设备阵列117接收音频数据。随后产生数字音频数据并将之与数字图像数据合并。然后将数字图像数据发送至图像处理器200。
图2A展示图像处理器200的细节。该图像处理器的功能是接收数字图像数据、测量图像统计值、增强图像质量、补偿亮度不均和校正这些数据中的各种失真，以最终产生一个或多个无失真的合成图像。该图像处理器包括光学和几何数据接口236，其包括摄像机光学数据、投影光学数据和投影几何数据，以及控制数据接口202、图像测量模块210、亮度校正模块220、失真卷积级250、失真校正模块260和显示器控制器280。为了理解图像处理器200的功能，简单的讨论这些失真的特性和原因是重要的。
周围环境光线和点光源可导致亮度级别的极剧变化，从而产生较差的图像质量并使图像元素难以识别。在本发明中，图像处理器200测量全部的和选择的图像区域，并分析它们以控制曝光以在感兴趣的区域获得最佳图像质量。高亮度光源例如前灯和聚光灯的强度被充分地降低，而低亮度物体的细节得到增强以利于元素的识别。
图像感应器可以是任何类型和任何分辨率的感应器，本发明的实施例中，高分辨率固态CCD或CMOS图像感应器在大小、成本、集成度和灵活性方面都是恰当的。典型的应用包括通过光圈控制和积分时间(integration time)调整至变化范围广的环境光线级别。除了光圈控制和积分时间控制，亮度校正模块220对感兴趣的区域执行柱状图分析，扩大低光照度区域的对比度并降低高光照度区域的对比度以提供增强的图像元素识别。
亮度不均是图像中不想要的亮度变化。造成亮度不均的主要物理原因是穿过光学系统不同部分的光线经过不同的距离和区域密度。光线的强度的衰减与其经过的距离的平方成比例。这种现象既发生在摄像机光学器件中，也发生在显示器光学器件中。除了这些纯物理原因外，光学系统的非理想性也导致亮度不均。所述非理想性的例子是投影镜头的虚影和侧面起伏，以及产生的投影光线的不一致性。如果亮度变化对于3个不同的颜色成分不同，便称为色度不一致。
另一种类型的光学失真是色像差。它源于光学元件例如镜头对于不同的波长具有不同的折射率。通过光学元件传播的光线根据不同的波长以不同的角度折射。这使得图像中颜色发生横向偏移。横向色像差导致点目标的不同颜色成分分离和扩散。在观察表面上一个点目标看起来带有毛边。另一种类型的色像差实质上是轴向的，因镜头对不同的光线波长具有不同的焦点而产生。这种类型的色像差不能通过电子校正方法校正。
视觉系统种可能会出现各种其它的失真。镜头切向或径向的非理想性、镜头偏置、投影器非理想性以及因偏轴投影引起的梯形失真是一些常见的失真。
除了上述的失真外，图像处理器200将捕捉到的场景映射在具有特定特性的观察表面，例如，形状、大小和屏幕高宽比。例如，图像可由捕捉的场景的不同部分构成，并投影到车辆的挡风玻璃的一部分上，在这种情况中，因为观察表面的非平面形状以及特定的大小，会出现失真。本发明中的图像处理器校正所有这些失真，如下将给出描述。
参照图2A中的图像处理器200的细节，数字图像数据由图像测量模块210接收，在此将测得感兴趣的区域的图像的对比度和亮度柱状图。这些柱状图由亮度校正模块220进行分析以控制感应器曝光度，并调整数字图像数据以改善图像内容，用于观察和检测。某些调整包括高亮度压缩、扩大对比度、增强细节和降低噪音。
连同这些测量信息一起，亮度校正模块220从光学和几何数据接口236接收摄像机和投影光学数据。这些数据根据光学元件的精确光线传播计算和校准来确定。这些数据对于亮度校正是很重要的，因为它们提供了通过摄像机和投影系统的不同光线的光学路径长度。分离或组合的摄像机和投影校正图被生成以计算每个象素的校正。
该校正图可离线获得，或者可根据环境动态地计算出。因此亮度校正模块220的功能是接收数字图像数据并产生亮度已调整的数字图像数据。在色度不一致的情况下，亮度校正模块220首选分别对三个不同的颜色成分应用亮度校正。亮度校正模块的物理实现可以是软件程序或专用的处理电路，例如数字信号处理器或集成电路中的计算逻辑。
亮度已调整的图像数据应该进行几何、光学和其它空间失真的校正。这些失真称作“扭曲(warp)”校正，并且这种校正技术在本说明书中被称作“图像扭曲”。图像扭曲的相关介绍可以在George Wolberg所著的《数字图像扭曲》(George Wolberg，Digital Image Warping，IEEE Computer Society Press，1998)中找到，本申请在此引用其相关内容。
图像扭曲基本上是坐标转换、映射输出象素至输入象素的有效参数表示。理想情况下，一个网格点数据集表示每个输出象素至输入象素的映射。然而，因为查找表的剪切尺寸，网格点数据表示相对于硬件实现是相当不能原谅的。本发明中，图像扭曲技术提供一种有效的方法以通过一些参数来表示象素网格点数据集。在一个实施例中，这些参数表示由n次多项式完成，n由组合失真的复杂程度决定。
在本发明的另一个实施例中，输出空间的不同区域被分为具有内在几何属性的多个小片，以降低多项式的次数。原理上，该小片的数量越大且适于每个小片的多项式次数越高，网格点数据集的参数化就越准确。然而，在实时应用中，这需要与处理能力相平衡。所述扭曲图因此表示输出象素至输入象素的映射，表示摄像机光学、显示器光学和显示器几何特性，包括最终合成的图像的规格和观察表面的形状特性。此外，任何控制参数，包括用户输入参数，也与上述参数组合，并表示在一次转换中。
除了坐标转换以外，通常还需要采样或滤波功能。一旦输出图像数据被映射到输入象素上，输入象素周围的区域被指定用于滤波。这个区域称作滤波器覆盖区域(filter footprint)。滤波基本上是一个加权平均函数，基于覆盖区域内所有的象素获得输出象素的颜色成分的强度。在特定的例子中，各向异性椭圆形覆盖区域被用于获得最优图像质量。众所周知，覆盖区域面积越大，输出图像的质量越高。图像处理200在本发明中执行坐标转换的同时执行图像滤波。
为了校正图像失真，上述所有几何和光学失真参数在失真卷积级250被组合在一起，用于不同的颜色成分。这些参数包括通过光学和几何接口236得到的摄像机光学数据、投影光学数据、投影几何数据，以通过控制接口202得到的控制输入。这些组合在一起的光学和几何失真参数随后由失真校正模块260获得。这个模块的功能是将场景中每个元素的位置、形状和颜色强度转换到显示象素上。观察表面160的形状也包括在投影几何数据234内。该表面不需要是平面的，可以是任何常规的形状，只要获得表面图(surface map)并且与其它失真参数组合。所述显示器表面图(display surface map)与剩余的失真数据进行卷积处理。
在本发明的一个实施例中，失真校正模块260获得覆盖整个失真参数空间的扭曲图(warp map)。该处理在美国专利申请No.2003/0020732-A1和No.2003/0043303-A1中给出了详细的解释，在此引用其相关内容。对于每组失真参数，将计算出转换，以补偿图像在通过摄像机光学器件、显示器光学器件传播至特定形状的观察表面160上时所产生的失真。失真参数组的形成和转换计算可离线完成，并存储在存储器中以供图像处理器200通过接口访问。在参数变化的情况中，也可至少部分动态地完成。
显示器图像可由视窗组成，该视窗可以是独立的图像或彼此级联的图像。对于每个视窗，失真校正模块260从扭曲表面等式中添加并计算空间转换和滤波参数，并执行图像转换以便显示。
对于每个图像帧，失真校正模块260首先在失真参数空间中找出最接近的网格数据点。随后失真校正模块260添加对应该组参数的现有转换以匹配实际的失真参数。校正模块260随后对数字图像数据应用该转换以补偿所有失真。来自每个摄像机的每个帧的数字图像数据被组合以构成符合观察表面及其子结构的合成图像。对应的数字数据经过校正后，当图像形成在观察表面上时，没有看得见的失真并且适配观察表面上的最优观察区域。失真校正模块260的物理实现可以是通用数字信号处理器内的软件程序，或专用的处理电路，例如专用集成电路。图像处理器200的物理实例结合在Silicon Optix公司的sxW1和REON芯片内。
图2B是本发明一个实例中图像处理器200的逻辑流程图。这个流程图中的数字数据流用粗线表示，而计算的数据流用细线表示。如图中所示，亮度和对比度柱状图在步骤(10)从数字数据中测得。摄像机光学、显示器光学和显示器几何参数在步骤(14)和(16)中获得。这些数据随后与亮度和对比度柱状图一起在步骤(20)获得，在此图像亮度的不均被调整。来自步骤(14)和(16)的光学和几何数据，以及步骤(26)获得的控制参数，随后在步骤(30)中收集。在这个步骤，所有失真参数被合并。转化失真效果的转换在步骤(40)被计算出。这个补偿转换随后应用于步骤(20)中获得的经亮度调整的数字图像数据。
如前所述，为了较高的图像质量，象素数据在这个步骤被过滤。因此，步骤(50)中同时进行坐标转换和图像处理。在步骤(50)，失真补偿后的数字图像数据用于生成合成图像用于显示。
一个帧的数字图像数据被处理和合成后，显示器控制器280根据这些数据产生图像。在本发明的一个实施例中，所述图像形成在显示设备120上，显示设备120可以是直接可视显示器或投影显示设备。在一个实施例中，来自投影显示设备120的图像通过显示光学器件122投影在观察表面160上。显示光学器件122是大量光学元件，用以将投影光线从显示设备120引导至观察表面160上。任何特定的显示器系统都具有额外的光学和几何失真，需要进行校正。在这个例子中，图像处理器200将这些失真合并并校正合并后的失真。
需要注意的是，本发明不限于任何特定显示器系统的选择；该显示设备可以是液晶、发光二极管、阴极射线管、电致发光管、等离子显示器或任何其它可视显示设备。该显示设备可以是可直接观看的，或者可以通过显示光学器件投影在集成的板上，用作观察屏幕。首选地，显示器系统的亮度通过环境光感应器、单独的信号和用户调光开关来调整。该观察表面的大小最好可由用户根据例如离操作员眼睛离屏幕的距离进行调整。
控制器101与图像处理器200连接。控制器101从用户接口150获取用户参数，从感应器194获取输入，并将之发送至图像处理器200用于显示器控制。本发明不同的实施例的应用对应的用户参数是特定的。感应器194优选包括环境光感应器和直接闪光感应器。来自这些感应器的数据用于显示器调整。将控制参数与其它参数进行卷积处理，可提供想要的图像。
对于本发明的某些应用，可能需要记录数据流或通过网络发送其至不同的客户端。在这两种情况下，首先需要且必需压缩视频数据流以达到存储和带宽限度。在一个例子中，压缩级132从图像处理器200接收视频流，并压缩该数字视频数据。压缩后的数据存储在记录设备142中以供将来使用。在另一个实施例中，数据在编码级134中进行编码，并通过网络接口144发送至网络上。
在详细解释了本发明的一般性特征后，以下将介绍视觉系统100的多个实施例。在一个实施例中，本发明提供一种车辆视觉系统。图3A展示了一种现有的汽车900，具有两个侧面后视镜和一个车内后视镜，覆盖右侧视野902、左测视野904和后部视野906。众所周知，传统的后视镜位置和视野范围导致出现盲点，并因为较宽的视角而可能具有失真。从这三个镜子提供的图像很难得到完整的周围环境认知。
在本发明的一个例子中，如图3B所示，汽车900’配备有设置在驾驶员座位前面的摄像机110’和摄像机111’。这些位置通过与驾驶员的直接视觉范围重叠来增加覆盖范围。这个例子中的摄像机113’位于汽车尾部或车顶后部的中间。通过选择不同视野范围的特定区域可以提供不重叠的连续图像。这可防止驾驶员出现混淆。
在图3C展示的另一个例子中，汽车900”在车头的两个拐角设有摄像机110”和摄像机111”，并在汽车尾部的中间位置设有摄像机113”。在这个例子中，重点是根据用户输入或控制参数可调节视野范围。例如，在转向指示灯打开时，转向侧面视野903”可用。需要注意的是，这个视野的覆盖范围是用户输入的函数，并且在原理上，覆盖虚线内的整个区域。同样，驾驶侧面视野905”用于普通驾驶模式，它也可扩展为覆盖虚线内的整个区域。本例子中的后部视野根据控制参数具有两种模式。在倒车时，显示倒车后部视野907”。这个视野能完全覆盖汽车后部，包括路面上的物体。这确保安全倒车并大大方便了并排停车。然而，汽车在驾驶模式时，使用较窄的驾驶后部视野906”。这些位置和角度确保驾驶员可以得到汽车外部附近的视图。这个例子大大方便了并排停车和变道。
图4A是驾驶员见到的观察表面160的一个示例的示意图。后部视野图像166在观察表面的底部，右侧视野图像162和左侧视野图像164分别位于观察表面160的右上部和左上部。图5A展示了使用较宽显示器的观察表面160’的一个例子，其中侧面视野显示位于后部视野图像166’的两边。图像处理器200具有全景转换和图像缝合功能以合成这种特殊的显示。图4B和图5B分别展示了在汽车右转或倒车时，重新设置后的图4A和图5A的显示器的示例。
图6A是在汽车变线、换到右车道时重新设置的显示器的观察表面160的示意图。在这个例子中，汽车右前方和后方完全可视，从而可以知道汽车右侧的所有物体。图6B是右转指示灯打开时重新设置以用于右转的显示器的示意图。图3C中的转向侧面视野903”现在显示在显示器的中上部，即转向侧面视野163”。后部视野166”和右侧视野166”显示在显示器的底部。
图7展示了观察表面160的另一个例子。显示器的这一特定设置通过从图像获取设备收集可视信息以及从集成在视觉系统100内的超声波和雷达感应器确定距离来实现。在这个展示的例子中，黑粗线且有灰色阴影的汽车设有视觉系统100，并示出了周围的设置，即其它车辆。本发明的这个实施例很大程度上改善环境认知并帮助有助于驾驶汽车。每个物体的二维影像由摄像机直接抓取。这些车辆和物体的形状和大小通过根据车道和路边的大小和形状推断摄像机的图像来重新建立。通过模式识别和数据库中特定物体的查找表可以重新建立驾驶场景的更精确的图像。
需要注意的是，本发明不限于这些展示的实施例；摄像机数量和位置的变化以及观察表面的重新设置均落入本发明的范围。投影几何数据、投影光学数据和摄像机光学数据覆盖图像处理器200中所有这些可选的实施例。
优选地，显示器亮度可通过环境光感应器进行调整，通过来自车头灯的信号进行调整，或通过手动调光开关进行调整。此外，优选地，显示器表面的大小也可通过驾驶员调整。此外，显示器图像的焦距最好在驾驶员焦距范围内，如美国专利5,949,331所述，在此引用该专利的相关内容。然而，显示器系统焦距最好可根据车辆的速度调整以确保图像永远在驾驶员的景深范围内。在较高的速度，驾驶员自然地关注较远的距离。这种调整通过速度表信号156或传输信号154实现。
图6展示了车辆视觉系统中用户输入150的一个例子。信号接口151从不同的部件接收信号，并与控制器101连接。例如，在右转时转向指示灯152打开，传送一个信号给信号接口151，并传送到控制器101上，最后传送到图像处理器200。一旦图像处理器200接收到这个信号后，图像处理器配置显示器，以在观察表面160上强调右侧显示图像162。图4B展示了这种情况下的观察屏幕160。右侧视野图像现在占据了观察表面160的一半，另一办用于后部视野图像166。图5B展示了使用宽观察表面的实施例的相同情况。其它的信号引起其它的功能。
例如，在停车时，传输首选产生信号以强调后部视野。其它信号包括当方向盘向一侧转动超过一个预设限度时发出的转向信号，刹车踏板被踩下时的刹车信号，传送有关行驶速度和方法的信息的传输信号，以及速度表信号，在测量不同速度下输入不同信号。在本发明中，所述显示器系统，依据任何这些控制参数调整至不同的情况，并自动重新设置以使关键的图像可用。图像处理器200可结合使用各种控制信号，在此我们仅提到了几个例子。
各种有用的信息可显示在观察表面160上，包括公路图、路边信息、6PS信息和当地天气预报。视觉系统100通过下载的文件或通过驾驶员请求的无线通信访问这些数据。随后视觉系统100将这些数据叠加在图像帧数据上以合成显示器系统显示的图像。重要的警告系统也首选由该视觉系统接收，并通过显示器系统显示出来和通过音频信号接口进行广播。视觉系统100也可通过交换图像数据信息与高速公路驾驶系统集成。视觉系统100还可与距离确定器和目标识别器集成，美国专利6,498,620 B2中有相关介绍，在此由本申请引用。
在本发明的一个实施例中，车辆视觉系统100包括有压缩级132和记录设备142以建立摄像机和音频设备检测的事件的连续记录。这些特征结合的功能可保存除驾驶员想要记录的事件外在撞击前和撞击后的特定片段，以供在事故例如车祸、车辆胁持和交通违例之后进行重放。这些信息可由执法机关、司法机关和保险公司使用。
在一个不同的实施例中，本发明提供一种视频会议视觉系统，根据给定的设置可覆盖高达180°或360°的视野范围。在这个实施例中，音频信号和视频信号均需要。在图1展示的视觉系统100中，除了来自摄像机的视频输入外，音频设备阵列117提供音频输入。音频信号数据通过数字转换器118转换为数字数据，并叠加在数字图像帧数据上。该系统提供有图像移位功能，基于音频信号的三角测量扫视各个发言者和提问者。该扫视和缩放功能由图像处理器200提供。在缺乏光学缩放的情况下，提供数字缩放。
图7A涉及视频会议系统的一个例子。图中所示的摄像机110位于会议桌的中央。在这个特定的例子中，摄像机110具有半球形镜头系统并抓取桌面及其上方的所有东西。原始图像是颠倒的、被拉伸且不成比例。然而，观察表面160上显示的图像是无失真和经过全景转换的。
图7B展示了观察表面160，其中发言者的图像被放大，而与会的其它人在同一观察表面以直线方式显示。
在另一个实施例中，本发明提供了一种具有运动检测和目标识别的监视系统。图2A展示了图像处理器200的一个例子，用于监视系统。运动检测器270评估连续输入的图像帧，并基于预设的检测运动级别和信号警报，发送运动区域坐标至失真卷积级250。输入的图像帧用于监控当前视窗外的区域。追踪的坐标由失真卷积级250用于计算视窗以显示检测到的目标经校正后的图像。已校正失真的目标图像可通过对目标的运动补偿和时间内插(temporalinterpolation)增强分辨率。该系统还可执行目标识别和分类。
图8展示了监视系统的一个例子。摄像机110和111设置在走廊内，安装在走廊内的墙上。这两个摄像机监控走廊内的交通。这个实施例中的图像处理器200使用运动监测器和追踪器270追踪某目标经过走廊时的移动。这个例子中的特定时间的观察表面160如图9A所示，稍后时间的观察表面160如图9B所示。当目标在视野内从一个摄像机移动至另一个摄像机时，该目标通过的全程被抓取。该视觉系统还可执行对分辨率的增强，通过时间抽取(temporalextraction)改善目标的细节和识别，并在图9A和图9B的图像顶端显示它。附图中的顶端部分提供了移动目标的全分辨率图像或对移动目标进行数字缩放。目标的识别和追踪通过一帧接一帧的比较运动中的被检测目标来实现。轮廓线突出被追踪目标以便于识别。
权利要求
1.一种具有相关的摄像机、显示光学器件和几何特性的全景视觉系统，其特征在于，所述系统包括(a)多个图像获取设备，从场景中抓取图像帧数据，并产生图像感应器输入，所述图像帧数据共同地覆盖最高360°范围的视野，所述图像获得设备具有几何和光学失真参数；(b)数字转换器，连接至所述多个图像获取设备以对所述图像帧数据和图像感应器输入采样并转换为数字图像数据；(c)图像处理器，连接至所述数字转换器，所述图像处理器包括(i)图像测量设备，用以接收所述数字图像数据并测量所述数字图像数据的图像亮度和环境光照度级别；(ii)亮度校正模块，连接至所述图像测量设备以接收所述数字图像数据以及所述摄像机、显示光学器件和几何特性、所述图像亮度和环境光照度级别，并校正亮度不均性，优化所述数字图像数据中选择区域的亮度范围；(iii)卷积级，连接至所述亮度校正模块以组合所述几何和光学失真参数以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显示光学器件和几何特性以及与之相关的非理想性；(iv)失真校正模块，连接至所述卷积级以对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图像数据；(v)显示控制器，连接至所述失真校正模块以根据所述经校正的数字图像数据组成合成图像；以及(d)显示器系统，连接至所述图像处理器以在观察表面显示所述合成图像以供观察，所述合成图像无视觉失真。
2.根据权利要求1所述的系统，其特征在于，所述图像处理器适用于单独处理数字图像数据的红、绿和蓝成分以校正横向色像差和失真。
3.根据权利要求2所述的全景视觉系统，其特征在于，所述亮度校正模块单独处理红、绿和蓝成分以校正色度不一致。
4.根据权利要求1所述的全景视觉系统，其特征在于，所述多个图像获取设备和所述数字转换器由多个数字摄像机实现。
5.根据权利要求3所述的全景视觉系统，其特征在于，所述显示器系统是光投影系统，其中所述几何和光学失真参数被合并以预校正相关的几何和光学失真。
6.根据权利要求3所述的全景视觉系统，其特征在于，进一步包括至少一个环境光感应器、至少一个灯光信号和至少一个用户调光开关，其中所述显示器系统的亮度根据所述环境光感应器、单独的灯光信号和用户调光开关中至少其一进行调整。
7.根据权利要求3所述的全景视觉系统，其特征在于，进一步包括控制器，其中所述数控制器用于传送一组用户参数至所述全景视觉系统以基于选择的一组观察功能和参数将所述用户参数与失真参数合并。
8.根据权利要求3所述的全景视觉系统，其特征在于，进一步包括连接至所述图像处理器的控制接口，用于接收和传送用户输入和控制参数。
9.根据权利要求3所述的全景视觉系统，其特征在于，其中所述图像处理器进一步用于发送曝光控制命令至所述图像获取设备以用于光圈和曝光时间控制。
10.根据权利要求3所述的全景视觉系统，其特征在于，进一步包括观察表面，其中所述观察表面上的合成图像的位置和大小可根据一组用户输入进行调整。
11.根据权利要求3所述的全景视觉系统，其特征在于，所述系统为车辆视觉系统。
12.根据权利要求11所述的全景视觉系统，其特征在于，所述显示器系统用于形成车辆内驾驶员视野范围前方的合成图像，即下述组中至少一个仪表板、挡风玻璃、车顶和汽车仪表板。
13.根据权利要求12所述的全景视觉系统，其特征在于，所述显示器系统用于形成挡风玻璃和仪表板内角的两个观察表面上的合成图像以模拟车辆两侧的后视镜。
14.根据权利要求11所述的全景视觉系统，其特征在于，所述合成图像的焦点位于车辆内驾驶员的焦距前方。
15.根据权利要求11所述的全景视觉系统，其特征在于，所述显示器系统的焦点实际上是无限的。
16.根据权利要求11所述的全景视觉系统，其特征在于，所述车辆视觉系统在多个设置中根据下述组中的输入重新设置转向信号、传输系统、刹车系统、方向盘系统和速度表。
17.根据权利要求16所述的全景视觉系统，其特征在于，当车辆转向信号设置为右转时，所述显示器系统增强车辆的右侧视野；当车辆转向信号设置为左转时，增强车辆的左侧视野。
18.根据权利要求16所述的全景视觉系统，其特征在于，当车辆方向向右转超过预设的角度时，所述显示器系统增强车辆的右侧视野，当车辆方向盘向左转超过预设的角度时，增强车辆的左侧视野。
19.根据权利要求16所述的全景视觉系统，其特征在于，在车辆倒车时，所述显示器系统增强车辆后部视野。
20.根据权利要求16所述的全景视觉系统，其特征在于，如果驾驶员的直接视野被临近物体遮掩时，所述视觉系统增强车辆前方和后方拐角处的至少一个视野。
21.根据权利要求20所述的全景视觉系统，其特征在于，进一步包括至少一个激光感应器和雷达感应器，并且其中所述图像处理器进一步使用所述感应器检测车外表面和某一目标之间的距离，并在车外表面和所述目标之间的距离落入车辆速度所定义的限度时，提供音频和视频警告。
22.根据权利要求21所述的全景视觉系统，其特征在于，所述显示器系统经过配置后通过摄像机捕捉二维图像以及根据车道和路边模式和物体查找数据库推断出三维图像，显示车辆及其周围的设置的俯视图。
23.根据权利要求20所述的全景视觉系统，其特征在于，所述图像处理器进一步用于检测路面、车道和路边标记中的至少一个，并在车辆外表面接近所述边沿标记时提供音频和视觉警告。
24.根据权利要求23所述的全景视觉系统，其特征在于，所述图像处理器进一步用于检测指定区域的位置，并在显示器系统上提供方向指示以引导车辆移动到所述指定区域。
25.根据权利要求11所述的全景视觉系统，其特征在于，进一步包括下述组中至少一个环境光感应器、来车头灯感应器和驾驶员调光开关，并且其中所述显示器系统的亮度和对比度根据所述环境光感应器、来车头灯感应器和驾驶员调光开关中至少一个的读数进行调整。
26.根据权利要求11所述的全景视觉系统，其特征在于，进一步包括安全黑盒设备和用于记录触发器被激活的时间段前后的所有数字图像数据的触发器设备，所述触发器可由下述组中至少一个激活用户、碰撞、胁持和盗窃。
27.根据权利要求11所述的全景视觉系统，其特征在于，进一步包括集成的GPS导航单元，其将公路图和路边信息显示在所述显示器系统上。
28.根据权利要求3所述的全景视觉系统，其特征在于，进一步包括多个监视感应器，所述系统用作监视视觉系统。
29.根据权利要求28所述的全景视觉系统，其特征在于，所述图像处理器进一步使用所述监视感应器执行运动检测和目标追踪。
30.根据权利要求28所述的全景视觉系统，其特征在于，在所述监视感应器检测到运动后，所述图像处理器提供一组视频和音频信号。
31.根据权利要求26所述的全景视觉系统，其特征在于，所述图像处理器进一步定义一组指定的保护区域，追踪多个目标，并在有目标进入所述指定保护区时产生音频和视频报警，并且在有目标进入所述指定保护区域时，所述显示器系统被重新设置以突出显示所述目标。
32.根据权利要求3所述的全景视觉系统，其特征在于，进一步包括一组音频感应器，并且所述数字转换器进一步转换音频感应器输入为数字音频数据，所述系统用作视频会议视觉系统。
33.根据权利要求32所述的全景视觉系统，其特征在于，所述图像处理器和所述显示器系统进一步根据视频会议用户产生的音频信号的强度和方向，产生并显示缩放的视频会议用户图像。
34.一种使用具有相关的摄像机、显示光学器件和几何特性以及几何和光学失真参数的全景视觉系统生成覆盖最高360°或4π立体弧度范围的合成图像以提供全景观察的方法，其特征在于，所述方法包括(a)从场景中获取图像帧数据，所述图像帧数据共同覆盖最高360°或4π立体弧度的视野范围，并产生一组图像感应器输入；(b)转换所述图像帧数据和图像感应器输入为数字图像数据，所述数字图像数据与图像亮度和环境光照度级别相关；(c)获取所述摄像机、显示光学器件和几何特性、所述图像亮度和环境光照度级别，并校正亮度不均性以优化所述数字图像数据中选择区域的亮度范围；(d)对所述几何和光学失真参数进行卷积处理以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显示光学器件和几何特性及与之相关的非理想性；(e)对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图像数据；(f)根据所述经校正的数字图像数据组成合成图像；以及(g)在观察表面显示所述合成图像以供观察，所述合成图像无视觉失真。
35.根据权利要求34所述的方法，其特征在于，进一步单独地处理所述数字图像数据的红、绿和蓝成分以校正横向色像差失真。
36.根据权利要求35所述的方法，其特征在于，其中亮度调整针对所述红、绿和蓝成分单独地执行以校正色度不一致。
37.根据权利要求36所述的方法，其特征在于，其中校正转换通过以下步骤实现(i)获取覆盖所述几何和光学失真参数的整个空间的网格数据集；(ii)计算对应步骤(i)的网格上的每个数据集的校正转换；以及(iii)插入邻近网格转换以符合实际图像帧转换参数。
38.根据权利要求37所述的方法，其特征在于，其中步骤(i)和(ii)离线执行，并针对每个图像帧校正访问所述转换网格。
39.根据权利要求37所述的方法，其特征在于，其中步骤(i)和(ii)在变化情况下动态地完成。
40.根据权利要求37所述的方法，其特征在于，其中与所述转换相关的象素图通过扭曲图表示。
41.根据权利要求40所述的方法，其特征在于，其中所述扭曲图依据递增多项式和位置多项式之一参数化。
42.根据权利要求36所述的方法，其特征在于，进一步生成和传送曝光控制命令至多个图像获取设备。
43.根据权利要求36所述的方法，其特征在于，进一步包括接收控制和用户参数以与失真参数进行卷积处理。
44.根据权利要求36所述的方法，其特征在于，进一步包括运动检测和追踪。
45.根据权利要求43所述的方法，其特征在于，进一步包括根据感应器和用户输入调整所示合成图像的亮度、对比度和大小。
46.根据权利要求43所述的方法，其特征在于，进一步根据一组控制输入重新设置所述显示器系统。
47.根据权利要求43所述的方法，其特征在于，进一步根据一组控制参数调整所述合成图像的焦距。
48.一种图像处理器，用于具有相关的摄像机、显示光学器件和几何特性以及几何和光学失真参数的全景视觉系统，所述全景视觉系统使用多个图像获取设备以从场景中抓取图像帧并生成数字图像数据和图像感应器输入，并使用数字转换器以转换所述数字图像数据和图像感应器输入为数字图像数据，所述图像处理器包括(a)图像测量设备，用以接收所述数字图像数据并测量所述数字图像数据的图像亮度和环境光照度级别；(b)亮度校正模块，连接至所述图像测量设备以接收所述数字图像数据以及所述摄像机、显示光学器件和几何特性、所述图像亮度和环境光照度级别，并校正亮度不均性，优化所述数字图像数据中选择区域的亮度范围；(c)卷积级，连接至所述亮度校正模块以组合所述几何和光学失真参数以构成卷积失真参数，所述几何和光学失真参数包括所述图像感应器输入、所述摄像机、显示光学器件和几何特性以及与之相关的非理想性；(d)失真校正模块，连接至所述卷积级以对所述数字图像数据产生并应用基于所述卷积失真参数的失真校正转换，以生成经校正的数字图像数据；以及(e)显示控制器，连接至所述失真校正模块以根据所述经校正的数字图像数据组成合成图像。
49.根据权利要求48所述的图像处理器，其特征在于，进一步用于单独地处理数字图像数据的红、绿和蓝成分以校正横向色像差失真。
50.根据权利要求49所述的图像处理器，其特征在于，所述亮度校正模块单独地处理数字图像数据的红、绿和蓝成分以校正色度不一致。
51.根据权利要求50所述的图像处理器，其特征在于，进一步用于生成和传送曝光控制命令至图像获取设备。
52.根据权利要求50所述的图像处理器，其特征在于，进一步用于接收空制和用户参数以与失真参数进行卷积处理。
53.根据权利要求50所述的图像处理器，其特征在于，进一步用于运动检测和追踪目标。
54.根据权利要求50所述的图像处理器，其特征在于，进一步用于根据多个感应器和一组用户输入调整所述合成图像的亮度、对比度和大小。
55.根据权利要求52所述的图像处理器，其特征在于，进一步用于根据一组控制输入重新设置所述显示器系统。
56.根据权利要求52所述的图像处理器，其特征在于，进一步用于根据一组控制参数调整所述合成图像的焦距。
全文摘要
一种失真校正全景视觉系统和方法，提供通过广角光学镜头获取的视觉校正后的合成图像并投影在观察表面上。所述系统使用图像捕获设备抓取高达360°或4π立体弧度范围内的场景。图像处理器校正亮度或色度的不均，并对每个图像帧应用空间转换。所述空间转换通过将视觉转换、获取几何和光学失真转换、显示器几何和光学转换合并进行卷积。所述失真校正单独应用于红、绿和蓝成分以消除光学器件的横向色像差。显示器系统随后用于在显示设备上显示生成的合成图像，随后通过投影光学器件投影到观察表面上。所述生成的图像无失真，并且匹配观察表面的特征。
文档编号G06K9/36GK1985266SQ200480043148
公开日2007年6月20日 申请日期2004年7月26日 优先权日2004年7月26日
发明者路易·李, 马苏德·瓦基利 申请人:奥普提克斯晶硅有限公司