本申请基于并要求2015年4月10日提交的序列号为14/683,212的美国专利申请的优先权，其指导内容以引用方式并入本文。
本文的实施例一般涉及视觉/成像系统，更具体地，涉及提供环绕诸如货车的车辆的连续区域的鸟瞰图的车辆360°环视摄像机系统，并涉及用于校准这种360°环视摄像机系统的系统和方法。本文的示例性实施例将结合用于非关节式(non-articulated)货车的四(4)个角落放置摄像机的单系统的360°环视摄像机系统、以及静态校准系统和方法来进行描述。然而，应当理解，本文的实施例并不限于这些应用，而是可以在许多其它应用中使用，包括例如360°环视摄像机系统的动态校准，以及用于关节式(articulated)货车应用的视觉/成像系统，其中该应用在牵引机(tractor)上使用四(4)个角落放置的摄像机以及在可选择性地连接于牵引机的拖车(trailer)上使用四(4)个角落放置的摄像机。
本文的示例性实施例将结合使用两(2)个、四(4)个和八(8)个角落放置摄像机的单系统的车辆、以及静态校准系统和方法来进行描述，但是应当理解，本文的实施例并不限于这些应用，而是还可以在许多其它应用中使用，包括例如环视摄像机系统动态校准系统和方法，以及用于多关节式(multiplearticulated)货车及使用多个角落放置摄像机的其他装置的视觉/成像系统，以及其动态校准系统和方法。
背景技术：
常见地，将摄像机放置于车辆上以用于向操作者提供环绕车辆区域的一个或多个图像。这有助于提高操作者对于车辆附近状况的意识以避免碰撞，并且协助操纵车辆以便在装载区等附近进行停车或移动。因为这些原因并且为了试图提供车辆周围区域的“环绕视图”，摄像机已经位于车辆上的各个位置，例如在前端、后侧、左侧和右侧。这些摄像机为操作者提供了关于车辆的各种视图，包括前视图、后视图、左视图和右视图。在一些应用中，通过邻接或“拼接”(stitching)将视图组结合成单个图像显示在车辆的仪表板上等，从而在当前设置中提供车辆的实时全景或鸟瞰图以方便于操作者。
由单独的摄像机提供的几个视图的组合是复杂的。摄像机和整个环视系统的校准提供了最好的效果，但这个步骤进一步使安装变得更加复杂。一些环视摄像机系统在没有校准的情况下被简单地安装和使用，但是车辆操作者发现这些组合图像难以解读。其他环视摄像机系统使用手动校准技术，还有一些使用放置于相邻摄像机图像重叠的特定区域中的校准目标。然而，这些技术是耗时且易出错的。各个单独的图像之间经常表现出差异，这种情况对所得到的整体组合或“拼接”图像产生不利影响，特别是在拼接区域中。此外，这些校准技术中使用的目标放置和其他要求限制了校准设置的灵活性，还限制了可以使用自动运行时校准的情况。
因此，期望提供一种没有这些限制的车辆360°环视系统，并且其在不向图像中引入任何配准失良(mis-registration)伪影或其他混淆的情况下向车辆操作者提供如生活般真实的图像，并且特别地，提供具有角落放置摄像机的车辆360°环视系统，以及用于容易且有效地校准环视系统的系统和方法。
技术实现要素：
根据本文的实施例，车辆360°环视系统包括位于车辆上的预定位置处的一组两(2)个或更多个摄像机，其中每个摄像机的视场与所述一组两(2)个或更多个摄像机中的至少一个其他摄像机的视场重叠，从而提供完全环绕承载有摄像机的车辆的重叠视场的连续区域。进一步根据本文的实施例，提供了用于校准上述车辆360°环视系统的系统和方法。
在另一个实施例中，车辆360°环视系统包括位于传统标称矩形车辆的四(4)个角落处的一组四(4)个摄像机。“传统的”摄像机安装结构使摄像机安装在前、后和侧面的中心位置，相比于这种情况，本文中车辆周围的每个位置都始终被至少两(2)个摄像机所覆盖，这使得根据本文进一步的实施例的校准可以更加简单且更加准确。
在又一个实施例中，车辆360°环视系统包括位于牵引车拖车的标称矩形牵引车部分的四(4)个角落处的一组四(4)个摄像机，以及位于牵引车拖车的的标称矩形拖车部分的四(4)个角落处的一组四(4)个摄像机。由于车辆周围的每个位置始终由至少两(2)个摄像机覆盖/成像，所以使得校准更加简单且更加准确。而且，在本文的实施例中，由于每个位置由至少两(2)个摄像机覆盖，所以在整个车辆周围提供了全360°立体视觉检测。
在又一个实施例中，环视系统生成位于环境中的相关装置附近区域的鸟瞰图。所述环视系统包括具有处理器的计算机系统，与所述处理器可操作地耦合的非瞬态存储器，以及与所述处理器和存储器可操作地耦合的多个摄像机。多个摄像机设置在相关装置上的选定位置处。多个摄像机中的每一个都分别具有投影到与相关装置相邻的区域上的视场，其中每个视场与至少一个其他视场重叠，从而定义了完全环绕所述相关装置的连续视场重叠区。
在又一个实施例中，提供了一种用于校准位于环境中的多个摄像机的方法，其中，所述多个摄像机中的每一个分别具有投影到摄像机相邻区域上的视场，其中，每个视场与至少一个其他视场重叠，从而定义了完全环绕选定目标区域的连续视场重叠区。所述方法确定在具有重叠视场的多个摄像机中的每一对的相应图像中的图像配准误差组。所述方法还基于所述配准误差组来确定调整值。所述方法还根据所述调整值来修改所述所述摄像机组的每个摄像机的单应性矩阵值。
根据实施例，提供了一种对提供相关车辆周围区域的鸟瞰图的相关成像系统进行校准的方法。所述方法包括接收第一图像数据，所述第一图像数据通过第一变换参数关联到与所述相关车辆相邻的第一目标区的第一图像，以及接收第二图像数据，所述第二图像数据通过第二变换参数关联到与所述相关车辆相邻的第二目标区的第二图像，其中，所述第二目标区的一部分与所述第一目标区的一部分在重叠区中重叠。接收第一集合图像数据，所述第一集合图像数据通过所述第一变换参数和所述第二变换参数关联到位于所述重叠区中的第一多个目标物体的组合图像。所述方法还用于，在所述重叠区中根据集合图像数据中的所述第一多个目标物体的图像的位置与所述第一多个目标物体的已知物理位置之间的比较，确定所述集合图像数据与所述相关车辆周围区域之间的组合配准误差。并且所述方法包括：根据确定的所述组合配准误差，将所述第一变换参数和所述第二变换参数修改为全局修改的第一变换参数和第二变换参数，以将所述集合图像数据与多个目标物体的已知物理位置进行配准。
另外，还提供了一种用于校准与相关车辆可操作地耦合的相关成像系统并提供相关车辆周围区域的鸟瞰图的装置。所述装置包括通信接口，与所述相关成像系统的摄像机可操作地耦合并且用于与所述摄像机通信；以及与所述通信接口耦合的处理器。在示例性实施例中，所述处理器用于：接收第一图像数据，所述第一图像数据通过第一变换参数关联到与所述相关车辆相邻的第一目标区的第一图像；接收第二图像数据，所述第二图像数据通过第二变换参数关联到与所述相关车辆相邻的第二目标区的第二图像，其中，所述第二目标区的一部分与所述第一目标区的一部分在重叠区中重叠。所述处理器还用于：接收第一集合图像数据，所述第一集合图像数据通过所述第一变换参数和所述第二变换参数关联到位于所述重叠区中的第一多个目标物体的组合图像；在所述重叠区中根据所述集合图像数据中的所述第一多个目标物体的图像的位置与所述第一多个目标物体的已知物理位置之间的比较，确定所述集合图像数据与所述相关车辆周围区域之间的组合配准误差；所述处理器还用于：根据确定的所述组合配准误差，将所述第一变换参数和所述第二变换参数修改为全局修改的第一变换参数和第二变换参数，以将所述集合图像数据与多个目标物体的已知物理位置进行配准。
用于校准示例性实施例的视觉/成像系统的视觉/成像系统和方法以及装置在许多方面优于传统设备，包括本文的实施例使拼接在一起以提供组合图像的多个图像的配准中的误差最小化，同时还提供广泛的成像范围和校准选项以及优化。
结合附图，通过以下描述和所附权利要求，本文实施例的其他优点和特征将变得清晰。
附图说明
通过参考附图阅读以下描述，本文实施例关于本环视系统、校准系统和校准方法的前述和其它特征，将对于本领域技术人员而言变得清晰，其中：
图1a是应用了根据一实施例的360°环视摄像机系统的车辆的立体图，其中示出了车辆上的摄像机对的安装状态；
图1b和1c是示出安装于图1a车辆中的各个摄像机的视场的示意性俯视平面图；
图1d是示出安装于图1a车辆中的各个摄像机放在一起的视场组合的示意性俯视平面图；
图1e是示出了支撑在图1a中所示车辆的主体上的选定位置处的摄像机的设置所产生的成像区域组的示意性俯视平面图；
图2a是示出了其中应用了根据另一个实施例的360°环视摄像机系统的车辆的示意性俯视平面图，其中示出了安装在名义上为长方形运输卡车的车辆上的各个摄像机的安装状态；
图2b-2e是示出了安装在图2a的车辆上的各个摄像机的视场的示意性俯视平面图；
图2f是示出了安装在图2a的名义上为长方形运输卡车的车辆上的各个摄像机的视场放在一起的组合视场的示意性俯视平面图；
图2g是示出了支撑在图2a中所示车辆的主体上的选定位置处的摄像机的设置所产生的成像区域组的示意性俯视平面图；
图3a是示出了其中应用了根据另一个实施例的360°环视摄像机系统的车辆的示意性俯视平面图，其中示出了位于车辆的名义上是长方形牵引车和拖车部分的各个角落处的各个摄像机的安装状态；
图3b-3i是示出了安装在图3a的车辆中的每各个摄像机的视场的示意性俯视平面图；
图3j是示出了安装在图3a的车辆中的各个摄像机的视场放在一起的组合视场的示意性俯视平面图；
图3k是示出了支撑在图3a中所示牵引车拖车车辆的主体上的选定位置处的摄像机的设置所产生的成像区域组的示意性俯视平面图；
图4是示出适合于执行本文示例性实施例的计算机系统的框图，基于该系统可以实施所述示例性实施例；
图5是存储在图4的计算机系统的存储器中的代码模块组的框图，并且该代码模块组可由计算机系统的处理器执行以根据示例性实施例来优化和校准360°环视系统的摄像机并配准摄像机图像；
图6是示出了示例性实施例的360°环视系统的摄像机的图像的优化、校准和配准的整体方法的流程图；
图7是示出了图6的方法的一部分的流程图，用于通过优化摄像机的镜头失真特性缩放因子来对示例性实施例的360°环视系统的单独摄像机进行迭代内在校准；
图7a-7c是示出了图7所示镜头失真优化过程的直线物体的图像的示意性立体图；
图8是示出了图6的方法的一部分的流程图，用于通过优化摄像机的单应性矩阵参数来对示例性实施例的360°环视系统的单独摄像机进行迭代外在校准；
图8a-8c是虚拟走廊地板上的方形物体的图像的示意性立体图，其中以简易方式形象地示出了图8中所述的偏斜失真优化的过程；
图9是示出了图6的方法的一部分的流程图，用于对示例性实施例的360°环视系统的摄像机的图像的配准进行优化；
图10是示出了图9的方法的一部分的流程图，用于确定示例性实施例的单个摄像机对的成像误差，并用于对示例性实施例的360°环视系统的相邻摄像机对的重叠图像的配准进行优化；
图10a和10b示出了第一和第二3×3边缘像素图像的配准的简单实例；
图10c示出了简单图像组的配准，其中示出了远离图像间接缝的图像的接合；
图10d-10f示出了一对相邻图像的配准过程，其中示出了在图像之间的接缝处的接合；
图10g示出了非周期性图案的实例；
图11是示出了图9的方法的一部分的流程图，用于确定所有摄像机对的整体单个成像误差值，以对示例性实施例的360°环视系统的摄像机的所有重叠图像的集合配准进行优化；
图11a-11c是组合图像的补偿移动的示意图，其中示出了图11所述的旋转和移位/平移配准优化的过程；以及
图12a-12d是根据本文的示例性实施例的图像测量和配准优化的简化图示。
具体实施方式
现在参考附图，其中所示出内容仅用于描述实施例而不是为了对其进行限制，本文的示例性实施例涉及用于具有放置在车辆上可选位置的摄像机的车辆的环视摄像机系统100、200、300，以及用于校准环视摄像机系统的系统和方法。本文的实施例也可应用于将摄像机放置在车辆上的各个位置，例如车辆的角落处，以及车辆的各种一个或多个基本上为矩形部分的角落处。应当理解，本文的实施例可以应用于许多不同的摄像机放置方案以及视情况而定的具有多种视场、分辨率、以及其他特性的不同的摄像机。
作为代表性实施例，具体参考图1a，此处所示的立体俯视图示出了其中应用了根据实施例的360°环视摄像机系统100的车辆110，其示出了摄像机120、130设置为支撑在车辆110的主体140上的选定位置处。图1b和1c是示出安装在图1a的车辆110的主体140上的各个摄像机120、130的视场的示意性俯视平面图。图1d是示出安装在图1a的车辆中的摄像机的视场放置在一起的组合结构的示意性俯视平面图，并显示出摄像机的重叠视场。最后，图1e是示出了支撑在图1a-1d中所示车辆110的主体140上的选定位置处的摄像机120、130的设置所产生的成像区域171-174和176-179的组170的示意性俯视平面图。
虽然在图1a-1d中基本的面板式货运卡车112示出作为车辆110，但是车辆110可以是任何其他的车辆，例如普通乘客汽车或具有总体上大致矩形形状的任何其他类型的移动设备。此外，当然，示出为面板式卡车112的车辆110被配置为位于诸如路面等地面上并且相对于地面可以移动，受益于本中文各种实施例的环视摄像机系统100、200、30的其他车辆包括各种机器人装置，例如被配置为位于工厂或制造设施等的地板上并相对于工厂或制造设施的地板可以移动的多种自动导向车辆(agv)。在下面的说明中，假设地面是水平面，并且这些摄像机的“高度”表示相对于地面的高度。
如图1a所示，摄像机(图像拾取设备)120和130安装在车辆110的最上部。第一摄像机120被放置在例如车辆110的右上方的最前部，并且第二摄像机130被放置在例如车辆110的左上方的最后部。此处和下文中在实施例中可以将摄像机120和130简单地称为多个摄像机或各个摄像机，不必彼此区分。虽然摄像机如图所示地设置，但它们的位置可以根据实施例等效地被交换成几个相对位置，例如通过将第一摄像机120放置在车辆110的左上方的最前部，并将第二摄像机130放置在车辆110的右上方的最后部。
应当理解，摄像机120和130布置在车辆110上，使得第一摄像机120的光轴向下倾斜以大约15°-45°的角度指向车辆110的前方，并且第二摄像机130的光轴向下倾斜以大约15°-45°的角度指向车辆110的后方。还应当理解，每个摄像机的视场，即每个摄像机可捕获图像的空间区域，其整体形状通常为半球形并且相当大。更具体地，在所示的实施例中，摄像机120和130各自具有约360°的视场，并且在行业中通常被称为“鱼眼”镜头摄像机或成像器。摄像机120和130可以是能够从siliconmicrosystems获得的blueeagledc3k-1-lvd型号，或者是能够从其他来源获得并具有实施例所需特性的任何类似的摄像机。
图1b示出了从上方观察的第一摄像机120的可用视场122，换句话说，向前方/侧方定向的第一摄像机120的大致半球形视场的部分投影到车辆110前面的大致平面的地面上。向前方/侧方定向的第一摄像机120的大致半球形视场的剩余部分，则通常被该区域中的车辆110的总体(gross)前部形状所阻碍。类似地，图1c示出了从上方观察的第二摄像机130的可用视场132，换句话说，向后方定向的第二摄像机的大致半球形视场的部分投影到车辆110的后方的地面上。向后方/侧方定向的第二摄像机130的大致半球形视场的剩余部分，则通常被该区域中的车辆110的总体后部形状所阻碍。图1d示出了将图1b和1c所示的所有视场放在一起的示意图。在图1d中的阴影区域将在下面进行描述。
应当理解，在所示实施例中，向前方定向的第一摄像机120主要捕获位于车辆110前侧和右侧的预定区域内的被摄体(subject)或物体(包括路面)的图像。类似地，在所示实施例中，向后方定向的第二摄像机130主要捕获位于车辆110后侧和左侧的预定区域内的被摄体(subject)或物体(包括路面)的图像。然而，分别地，摄像机120和130的视场122和132在基本上邻近车辆110的左前角落和右后角落的区域160、162处重叠。这些区域在本实施例和本文的其它实施例中将被总体称为共同或重叠视场。图1d示出了这些共同视场160、162为阴影区域。在该实施例中，总体上，视场122和132在相对于车辆110的前左侧区域161处的共同或重叠第一场160处重叠，并且类似地，视场122和132在相对于车辆110的后右侧区域163处的共同或重叠第二场162处重叠。
图1e是示出了支撑在图1a-1d中所示车辆110的主体上的选定位置处的摄像机120、130的设置所产生的成像区域171-174和176-179的组170的示意性俯视平面图。现在参考该图，第一摄像机120通过其定向以及光学和其它特性来配置，以直接对成像区域组170的成像区域171、172、173、176和179进行成像。类似地，第二摄像机130通过其定向以及光学和其它特性来配置，以直接对成像区域组170的成像区域171、174、177、178和179进行成像。此外，如上所述，第一和第二摄像机120、130的视场122、132在相对于车辆110的前左侧区域161(图1d)处重叠，而视场122、132也在相对于车辆110的后右侧区域163(图1d)处重叠。相应地，成像区域171和179是由摄像机120、130均成像的成像区域组的区域。也就是说，通过摄像机120、130获得图像在这些区域重叠。本文中的实施例提供了在这些区域171、179中的通过摄像机120、130获得的图像之间的改进的配准(registration)，以便最好地实现对车辆110周围区域的鸟瞰图的可视化。最后，用于修改摄像机120、130获得的图像，从而使得在这些区域171、179中和单个成像区域172、173、176、174、177、178中呈现出最佳拟合组合图像的方法和装置，将在下文中进行说明。
本文实施例的进一步代表，然后具体参考图2a，此处示出的示意性俯视平面图示出了其中应用了根据第二示例性实施例的360°环视摄像机系统200的车辆210，示出了安装在车辆210上或以其他方式附接到车辆210的摄像机220、230、240和250的设置。图2b-2e是示出了安装在图2a的车辆210上的各个摄像机220、230、240和250的视场的示意性俯视平面图。图2f是示出了安装在图2a的车辆中的各个摄像机的视场放在一起的组合视场的示意性俯视平面图。最后，图2g是示出了支撑在图2a-2f中所示车辆210的主体214上的选定位置处的摄像机220、230、240、250的设置所产生的成像区域271-274和276-279的组270的示意性俯视平面图。
虽然具有名义上为矩形的整体形状的面板式输运货车212再次示出为图2a-2g中的车辆210，但是车辆210还可以是任何其他的车辆，例如普通乘客汽车或任何其他类型的移动设备，例如具有总体上大致矩形形状和包括摄像机座组的agv，或适于在相对于车辆210的升高位置中支撑摄像机220、230、240和250的其他类似的设备。另外，车辆210被配置为位于地面上并且相对于地面可以移动，诸如路面或邻近其他车辆的停车场、装卸区等。在下面的说明中，假设地面是水平面，并且这些摄像机的“高度”表示相对于地面的高度。
如图2a所示，摄像机(图像拾取设备)220、230、240和250安装在车辆的最上部，例如车辆210的角落处。第一摄像机220被放置在例如车辆210的左上方的最前部，以约15°-45°的角度从车辆210被定向向外，第二摄像机230被放置在例如车辆210的右上方的最前部，并且类似地，以约15°-45°的角度从车辆210被定向向外，第三摄像机240被放置在例如车辆210的左上方的最后部，并且类似地，以约15°-45°的角度从车辆210被定向向外，第四摄像机250被放置在例如车辆210的右上方的最后部，并且类似地，以约15°-45°的角度从车辆210被定向向外。此处和下文中在实施例中可以将摄像机220、230、240、250简单地称为多个摄像机或各个摄像机，不必彼此区分。
应当理解，摄像机220、230、240和250设置在车辆210上，使得第一摄像机220的光轴倾斜向下朝向车辆210的左侧并且根据需要或需求而朝向前方，第二摄像机230的光轴倾斜向下朝向车辆210的右侧并且根据需要或需求而朝向前方，第三摄像机240的光轴倾斜向下朝向车辆210的左侧并且根据需要或需求而朝向后方，第四摄像机250的光轴倾斜向下朝向车辆210的右侧并且根据需要或需求而朝向后方。进一步应当理解的是，每个摄像机的视场，即每个摄像机可捕获图像的空间区域，其整体形状通常为半球形并且相当大。更具体地，在所示的实施例中，摄像机220、230、240和250各自具有约360°的视场，并且在行业中通常被称为“鱼眼”镜头摄像机或成像器。类似于图1a-1e的实施例，图2a-2h的实施例的摄像机220、230、240和250可以是能够从siliconmicrosystems获得的blueeagledc3k-1-lvd型号，或者可以是能够从其他来源获得并具有本实施例所需特征的任何类似的摄像机。应当理解，摄像机220、230、240和250的布置和指向对于每个车辆以及每个摄像机的特性都是特别的。例如，许多商用车辆所携带的外部侧视镜一方面提供了用于摄像机的方便安装点，另一方面可能会干扰安装到车辆其他部分的其他摄像机。在该实例中，相关车辆的视镜可以确定安装摄像机的位置，因为它们阻挡或阻碍视野，或者因为视镜提供良好的安装位置。
图2b示出了从上方观察的第一摄像机220的可用视场222，向左和前方定向的第一摄像机的大致半球形视场投影到车辆210左前方的大致平面的地面上。类似地，图2c示出了从上方观察的第二摄像机230的可用视场232，换句话说，向右和前方定向的第二摄像机的大致半球形视场投影到车辆210右前方的大致平面的地面上。图2d示出了从上方观察的第三摄像机240的可用视场242，换句话说，向左和后方定向的第三摄像机的大致半球形视场投影到车辆210左后方的大致平面的地面上。最后，图2e示出了从上方观察的第四摄像机250的可用视场252，换句话说，向右和后方定向的第四摄像机的大致半球形视场投影到车辆210右后方的大致平面的地面上。当然，应当理解的是，向左和前方定向的第一摄像机220、向右和前方定向的第二摄像机230、向左和后方定向的第三摄像机240，以及向右和后方定向的第四摄像机250，这四者的大致半球形视场的剩余部分通常被该区域中的车辆210的总体后部形状所阻碍。图2f示出了图2b-2e所示的所有视场放在一起的示意图，下文将对其进行描述。
应当理解，在所示实施例中，向左和前方定向的第一摄像机220主要捕获位于车辆210前侧和左侧的预定区域内的被摄体(subject)或物体(包括路面)的图像。进一步地，向右和前方定向的第二摄像机230主要捕获位于车辆210前侧和右侧的预定区域内的被摄体(subject)或物体(包括路面)的图像。仍然进一步地，向左和后方定向的第三摄像机240主要捕获位于车辆210后侧和左侧的预定区域内的被摄体(subject)或物体(包括路面)的图像。仍然进一步地，向右和后方定向的第四摄像机250主要捕获位于车辆210后侧和右侧的预定区域内的被摄体(subject)或物体(包括路面)的图像
然而，摄像机220、230、240和250的视场222、232、242和252重叠形成基本上环绕车辆210的重叠视场的连续区域260。该区域260将在本实施例和本文其它实施例中被称为共同或连续重叠视场。如图2f所示，共同视场显示为阴影区域。在该实施例中，总体上，视场222、232、242和252在共同或重叠连续视场260处重叠，基本上在拐角处形成环绕车辆的完整的不间断环，包括定向为朝向车辆210的倾斜左前方的视野；朝向车辆210的倾斜右前方的视野；朝向车辆210的倾斜左后方的视野；以及朝向车辆210的倾斜右后方的视野。
图2g是示出了支撑在图2a-2f中所示车辆210的主体214上的选定位置处的摄像机220、230、240、250的设置所产生的成像区域271-274和276-279的组270的示意性俯视平面图。现在参考该图，第一摄像机220通过其定向以及光学和其它特性来配置，以直接对成像区域组270的成像区域271、272、273、274和277进行成像。类似地，第二摄像机230通过其定向以及光学和其它特性来配置，以直接对成像区域组270的成像区域271、272、273、276和279进行成像。第三摄像机240通过其定向以及光学和其它特性来配置，以直接对成像区域组270的成像区域271、274、277、278和279进行成像。最后，第四摄像机250通过其定向以及光学和其它特性来配置，以直接对成像区域组270的成像区域273、276、277、278和279进行成像。
此外，如上所述，第一和第二摄像机220、230的视场222和232在相对于车辆210的前方区域处重叠，第二和第四摄像机230、250的视场232和252的视场在相对于车辆210的右方区域处重叠，第一和第三摄像机220、240的视场222和242在相对于车辆210的左方区域处重叠，并且第三和第四摄像机240、250的视场242和252在相对于车辆210的后方区域处重叠。相应地，所有成像区域271-274和276-279是通过摄像机220、230、240、250中的至少两(2)个所成像得到的多个成像区域的组270的区域，从而提供基本上环绕车辆210的重叠视场的连续区域260。也就是说，通过摄像机220、230、240、250获得的图像在全部这些区域中重叠。
然而，应当理解，成像区域273和277距离摄像机220和250最远，并且成像区域271和279距离摄像机230和240最远。因此，相对于摄像机组布置最紧密的重叠图像区域包括位于车辆210的前、左、右和后处的成像区域272、274、276、278。本文中的实施例提供了在这些区域272、274、276、278中的通过摄像机220、230、240、250获得的图像之间的改进的配准，以便最好地实现对车辆210周围区域的鸟瞰图的可视化。最后，用于修改摄像机220、230、240、250获得的图像，从而使得在这些区域272、274、276、278中和通过单独摄像机分别进行最佳成像的成像区域271、273、277、279中呈现出最佳拟合组合图像的方法和装置，将在下文中进行说明。
作为代表性实施例，具体参考图3a，此处所示的示意性俯视平面图示出了其中应用根据第三示例性实施例的360°环视摄像机系统300的车辆310，其示出了安装或附接在牵引车拖车312的牵引车部分311上的摄像机320、330、340和350的设置，以及安装或附接在牵引车拖车312的拖车部分313上的摄像机320'、330'、340'和350'的设置。图3b-3e是示出安装在图3a的车辆310的牵引车部分上的各个摄像机320、330、340和350的视场的示意性平面图。图3f-3i是示出安装在图3a的车辆310的拖车部分上的各个摄像机320'、330'、340'和350'的视场的示意性平面图。图3j是示出了安装在图3a的车辆中的各个摄像机的视场放在一起的组合视场的示意性平面图。虽然具有名义上为矩形的整体形状的牵引车拖车312的牵引车和拖车部分示出为图3a-3j中的车辆310，但是车辆310还可以是任何其他的车辆，例如具有摄像机座组或适于在相对于车辆310的升高位置中支撑摄像机320、330、340、350、320'、330'、340'和350'的其它类似的设备。另外，车辆310被配置为位于地面上并且相对于地面可以移动，诸如路面或邻近其他车辆的停车场、装卸区等。在下面的说明中，假设地面是水平面，并且这些摄像机的“高度”表示相对于地面的高度。
如图3a所示，摄像机(图像拾取设备)320、330、340和350安装在车辆310的牵引车部分的角落处。第一摄像机320被放置在例如车辆310的牵引车部分的最左前部分，以约15°-45°的角度从车辆310被定向向外，第二摄像机330被放置在例如车辆310的牵引车部分的最右前部分，并且类似地，以约15°-45°的角度从车辆310被定向向外，第三摄像机340被放置在例如车辆310的牵引车部分的最左后部分，并且类似地，以约15°-45°的角度从车辆310被定向向外，第四摄像机350被放置在例如车辆310的牵引车部分的最右后部分，并且类似地，以约15°-45°的角度从车辆310被定向向外。类似地，摄像机(图像拾取设备)310'、320'、330'和350'安装在车辆310的拖车部分的角落处。第一摄像机320'被放置在例如车辆310的拖车部分的最左前部分，以约15°-45°的角度从车辆310被定向向外，第二摄像机330'被放置在例如车辆310的拖车部分的最右前部分，并且类似地，以约15°-45°的角度从车辆310被定向向外，第三摄像机340'被放置在例如车辆310的拖车部分的最左后部分，并且类似地，以约15°-45°的角度从车辆310被定向向外，第四摄像机350'被放置在例如车辆310的拖车部分的最右后部分，并且类似地，以约15°-45°的角度从车辆310被定向向外。此处和下文中在实施例中可以将摄像机320、330、340、350、320'、330'、340'和350'简单地称为多个摄像机或各个摄像机，不必彼此区分。
应当理解，摄像机320、330、340、350、320'、330'、340'和350'设置在车辆310上，使得第一摄像机320的光轴倾斜向下朝向车辆310的牵引车部分的左前方向，第二摄像机330的光轴倾斜向下朝向车辆310的牵引车部分的右前方向，第七摄像机340'的光轴倾斜向下朝向车辆310的拖车部分的左后方向，第八摄像机350'的光轴倾斜向下朝向车辆310的拖车部分的右后方向。进一步应当理解的是，每个摄像机的视场，即每个摄像机可捕获图像的空间区域，其整体形状通常为半球形并且相当大。更具体地，在所示的实施例中，摄像机320、330、340、350、320'、330'、340'和350'各自具有约270o的视场，并且在行业中通常被称为“鱼眼”镜头摄像机或成像器。摄像机320、330、340、350、320'、330'、340'和350'可以是可从siliconmicrosystems获得的blueeagledc3k-1-lvd型号，或者可以是能够从其他来源获得并具有实施例所需特性的任何类似的摄像机。在示例性实施例中，摄像机的向下、稍微倾斜向外的定向将其最佳分辨像素放在车辆附近的区域中，该区域与行人、自行车骑行者、其他交通参与者和物体可能会产生交叉。许多市售的摄像机不具有正方形的视场，而是提供非正方形视场，例如，产生800行×1280列的图像的矩形视场。应当理解，本文中的实施例有利地将图像的长轴(实例中为1280像素列)与车辆的长轴对齐，以获得与应用中最相关的区域的更丰富且全面的图像。
图3b示出了从上方观察的第一摄像机320的视场322，换句话说，向左和前方定向的第一摄像机的大致半球形视场投影到车辆310的牵引车部分的左前方的大致平面的地面上，类似地，图3c示出了从上方观察的第二摄像机330的视场332，换句话说，向右和前方定向的第二摄像机的大致半球形视场投影到车辆310的牵引车部分的右前方的大致平面的地面上。图3d示出了从上方观察的第三摄像机340的视场342，换句话说，向左和后方定向的第三摄像机的大致半球形视场投影到车辆310的牵引车部分的左后方的大致平面的地面上。最后关于牵引车上的摄像机，图3e示出了从上方观察的第四摄像机350的视场352，换句话说，向右和后方定向的第四摄像机的大致半球形视场投影到车辆310的牵引车部分的右后方的大致平面的地面上。
图3f示出了从上方观察的第五摄像机320'的视场322'，换句话说，向左和前方定向的第五摄像机的大致半球形视场投影到车辆310的拖车部分的左前方的大致平面的地面上，类似地，图3g示出了从上方观察的第六摄像机330'的视场332'，换句话说，向右和前方定向的第六摄像机的大致半球形视场投影到车辆310的拖车部分的右前方的大致平面的地面上。图3h示出了从上方观察的第七摄像机340'的视场342'，换句话说，向左和后方定向的第七摄像机的大致半球形视场投影到车辆310的拖车部分的左后方的大致平面的地面上。最后关于拖车上的摄像机，图3i示出了从上方观察的第八摄像机350'的视场352'，换句话说，向右和后方定向的第八摄像机的大致半球形视场投影到车辆310的拖车部分的右后方的大致平面的地面上。图3j示出了图3b-3i所示的所有视场放在一起的示意图。图3j中的阴影区域将在下文中进行描述。
应当理解，在所示实施例中，向左和前方定向的第一摄像机320主要捕获位于车辆310前侧和左侧的预定区域内的被摄体或物体(包括路面)的图像。进一步地。向右和前方定向的第二摄像机330主要捕获位于车辆310前侧和右侧的预定区域内的被摄体或物体(包括路面)的图像。仍然进一步地，向左和后方定向的第七摄像机340'主要捕获位于车辆310后侧和左侧的预定区域内的被摄体或物体(包括路面)的图像。仍然进一步地，向右和后方定向的第八摄像机350'主要捕获位于车辆310的后侧和右侧的预定区域内的被摄体或物体(包括路面)的图像。然而，摄像机320、330、340'和350'的视场322、332、342'和352'在基本上环绕车辆310的预定区域360处重叠。该区域将在本实施例和本文其它实施例中被称为共同或重叠的视场。在图3j中，共同视场显示为阴影区域。在该实施例中，总体上，视场322、332、342'和352'在共同或重叠场360处重叠，基本上在拐角处形成环绕车辆的完整环，包括定向为朝向车辆310的倾斜左前方的视野；朝向车辆310的倾斜右前方的视野；朝向车辆310的倾斜左后方的视野；以及朝向车辆310的倾斜右后方的视野。
图3k是示出了支撑在图3a-3j中所示车辆310的主体311、313上的选定位置处的摄像机320、330、340、350、320'、330'、340'、350'的设置所产生的成像区域371-374、376-379、381-384和371'-374'、376'-379'、381'-384'的组370的示意性俯视平面图。现在参考该图，第一摄像机320通过其定向以及光学和其它特性来配置，以直接对成像区域组370的成像区域371、372、373、374和377进行成像。类似地，第二摄像机330通过其定向以及光学和其它特性来配置，以直接对成像区域组370的成像区域371、372、373、376和379进行成像。第三摄像机340通过其定向以及光学和其它特性来配置，以直接对成像区域组370的成像区域371、374、377、378和379进行成像。最后，第四摄像机350通过其定向和光学等特性来配置，以直接对成像区域组370的成像区域373、376、377、378和379进行成像。
此外，如上所述，第一和第二摄像机320、330的视场322和332在相对于车辆310的前方区域处重叠，第二和第四摄像机330、350的视场332和352的视场在相对于车辆310的右方区域重叠，第一和第三摄像机320、340的视场322和342在相对于车辆310的左方区域处重叠，并且第三和第四摄像机340、350的视场342、352在相对于车辆310的后方区域重叠。
相应地，所有成像区域371-374、376-379、371'-374'和376'-379'是通过摄像机320、330、340、350、320'、330'、340'、350'中的至少两(2)个所成像得到的多个成像区域的组370的区域，从而提供基本上环绕车辆310的重叠视场的连续区域360。也就是说，通过摄像机320、330、340、350、320'、330'、340'、350'获得的图像在全部这些区域中重叠。
图4示出了计算机系统400的实例，基于该系统可以实施所述示例性实施例。计算机系统400适用于实现本文图1a、2a和3a中描述的任何环视摄像机系统100、200、300的功能。
计算机系统400包括总线402或者用于交流信息的其他通信机构，以及与总线402耦接的用于处理信息的处理器404。计算机系统400还包括主存储器406，诸如随机存取存储器(ram)或者其他动态存储设备，其被耦接到总线402用于存储由处理器404执行的信息和指令。主存储器406还可以在处理器404执行的指令的执行期间用于存储临时变量或其他中间信息。计算机系统400还包括只读存储器(rom)408或者其他静态存储设备，其被耦接到总线402用于存储处理器404的信息和指令。提供有存储设备410，例如磁盘、光盘、sd存储器和/或闪存存储器，并且其被耦接到总线402用于存储信息和指令。
计算机系统400可以通过总线402而耦接到用户接口411。用户接口411可以包括显示器412，诸如阴极射线管(crt)或液晶显示器(lcd)，用于向上述示例性实施例中所描述的车辆100、200、300的使用者显示信息。用户界面411还可以包括输入设备414，诸如包括字母数字键和其他键的键盘，其耦接到总线402，用于将信息和命令选择通信至处理器404。另一种类型的用户输入设备是光标控制416，诸如鼠标、追踪球、光标方向键和/或触摸屏，用于将信息和命令选择通信至处理器404，并用于控制显示器412上的光标移动。该输入装置通常在两个轴线上具有两个自由度，第一轴线(例如x)以及允许设备在平面中指定位置的第二轴线(例如y)。
示例性实施例的一方面涉及使用计算机系统400来实施本文示例性实施例的车辆360°环视摄像机系统，以提供环绕车辆(诸如货车)的连续区域的鸟瞰图，并提供用于校准这种360°环视摄像机系统的系统和方法。根据示例性实施例，响应于处理器404执行包含在主存储器406中的一个或多个指令的一个或多个序列，由计算机系统400提供车辆360°环绕视图和校准步骤。该指令可以被读入到来自另一计算机可读介质的主存储器406中，诸如存储设备410。包含在主存储器406中的指令序列的执行使得处理器404执行本文所述的过程步骤。也可以采用多处理装置中的一个或多个处理器来执行包含在主存储器406中的指令序列。在另外的实施例中，可以使用硬连线电路来代替或结合软件指令以实施示例性实施例。因此，本文所述的实施例不限于硬连线电路和软件的任何特定组合。
本文所用术语“计算机可读介质”是指参与向处理器404提供指令用于执行的任何介质。这种介质可以采取许多形式，包括但不限于非易失性(non-volatile)介质和易失性(volatile)介质。非易失性介质包括例如光盘或磁盘，诸如存储设备410。非非易失性介质包括动态存储器，诸如主存储器406。如本文所用，有形介质可以包括非易失性介质和非非易失性介质。计算机可读介质的常见形式包括例如软性盘(floppydisk)、软盘(flexibledisk)、硬盘、磁卡、纸带、具有孔图案的任何其它物理介质、ram、prom、eprom、flashprom、cd、dvd或任何其他存储器芯片或存储盒，或者是计算机可读的任何其他介质。
将一个或多个指令的一个或多个序列传送到处理器404进行执行将涉及各种形式的计算机可读介质。例如，指令最初可以承载(borne)在远程计算机的磁盘上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线来发送该指令。计算机系统400本地的调制解调器可以接收电话线上的数据，并使用红外发射器将数据转换成红外信号。耦接到总线402的红外检测器可以接收红外信号中携带的数据并将数据置于总线402上。总线402将数据传送到主存储器406，处理器404从其处接收并执行指令。主存储器406接收到的指令可以在处理器404执行之前或之后可选地存储在存储设备410上。
计算机系统400还包括耦接到总线402的通信接口418。通信接口418提供双向数据通信，该双向数据通信将计算机系统400与连接至企业(或其他预设网络422)的vpn链接420相耦接。在示例性实施例中，vpn连接420是无线链接。通信接口418还提供双向数据通信，该双向数据通信将计算机系统400与连接有摄像机组432的视频链接相耦接(其中摄像机组包括更多个摄像机中的其中两(2)个)。在这里的示例性实施例中，所述更多个摄像机中的其中两(2)个包括例如摄像机120、130、220、230、240、250、220'，230'，240'和250'。
图5是包括镜头失真缩放(scaling)优化模块502、透视偏斜校准模块504、用于配准至少部分重叠图像的交互图像配准模块506、以及用于将组合图像进行集合配准的组合图像配准模块508(其中组合图像形成了根据此处实施例的环绕车辆的鸟瞰图)的过程模块组500的框图。模块502、504、506、508中的每一个都可以通过图4所述的处理器来执行。根据示例性实施例，环视摄像机系统100、200、300的处理器被配置为以镜头失真缩放优化模块502的形式来执行软件代码，用于单独地校准每个摄像机以校正它们各自的鱼眼失真(distortion)和/或图像弯曲(bowing)(其中鱼眼失真和/或图像弯曲是由本实施例中使用的鱼眼摄像机的固有物理结构和其它内在的一个或多个特性所引起的)。根据一个实例，环视摄像机系统100、200、300的处理器执行镜头失真缩放优化模块502，用于对本文实施例的鱼眼摄像机的制造商提供的标称镜头失真参数值进行调整。
根据示例性实施例，环视摄像机系统100、200、300的处理器还被配置为以透视偏斜校准模块504的形式来执行代码，用于以参数的单应性矩阵形式来确定和调整摄像机参数，其使用的技术和方法步骤将在下文中进行更详细的说明。
交互图像配准模块506可以通过图4所述的处理器来执行，具体地，将在下文中进行更详细的说明，以便在具有重叠区域的图像之间提供最佳拟合(fit)配准，其中重叠区域的图像是通过(具体为了获取重叠视野而设置在车辆上选定位置处的)相邻摄像机对来获得的。从每个摄像机对获得的图像在交互图像配准模块506中被优化从而用于最佳拟合配准，此后，形成环绕车辆的鸟瞰图的组合图像的集合配准，则在根据本文实施例的组合图像配准模块508中被优化。
鉴于上述的结构和功能特征，下面将参考附图6结合实施例对方法600进行更详细地说明。为了简化说明，图6的方法600以执行顺序的方式被示出并进行描述，但是应该理解并认识到，示例性实施例并不受到所示出顺序的限制，相对于此处的所示和所述，某些方面下可以以不同顺序发生，和/或其他方面下可以同时发生。此外，根据示例性实施例的方法并非需要所有示出的特征来进行实施。此处所述的方法600适合于以硬件、软件和/或其任何一个或多个组合来进行实施。例如，方法600可以由上述环视摄像机系统100、200、300任何一个或其全部中的逻辑和/或计算机系统400(图4)来实施。
一般来说，环视系统会向车辆驾驶员显示出车辆周围的环境。该视图通过使用多个摄像机来产生，首先将具有重叠区域的相邻图像“拼接”在一起，然后对组合图像的整体配准进行优化。根据此处的示例性实施例，为了获得最佳视觉质量和障碍物检测性能，本文的系统和方法提供了设置在车辆上并与上述环视摄像机系统相耦接的两个或更多个摄像机的增强校准。
总的来说，本文的实施例中，环视摄像机包括鱼眼镜头，其一方面提供非常宽的视场，例如整个360°的范围。然而，由于其固有的物理性质，鱼眼镜头通常会给使用这些镜头所获得的图像带来一些失真。此外，由于摄像机以向外指向的方向安装在车辆上并且与真垂线(truevertical)大致成15°-45°的角度，摄像机生成的图像提供了正在成像的区域的立体偏斜视图。相应地，一定量的视图偏斜被自然地引入到由摄像机获得的相对于地平面倾斜定向的图像中(如本文实施例中那样)。然而，根据本文中的示例性实施例，通常由摄像机的物理特性所引起的固有鱼眼失真，以及通常由相对于环绕车辆的地面的物理摄像机的定向所引起的偏斜立体视图失真，都被校正并且被调整以生成优化的图像，该优化的图像提供直观的俯视鸟瞰图以供车辆110、210、310的操作者例如在显示屏幕412等上进行视觉识别。
根据上述用于校准环视摄像机系统的方法，图4的校准系统执行诸如图6所示的校准方法600。校准方法600包括步骤610(即对整个环视摄像机系统100、200、300内的各个摄像机进行校准以补偿摄像机的固有特性)和步骤620(即对整个环视摄像机系统100、200、300内的各个摄像机进行校准以补偿摄像机的外在特性)。该方法从步骤602开始，此时设置初始化计数器n。此后，在步骤610中，单独校准该摄像机组的第一摄像机(即摄像机n，其中n＝1)以补偿摄像机n的固有特性，在步骤620中，单独校准该摄像机组的第一摄像机(即摄像机n，其中n＝1)以补偿摄像机n的外在特性。在步骤630中，将初始化计数器n与表示当前(subject)环视摄像机系统中的摄像机数量的参数cameras_total进行比较。例如，在图1a-1e所示的实施例中，参数cameras_total＝2，在图2a-2g所示的实施例中，参数cameras_total＝4，在图3a-3k所示的实施例中，参数cameras_total＝8。如果初始化计数器n尚未与表示系统内摄像机总数的参数相匹配，则在步骤640中对初始化计数器n进行增量，然后在步骤610、620中对包括该环视摄像机系统的该摄像机组中的下一个摄像机单独进行校准。上述关于图2a-2g所示的示例性实施例中，所述循环610、620、630、640被重复四(4)次以对该处所示的环视摄像机系统200中的各个摄像机220、230、240、250进行单独校准。
继续参考图6，校准方法600进一步包括步骤650：用于校准成对的摄像机，从而其图像能够以最小图像重叠伪影的方式“拼接”在一起，以及步骤660：用于将整个摄像机组作为一个群组而进行校准。如下文中进一步的详述，当整个环视摄像机系统中的每个摄像机都在循环610、620、630、640中被校准之后，第一示例性实施例的第一系统100的整个摄像机组120、130，第二示例性实施例的第二系统200的摄像机组220、230、240、250以及第三示例性实施例的第三系统300的摄像机组220、230、240、250、220'、230'、240'、250'被统一校准。该统一校准减少了在各个摄像机校准中出现的小误差，并且实现了摄像机视图间更好的相互配准。
图7是示出了根据实施例的用于单独校准环视摄像机系统的摄像机的方法，以确定每个摄像机的最佳镜头失真特性缩放因子的流程图。图7a-7c是示出了图7中所述优化过程的实际物体的图像的示意性立体图。如上所述，鱼眼镜头的图像失真。所述失真可以根据非失真的场角和失真的场角之间的联系来计算或表征。场角是由光线与镜头的光轴之间形成的角度。鱼眼镜头接收来自通常为半球形区域的入射光线，并且强烈地将光线进行弯曲向内、朝向光轴，以便将半球投影到成像器上。入射光线场角与出射光线场角之间的关系是非线性的，较大的入射场角会比较小的入射场角受到更大弯曲。镜头制造商通常提供标称镜头失真特性，如：
出射场角＝函数(入射场角)。
根据本文的示例性实施例，对镜头变化进行补偿和调整的缩放因子被添加到该等式中，如：
出射场角＝函数(缩放因子×入射场角)。
相应地，根据原始镜头特性和入射场角的缩放因子之间的乘积，在计算机系统400(图4)中导出或以其他方式计算或确定新的镜头特性。
接下来参照图7所示的方法700，在步骤702中，初始化参数n被设置为一(1)，在步骤704中获得摄像机n的失真表。通常地，失真表参数可以从摄像机制造商处获得，并且根据示例性实施例，失真表参数被存储在系统400的存储器410中。在步骤706中，缩放因子参数被设置为初始化值min，并且在步骤708中，最佳直线度参数被设置为初始化值＝0。直线物理客体(straightphysicalobject)780被放置在摄像机n的视场中，然后获得直线物理客体780的图像。图7a示出了直线物理客体780的未补偿图像770。
总的来说，失真量取决于单个镜头的特性。根据本文中的示例性实施例，第一校准是对失真特征缩放因子的优化，其与下文更详细描述的立体偏斜(也称为单应性)去除组合或者立体偏斜去除紧随着失真特征缩放因子优化。方法700在步骤720中使用当前摄像机n的标称镜头失真特性不会使得图像失真。在步骤722中确定或以其他方式获得电子图像中的直线度的测量。
在步骤724中，将在步骤722中确定的电子图像中的直线度的测量与电子图像中先前确定的直线度的测量的预定阈值best进行比较，并存储在系统400(图4)的存储器410中。例如，可以使用最小二乘拟合法来例如确定所获得的图像和映射到图像中的预期的直线的差异，其中使用所映射的直线与所获得的实际图像之间的差异来推导误差值参数。也可以使用其他的一种或多种方法。相对于在步骤720中为失真而处理的先前图像，如果在步骤720中直线度度量得到了改善，则在步骤725中将预定阈值best设置为步骤722中测量的直线度值。之后，在步骤726中，将产生目前最好直线度值的缩放因子进行存储。在由判定框724产生的任一情况下，在步骤728中，缩放因子与存储在存储器410中的镜头失真特性的预定缩放因子max进行比较，如果超出预定缩放因子max，则确定的目前最好缩放因子在步骤740中报告为最佳缩放因子，否则便简单地存储在存储器410中用于通过摄像机n获得更多的图像。另一方面，如果没有超出预定缩放因子max，则在步骤730中以0.001至0.005的典型步长来增加缩放因子，并且重复循环720、722、724、726、728，其中，图7a-7c是示出了图5所述的优化方法700的过程的直线物体的图像的示意性立体图。图7a示出了直线物理客体780的未补偿图像770，7b、7c示出了通过循环720、722、724、726、728的连续重复所产生的直线物理客体780的第一和第二补偿图像772、774。当然，需要理解的是，方法700执行用于系统200的各个摄像机。缩放因子的值接近1.0，其对应于使用标称镜头失真，并且变化仅有百分之几，通常为+/-1％或+/-2％。
在步骤740中确定的目前最好的缩放因子被报告为最佳缩放因子之后，在步骤750中确定当前环视摄像机系统中的所有摄像机是否已经单独优化。更具体地，将初始化值n与表示整个环视摄像机系统中摄像机总数的参数cameras_total进行比较。例如，在图1a-1d所示的实施例中，参数cameras_total＝2，在图2a-2f所示的实施例中，参数cameras_total＝4，在图3a-3j所示的实施例中，参数cameras_total＝8。在步骤760中，初始化值n被增量，并且包括步骤720、730和740的循环被重复直到每个摄像机都被单独优化。上述结合图2a-2d的示例性实施例中，循环720、730和740被重复四(4)次，以便对此处所示的环视摄像机系统200的每个摄像机220、230和250的镜头失真缩放因子进行单独优化。
图8是示出了根据实施例由系统400执行的用于校准第一示例性实施例的各个摄像机120、130的单应性矩阵参数，用于校准第二示例性的摄像机220、230、240、250的单应性矩阵参数，以及用于校准第三示例性实施例的摄像机220、230、240、250、220'、230'、240'、250'的单应性矩阵参数的方法800的流程图。通常，方法800执行用于确定各个摄像机单应性矩阵参数的校准过程，其中为每个摄像机单独确定的单应性矩阵h在来自于各个摄像机的结果图像中提供最小偏斜误差，最终，将在显示装置412上向操作员显示的组合结果图像中的摄像机对之间的最小偏斜量将在下文进行更详细地描述。图8a-8c是虚拟走廊地板上的方形物体的图像的示意性立体图，以简易方式形象地示出了图8中所述的偏斜失真优化的过程。
现在参考图8，该方法包括在步骤802中将多个物理标记a-d、e-h、s-v和w-z放置在车辆相邻的地面上的操作，并且它们被布置为例如如图2b-2e所示的那样。在示例性实施例中，例如，标记包括常规的重复棋盘式网格图案。围绕光轴将标记放置在图像中合理分离的位置而进行布置是有利的。标记可以以最适合于优化校准的预定距离而放置在偏移于或间隔于摄像机光轴的位置处。在步骤804中，对地平面标记a-d、e-h、s-v和w-z的位置进行物理测量并对位置进行记录，在步骤806中，使用第一摄像机获得的原始图像通过使用一个或多个由上述方法700确定的优化失真特性参数而实现不失真。在步骤808中得到的第一摄像机所获得的图像平面中来测量标记位置。应当理解，示例性实施例中使用至少四(4)个标记点来确保恰当的校准。另外，在这个过程中可以使用匹配滤波器关联掩模(matchedfiltercorrelationmasks)等。图8a示出了布置在建筑物走廊地板上的方形物理目标物体880实例的未补偿图像870。可以看出，图像中的目标物体880看起来是梯形的。
接下来，在步骤810中，获得了用于被校准活动摄像机的初始或“默认”单应性矩阵。在该步骤中，在描述该校准过程之前，将考虑通过平面投影变换来使用单应性矩阵将原始图像转换为经转换的图像。用(x，y)来表示原始图像上各点的坐标，用(x，y)表示经转换图像上各点的坐标。原始图像上的坐标(x，y)与经转换图像上的坐标(x，y)之间的关系由使用单应性矩阵h的下面第一个公式来表示。单应矩阵h为3×3矩阵，矩阵的每个元素由h1至h9来表示。并且，h9＝1(矩阵被归一化，使得h9＝1)。根据公式，坐标(x，y)和坐标(x，y)之间的关系也可以用下面的公式表示：
如果原始图像和经转换图像之间的四点的坐标的对应关系是已知的，则单应性矩阵h是唯一确定的。一旦获得单应性矩阵h，就可以根据上面的公式将原始图像上的给定点转换成经转换图像上的点。在本文的示例性实施例中，初始或标称单应性矩阵h被接收并存储在存储器410中，以便稍后通过下述示例性实施例的校准步骤来进行改进。
关于初始单应性矩阵的获取，获得或导出与单应性相关误差值有关的误差值。根据示例性实施例，执行数值优化函数以找到使总配准误差更小的单应性矩阵值。在一个实施例中，数值优化步骤包括单纯形法(simplexmethod)以提高所获图像与方形或矩形模板之间的保真度。在计算过程中，根据数值优化过程中得到的结果来调整单应性矩阵值。接下来，通过或使用改善的单应性矩阵值来使原始图像数据无偏斜。然后，该图像再次针对已知的方形或矩形网格图像进行测试，以确认提高的单应性相关校准参数值。
接下来，在步骤812中，使用所确定的单应性矩阵和优化的镜头失真特性参数来生成非失真的鸟瞰图。
图8a示出了方形物理目标物体880的未补偿图像870，图8b、8c示出了通过循环814、816、820、822、824的连续重复所产生的方形物理物体880的第一和第二补偿图像872、874。当然，需要理解的是，偏斜补偿优化方法800是针对系统200的每个摄像机同时进行执行的。
图9是示出了方法900的流程图，其中方法900更详细地示出了校准方法600(图6)的部分，其中校准方法600用于校准成对的摄像机650从而其图像能够以最小图像重叠伪影的方式“拼接”在一起，并且用于将整个摄像机组作为一个群组660而进行校准。现在转到该图，在步骤910中，示例性实施例的环视摄像机系统200中的各个摄像机对的误差被确定。接下来，在步骤920中，环视摄像机系统中所有摄像机对的合计的单个误差值被确定。在步骤930中，如果步骤920中所获得的整体组合误差低于预定阈值，则在步骤950中结束校准方法900。然而，如果步骤920中所获得的误差还没有低于存储在存储器412中的阈值threshold，则在步骤940中修改或调整所有摄像机对的单应性矩阵。此后，以迭代方式重复步骤910中的单独摄像机对的误差确定以及步骤920中的组合错误确定，直到系统中所有摄像机对的整体结果误差确定或实现在步骤930预定阈值处或预定阈值之下。或者，如果达到最大计算时间，则保留当前可用的摄像机单应性矩阵值的最佳值。
图10是示出了方法1000的流程图，其中方法1000更详细地示出了图9的单个摄像机对910中的误差确定。方法1000包括在步骤1002将初始化值n设置为预定的初始化整数(n＝1)。接下来，在步骤1010中，选择多个摄像机220、320、420和520中的第n个摄像机对，在步骤1012中，使用第n个摄像机对来获得图像。在步骤1014中，在使用第n个摄像机对获得的图像之间识别出共同图像重叠部分。图10a和10b示出了第一图像1025和第二图像1035的简单实例，其各自包括分配给逻辑状态on(“x”)或off(空白)的九(9)个边缘像素，其中第一图像1025选择了包括(1，1)、(2，2)、(3，1)和(3，3)的行/列位置处的边缘像素的逻辑on状态中的边缘像素进行配准(register)，其余的包括(1，2)、(1，3)、(2，1)、(2，3)和(3，2)位置处的边缘像素的逻辑off状态中的边缘像素进行配准。类似地，第二图像1035选择了包括(1，3)、(2，1)、(2，2)、(2，3)和(3，3)的行/列位置处的像素的逻辑on状态的边缘像素进行配准，其余的包括(1，1)、(1，2)、(3，1)和(3，2)位置处的边缘像素的逻辑off状态中的边缘像素进行配准。可以看出，对于简单的配准实例，(2，2)和(3，3)的行/列位置处的边缘像素处于相同的位置，因此在该实例中，第一和第二图像1025、1035的匹配百分比为2/4＝50％。
图10c示出了简单图像组的配准，其中示出了远离图像间接缝的图像的接合。如图所示，第一图像1027与第二图像1037一样是字母“a”的图像。如图所示的图像是非失真和无偏斜的，并且配准过程1000用于配准图像以实现图像间接缝区域以及图像间重叠区域的一致性。在图10c的实例中，图像“朝向”彼此旋转并视需要移位/平移以在最终的配准图像中产生重叠的“a”。在该示例性实施例中，方法1000同时调整用于成像“a”的各个摄像机的单应性矩阵，以实现最终配准图像中的两个“a”之间的像素(pixel-wise)重合。
图10d-10f示出了一对相邻图像的配准过程，其中示出了在图像之间的接缝处的接合。这些附图示出了重叠区域276(图2g)中的例如相邻摄像机230、250(图2a)所获得的一对图像1052、1054所形成的组合图像1050的未补偿实例。可以看出，由第二摄像机230成像的多个物理标记e-h和由第四摄像机250成像的多个物理标记w-z被合适地表征，但是它们之间的重叠在接缝1056处失调。
接下来，在图10流程图中所示的方法1000中，步骤1020从图像中提取边缘并确定第n个摄像机对的第一摄像机的边缘阈值，类似地，该方法包括提取边缘和在步骤1032中相对于第n个摄像机对的第二摄像机执行阈值。第一边缘阈值可以通过标准方法来确定，例如找到直方图最小值或otsu方法。更具体地，在步骤1020中，在第n个摄像机对的第一摄像机的图像中提取边缘，并且在步骤1022中边缘阈值在图像中被确定。相应地，在步骤1030中，第n个摄像机对的第二摄像机的图像中提取边缘，并且在步骤1032中，在第n个摄像机对的第二摄像机的图像中获得边缘阈值。根据示例性实施例，第二图像的边缘阈值被选择为使得在配准区域中存在多个或稍微更多的边缘像素。边缘像素的这种轻微可能的过度意味着当正确地配准时，第一图像的所有边缘像素应当具有匹配的对应部分。也就是说，第二边缘像素组应该是第一个边缘像素组的超集。因此将第一图像的边缘像素数量进行量化的测量在示例性实施例中被适当地使用。之后，在步骤1040中，使用诸如像素在相同位置处重叠的百分比的技术来确定第一摄像机对的误差。总的来说，环视摄像机系统200中的每对摄像机都执行包括步骤1010-1044的循环。
图10e示出了组合图像1050'的实例，其由图像对1052、1054形成，并且在初始组合图像1050上通过执行一次包括步骤1010-1044的循环来实现补偿。可以看出，由第二摄像机230成像的多个物理标记e-h和由第四摄像机250成像的多个物理标记w-z保持被合适地表征，并且它们之间的重叠在接缝1056处实现了更好地调整。类似地，图10f示出了组合图像1050”的实例，其由图像对1052、1054形成，并且在初始组合图像1050'上通过再次执行一次包括步骤1010-1044的循环来实现补偿。可以看出，由第二摄像机230成像的多个物理标记e-h和由第四摄像机250成像的多个物理标记w-z保持被合适地表征，并且重叠区域处的接缝1056在视觉上不存在。有利地选择配准区，使得其覆盖可能的接缝或图像缝合位置的两侧。
接下来，在图10的方法1000中，在步骤1042中确定环视摄像机系统200的摄像机组220、230、240和250的所有摄像机对是否已经过处理，如果没有经过处理，则在步骤1044中将计数器值n进行增量。在示例性实施例中，例如，对于第一和第二摄像机220和230、第二和第三摄像机230和240、第三和第四摄像机240和250，以及第四和第一摄像机250和220同时执行循环。本文中的示例性实施例的同时优化有利地考虑了所有摄像机对误差，将汇总的误差进行合计，以形成(一个)单个值，由此防止相邻摄像机对之间的任何配准或其他误差从一个摄像机对传播到下一个摄像机对。换句话说，相邻摄像机之间的配准误差并不是“堆叠”的，因此其不会导致发散的(diverging)优化方案，而是将整组配准误差同时缩放至收敛的(converging)优化方案。
根据本文的实施例，在其内或其上具有简单总体形状或简单图案的物体可以用于配准优化，但是应该理解，1维(1-d)物体的使用会在配准过程中带来一定量的模糊性。也就是说，1维物体可能沿着其长度“滑动”并在配准过程中仍然生成一条线，虽然线较短。相应地，优选为2维(2-d)物体，诸如大的“+”符号，因为不同的方向可以携带更多的配准信息。
更进一步地，诸如简单网格之类的周期性图案也会在配准过程中引入一定量的模糊性，因为网格图案可能略过两个方形并仍然使得在组合配准中再次实现良好拟合。相应地，本文的实施例考虑了在配准优化过程中使用非周期性图案。图10g示出了这种非周期性图案1060的例子。
仍然更进一步地，在示例性实施例中使用颜色来携带信息。一个非周期性的、2维的、多个颜色的物体是优选的，因为它减少了配准中的模糊性。在该实施例中，该过程也查找像素之间的颜色差异，给每个像素相比于仅在某个位置处的边缘更多的标识。颜色组理想地仅仅为几个值，以便适应照明的差异(即，例如深蓝色将匹配更淡的蓝色)。
图11是示出方法1100的流程图，其中方法1100用于确定图9所示步骤920中所有摄像机对的单个误差值。现在参考该图，方法1100在1102处设置总误差初始化值，并且进一步在1104处设置计数器初始化。此后，总误差被添加到图10对应的上述方法1000所得的第n个摄像机对误差。在步骤1108中判断是否已经处理了包括环视摄像机系统200的摄像机组的所有摄像机对，如果没有，则循环计数器在步骤1110中进行增量。否则，如果所有摄像机对都被处理，在步骤1120中计算平均距离。在步骤1120中计算的这个平均误差被用于调整或修改所有摄像机的单应性矩阵，诸如上面所述和所示，例如在图9的步骤940中。
最后继续参考图11，方法1100包括步骤1150，用于优化整个组合图像相对于已知地面标记的旋转配准，并且还用于优化整个组合图像相对于已知地面标记的移位/平移配准。立体偏斜和变焦效果(zoomeffect)也可以在最后一步中考虑。图11a-11c是组合图像1160的补偿移动的示意图，其示出了图11的步骤1150中所述的旋转和移位/平移配准优化的过程。图11a示出了组合图像1160逆时针旋转并相对于具有已知形状和位置的参考物体和/或标记1170向上的移位。如图11b所示，方法步骤1150用于将组合图像1160向下垂直平移到相对于已知参考物体的期望位置。进一步，如图11c所示，方法步骤1150用于将组合图像1160顺时针旋转至相对于已知参考物体的期望指向。
根据本文的实施例，存在用于计算目前互锁视图的最终校正的两个备选方案。上面仅仅描述了一种迭代方案，其中使用全局数值优化来减少相应真实地面到重建地面位置之间的平均距离。或者，可以使用单步单应性计算，产生将标记相对于物理地面实况移动到其正确位置的全局单应性映射。单独优化的摄像机单应性矩阵可以乘以全局单应性矩阵，产生最终的、调整至物理真实地面的互锁鸟瞰图。
总之，根据本文的示例性实施例，在具有放置在车辆上选定位置处的摄像机的车辆中提供了优化的鸟瞰图或360°环视成像系统。为了仅仅描述示例性实施例的总体方面而不对其进行限制，用于提供优化的鸟瞰图或360°环视成像系统并用于优化或校准该系统的步骤的简要概述，将立即在下面使用简单的图片拼图类比以及参照图12来进行陈述。最初，使用鱼眼镜头摄像机拍摄摄像机附近各片地面的图像1202。第一步是从其鱼眼视图创建单独的非失真的片1203。这是通过使用每个片中已知外观的特征(例如直线)来完成的。第二步是确定由摄像机重新创建的该片1204和地面(使用地面上的标记)之间的单对应关系h。结果是片1205以近似正确的位置和空间姿态在地面附近或在地面上的非失真的投影。第三步是取这些大致正确的投影的片并将它们锁定并配准在一起a-a，b-b，c-c，等等，从而使它们彼此一致1206。这个此时锁在一起的拼图1206可以是离开地面的或从其在地面上的正确位置上被移位的。第四步也是最后一步确保这些此时配准的片1208位于地面1209上的适当位置。在示例性实施例中，这是通过比较拼图中和地面上的标记的位置来实现的。
以上对示例性实施例进行了描述。当然，描述出组件或方法的所有可能性组合是不可能的，但是本领域的普通技术人员将认识到，示例性实施例的许多进一步的组合和置换是可能的。相应地，本申请旨在涵盖落入所附权利要求的精神和范围内的所有这样的变更、修改和变型，所述权利要求根据其公正、合法和平等地授权幅度来进行解释。