具有自动对准的鸟瞰视野监测系统的制作方法
【专利摘要】本申请公开了一种具有自动对准的鸟瞰视野监测系统。一种环绕视野监测系统(10)，配置为合成车辆(12)周围区域(16)的鸟瞰视野图像(14)，该系统包括摄像头(18)和控制器(30)。摄像头(18)被配置为捕捉车辆(12)周围视野(22)的当前图像(20)并输出指示该当前图像(20)的信号(24)。当前图像(20)包括车辆(12)的特征(26)。控制器(30)被配置为接收该信号(24)、将当前图像(20)与来自系统(10)的初始化校准的参考图像(32)进行比较。参考图像(32)也包括该特征(26)。控制器(30)进一步配置为确定该当前图像(20)的修正表(34)来将当前图像中的该特征(26)与参考图像(32)中的该特征(26)进行对准。
【专利说明】具有自动对准的鸟瞰视野监测系统发明领域
[0001]本申请公开了一种具有自动对准的鸟瞰视野监测系统。本公开大体上涉及配置为合成车辆周围区域的鸟瞰视野图像的系统，且更特定地，涉及使多个摄像头对准的方式，该方式使用出现在来自摄像头的图像内的车辆特征作为对准引导来使得系统的摄像头对准。
【背景技术】
[0002]配置为合成车辆周围区域的鸟瞰视野图像的环绕视野监测或鸟瞰视野图像系统是已知的。这样的系统一般具有多个摄像头，且来自这些摄像头的每一个摄像头的图像被组合或“缝合”在一起来形成或合成鸟瞰视野图像。为了能形成鸟瞰视野图像且在鸟瞰视野图像中没有令人不快的不连续，每一个摄像头需要被物理地对准，和/或来自每一个摄像头的图像需要被电子地对准。对准过程可包括安装前摄像头的工厂对准，和/或包括当系统被首次安装在车辆上时该系统的初始化校准。这个初始化校准可采用已知视觉目标的排布来帮助该初始化校准。
[0003]在系统的寿命期间，例如由于对于摄像头的无意中的损害，可需要替换一个或多个摄像头。该替换可能引入摄像头的不对准，该不对准导致鸟瞰视野图像中不期望的不连续。进一步，车辆振动和/或暴露于温度极端状况可能引入摄像头的不期望的不对准。对于车辆拥有者而言，必须雇用有资格的技术人员来重新对准摄像头是不方便的且昂贵的，并且如果仅在温度极端状况下发生这样的不对准，则这种重新对准对于修正问题可能并非是有效的。需要的是让系统周期性地自动检查来自摄像头的图像对准的方式。
【发明内容】
[0004]根据一个实施例，提供了配置为合成车辆周围区域的鸟瞰视野图像的环绕视野监测系统。该系统包括摄像头和控制器。摄像头被配置为捕捉车辆周围视野的当前图像并输出指示该当前图像的信号。当前图像包括车辆的特征。控制器被配置为接收该信号、将当前图像与来自系统的初始化校准的参考图像进行比较。参考图像也包括该特征。控制器进一步配置为确定当前图像的修正表来将当前图像中的该特征与参考图像中的该特征进行对准。
[0005]在阅读优选实施例的下列详细描述后，进一步的特征和优势将更清楚地呈现出，这些优选实施例仅作为非限定性的例子且结合附图而给出。
[0006]附图简述
[0007]现在将参考附图借助示例来描述本发明，在附图中:
[0008]图1是根据一个实施例的安装在车辆上的环绕视野监测系统的俯视图；
[0009]图2是根据一个实施例的图1的系统的示意图；
[0010]图3是根据一个实施例，当将系统的摄像头对准时，由图1的系统提供的鸟瞰视野图像；
[0011]图4是根据一个实施例，当没有将系统的摄像头对准时，由图1的系统提供的鸟瞰视野图像；
[0012]图5A是根据一个实施例的来自图1的系统的摄像头的当前图像；
[0013]图5B是根据一个实施例的来自图1的系统的摄像头的参考图像；
[0014]图6A是根据一个实施例的图5A的图像中车辆特征的表示；
[0015]图6B是根据一个实施例的图5B的图像中车辆特征的表示；以及
[0016]图6C是根据一个实施例的图6A和图6B的覆盖图的表示。
[0017]详细描述
[0018]图1示出安装在车辆12上的环绕视野监测系统(以下称为系统10)的非限制性示例。一般而言，系统10配置为合成车辆12周围区域16的鸟瞰视野图像14(图3)。如在以下描述中将变得明显地，此处描述的系统10从安装为具有对于车辆12周围的不同视野的多个摄像头捕捉图像，且将这些图像电子地组合或“缝合在一起”以形成或合成鸟瞰视野图像14。此处描述的系统10的优势在于使得多个图像的对准自动化。对准是必须的，使得鸟瞰视野图像14不具有令人不快的不连续。有利地，如果一个或多个摄像头变得不对准，车辆12不需要送去技术人员那里进行摄像头对准。
[0019]系统10包括摄像头18。以示例的方式而非限制，摄像头18可以是左视野摄像头18L、右视野摄像头18R、前视野摄像头18F、和/或后视野摄像头18B。此处描述的系统10的非限制性示例示出四个摄像头，但是可构想具有多于或少于四个摄像头的系统。在这个实例中，示出四个摄像头，因为这样看起来在成本和性能之间具有良好平衡，其中如果使用多于四个摄像头则成本可不期望地增加，且如果使用少于四个摄像头，则性能(即，鸟瞰视野图像14的质量)可不期望地减少。如此处所使用地，摄像头18可指所示摄像头中的任何一个和/或全部。如在之后的描述中将变得明显地，此处提供的非限制性示例的焦点一般涉及左视野摄像头18L。然而，对于摄像头18的引用并不被解释为限制到左视野摄像头18L。
[0020]摄像头18配置为捕捉车辆12周围的视野22的当前图像20 (图5A)。由于此处描述的系统10的非限制性示例具有四个摄像头，视野22可包括左视野22L、右视野22R、前视野22F、和后视野22B。作为摄像头18，视野22可指所示视野中的任何一个和/或全部。如在之后的描述中将变得明显地，此处提供的非限制性示例的焦点一般涉及左视野22L。然而，对于视野22的引用并不被解释为限制到左视野22L。一般而言，左视野22L、右视野22R、前视野22F、和后视野22B覆盖或构成区域16。
[0021]图2进一步示出系统10的非限制性细节。摄像头18 —般配置为输出指示当前图像20(图5A)的信号24。视野22可包括车辆12的一部分，因此当前图像20可包括车辆12的特征26 (图5A)的图像，诸如车辆12的车体边界或边缘。
[0022]继续参看图2，系统10可包括配置为接收信号24的控制器30。控制器30可包括诸如微处理器的处理器(未示出)或其它控制电路，例如模拟和/或数字控制电路，包括本领域内技术人员熟知的用于处理数据的专用集成电路(ASIC)。控制器30可包括存储器(未示出)，包括非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)，用以存储一个或多个例程、阈值和捕捉的数据。可由处理器执行一个或多个例程从而执行步骤用于确定来自此处描述的各摄像头的图像是否被对准。
[0023]特别地，控制器30配置为将当前图像20 (图5A)与来自系统10的初始化校准的参考图像32进行比较。如此处所使用地，术语“初始化校准”被用于指在系统10被安装到车辆后执行的校准过程，以使得特征236在参考图像32中的位置可被存储，如果有必要，将来被用于对准摄像头18。由此，系统10的初始化校准有别于在系统10安装到车辆上之前的系统10的工厂校准，且有别于依赖于将几何图案或已知目标放置在车辆12周围以帮助摄像头对准的任何校准过程。由于当前图像20和参考图像32两者均包括特征26，特征26在各图像中的位置可被用于确定由信号24指示的当前图像20的修正表34(图2)从而将当前图像20中的特征26与参考图像32中的特征26对准，修正表34 —般存储在控制器30内。
[0024]图6A和6B示出分别与图5A和5B中所示的图像对应的当前图像20和参考图像32的经图像处理的版本的非限制性示例，其中车辆12的边缘36被定义在每一个图像中。图像处理使用已知算法来确定车辆12的当前边缘36A在当前图像20中的位置，以及参考边缘36B在参考图像32中的位置。要注意，仅为了在当前边缘36A和参考边缘36B两者均被示出在组合图像38 (图6C)中时将当前边缘36A和参考边缘36B区分开的目的，用虚线表示当前边缘36A在图6A中的图示。
[0025]图6C进一步示出可存储在修正表34内并被施加至当前图像20从而将当前图像20与参考图像32对准的各种方向性调整或方向性修正。该修正表可包括，但不限于，用于做出左/右方向调整的水平旋转(pan)角度40、用于做出上/下方向调整的偏转(yaw)角度42、以及用于做出顺时针/逆时针调整的滚转(roll)角度44。当这些调整应用于指示当前图像20的信号24时，当前边缘36A可被移动以覆盖参考边缘，以使得摄像头18 (在该示例中是左视野摄像头18L)与其他摄像头(例如右视野摄像头18R、前视野摄像头18F、和后视野摄像头18B)合适地对准。
[0026]图4示出其中摄像头18 (如，左视野摄像头18L)没有被合适地对准的失准视图48的非限制性示例。图4对应于如果图5A中所示的当前图像20没有被修正或对准则将被提供的鸟瞰视野图像。图3示出在图5A中所示的当前图像20被对准以使得当前图像20中的边缘36 ( S卩，当前边缘36A)被修正或与参考图像32中的参考边缘36B对准后将会被提供的鸟瞰视野图像的示例。
[0027]由于摄像头18可能在任何时间因振动或温度极端状况而变得失准，如果控制器30配置为周期性地(例如每分钟一次)对准当前图像，则会是有利的。当系统10在例如较冷温度(如，〈(TC )下被合适地对准但是在升高的温度下(如<30°C )变得失准时，周期性对准会特别有用。
[0028]区域16可包括在车辆12下方的表面(如，地面)，其具有色彩和/或照明，这使得难以将地面与车辆12本体区分开。由此，如果控制器30配置为仅在车辆12 (例如以大于每小时30公里(30kph)的速度)移动时执行初始化校准和/或对准过程，则会是有利的。期望的是，当车辆12以足够速度移动时，作为车辆12底下的路面的视野22的部分将在外观上发生变化。由此，如图像处理领域的技术人员了解地，作为车辆12的视野22的未变化的部分将更容易与路面区分开。
[0029]如果控制器30配置为仅在环境光亮度大于照明阈值时执行初始化校准和/或对准过程，也会是有利的。以示例的方式，照明阈值可对应于多云天的中午。如果使用这个照明阈值，则当例如来自街灯的人工照明可使得控制器30难以确定边缘36的位置时的晚上，将不执行对准。
[0030]因此，提供了配置为合成车辆12周围区域的鸟瞰视野图像14的环绕视野监测系统(系统10)。系统10有利地利用所捕捉图像中的车辆12的特征来调整系统摄像头的对准。基于特定特征在大约在作出调整时的时间所捕捉的当前图像20中的位置与特定特征在大约在系统10初始地安装到车辆12上时的时间所捕捉的参考图像中的位置之间的比较，来做出该调整或对准。由于可在背景中执行这样的对准，这样的对准方案是有利的，以使得倘若发生失准时，车辆拥有者不需要雇佣有经验的技术人员来对准系统。进一步，该系统可补偿由于温度变化弓I起的对准中的变化。
[0031]尽管已根据其优选实施例对本发明进行了描述，然而本发明不旨在被如此限制，而是仅受随附权利要求书中给出的范围限制。
【主权项】
1.一种环绕视野监测系统(10)，配置为合成车辆(12)周围区域(16)的鸟瞰视野图像(14)，所述系统(10)包括: 摄像头(18)，所述摄像头被配置为捕捉车辆(12)周围视野(22)的当前图像(20)并输出指示所述当前图像(20)的信号(24)，其中所述当前图像(20)包括所述车辆(12)的特征(26);和 控制器(30)，所述控制器配置为接收所述信号(24)、将所述当前图像(20)和来自所述系统(10)的初始化校准的参考图像(32)比较，其中所述参考图像(32)包括所述特征(26)、并且确定所述当前图像(20)的修正表(34)从而将所述当前图像(20)中的所述特征(26)与所述参考图像(32)中的所述特征(26)对准。2.根据权利要求1所述的系统(10)，其特征在于，所述特征(26)是所述车辆(12)的边缘(36) ο3.如权利要求1所述的系统(10)，其特征在于，所述修正表(34)包括水平旋转角度(40)、偏转角度(42)、以及滚转角度(44)。4.如权利要求1所述的系统(10)，其特征在于，所述控制器(30)配置为周期性地对准所述当前图像(20)。5.如权利要求1所述的系统(10)，其特征在于，所述控制器(30)配置为仅当所述车辆(12)在移动且环境光亮度大于照明阈值时执行所述初始化校准。
【文档编号】B60R1/00GK105984387SQ201510064891
【公开日】2016年10月5日
【申请日】2015年2月6日
【发明人】于萌萌, 马光林, 蒋如意
【申请人】德尔福电子(苏州)有限公司