用于车辆摄像机的在线校准的方法和装置制造方法
【专利摘要】一种用于确定布置在车辆上的摄像机相对于车辆坐标系的取向的方法，所述方法包括：基于所述摄像机的视频流的光流测量所述摄像机的坐标系中的增量车辆运动；以由直线运动分量和转动运动构成的运动表示所述增量车辆运动，其中，以方向向量表示所述直线运动，以转动轴和转动角表示所述转动运动；基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动；测量至少一个分类为直线运动的增量运动；测量至少一个分类为转动运动的增量运动；和使用至少一个所测量的直线运动的方向向量来估算车辆的纵轴；使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得所述摄像机相对于车辆坐标系的取向是由在所述摄像机的坐标系中已经分别确定的车辆纵轴和所述车辆平面的法线推出的。
【专利说明】用于车辆摄像机的在线校准的方法和装置
[0001] 本发明涉及一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向，即自动 的摄像机-车辆校准（以下称为在线校准）的方法和装置。
[0002] 目前，摄像机相对于车辆的取向的确定通过所谓的离线校准来执行。这涉及在车 辆生产周期结束时专门的硬件设置。
[0003] 该过程既不灵活，同时还是昂贵的。这种死板的校准过程的最大缺点在于假设摄 像机取向在最终使用者（驾驶员）使用车辆期间不会变化。但是，机械负载和温度影响导 致去校准，也即是说，导致实际值和工厂确定值之间的差异。因此，存在在实际使用期间发 生摄像机系统去校准的技术问题（通过机械负载和温度影响对车辆结构的影响），这导致 摄像机相对于车辆不精确或错误的定位，从而导致对例如驾驶员辅助系统（ADAS)的不精 确或错误的输入数据。
[0004] 为此，车辆制造商对通过在最终使用者处全自动的校准来替换或补充离线校准非 常感兴趣。
[0005]因此，本发明的一个目的是这种全自动校准，以及驾驶时自动校正发生的去校准。
[0006] 已经存在的用于在线校准的方法基于道路标志的检测或基于检测道路上的特征。 而首先提及的方法导致对适合于校准的环境的严格限制；后者提及的方法易于产生错误， 这是因为一方面不能总是满足在特定图像区域内平整道路的假设，另一方面稀疏的柏油路 纹理是对于特征提取非常不利的环境。
[0007] 基于道路标志检测的构想例如在人.Cataldi-Prat、J.Rataj和R.Reulke的 Self-calibrationsystemfortheorientationofavehiclecamera,Proc.ofthe ISPRSCom.VSymposium:ImageEngineeringandVisionMetrology，2006，第 68 - 73 页，以及在S.Hold、S.Gormer、A.Kummert、Μ·Meute和S.Muller-Schneiders的Anovel approachfortheonlineinitialcalibrationofextrinsicparametersfora car-mountedcamera,IntelligentTransportationSystems, 2009.ITSC^ 09. 12th Inter-nationalIEEEConferenceon，IEEE，2009，第I_6 页，或在M.Wu和X.An的 Anautomaticextrinsicparametercalibrationmethodforcamera-〇n-vehicle onstructuredroad,VehicularElectronicsandSafety,2007.IC-VES.IEEE InternationalConferenceon，IEEE，2007，第I_5 页中进行描述。
[0008] 在M.Miksch、B.Yang和K.Zimmermann的Homography-basedextrinsic self-calibrationforcamerasinautomotiveapplications,WorkshoponIntelligent Transportation, 2010，第17 - 22页中的描述的系统使用柏油路的自然纹理用于校准，但 是，其假设了平整的柏油路，且其在图像中的取向需要是已知的，而且系统需要车辆里程 计。
[0009] 因此，本发明的一个目的是提供一种避免所述现有技术的缺点的在线校准方法和 装直。
[0010] 根据一个实施方案，提供了一种用于确定连接到车辆的摄像机相对于车辆坐标系 的取向的方法，其包括： toon] 基于摄像机的视频流的光流测量摄像机的坐标系中的增量车辆运动；
[0012] 以由直线运动分量和转动运动构成的运动表示增量车辆运动，其中，以方向向量 表示所述直线运动分量，以转动轴和转动角表示所述转动运动；
[0013] 基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动；
[0014] 测量至少一个已经分类为直线运动的增量运动；
[0015] 测量至少一个已经分类为转动运动的增量运动；和
[0016] 使用至少一个所测量的直线运动的方向向量来估算车辆的纵轴；
[0017] 使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得摄像机 相对于车辆坐标系的取向是由摄像机的坐标系中已经分别确定的车辆纵轴和车辆平面的 法线推出的。
[0018] 通过使用只是视觉里程计的数据，可以省略其它信息来源。这些用于在线校准的 数据的使用通过使用车辆运动的相对简单的模型成为可能，所述模型将运动分类为转动运 动或直线运动，且之后基于此的所述模型直接基于所测量的运动确定车辆纵轴或车辆法线 的估算。
[0019] 根据一个实施方案，所述方法还包括：
[0020] 测量多个增量车辆运动；
[0021] 使用车辆纵轴和转动轴的多个估算来确定对车辆纵轴和转动轴的改善的估算。
[0022] 通过将多个测量值包括进估算中，可以提高精确度。
[0023] 根据一个实施方案，所述方法还包括：
[0024] 当增量车辆运动的转动角小于特定阈值时，将运动分类为直线运动；
[0025] 当增量运动的转动角大于特定阈值时，将运动分类为转动运动。
[0026] 这样，车辆运动可以以简单的方式分类为两种类别"直线运动"或"机动/曲线/ 转动运动"中的一种。
[0027] 根据一个实施方案，所述方法还包括：
[0028] 使用直线运动或直线运动分量的平面的法线作为对除了转动轴之外的车辆纵轴 的垂线的另一估算；
[0029] 基于所确定的直线运动或运动分量的垂线和转动运动的转动轴的结合来确定对 车辆平面的法线的估算。
[0030] 因此，还可以考虑以下事实：直线运动的平面（穿过其法线）传达了关于车辆法线 的信息和由此关于转动轴的信息。
[0031] 根据一个实施方案，基于由测量确定的或由直线运动分量确定的直线运动的平面 的法线与转动向量应当平行的要求来确定所述结合。
[0032] 这使得直线运动和转动运动的数据能够融合。
[0033] 根据一个实施方案，通过增量车辆运动的重复测量来迭代地确定车辆的纵轴和车 辆的法线的估算值。
[0034] 这提高了估算的精确度。
[0035] 根据一个实施方案，所述方法还包括：
[0036] 通过测量i将车辆的法线的更新值确定为：
【权利要求】
1. 一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的方法，其包括： 基于所述摄像机的视频流的光流测量所述摄像机的坐标系中的增量车辆运动； 以由直线运动分量和转动运动构成的运动表示所述增量车辆运动，其中，以方向向量 表示所述直线运动分量，以转动轴和转动角表示所述转动运动； 基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动； 测量至少一个已经分类为直线运动的增量运动； 测量至少一个已经分类为转动运动的增量运动；和 使用至少一个所测量的直线运动的方向向量来估算所述车辆的纵轴； 使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得所述摄像机 相对于车辆坐标系的取向是由在所述摄像机的坐标系中已经分别确定的车辆纵轴和所述 车辆平面的法线推出的。
2. 权利要求1所述的方法，其还包括： 测量多个增量车辆运动； 使用车辆纵轴和转动轴的多个估算来确定对所述车辆纵轴和所述转动轴的改善的估 算。
3. 权利要求1或2所述的方法，其还包括： 当所述增量车辆运动的转动角小于特定阈值时，将所述运动分类为直线运动； 当所述增量运动的转动角大于特定阈值时，将所述运动分类为转动运动。
4. 前述权利要求中任一项所述的方法，其还包括： 使用所述直线运动或所述直线运动分量的平面的法线作为对除了所述转动轴之外的 所述车辆纵轴的垂线的另一估算； 基于所确定的直线运动或运动分量的垂线和所述转动运动的转动轴的结合来确定对 所述车辆平面的法线的估算。
5. 权利要求4所述的方法，其中， 基于由所述测量确定的或由所述直线运动分量确定的所述直线运动的平面的法线与 所述转动向量应当平行的要求来确定所述结合。
6. 前述权利要求中任一项所述的方法，其中， 通过所述增量车辆运动的重复测量来迭代地确定所述车辆的纵轴和所述车辆的法线 的估算值。
7. 权利要求6所述的方法，其包括： 通过测量i将所述车辆的法线的更新值确定为：
其中，= +馬是权重或信息矩阵，且其中，Qt和义是直 线车辆轴或所述车辆的法线的协方差矩阵，所述协方差矩阵具有高斯过程噪声。
8. -种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的装置，其包括： 用于基于所述摄像机的视频流的光流测量所述摄像机的坐标系中的增量车辆运动的 模块； 用于以由直线运动分量和转动运动构成的运动表示所述增量车辆运动的模块，其中， 以方向向量表示所述直线运动分量，以转动轴和转动角表示所述转动运动； 用于基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动的模 块； 用于测量至少一个已经分类为直线运动的增量运动的模块； 用于测量至少一个已经分类为转动运动的增量运动的模块；和 用于使用至少一个所测量的直线运动的方向向量来估算所述车辆的纵轴的模块； 用于使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线的模块，使得 所述摄像机相对于车辆坐标系的取向是由在所述摄像机的坐标系中已经分别确定的车辆 纵轴和所述车辆平面的法线推出的。
9. 权利要求8所述的装置，其还包括： 一个或更多个用于实施根据权利要求1至7中任一项所述的方法的模块。
10. -种计算机程序，其包括： 计算机程序代码，所述计算机程序代码在计算机上执行时使得其能够实施根据权利要 求1至7中任一项所述的方法。
【文档编号】G06T7/00GK104246825SQ201380006092
【公开日】2014年12月24日 申请日期:2013年1月17日 优先权日:2012年1月20日
【发明者】克里斯多夫·普夫卢格, 朱里·普拉托诺夫, 帕维尔·卡奇马尔斯基, 托马斯·加保尔 申请人:Esg电子系统及逻辑股份有限公司