专利名称：通过地平线估计进行的摄像机自动校准的制作方法
技术领域：
本发明总体上涉及一种用于提供摄像机图像中的地平线估计的系统和方法，更具体地说，涉及一种用于提供摄像机图像中的地平线估计，以便在俯仰方向上对摄像机进行 校准的系统和方法。
背景技术：
现代车辆有时候包括一个或多个摄像机，这些摄像机提供支持协助，采集车辆驾驶员的图像以确定驾驶员的睡意和注意力，为了防止碰撞的目的而在车辆行驶时提供路面 的图像，提供建筑物-例如路标的识别等等。对于这些图形在摄像机图像上叠加的应用来 说，准确地校准摄像机相对于车辆的位置和方位是很关键的。由于制造公差，每辆车都必须 执行独立的终检线摄像机校准(end-of-line camera calibration)或后续市场摄像机调 节，以便进行例如预定车辆路线的准确叠加。某些已知的摄像机系统不提供摄像机校准，但是可以恢复到一个默认值，该默认值可能提供多度误差。其他摄像机系统提供如下预校准方法在车辆坐标系中手动标注摄 像机图像上的点并手动测量特征点位置，例如通过提供图像的检测板图案(checker board pattern) 0然而，这些校准技术通常耗时，且必须在服务站实施。因此，如果车辆正在行驶 并且撞到路面上的不平物或其他障碍物，则摄像机位置可能改变，校准可能不准确，直到将 车辆移到服务站进行校正。摄像机校准包括确定将摄像机图像坐标与地球坐标相关联以及将地球坐标与摄像机图像坐标相关联的一组参数。一些摄像机参数-例如摄像机焦距、光心等都是固定的， 然而其他参数-例如摄像机方位和位置却不是固定的。例如，摄像机的高度取决于车辆的 负载，其随时会变化。这种变化引起摄像机图像上的车辆轨迹的不准确的叠加图形。因此， 需要一种摄像机校准程序，其在车辆被驱动时自动地校准不太稳定的摄像机参数，该车载 摄像机系统持续地随时进行自我适应。摄像机图像中的地平线估计提供一种技术，通过该技术可以校准摄像机图像，特别是在俯仰方向上。然而，依赖于地平线估计的公知的摄像机校准技术通常是不准确且不 可靠的。
发明内容
根据本发明的教导，公开一种用于估计摄像机图像中的地平线以提供俯仰方向上的摄像机自动校准的系统和方法。该方法包括摄取一个场景的图像并采用地平线边缘 检测分析来产生该图像的纹理地图，以定位该场景中的地平线边缘。该方法还包括通过提 供连续图像之间的图像差别来提供运动地图，以便在车辆移动时找出图像中没有运动的 区域。将纹理地图和运动地图相组合来识别图像中不运动且包含地平线边缘的候选区域 (candidate areas)。通过计数地图中候选区域中的地平线方向上的白点，从组合地图中产 生地平线投影。使该地平线投影平滑化以消除干扰，并且通过识别地平线投影中的最大峰值来估计图像中的地平线位置。然后，估计出的地平线就可以被用于自动校准程序，以校准 摄像机。方案1、一种用于估计摄像机图像上的地平线的方法，所述方法包括提供源于摄像机的第一和第二图像；提供源于所述图像中的一个的纹理地图，该纹理地图对所述图像中的边缘进行定位；提供源于所述第一和第二图像之间的差别的运动地图，该运动地图对所述图像中没有发生运动的区域进行定位；将所述纹理地图和所述运动地图进行组合以识别组合地图中不运动且包括地平线边缘的位置；提供包括所述组合地图中沿地平线方向的一定数量的位置的地平线投影，这些位置识别出所述组合地图中的地平线边缘的数量；对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰；以及识别平滑处理过的地平线投影中的最大峰值，该最大峰值识别出所述图像中的估 计地平线。方案2、根据方案1所述的方法，其中，提供纹理地图包括采用地平线边缘检测分 析来定位地平线边缘。方案3、根据方案2所述的方法，其中，提供地平线边缘检测分析包括采用Sobel滤 波。方案4、根据方案1所述的方法，其中，所述纹理地图中的边缘、所述组合地图中的 位置以及所述地平线投影中的位置都是白点。方案5、根据方案1所述的方法，其中，对所述地平线投影进行平滑处理包括采用 Gaussian平滑滤波器。方案6、根据方案1所述的方法，其中，所述地平线投影是地平线直方图。方案7、根据方案1所述的方法，其中，所述摄像机是车载摄像机。方案8、根据方案1所述的方法，还包括采用地平线估计来更新摄像机的俯仰角。方案9、一种用于估计摄像机图像中的地平线的方法，所述方法包括提供源于摄像机的第一和第二图像；提供源于所述图像中的一个的纹理地图，该纹理地图将所述图像中的地平线边缘 定位成白点，其中，提供纹理地图包括采用地平线边缘检测分析来定位地平线边缘；提供源于所述第一和第二图像之间的差别的运动地图，该运动地图将所述图像中 没有发生运动的区域定位成白点；将所述纹理地图和所述运动地图进行组合以便将组合地图中不运动且包括地平 线边缘的位置识别成白点；提供包括所述组合地图中沿地平线方向的一定数量的白点的地平线投影，这些白 点识别出所述组合地图中的地平线边缘的数量；对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰；以及识别平滑处理过的地平线投影中的最大峰值，该最大峰值识别出所述图像中的估 计地平线。
方案10、根据方案9所述的方法，其中，提供地平线边缘检测分析包括采用Sobel 滤波。方案11、根据方案9所述的方法，其中，对所述地平线投影进行平滑处理包括采用 Gaussian平滑滤波器。方案12、根据方案9所述的方法，其中，所述地平线投影是地平线直方图。方案13、根据方案9所述的方法，其中，所述摄像机是车载摄像机。方案14、根据方案9所述的方法，进一步包括采用地平线估计来更新摄像机的俯仰角。方案15、一种用于估计摄像机图像中的地平线的系统，所述系统包括用于提供源于摄像机的第一和第二图像的装置；用于提供源于所述图像中的一个的纹理地图的装置，该纹理地图将所述图像中的边缘定位成白点；用于提供所述第一和第二图像之间的差别的运动地图的装置，该运动地图将所述 图像中没有发生运动的区域定位成白点；用于将所述纹理地图和所述运动地图进行组合以便将组合地图中不运动且包括 地平线边缘的位置识别成白点的装置；用于提供地平线投影的装置，该地平线投影包括所述组合地图中沿地平线方向的 一定数量的白点，这些白点识别出所述组合地图中的地平线边缘的数量；用于对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰的装置；以 及用于识别平滑处理过的地平线投影中的最大峰值的装置，该最大峰值识别出所述 图像中的估计地平线。方案16、根据方案15所述的系统，其中，用于提供纹理地图的装置采用Sobel滤 波。方案17、根据方案15所述的系统，其中，用于对地平线投影进行平滑处理的装置 采用Gaussian平滑滤波器。方案18、根据方案15所述的系统，其中，所述地平线投影是地平线直方图。方案19、根据方案15所述的系统，其中，所述摄像机是车载摄像机。方案20、根据方案15所述的系统，进一步包括采用地平线估计来更新摄像机的俯 仰角的装置。结合附图，从下面的描述和所附权利要求书，可以清楚本发明的其他特征。
图1是示出一种用于提供摄像机图像地平线估计的程序的流程图表；以及图2是示出一种采用地平线估计来提供摄像机自动校准的系统的框图。
具体实施例方式下面对本发明实施例的论述涉及一种用于提供摄像机图像中的地平线估计以便 在俯仰方向上对摄像机进行自动校准的系统和方法，该论述实质上仅仅作为示例，并不对本发明及其应用或使用进行限制。例如，本发明特别用于校准车载摄像机。然而，如本领域技术人员将会意识到的，本发明还可应用于除车载摄像机之外的其它摄像机。图1为流程图表10，其示出了用于估计摄像机图像中的地平线的方法。车辆前方的道路在时间k时用摄像机图像12表示，在时间k+Ι时用摄像机图像14表示。如下所述， 该方法估计图像12和14中的地平线，该地平线基本上是一条包含许多地平线边缘的直线， 天空和道路在这些地平线边缘处相交。地平线在从一幅图像到下一幅图像中基本上是相同 的，使得该值可被用于在俯仰方向上对摄像机进行校准。该方法的下一个步骤是使用地平 线结构分析产生一个纹理地图16，以提供地平线边缘检测。该地平线边缘检测可采用任何 合适的滤波过程-例如Sobel滤波来识别图像12中的地平线边缘。特别地，如果图像12中 的地平线边缘响应超出限定地平线边缘的某一阈值，则那个位置就用一个白点30来识别， 白点的组合便形成纹理地图16。采用运动分析过程将两幅图像12和14组合起来，以找出图像12和14中当 车辆移动时没有发生太多运动的区域。通过该分析，图像12和14彼此相减或求差异 (differenced)，并且那些没有超过某一阈值的区域或像素并不运动且也用白点34识别， 如运动地图18所示。地平线在图像12和14中应该是不移动的，因为它在很远处。地平线 估计过程中的下一个步骤是将纹理地图16与运动地图18组合到组合地图20中，以找出地 图16和18中都不运动且包含地平线边缘的区域。下一个步骤是统计组合地图20中地平线方向上的白点36的数量，以提供地平线投影以及识别组合地图20中的地平线位置。该步骤由作为地平线直方图的图表22表示， 其示出了沿着组合地图20的垂直侧的位置以及统计出的地平线轴线上的白点36的数目。 200附近的主要峰值识别出估计出的地平线。这个地平线投影包括许多干扰，这些干扰可使 用合适的平滑滤波器_例如Gaussian滤波器使其变平滑，以得到如图表24所示的平滑的 地平线投影。图表24中的最大峰值26识别出了图像30中的线28处的估计出的地平线。图2是流程图表50，其示出了用于提供摄像机自动校准的程序，该摄像机自动校准采用基于上述流程的地平线估计。图像在方框(box)52处产生。这些图像可提供给方框 54，该方框54可通过上述流程提供摄像机地平线估计。此外，这些图像还可提供给方框56， 该方框56提供车道标记估计以确定远处的消失点，例如2008年7月18日提交的名称为 "Camera-Based Lane Marker Detection”的美国专利申请号No. 12/175631 中所公开的，该 申请已转让给本申请的申请人并且在此通过引用并入本申请。这些图像也可以被提供给基 于点的摄像机自动校准方框58，该方框58提供摄像机自动校准，例如2008年5月22日提 交的名禾尔为"Self-Calibration of Camera Parameters for a Vehicle Camera，，的美国 专利申请号No. 12/125471中所公开的，该申请已转让给本申请的申请人并且在此通过引 用并入本申请。采用摄像机地平线估计、车道标记估计以及基于点的摄像机自动校准，在方框60处自动更新摄像机方位。摄像机地平线估计可以在方框62处更新摄像机俯仰角，并且摄像 机地平线估计可以在方框62处更新摄像机俯仰角以及在方框64处更新摄像机横摆角(yaw angle)。该基于点的自动校准可以用于更新方框62中的摄像机倾斜角、方框64中的摄像 机横摆角、方框66中的摄像机滚转角(roll angle)以及方框68中的摄像机离地高度。前面的讨论仅仅公开和描述了本发明的示例性实施例。本领域技术人员根据这些讨论以及附图和权利要求书将会容易地认识到，在不脱离所附权利要求限定的本发明的精神和范围的情况下，可以做出各种不同的改变、改型和变型。
权利要求
一种用于估计摄像机图像上的地平线的方法，所述方法包括提供源于摄像机的第一和第二图像；提供源于所述图像中的一个的纹理地图，该纹理地图对所述图像中的边缘进行定位；提供源于所述第一和第二图像之间的差别的运动地图，该运动地图对所述图像中没有发生运动的区域进行定位；将所述纹理地图和所述运动地图进行组合以识别组合地图中不运动且包括地平线边缘的位置；提供包括所述组合地图中沿地平线方向的一定数量的位置的地平线投影，这些位置识别出所述组合地图中的地平线边缘的数量；对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰；以及识别平滑处理过的地平线投影中的最大峰值，该最大峰值识别出所述图像中的估计地平线。
2.根据权利要求1所述的方法，其中，提供纹理地图包括采用地平线边缘检测分析来 定位地平线边缘。
3.根据权利要求2所述的方法，其中，提供地平线边缘检测分析包括采用Sobel滤波。
4.根据权利要求1所述的方法，其中，所述纹理地图中的边缘、所述组合地图中的位置 以及所述地平线投影中的位置都是白点。
5.根据权利要求1所述的方法，其中，对所述地平线投影进行平滑处理包括采用 Gaussian平滑滤波器。
6.根据权利要求1所述的方法，其中，所述地平线投影是地平线直方图。
7.根据权利要求1所述的方法，其中，所述摄像机是车载摄像机。
8.根据权利要求1所述的方法，还包括采用地平线估计来更新摄像机的俯仰角。
9. 一种用于估计摄像机图像中的地平线的方法，所述方法包括 提供源于摄像机的第一和第二图像；提供源于所述图像中的一个的纹理地图，该纹理地图将所述图像中的地平线边缘定位 成白点，其中，提供纹理地图包括采用地平线边缘检测分析来定位地平线边缘；提供源于所述第一和第二图像之间的差别的运动地图，该运动地图将所述图像中没有 发生运动的区域定位成白点；将所述纹理地图和所述运动地图进行组合以便将组合地图中不运动且包括地平线边 缘的位置识别成白点；提供包括所述组合地图中沿地平线方向的一定数量的白点的地平线投影，这些白点识 别出所述组合地图中的地平线边缘的数量；对所述地平线投影进行平滑处理以减少所述地平线投影中的干扰；以及 识别平滑处理过的地平线投影中的最大峰值，该最大峰值识别出所述图像中的估计地 平线。
10.根据权利要求9所述的方法，其中，提供地平线边缘检测分析包括采用Sobel滤波。
全文摘要
本发明涉及通过地平线估计进行的摄像机自动校准。一种用于估计摄像机图像中的地平线以提供俯仰方向上的摄像机自动校准的方法。该方法包括摄取一个场景的图像并采用地平线边缘检测分析来产生该图像的纹理地图，以定位图像中的地平线边缘。该方法还包括通过提供连续图像之间的图像差别来提供运动地图，以便在车辆移动时找出图像中没有运动的区域。将纹理地图和运动地图进行组合以识别图像中不运动且包含地平线边缘的区域。通过统计地图中沿地平线方向的白点，从组合地图中产生地平线投影。对该地平线投影进行平滑处理以消除干扰，并且通过识别地平线投影中的最大峰值来估计图像中的地平线位置。
文档编号G06T7/00GK101800908SQ20101013819
公开日2010年8月11日 申请日期2010年2月8日 优先权日2009年2月6日
发明者S·M·奈克, W·张 申请人:通用汽车环球科技运作公司