专利名称：确定车辆视觉系统外部参数的方法以及车辆视觉系统的制作方法
技术领域：
本发明实施方案涉及确定车辆视觉系统外部参数的方法以及车辆视觉系统。本发明实施方案尤其涉及允许使用影像处理来确定外部参数的方法以及车辆视觉系统。
背景技术：
在车辆系统中整合一个或者多个影像传感器已经变得越来越普遍。所述影像传感器可被用作驾驶员辅助系统的组件，其中，所述影像传感器捕捉车辆环境影像。捕捉的影像可被处理以执行目标识别，以及/或者可能在处理之后，可显示给使用者。自动报警和辅助 功能可被执行以警告驾驶员潜在危险情况，或者通过启动刹车等来主动控制车辆操作。影像传感器还可被用作后视或者侧视摄像机，所述后视或者侧视摄像机帮助驾驶员停车或者其它关键操作。在车辆应用中利用影像传感器正变得越来越普及，校准车辆视觉系统所需的复杂性和时间成为重要问题。校准车辆视觉系统需要知道外部参数和内部参数。虽然内部参数随着时间推移可经常保持不变，但是这可能并不总是适用于外部参数。摄像机在车辆上的位置以及摄像机的三维朝向对于所述外部参数而言是示例性的。摄像机朝向可随着时间推移改变，例如，这是归因于在车辆继续运行期间的震动，这可能引起摄像机朝向改变。摄像机朝向改变可需要重新校准视觉系统，以避免潜在的危险运行情况。一种确定外部参数的方法在于在相对于车辆的预定位置处定位一个或者多个专用路标；确定路标在摄像机影像平面中的位置；以及确定线性映射参数，所述线性映射将车辆坐标系中目标坐标映射到影像平面中目标坐标上。所述方法是基于点在世界坐标系中的三维坐标与影像平面中二维坐标之间的映射。这样一种方法可能需要相对于车辆高精度定位路标，这可能需要在专业车间执行重新校准。这对可频繁确定外部参数强加约束。
发明内容
所属领域还需要确定车辆视觉系统外部参数的方法以及车辆视觉系统，其中，校准不需要针对校准程序使用专用路标。所属领域还需要允许在车辆驾驶操作期间确定外部参数的这样一种方法和这样一种车辆视觉系统。根据一个方面，提供确定车辆视觉系统外部参数的方法。车辆视觉系统包括安装在车辆中的摄像机。处理由摄像机捕捉的道路的至少一幅影像以识别所述至少一幅影像中的多条道路车道标线，所述多条道路车道标线相互平行地在道路平面中延伸。针对所述多条道路车道标线中各道路车道标线，确定第一参数集和第二参数集。第一参数集定义道路车道标线在至少一幅影像的影像平面中延伸所沿着的线的朝向和位置。第二参数集定义道路车道标线在道路平面中延伸所沿着的线的朝向和位置。基于关于道路车道标线在道路平面中的间距的信息来确定第二参数集。确定线性变换，针对所述多条道路车道标线中各道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。基于确定的线性变换来建立外部参数，其中，建立的外部参数定义摄像机的至少一个朝向。
在所述方法中，在分别定义影像平面和道路平面中的线的第一参数集和第二参数集之间确定线性映射。通过基于定义道路平面中的线的第二参数集与定义影像平面中的线的第一参数集之间的映射来确定外部参数，校准程序的稳健性得以实现。道路车道标线用作定义所述线以确定线性变换的标线。道路车道标线在车辆驾驶操作期间可用作标线，而无需在相对于车辆的预定位置处定位专用标线。可基于确定的线性变换来建立外部参数，使得建立的外部参数定义摄像机在车辆坐标系中的至少一个朝向，即，在安装车辆视觉系统的车辆的坐标系中。第一参数集分别包括可组织为η元组(η>1)的多个参数。第二参数集分别包括也可组织为η元组的多个参数。在分别定义影像平面和道路平面中的线的第一参数集和第二参数集之间确定线性映射的情况下，外部参数确定对车辆沿车辆行进所沿着的道路的纵向方向的位置不敏感。不需要标线在相对于道路纵向方向上的起始点和结束点的特定位置处定位车辆，这是因为用在校准中的是线，而不是单独点。·针对道路车道标线，关于道路车道标线在道路横向方向上的位置的信息可使用地图数据库来确定，所述地图数据库通常在车辆中可用作例如车辆导航系统的一部分。所述地图数据库可包括关于车道宽度的明确信息。所述地图数据库还可包括关于可与道路车道宽度相关联的功能道路等级的信息。所述信息可被用于确定车辆视觉系统外部参数，而无需进行专门测量以在校准时确定道路车道标线的位置。第一参数集可包括影像平面坐标中双线性方程的系数，所述双线性方程定义对应道路车道标线在影像平面中延伸所沿着的线。第二参数集可包括道路平面坐标中双线性方程的系数，所述双线性方程定义对应道路车道标线在道路平面中延伸所沿着的线。可通过确定单应矩阵的矩阵元素来确定线性变换。描述定义对应道路车道标线在影像平面中延伸所沿着的线的双线性方程系数与定义对应道路车道标线在道路平面中延伸所沿着的线的另一个双线性方程系数之间线性映射的矩阵的矩阵元素为单应矩阵的矩阵元素，所述单应矩阵定义车辆和影像平面世界坐标系中的点之间的映射。单应矩阵的矩阵元素可被确定成使得
tfr f(I)针对每个i=l、…、M，近似ft，其中，i表示道路车道标线整数标识符，M表示所述多个道路车道标线总计数，H表示具有三行和三列的单应矩阵，上标T表示矩阵转置，向量^[表示针对第i条道路车道标线确定的所述第一参数集的3元组，以及向量；ft表示针对第i条道路车道标线确定的所述第二参数集的3元组。这使得单应矩阵被确定。各种标准和技术可用于确保根据单应矩阵H所依据的未知外部参数数目以及道路车道标线计数M，针对各i=l、…、近似兩。为了说明，如果H所依据的未知外部参数数目等于2 · M，那么
可执行ft如果H所依据的未知外部参数数目小于2 · M，则得到过度确定的方程集。
O
诸如最小二乘近似的多种传统技术可用于确定在该情况下H的矩阵元素。确定第一参数集可分别包括确定参数值a’ pb’ i和c’ i，使得道路车道标线在影像平面中延伸所沿着的线由以下定义
a，！ · x，+b，j · y' +c，j = 0, (2)其中，i表示整数道路车道标线标识符，而X’和y’表示影像平面中的坐标。双线性方程(2)定义影像平面中的线。确定第二参数集可分别包括确定参数值ai、bi和Ci,使得道路车道标线在道路平面中延伸所沿着的线由以下定义ai · x+bj · y+Cj = O, (3) 其中，X和y表示道路平面中的坐标。双线性方程(3 )定义影像平面中的线。单应矩阵的矩阵元素可基于以下值来确定针对所有i=l、…、M，
权利要求
1.一种确定车辆视觉系统(2至4)的外部参数的方法，所述车辆视觉系统(2至4)包括安装在车辆(I)中的摄像机(2、3)，所述方法包括以下步骤 处理由所述摄像机(2、3)捕捉的道路(20)的至少一幅影像(30、40、41)以识别所述至少一幅影像(30、40、41)中的多条道路车道标线(21至23 ；31至33)，所述多条道路车道标线(21至23 ;31至33)在道路平面中相互平行地延伸； 针对所述多条道路车道标线(21至23 ；31至33)中各道路车道标线(21至23 ；31至33),确定 第一参数集，其定义道路车道标线(21至23 ；31至33)在影像平面中延伸所沿着的线(34至36 ;44至46 ;47、48)的朝向和位置；以及 第二参数集，其定义道路车道标线(21至23 ；31至33)在所述道路平面中延伸所沿着的线(21’至23’ )的朝向和位置，基于关于所述道路车道标线(21至23 ；31至33)在所述道路平面中的间距(58、59)的信息来确定所述第二参数集； 确定线性变换，对于所述多条道路车道标线(21至23 ；31至33)中各道路车道标线，所述线性变换定义所述第一参数集与所述第二参数集之间的映射；以及 基于所述已确定的线性变换来建立所述外部参数，所述建立的外部参数定义所述摄像机(2、3)的至少一个朝向。
2.根据权利要求I所述的方法， 其中，确定所述线性变换包括确定单应矩阵的矩阵元素。
3.根据权利要求2所述的方法， 其中，所述单应矩阵的所述矩阵元素被确定成使得针对每个i=l，…，M近似Λ，其中，i表示道路车道标线标识符，M表示所述多条道路车道标线(21至23 ；31至33)的计数，H表示具有三行和三列的所述单应矩阵，Pfl表示针对第i条道路车道标线确定的所述第一参数集的3元组，以及表示针对第i条道路车道标线确定的所述第二参数集的3元组。
4.根据权利要求2所述的方法， 其中，确定所述第一参数集分别包括确定参数值a’ i、b’ i和c’ i，使得道路车道标线(21至23 ；31至33)在所述影像平面中延伸所沿着的线(34至36 ；44至46 ;47、48)按如下定义 a，i · X，+b，j · y' +C，j = O, 其中，i表示道路车道标线标识符，而x’和r表示所述影像平面中的坐标。
5.根据权利要求4所述的方法， 其中，确定所述第二参数集分别包括确定参数值ai、bjPCi，使得道路车道标线(21至23 ；31至33)在所述道路平面中延伸所沿着的线(21’至23’ )按如下定义ai · x+bi · y+Ci = Oi, 其中，X和y表示所述道路平面中的坐标。
6.根据权利要求5所述的方法， 其中，针对i=l，…，M，所述单应矩阵的所述矩阵元素基于以下来确定
7.根据权利要求5所述的方法， 其中，所述单应矩阵的所述矩阵元素被确定成使得
8.根据权利要求5至7中任一项所述的方法， 其中，针对所述多条道路车道标线(21至23;31至33)中的每一个，所述参数值％或者h中的一个被设定为等于零，而Ci与所述参数值％或者h中的另一个的商基于关于所述道路车道标线(21至23 ；31至33)的所述间距(58、59)的所述信息来设定。
9.根据权利要求8所述的方法， 其中，针对所述多条道路车道标线(21至23 ；31至33)中的每一个，Ci与所述参数值a,或者h中的另一个的所述商被设定为等于(2 · k(i)+l) · I / 2+s, 其中，k(i)表示依据道路车道标线标识符的整数，I表示道路车道宽度，而s表示与道路车道中心的偏移(54)，所述偏移独立于道路车道标线标识符。
10.根据权利要求I至7中任一项所述的方法， 其中，所述多条道路车道标线(21至23 ；31至33)包括在所述道路平面中彼此平行地延伸的至少三条道路车道标线(21至23 ;31至33)。
11.根据权利要求I至7中任一项所述的方法， 其中，所述多条道路车道标线(21至23 ；31至33)的计数M以及待确定的外部参数的计数Me满足Me彡2 · M0
12.根据权利要求I至7中任一项所述的方法， 其中，所述确定所述第二参数集包括确定车辆位置以及基于所述确定的车辆位置从地图数据库(12)中检索关于道路车道宽度(58、59)的信息。
13.根据权利要求I至7中任一项所述的方法， 其中，针对所述多条道路车道标线(21至23;31至33)中的至少一条，道路车道标线(21至23 ；31至33)在影像平面中延伸所沿着的线(34至36 ；44至46 ;47、48)对应针对由所述摄像机(2、3)捕捉的所述道路(20)的多幅影像(30、40、41)而确定，并且对定义所述线(34至36 ;44至46 ;47、48)在所述多幅影像(30、40、41)中的朝向和位置的参数取平均值以确定所述第一参数集。
14.一种处理由车辆视觉系统(2至4)的摄像机(2、3)捕捉的影像的方法，其中， 使用根据权利要求I至7中任一项所述的方法来确定所述车辆视觉系统(2至4)的外部参数，并且 基于所述确定的外部参数来处理由所述摄像机(2、3)捕捉的影像。
15. —种车辆视觉系统,包括 摄像机(2、3 )，其具有电光组件以捕捉影像(30、40、41);以及 处理单元(4)，其被构造来处理从所述摄像机(2、3)接收的影像数据，所述处理单元(4)被构造来 处理由所述摄像机(2、3)捕捉的道路(20)的至少一幅影像(30、40、41)以识别所述至少一幅影像(30、40、41)中的多条道路车道标线(21至23 ；31至33)，所述多条道路车道标线(21至23 ;31至33)在道路平面中相互平行地延伸； 针对所述多条道路车道标线(21至23 ；31至33)中的各道路车道标线(21至23 ；31至.33)，分别确定 第一参数集，其定义道路车道标线(21至23 ；31至33)在影像平面中延伸所沿着的线(34至36 ;44至46 ;47、48)的朝向和位置；以及 第二参数集，其定义道路车道标线(21至23 ；31至33)在所述道路平面中延伸所沿着的线(21’至23’)的朝向和位置，所述处理单元被构造来基于关于所述道路车道标线(21至.23 ；31至33)在所述道路平面中的间距(57、58)的信息来确定所述第二参数集； 确定线性变换，针对所述多条道路车道标线(21至23 ；31至33)中各道路车道标线，所述线性变换定义所述第一参数集与所述第二参数集之间的映射；以及 基于所述确定的线性变换来建立所述外部参数，所述建立的外部参数定义所述摄像机(2,3)的至少一个朝向。
全文摘要
为了确定车辆视觉系统(2至4)的外部参数，在由车辆视觉系统(2至4)的摄像机(2、3)捕捉的至少一幅影像中识别多条道路车道标线(21至23)。针对所述多条道路车道标线(21至23)中的各道路车道标线，分别确定第一参数集，其定义道路车道标线(21至23)在影像平面中延伸所沿着的线的朝向和位置。确定第二参数集，其定义对应道路车道标线(21至23)在道路平面中延伸所沿着的线的朝向和位置。确定线性变换，对于所述多条道路车道标线(21至23；31至33)中的所有道路车道标线，所述线性变换定义第一参数集与第二参数集之间的映射。根据确定的线性变换来建立外部参数，建立的外部参数定义摄像机(2、3)的至少一个朝向。
文档编号B60R1/00GK102915532SQ20121022758
公开日2013年2月6日 申请日期2012年7月2日 优先权日2011年6月30日
发明者K.纳特罗施维利, S.瓦塞克 申请人:哈曼贝克自动系统股份有限公司