专利名称：人行横道线检测方法及人行横道线检测装置的制作方法
技术领域：
本发明涉及使用车载摄像机图像检测位于路面上的人行横道线(crosswalk marking)的人行横道线检测方法及人行横道线检测装置。
背景技术：
日本的人行横道线是矩形的油漆部分与非油漆部分等宽地交替重复的标示，油漆部分和非油漆部分等宽且宽度标准化为45cm至50cm。另一方面，诸多外国的人行横道线也有矩形的油漆部分的宽度和非油漆部分的宽度不等的情况，但是使油漆部分的宽度与非油漆部分的宽度之和固定，而且油漆部分和非油漆部分交替重复地标示。现有的人行横道线检测装置，利用在由摄像机拍摄到的图像数据中油漆部分的像素和非油漆部分的像素的图像亮度差异较大的情况而提取图像亮度较大地变化的图像亮度边缘。由此，以往的人行横道线检测装置是，计算出接近的图像亮度边缘的间隔或个数， 并判定是否为人行横道的装置(参照专利文献1)。以下，对现有技术进行说明。图1表示专利文献1中记载的现有的人行横道线检测装置1500的方框图。图1 中，立体图像数据获取单元1501使用具有两个摄像系统的立体摄像机获取对包含路面在内的车辆前方同时拍摄所得的一对图像数据。这里，一对图像数据中，以由一摄像系统拍摄的图像数据作为基准图像数据，并以由另一摄像系统拍摄的图像数据作为参照图像数据。距离数据计算单元1502通过对基准图像数据和参照图像数据进行立体匹配而计算出图像内的各点距立体摄像机的实际空间距离。人行横道线检测单元1503检测所获取的基准图像数据中有无人行横道线，在图像数据中有人行横道线时检测其位置。人行横道线检测单元1503包含亮度边缘检测单元1504、宽度判定单元1505、间隔判定单元1506及重复次数判定单元1507。亮度边缘检测单元1504将基准图像数据中的任意区域作为设定范围，在设定范围内检测亮度边缘位置。在基准图像数据的整个范围内进行任意设定范围内的亮度边缘位置的检测。具体而言，通过索伯尔滤波器(Zobel filter)等的普通的图像处理检测亮度边缘位置。宽度判定单元1505从亮度边缘检测单元1504检测出的亮度边缘位置中提取从高亮度向低亮度变化的图像亮度边缘作为始点，并提取从低亮度向高亮度变化的图像亮度边缘作为终点。而且，宽度判定单元1505从始点与终点的组合群中提取相互的间隔与人行横道的油漆部分的标准宽度相同或近似的始点与终点的组合。间隔判定单元1506计算出宽度判定单元1505提取的始点和终点的组合群中、从第一组合的终点至在基准图像中与第一组合的终点位于同一横轴上且与第一组合的始点不同的第二组合的始点为止的间隔。而且，间隔判定单元1506提取该间隔与人行横道的非油漆部分的标准宽度相同或近似的第一组合。重复次数判定单元1507在设定范围内计算出间隔判定单元1506提取的始点和终点的组合的重复次数，在该结果为规定的次数以上时将该区域设为人行横道区域。现有技术文献专利文献专利文献1 日本特开2006-309313号公报
发明内容
发明要解决的问题然而，上述的现有结构中，执行以人行横道线中的油漆部分的像素的图像亮度和非油漆部分的像素的图像亮度差异较大为前提的图像亮度边缘检测方法。因此，在存在作为人行横道线的油漆部分和非油漆部分的边界的边缘部分的亮度未强烈地呈现出来等情况时，油漆部分和非油漆部分的图像亮度的差异较小，因此难以检测人行横道线中的油漆部分与非油漆部分的边界的图像亮度边缘。本发明的目的在于，提供即使在难以检测油漆部分的亮度边缘时，也能够从拍摄图像中准确检测人行横道线的有无和其位置的人行横道线检测方法及人行横道线检测装置。解决问题的方案本发明的人行横道线检测装置包括图像数据获取单元，具有第一摄像系统，并获取使用第一摄像系统拍摄到的路面的图像数据；周期计算单元，基于设定范围的坐标、第一摄像系统的几何参数及人行横道线的标准值，计算在图像数据的设定范围内包含人行横道线的油漆部分时的油漆部分的周期；频率分析单元，基于以油漆部分的周期的整数倍为 1周期的基函数，进行设定范围内的图像亮度的频率分析，计算频率功率分布；区域检测单元，从设定范围内提取频率功率分布中的功率等级大于规定的阈值的坐标点，并检测坐标点存在的区域作为人行横道线区域；以及位置输出单元，输出图像数据中的人行横道线区域的坐标数据。由此，具有如下效果通过计算出图像数据中的设定范围内的人行横道线的周期， 并以该周期进行频率分析，从而能够提取人行横道线的周期性特征，即使在油漆部分的亮度边缘较弱时也能够检测人行横道。另外，本发明的人行横道线检测装置中，周期计算单元包括存储器单元，预先存储第一摄像系统的几何参数及人行横道线的标准值；参数获取单元，从图像数据获取单元获取设定范围的坐标，并从存储器单元获取第一摄像系统的几何参数及人行横道线的标准值；以及计算单元，基于设定范围的坐标、第一摄像系统的几何参数及人行横道线的标准值，计算油漆部分的周期。由此，具有如下效果通过利用预先存储的摄像机的几何参数，能够基于固定的参数简化计算速度，从而能够高速地进行处理。另外，本发明的人行横道线检测装置中，周期计算单元包括存储器单元，预先存储第一摄像系统的几何参数及人行横道线的标准值；参数获取单元，从图像数据获取单元获取设定范围的坐标，并从存储器单元获取第一摄像系统的几何参数及人行横道线的标准值；转向检测单元，具有检测角速度的变化的传感器，在传感器检测到的角速度的变化大于规定的阈值时检测人行横道检测装置的转向；角度计算单元，在检测出人行横道检测装置转向时，基于传感器检测到的角速度的变化值计算转向角度；以及计算单元，基于设定范围的坐标、第一摄像系统的几何参数、人行横道线的标准值及转向角度，计算油漆部分的周期。由此，具有如下效果即使在车辆转向时，周期计算单元也能够计算出在设定范围内存在人行横道线的油漆部分时的设定范围内的油漆部分的周期。另外，本发明的人行横道线检测装置还包含距离计算单元，基于图像数据中所包含的设定范围的坐标及第一摄像系统的几何参数，计算第一摄像系统和设定范围所示的路面的实际空间中的距离作为距离数据，周期计算单元基于距离数据及人行横道线的标准值计算在设定范围内包含人行横道线的油漆部分时的油漆部分的周期，位置输出单元输出图像数据中的人行横道线区域的坐标数据、及距离数据。由此，具有如下效果即使是难以检测油漆部分的亮度边缘的人行横道线，也能够对该标示进行检测，并且能够检测从摄像机至人行横道线为止的实际空间中的距离。另外，本发明的人行横道线检测装置还包含立体匹配单元及距离计算单元，图像数据获取单元还包含第二摄像系统，并且获取使用第一摄像系统拍摄路面所得的基准图像数据、及使用第二摄像系统拍摄路面所得的参照图像数据，立体匹配单元计算出表示基准图像数据所具有的基准点和参照图像数据所具有的多个搜索点之间的图像亮度的差异度的评价值分布，并基于根据评价值分布计算出的视差、第一摄像系统的焦距、及第一摄像系统和第二摄像系统的距离，计算第一摄像系统与基准图像数据中所拍摄的路面的实际空间中的距离作为第一距离数据，距离计算单元基于第一距离数据计算基准图像数据的三维像素数据，并基于三维像素数据计算第一摄像系统与基准图像数据中所包含的设定范围所示的路面的实际空间中的距离作为第二距离数据，周期计算单元基于第二距离数据及人行横道线的标准值计算在设定范围内包含人行横道线的油漆部分时的油漆部分的周期，位置输出单元输出基准图像数据中的人行横道线区域的坐标数据及第二距离数据。由此，具有如下效果即使在本车辆振动(bouncing)或前后颠簸(pitching)、路面有坡度时也能够可靠地计算人行横道线的周期。另外，本发明的人行横道线检测装置中，摄像机的几何参数为包含摄像机的设置俯仰角(Pitch angle)、设置高度、焦距及像素间距(pixel pitch)的参数。由此，具有能够基于摄像机规格或设置规格而更准确计算人行横道的周期的效^ ο另外，本发明的人行横道线检测装置中，频率分析单元基于1周期为油漆部分的周期的2倍以上的基函数而进行频率分析。由此，具有减少对人行横道线以外的图案(pattern)且与人行横道线相似的图案进行误测的效果。另外，本发明的人行横道线检测装置中，区域检测单元基于车辆周围的照度，控制规定的阈值。由此，具有即使在夜间等周围昏暗、存在较多增益噪声时也能够提高人行横道线的检测精度的效果。另外，本发明的人行横道线检测方法包括的步骤为，获取使用摄像系统拍摄到的路面的图像数据，基于设定范围的坐标、摄像系统的几何参数及人行横道线的标准值，计算在图像数据的设定范围内包含人行横道线的油漆部分时的油漆部分的周期，并基于以油漆部分的周期的整数倍为1周期的基函数，进行设定范围内的图像亮度的频率分析，计算频率功率分布，从设定范围提取频率功率分布中的功率等级大于规定的阈值的坐标点，检测坐标点存在的区域作为人行横道线区域，并输出图像数据中的人行横道线区域的坐标数据。由此，具有如下效果通过计算出图像数据中的设定范围内的人行横道线的周期， 并以该周期进行频率分析，从而能够提取人行横道线的周期性特征，即使在油漆部分的亮度边缘较弱时，也能够检测人行横道线。发明的效果根据本发明，通过计算出图像数据中的设定范围内的人行横道线的周期，并以该周期进行频率分析，从而能够提取人行横道线的周期性特征，可以不检测人行横道的油漆部分的亮度边缘而进行检测，因此即使在难以检测油漆部分的亮度边缘时也能够检测人行横道线。
图1是表示现有的人行横道线检测装置的方框图。图2是表示本发明实施方式1的人行横道线检测装置的方框图。图3A、图3B是表示通过车载摄像机获取的路面的图像数据及车载摄像机与路面的位置关系的图。图4是表示拍摄人行横道线所得的图像数据的图。图5是表示拍摄人行横道线所得的图像数据的图。图6是表示周期计算单元的结构的图。图7A 图7C是用于说明频率分析方法的图。图8A、图8B是用于说明存在人行横道线的区域的检测方法的图。图9A、图9B是用于说明存在人行横道线的区域的检测方法的图。图10是表示本发明实施方式2的人行横道线检测装置的方框图。图11是表示本发明实施方式3的人行横道线检测装置的方框图。图12是表示本发明实施方式3的立体摄像机的三角测量原理的概要的图。图13A 图13C是用于说明视差计算的图。图14是表示三维像素数据的图。图15是表示本发明实施方式4的人行横道线检测装置的方框图。图16是表示周期计算单元的结构的图。标号说明100人行横道线检测装置101人行横道线检测单元102图像数据获取单元103周期计算单元104 频率分析单元105 区域检测单元
106位置输出单元401参数获取单元402计算单元403存储器501偶函数502奇函数701人行横道线区域800人行横道线检测装置801人行横道线检测单元802距离计算单元803周期计算单元804位置输出单元900人行横道线检测装置901人行横道线检测单元902立体图像数据获取单元903立体匹配单元904距离计算单元905周期计算单元1001对象物1002基准摄像机1003参照摄像机1300人行横道线检测装置1301人行横道线检测单元1302周期计算单元1401转向检测单元1402角度计算单元1403计算单元1500人行横道线检测装置1501立体图像数据获取单元1502距离数据计算单元1503人行横道线检测单元1504亮度边缘检测单元1505 宽度判定单元1506 间隔判定单元1507重复次数判定单元
具体实施例方式(实施方式1)图2表示本发明实施方式1的人行横道线检测装置100的方框结构。图2所示的人行横道线检测装置100为包含人行横道线检测单元101及图像数据获取单元102的结构。人行横道线检测单元101为包含周期计算单元103、频率分析单元104、区域检测单元 105及位置输出单元106的结构。以下对本发明实施方式1的人行横道线检测装置及人行横道线检测方法进行说明。图像数据获取单元102通过车载摄像机获取道路的图像数据。图像数据为静态图像，以横轴为X轴且纵轴为Y轴进行说明。另外，以画面的1个像素为坐标点进行说明。另夕卜，实施方式1中，车载摄像机作为具有一个摄像系统的摄像机来进行说明，但并不限定于此。图3表示通过车载摄像机获取的路面的图像数据及车载摄像机和路面之间的位置关系。具体而言，图3A表示通过车载摄像机获取的路面的图像数据，图3B表示车载摄像机和路面之间的位置关系。以下，将车载摄像机如图3B所示以设置高度H、设置俯仰角α设置在车辆前方，且以相对于车载摄像机的拍摄方向不存在横向的侧倾角即设置侧倾角进行说明。此外，即使在车载摄像机设置在车辆后方或横向等时，另外即使有设置侧倾角(roll angle)时，也能够实施本发明。在人行横道线检测单元101中，周期计算单元103获取由图像数据获取单元102 取得的图像数据，如图3A所示，在图像数据中选择Y坐标为任意Y坐标(yl)的横向一列的范围作为设定范围。另外，周期计算单元103计算出在设定范围内包含人行横道线的油漆部分时的图像数据中的油漆部分的周期。无论图像数据中是否事实上拍摄到人行横道线，对于图像数据都一样进行该周期计算。此外，该油漆部分的周期基于车载摄像机和路面之间的位置关系、Y坐标(yl)及实际空间中的人行横道的油漆部分的周期来计算，并不取决于图像数据中所拍摄到的对象物。频率分析单元104基于以周期计算单元103计算出的油漆部分的周期为1周期的基函数，进行设定范围内的图像亮度的频率分析，计算出频率功率POO的分布。区域检测单元105从频率分析单元104计算出的频率功率P(X)的分布中检测功率等级超过规定的阈值的区域作为存在人行横道线的区域。这里，频率功率POO是指以油漆部分的周期为1周期的频率的设定范围内的功率分布。对图像数据中的所有Y坐标即从Y坐标(yl)至Y坐标(ym) (m 整数)进行以上所示的任意Y坐标(yl)上的设定范围内的各处理。另外，检测图像数据中存在人行横道线的区域。此外，m(m:整数)为图像数据中的Y轴上的像素数。另外，位置输出单元106输出存在所检测到的人行横道线的区域的坐标数据。以下，详细说明人行横道线检测单元101中包含的各结构要素的功能。周期计算单元103从通过图像数据获取单元102获取的路面的图像数据中，如图 3A所示，在图像数据中选择由位于Y坐标为任意Y坐标(yl)的横向一列的像素形成的范围作为设定范围。此外，以设定范围由位于Y坐标为任意Y坐标(yl)的横向一列的所有坐标点构成来进行说明，但也可以设为位于Y坐标为Y坐标(yl)的横向一列的坐标点中的位于任意范围的坐标点。
另外，周期计算单元103计算出在图像数据的设定范围内包含人行横道线的油漆部分时的油漆部分的周期。此外，无论图像数据中是否事实上拍摄到人行横道线，为了进行以后的处理，对于图像数据都一样地进行该周期计算。图4表示拍摄到人行横道线时的图像数据。这里，以设定范围包含位于Y坐标(yl) 上的横向一列的所有坐标点而对周期计算单元103的功能进行说明。周期计算单元103获取由图像数据获取单元102获取的图像数据，并如上述那样选择设定范围。而且，无论图像数据中是否存在人行横道线，周期计算单元103都如图4 所示计算出在设定范围内包含油漆部分时的图像数据上的设定范围内的油漆部分的周期 Tyl。计算出周期Tyn (η:整数)的理由在于，在人行横道线显示在图像数据中时，如果Y坐标不同，则油漆部分的宽度及间隔不同。此外，油漆部分的周期Tyn (η 1至m的整数)为各Y坐标(yn) (η 1至m的整数) 上的人行横道线的油漆部分的宽度和油漆部分的间隔相加后的值，实际空间中的油漆部分的宽度和间隔(即非油漆部分的宽度)，在日本的规定中为相互相同的值。因此，在日本的规定中，周期Tyn(n :1至m的整数)为图像数据中的油漆部分的宽度或油漆部分的间隔的 2倍。即，周期Tyn为图像数据中的油漆部分的宽度和油漆部分的间隔(即非油漆部分的宽度)之和。另一方面，即使在如诸多外国的规定那样人行横道线的油漆部分和非油漆部分的宽度不同，而使油漆部分的宽度和非油漆部分的宽度之和固定且油漆部分和非油漆部分交替重复地标示时，周期Tyn(n :1至m的整数)同样也为图像数据中的油漆部分的宽度和非油漆部分的宽度之和。图5表示在人行横道线的油漆部分和非油漆部分的宽度不同，而使油漆部分的宽度和非油漆部分的宽度之和固定且油漆部分和非油漆部分交替重复地标示的情况下拍摄人行横道线时的图像数据。使用实际空间中的人行横道的油漆部分的宽度或间隔(W)、设定范围的坐标(y) 及摄像机的几何参数，并通过算式1计算出周期Tyn。此外，摄像机的几何参数为包含设置俯仰角α、摄像机设置高度H、摄像机焦距f及Y轴像素间距dpy的摄像机的设置参数。另夕卜，算式1中的yc为Y轴的中心坐标。
权利要求
1.人行横道线检测装置，包括图像数据获取单元，具有第一摄像系统，且获取使用所述第一摄像系统拍摄到的路面的图像数据；周期计算单元，基于设定范围的坐标、所述第一摄像系统的几何参数及预先规定的人行横道线的标准值，计算在所述图像数据的所述设定范围内包含人行横道线的油漆部分时的所述图像数据上的所述油漆部分的周期；频率分析单元，基于以所述油漆部分的周期的整数倍为1周期的基函数，进行所述设定范围内的图像亮度的频率分析，计算频率功率分布；区域检测单元，从所述设定范围中提取所述频率功率分布中的功率等级大于规定的阈值的坐标点，检测所述坐标点存在的区域作为人行横道线区域；以及位置输出单元，输出所述图像数据中的所述人行横道线区域的坐标数据。
2.如权利要求1所述的人行横道线检测装置， 所述周期计算单元包括存储器单元，预先存储所述第一摄像系统的几何参数及所述人行横道线的标准值； 参数获取单元，从所述图像数据获取单元获取所述设定范围的坐标，并从所述存储器单元获取所述第一摄像系统的几何参数及所述人行横道线的标准值；以及计算单元，基于所述设定范围的坐标、所述第一摄像系统的几何参数及所述人行横道线的标准值，计算所述油漆部分的周期。
3.如权利要求1所述的人行横道线检测装置， 所述周期计算单元包括存储器单元，预先存储所述第一摄像系统的几何参数及所述人行横道线的标准值； 参数获取单元，从所述图像数据获取单元获取所述设定范围的坐标，并从所述存储器单元获取所述第一摄像系统的几何参数及所述人行横道线的标准值；转向检测单元，具有检测角速度的变化的传感器，在所述传感器检测到的角速度的变化大于规定的阈值时，检测为所述人行横道检测装置的转向；角度计算单元，在检测出所述人行横道检测装置转向时，基于所述传感器检测到的角速度的变化值计算转向角度；以及计算单元，基于所述设定范围的坐标、所述第一摄像系统的几何参数、所述人行横道线的标准值及所述转向角度，计算所述油漆部分的周期。
4.如权利要求1所述的人行横道线检测装置，还包括距离计算单元，基于所述图像数据中包含的设定范围的坐标及所述第一摄像系统的几何参数，计算所述第一摄像系统与所述设定范围所示的路面之间的实际空间中的距离作为距离数据，所述周期计算单元基于所述距离数据及人行横道线的标准值，计算在所述设定范围内包含人行横道线的油漆部分时的所述油漆部分的周期，所述位置输出单元输出所述图像数据中的所述人行横道线区域的坐标数据、及所述距离数据。
5.如权利要求1所述的人行横道线检测装置， 还包括立体匹配单元及距离计算单元，所述图像数据获取单元还具有第二摄像系统，且获取使用所述第一摄像系统拍摄路面所得的基准图像数据及使用所述第二摄像系统拍摄所述路面所得的参照图像数据，所述立体匹配单元计算用于表示所述基准图像数据具有的基准点和所述参照图像数据具有的多个搜索点的图像亮度的差异度的评价值分布，并基于由根据所述评价值分布算出的视差、所述第一摄像系统的焦距、及所述第一摄像系统和所述第二摄像系统的距离，计算所述第一摄像系统和所述基准图像数据中所拍摄的路面的实际空间中的距离作为第一距离数据，所述距离计算单元基于所述第一距离数据，计算所述基准图像数据的三维像素数据， 并基于所述三维像素数据，计算所述第一摄像系统和所述基准图像数据中包含的设定范围所示的路面的实际空间中的距离作为第二距离数据，所述周期计算单元基于所述第二距离数据及人行横道线的标准值，计算在所述设定范围内包含人行横道线的油漆部分时的所述油漆部分的周期，所述位置输出单元输出所述基准图像数据中的所述人行横道线区域的坐标数据、及所述第二距离数据。
6.如权利要求1、4及5中任一项所述的人行横道线检测装置，所述第一摄像系统及所述第二摄像系统的几何参数为包含摄像系统的设置俯仰角、设置高度、焦距及像素间距的参数。
7.如权利要求1、4及5中任一项所述的人行横道线检测装置，所述频率分析单元基于其1周期为所述油漆部分的周期的2倍以上的基函数，进行频率分析。
8.如权利要求1、4及5中任一项所述的人行横道线检测装置， 所述区域检测单元基于所述车辆周围的照度控制所述规定的阈值。
9.人行横道线检测方法，包括以下步骤获取使用摄像系统拍摄到的路面的图像数据；基于设定范围的坐标、所述摄像系统的几何参数及人行横道线的标准值，计算在所述图像数据的所述设定范围内包含人行横道线的油漆部分时的所述油漆部分的周期；基于以所述油漆部分的周期的整数倍为1周期的基函数，进行所述设定范围内的图像亮度的频率分析，计算频率功率分布；从所述设定范围中提取所述频率功率分布中的功率等级大于规定的阈值的坐标点，检测所述坐标点存在的区域作为人行横道线区域；以及输出所述图像数据中的所述人行横道线区域的坐标数据。
10.如权利要求9所述的人行横道线检测方法，所述摄像系统的几何参数为包含所述摄像系统的设置俯仰角、设置高度、焦距及像素间距的参数。
全文摘要
公开了即使在难以检测油漆部分的亮度边缘时，也能够从拍摄图像中准确检测人行横道线的有无及其位置的人行横道线检测方法及人行横道线检测装置。在人行横道线检测装置(100)中，对于拍摄包含道路在内的车辆周围所得的图像数据，使用摄像机设置信息、或由立体摄像机获取的距离信息，计算设定范围的路面距离，并基于设定范围的路面距离计算人行横道线的周期，且计算以该周期的矩形波的偶函数和奇函数为基函数的频率的功率。这样，即使对于油漆受到刮擦的人行横道线，也能够更稳定地从拍摄图像中准确检测人行横道线的存在和其位置。
文档编号G01C3/06GK102483881SQ20108003850
公开日2012年5月30日 申请日期2010年9月22日 优先权日2009年9月29日
发明者南里卓也, 西村洋文 申请人:松下电器产业株式会社