车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质与流程

本发明涉及车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质。作为参考，本申请主张基于2018年06月26日提交的韩国专利申请(申请号10-2018-0073259号)的优先权。在本申请中作为参考文献引用作为该优先权的基础的对应申请的全部内容。

背景技术：

一般情况下，车辆表示以化石燃料、电力等作为动力源在道路或者线路行驶的运输装置。

随着技术的发展，车辆发展成可以给驾驶员提供各种功能。尤其是，随着车辆的电气化趋势，出现了具备主动安全系统(ass：activesafetysystem)的车辆，该主动安全系统在即将事故发生之前或者发生事故的瞬间启动以避免事故。

而且，最近为了减轻驾驶员的负担提高方便性，积极地进行着对于搭载有先进驾驶辅助系统(adas：advanceddriverassistsystem)的车辆的研究，该先进驾驶辅助系统主动提供关于车辆状态、驾驶员状态以及周围环境等行驶环境的信息。

先进驾驶辅助系统中的车道偏离预警系统(ldws：lanedeparturewarningsystem)和车道保持辅助系统(lkas：lanekeepingassistsystem)可以从车辆的前方图像获取行驶车道线信息，并且利用所获取的行驶车道线信息控制车辆的行驶。

这时，由于天气等环境原因，从前方图像难以获得行驶车道线信息或者实际道路上不存在车道线的一部分时，车道偏离预警系统以及车道保持辅助系统的性能有可能下降。

技术实现要素：

技术问题

本发明要解决的问题是提供比现有技术更加精确地提供行驶车道线信息的技术。

并且，提供即使在由于天气等环境原因从前方图像难以获得行驶车道线信息或者实际道路上不存在车道线的一部分的情况下，也能够精确地检测行驶车道线信息。

而且，将在本发明公开的技术应用于例如搭载有先进驾驶辅助系统的车辆等各种移动手段中。

需要说明的是，本发明要解决的问题并不限定于上述的问题，本发明所属技术领域的技术人员通过下面的说明明确理解未提及的其它要解决的问题。

解决问题的手段

根据一实施例的车道线信息检测方法包括：从精密地图获取与车辆的估计位置信息对应的第一行驶车道线信息的步骤；从通过设置在上述车辆上的摄像头拍摄的上述车辆的前方图像获取第二行驶车道线信息的步骤；根据同一坐标系对上述第一行驶车道线信息以及上述第二行驶车道线信息进行转换的步骤；以及对上述转换的第一行驶车道线信息以及上述转换的第二行驶车道线信息进行融合来获取最终行驶车道线信息的步骤。

根据一实施例的存储被编程为执行车道线信息检测方法的计算机程序的计算机可读记录介质，包括：从精密地图获取与车辆的估计位置信息对应的第一行驶车道线信息的步骤；从通过设置在上述车辆上的摄像头拍摄的上述车辆的前方图像获取第二行驶车道线信息的步骤；根据同一坐标系对上述第一行驶车道线信息以及上述第二行驶车道线信息进行转换的步骤；以及对上述转换的第一行驶车道线信息以及上述转换的第二行驶车道线信息进行融合来获取最终行驶车道线信息的步骤。

根据一实施例的车道线信息检测装置包括：行驶车道线信息获取部，从精密地图获取与车辆的估计位置信息对应的第一行驶车道线信息，从通过设置在上述车辆上的摄像头拍摄的上述车辆的前方图像获取第二行驶车道线信息；坐标系转换部，根据同一坐标系对上述第一行驶车道线信息以及上述第二行驶车道线信息进行转换；以及，车道线融合部，对上述转换的第一行驶车道线信息以及上述转换的第二行驶车道线信息进行融合来获取最终行驶车道线信息。

发明效果

根据一实施例的车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质，除了车辆的前方图像之外，还利用精密地图，从而能够检测出更加准确的行驶车道线信息。

并且，将检测到的行驶车道线信息作为车道偏离预警系统和车道保持辅助系统的输入值，从而可以实现更加精确的车辆控制。

附图说明

图1a以及1b是根据各种实施例的车道线信息检测系统的控制框图。

图2是用于说明根据一实施例的车辆和摄像头的坐标系的图。

图3是例示出根据一实施例的前方图像中不存在行驶车道线的一部分的情况的图。

图4是用于说明根据另一实施例的从摄像头朝行驶车道线方向的直线的图。

图5是用于说明根据另一实施例的坐标系转换部将第二行驶车道线信息按照车辆坐标系进行转换的方法的图。

图6是例示出根据一实施例的在精密地图上将第二行驶车道线信息进行匹配的结果的图。

图7是例示出根据一实施例的在精密地图上将第一行驶车道线信息以及第二行驶车道线信息进行匹配的结果的图。

图8a、8b、8c、8d、8e、8f以及8g是用于说明根据一实施例的车道线融合部的动作的图。

图9是根据一实施例的车道线信息检测方法流程图。

具体实施方式

参照与附图一同下面详细说明的实施例即可明确地理解本发明的优点以及特征和实现这些方法。但是，本发明并不限定于下面公开的实施例，还可以以其它各种方式实现，本实施例只是为了完整地公开本发明、向本发明所属技术领域的技术人员完整地告知本发明的保护范围而提供，应该通过权利要求书来定义本发明。

在说明本发明的实施例的过程中，当判断为对于公知功能或者构成的具体说明有可能混淆本发明的宗旨时，省略其详细说明。另外，后面的术语是鉴于在本发明的实施例中的功能定义的术语，可以根据使用者、操作者的意愿或习惯等有所改变。因此，应该基于本说明书的整体内容来加以定义。

图1a以及1b是根据各种实施例的车道线信息检测系统的控制框图，图2是用于说明根据一实施例的车辆和摄像头的坐标系的图，图3是例示出根据一实施例的前方图像中不存在行驶车道线的一部分的情况的图。

参照图1a，根据一实施例的车道线信息检测系统1可以以车辆v以及车道线信息检测装置100构成。

车辆v可以表示沿道路或线路行驶，同时可以将人、物体或者动物等从一个位置移动到其它位置的运输手段。根据一实施例的车辆v可以包括三轮或者四轮车辆、摩托车等两轮车辆、工程机械、摩托化自行车、自行车以及沿线路行驶的火车等。

图1a的车辆v具备gps模块，可以从至少一个gps(globalpositionsystem：全球定位系统)卫星接收包括导航数据(navigationdata)在内的卫星信号。车辆v基于卫星信号，可以获取基于gps的车辆v的当前位置以及车辆v的行进方向等。

并且，图1a的车辆v可以预先存储精密地图。其中，精密地图可以表示为了实现安全且精确的车辆v控制而具有较高的精确性，并且除了道路的平面位置之外，还包括对于高度、斜度、曲率等的信息的地图。

并且，精密地图是至少区分显示车道线的地图，另外，可以包括指示牌、红绿灯、护栏等道路设施等。

精密地图以通过激光扫描仪等扫描道路从而获得的多个点的集合、即点云构成，构成点云的各个点可以具有基准坐标系上的三维空间坐标。通过噪声滤波器对所获取的点云进行滤波，得到有意义的数据，之后对各个点云标记地标(landmark)，从而可以构建精密地图。

其中，基准坐标系是指不依赖于装置的正交坐标系，可以包括世界坐标系(worldcoordinate)。

并且，除了车辆v之外，精密地图还可以存储在后述的车道线信息检测装置100中。

而且，图1a的车辆v中可以搭载有先进驾驶辅助系统(adas：advanceddriverassistancesystem)。其中，先进驾驶辅助系统可以表示为了减轻驾驶员的负担并提高方便性从而提供车辆v状态、驾驶员状态、周围环境信息等行驶环境信息或者主动控制车辆v的系统。

例如，车辆v中可以搭载有车道偏离预警系统(ldws：lanedeparturewarningsystem)以及车道保持辅助系统(lkas：lanekeepingassistsystem)中的至少一个。需要说明的是，搭载于车辆v的先进驾驶辅助系统并不限定于上述示例。

搭载于车辆v的先进驾驶辅助系统可以包括用于感应车辆v的行驶环境的感应单元。根据一实施例的感应单元可以包括向车辆v周围照射脉冲并接收从位于对应方向的物体反射的回波脉冲从而感应行驶环境的雷达(radar)、向车辆v周围照射激光并接收从位于对应方向的物体反射的激光的激光雷达(lidar)、以及/或者向车辆v周围照射超声波并接收从位于对应方向的物体反射的回波超声波的超声波传感器等。

并且，先进驾驶辅助系统可以包括摄像头c作为感应单元。摄像头c可以设置为朝向车辆v的前方、侧方以及/或者后方，拍摄对应方向的图像。所拍摄的图像通过图像处理过程，可以成为除了获取车辆v周围的物体之外还获取车道线或指示牌等信息的基础。

为了便于说明，下面以摄像头c设置为朝向车辆v的前方从而获取车辆的前方图像的情况为前提进行说明。

另一方面，车辆v可以将通过摄像头c获取的图像信息和按照车辆v内部模块之间的通信方式、即can(controllerareanetwork)通信方式传输的车轮旋转信息、偏航角速度(yawrate)信息等candata融合后利用于车辆v控制。这时，通过摄像头c获取的图像可以基于摄像头坐标系，与此不同地candata可以基于车辆坐标系。

图2是根据一实施例的车辆v的简要平面图，例示出了车辆v的坐标系和设置于车辆v的摄像头c的坐标系。参照图2，车辆v可以具有以ov为原点、由车辆v的行进方向的xv轴、垂直于地面的方向的zv轴以及与xv轴以及zv轴垂直的yv轴构成的车辆坐标系。相反，设置于车辆v的摄像头c可以具有以oc为原点、由根据设置位置以及姿态角确定的xc轴、yc轴、zc轴构成的摄像头坐标系。为了融合这样的不同的坐标系上的两个信息，需要统一坐标系，将其称为摄像头c的标定(cameracalibration)。

为此，在进行车辆v行驶之前，预先可以进行摄像头c标定。具体地，利用设置于车辆v的摄像头c获取对于校正用识别图案的图像，利用该图像可以手动获取摄像头c被安装的角度和位置。作为另外一例，在车辆v行驶过程中，通过摄像头c识别车道线，基于识别到的车道线，确认消失点的位置，从而可以获取摄像头c的姿态角。

与此不同地，还可以在车道线信息检测系统1中的车道线信息检测装置100实时进行摄像头c的标定。在后面说明这一点。

再次参照图1a，根据一实施例的车道线信息检测装置100可以利用从车辆v接收的信息来估计车辆v的位置信息，可以基于估计的车辆v的位置信息来获取车辆v的行驶车道线信息。其中，位置信息可以包括位置以及姿态角，行驶车道线信息可以包括检测到的行驶车道线的曲率微分值、曲率、方向以及偏移(offset)值。

为了获取行驶车道线信息，车道线信息检测装置100可以以公知的各种通信方法与车辆v进行通行，从而交换信息。根据一实施例的车辆的位置估计装置100可以采用cdma、gsm、w-cdma、td-scdma、wibro、lte、epc等公知的通信方法经由基站与车辆v进行通信。另外，根据另一实施例的车辆的位置估计装置100还可以采用无线局域网(wirelesslan)、无线保真(wi-fi)、蓝牙(bluetooth)、物联网(zigbee)、wfd(wi-fidirect：无线网络直接联结)、uwb(ultrawideband：超宽带)、红外线通讯(irda：infrareddataassociation)、ble(bluetoothlowenergy：低功耗蓝牙)、nfc(nearfieldcommunication：近场通信)等通信方法，在预定距离之内，与车辆v进行通信。需要说明的是，通信部与车辆v进行通信的方法并不限定于上述的实施例。

车道线信息检测装置100可以利用从车辆v接收的信息，获取基于精密地图的第一行驶车道线信息和基于车辆的前方图像的第二车道线信息，以车辆坐标系为基准将其融合，从而获取最终行驶车道线信息。

为此，车道线信息检测装置100可以包括获取车辆的估计位置信息的车辆位置估计部110、获取车辆的行驶车道线信息的行驶车道线信息获取部120、将所获取的行驶车道线信息根据车辆坐标系进行转换的坐标系转换部130以及对转换的行驶车道线信息进行融合来获取最终行驶车道线信息的车道线融合部140。

另一方面，在图1a中例示出了车道线信息检测装置100与车辆v分开设置从而构成车道线信息检测系统1的情况，但是，与此不同地还可以包括车道线信息检测装置100作为车辆v的一个结构。

参照图1b，根据另一实施例的车道线信息检测系统1可以以包括车道线信息检测装置100的车辆v构成。需要说明的是，除了设置车道线信息检测装置100的方式之外，图1a的车道线信息检测系统1与图1b的车道线信息检测系统1的动作方式相同。

另一方面，作为用于检测车道线信息的方法的一实施例，可以利用车辆v的前方图像。例如，如果通过设置于车辆v的摄像头c获取前方图像，则将前方图像的中心车道判断为行驶车道，可以将行驶车道的两侧车道线确定为行驶车道线。可以根据车辆坐标系分别转换所确定的行驶车道，利用其结果获取行驶车道线信息。

参照图3，在通过摄像头c拍摄的前方图像中将中央的车道作为行驶车道时，位于行驶车道的左侧以及右侧的两个车道线可以成为行驶车道线。在图3中例示出了位于行驶车道的左侧的中央线是左侧行驶车道线。

但是，在前方图像中，可以得知行驶车道右侧的车道线、即虚线表示的区域内不存在右侧行驶车道线。作为这种现象的原因，可以例举在通过摄像头c拍摄前方图像的过程中由于天气等环境原因未拍到行驶车道线的一部分或者在实际道路上行驶车道线的一部分被抹掉的情况。

如图3所示，由于存在前方图像上不包括行驶车道线的全部或者一部分的可能性，所以仅利用前方图像获取的行驶车道线信息的准确性有可能较低。因此，根据本发明一实施例的车道线信息检测装置100利用前方图像的同时利用精密地图，从而能够获取更加准确的行驶车道线信息。

再次参照图1a，车辆位置估计部110可以获取车辆v的估计位置信息。为此，车辆位置估计部110将通过摄像头c拍摄的前方图像与精密地图上的地标进行匹配，从而可以估计车辆v的位置信息。为了匹配前方图像与地图，需要准确的摄像头c的位置信息，如上所述，车辆v的坐标系和摄像头c的坐标系有可能被设置为不同，所以需要进行坐标系的转换。并且，如高层建筑密集地区那样基于gps的车辆v的初始位置信息有可能不准确，所以在估计车辆vv的位置之前，首先需要进行摄像头c的标定。

车辆位置估计部110可以利用基于gps的车辆v的初始位置信息进行摄像头c的标定。首先，车辆位置估计部110可以获取基于卫星信号确定的基于gps的车辆v的初始位置信息。根据一实施例的车辆位置估计部110可以从车辆v接收基于gps的车辆v的包括初始位置以及初始姿态角的初始位置信息。与此不同地，根据另一实施例的车辆位置估计部110还可以从车辆v仅接收基于gps的车辆初始位置，并且利用该初始位置，可以获取包括车辆vv的初始姿态角的初始位置信息。

当从车辆v仅接收基于gps的车辆v的初始位置的情况下，车辆位置估计部110可以利用接收到的基于gps的车辆v的初始位置，获取车辆v的初始姿态角。具体地，摄像头c的初始位置信息获取部110可以基于连续接收到的基于gps的车辆v的初始位置，获取表示车辆v的行进方向的xv轴，获取与根据精密地图上的车道线确定的地面区域垂直的方向的zv轴，之后相对于zv轴进行与xv轴的向量积(crossproduct)，从而获取yv轴。而且考虑到由于卫星信号内的误差而上述获取的xv轴和yv轴有可能不垂直，车辆位置估计部110相对于zv轴进行与yv轴的向量积(crossproduct)，从而可以校正xv轴。

由此，车辆位置估计部110可以获取作为摄像头c初始位置的三维坐标以及作为初始姿态角的三维坐标轴。

其次，车辆位置估计部110在精密地图可以根据基于gps的车辆v的初始位置信息确定第一关注区域。具体地，车辆位置估计部110可以以基于gps的车辆v的初始位置信息为基准，将第一半径内的区域确定为第一关注区域。

在确定第一关注区域之后，车辆v的初始位置估计部可以将对于存在于第一关注区域内的车道线的第一地标与通过摄像头c拍摄的前方图像进行匹配，从而获取摄像头c的初始姿态角。具体地，车辆位置估计部110可以根据数学式1获取基于摄像头c的初始姿态角的旋转矩阵r。

【数学式1】

其中，作为数学式1的解的s^*可以表示由对于摄像头c的初始姿态角的旋转矩阵r和对于初始位置的移动矩阵t构成的初始位置信息，zk表示从图像检测到的车道线的坐标，pk表示对应于zk的精密地图上的地标的坐标，czk和cpk分别表示示出对于zk和pk的误差的协方差，h表示对于函数h()的偏微分(jacobian)。并且，函数h表示将精密地图上的地标坐标投影到图像的函数，可以根据数学式2定义。

【数学式2】

h(t,r,p)＝k(r×p+t)

其中，t可以表示对于摄像头c的初始位置的移动矩阵，r表示对于摄像头c的初始姿态角的旋转矩阵，p表示精密地图上的地标的坐标，k表示用于将基于摄像头c坐标系的坐标投影到通过摄像头c拍摄的图像的摄像头c内部参数矩阵。

为了求出数学式1的解，车辆位置估计部110可以选择公知的算法中的至少一个，例如可以利用高斯牛顿(gaussnewton)算法或者列文伯格-马夸尔特(levenberg-marquardt)算法。

并且，车辆位置估计部110通过将除了车道线之外的第二地标与图像进行匹配，从而可以求出对于摄像头c的初始位置的移动矩阵t。具体地，车辆位置估计部110在精密地图可以根据基于gps的车辆v的初始位置信息确定第二关注区域。具体地，车辆位置估计部110可以以基于gps的车辆v的初始位置信息为基准，将第一半径以上的第二半径以内的区域确定为第二关注区域。这是为了因获取了摄像头c初始位置信息中的初始姿态角，所以通过利用更广范围内的地标，准确地获取摄像头c初始位置。

其次，车辆位置估计部110可以以摄像头c的初始姿态角为基准，将存在于第二关注区域内的除了车道线之外的第二地标与图像进行匹配，从而获取摄像头c的初始位置。具体地，车辆位置估计部110将之前获取的对于摄像头c初始姿态角的旋转矩阵r代入数学式1进行运算，从而可以获取对于摄像头c初始位置的移动矩阵t。

这时，可以获取与对于一个摄像头c初始姿态角的旋转矩阵r对应的对于多个摄像头c初始位置的移动矩阵t。

这样获取的包括摄像头c初始位置以及初始姿态角的初始位置信息可以用作后述的用于估计摄像头c位置信息的输入值。

在获取了摄像头c初始位置信息时，车辆位置估计部110可以将摄像头c的初始位置作为输入值来获取摄像头c的估计位置信息。首先，车辆位置估计部110可以在摄像头c的初始位置信息周围采样多个候选位置信息。具体地，车辆位置估计部110可以以摄像头c初始位置信息作为平均，利用通过预先规定的协方差设定误差建模的高斯概率模型进行采样。这时，高斯概率模型可以定义为姿态角具有三自由度、位置具有三自由度的至少六维。

如果摄像头c的初始位置信息为多个，则车辆位置估计部110可以针对每一个摄像头c初始位置信息，根据高斯概率模型进行采样。

其次，车辆位置估计部110可以利用粒子滤波器(particlefilter)获取摄像头c的估计位置信息。具体地，车辆位置估计部110可以在多个候选位置信息反映车辆v的行驶信息。这时，车辆位置估计部110可以根据数学式3进行处理。

【数学式3】

其中，矩阵[x(k)，y(k)，θ(k)]可以表示在k时间点的车辆v的位置以及行进方向，sr表示基于车辆v的右侧车轮速度的移动距离，sl表示基于车辆v的左侧车轮速度的移动距离。

为此，车辆位置估计部110可以从车辆v接收包括车轮速度信息以及偏航角速度信息的行驶信息。

其次，车辆位置估计部110基于对应于多个候选位置信息每一个的精密地图的地标与图像之间的匹配误差，可以为多个候选位置信息每一个赋予加权值。

为此，车辆位置估计部110可以利用提取出地标的前方图像。这时，车辆位置估计部110可以排除反映行驶信息的结果脱离道路的候选位置信息或者存在于与车辆v的行进方向相反方向的道路上的候选位置信息。

在从前方图像提取出第一地标以及第二地标时，车辆位置估计部110可以将与多个候选位置信息每一个对应的精密地图的地标与图像进行匹配。这时，车辆位置估计部110为了匹配地标而利用数学式2。

车辆位置估计部110确认基于匹配结果的匹配误差，可以获取对应于匹配误差的加权值。该处理可以根据数学式4进行。

【数学式4】

其中，gσ可以表示加权值，(δx，δy)表示图像中的对于x和y的误差，σ表示标准偏差。

其次，车辆位置估计部110为对应的候选位置信息赋予对应的加权值，从而可以反映匹配误差。

在赋予加权值之后，车辆位置估计部110可以利用被赋予加权值的多个候选位置信息重新采样多个候选位置信息。由于基于赋予加权值的结果重新进行采样，所以多个候选位置信息可以收敛于匹配误差较小的候选位置信息周围。

在结束采样之后，车辆位置估计部110可以确认重新采样的多个候选位置信息的标准偏差是否在基准标准偏差以下。其中，基准标准偏差可以表示利用多个候选位置可以获取摄像头c估计位置信息的最大标准偏差。

如果重新采样的多个候选位置信息的标准偏差在基准标准偏差以下，则摄像头c估计位置信息获取部可以获取重新采样的多个候选位置信息的平均值作为摄像头c的估计位置信息。相反，如果重新采样的多个候选位置信息的标准偏差大于基准标准偏差，则车辆位置估计部110在重新采样的多个候选位置信息反映车辆v的行驶信息，之后可以反复进行上述过程。

如果获取了摄像头c的估计位置信息，则车辆位置估计部110可以基于摄像头c的估计位置信息获取车辆v的估计位置信息。这时，车辆v估计位置信息获取部可以利用移动矩阵t以及旋转矩阵r来获取车辆v估计位置信息。

再次参照图1a，行驶车道线信息获取部120在精密地图上匹配车辆v的估计位置，从而可以确定车辆v的行驶车道。并且，行驶车道线信息获取部120可以将所确认的行驶车道两侧的车道线判断为第一行驶车道线，并且获取第一行驶车道线信息。

并且，行驶车道线信息获取部120可以从通过摄像头c拍摄的车辆v的前方图像确认车辆v的行驶车道。具体地，车辆位置估计部110可以基于车辆v内设置摄像头c的位置，确定车辆v的行驶车道。如果摄像头c设置在车辆v的左右宽度方向的中央时，车辆位置估计部110可以将前方图像的中心所在车道确定为车辆v的行驶车道。如果确定了行驶车道，则车辆位置估计部110可以将行驶车道两侧的车道线判断为第二行驶车道线，并且获取第二行驶车道线信息。

如果获取了第一行驶车道线信息以及第二行驶车道线信息，则坐标系转换部130可以根据车辆坐标系转换第一行驶车道线信息以及第二行驶车道线信息。具体地，坐标系转换部130可以基于车辆v的估计位置信息，转换第一行驶车道线信息以及第二行驶车道线信息。

第一行驶车道线信息是从精密地图获取的，所以第一行驶车道线信息的坐标系可以基于精密地图的坐标系、即基准坐标系。因此，坐标系转换部130可以利用车辆v的估计位置信息中的位置所确定的移动矩阵和姿态角所确定的旋转矩阵，以车辆坐标系为基准，转换第一行驶车道线信息。

另一方面，第二行驶车道线信息是从前方图像获取的，所以第二行驶车道线信息可以基于对于前方图像的图像坐标系。因此，坐标系转换部130需要基于三维的车辆坐标系，对基于图像坐标系的第二行驶车道线信息进行转换。

为此，根据一实施例的坐标系转换部130将行驶车道线所在的地面假设为平面，利用车辆v的估计位置信息，可以获取对应于前方图像的顶视图(topview)图像中的第二行驶车道线信息。其中，顶视图图像可以表示从假设为平面的地面的上部向垂直于地面的方向观察的图像。

根据一实施例的坐标系转换部130可以根据数学式5获取顶视图图像中的第二行驶车道线信息。

【数学式5】

其中，mtop-view可以表示将基于图像坐标系的前方图像的坐标m转换为顶视图图像的坐标的结果，k1表示用于将基于估计摄像头c坐标系的坐标投影到通过摄像头c拍摄的图像的摄像头c内部参数矩阵(3x3)，r1表示对于摄像头c的估计姿态角的旋转矩阵。在数学式5中，坐标系转换部130可以将前方图像中的第二行驶车道线信息代入m，从而获取顶视图图像中的第二行驶车道线信息。

其次，坐标系转换部130可以将顶视图图像中的第二行驶车道线信息根据车辆坐标系进行转换。具体地，在掌握车辆v内设置摄像头c的位置的前提下，坐标系转换部130可以基于顶视图图像中的第二行驶车道线与车辆v的距离，根据车辆坐标系转换顶视图图像中的第二行驶车道线。

与此不同，考虑到行驶车道线所在的地面的斜度，根据另一实施例的坐标系转换部130可以根据车辆坐标系转换第二行驶车道线信息。下面，参照图4以及5，说明考虑行驶车道线所在的地面的斜度，根据车辆坐标系对第二行驶车道线信息进行转换的实施例。

图4是用于说明根据另一实施例的从摄像头朝行驶车道线方向的直线的图，图5是用于说明根据另一实施例的坐标系转换部将第二行驶车道线信息根据车辆坐标系进行转换的方法的图，图6是例示出根据一实施例的在精密地图上将第二行驶车道线信息进行匹配的结果的图，图7是例示出根据一实施例的在精密地图上将第一行驶车道线信息以及第二行驶车道线信息进行匹配的结果的图。

设置于车辆v的摄像头c通过使被拍摄体成像于与被拍摄体的直线路径上，从而可以获取前方图像。因此，坐标系转换部130求出经过摄像头c和基于前方图像的图像坐标系的第二行驶车道线信息的直线，可以获取该直线与地面接触的点作为根据基准坐标系进行转换后的第二行驶车道线信息。

这时，如图4所示，当地面不是平面时，坐标系转换部130需要考虑地面的斜度。因此，坐标系转换部130在精密地图上可以将摄像头c的估计位置信息周围方格化为多个平面。其次，坐标系转换部130可以求出多个平面每一个的平面方程式，平面方程式基于数学式6。

【数学式6】

ax+by+cz+d＝0

其中，a、b、c、d可以表示平面方程式的系数。坐标系转换部130将存在于每一个平面内的至少四个位置信息、即构成点云的至少四个点的三维位置坐标x、y、z代入数学式6，从而可以求出平面方程式的系数a、b、c、d。

其次，坐标系转换部130可以利用车辆v的估计位置信息，获取从摄像头c坐标系的原点朝向前方图像内的第二行驶车道线信息的向量。参照图5，当前方图像i内的第二行驶车道线中存在一个像素pimag时，坐标系转换部130可以求出经过pimag和摄像头c坐标系的原点的向量。具体地，坐标系转换部130根据数学式7，可以求出经过pimag和摄像头c坐标系的原点的向量pray。

【数学式7】

其中，pray可以表示被定义为矩阵[x，y，z]^t的向量，r1表示对于摄像头c的估计姿态角的旋转矩阵，k表示用于将基于估计摄像头c坐标系的坐标投影到通过摄像头c拍摄的图像的摄像头c内部参数矩阵(3x3)，m表示基于图像坐标系的前方图像i的pimag坐标，t1表示对于摄像头c的估计位置的移动矩阵。

在图4以及图5中用虚线箭头示出了这样求出的pray。

求出向量pray之后，坐标系转换部130求出基于向量pray的直线的方程式，可以求出所求出的直线的方程式与对于被方格化的多个平面的平面的方程式之间的交点pw。上述求出的直线的方程式以及平面的方程式基于基准坐标系，所以交点pw也可以基于基准坐标系。

因此，这样求出的交点pw可以是与前方图像i的pimag对应的基于基准坐标系的第二行驶车道线信息。

最后，坐标系转换部130可以基于车辆v的估计位置信息，根据车辆坐标系，对基于基准坐标系的第二行驶车道线信息进行转换。具体地，坐标系转换部130可以利用车辆v的估计位置信息中的位置所对应的移动矩阵以及姿态角所对应的旋转矩阵，对基于基准坐标系的第二行驶车道线信息进行转换。

在图6中虚线表示映射到精密地图上的第二行驶车道线信息。在图6的情况下，所获取的第二行驶车道线信息不包括右侧的行驶车道线信息。这样，有时通过前方图像获取的第二行驶车道线信息与实际行驶车道线不同。因此，需要将从精密地图获取的第一行驶车道线与第二行驶车道线融合。

参照图7，虚线表示映射到精密地图上的第二行驶车道线信息，粗的直线表示从精密地图获取的第一行驶车道线信息。这样，通过将两个行驶车道线信息融合，从而可以检测出更加精确的行驶车道线。

再次参照图1a，车道线融合部140可以将根据车辆坐标系以及图像坐标系中的至少一个进行转换的第一行驶车道线信息以及第二行驶车道线信息融合，从而获取最终行驶车道线信息。下面，参照图8a、8b、8c、8d、8e、8f以及8g，详细说明将根据车辆坐标系以及图像坐标系中的至少一个进行转换的第一行驶车道线信息以及第二行驶车道线信息融合的方法。

图8a、8b、8c、8d、8e、8f以及8g是用于说明根据一实施例的车道线融合部的动作的图。虚线表示根据车辆坐标系进行转换的第二行驶车道线信息，粗的直线相当于根据车辆坐标系进行转换的第一行驶车道线信息。

下面，首先参照图8a、8b以及8c，说明基于根据车辆坐标系进行转换的第一行驶车道线信息以及第二行驶车道线信息来获取最终行驶车道线信息的过程。参照图8a、8b以及8c，根据一实施例的车道线融合部140可以将根据车辆坐标系进行转换的第一行驶车道线信息以及第二行驶车道线信息融合，从而获取最终行驶车道线信息。为此，首先，车道线融合部140可以确认根据车辆坐标系进行转换的第一行驶车道线信息与第二行驶车道线信息的重叠区域。在确认到重叠区域时，根据一实施例的车道线融合部140针对重叠区域可以选择根据车辆坐标系进行转换的第一行驶车道线信息和第二行驶车道线信息中的任意一个，从而可以获取融合行驶车道线信息。

例如，在重叠区域中，车道线融合部140可以在从车辆v起基准距离以内时选择第二行驶车道线信息，当超过基准距离时可以选择第一行驶车道线信息。这时，基准距离可以表示前方图像的可信度高于精密地图的可信度的最大距离。

通常，前方图像中存在对于近距离区域的准确性较高而在远距离区域中准确性下降的倾向。因此，车道线融合部140可以在根据基准距离确定的近距离区域中选择根据车辆坐标系进行转换的第二行驶车道线信息，在根据基准距离确定的远距离区域中选择根据车辆坐标系进行转换的第一行驶车道线信息。

相反，根据另一实施例的车道线融合部140对于重叠区域可以获取包括根据车辆坐标系进行转换的第一行驶车道线信息以及第二行驶车道线信息的融合行驶车道线信息。

图8a例示出了通过车道线融合部140获取的融合行驶车道线信息。如果获取了融合行驶车道线信息，则车道线融合部140可以以预先设定的间隔对融合行驶车道线信息进行采样。图8b例示出了采样的融合行驶车道线信息。

其次，车道线融合部140对于采样的融合行驶车道线信息，以多项函数拟合(fitting)，从而可以获取最终行驶车道线信息。这时，车道线融合部140对于采样的融合行驶车道线信息可以进行曲线拟合(curvefitting)，可以基于数学式8。

【数学式8】

y＝ax³+bx²+cx+d

车道线融合部140通过将采样的融合行驶车道线信息针对数学式8进行回归分析，从而可以获取一个直线或者曲线作为最终行驶车道线。在图8c中连接多个点的直线例示出所获取的最终行驶车道线。

并且，车道线融合部140根据作为最终行驶车道线获取的多项函数的系数a，可以获取包括最终行驶车道线的曲率微分值、曲率、方向值以及偏移值的最终行驶车道线信息。具体地，车道线融合部140可以获取6a作为最终行驶车道线的曲率微分值，获取2b作为曲率，获取arctan(c)作为方向值，获取d作为偏移值。

与此不同，根据另一实施例的车道线融合部140还可以融合根据图像坐标系进行转换的第一行驶车道线信息以及第二行驶车道线信息来获取最终行驶车道线信息。下面，参照图8d、8e、8f以及8g，说明融合根据图像坐标系进行转换的第一行驶车道线信息以及第二行驶车道线信息来获取最终行驶车道线信息的方法。

参照图8d，所获取的第二行驶车道线信息有可能仅包括近距离区域的一部分行驶车道线信息。即，由于周围车辆等，通过前方图像获取的第二行驶车道线信息有可能不包括对于远距离区域的行驶车道线信息。为了解决该问题，根据另一实施例的车道线融合部140可以根据图像坐标系对从精密地图获取的第一行驶车道线信息进行转换，并且将其与第二行驶车道线信息融合，从而获取最终行驶车道线信息。

为此，坐标系转换部130可以利用车辆v的估计位置信息，在精密地图上将第一行驶车道线信息转换为摄像头c图像坐标系。具体地，坐标系转换部130可以根据数学式9求出根据对于前方图像的图像坐标系对于精密地图上的三维车道线的点pw进行转换后的m’。

【数学式9】

m′＝k(r1pw+t1)

其中，m’可以表示根据图像坐标系对于精密地图上的三维车道线的点pw进行转换后的点，k表示用于将基于估计摄像头c坐标系的坐标投影到通过摄像头c拍摄的图像的摄像头c内部参数矩阵(3x3)，r1表示对于摄像头c的估计姿态角的旋转矩阵，t1表示对于摄像头c的估计位置的移动矩阵。

通过上述过程，根据图像坐标系对第一行驶车道线信息进行转换，并映射到前方图像上，从而车道线融合部140可以获取根据图像坐标系进行转换的第一行驶车道线信息和第二行驶车道线信息融合在前方图像内的融合行驶车道线信息。图8e例示出了在实际前方图像内获取的融合行驶车道线信息。

这时，针对重叠区域，车道线融合部140可以获取包括根据图像坐标系进行转换的第一行驶车道线信息和从前方图像检测到的第二行驶车道线信息的融合行驶车道线信息，针对重叠区域，还可以仅利用第一行驶车道线信息或者第二行驶车道线信息。

并且，通常，前方图像中存在对于近距离区域的准确性较高而在远距离区域中准确性下降的倾向。鉴于该问题，车道线融合部140可以在根据基准距离确定的近距离区域内选择从图像检测到的第二行驶车道线信息，在根据基准距离确定的远距离区域内可以选择根据图像坐标系进行转换的第一行驶车道线信息。

在获取融合行驶车道线信息之后，车道线融合部140通过将采样的融合行驶车道线信息针对数学式8进行回归分析，从而可以获取一个直线或者曲线作为最终行驶车道线。如果如图8f所示地获取了融合行驶车道线信息，则车道线融合部140可以获取如图8g的直线所示的最终行驶车道线信息。

并且，车道线融合部140可以对于在图像坐标系中通过回归分析获取的最终行驶车道线信息再次进行采样，之后根据数学式7，求出经过摄像头c坐标系的原点的向量pray，求出基于向量pray的直线的方程式，求出所求出的直线的方程式与对于被方格化的多个平面的平面的方程式之间的交点pw。这样求出的交点pw可以是根据基准坐标系对以图像坐标系为基准通过回归分析融合的融合行驶车道线信息进行转换的信息。

最后，坐标系转换部130可以基于车辆v的估计位置信息，根据车辆坐标系，对基于基准坐标系的融合行驶车道线信息进行转换。具体地，坐标系转换部130可以利用车辆v的估计位置信息中的位置所对应的移动矩阵以及姿态角所对应的旋转矩阵，对基于基准坐标系的融合的车道线信息进行转换。

搭载于车辆v的先进驾驶辅助系统(例如，车道偏离预警系统、车道保持辅助系统等)将根据车辆坐标系的值作为输入值，所以上述的车道线信息检测装置100将根据车辆坐标系的最终行驶车道线信息提供给先进驾驶辅助系统，从而能够提供可实现更加精确的车辆v控制的环境。

图9是根据一实施例的车道线信息检测方法的流程图。

首先，车道线信息检测装置100可以从精密地图获取与设置于车辆v的摄像头c的估计位置信息对应的第一行驶车道线信息(s100)。为此，车道线信息检测装置100可以利用车辆v的基于gps的位置以及精密地图来获取车辆v的估计位置信息。这时，第一行驶车道线信息可以基于精密地图的坐标系、即基准坐标系。

其次，车道线信息检测装置100可以从通过设置于车辆v的摄像头c拍摄的前方图像获取第二行驶车道线信息(s110)。这时，第二行驶车道线信息可以基于前方图像的坐标系、即图像坐标系。

如果获取了第一行驶车道线信息以及第二行驶车道线信息，则车道线信息检测装置100可以根据车辆坐标系对第一行驶车道线信息以及第二行驶车道线信息进行转换(s120)。具体地，车道线信息检测装置100可以利用车辆v的估计位置信息，对第一行驶车道线信息以及第二行驶车道线信息进行转换。

最后，车道线信息检测装置100可以对转换的第一行驶车道线信息以及转换的第二行驶车道线信息进行融合来获取最终行驶车道线信息(s130)。具体地，车道线信息检测装置100选择性或重叠地对转换的第一行驶车道线信息和转换的第二行驶车道线信息进行融合，拟合融合结果，从而可以获取最终行驶车道线信息。

上述的车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质利用车辆的前方图像之外，还利用精密地图，从而能够检测出更加准确的行驶车道线信息。

并且，将所检测到的行驶车道线信息用作车道偏离预警系统和车道保持辅助系统的输入值，从而可以实现更加精确的车辆控制。

另一方面，上述的根据一实施例的车道线信息检测方法所包括的各个步骤可以在存储被编程为执行这样的步骤的计算机程序的计算机可读记录介质中实现。

另一方面，上述的根据一实施例的车道线信息检测方法所包含的各个步骤可以在存储被编程为执行这样的步骤的计算机程序的计算机可读记录介质中实现。

以上说明只是示例性示出了本发明的技术思想，在不脱离本发明的实质性品质的范围内本发明所属技术领域的技术人员可以带来各种修改以及变形。因此，本发明所公开的多个实施例用于说明本发明，并不是限定本发明的技术思想，本发明的保护范围并不限定于这些实施例。应该基于权利要求书来解释本发明的保护范围，与其等同范围内的所有技术思想均包括在本发明的保护范围内。

工业上的可利用性

根据一实施例，上述的车道线信息检测装置、方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质可以利用于家庭内或者工业现场等各种领域，所以具有工业上的可利用性。