车道线识别系统的制作方法
【专利摘要】车道线识别系统包括：检测部，其识别并获取车辆行驶的道路的信息；以及影像处理部，其处理利用检测部获取的道路信息。影像处理部包括：车道线识别模块，其识别并检测通过利用检测部获取的道路信息；车道线追踪模块，其追踪从车道线识别模块检测并累积的积蓄车道线信息，并取得推断出的车道线追踪信息；以及车道线识别履历管理模块，其通过从车道线识别模块取得的车道线信息和从车道线追踪模块取得的车道线追踪信息的插值结果判断车道线信息的有效性。本发明利用追踪累积的车道线信息推断出车道线追踪信息，使检测出的车道线信息得到插值结果，从而提高检测出的车道线信息的稳定性和可靠性。
【专利说明】车道线识别系统
【技术领域】
[0001]本发明涉及车道线识别系统。尤其涉及一种以根据车道线识别结果得出的车道线的履历信息为基础追踪车道线，且判断车道线信息的有效性时以追踪结果为基础，提高识别到的车道线信息的可靠性的车道线识别系统。
【背景技术】
[0002]车道线保持控制系统(Lane Keeping Assist System,以下简称LKAS)为确保驾驶员安全所必须的系统。通常，这种系统检测车道线，感知车辆的行驶状态，并且为使车辆不偏离检测出的车道线而执行车道线保持控制，或对车道线偏离进行警告。
[0003]通过安装在车辆的挡风玻璃和后视镜之间的摄像头传感器获取前方道路的图像，在车道线保持控制系统(LKAS)的摄像头系统中对获取的道路图像进行影像处理，从而能够检测出车道线。并且，通过从安装在车辆的各种传感器及电子控制单元(EOT: ElectronicControl Unit)取得的信息能够感知车辆的行驶状态。
[0004]同时，为进行车辆的车道线保持控制，可以利用车辆相对于检测出的车道线的横向偏移量(lateral offset)、道路的曲率(curvature)、航向角(heading angle)等信息。
[0005]车辆将要偏离车道线的情况下，车道线保持控制系统(LKAS)通过车辆的电动助力转向系统(MDPS:Motor Driven Power System)控制转向，为使相应车辆保持车道线行驶而进行控制。
[0006]另外，车道线偏离警报系统(LDWS:Lane Departure Warning System,以下简称LDffS)是可对车道线偏离发出警告的安全装置，其通过安装在车辆的摄像头感知道路影像，掌握当前行驶中的车道线，当驾驶员因不注意或打盹驾驶将要脱离出道线时，发出警报音。
[0007]并且，在所述道路的车道线识别中，能够使用(I)检测具有车道线明暗度对应的特定值的区域的方法(2) 二值化(binarization)后检测特定明暗度的高斯(GAUSSIAN)检测法(3)等高线追踪法(4)比较预先输入的车道线模式影像与当前输入的车道线影像，根据模式一致程度来判断车道线有无等方法。
[0008]可以说这些算法，对于利用从摄像头传送的影像信息的车道线偏离判断或车道线位置追踪系统，是能够根据车道线信息进行判断的核心要素。
[0009]一方面，现有的韩国公开专利公报第10-2001-0069603号的‘为提高车道线偏离警报装置的车道线警戒线提取的方法’涉及为进行车道线偏离警报装置的车道线识别，在由摄像头输入的道路行驶影像中提取车道线区域的警戒线的算法。
[0010]然而，利用影像传感器识别前方物体(车道线、车辆等)时，很难区分由于存在物体而识别出的正常情况与即使不存在物体却识别出物体的误识别情况。
[0011]不仅如此，车道线模糊或受雨/雪天气等环境因素影响，车道线识别会不稳定，这种情况下车道线识别系统也会变得不稳定。
[0012]因此，为防止识别车道线的传感器的不稳定性导致车道线识别系统的不稳定性，即，即使传感器不稳定地获取车道线的信息，车道线识别系统也能够稳定地运转，提出了逻辑形态的保险杠。
[0013]这种情况下，要稳定地驱动车道线识别系统，还是使车道线识别系统灵敏地应对周边环境变化，这两种互相冲突的问题间的权衡(trade-off)自然需要解决。
[0014]因此,如图1所示,提供时序图(Timing Diagram),并且观察显示是否识别出车道线的‘车道线识别(RECOGNITION OF LANE MARKING)’。
[0015]其中，“是”表示识别出车道线的情况，“否”表示没有识别出车道线的情况。并且，车道线识别系统的观察周期tl是观察从识别到车道线信息至识别不到车道线信息的情况(以下降边缘表示，意为从肯定到否定的变化的瞬间)的周期。
[0016]在观察周期tl内出现下降边缘时，如图1所示，计数器(COUNTER)变数(反变量)增加，若下降边缘出现次数超过特定值(图1中以3次为例)，则关闭表示车道线识别系统驱动与否的自动转向控制(AUTOMATED STEERING CONTROL)。
[0017]即使再次检测出车道线，但是由于车道线识别的不稳定性，车道线识别系统的驱动停止了，因此以系统有可能再一次变得不稳定为前提，不立即驱动系统，而是延迟驱动一个驱动延迟周期to，后，在观察周期tl内显示稳定的车道线检测性能的情况下，启动自动转向控制(AUTOMATED STEERING CONTROL)。这种保险杠即使在识别车道线的传感器不得已只能不稳定地工作的情况下，也能够稳定地关闭自动转向控制(AUTOMATED STEERINGCONTROL)，从而即使在传感器层面中发生震荡跳跃(chattering)的情况下，也不让震荡跳跃产生的影像波及到转向车辆。
[0018]然而，现有许多控制领域中，在驱动系统方面有要求周期性的趋势，并且具有周期性的工作能够产生稳定的控制性能，因此利用车道线识别的系统驱动方面最重要的要素之一就是周期性。但如前述现有的技术，利用影像传感器的系统，就其而言其问题点是很难保障这种周期性。
[0019]因此，若不判断车道线识别的可靠性，单纯将是否识别出车道线作为车道线识别系统的驱动条件，则在利用影像传感器来识别车道线等的过程中发生的误识别，会直接导致车道线识别系统的错误工作。
[0020]当然，独立来看车道线识别性能与车道线识别系统驱动，现有技术具有能够简洁地构成车道线识别系统逻辑的优势。然而，从影像传感器的特征上多样的后处理逻辑(logic)能够降低影像传感器固有的不稳定性的观点来看，现有技术应用影像传感器时，对界限情况的应对能力并不足。
【发明内容】
[0021]技术问题
[0022]为解决所述现有技术的问题，本发明的目的在于提供一种在不稳定地获取车道线识别的道路情况下，通过诸如摄像头等的影像输入传感器取得道路的影像框架，并追踪(tracking)和推断由此获取的车道线信息，从而提高车道线信息的识别结果的稳定性和可靠性的车道线识别系统。
[0023]本发明的另一目的在于提供一种以根据车道线信息的有效性判断而发送的系统激活(system activation)信号为基础，判断在车辆行驶中用于保持车道线的车道线保持控制信号是否有效，并据此向车道线保持控制系统或车道线偏离警报系统发送最终车道线保持控制信号的车道线识别系统。
[0024]技术方案
[0025]为达到所述目的，根据本发明的车道线识别系统包括:检测部，其识别并获取车辆行驶的道路的信息；以及影像处理部，其处理利用所述检测部获取的道路信息。其中，所述影像处理部包括:车道线识别模块，其识别并检测通过利用所述检测部获取的所述道路信息；车道线追踪模块，其在检测出所述车道线信息之前，追踪(tracking)从所述车道线识别模块检测并累积的积蓄车道线信息，并取得推断出的车道线追踪信息；及车道线识别履历管理模块，其在识别出从所述车道线识别模块取得的所述车道线信息为非周期性不稳定状态的情况下，通过从所述车道线识别模块取得的所述车道线信息和从所述车道线追踪模块取得的车道线追踪信息的插值结果(interpolated result)判断所述车道线信息的有效性。
[0026]其中，所述车道线识别履历管理模块，累积通过从所述车道线识别模块取得的所述车道线信息和从所述车道线追踪模块取得的车道线追踪信息的插值结果(interpolatedresult)来累积取得的车道线履历信息。
[0027]其中，本发明的特征在于，所述车道线识别模块中的所述车道线信息仅在预先设定的区域(以下称为关注区域)内被检测，所述关注区域是通过所述车道线追踪模块的所述车道线追踪信息确定的。
[0028]另外，本发明的特征在于，所述车道线追踪模块以从所述车道线识别模块检测出的所述车道线信息和与所述车道线信息相对应的所述车道线追踪信息为基础，在所述车道线信息与所述车辆间的距离进入预先设定的距离内的情况下，发送用于使行驶中的所述车辆保持车道线的车道线保持控制信号。
[0029]另外，本发明的特征在于，所述的车道线识别系统还包括:控制部，其以依据所述车道线识别履历管理模块的所述车道线信息的有效性判断、从所述车道线识别履历管理模块接收到的车道线保持控制系统激活(Lane Keeping Assist System Activation)信号为基础，判断从所述车道线追踪模块接收到的所述车道线保持控制信号是否有效，并发送最终车道线保持控制信号。
[0030]技术效果
[0031]具有所述构成的本发明的车道线识别系统，与测定不稳定的车道线信息的频率，且车道线保持控制系统采用延迟时间的现有技术不同，其利用追踪累积的车道线信息推断出车道线追踪信息，使检测出的车道线信息得到插值结果(interpolated result),从而提高检测出的车道线信息的稳定性和可靠性。
【专利附图】
【附图说明】
[0032]图1为显示现有技术的时序图(Timing Diagram)；
[0033]图2为显示根据本发明的车道线识别系统的框图。
[0034]附图标记说明
[0035]1:根据本发明的车道线识别系统
[0036]100:检测部200:影像处理部
[0037]300:控制部【具体实施方式】
[0038]为使关于本发明的技术课题的解决方案更加明确，以下将参考附图，具体说明本发明的优选实施例。只是，在对本发明进行说明时，认为对于相关公知的构成或功能的具体说明有损于本发明的要旨时，将省略对其的具体说明。另外，后述用语为考虑到本发明功能而定义的用语，根据设计者、制造者等的意图或惯例等会有所不同。因此应当根据本说明书全部的内容为基础进行定义。另外，对各个附图的组成要素添加附图标记时，通过整个附图对同一或者类似的组成要素尽量使用了同一附图标记。
[0039]以下，将具体说明根据本发明的车道线识别系统I。
[0040]参照图2，根据本发明的车道线识别系统I包括检测部100、影像处理部200以及控制部300。
[0041]检测部100识别并获取车辆行驶的道路的信息。
[0042]举一例说明，检测部100可以利用通过安装在车辆的挡风玻璃与车内的后视镜之间的摄像头传感器之类的影像输入传感器而获取车辆行驶的前方道路图像的车道线识别算法。此处，作为影像输入传感器可以使用具有能够识别前方情况的视角和120dB以上的宽动态范围(Wide Dynamic Range;WDR)的传感器。
[0043]影像处理部200处理由检测部100取得的道路信息。并且，影像处理部200可以使用包括支持浮点(floating point)运算的芯片组的信号处理专用处理器。
[0044]如图2所示，影像处理部200可以包括车道线识别模块210，车道线追踪模块230以及车道线识别履历管理模块250。
[0045]车道线识别模块210从检测部100取得的道路信息识别并检测车道线信息。
[0046]车道线识别模块210中的所述车道线信息也可能仅在预先设定的区域(以下称为关注区域(R0I;Region Of Interest))内被检测。
[0047]这里，关注区域(ROI)是指通过检测部100取得的下一段道路的影像中车道线出现的可能性大的区域。另外，通过设定关注区域，车道线识别模块210优先对所述关注区域检测到车道线信息，即限定车道线信息的识别范围，因此在识别所述车道线信息时受周围环境因素影响小，能够迅速地高效检测可靠性高的车道线信息。
[0048]并且，车道线识别模块210在识别车道线信息方面可以利用识别/检测所述关注区域内存在的车道线的车道线识别算法。
[0049]一方面，车道线追踪模块230在由车道线识别模块210检测出车道线信息之前，追踪从车道线识别模块210检测并累积的积蓄车道线信息，取得推断出的车道线追踪信息。
[0050]并且，车道线追踪模块230为取得所述车道线追踪信息可以利用车道线追踪算法。
[0051]即，车道线追踪模块230利用车道线追踪算法，以当前道路影像输入之前积蓄的道路影像的车道线信息为基础，推定车道线的移动方向，即移动矢量(moving vector)，并确定下一段道路影像中将要输出的车道线的位移量。另外，除了利用移动矢量(movingvector)进行推断,确定所述车道线的位移方面还可以利用卡尔曼滤波(kalman filter)
坐寸ο
[0052]并且，车道线追踪模块230以车道线的位移量为基础，指定下一段道路影像中车道线出现频率高的区域为关注区域，并且向车道线识别模块210提供关注区域的信息，使得车道线识别模块210能够利用关注区域。并且，在指定所述关注区域方面，除了所述的以移动方向为基础的算法外，还可以利用预测(prediction)等技法。
[0053]并且，车道线追踪模块230的所述车道线追踪算法在当前检测出的车道线信息脱离车道线追踪信息的有效位移量的情况下，提供能够判断为因外部杂音而错误工作的依据。
[0054]另外，车道线追踪模块230以从车道线识别模块210检测的车道线信息和与所述车道线信息相应的车道线追踪模块230的车道线追踪信息为基础，在车道线与车辆间的距离进入预先设定的距离内的情况下，为使行驶中的车辆保持车道线而发送车道线保持控制信号。并且，与车道线保持控制信号发送相关的判断，可以通过在车道线追踪模块230中利用的车道线偏离警报算法构成。
[0055]另外，所述车道线信息为以像素(pixel)单位提取的值，为确定实际车辆与车道线间的物理距离，所述车道线偏离信息算法可以定义摄像头坐标系和道路坐标系的关系。
[0056]所述关系的确定可以以安装在车辆上的摄像头的位置信息、摄像头镜头和传感器等固有要素信息(factor)为基础,这种过程称为摄像头校准(calibration)。
[0057]通过所述摄像头校准确定的摄像头坐标系和道路坐标系来确定道路影像内检测出的车道线存在于与实际车辆在何种方向、以何种程度偏离的位置上，以此为基础判断车辆是否偏离车道线。
[0058]另外，车道线识别履历管理模块在识别从车道线识别模块210取得的车道线信息为非周期性不稳定状态的情况下，利用车道线追踪信息，对于车道线识别模块210的车道线信息取得插值结果(interpolated result)。
[0059]此处，车道线信息非周期性不稳定状态是指车道线受周围环境影响变得模糊或消失而非周期性地识别出车道线的状态、受雨或雪等环境影响非周期性地识别出车道线的状态、由于周围杂音或恶劣环境等发生突发异常检测(Impulsive false detection)而非周期性地识别出车道线的状态、或受其他车辆的影子等的影响而无法清晰地识别出车道线的状态等。
[0060]因此，识别车道线信息为局部不稳定状态的情况下，车道线追踪模块230首先追踪累积的车道线信息，并算出推断出的车道线追踪信息。并且，车道线识别履历管理模块250利用所述车道线追踪信息来取得由车道线识别模块210检测出的车道线信息的插值结果(interpolated result),从而能够提高检测出的车道线信息的稳定性和可靠性。
[0061]另外，车道线识别履历管理模块250识别从车道线识别模块210取得的车道线信息为局部不稳定状态的情况下，通过从车道线识别模块210取得的所述车道线信息与从车道线追踪模块230取得的车道线追踪信息的插值结果(interpolated result)来最终判断车道线信息的有效性。
[0062]并且，车道线识别履历管理模块250累积从车道线识别模块210检测出的车道线信息和车道线追踪模块230的车道线追踪信息。
[0063]车道线识别履历管理模块250中可以利用车道线履历管理算法。
[0064]车道线识别履历模块250的所述车道线履历管理算法累积实时检测出的车道线识别模块210的车道线信息和通过追踪检测出的车道线追踪模块230的车道线追踪信息。[0065]累积的所述车道线信息在可预测的范围内，S卩，可作为预先设定的位移单位。然而，由于外部杂音或恶劣环境等而发生错误检测的情况下，车道线识别模块210的车道线信息会脱离所述预先设定的位移。这种情况下，车道线识别履历管理模块250判断实时检测出的车道线信息为无效。
[0066]并且，判断实时检测出的车道线信息为无效的情况下，将利用车道线追踪模块230的车道线追踪信息。此处，车道线追踪模块230的车道线追踪信息的精确度根据输入的有效的车道线信息的积蓄量的多少而不同。
[0067]因此，车道线识别履历管理模块250的所述车道线履历管理算法，如上所述利用车道线追踪模块230的车道线追踪信息，判断确定的车道线信息的有效性，若判断所述车道线信息有效则发送车道线保持控制系统激活(Lane Keeping Assist SystemActivation)信号。另外，本发明的车道线识别系统I与车道线偏离警报系统有相互关联的情况下，能够为车道线偏离警报系统发送系统激活(System Activation)信号。
[0068]若判断为无效，则停止使用车道线追踪模块230的车道线追踪信息，且进行初始化。并且一定时间内，车道线信息由车道线识别模块210正常地被检测，利用由此获取的车道线追踪模块230的车道线追踪信息重新判断车道线信息的有效性。
[0069]此处，若进行所述初始化，则清除之前检测出的有关车道线的信息，如同根据本发明的车道线识别系统I初始驱动那样，更新(reset)关注区域和车道线初始位置。
[0070]控制部300依据车道线识别履历管理模块250的车道线信息的有效性判断，以从车道线识别履历管理模块250接收到的车道线保持控制系统激活(Lane Keeping AssistSystem Activation)信号为基础，判断从车道线追踪模块230接收到的车道线保持控制信号是否有效，并发送最终车道线保持控制信号。
[0071]因此，车道线保持控制系统(LKAS)或车道线偏离警报系统接收到最终车道线保持控制信号，控制车辆或发送车道线偏离警报信号。
[0072]其中，控制部300可以使用系统驱动控制t旲块310，并且系统驱动控制t旲块310可以利用包括控制器局域网络(CAN:Controller Area Network)、通用异步收发传输器(UART:Universal Asynchronous Receiver/Transmitter)等外部输入输出端口(I/0:1nput/Output)和定时器(timer)等在内的控制用处理器。
[0073]综合来看，根据本发明的车道线识别控制系统I比较车道线信息与预先设定的框架数(在此设定的方法/系统中为5)，在所述预先设定的框架数(在此设定的方法/系统中为5)内，检测出车道线的框架数超过预定的限制框架数(在此设定的方法/系统中为3)的情况下，驱动车道线保持控制系统(LKAS)。并且，没有超过预定的限制框架数(在此设定的方法/系统中为3)的情况下，所述预先设定的框架期间车道线追踪模块230执行上述功能，从而能够提高根据本发明的车道线识别系统I的稳定性和可靠性。
[0074]根据本发明的多样的实施例，在本【技术领域】及相关【技术领域】也能够解决除本说明书涉及内容之外的其他多种技术课题。
[0075]尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【权利要求】
1.一种车道线识别系统，其特征在于，包括: 检测部，其识别并获取车辆行驶的道路的信息；以及 影像处理部，其处理利用所述检测部获取的道路信息， 其中，所述影像处理部包括: 车道线识别模块，其识别并检测通过利用所述检测部获取的所述道路信息； 车道线追踪模块，其在检测出所述车道线信息之前，追踪从所述车道线识别模块检测并累积的积蓄车道线信息，并取得推断出的车道线追踪信息 '及 车道线识别履历管理模块，其在识别出从所述车道线识别模块取得的所述车道线信息为非周期性不稳定状态的情况下，通过从所述车道线识别模块取得的所述车道线信息和从所述车道线追踪模块取得的车道线追踪信息的插值结果判断所述车道线信息的有效性。
2.根据权利要求1所述的车道线识别系统，其特征在于: 所述车道线识别履历管理模块，累积通过从所述车道线识别模块取得的所述车道线信息和从所述车道线追踪模块取得的车道线追踪信息的插值结果来取得的车道线履历信息。
3.根据权利要求1或2所述的车道线识别系统，其特征在于: 所述车道线识别模块中的所述车道线信息仅在预先设定的区域(以下称为关注区域)内被检测，所述关注区域是通过所述车道线追踪模块的所述车道线追踪信息确定的。
4.根据权利要求3所述的车道线识别系统，其特征在于: 所述车道线追踪模块以从所述车道线识别模块检测出的所述车道线信息和与所述车道线信息相对应的所述车道线追踪信息为基础，在所述车道线信息与所述车辆间的距离进入预先设定的距离内的情况下，发送用于使行驶中的所述车辆保持车道线的车道线保持控制信号。
5.根据权利要求4所述的车道线识别系统，其特征在于，还包括: 控制部，其以依据所述车道线识别履历管理模块的所述车道线信息的有效性判断、从所述车道线识别履历管理模块接收到的车道线保持控制系统激活信号为基础，判断从所述车道线追踪模块接收到的所述车道线保持控制信号是否有效，并发送最终车道线保持控制信号。
【文档编号】E01F9/08GK103847736SQ201310430573
【公开日】2014年6月11日 申请日期:2013年9月18日 优先权日:2012年11月28日
【发明者】朴相汎 申请人:现代摩比斯株式会社