车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆的制作方法
【专利摘要】本发明提供一种车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆，本发明的车辆驾驶辅助装置包括：立体相机；接口部，与至少一个车辆内部装置进行数据交换；处理器，基于从所述立体相机中接收的立体图像来执行针对车辆前方的第一区域的车线检测，并基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。根据本发明，能够基于拍摄的图像来确认关于车辆前方的车线。
【专利说明】
车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆
技术领域
[0001]本发明涉及车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆，更详细说是基于拍摄的图像能够确认关于车辆前方的车线的车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆。
【背景技术】
[0002]车辆是用于将乘坐的用户朝所需的方向移动的装置。作为代表性的可举例有汽车。
[0003]另外，为了给利用车辆的用户提供便利，车辆中配备各种传感器和电子设备渐成为一种趋势。特别是，开发出用于用户的驾驶便利的多种装置等。
【发明内容】
[0004]技术问题
[0005]本发明的目的在于提供一种车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆，基于拍摄的图像能够确认关于车辆前方的车线。
[0006]技术方案
[0007]为了实现所述目的，本发明的实施例的车辆驾驶辅助装置，其包括:立体相机;接口部，与至少一个车辆内部装置进行数据交换;处理器，基于从所述立体相机中接收的立体图像来执行针对车辆前方的第一区域的车线检测，并基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。
[0008]另外，为了实现所述目的，本发明的实施例的车辆驾驶辅助装置，其包括:单色相机;雷达;接口部，与至少一个车辆内部装置进行数据交换;处理器，基于从所述单色相机中接收的单色图像和来自所述雷达的距离信息执行针对车辆前方的第一区域的车线检测，基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。
[0009]另外，为了实现所述目的，本发明的实施例的车辆驾驶辅助装置，其包括:激光雷达，执行针对外部对象物的扫描;接口部，与至少一个车辆内部装置进行数据交换;处理器，基于从所述激光雷达中接收的扫描图像来执行针对车辆前方的第一区域的车线检测，基于来自所述接口部的地图信息推定关于所述车辆前方的第二区域的车线。
[0010]另外，为了实现所述目的，本发明的实施例的车辆，其包括:检测部，检测车辆状态;转向驱动部，驱动转向装置;制动驱动部，驱动制动装置;动力源驱动部，驱动动力源;悬架驱动部，驱动悬架装置;控制部，控制所述转向驱动部、制动驱动部、动力源驱动部、悬架驱动部；以及，车辆驾驶辅助装置，包括:立体相机;接口部，与至少一个车辆内部装置进行数据交换;处理器，基于从所述立体相机中接收的立体图像来执行针对车辆前方的第一区域的车线检测，并基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。
[0011]技术效果
[0012]根据本发明的一实施例的车辆驾驶辅助装置，基于从立体相机中接收的立体图像来执行针对车辆前方的第一区域的车线检测，并基于来自接口部的地图信息推定关于车辆前方的第二区域的车线。由此，能够基于拍摄的图像来确认关于车辆前方的车线。特别是，能够推定关于通过用户肉眼或立体相机不易进行确认的区域的车线。
[0013]另外，生成与推定的车线对应的车线图像并通过显示器进行显示，从而使用户能够直观地确认关于第二区域的车线。
[0014]另外，根据车辆速度来改变车线图像的大小、厚度、长度、颜色中的至少一种，从而使用户能够间接地识别出危险程度。
[0015]另外，基于检测出的车线以及推定的车线来执行车线偏离预测，并在预测出偏离车线时，生成用于控制设于车辆内的转向驱动部、制动驱动部、动力源驱动部、悬架驱动部中的至少一种的防偏离车线控制信号，从而能够提高车辆驾驶时的安全性。
[0016]另外，在基于立体图像进行对象检测时，可利用立体图像计算视差，并基于视差信息检测对象，从而能够缩短数据处理速度等。
【附图说明】
[0017]图1是不出设有本发明的一实施例的立体相机的车辆的外观的图。
[0018]图2是示出图1的车辆上贴附的立体相机的外观的图。
[0019]图3a至图3b例示出本发明的一实施例的车辆驾驶辅助装置的内部框图的多种例。
[0020]图4a至图4b例示出图3a至图3b的处理器的内部框图的多种例。
[0021]图5a至图5b是在说明图4a至图4b的处理器的动作时作为参照的图。
[0022]图6a至图6b是在说明图3a至图3b的车辆驾驶辅助装置的动作时作为参照的图。
[0023]图7是图1的车辆内部的电子控制装置的内部框图的一例。
[0024]图8a是示出本发明的一实施例的车辆驾驶辅助装置的动作方法的流程图。
[0025]图Sb是示出本发明的另一实施例的车辆驾驶辅助装置的动作方法的流程图。
[0026]图9至图16b是在说明图8a或图8b的动作方法时作为参照的图。
[0027]图17是示出本发明的另一实施例的设有单色相机的车辆的外观的图。
[0028]图18a例示出本发明的另一实施例的车辆驾驶辅助装置的内部框图的一例。
[0029]图18b例示出本发明的又一实施例的车辆驾驶辅助装置的内部框图的一例。
[0030]图19a至图19b例示出图18a的处理器的内部框图的多种例。
[0031]图20a至图20b是在说明图19a的处理器的动作时作为参照的图。
【具体实施方式】
[0032]以下参照附图对本发明进行更加详细的说明。
[0033]在以下说明中使用的针对结构元件的接尾词“模块”及“部”仅是考虑到便于说明书的撰写而被赋予或混用，其自身并不带有相互区分的含义或作用。因此，所述“模块”及“部”可相互混用。
[0034]本说明书中说明的车辆可以是包括汽车、摩托车的概念。以下，对于车辆将以汽车为主进行说明。
[0035]另外，本说明书中说明的车辆可以是将具有引擎的车辆、具有引擎和电动马达的混合动力车辆、具有电动马达的电动车辆等均涵盖的概念。以下，以具有引擎的车辆为主进行说明。
[0036]另外，本说明书中说明的车辆驾驶辅助装置可称为先进车辆驾驶辅助系统(Advanced Driver Assistance Systems，ADAS)或先进车辆驾驶辅助装置(AdvancedDriver Assistance Apparatus，ADAA)。以下，对本发明的多种实施例的车辆的车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆进行说明。
[0037]图1是不出本发明的一实施例的立体相机的车辆的外观的图。
[0038]参照附图，车辆200可包括:利用动力源进行旋转的车轮103FR、103FL、103RL..;用于调节车辆200的行进方向的方向盘150;以及设于车辆200内部的立体相机195。
[0039]立体相机195可设有多个相机，多个相机中获取的立体图像可在车辆驾驶辅助装置(图3的100)内被信号处理。
[0040]另外，附图中例示出立体相机195具有两个相机。
[0041]图2是示出图1的车辆上贴附的立体相机的外观的图。
[0042]参照附图，立体相机模块195可包括:设有第一镜头193a的第一相机195a;设有第二镜头193b的第二相机195b。
[0043]另外，立体相机模块195可在第一镜头193a和第二镜头193b分别设有用于遮蔽入射的光的第一遮光部192a(light shield)、第二遮光部192b。
[0044]附图中的立体相机模块195可以是可装卸于车辆200的车顶或前挡玻璃的结构。
[0045]设有这样的立体相机模块195的车辆驾驶辅助装置(图3的100)可从立体相机模块195接收关于车辆前方的立体图像，基于立体图像执行视差(disparity)检测，基于视差信息执行针对至少一个立体图像的对象检测，在对象检测以后，持续地跟踪对象的移动。
[0046]图3a至图3b例示出本发明的一实施例的车辆驾驶辅助装置的内部框图的多种例。
[0047]在图3a至图3b的车辆驾驶辅助装置100中，可基于计算机视觉(computer vis1n)对从立体相机195接收的立体图像进行信号处理，从而生成车辆相关信息。其中，车辆相关信息可包含:用于针对车辆的直接控制的车辆控制信息、或者用于向车辆驾驶者提供驾驶向导的车辆驾驶辅助信息。
[0048]首先，参照图3a，图3a的车辆驾驶辅助装置100可包括:通信部120、接口部130、存储器140、处理器170、供电部190以及立体相机195。除此之外，也可包括音频输入部(未图示)、音频输出部(未图示)。
[0049]通信部120可通过无线(wireless)方式与移动终端600或服务器500进行数据交换。特别是，通信部120可通过无线方式与车辆驾驶者的移动终端进行数据交换。作为无线数据通信方式可有蓝牙(Bluetooth)、直通互联(WiFi Direct)、WiF1、APiX或NFC等多种数据通信方式。
[0050]通信部120可从移动终端600或服务器500接收天气信息、道路交通状况信息，例如可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。另外，可向移动终端600或服务器500传送车辆驾驶辅助装置100中基于立体图像确认的实时交通信息。[0051 ]另外，在用户乘坐车辆的情况下，用户的移动终端600和车辆驾驶辅助装置100可自动地或通过用户执行应用程序来执行彼此配对(pairing)。
[0052]接口部130可接收车辆相关数据或向外部传送处理器170中处理或生成的信号。为此，接口部130可通过有线通信或无线通信方式与车辆内部的ECU 770、影音导航(Aud1Video Navigat1n，AVN)装置400及传感器部760等执行数据通信。
[0053]接口部130可通过与AVN装置400的数据通信来接收与车辆行驶相关的地图(map)
?目息O
[0054]另外，接口部130可从E⑶770或传感器部760接收传感器信息。
[0055]其中，传感器信息可包含车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。
[0056]这样的传感器信息可从航向传感器(heading sensor )、横摆传感器(yawsensor)、陀螺仪传感器(gyro sensor)、定位模块(posit1n module)、车辆前进/倒车传感器、车轮传感器(wheel sensor)、车辆速度传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等中获取。另外，定位模块可包括用于接收GPS信息的GPS模块。
[0057]另外，在传感器信息中，可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆斜率信息等称为车辆行驶信息。
[0058]存储器140可存储用于处理器170的处理或控制的程序等、用于车辆驾驶辅助装置100整体的动作的多种数据。
[0059]音频输出部(未图示)将来自处理器170的电信号变换为音频信号并输出。为此，可设有扬声器等。音频输出部(未图示)可输出与输入部110，即按键的动作对应的声音。
[0060]音频输入部(未图示)中可输入用户语音。为此，可设有麦克风。接收到的语音可被转换为电信号并传送给处理器170。
[0061]处理器170控制车辆驾驶辅助装置100内的各单元的整体上的动作。
[0062]特别是，处理器170执行基于计算机视觉(computer vis1n)的信号处理。由此，处理器170可从立体相机195获取关于车辆前方的立体影像，基于立体影像执行针对车辆前方的视差计算，基于计算出的视差信息执行针对立体图像中的至少一个的对象检测，在对象检测以后，持续地跟踪对象的移动。
[0063]特别是，处理器170在进行对象检测时，可执行车线检测(Lane Detect1n)、周边车辆检测(Vehicle Detect1n)、行人检测(Pedestrian Detect1n)、交通标识牌检测(Traffic Sign Detect1n)、道路面检测等。
[0064]此外，处理器170可执行针对检测出的周边车辆的距离计算、检测出的周边车辆的速度计算、检测出的与周边车辆的速度差计算等。
[0065]另外，处理器170可通过通信部120接收天气信息、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。
[0066]另外，处理器170也可对车辆驾驶辅助装置100中基于立体图像确认的车辆周边交通状况信息实时进行确认。
[0067]另外，处理器170可通过接口部130从AVN装置400接收地图信息等。
[0068]另外，处理器170可通过接口部130从ECU770或传感器部760接收传感器信息。其中，传感器信息可包含车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息中的至少一种。
[0069]供电部190可基于处理器170的控制供给各结构元件的动作所需的电源。特别是，供电部190可从车辆内部的电池等供给到电源。
[0070]立体相机195可设有多个相机。以下以如图2等中所述的设有两个相机为例进行说明。
[0071]立体相机195可以以可装卸的方式设于车辆200的车顶或前挡玻璃，可包括设有第一镜头193a的第一相机195a、设有第二镜头193b的第二相机195b。
[0072]另外，立体相机195可包括分别用于遮蔽第一镜头193a和第二镜头193b中入射的光的第一遮光部192a(light shield)、第二遮光部192b。
[0073]接着，参照图3b，图3b的车辆驾驶辅助装置100与图3a的车辆驾驶辅助装置100相比可还设有输入部110以及显示器180。以下仅对输入部110以及显示器180的说明进行描述。
[0074]输入部110可设有贴附于车辆驾驶辅助装置100，特别是贴附于立体相机195的多个按键或触摸屏。通过多个按键或触摸屏可开启车辆驾驶辅助装置100的电源并使其进行动作。除此之外，可还执行多种输入动作。
[0075]显示部180可显示与车辆驾驶辅助装置的动作相关的图像。为了这样的图像显示，显示部180可包括车辆内部前面的仪表盘(cluster)或平视显示器(Head Up Display ,HUD)。另外，在显示部180为HUD的情况下，可包括用于向车辆200的前挡玻璃投射图像的投射模块。
[0076]图4a至图4b例示出图3a至图3b的处理器的内部框图的多种例，图5a至图5b是在说明图4a至图4b的处理器的动作时作为参照的图。
[0077]首先，参照图4a，图4a为处理器170的内部框图的一例，车辆驾驶辅助装置100内的处理器170可包括:影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440以及应用部450。
[0078]影像预处理部410(image preprocessor)可接收来自立体相机195的图像并执行预处理(preprocessing)。
[0079]具体而言，影像预处理部410可执行针对图像的降噪(noise reduct1n)、纠正(rectificat1n)、校准(calibrat1n)、色彩增强(color enhancement)、色彩空间转换(color space convers1n;CSC)、内插(interpolat1n)、相机增益控制(camera gaincontroI)等。由此，能够获取相比立体相机195中拍摄的立体图像更加清晰的图像。
[0080]视差计算部420(disparity calculator)接收影像预处理部410中进行信号处理的图像，针对接收的图像执行立体匹配(stereo matching)，能够获取基于立体匹配的视差图(disparity map)。即，能够获取关于车辆前方的立体图像的视差信息。
[0081]此时，可按立体图像的像素单位或规定块单位执行立体匹配。另外，视差图可表示用数值示出立体图像，即，左、右图像的视差(时差)信息(b inocular parallaxinformat1n)的地图。
[0082]分割部432(segmentat1n unit)可基于来自视差计算部420的视差信息，对图像中的至少一个执行分割(segment)及群集(clustering)。
[0083]具体而言，分割部432可基于视差信息对立体图像中的至少一个分离出背景(background)和前景(foreground)。
[0084]例如，可将视差图内的视差信息为规定值以下的区域计算为背景，并除去相应部分。由此，能够相对地分离出前景。
[0085]作为另一例，可将视差图内的视差信息为规定值以上的区域计算为前景，并提取出相应部分。由此，能够分离出前景。
[0086]如上所述，以基于立体图像提取出的视差信息为基础分离出前景和背景，从而在随后的对象检测时，能够缩短信号处理速度、信号处理量等。
[0087]接着，对象检测部434(objectdetector)可基于来自分割部432的图像分割而进行对象检测。
[0088]即，对象检测部434可基于视差信息对图像中的至少一个进行对象检测。
[0089]具体而言，对象检测部434可对图像中的至少一个进行对象检测。例如，可从基于图像分割分离出的前景中检测对象。
[0090]接着，对象确认部436(object verificat1n unit)可对分离出的对象进行分类(classify)并确认(verify)。
[0091 ] 为此，对象确认部436可使用基于神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、基于利用Haar-1 ike特征的AdaBoost的方法，或是梯度向量直方图(Histograms of Oriented Gradients，H0G)方法等。
[0092]另外，对象确认部436可将存储器140中存储的对象和检测出的对象进行比较，从而确认出对象。
[0093]例如，对象确认部436可确认出位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等。
[0094]对象跟踪部440(object tracking unit)可执行针对确认出的对象的跟踪。例如，依次地确认获取的立体图像内的对象，对确认出的对象的移动或移动向量进行计算，并可基于计算出的移动或移动向量而跟踪相应对象的移动等。由此，能够对位于车辆周边的周边车辆、车线、道路面、标识牌、危险区域、隧道等进行跟踪。
[0095]接着，应用部450可基于位于车辆周边的多种对象，例如其他车辆、车线、道路面、标识牌等，计算出车辆200的危险度等。并且，可计算出与前车的撞车可能性、车辆打滑与否等。
[0096]此外，应用部450可基于计算出的危险度、撞车可能性或打滑与否等，向用户输出用于提示这样的信息的作为车辆驾驶辅助信息的消息等。或者，也可生成用于车辆200的姿势控制或行驶控制的作为车辆控制信息的控制信号。
[0097]图4b是处理器的内部框图的另一例。
[0098]参照附图，图4b的处理器170与图4a的处理器170具有相同的内部结构单元，其区别在于信号处理顺序不同。以下，仅对其区别进行描述。
[0099]对象检测部434可接收立体图像，并基于立体图像中的至少一个进行对象检测。与图4a不同的，可直接从立体图像中检测对象，而不是基于视差信息对被分割的图像进行对象检测。
[0?00] 接着，对象确认部436(object verificat1n unit)基于来自分割部432的图像分割以及对象检测部434中检测出的对象，对被检测及分离的对象进行分类(c lass i f y)并确认(verify)。
[Ο?Ο? ] 为此，对象确认部436可使用基于神经网络(neural network)的识别法、支持向量机(Support Vector Machine，SVM)方法、基于利用Haar-1 ike特征的AdaBoost的方法，或是梯度向量直方图(Histograms of Oriented Gradients，H0G)方法等。
[0102]图5a和图5b是基于在第一及第二帧区间分别获取的立体图像并为了说明图4a的处理器170的动作方法而作为参照的图。
[0103]首先，参照图5a，在第一帧区间期间，立体相机195获取立体图像。
[0104]处理器170内的视差计算部420接收影像预处理部410中被信号处理的立体图像卩尺1&小1?113，对接收的立体图像?1?13小1?113执行立体匹配，从而获取视差图520(乜8?34七7map) ο
[0105]视差图520(disparity map)对立体图像FRla、FRlb之间的视差进行了等级化，视差等级越高，可计算为与车辆的距离越近，而视差等级越小，则计算为与车辆的距离越远。[Ο?Ο?]另外，当显不这样的视差图时，可显不为视差等级越大时具有越尚的壳度，视差等级越小时具有越低的亮度。
[0107]在附图中例示出，在视差图520内，第一车线至第四车线528a、528b、528c、528d等分别具有相应的视差等级，施工区域522、第一前方车辆524、第二前方车辆526分别具有相应的视差等级。
[0108]分割部432、对象检测部434、对象确认部436基于视差图520执行针对立体图像FRla、FRlb中的至少一个的分割、对象检测及对象确认。
[0109]在附图中例示出，使用视差图520执行针对第二立体图像FRlb的对象检测及确认。
[0110]S卩，在图像530内，可执行针对第一车线至第四车线538a、538b、538c、538d、施工区域532、第一前方车辆534、第二前方车辆536的对象检测及确认。
[0111]接着，参照图5b，在第二帧区间期间，立体相机195获取立体图像。
[0112]处理器170内的视差计算部420接收影像预处理部410中被信号处理的立体图像卩尺2&小1?213，对接收的立体图像?1?23小1?213执行立体匹配，从而获取视差图540(乜8?34七7map) ο
[0113]在附图中例示出，在视差图540内，第一车线至第四车线548a、548b、548c、548d等分别具有相应的视差等级，施工区域542、第一前方车辆544、第二前方车辆546分别具有相应的视差等级。
[0114]分割部432、对象检测部434、对象确认部436基于视差图520执行针对立体图像FR2a、FR2b中的至少一个的分割、对象检测及对象确认。
[0115]在附图中例示出，使用视差图540执行针对第二立体图像FR2b的对象检测及确认。
[0116]S卩，在图像550内，可执行针对第一车线至第四车线558a、558b、558c、558d、施工区域552、第一前方车辆554、第二前方车辆556的对象检测及确认。
[0117]另外，对象跟踪部440可执行针对通过比较图5a和图5b确认出的对象的跟踪。
[0118]具体而言，对象跟踪部440可基于图5a和图5b中确认出的各对象的移动或移动向量，跟踪相应对象的移动等。由此，可执行针对位于车辆周边的车线、施工区域、第一前方车辆、第二前方车辆等的跟踪。
[0119]图6a至图6b是在说明图3的车辆驾驶辅助装置的动作时作为参照的图。
[0120]首先，图6a是例示出设于车辆内部的立体相机195拍摄的车辆前方状况的图。特别是以鸟瞰图(bird eye view)方式示出车辆前方情况。
[0121]参照附图，按从左到右的顺序配置有第一车线642a、第二车线644a、第三车线646a、第四车线648a，在第一车线642a和第二车线644a之间配置有施工区域610a，在第二车线644a和第三车线646a之间配置有第一前方车辆620a，在第三车线646a和第四车线648a之间配置有第二前方车辆630a。
[0122]接着，图6b例示出与各种信息一同显示出基于车辆驾驶辅助装置确认出的车辆前方状况。特别是，图6b所示的图像可还在车辆驾驶辅助装置提供的显示部180或AVN装置400中进行显示。
[0123]与图6a不同的，图6b例示出基于立体相机195拍摄的图像而进行信息显示。
[0124]参照附图，按从左到右的顺序配置有第一车线、642b、第二车线644b、第三车线646b、第四车线648b，在第一车线642b和第二车线644b之间配置有施工区域610b，在第二车线644b和第三车线646b之间配置有第一前方车辆620b，在第三车线646b和第四车线648b之间配置有第二前方车辆630b。
[0125]车辆驾驶辅助装置100可基于立体相机195拍摄的立体图像而进行信号处理，从而确认关于施工区域610b、第一前方车辆620b、第二前方车辆630b的对象。并且，能够确认出第一车线642b、第二车线644b、第三车线646b、第四车线648b。
[0126]另外，在附图中，为了呈现出针对施工区域61b、第一前方车辆620b、第二前方车辆630b的对象确认，例示出对各个边框进行了高亮显示。
[0127]另外，车辆驾驶辅助装置100可基于立体相机195拍摄的立体图像计算出关于施工区域610b、第一前方车辆620b、第二前方车辆630b的距离信息。
[0128]在附图中，例示了显示出分别与施工区域610b、第一前方车辆620b、第二前方车辆630b对应的、计算出的第一距离信息611b、第二距离信息621b、第三距离信息631b。
[0129]另外，车辆驾驶辅助装置100可从ECU770或传感器部760接收关于车辆的传感器信息。特别是，可接收车辆速度信息、变速器信息、用于示出车辆的旋转角(横摆角)变化的速度的横摆率信息(yaw rate)、车辆的角度信息，并能够显示这样的信息。
[0130]附图中例示出在车辆前方图像上部670显示出车辆速度信息672、变速器信息671、横摆率信息673，在车辆前方图像下部680显示出车辆的角度信息682，但是也可由多种例实施。除此之外，可与车辆的角度信息682—同显示车辆的宽度信息683、道路的曲率信息681。
[0131]另外，车辆驾驶辅助装置100可通过通信部120或接口部130接收关于车辆行驶中的道路的限速信息等。在附图中例示了显示出限速信息640b。
[0132]车辆驾驶辅助装置100可通过显示部180等显示图6b所示的多种信息，但是与此不同的，也可存储各种信息而无另外地进行显示。此外，也可将这样的信息应用于多种应用程序。
[0133]图7是图1的车辆内部的电子控制装置的内部框图的一例。
[0134]参照附图，车辆200可包括用于车辆控制的电子控制装置700。电子控制装置700可与以上所述的车辆驾驶辅助装置100以及AVN装置400进行数据交换。
[0135]电子控制装置700可包括:输入部710、通信部720、存储器740、车灯驱动部751、转向驱动部752、制动驱动部753、动力源驱动部754、天窗驱动部755、悬架驱动部756、空调驱动部757、车窗驱动部758、气囊驱动部759、传感器部760、ECU 770、显示部780、音频输出部785、供电部790。
[0136]输入部710可设有配置于车辆200内部的多个按键或触摸屏。通过多个按键或触摸屏可执行多种输入动作。
[0137]通信部720可通过无线(wireless)方式与移动终端600或服务器500进行数据交换。特别是，通信部120可通过无线方式与车辆驾驶者的移动终端进行数据交换。作为无线数据通信方式可有蓝牙(Bluetooth)、直通互联(WiFi Direct)、WiF1、APiX等多种数据通信方式。
[0138]通信部720可从移动终端600或服务器500接收天气信息、道路的交通状况信息，例如可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。
[0139]另外，在用户乘坐车辆的情况下，用户的移动终端600和电子控制装置700可自动地或通过用户执行应用程序来执行彼此配对(pairing)。
[0140]存储器740可存储用于ECU 770的处理或控制的程序等、用于电子控制装置700整体上的动作的多种数据。
[0141]车灯驱动部751可控制车辆内、外部配置的车灯的开启/关闭。并且，可控制车灯的亮度、方向等。例如，可执行针对方向灯、刹车灯等的控制。
[ΟΙ42] 转向驱动部752可执行针对车辆200内的转向装置(steering apparatus)的电子式控制。由此，能够变更车辆的行进方向。
[OH3] 制动驱动部753可执行针对车辆200内的制动装置(brake apparatus)(未图示)的电子式控制。例如，通过控制车轮上配置的制动器的动作，能够减小车辆200的速度。作为另一例，通过改变左轮和右轮上各配置的制动器的动作，可将车辆200的行进方向调整为左侧或右侧。
[0144]动力源驱动部754可执行针对车辆200内的动力源的电子式控制。
[0145]例如，在以基于化石燃料的引擎(未图示)作为动力源的情况下，动力源驱动部754可执行针对引擎的电子式控制。由此，能够控制引擎的输出扭矩等。
[0146]作为另一例，在以基于电的马达(未图示)作为动力源的情况下，动力源驱动部754可执行针对马达的控制。由此，能够控制马达的转速、扭矩等。
[0147]天窗驱动部755可执行针对车辆200内的天窗装置(sunroof apparatus)的电子式控制。例如，能够控制天窗的开放或封闭。
[ΟΙ48] 悬架驱动部756可执行针对车辆200内的悬架装置(suspens1n apparatus)的电子式控制。例如，在道路面曲折的情况下，通过控制悬架装置能够控制减小车辆200的震动。
[0149]空调驱动部757可执行针对车辆200内的空调装置(air condit1ner)的电子式控制。例如，在车辆内部的温度高的情况下，通过使空调装置进行动作，能够控制向车辆内部供给冷气。
[0150]车窗驱动部758可执行针对车辆200内的车窗装置(window apparatus)的电子式控制。例如，能够控制车辆的侧面的左、右车窗的开放或封闭。
[0151]气囊驱动部759可执行针对车辆200内的气囊装置(airbag apparatus)的电子式控制。例如，当发生危险时，能够控制气囊被弹出。
[0152]传感器部760用于检测与车辆10的行驶等相关的信号。为此，检测部760可包括航向传感器(heading sensor)、摆传感器(yaw sensor)、陀螺仪传感器(gyro sensor)、定位模块(posit1n module)、车辆前进/倒车传感器、车轮传感器(wheel sensor)、车辆速度传感器、车体倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的转向传感器、车辆内部温度传感器、车辆内部湿度传感器等。
[0153]由此，传感器部760能够获取与车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆斜率信息、车辆前进/倒车信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息等相关的检测信号。
[0154]另外，传感器部760可还包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、TDC传感器、曲轴转角传感器(CAS)等。
[0155]E⑶770可控制电子控制装置700内的各单元的整体上的动作。
[0156]可利用基于输入部710的输入来执行特定动作，或者接收传感器部760中检测出的信号并传送给车辆驾驶辅助装置100，可从AVN装置400接收地图信息并对各种驱动部751、752、753、754、756的动作进行控制。
[0157]并且，E⑶770可通过通信部120接收天气信息、道路的交通状况信息，例如，可接收传输协议专家组(Transport Protocol Expert Group，TPEG)信息。
[0158]显示部780可显示与车辆驾驶辅助装置的动作相关的图像。为了这样的图像显示，显示部780可包括车辆内部前面的仪表盘(cluster)或平视显示器(Head Up Display ,HUD)。另外，在显示部780为HUD的情况下，可包括用于向车辆200的前面玻璃投射图像的投射模块。另外，显示部780可包括可进行输入的触摸屏。
[0159]音频输出部785将来自ECU770的电信号变换为音频信号并输出。为此，可设有扬声器等。音频输出部785可输出与输入部710，即按键的动作对应的声音。
[0160]供电部790可基于ECU770的控制供给各结构元件的动作所需的电源。特别是，供电部790可从车辆内部的电池(未图示)等供给到电源。
[0161]图8a是示出本发明的一实施例的车辆驾驶辅助装置的动作方法流程图。
[0162]参照附图，车辆驾驶辅助装置100的处理器170从立体相机接收立体图像(步骤S810)。此外，车辆驾驶辅助装置100的处理器170从接口部接收地图信息(步骤S820)。此外，车辆驾驶辅助装置100的处理器170基于接收到的立体图像来检测关于车辆前方的第一区域的车线(步骤S823)。
[0163]如图2中所述，利用配置于车辆内部的立体相机195，车辆驾驶辅助装置100的处理器170通过第一相机195a接收第一图像，通过第二相机195b接收第二图像。
[0164]由于第一相机195a和第二相机195b之间存在距离，第一图像和第二图像将产生视差(disparity)。
[0165]车辆驾驶辅助装置100的处理器170计算第一图像和第二图像之间的视差，并利用计算出的视差信息对第一图像和第二图像中的至少一个执行分割、对象检测以及对象确认。
[0166]此外，车辆驾驶辅助装置100的处理器170对确认出的对象，例如前方车辆、车线、道路面等执行跟踪。此外，车辆驾驶辅助装置100的处理器170可获取关于位于车辆前方的前方车辆的距离信息。
[0167]如果因雾气或夜间等因素而仅能够识别车辆的近距离区域时，车辆驾驶辅助装置100的处理器170可对除了无法进行车线检测的区域以外的第一区域，基于立体图像执行车线检测。
[0168]另外，对于无法基于立体图像进行车线检测的区域，将使用以下的车线推定法。
[0169]接着，车辆驾驶辅助装置100的处理器170基于地图信息推定关于车辆前方的第二区域的车线(步骤S826)。
[0170]车辆驾驶辅助装置100的处理器170可基于从接口部130接收的地图信息Smp推定关于车辆前方的第二区域的车线，其中，所述第二区域是因雾气或夜间等因素而无法进行车线检测的区域。
[0171]为此，车辆驾驶辅助装置100的处理器170可比较基于立体图像检测出的车线信息和从接口部130接收的地图信息Smp，并区分出第一区域以外的第二区域。此外，可从地图信息中获取关于第二区域的车线信息。此外，可基于获取的车线信息来推定关于第二区域的车线。
[0172]接着，车辆驾驶辅助装置100的处理器170生成包含有推定的车线的车线图像并向外部输出(步骤S829)。
[0173]车辆驾驶辅助装置100的处理器170在进行关于第二区域的车线推定后，可向外部输出与车线推定对应的第一车线图像Slim。并且，车辆驾驶辅助装置100的处理器170可还向外部输出与第一区域，即车线检测对应的第二车线图像Slim。这样的车线图像可显示在车辆100内部的显示器180。
[0174]接着，车辆驾驶辅助装置100的处理器170基于检测出的车线以及推定的车线，生成用于控制转向驱动部752、制动驱动部753、动力源驱动部754、悬架驱动部756中的至少一种的防偏离车线控制信号(步骤S840)。
[0175]车辆驾驶辅助装置100的处理器170在进行关于第二区域的车线推定后，比较当前车辆的行进方向信息和推定的车线并计算偏离车线与否，当偏离车线时，可生成用于防止偏离车线的防偏离车线控制信号Sned。
[0176]例如，当计算为实际车辆朝左侧车线方向偏离车线时，车辆驾驶辅助装置100的处理器170可生成用于使车辆朝向右侧移动的转向驱动控制信号或制动驱动控制信号中的至少一种。
[0177]E⑶770可通过接口部130接收转向驱动控制信号或制动驱动控制信号中的至少一种，转向驱动部752可控制转向装置执行右侧转向，或者，制动驱动部753可使左侧制动器进行动作。
[0178]由此，可通过基于立体图像的车辆驾驶辅助装置100来执行车辆的防偏离车线控制。
[0179]作为另一例，当计算为虽然实际车辆处于直行中的状态，但是相对于右侧方向的曲线道路朝左侧车线方向偏离车线时，车辆驾驶辅助装置100的处理器170可生成用于使车辆朝向右侧移动的转向驱动控制信号或制动驱动控制信号中的至少一种。
[0180]图Sb是示出本发明的另一实施例的车辆驾驶辅助装置的动作方法的流程图。
[0181 ]图8b的动作方法与图8a类似，其区别在于，执行与步骤S820类似的步骤S821，并执行与步骤S826类似的步骤S827。
[0182]以下，仅对存在区别的步骤S821和步骤S827进行说明。
[0183]根据步骤S821，车辆驾驶辅助装置100的处理器170通过接口部接收传感器信息和地图信息(步骤S821)。
[0184]在通过接口部接收的传感器信息内可包含有车辆行驶信息Scar。其中，车辆行驶信息Scar可包含与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆斜率信息等。
[0185]根据步骤S827，车辆驾驶辅助装置100的处理器170基于车辆的位置信息和地图信息推定关于车辆前方的第二区域的车线(步骤S827)。
[0186]另外，车辆驾驶辅助装置100的处理器170可从ECU770或传感器部760接收车辆行驶信息Scar，基于从接口部130中接收的地图信息SmpJAECU 770或传感器部760中接收的车辆行驶信息Scar中的车辆位置信息，在地图上匹配当前车辆的位置。
[0187]此外，车辆驾驶辅助装置100的处理器170可考虑到基于立体图像检测出的车线信息，从地图信息中获取关于第二区域的车线信息。此外，可基于获取的车线信息来推定关于第二区域的车线。
[0188]图9例示出用于车线推定的处理器的内部框图的一例。
[0189]参照附图，车辆驾驶辅助装置100的处理器170可包括:车线检测部910、车线推定部920、防偏离车线控制信号生成部930。
[0190]车辆驾驶辅助装置100的处理器170可从立体相机195中接收立体图像Simg，通过接口部130从AVN装置400中接收地图信息Smp JAEOT 770或传感器部760中接收车辆行驶信息Scarο
[0191]其中，车辆行驶信息可包含车辆行进方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆斜率信息、侧面交汇信息、倒车信息等。另外，车辆行驶信息可以是传感器信息的一部分。
[0192]车线检测部910可基于从前方立体相机195中接收的立体图像Simg来执行车线检测。具体而言，可基于立体图像Simg的视差检测关于前方的车线。
[0193]特别是，车线检测部910可仅对作为能够从前方立体相机195中确认的区域的第一区域检测车线。
[0194]特别是，当因雾气或夜间等因素而仅能够识别车辆的近距离区域时，可基于立体图像仅能够对第一区域进行车线检测。
[0195]另外，对于无法基于立体图像进行车线检测的区域，将使用以下的车线推定法。
[0196]车线推定部920可基于从接口部130中接收的地图信息Smp来推定关于车辆前方的第二区域的车线。
[0197]特别是，车线推定部920可推定关于车辆前方的第二区域的车线，其中，所述第二区域是因雾气或夜间等因素而无法进行车线检测的区域。
[0198]为此，车线推定部920可比较基于立体图像检测出的车线信息和从接口部130中接收的地图信息Smp，并区分出第一区域以外的第二区域。此外，可从地图信息获取关于第二区域的车线信息。此外，可基于获取的车线信息来推定关于第二区域的车线。
[0199]另外，车线推定部920可从E⑶770或传感器部760接收车辆行驶信息Scar，基于从接口部130中接收的地图信息Smp、从E⑶770或传感器部760中接收的车辆行驶信息Scar中的车辆位置信息，在地图上匹配当前车辆的位置。
[0200]此外，车线推定部920可考虑到基于立体图像检测出的车线信息，从地图信息中获取关于第二区域的车线信息。此外，可基于获取的车线信息来推定关于第二区域的车线。
[0201]另外，车线推定部920在推定关于第二区域的车线后，可向外部输出与车线推定对应的第一车线图像Slim。并且，车线推定部920可还向外部输出与第一区域，即车线检测对应的第二车线图像Simg。这样的车线图像可显示在车辆100内部的显示器180。
[0202]防偏离车线控制信号生成部930在车线推定部920的关于第二区域的车线推定后，比较当前车辆的行进方向信息和推定的车线并计算车线偏离与否，当偏离车线时，可生成用于防止偏离车线的防偏离车线控制信号Sned。
[0203]这样的防偏离车线控制信号Sned可传送给ECU770，E⑶770可基于防偏离车线控制信号Sned控制转向驱动部752、制动驱动部753、动力源驱动部754、悬架驱动部756中的至少一种。
[Ο2。4]图10不出图9的处理器的内部框图的另一例。
[0205]参照附图，车辆驾驶辅助装置100的处理器170可基于从前方立体相机195中接收的立体图像，检测基于图像的车辆周边信息。其中，基于图像的车辆周边信息可包含距离信息、周边车辆距离信息、速度信息、车线信息及道路面信息、标识牌信息等。
[0206]如上所述，可基于从前方立体相机195中接收的立体图像来计算视差信息，并基于计算出的视差信息执行分割、对象检测以及对象确认。
[0207]基于这样的操作，车辆驾驶辅助装置100的处理器170可执行针对车辆前方的车辆检测1010、距离检测1011、车线检测1012、道路面检测1014、视觉测程1016( visualodometry)。
[0208]另外，车辆驾驶辅助装置100的处理器170可接收来自AVN装置400的地图信息，并从E⑶770或传感器部760中接收传感器信息。
[0209]车辆驾驶辅助装置100的处理器170基于来自ECU 770或传感器部760的传感器信息中的车辆行驶信息、来自AVN装置400的地图信息执行地图匹配1020。具体而言，车辆驾驶辅助装置100的处理器170可基于车辆行驶信息中的作为车辆位置信息的GPS信息和来自AVN装置400的地图信息，将当前车辆在地图上进行地图匹配1020。
[0210]车辆驾驶辅助装置100的处理器170基于来自ECU 770或传感器部760的车辆行驶信息执行航位推测1030(dead reckoning)。
[0211]此外，车辆驾驶辅助装置100的处理器170基于航位推测(dead reckoning)执行车辆移动(egomot1n)跟踪1040。此时，除了航位推测(dead reckoning)以外，也可基于视觉测程(visual odometry)执行车辆移动(egomot1n)跟踪 1040。
[0212]另外，车辆驾驶辅助装置100的处理器170可基于车辆移动(egomot1n)跟踪1040以及地图匹配1020执行行驶道路的曲率计算1050。
[0213]另外，车辆驾驶辅助装置100的处理器170基于曲率计算1050、车线检测1010以及道路面检测1014执行车辆的行进方向跟踪1060。
[0214]此外，车辆驾驶辅助装置100的处理器170基于车辆的行进方向跟踪1060、车辆检测1010、距离检测1011、道路面检测1014执行车辆的碰撞、追尾危险性等危险度计算1065。
[0215]车辆驾驶辅助装置I 00的处理器I 70基于危险度计算I 065以及车辆移动(egomot1n)跟踪1040执行车辆路径预测1070(path predict1n)。即，车辆驾驶辅助装置100的处理器170基于推定的车辆移动1040以及跟踪的行进方向1060来进行车辆路径预测(predict1n)。
[0216]接着，车辆驾驶辅助装置100的处理器170基于推定的车辆移动和预测的车辆路径计算车线偏离预测与否(步骤S1080)，如果是，则执行防偏离车线控制信号Sned生成1090。另外，如果车线未发生偏离，则可控制执行正常行驶1085。
[0217]此外，生成的防偏离车线控制信号Sn e d输出给外部，特别是输出给车辆的E C U770，E⑶770为了防止偏离车线而可控制转向驱动部752、制动驱动部753、动力源驱动部754、悬架驱动部756中的至少一种。
[0218]图11例示出关于第一曲线道路的车线检测以及车线推定方法的一例。
[0219]参照附图，车辆驾驶辅助装置100的处理器170可通过立体相机195获取关于车辆前方的立体图像1110。立体图像1110内可包含曲线的第一车线至第三车线1122a、1124a、II26aο
[0220]另外，在车辆行驶状况时，在有雾气或夜间的情况下，通过车辆前方的立体图像1110也仅显示出关于车辆附近的车线，关于除此之外的其余区域的车线则不易进行确认。
[0221]因此，在立体图像1110内，可区分为能够基于图像进行车线检测的第一区域Al和无法进行车线检测的第二区域A2。
[0222]车辆驾驶辅助装置100的处理器170可利用以上所述的对象检测以及确认法来执行车线检测以及确认。此外，可生成关于检测出的车线的车线图像。
[0223]附图内的图像1112例示出，在基于立体图像执行针对第一区域Al的车线检测后，显示关于检测出的车线的图像。因此，图像1112例示出所生成的第一车线至第三车线图像1122b、1124b、1126b重叠在实际拍摄的第一至第三车线1122a、1124a、1126a上。
[0224]另外，车辆驾驶辅助装置100的处理器170可通过接口部130从AVN装置400中接收地图信息。除此之外，可接收传感器信息中的车辆位置信息。
[0225]车辆驾驶辅助装置100的处理器170基于接收到的地图信息或基于地图信息以及车辆位置信息执行关于立体图像内的第二区域A2的车线推定。
[0226]车辆驾驶辅助装置100的处理器170可比较基于立体图像检测出的车线信息和从接口部130中接收的地图信息Smp，从而区分出第一区域以外的第二区域。此外，可从地图信息中获取关于第二区域的车线信息。此外，可基于获取的车线信息来推定关于第二区域的车线。此外，可生成关于推定的车线的车线图像。
[0227]附图内的图像1114例示出，在基于从接口部130中接收的地图信息Smp来执行针对第二区域A2的车线推定后，显示关于推定的车线的图像。因此，图像1114例示出所生成的第一车线至第三车线图像1122c、1124c、1126c重叠在第二区域A2上。
[0228]车辆驾驶辅助装置100的处理器170可向外部输出图像1114，从而利用显示器180进行显示。由此，用户能够直观地确认关于第二区域的车线。
[0229]或者，车辆驾驶辅助装置100的处理器170可合并图像1112和图像1114并生成图像1116。图像1116例示出，基于检测出的车线的第一车线至第三车线图像1122b、1124b、1126b重叠在第一区域Al，基于推定的车线的第一至第三车线图像1122c、1124c、1126c重叠在第二区域A2。
[0230]附图中例示出第一至第三车线图像1122c、1124c、1126c具有与检测出的车线的第一弯道(curve)相同的方向的弯道。即，例示出第一曲线道路为C字形曲线道路。
[0231]另外，车辆驾驶辅助装置100的处理器170可向外部输出图像1116，从而利用显示器180进行显示。由此，用户能够直观地确认关于第一区域以及第二区域的车线。
[0232]图12例示出关于第二曲线道路的车线检测以及车线推定方法的一例。
[0233]利用与图11类似的方法，车辆驾驶辅助装置100的处理器170通过立体相机195获取关于车辆前方的立体图像1210。立体图像1210内可包含曲线的第一车线至第三车线1122a、1124a、1126a。
[0234]另外，在车辆行驶状况时，在有雾气或夜间的情况下，通过车辆前方的立体图像1210也仅显示出关于车辆附近的车线，关于除此之外的其余区域的车线则不易进行确认。
[0235]因此，在010立体图像1210内，可区分为能够基于图像进行车线检测的第一区域Aa和和无法进行车线检测的第二区域Ab。
[0236]车辆驾驶辅助装置100的处理器170可利用以上所述的对象检测以及确认法来执行车线检测以及确认。此外，可生成关于检测出的车线的车线图像。
[0237]附图内的图像1212例示出，在基于立体图像执行针对第一区域Aa的车线检测后，显示关于检测出的车线的图像。因此，图像1212例示出所生成的第一车线至第三车线图像1122b、1124b、1126b重叠在实际拍摄的第一至第三车线1122a、1124a、1126a上。
[0238]另外，车辆驾驶辅助装置100的处理器170可通过接口部130从AVN装置400中接收地图信息。除此之外，可接收传感器信息中的车辆位置信息。
[0239]车辆驾驶辅助装置100的处理器170基于接收到的地图信息或基于地图信息以及车辆位置信息执行关于立体图像内的第二区域Ab的车线推定。
[0240]车辆驾驶辅助装置100的处理器170可比较基于立体图像检测出的车线信息和从接口部130中接收的地图信息Smp，从而区分出第一区域以外的第二区域。此外，可从地图信息中获取关于第二区域的车线信息。此外，可基于获取的车线信息来推定关于第二区域的车线。此外，可生成关于推定的车线的车线图像。
[0241 ]图内的图像1214例示出，在基于从接口部130中接收的地图信息Smp来执行针对第二区域Ab的车线推定后，显示关于推定的车线的图像。因此，图像1214例示出所生成的第一车线至第三车线图像1222c、1224c、1226c重叠在第二区域Ab上。
[0242]车辆驾驶辅助装置100的处理器170可向外部输出图像1214，从而利用显示器180进行显示。由此，用户能够直观地确认关于第二区域的车线。
[0243]或者，车辆驾驶辅助装置100的处理器170可合并图像1212和图像1214并生成图像1216。图像1216例示出，基于检测出的车线的第一车线至第三车线图像1122b、1124b、1126b重叠在第一区域Aa，基于推定的车线的第一至第三车线图像1222c、1224c、1226c重叠在第二区域A2。
[0244]附图中例示出第一至第三车线图像1222c、1224c、1226c具有与检测出的车线的第一弯道(curve)相反的方向的弯道。即，例示出第二曲线道路为S字形曲线道路。
[0245]另外，车辆驾驶辅助装置100的处理器170可向外部输出图像1216，从而利用显示器180进行显示。由此，用户能够直观地确认关于第一区域以及第二区域的车线。
[0246]另外，车辆驾驶辅助装置100的处理器170在图11及图12中示出的曲线道路的情况下，特别是，在第一区域包括具有第一弯道的第一曲线车线的情况下，在进行针对第二区域的第二曲线车线推定时，可基于地图信息推定是否为与第一弯道相同的方向的弯道，还是为与第一弯道相反的方向的弯道。
[0247]图11中例示出第一曲线道路为C字形曲线道路，而图12中例示出第二曲线道路为S字形曲线道路。特别是，即使在第一区域中检测出的车线具有几乎类似的弯道，车辆驾驶辅助装置100的处理器170也可基于地图上获取的地图信息来计算关于第二区域的车线是否为具有与第一弯道相同的方向的弯道的曲线车线，还是为具有与第一弯道相反的方向的弯道的曲线车线。
[0248]以下的数学式I例示出，在C字形曲线道路或S字形曲线道路状况下均可适用的车线推定公式。
[0249]数学式I
[0250]y = (dx3) +ax2+bx+c
[0251]其中，d为决定C字形曲线道路或S字形曲线道路的比例常数。当d为O时，表示C字形曲线道路，当不是O时，表示S字形曲线道路。
[0252]并且，a表示弯道系数(curve coefficient)，b表示斜率系数(slopecoefficient)，c表不偏移系数(offset coefficient)。
[0253]另外，在向显示器输出的图像1116或图像1126中，相比于与检测出的车线对应的图像1122b、1124b、1126b，优选地使推定的车线的图像(I 122c、1124c、1126c或1222c、1224c、1226c)更加高亮显示。例如，推定的车线的图像(I 122c、1124c、1126c或1222c、1224c、1226c)的车线厚度、大小、长度可以更大。
[0254]图13a例示出显示关于图11的第一曲线道路的车线图像。
[0255]参照附图，其例示出与图11的图像1116对应的图像1416显示在车辆前挡玻璃上的输出区域800 ο此时的显示器180可以是HUD。
[0256]图像1416可具有与检测车线对应的第一车线至第三车线图像1422b、1424b、1426b和与推定的车线对应的第一至第三车线图像1422c、1424c、1426c。
[0257]另外，在车辆前挡玻璃上显示车线图像的情况下，可在实际前方状况显示基于增强现实(augmented reality)的图像1416，用户能够直观地识别前方道路的车线。特别是，能够识别出无法进行识别的关于第二区域的车线。
[0258]图13b例示出显示关于图12的第二曲线道路的车线图像。
[0259]参照附图，其例示出与图12的图像1216对应的图像1426显示在车辆前挡玻璃上的输出区域800 ο此时的显示器180可以是HUD。
[0260]图像1426可具有与检测车线对应的第一车线至第三车线图像1422b、1424b、1426b和与推定的车线对应的第一至第三车线图像1432c、1434c、1436c。
[0261]另外，车辆驾驶辅助装置100的处理器170可与车辆的速度对应地改变第一车线图像的大小、厚度、长度、颜色中的至少一种。
[0262]具体而言，车辆驾驶辅助装置100的处理器170可与车辆的速度成比地设定为，使第一车线图像的变化率变得更大，或使车线图像内的曲率变得更大，或使车线图像的厚度或长度变得更大。
[0263]图14a至图15b例示出在显示关于曲线道路的车线图像时，与车辆速度对应地改变车线图像的大小等并进行显示。
[0264]图14a例示出，在车辆以第一速度Vl行驶的情况下，包含与检测车线对应的第一车线至第三车线图像1422b、1424b、1426b和与推定的车线对应的第一至第三车线图像1432c、1434c、1436c以及车辆速度信息1442的图像1426显示在车辆前挡玻璃上的输出区域800。
[0265]图14b例示出，在车辆以比第一速度Vl更快的第二速度V2行驶的情况下，包含与检测车线对应的第一车线至第三车线图像1522b、1524b、1526b和与推定的车线对应的第一至第三车线图像1532c、1534c、1536c以及车辆速度信息1452的图像1526显示在车辆前挡玻璃上的输出区域800。
[0266]将图14a和图14b进行比较可知，在速度更快的图14b的情况下，与检测车线对应的第一车线至第三车线图像1522b、1524b、1526b和与推定的车线对应的第一至第三车线图像1532c、1534c、1536c的厚度，其分别与图14a的与检测车线对应的第一车线至第三车线图像1422b、1424b、1426b和与推定的车线对应的第一至第三车线图像1432c、1434c、1436c相比更厚。
[0267]如上所述，通过与车辆速度成比地使车线图像更厚地进行显示，能够更加提高车线图像识别度。进一步，能够通过车线图像间接地识别出车辆速度。
[0268]接着，与图14a相同的，图15a例示出，在车辆以第一速度Vl行驶的情况下，包含与检测车线对应的第一车线至第三车线图像1422b、1424b、1426b和与推定的车线对应的第一至第三车线图像1432c、1434c、1436c以及车辆速度信息1442的图像1426显示在车辆前挡玻璃上的输出区域800。
[0269]接着，图15b例示出，在车辆以第二速度V2行驶的情况下，包含与检测车线对应的第一车线至第三车线图像1522b、1524b、1526b和与推定的车线对应的第一至第三车线图像1632c、1634c、1636c以及车辆速度信息1452的图像1626显示在车辆前挡玻璃上的输出区域800。
[0270]将图15a和图15b进行比较可知，在速度更快的图15b的情况下，与推定的车线对应的第一至第三车线图像1532c、1534c、1536c的长度，其与图14a的与推定的车线对应的第一至第三车线图像1432c、1434c、1436c相比更长。
[0271]如上所述，通过与车辆速度成比地使车线图像更长地进行显示，能够更加提高车线图像识别度。进一步，能够通过车线图像间接地识别出车辆速度。
[0272]另外，车辆驾驶辅助装置100的处理器170在进行车线检测以及推定后，考虑到车辆的行进方向而可生成车线偏离警告信号，或者生成防偏离车线控制信号。
[0273]图16a至图16b例示出防止偏离车线的多种例。
[0274]图16a例示出，车辆驾驶辅助装置100的处理器170在进行车线检测以及推定后，考虑到车辆的行进方向而生成车线偏离警告信号。
[0275]具体而言，车辆驾驶辅助装置100的处理器170可以音频信号方式生成车线偏离警告信号并输出。此外，车辆内部的音频输出部785可输出如图所示的声音1710。由此，用户能够识别出车线偏离，并即刻通过方向盘150操作以手动方式操作车线偏离。
[0276]另外，附图中例示出在前挡玻璃上的输出区域800显示包含与检测出的车线对应的车线图像1422b、1424b、1426b和与推定的车线对应的车线图像1432c、1434c、1436c的图像1426，但是，也可追加地显示车线偏离警告消息。
[0277]图16b例示出，车辆驾驶辅助装置100的处理器170在进行车线检测以及推定后，考虑到车辆的行进方向而生成防偏离车线控制信号。
[0278]具体而言，车辆驾驶辅助装置100的处理器170可一同生成防偏离车线控制信号和用于表示该防偏离车线控制信号的音频信号并输出。此外，车辆内部的音频输出部785可输入如图所示的声音1720。由此，用户能够即刻识别出将执行防偏离车线控制。
[0279]另外，附图中例示出在前挡玻璃上的输出区域800显示包含与检测出的车线对应的车线图像1422b、1424b、1426b和与推定的车线对应的车线图像1432c、1434c、1436c的图像1426，但是，也可追加地显示与防偏离车线控制相关的消息。
[0280]图17是示出本发明的另一实施例的单色相机的车辆的外观的图。
[0281]参照附图，本发明的另一实施例的车辆200可包括:利用动力源进行旋转的车轮135FR、135FL、135RL..；用于调节车辆200的行进方向的方向盘150 ；以及设于车辆200内部的单色相机193和雷达194。
[0282]通过单色相机193获取的单色图像和通过雷达194获取的距离信息可在车辆驾驶辅助装置(图18a的2100)内被信号处理。
[0283]图18a例示出本发明的另一实施例的车辆驾驶辅助装置的内部框图的一例。
[0284]参照附图，图18a的车辆驾驶辅助装置2100的内部框图与图3的车辆驾驶辅助装置100的内部框图类似，其区别在于，基于通过单色相机193获取的单色图像和通过雷达194获取的距离信息来执行信号处理，而不是基于通过立体相机195获取的立体图像来执行信号处理。即，可生成车辆姿势控制信号。以下，仅对其区别点进行描述。
[0285]单色相机193可以可装卸于车辆200的车顶或前挡玻璃，并可包括具有镜头的单个相机。
[0286]雷达194可以可装卸于车辆200的车顶或前挡玻璃，向车辆前方传送规定频率的电波，并接收从车辆前方的物体反射的电波。
[0287]处理器2170可基于雷达194中的发送电波和接收电波的差异来计算距离信息。并且，可通过匹配通过单色相机193获取的单色图像和距离信息来执行对象分离、检测、识别等。
[0288]接着，图18b例示出本发明的又一实施例的车辆驾驶辅助装置的内部框图的一例。
[0289]参照附图，图18b的车辆驾驶辅助装置2150的内部框图与图18a的车辆驾驶辅助装置2100的内部框图类似，其区别在于，具有对外部对象物执行扫描的激光雷达2101(Lidar)，而不是具有单色相机193和雷达194。
[0290]以下对区别点进行描述，激光雷达2101可利用激光扫描方式获取关于前方状况的扫描图像，处理器2270基于从激光雷达中接收的扫描图像来执行信号处理。即，可生成车辆姿势控制信号。
[0291]图19a至图19b例示出图18a的处理器的内部框图的多种例，图20a至图20b是在说明图19a的处理器的动作时作为参照的图。
[0292]图19a至图19b的处理器内部框图与图4a至图4b的处理器类似，其区别在于，不具有视差计算部。
[0293]取而代之，其区别在于，从外部的雷达194中接收与视差信息对应的距离信息Sd。这样的距离信息Sd输入于分割部432，并可在图像的分割时使用。
[0294]图20a至图20b是在基于分别从第一及第二帧区间中获取的单色图像来说明图19a的处理器170的动作方法时作为参照的图。
[0295]参照图20a至图20b，其与图5a至图5b类似，但是其利用基于单色图像和雷达的距离信息，因此，其区别在于，无需生成视差图(distance map)。
[0296]首先，参照图20a，在第一帧区间期间，单色相机193获取单色图像FRl，雷达获取距离信息Sdl。
[0297]由此，处理器2170内的分割部432和对象检测部434、对象确认部436可以基于雷达的距离信息Sdl为基础，对单色图像FRl内的第一车线至第四车线538a、538b、538c、538d、施工区域532、第一前方车辆534、第二前方车辆536进行检测及确认。
[0298]接着，参照图20b，在第二帧区间期间，单色相机193获取单色图像FR2，雷达获取距离信息Sd2。
[0299]由此，处理器2170内的分割部432和对象检测部434、对象确认部436可以基于雷达的距离信息Sd2为基础，对单色图像FR2内的第一车线至第四车线558a、558b、558c、558d、施工区域552、第一前方车辆554、第二前方车辆556进行检测及确认。
[0300]另外，对象跟踪部440可比较图20a和图20b，并执行针对确认出的对象的跟踪。
[0301]具体而言，对象跟踪部440可基于图20a和图20b中确认出的各对象的移动或移动向量，对相应对象的移动等进行跟踪。由此，可执行针对位于车辆周边的车线、施工区域、第一前方车辆、第二前方车辆等的跟踪。
[0302]另外，图17至图20b中描述的具有单色相机193和雷达194的车辆驾驶辅助装置2100可与图8a至图16b中的描述类似地，基于单色图像和距离信息执行针对车辆前方的第一区域的车线检测，并基于来自接口部的地图信息推定关于车辆前方的第二区域的车线。
[0303]此外，车辆驾驶辅助装置2100的处理器2170可生成与推定的车线对应的车线图像，并向外部进行输出。
[0304]另外，车辆驾驶辅助装置2100的处理器2170可基于检测出的车线以及推定的车线来执行车线偏离预测，并在预测出偏离车线时，生成用于控制设于车辆内的转向驱动部、制动驱动部、动力源驱动部、悬架驱动部中的至少一种的防偏离车线控制信号。
[0305]另外，具有图18b中描述的激光雷达2101的车辆驾驶辅助装置2150与图8a至图16b中的描述类似地，可基于扫描图像执行针对车辆前方的第一区域的车线检测，并基于来自接口部的地图信息推定关于车辆前方的第二区域的车线。
[0306]此外，车辆驾驶辅助装置2150的处理器2270可生成与推定的车线对应的车线图像，并向外部进行输出。
[0307]另外，车辆驾驶辅助装置2150的处理器2270可基于检测出的车线以及推定的车线来执行车线偏离预测，并在预测出偏离车线时，生成用于控制设于车辆内的转向驱动部、制动驱动部、动力源驱动部、悬架驱动部中的至少一种的防偏离车线控制信号。
[0308]本发明的实施例的车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆并不限定于以上所描述的实施例的结构和方法来实施，而是为使所述实施例可实现多种变形，各实施例的全部或一部分可选择性地组合构成。
[0309]另外，本发明的车辆驾驶辅助装置或车辆的动作方法可在设于车辆驾驶辅助装置或车辆的处理器可读取的记录介质中由处理器可读取的代码来实现。处理器可读取的记录介质包括存储有可由处理器读取的数据的所有种类的记录装置。处理器可读取的记录介质的例有ROM、RAMXD-ROM、磁带、软盘、光数据存储装置等，并且也可以诸如通过网络的传送的载波的形态实现。并且，处理器可读取的记录介质可分散于用网络连接的计算机系统，存储有处理器可以离散方式读取的代码并执行。
[0310]并且，以上对本发明的优选实施例进行了图示并说明，但是本发明并不限定于以上所述的特定实施例，在不背离权利要求书中请求的本发明的技术思想的范围的情况下，本领域的技术人员能够对本发明进行多种变形实施，这样的变形实施不应背离本发明的技术思想或前景而单独地加以理解。
[0311]工业利用性
[0312]本发明可适用于车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆，特别是，可适用于能够基于拍摄的图像来确认关于车辆前方的车线的车辆驾驶辅助装置及设有该车辆驾驶辅助装置的车辆。
【主权项】
1.一种车辆驾驶辅助装置，其特征在于，包括: 立体相机； 接口部，与至少一个车辆内部装置进行数据交换； 处理器，基于从所述立体相机中接收的立体图像来执行针对车辆前方的第一区域的车线检测，并基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。2.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，所述处理器在进行所述车线推定时，除了所述地图信息以外，还基于来自所述接口部的车辆位置信息推定关于所述第二区域的车线。3.根据权利要求1或权利要求2所述的车辆驾驶辅助装置，其特征在于，所述处理器在进行所述车线推定时，还基于针对所述第一区域的检测车线来执行关于所述第二区域的车线推定。4.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，所述处理器生成与所述推定的车线对应的第一车线图像，并向外部输出所述生成的第一车线图像。5.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，所述处理器还生成与所述检测出的车线对应的第二车线图像，并向外部输出所述生成的第二车线图像。6.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，所述处理器在所述第一区域包括具有第一弯道的第一曲线车线的情况下，当执行针对所述第二区域的第二曲线车线推定时，基于所述地图信息推定是否为与所述第一弯道相同的方向的弯道，还是为与所述第一弯道相反的方向的弯道。7.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，所述处理器与所述车辆的速度对应地改变所述第一车线图像的大小、厚度、长度、颜色中的至少一种。8.根据权利要求4所述的车辆驾驶辅助装置，其特征在于，所述处理器与所述车辆的速度成比地设定为，使所述第一车线图像的变化率变得更大，或使所述车线图像内的曲率变得更大，或使车线图像的厚度或长度变得更大。9.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，所述处理器包括: 视差计算部，执行所述立体图像的视差计算； 对象检测部，基于所述立体图像的视差信息执行针对所述立体图像中的至少一个的对象检测； 对象跟踪部，执行针对所述检测出的对象的跟踪。10.根据权利要求9所述的车辆驾驶辅助装置，其特征在于，所述处理器还包括: 分割部，基于所述立体图像的视差信息分割所述立体图像内的对象，以及 对象确认部，分类所述检测出的对象； 所述对象检测部基于所述分割的对象来执行针对所述立体图像中的至少一个的对象检测。11.根据权利要求1所述的车辆驾驶辅助装置，其特征在于，基于所述检测出的车线以及推定的车线来执行车线偏离预测，并在预测出偏离车线时，生成用于控制设于车辆内的转向驱动部、制动驱动部、动力源驱动部、悬架驱动部中的至少一种的防偏离车线控制信号。12.根据权利要求11所述的车辆驾驶辅助装置，其特征在于， 所述接口部接收所述车辆的传感器信息， 所述处理器基于所述立体图像来检测包含所述车线、道路面、与周边车辆的距离信息、所述周边车辆的速度信息的基于图像的车辆周边信息， 基于所述传感器信息执行车辆移动推定， 以所述基于图像的车辆周边信息为基础执行所述车辆的行进方向跟踪， 基于所述推定的车辆移动以及所述跟踪的行进方向来执行车辆路径预测， 基于所述推定的车辆移动和预测的车辆路径来计算车线偏离与否，并生成所述防偏离车线控制信号。13.根据权利要求12所述的车辆驾驶辅助装置，其特征在于， 所述接口部还接收地图信息， 所述处理器基于所述地图信息和所述车辆行驶信息执行地图匹配， 以所述地图信息和所述基于图像的车辆周边信息为基础执行所述车辆的行进方向跟踪， 基于所述推定的车辆移动以及跟踪的所述行进方向执行所述车辆路径预测， 基于所述推定的车辆移动和预测的车辆路径计算车线偏离与否，并生成所述防偏离车线控制信号。14.一种车辆驾驶辅助装置，其特征在于，包括: 单色相机； 雷达； 接口部，与至少一个车辆内部装置进行数据交换； 处理器，基于从所述单色相机中接收的单色图像和来自所述雷达的距离信息执行针对车辆前方的第一区域的车线检测，基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。15.一种车辆驾驶辅助装置，其特征在于，包括: 激光雷达，执行针对外部对象物的扫描； 接口部，与至少一个车辆内部装置进行数据交换； 处理器，基于从所述激光雷达中接收的扫描图像来执行针对车辆前方的第一区域的车线检测，基于来自所述接口部的地图信息推定关于所述车辆前方的第二区域的车线。16.一种车辆，其特征在于，包括: 检测部，检测车辆状态； 转向驱动部，驱动转向装置； 制动驱动部，驱动制动装置； 动力源驱动部，驱动动力源； 悬架驱动部，驱动悬架装置； 控制部，控制所述转向驱动部、制动驱动部、动力源驱动部、悬架驱动部；以及车辆驾驶辅助装置，包括:立体相机;接口部，与至少一个车辆内部装置进行数据交换；处理器，基于从所述立体相机中接收的立体图像来执行针对车辆前方的第一区域的车线检测，并基于来自所述接口部的地图信息执行关于所述车辆前方的第二区域的车线推定。17.根据权利要求16所述的车辆，其特征在于，所述处理器生成与所述推定的车线对应的第一车线图像，并向外部输出所述生成的第一车线图像。18.根据权利要求17所述的车辆，其特征在于，所述处理器在所述第一区域包括具有第一弯道的第一曲线车线的情况下，在执行针对所述第二区域的第二曲线车线推定时，基于所述地图信息推定是否为与所述第一弯道相同的方向的弯道，还是为与所述第一弯道相反的方向的弯道。19.根据权利要求17所述的车辆，其特征在于，所述处理器与所述车辆的速度对应地改变所述第一车线图像的大小、厚度、长度、颜色中的至少一种。20.根据权利要求16所述的车辆，其特征在于，基于所述检测出的车线以及推定的车线来执行车线偏离预测，在预测出偏离车线时，生成用于控制设于车辆内的转向驱动部、制动驱动部、动力源驱动部、悬架驱动部中的至少一种的防偏离车线控制信号。
【文档编号】B60W30/12GK105916750SQ201480073626
【公开日】2016年8月31日
【申请日】2014年12月24日
【发明人】李柱虎, 朴永经, M·桑吉维, R·维贾伊, R·Y·纳雷什
【申请人】Lg电子株式会社