驾驶人员辅助装置及其控制方法与流程

本发明涉及驾驶人员辅助装置及其控制方法，更详细地，涉及基于对在车辆行车道上所存在的对象的信息调整车辆的行驶方向的驾驶人员辅助装置及其控制方法。

背景技术：

车辆是指通过驱动车轮，将人或货物从一个场所运送到另一个场所的装置。例如，车辆不仅包括摩托车等的二轮车、小轿车等的四轮车，而且还包括火车等。

目前，为了增加车辆使用人员的安全性及方便性，加速开发将各种传感器和电子装置设置在车辆的技术。尤其，开发用于使使用人员方便驾驶的多种装置等。

并且，随着搭载自动驾驶功能的汽车越受瞩目，即，随着自动驾驶车辆越受瞩目，正积极研发搭载于自动驾驶车辆的传感器。当执行自动驾驶功能时，即使在仅存在来自使用人员的最低限度的输入或不存在来自使用人员的任何输入的情况下，车辆也可自动识别周边环境并在规定区间行驶。为了体现上述自动驾驶功能，需要在车辆设置用于接收车辆行驶环境检测信息的一个以上的传感器。例如，自动驾驶车辆可基于由摄像头、雷达(radar)、激光雷达(Lidar)、超声波传感器、陀螺仪、位置传感器等所获得的检测信息执行加速、减速、制动、转向等进行行驶。

另一方面，在车辆在高速公路等的区间行驶的情况下，有可能在车辆的行驶路径上存在坑洞、障碍物等的各种对象。在此情况下，车辆可基于借助摄像头生成的影像或一个以上的传感器所输出的对象检测信号来改变车辆的行驶状态。例如，自动紧急制动(AEB，Autonomous Emergency Braking)通过提示音等警告驾驶人员道路前方存在障碍物，在驾驶人员未对警告做出反应的情况下，自动启动制动器，从而可防止与障碍物产生碰撞事故或者使因上述碰撞事故而造成的损失最小化。作为另一例，自动紧急制动利用电动 助力转向(EPS，Electronic Power Steering)等来改变车辆所处的行车道，从而可躲避前方障碍物。

但是，以往在车辆正在行驶的车道上存在有可能引发事故的对象的情况下很难使车辆单纯减速或者使车辆向其他车道移动。由此，需要使车辆维持在当前行车道内行驶并躲避行车道上所存在的对象的技术

技术实现要素：

本发明的目的在于，提供基于对车辆周边所存在的对象的信息，能够以使车辆维持在车辆行车道内行驶并躲避行车道上所存在的对象的方式调整车辆行驶方向的驾驶人员辅助装置及其控制方法。

本发明的目的并不局限于以上所提及的目的，本发明所属技术领域的普通技术人员可从以下的记载中明确理解未提及的其他目的。

为了实现上述目的或其他目的，根据本发明一实施方式，本发明提供驾驶人员辅助装置，上述驾驶人员辅助装置包括：一个以上的摄像头，用于生成车辆前方的影像；以及处理器，基于所生成的上述影像，检测在上述车辆的行车道上所存在的对象，基于对上述对象的信息，向上述车辆的转向装置提供用于在上述行车道内调整上述车辆的行驶方向的控制信号。

在一部分实施例中，上述处理器可基于所生成上述影像识别左侧车道线及右侧车道线，通过判断上述左侧车道线及右侧车道线之间的区域，确定上述行车道。

在一部分实施例中，上述处理器可基于对上述对象的信息判断上述对象是坑洞还是障碍物。

在一部分实施例中，对上述对象的信息可包含对上述对象的间距信息。上述处理器可基于对上述对象的上述间距信息判断上述对象是在上述行车道上凹陷或是从上述行车道突出。在判断为上述对象在上述行车道上凹陷的情况下，可将上述对象判断为坑洞。在判断为上述对象从上述行车道突出的情况下，可将上述对象判断为障碍物。

在一部分实施例中，当将上述对象判断为坑洞及障碍物中的一种时，上述处理器可计算上述对象的位置及大小。在判断为上述对象为坑洞、上述坑洞的位置处于以上述行车道的中央为基准的规定范围内、上述坑洞的宽度小 于上述车辆的左侧轮胎与右侧轮胎之间的间距的情况下，上述处理器可生成引导路径，上述引导路径用于使上述坑洞从上述车辆的坐车轮胎与右侧轮胎之间通过，上述处理器可向上述车辆的转向装置提供用于根据上述引导路径调整上述车辆的转向的控制信号。在判断为上述对象为障碍物、上述障碍物的位置处于以上述行车道的中央为基准的规定范围内、上述障碍物的宽度小于上述车辆的左侧轮胎与右侧轮胎之间的间距、上述障碍物的高度小于上述车辆的最小离地间隙的情况下，上述处理器可生成引导路径，上述引导路径用于使上述障碍物从上述车辆的左侧轮胎与右侧轮胎之间通过，上述处理器可向上述车辆的转向装置提供用于根据上述引导路径调整上述车辆的转向的控制信号。在上述对象处于以上述行车道的中央为基准的规定范围之外、在上述行车道内存在从上述对象隔开上述车辆的整体宽度以上的区域的情况下，上述处理器可生成引导路径，上述引导路径用于使上述车辆通过上述区域，上述处理器可向上述车辆的转向装置提供用于根据上述引导路径调整上述车辆的转向的控制信号。在判断为上述对象为坑洞、在上述行车道内不存在从上述坑洞隔开上述车辆的整体宽度以上的区域的情况下，上述处理器可生成引导路径，上述引导路径用于使在上述车辆的左侧轮胎及右侧轮胎中的相对接近上述坑洞的一个轮胎经过上述坑洞的中心，上述处理器可向上述车辆的转向装置提供用于根据上述引导路径调整上述车辆的转向的控制信号。

并且，当将上述对象判断为障碍物时，上述处理器可生成跟踪上述障碍物的跟踪信息，上述处理器向上述车辆的显示部提供用于表示上述跟踪信息的控制信号。此时，上述显示部可包括在平视显示器(HUD，Head Up Displa)及设置于上述车辆的挡风玻璃的透明显示器中的至少一个。上述处理器可基于上述跟踪信号判断上述障碍物是否移动，当判断为上述障碍物移动时，上述处理器判断上述障碍物是否为坠落物。当将上述对象判断为坠落物时，上述处理器可计算上述坠落物的坠落速度及坠落轨迹，上述处理器可基于上述坠落速度及坠落轨迹预测上述坠落物的停止位置。在预测上述坠落物的停止位置为上述行车道内的情况下，上述处理器可基于上述坠落物的大小及所预测的停止位置，在上述行车道内生成引导路径。上述处理器可向上述车辆的显示器提供控制信号，上述控制信号用于表示对于上述停止位置的模拟信息 及上述引导路径中的至少一种。

在一部分实施例中，上述处理器可向上述车辆的灯驱动部提供控制信号，上述控制信号用于向包括上述停止位置的区域照射规定颜色或大小的激光束。

在一部分实施例中，若所预测的上述坠落物的停止位置处于上述行车道的中央的规定范围内、上述坠落物的宽度小于上述车辆的左侧轮胎与右侧轮胎之间的间距、上述坠落物的高度小于上述车辆的最小离地间隙，则上述处理器可生成引导路径，上述引导路径用于使上述坠落物从上述车辆的左侧轮胎与右侧轮胎之间通过，上述处理器向上述车辆的转向装置提供用于根据上述引导路径调整上述车辆的转向的控制信号。

在一部分实施例中，在所预测的上述坠落物的停止位置处于上述行车道的中央的规定范围之外、在上述行车道内存在从上述坠落物隔开上述车辆的整体宽度以上的区域的情况下，上述处理器可生成引导路径，上述引导路径用于使上述车辆通过上述区域，上述处理器可向上述车辆的转向装置提供用于根据上述引导路径调整上述车辆的转向的控制信号。

在一部分实施例中，上述处理器可基于是否因上述对象而导致上述车辆的挡风玻璃被遮挡已设定区域以上，判断上述对象是否为溅水现象。在因上述对象而导致上述车辆的挡风玻璃被遮挡已设定区域以上的情况下，上述处理器还可基于从上述车辆的雨量传感器所接收的降雨信息，判断上述对象是否为溅水现象。在将上述对象判断为溅水现象的情况下，上述处理器可向上述车辆的转向装置提供控制信号，上述控制信号用于将设置于上述车辆的方向盘的可操作范的围限定在规定范围内。当判断在位于上述行车道的左侧或右侧的其他车道存在障碍物时，上述处理器可向上述车辆的转向装置提供控制信号，上述控制信号用于将上述方向盘的可操作的范围限定在小于上述规定范围的范围内。

并且，在将上述对象判断为溅水现象后经过已设定的时间或者上述车辆的挡风玻璃的被遮挡的区域小于上述已设定区域的情况下，上述处理器可向上述车辆的转向装置提供控制信号，上述控制信号用于解除对上述方向盘的限定。上述处理器可基于在将上述对象判断为溅水现象之前所获得的影像，生成上述行车道内的引导路径。上述处理器可从在将上述对象判断为溅水现 象之前的影像中计算上述行车道的弯道信息，上述处理器基于上述弯道信息，生成上述行车道内的引导路径。在将上述对象判断为溅水现象的情况下，上述处理器可向上述车辆的雨刷驱动部提供控制信号，上述控制信号用于使雨刷驱动一次以上。

在一部分实施例中，在判断无法在上述行车道内生成引导路径的情况下，上述处理器可基于上述影像，判断在位于上述行车道的左侧或右侧的其他车道是否存在对象，在判断为在上述其他行车道上不存在对象的情况下，上述处理器生成连接上述行车道和上述其他车道的路径，上述处理器向上述车辆的转向装置提供控制信号，上述控制信号用于根据连接上述行车道和上述其他车道的路径调整上述车辆的转向。

在一部分实施例中，上述驾驶人员辅助装置可设置于具有转向装置的车辆，上述转向装置基于从上述驾驶人员辅助装置提供的控制信号调整上述车辆的转向。

对本发明的详细说明及附图中包含了其他实施例的具体事项。

如下对本发明的驾驶人员辅助装置及其控制方法的效果进行说明。

例如，基于在车辆的行车道上所存在的坑洞的位置及大小，可使车辆在行车道内躲避坑洞。

与之不同或与之相同地，基于在车辆的行车道上所存在的障碍物的位置及大小，可使车辆在行车道内躲避障碍物。

与之不同或与之相同地，通过预测在车辆的行车道上正在移动的坠落物的停止位置，可使车辆在行车道内躲避坠落物。

与之不同或与之相同地，通过朝向车辆的行车道上的障碍物所在的位置照射激光束，可使车辆的驾驶人员和其他车辆的驾驶人员直观地识别障碍物的准确位置。

与之不同或与之相同地，在因溅水现象而无法确保车辆前方视野的情况下，基于在发生溅水现象之前的行驶影像，生成并显示虚拟车道及引导路径，从而有助于安全驾驶。

与之不同或与之相同地，在因溅水现象而无法确保车辆前方视野的情况下，基于在发生溅水现象之前的行驶影像，限制方向盘的可操作范围，从而可降低因驾驶人员快速操作方向盘而引起的危险性。

与之不同或与之相同地，在因溅水现象而遮挡车辆的挡风玻璃的情况下，通过自动驱动雨刷，从而可有助于使驾驶人员迅速识别车辆前方的状态。

附图说明

图1为示出具有本发明一实施例的驾驶人员辅助装置的车辆的外观的图。

图2A至图2C为在根据本发明的实施例说明附着于图1中的车辆的摄像头过程中所参照的图。

图3A至图3C例示本发明多种实施例的驾驶人员辅助装置的内部框图的多种例。

图4A至图4B例示图3A至图3B的处理器的内部框图的多种例。

图5A至图5B为在说明图4A至图4B的处理器的动作的过程中所参照的图。

图6A至图6B为在说明图3A至图3C的驾驶人员辅助装置的动作的过程中所参照的图。

图7为图1的车辆的内部框图的一例。

图8为示出本发明一实施例的驾驶人员辅助装置的控制方法的流程图。

图9A至图9C示出本发明一实施例的驾驶人员辅助装置判断行车道及对象种类的一例。

图10为示出本发明一实施例的驾驶人员辅助装置对坑洞生成引导路径的一例的流程图。

图11A至图11C为示出本发明一实施例的驾驶人员辅助装置对坑洞生成引导路径的一例的图。

图12A至图12C为示出本发明一实施例的驾驶人员辅助装置对坑洞生成引导路径的一例的图。

图13A至图13C为示出本发明一实施例的驾驶人员辅助装置对坑洞生成引导路径的一例的图。

图14A至图14B为示出本发明一实施例的驾驶人员辅助装置对多个坑洞生成引导路径的一例的图。

图15为示出本发明一实施例的驾驶人员辅助装置对障碍物生成引导路 径的一例的图。

图16A至图16C为示出本发明一实施例的驾驶人员辅助装置对障碍物生成引导路径的一例的图。

图17A至图17C为示出本发明一实施例的驾驶人员辅助装置对障碍物生成引导路径的一例的图。

图18A至图18C为示出本发明一实施例的驾驶人员辅助装置对多个障碍物生成引导路径的一例的图。

图19A及图19B为在说明本发明一实施例的驾驶人员辅助装置向驾驶人员提供对象信息的动作的过程中所参照的图。

图20为示出本发明一实施例的驾驶人员辅助装置对坠落物生成引导路径的一例的流程图。

图21A至图21C为示出本发明一实施例的驾驶人员辅助装置对坠落物生成引导路径的一例的图。

图22A至图22C为示出本发明一实施例的驾驶人员辅助装置对坠落物生成引导路径的另一例的图。

图23示出本发明一实施例的驾驶人员辅助装置控制车辆的灯驱动部的一例。

图24A及图24B为示出本发明一实施例的驾驶人员辅助装置在发生溅水现象时在行车道内生成引导路径的一例的流程图。

图25A至图25C为示出在发生溅水现象时的本发明一实施例的驾驶人员辅助装置的动作的一例的图。

图26A及图26B为示出在发生溅水现象时的本发明一实施例的驾驶人员辅助装置的动作的再一例的图。

图27A至图27C为示出在发生溅水现象时的本发明一实施例的驾驶人员辅助装置的动作的另一例的图。

图28为示出在发生溅水现象时的本发明一实施例的驾驶人员辅助装置的动作的又一例的图。

具体实施方式

以下，参照附图，详细说明在本说明书中所记载的实施例，与附图标记 无关，对相同或类似的结构要素赋予相同的附图标记，并省略对其的重复说明。对于在以下的说明中所使用的结构要素的词尾“模块”及“部”仅是考虑本说明书的制作便利性而赋予或混用的词，其自身并不具有相互区分的含义或作用。并且，在说明在本说明书中所记载的实施例的过程中，在判断对于相关公知技术的具体说明有可能导致混淆在本说明书中所记载的实施例的主旨的情况下，将省略对其的详细说明。并且，附图仅用于更加容易理解在本说明书中所公开的实施例，在本说明书中所记载的技术思想并不局限于附图，本发明包括本发明的思想及技术范围所包含的所有变更、等同技术方案以及代替技术方案等全部。

第一、第二等包括序号的术语可用于说明多种结构要素，但上述术语并不限定上述结构要素。上述术语仅用于区分一个结构要素和其他结构要素。

当提及一个结构要素与其他结构要素“相连接”或“相接触”时，一个结构要素可直接或间接与其他结构要素相连接或相接触，但也有可能在中间存在其他结构要素。相反，当提及一个结构要素与其他结构要素“直接连接”或“直接接触”时，应理解为中间没有其他结构要素。并且，一个结构要素“控制”另一个结构要素意味着一个结构要素直接控制另一种结构要素或者通过第三方结构要素的媒介作用来控制另一个结构要素。并且，一个结构要素向另一个结构要素“提供”信息或信号意味着一个结构要素直接向另一个结构要素提供信号或信息，或者通过第三方结构要素的媒介作用来提供信息或信号。

只要在文脉上并未明确确定，单数的表达包括复数的表达。

在本申请中，“包括”或“具有”等术语仅表示说明书中所记载的特征、数字、步骤、动作、结构要素、部件或它们的组合的存在，而并非表示排除一个或一个以上的其他特征、数字、步骤、动作、结构要素、部件或它们的组合的存在或附加可能性。

本说明书中所记载的车辆可包括将引擎作为动力源的内燃机车辆、将引擎和电机作为动力源的混合动力车辆、将电机作为动力源的电动车辆。

图1为示出本发明一实施例的车辆1的外观的图。为了便于说明，将车辆1假设成四轮汽车。

参照附图，车辆1可包括：轮胎11a、11b、11c、11d，借助动力源旋转； 方向盘12，用于调整车辆1的前进方向；头灯13a、13b；雨刷14a、14b；以及后述的驾驶人员辅助装置100等。

本发明实施例的驾驶人员辅助装置100可生成车辆周边影像，从所生成的周边影像检测信息，基于检测到的信息输出用于调整车辆1的行驶方向等的控制信号。此时，可向控制部(图7的770)提供控制信号，控制部(图7的770)可基于控制信号控制转向装置等。

驾驶人员辅助装置100可具有至少一个摄像头，借助至少一个摄像头获得的图像可在处理器(图3A至图3B的170)内被信号处理。例如，如图所示，摄像头195安装于车辆1的挡风玻璃的上端，从而可对车辆的前方进行拍摄。

另一方面，车辆1的车身的最低点与路面之间可相隔最小离地间隙G。由此，可防止高度小于最小离地间隙G的物体对车体造成的损伤。

并且，车辆1的前方左右轮胎11a、11b之间的间隔与后方左由轮胎11c、11d之间的间隔相同。以下，假设前轮左侧轮胎11a的内侧与右侧轮胎11b的内侧之间的间距为同为后轮左侧轮胎11c的内侧与右侧轮胎11d的内侧之间的间距的值T。但是，根据情况，上述间隔可相异。

并且，如图所示，车辆1的整体宽度O为除后视镜之外的从车辆的左侧末端至右侧末端为止的最大距离。

另一方面，图1所示的车辆1可包括后述驾驶人员辅助装置100。

图2A至图2C为在根据本发明的实施例说明附着于图1中的车辆的摄像头的过程中所参照的图。

参照图2A，说明包括用于获得车辆前方影像的摄像头195a、195b的驾驶人员辅助装置100。

图2A示出驾驶人员辅助装置100包括两个摄像头，但驾驶人员辅助装置100所包括的摄像头的数量也可达到其他数量。

参照附图，驾驶人员辅助装置100可包括第一摄像头195a和第二摄像头195b，上述第一摄像头195a设置有第一镜头193a，上述第二摄像头195b设置有第二镜头193b。在此情况下，摄像头195可被命名为立体摄像头。

另一方面，驾驶人员辅助系统100可包括用于遮蔽分别向第一镜头193a和第二镜头193b入射的光的第一遮光部(light shield)192a、第二遮光部192b。

图中的驾驶人员辅助装置100可呈可在车辆1的顶部或挡风玻璃实现拆装的结构。

上述驾驶人员辅助装置100可从第一摄像头195a、第二摄像头195b获得对车辆前方的立体图像。并且，基于立体图像执行视差(disparity)检测，并可基于视差信息对至少一个立体图像执行对象检测。在执行对象检测之后，可继续跟踪对象的移动。

参照图2B及图2C，说明包括用于获得车辆周边影像的摄像头195、196、197、198的驾驶人员辅助装置100。

图2B及图2C示出驾驶人员辅助装置100包括四个摄像头，但在本发明，并不特别限制摄像头的数量。

参照附图，驾驶人员辅助装置100可包括多个摄像头195、196、197、198。在此情况下，多个摄像头195、196、197、198可被命名为全景摄像头。

多个摄像头195、196、197、198可分别配置于车辆1的前方、左侧、右侧及后方。

左侧摄像头196可配置于包围左侧后视镜的外壳内。或者，左侧摄像头196可配置于包围左侧后视镜的外壳的外部。或者，左侧摄像头196可配置于左前门、左后门或左侧挡泥板(fender)外侧的一区域。

右侧摄像头197可配置于包围右侧后视镜的外壳内。或者，右侧摄像头197可配置于包围右侧后视镜的外壳的外部。或者，右侧摄像头197可配置于右前门、右后门、或右侧挡泥板外侧的一区域。

另一方面，后方摄像头198可配置于后方牌照或后备箱开关附近。

前方摄像头195可配置于挡风玻璃附近、车辆标志附近或散热器护栅附近。

在多个摄像头195、196、197、198拍摄的各个图像向处理器170传输，处理器170可通过合成上述各个图像来生成车辆周边影像。

图2C示出车辆周边影像的一例。车辆周边影像201可包括：第一图像区域196i，借助左侧摄像头196拍摄；第二图像区域198i，借助后方摄像头198拍摄；第三图像区域197i，借助右侧摄像头197拍摄；以及第四图像区域195i，借助前方摄像头195拍摄。

另一方面，当从多个摄像头生成全景图像时，会发生各个图像区域之间 的边界部分。上述边界部分能够通过图像混合处理(blending)的方式自然显示。

另一方面，可在多个影像各个的边界显示边界线202a、202b、202c、202d。并且，在车辆周边影像201的中央可包含车辆图像。其中，车辆图像可以为借助处理器170生成的图像。并且，车辆周边影像201可通过车辆1的显示部741或驾驶人员辅助装置的显示部180显示。

图3A至图3C例示本发明多种实施例的驾驶人员辅助装置100框图的多种例。

图3A至图3B中的驾驶人员辅助装置100可基于计算机视觉(computer vision)对从摄像头195接收的图像进行信号处理，从而生成车辆相关信息。其中，车辆相关信息可包含用于直接控制车辆的车辆控制信息或用于引导驾驶人员驾驶的车辆驾驶辅助信息。

其中，摄像头195可以为单摄像头。或者，摄像头195可以为拍摄车辆前方影像的立体摄像头195a、195b。或者，摄像头195可以为用于拍摄车辆周边影像的全景摄像头195、196、197、198。

图3A为本发明实施例的驾驶人员辅助装置100的内部框图。

参照图3A，图3A中的驾驶人员辅助装置100可包括输入部110、通信部120、接口部130、存储器140、处理器170、电源供给部190、摄像头195、显示部180、音频输出部185等。

输入部110可具有附着于车辆驾驶辅助装置100，尤其，附着于立体摄像头195的多个按钮或触摸屏。可通过多个按钮或触摸屏来使车辆驾驶辅助装置100的电源开启并工作。除此之外，也可执行多种输入动作。

通信部120能够以无线(wireless)方式与移动终端600或服务器500进行数据交换。尤其，通信部120能够以无线方式与车辆驾驶人员的移动终端600进行数据交换。作为无线数据通信方式，可进行蓝牙(Bluetooth)、WiFi Direct、WiFi、APIX、NFC等多种数据通信方式。

通信部120可从移动终端600或服务器500接收天气信息、道路交通情况信息，例如传输协议专家组(TPEG，Transport Protocol Expert Group)信息。另一方面，可向移动终端600或服务器500传输从车辆驾驶辅助装置100掌握的实时信息。

另一方面，在使用人员搭乘车辆的情况下，使用人员的移动终端600和车辆驾驶辅助装置100可自动或借助使用人员的应用执行来执行相互配对(pairing)。

通信部120可从外部服务器510接收信号灯变更信息。其中，外部服务器510可以为位于管制交通的交通管制所的服务器。

接口部130可接收与车辆相关的数据或向外部传输在处理器170中处理或生成的信号。为此，接口部130可借助有线通信或无线通信的方式来与车辆的电子控制单元(ECU)770、音视频导航(AVN，Audio Video Navigation)装置400、传感部760等执行数据通信。

接口部130可通过与控制部770、音视频导航装置400或额外的汽车导航装置进行数据通信来获得汽车导航信息。其中，汽车导航信息可包含所设定的目的地信息、基于上述目的地的路径信息、与车辆行驶相关的地图(map)信息、车辆的当前位置信息。另一方面，汽车导航信息可包含道路上的车辆的位置信息。

另一方面，接口部130可从控制部770或传感部760接收传感器信息。

其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、对象信息中的至少一种。

这种传感器信息可从航向传感器(heading sensor)、偏航传感器(yaw sensor)、陀螺传感器(gyro sensor)、定位模块(position module)、车辆前进/后退传感器、车轮传感器(wheel sensor)、车辆速度传感器、自身倾斜检测传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器、车辆内部湿度传感器及对象传感器(例如，雷达、激光雷达、超声波传感器等)等获得。另一方面，定位模块可包括用于接收GPS信息的GPS模块。

另一方面，在传感器信息中，可将与车辆行驶相关的车辆方向信息、车辆位置信息、车辆角度信息、车辆速度信息、车辆倾斜度信息等命名为车辆行驶信息。

接口部130可接收转向信号信息。其中，转向信号信息可以为使用人员 输入的用于左转弯或右转弯的方向指示灯的打开(turn on)信号。在通过车辆的使用人员输入部(图7的724)接收左侧或右侧方向指示灯打开信号的情况下，接口部130可接收左侧或右侧方向转向信号信息。

接口部130可接收车辆速度信息、方向盘的旋转角度信息或换挡信息。接口部130可接收通过车辆的传感部760检测的车辆速度信息、方向盘旋转角度信息或换挡信息。或者，接口部130可从车辆的控制部770接收车辆速度信息、方向盘旋转角度信息或换挡信息。另一方面，其中，换挡信息可以为关于车辆的变速杆处于哪一状态的信息。例如，换挡信息可以为关于变速杆处于停车(P)、后退(R)、空档(N)、行驶(D)、一档至多档状态中的哪一种状态的信息。

接口部130可接收通过车辆1的使用人员输入部724接收的使用人员输入。接口部130可从车辆1的输入部720接收使用人员输入，或者通过控制部770接收上述使用人员输入。

接口部130可接收从外部服务器510所获得的信息。外部服务器510可以为位于管制交通的交通管制所的服务器。例如，在车辆的通信部710从外部服务器510接收信号灯变更信息的情况下，接口部130可从控制部(图7的770)接收上述信号灯变更信息。存储器140可存储用于处理或控制处理器170的程序等、用于车辆驾驶辅助装置100的整个动作的多种数据。

存储器140可存储用于确认对象的数据。例如，在通过摄像头195获得的影像中检测到规定对象的情况下，存储器140可借助规定程序存储用于确认上述对象与何物相对应的数据。

存储器140可存储关于交通信息的数据。例如，在通过摄像头195获得的影像中检测到规定的交通信息的情况下，存储器140可借助规定算法存储用于确认上述交通信息与何种情况相对应的数据。

另一方面，存储器140可以为硬件、ROM、RAM、EPROM、闪存驱动器、硬盘驱动器等的多种存储设备。

处理器170可控制驾驶人员辅助装置100内的各个单元的整个动作。

处理器170可对借助摄像头195获得的车辆前方影像或车辆周边影像进行处理。尤其，处理器170执行基于计算机视觉(computer vision)的信号处理。由此，处理器170可从摄像头195获得车辆前方的图像或车辆周边的 图像，基于图像来执行对象检测及对象跟踪。尤其，当进行对象检测时，处理器170可执行车道线检测(LD，Lane Detection)、周边车辆检测(VD，Vehicle Detection)、行人检测(PD，Pedestrian Detection)、灯光检测(BD，Brightspot Detection)、交通信号检测(TSR，Traffic Sign Recognition)及路面检测等。

根据情况，交通信号(Traffic Sign)可意味着可向车辆1的驾驶人员传递的规定信息。交通信号可通过信号灯、交通标识牌或路面向驾驶人员传递。例如，交通信号可以为由信号灯输出的车辆或行人的前进(Go)或停止(Stop)信号。例如，交通信号可以为显示在交通标识牌的各种图案或文字。作为另一例，交通信号可以为显示在路面的各种图案或文字。

处理器170可从借助摄像头195生成的车辆周边影像中检测信息。

信息可以为关于车辆行驶状况的信息。例如，信息可包含道路信息、交通法规信息、周边车辆信息、车辆或行人信号灯信息、施工信息、交通状况信息、停车场信息、车道线信息等。

信息可以为交通信息。处理器170可从借助摄像头195获得的影像中的信号灯、交通标识牌及路面中的一个检测交通信息。例如，处理器170可从影像所包含的信号灯检测车辆或行人的前进(Go)或停止(Stop)信号。例如，处理器170可从影像所包含的交通标识牌检测各种图案或文字。例如，处理器170可从影像所包含的路面检测各种图案或文字。

处理器170可通过对检测到的信息和存储于存储器140的信息进行比较来确认信息。

例如，处理器170从所获得的影像中的对象中检测表示坡道的图案或文字。其中，对象可以为交通标识牌或路面。处理器170可检测图案或文字。处理器170可通过对存储于存储器140的交通信息和所检测到的图案或文字进行比较来确认坡道信息。

例如，处理器170从所获得的影像中的对象中检测表示车辆或行人停止(Stop)的图案或文字。其中，对象可以为交通标识牌或路面。处理器170可通过对存储于存储器140的交通信息和检测的图案或文字进行比较来确认停止信息。或者，处理器170从所获得的影像中的路面检测停止线。处理器170可通过对存储于存储器140的交通信息和停止线进行比较来确认停止信 息。

例如，处理器170可从所获得的影像中的对象中检测车道是否存在。其中，对象可以为路面。处理器170可确认所检测到的车道线的颜色。处理器170可确认所检测到的车道线是行车道线还是等待车道线。

例如，处理器170可从所获得的影像中的对象中检测车辆的前进或停止信息。其中，对象可以为车辆信号灯。其中，车辆的前进信息可以为引导车辆直行、左转弯或右转弯的信号。车辆的停止信息可以为引导车辆停止的信号。车辆的前进信息可被表示成绿色，车辆的停止信息可被表示成红色。

例如，处理器170可从所获得影像中的对象中检测行人的前进或停止信息。其中，对象可以为行人信号灯。其中，行人的前进信息可以为引导行人通过人行横道横穿马路的信号。行人的停止信息可以为引导行人在人行横道停止的信息。

在一部分实例中，处理器170可控制摄像头195的变焦(zoom)。例如，处理器170可根据对象检测结果控制摄像头195的变焦。若仅检测交通标识牌，则在未检测到交通标识牌所呈现的内容的情况下，处理器170可使摄像头195聚焦(Zoom-in)。

根据情况，处理器170可通过通信部120接收天气信息、道路的交通状况信息，例如，传输协议专家组信息。

根据情况，处理器170也可在驾驶人员辅助装置100中实时掌握基于立体图像的车辆周边交通状况信息。

根据情况，处理器170可通过接口部130来从音视频导航装置400或额外的汽车导航装置(未图示)接收汽车导航信息等。

根据情况，处理器170可通过接口部130从控制部770或传感部760接收传感器信息。其中，传感器信息可包括车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转信息中的至少一种。

根据情况，处理器170可通过接口部130从控制部770、音视频导航装置400或额外的汽车导航装置(未图示)接收汽车导航信息。

根据情况，处理器170可通过利用专用集成电路(ASICs，application specific integrated circuits)、数字信号处理器(DSPs，digital signal processors)、数字信号处理装置(DSPDs，digital signal processing devices)、可编程逻辑器装置(PLDs，programmable logic devices)、现场可编程门阵列(FPGAs，field programmable gate arrays)、处理器(processors)、控制器(controllers)、微控制器(micro-controllers)、微处理器(microprocessors)、用于执行其他功能的电单元中的至少一种来体现。

控制部770可控制处理器170。

显示部180可显示在处理器170处理的各种信息。显示部180可显示与驾驶人员辅助装置100的动作相关的图像。为了显示上述图像，显示部180可包括车辆内部前表面的辅音群(cluster)或平视显示器(HUD，Head Up Display)。在显示部180为平视显示器的情况下，显示部180可包括用于在车辆1的前部面玻璃投射图像的投射模块。

音频输出部185基于在处理器170中处理的音频信号来向外部输出声音。为此，音频输出部185可包括至少一个扬声器。

音频输入部可接收使用人员的语音信息。为此，可设置麦克风。所接收的语音信息可在音频输入部变换为电信号来向处理器170传输。

电源供给部190可通过处理器170的控制来提供各结构要素的工作所需的电源。尤其，电源供给部190可从车辆的电池等接收电源。

摄像头195用于获得车辆前方影像或车辆周边影像。摄像头195可以为用于拍摄车辆前方影像的单摄像头或立体摄像头195a、195b。或者，摄像头195可存在于用于拍摄车辆周边影像的全景摄像头。

摄像头195可包括图像传感器(例如，CMOS或CCD)和影像处理模块。

摄像头195可对通过图像传感器获得的静态影像或动态影像进行处理。影像处理模块可通过图像传感器对获得的静态影像或动态影像进行加工。另一方面，根据实施例，影像处理模块可以与处理器170单独形成或形成为一体。

摄像头195可获得拍摄信号灯、交通标识牌及路面中的至少一个的影像。

摄像头195可根据处理器170的控制设定变焦。例如，根据处理器170的控制，使摄像头195所包括的变焦筒(未图示)移动，由此可设定变焦。

摄像头195可根据处理器170的控制设定焦点(Focus)。例如，根据处 理器170的控制，使摄像头195所包括的焦点筒(未图示)移动，由此可设定焦点。可基于设定变焦来自动设定焦点。

另一方面，处理器170能够以与摄像头195的变焦相对应的方式自动控制焦点。

图3B为本发明另一实施例的驾驶人员辅助装置100的内部框图。

参照图3B，与图3A的驾驶人员辅助装置100相比，图3B的驾驶人员辅助装置100的不同点在于上述驾驶人员辅助装置100包括立体摄像头195a、195b。以下，以不同之处为中心进行说明。

驾驶人员辅助装置100可包括第一摄像头195a及第二摄像头195b。其中，可将第一摄像头195a及第二摄像头195b命名为立体摄像头。

立体摄像头195a、195b可在车辆200的顶部或前表面玻璃实现装拆。立体摄像头195a、195b可包括第一镜头193a、第二镜头193b。

另一方面，立体摄像头195a、195b可包括用于遮蔽分别向第一镜头193a和第二镜头193b入射的光的第一遮光部192a、第二遮光部192b。

第一摄像头195a获得车辆前方的第一影像。第二摄像头195b获得车辆前方的第二影像。第二摄像头195b与第一摄像头195a隔开规定距离。通过使第一摄像头195a及第二摄像头195b隔开固定距离，由此产生视差，并可检测基于视差的与对象的间距。

另一方面，在驾驶人员辅助装置100包括立体摄像头195a、195b的情况下，处理器170执行基于计算机视觉的信号处理。由此，处理器170可从立体摄像头195a、195b获得车辆前方的立体图像，基于立体图像来执行对车辆前方的视差计算，并基于所计算的视差信息来对立体图像中的至少一个图像执行对象检测，在完成对象检测后，继续可跟踪对象的移动。其中，立体图像以从第一摄像头195a接收的第一影像及从第二摄像头195b接收的第二影像为基础。

尤其，当进行对象检测时，处理器170可执行车道线检测(LD，Lane Detection)、周边车辆检测(VD，Vehicle Detection)、行人检测(PD，Pedestrian Detection)、灯光检测(BD，Brightspot Detection)、交通信号牌检测(TSR，Traffic Sign Recognition)及路面检测等。

并且，处理器170可执行对所检测的周边车辆的距离计算、对所检测的 周边车辆的速度计算及对与所检测的周边车辆之间的速度差计算等。

处理器170可单独控制第一摄像头195a的变焦及第二摄像头195b的变焦。在固定第一摄像头195a的变焦的情况下，处理器170周期性地改变第二摄像头195b的变焦倍数。在固定第二摄像头195b的变焦的情况下，处理器170可周期性地改变第一摄像头195a的变焦倍数。

处理器170可按规定周期使第一摄像头195a及第二摄像头195b拉近镜头或拉远镜头。

处理器170以有利于从远距离检测对象的方式将第一摄像头195a的变焦设定成高倍数。并且，处理器170以有利于在近距离检测对象的方式将第二摄像头195b的变焦设定成低倍数。此时，处理器170可使第一摄像头195a拉近镜头，使第二摄像头195b拉远镜头。

相反，处理器170以有利于在近距离检测对象的方式可将第一摄像头195a的变焦设定成低倍数。并且，处理器以有利于在远距离检测对象的方式将第二摄像头195b的变焦设定成高倍率。此时，处理器170可使第一摄像头195a拉远镜头，使第二摄像头195b拉近镜头。

例如，处理器170可根据对象检测结果控制第一摄像头195a或第二摄像头195b的变焦。在虽检测到交通标识牌，但未检测到存在于交通标识牌的内容的情况下，处理器170可使第一摄像头195a或第二摄像头195b拉近镜头。

图3C为本发明另一实施例的驾驶人员辅助装置100的内部框图。

与图3A的驾驶人员辅助装置100相比，图3C的驾驶人员辅助装置100的不同点在于上述驾驶人员辅助装置100包括全景摄像头195、196、197、198。以下，以不同之处为中心进行说明。

驾驶人员辅助装置100可包括全景摄像头195、196、197、198。

全景摄像头195、196、197、198可分别包括镜头和遮光部，上述遮光部用于遮蔽向上述镜头入射的光。

全景摄像头可包括左侧摄像头196、后方摄像头198、右侧摄像头197及前方摄像头195。

前方摄像头195获得车辆前方影像。左侧摄像头196获得车辆左侧方影像。右侧摄像头197获得车辆右侧方影像。后方摄像头198获得车辆后方影 像。

从全景摄像头195、196、197、198获得的各个影像分别向处理器170传输。

处理器170可通过合成车辆的左侧方影像、后方影像、右侧方影像、前方影像来生成车辆周边影像。此时，车辆周边影像可以为顶视或鸟瞰影像。处理器170分别接收车辆的左侧方影像、后方影像、右侧方影像、前方影像，并合成所接收的影像，并将合成的影像转换成顶视影像，从而生成车辆周边影像。

另一方面，处理器170可基于车辆周边影像来检测对象。尤其，当进行对象检测时，处理器170可执行车道线检测(LD，Lane Detection)、周边车辆检测(VD，Vehicle Detection)、行人检测(PD，Pedestrian Detection)、灯光检测(BD，Brightspot Detection)、交通信号检测(TSR，Traffic Sign Recognition)及路面检测等。

根据情况，处理器170可单独控制全景摄像头195、196、197、198的变焦。处理器170的变焦控制与参照图3B说明的立体摄像头的情况相同。

但是，在图3A至图3C所示的结构要素中的一部分可以是驾驶人员辅助装置100中的不必要的部件。因此，与以上所说明的结构要素相比，本说明书中所说明的驾驶人员辅助装置100所具有的结构要素可更多或更少。例如，驾驶人员辅助装置100可仅包括处理器170及摄像头195。

图4A至图4B例示图3A至图3B的处理器的内部框图的多种例。图5A至图5B为在说明图4A至图4B的处理器的动作的过程中所参照的图。

首先，参照图4A，图4A为处理器170的内部框图的一例，驾驶人员辅助装置100内的处理器170可包括影像预处理部410、视差计算部420、对象检测部434、对象跟踪部440及应用程序部450。

影像预处理部410(image preprocessor)可从摄像头195接收图像来执行预处理(preprocessor)。

具体地，影像预处理部410可执行对图像的降低噪音(noise reduction)、整流(rectification)、校准(calibration)、颜色增强(color enhancement)、颜色空间转变(CSC，color space conversion)、插补(interpolation)、摄像头增益控制(camera gain control)等。与此同时，可获得比在摄像头195拍 摄的立体图像更鲜明的图像。

视差计算部420(disparity calculator)接收在影像预处理部410中进行信号处理的图像，执行对所接收的图像的立体匹配(stereo matching)，并获得基于立体匹配的视差图(dispartiy map)。即，可获得对车辆前方的、对立体图像的视差信息。

此时，立体匹配能够以立体图像的像素单位或规定块单位执行。其中，视差图可意味着以数值方式呈现立体图像，即，左右图像的时差信息(binocular parallax information)的图。

分割部(segmentation unit)432可基于视差计算部420的视差信息来对立体图像中至少一个执行分割(segment)及聚类(clustering)。

具体地，分割部432可基于视差信息来对立体图像中的至少一个进行背景(background)和前景(foreground)的分离。

例如，在视差图中，可由视差信息将规定值以下的区域作为背景来计算，并除去对应部分。由此，可使前景相对分离。

作为另一例，在视差图中，可由视差信息将规定值以上的区域作为前景来计算，并抽取相应部分。由此，可使前景分离。

像这样，基于立体图像抽取的视差信息为基础来分离前景和背景，由此在之后进行对象检测时，可缩短信号处理速度、信号处理量等。

接着，对象检测部(object detector)434可基于分割部432的图像分割来进行对象检测。

即，对象检测部434可基于视差信息来对立体图像中的至少一个进行对象检测。

具体地，对象检测部434可对图像中的至少一个进行对象检测。例如，可从通过图像分割来分离的前景进行对象检测。

接着，对象确认部(object verification unit)436对被分离的对象进行分类(classify)并确认(verify)。

为此，对象确认部436可使用利用神经式网络(neural network)的识别法、支持向量机(SVM，Support Vector Machine)方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图(HOG，Histograms of Oriented Gradients)方法等。

根据情况，对象确认部436可通过比较存储于存储器140的对象和所检测的对象来确认。

例如，对象确认部436可确认位于车辆周边的周边车辆、车道线、路面、标志牌、危险地带及隧道等。

对象跟踪部(object tracking unit)440执行对所确认的对象的跟踪。例如，可依次确认所获得的立体图像中的对象，计算所确认的对象的移动或移动向量，并基于所计算的移动或移动向量来跟踪对应对象的移动等。由此，可跟踪位于车辆周边的周边车辆、车道线、路面、标志牌、危险地带及隧道等。

接着，应用程序部450可基于位于车辆周边的多种对象，例如其他车辆、车道、路面及标志牌等来计算车辆1的危险度等。并且，可计算与前方车辆的碰撞可能性、车辆是否滑动等。

并且，应用程序部450可基于所计算的危险度、碰撞可能性或是否滑动等来向使用人员输出用于告知这种信息的消息等作为车辆驾驶辅助信息。并且，可生成用于控制车辆1的姿势或行驶的控制信号作为车辆控制信号。

另一方面，影像预处理部410、视差计算部420、分割部432、对象检测部434、对象确认部436、对象跟踪部440及应用程序部450可以为图7以下处理器170内部影像处理部810的内部结构。

在一部分实施例中，处理器170可包括影像预处理部410、视差计算部420、分割部432、对象检测部434、对象确认部436、对象跟踪部440及应用程序部450中的一部分。在摄像头195由单摄像头或全景摄像头构成的情况下，可去除视差计算部420。并且，根据实施例，还可去除分割部432。

图4B为处理器的内部框图的另一例。

参照附图，图4B的处理器170的内部结构与图4A的处理器170的内部结构相同，但在信号处理顺序方面存在差异。以下，仅说明上述差异。

对象检测部434可接收立体图像，并对立体图像中的至少一个进行对象检测。与图4A不同，对象检测部434可基于视差信息，直接从立体图像检测对象，而不是对被分割的图像进行对象检测。

接着，对象确认部(object verification unit)436基于在分割部432执行图像分割并在对象检测部434进行检测的对象，对检测及被分离的对象进行 分类(classify)并确认(verify)。

为此，对象确认部436可使用利用神经式网络的识别法、支持向量机方法、利用Haar-like特征的通过AdaBoost来识别的方法或梯度方向直方图方法等。

图5A和图5B为为了基于分别从第一区间及第二帧区间获得的图像来说明图4A的处理器170的工作方法而参照的图。

首先，参照图5A，在第一帧区间内，立体摄像头195获得立体图像。

处理器170内的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR1a、FR1b，并对所接收的图像FR1a、RF1b执行立体匹配，来获得视差图520。

视差图520作为对立体图像FR1a、FR1b之间的时差进行等级化的图，视差等级越大，与车辆之间的距离越短，而视差等级越小，与车辆之间的距离越长。

另一方面，在显示这种视差图的情况下，视差等级越大，具有越高的亮度，而视差等级越小，具有越低的亮度。

附图例示了在视差图520中，第一车道线528a、第二车道线528b、第三车道线528c、第四车道线528d等分别具有对应的视差等级，施工区域522、第一前方车辆524、第二前方车辆526分别具有对应的视差等级。

分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR1a、FR1b中的至少一个的分割、对象检测及对象确认。

附图例示使用视差图520来执行对第二立体图像FR1b的对象检测及确认。

即，在图像530中，第一车道线538a、第二车道线538b、第三车道线538c、第四车道线538d、施工区域532、第一前方车辆534及第二前方车辆536可执行对象检测及确认。

接着，参照图5B，在第二帧区间内，立体摄像头195获得立体图像。

处理器170中的视差计算部420接收在影像预处理部410中进行信号处理的立体图像FR2a、FR2b，执行对所接收的立体图像FR2a、FR2b的立体匹配，并取得视差图540。

附图例示了在视差图540中，第一车道线548a、第二车道线548b、第 三车道线548c、第四车道线548d等分别具有对应的视差等级，施工区域542、第一前方车辆544、第二前方车辆546分别具有对应的视差等级。

分割部432、对象检测部434及对象确认部436基于视差图520来执行对立体图像FR2a、FR2b中的至少一个的分割、对象检测及对象确认。

附图例示了使用视差图540来执行对第二立体图像FR2b的对象检测及确认。

即，在图像550中，第一车道线558a、第二车道线558b、第三车道线5358c、第四车道线558d、施工区域552、第一前方车辆554级第二前方车辆556可执行对象检测及确认。

将图5A和图5B作比较，对象跟踪部440可执行对所确认的对象的跟踪。

具体地，对象跟踪部440可基于在图5A和图5B中确认的各对象的移动或移动向量来跟踪对应对象的移动等。由此，可执行对位于车辆周边的车道、施工区域、第一前方车辆及第二前方车辆等的跟踪。

图6A至图6B为在说明图3A至图3C的驾驶人员辅助装置的工作的过程中所参照的图。

首先，图6A为例示出设于车辆内部的立体摄像头195所拍摄的车辆前方情况的图。尤其，以鸟瞰图(bird eye view)表示车辆前方的情况。

参照附图可知，从左向右依次具有第一车道线642a、第二车道线644a、第三车道线646a、第四车道线648a，在第一车道线642a与第二车道线644a之间具有施工区域610a，而第一前方车辆620a位于第二车道线644a与第三车道线646a之间，第二前方车辆630a配置于第三车道线646a与第四车道线648a之间。

接着，图6B例示与各种信息一同显示借助车辆驾驶辅助装置来掌握的车辆前方情况。尤其，如图6B的图像可显示于由车辆驾驶辅助装置提供的显示部180、音视频导航装置400及显示部741。

相对于图6A，图6B例示基于立体摄像头195所拍摄的图像显示信息。

参照图，可知从左向右依次具有第一车道线642b、第二车道线644b、第三车道线646b、第四车道线648b，在第一车道线642b与第二车道线644b之间具有施工区域610b，而第一前方车辆620b位于第二车道线644b与第三车道线646b之间，第二前方车辆630b配置于第三车道线646b与第四车道 线648b之间。

驾驶人员辅助装置100可基于立体摄像头195所拍摄的立体图像来进行信号处理，从而确认对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象。并且，可确认第一车道线642b、第二车道线644b、第三车道线646b及第四车道线648b。

图6B例示为了呈现对施工区域610b、第一前方车辆620b及第二前方车辆630b的对象确认而分别向边缘突出。

根据情况，车辆驾驶辅助装置100可基于立体摄像头195所拍摄的立体图像来计算对施工区域610b、第一前方车辆620b及第二前方车辆630b的距离信息。

附图例示了显示分别与施工区域610b、第一前方车辆620b及第二前方车辆630b对应的已计算的第一距离信息611b、第二距离信息621b及第三距离信息631b。

根据情况，车辆驾驶辅助装置100可从控制部770或传感部760接收有关车辆的传感器信息。尤其，可接收用于表示车辆速度信息、齿轮信息及车辆的旋转角(凹角)发生变化的速度的偏航角速度(yaw rate)信息、车辆的角度信息，且可显示这种信息。

附图例示了在车辆前方图像的上部670显示车辆速度信息672、齿轮信息671及偏航角速度信息673，且例示了在车辆前方图像的下部680显示车辆角度信息682，但可具有多种例。除此之外，可与车辆的角度信息一同显示车辆的幅度信息683、道路的曲率信息681。

根据情况，车辆驾驶辅助装置100可通过通信部120或接口部130来接收车辆行驶中的道路的速度限制信息等。附图例示了显示速度限制信息640b。

车辆驾驶辅助装置100可通过显示部180来显示图6A所示的多种信息，但不同的是，可以在无需额外的显示的情况下，也能存储各种信息。并且，可利用这种信息来利用于多种应用。

图7为图1的车辆1的内部框图的一例。

车辆1可包括通信部710、输入部720、传感部760、输出部740、车辆驱动部750、存储部730、接口部780、控制部770、电源部790、驾驶人员 辅助装置100及音视频导航装置400。

通信部710可包括可使车辆1和移动终端600之间、车辆1和外部服务器510之间或车辆1和其他车辆521之间进行无线通信的一个以上的模块。并且，通信部710可包括使车辆与一个以上的网(network)相连接的一个以上的模块。

通信部710可包括广播接收模块711、无线网络模块712、近距离通信模块713、位置信息模块714及光通信模块715。

广播接收模块711通过广播频道从外部的广播管理服务器接收广播信号或有关广播的信号。其中，广播包括收音机广播或电视广播。

无线网络模块712为用于连接无线网的模块，无线网络模块712可内置或外置于车辆1。无线网络模块712从基于无线网技术的通信网收发无线信号。

例如，无线网技术具有无线局域网(WLAN，Wireless LAN)、无线保真(Wi-Fi，Wireless-Fidelity)、数字生活网络联盟(DLNA，Digital Living Network Alliance)、无线宽带(WiBro，Wireless Broadband)、全球微波接入互操作性(WiMAX，World Interoperability for Microwave Access)、高速下行链路分组接入(HSDPA，High Speed Downlink Packet Access)、高速上行链路分组接入(HSUPA，High Speed Uplink Packet Access)、长期演进(LTE，Long Term Evolution)、高级长期演进(LTE-A，Long Term Evolution-Advanced)等，上述无线网络模块712根据在包括未在上述中罗列的网络技术在内的范围中的至少一个无线网技术收发数据。例如，无线网络模块712可以与外部服务器510以无线的方式进行数据交换。无线网络模块712可从外部服务器510接收天气信息、道路的交通状况信息(例如，传输协议专家组)。

近距离通信模块713用于进行近距离通信(Short range communication)，近距离通信模块713可利用在蓝牙(Bluetooth^TM)、射频识别(RFID，Radio Frequency Identification)、红外线通信(IrDA，Infrared Data Association)、超宽带(UWB，Ultra Wideband)、低功耗局域网协议、近场通信(NFC，Near Field Communication)、无线保真、无线保真直连、无线通用串行总线 (USB，Wireless Universal Serial Bus)技术中的至少一种来支持近距离通信。

如上所述，近距离通信模块713可通过形成近距离通信网(Wireless Area Networks)，来执行车辆1和至少一个外部设备之间的近距离通信。例如，近距离通信模块713可以与移动终端600以无线的方式进行数据交换。近距离通信模块713可从移动终端接收天气信息、道路交通状况信息(例如，传输协议专家组)。在使用人员搭乘车辆1的情况下，使用人员的移动终端600和车辆1可自动或者通过执行使用人员的应用程序来相互配对。

位置信息模块714用于获得车辆1的位置的模块，位置信息模块714的代表例为全球定位系统(GPS，Global Positioning System)。例如，若车辆使用全球定位系统模块，则可利用由全球定位系统卫星发送的信号获得车辆的位置。

光通信模块715可包括光发送部及光接收部。

光接收部能够以将光(light)信号转换成电信号的方式接收信息。光接收部可包括用于接收光的光电二极管(PD，Photo Diode)。光电二极管可将光转换成电信号。例如，光接收部可通过从车辆的光源发射的光接收前方车辆的信息。

光发送部可包括至少一个用于将电信号转换成光信号的发光元件。其中，优选地，发光元件为发光二极管(LED，Light Emitting Diode)。光发送部以将电信号转换成光信号的方式向外部发送。例如，光发送部可通过与规定频率相对应的发光元件的闪烁向外部放出光信号。根据实施例，光发送部可包括多个发光元件陈列。根据实施例，光发送部可以与设置于车辆1的灯形成为一体。例如，光发送部可以为前照灯、后尾灯、制动灯、方向指示灯及侧灯中的至少一种。例如，光通信模块715可通过光通信与其他车辆521进行数据交换。

输入部720可包括驾驶操作机构721、摄像头195、扩音器723及使用人员输入部724。

驾驶操作机构721接收用于车辆1驾驶的使用人员输入。驾驶操作机构721可包括转向输入机构721a、换挡输入机构721b、加速输出机构721c、制动输入机构721d。

转向输入机构721a从使用人员接收车辆1的行驶方向输入。转向输入 机构721a可包括如图1所示的方向盘12。根据实施例，转向输入机构721a可以为触摸屏、触摸板或按钮。

换挡输入机构721b从使用人员接收对车辆1的停车P、前进D、空档N、后退R的输入。优选地，换挡输入机构721b呈变速杆形态。根据实施例，换挡输入机构721b也可以为触摸屏、触摸板或按钮。

加速输入机构721c从使用人员接收用于使车辆1加速的输入。制动输入机构721d从使用人员接收用于使车辆1减速的输入。优选地，加速输入机构721c及制动输入机构721d呈踏板形态。根据实施例，加速输入机构721c或制动输入机构721d也可以为触摸屏、触摸板或按钮。

摄像头195可包括图像传感器和影像处理模块。摄像头195可对通过图像传感器(例如，CMOS或CCD)获得的静态影像或动态影像进行处理。影像处理模块可对通过图像传感器获得的静态影像或动态影像进行加工，并抽取必要的信息，且向控制部770传输所抽取的信息。另一方面，车辆1可包括摄像头195和内部摄像头199，上述摄像头195用于拍摄车辆前方影像或车辆周边影像，上述内部摄像头199用于拍摄车辆内部影像。

内部摄像头199可获得搭乘人员的图像。内部摄像头199可获得用于识别搭乘人员的图像。

图7示出输入部720包括摄像头195的情况，但如图2至图6所示，也可以使驾驶人员辅助装置100包括摄像头195。

扩音器723可将外部的音频信号处理成电数据。可根据车辆1所执行的功能，能够以不同的方式使用被处理的数据。扩音器723可将使用人员的语音指令转换成电数据。可向控制部700传输经过转换的电数据。

根据实施例，摄像头722或扩音器723可以为设置于传感部760的结构要素，而不是设置于输入部720的结构要素。

使用人员输入部724用于从使用人员接收信息。若通过使用人员输入部724输入信息，则控制部770以与所输入的信息相对应的方式控制车辆1的动作。使用人员输入部724可包括触摸式输入机构或机械式输入机构。根据实施例，使用人员输入部724可配置于方向盘的一区域。在此情况下，驾驶人员可在握住方向盘的状态下，用手指操作使用人员输入部724。

传感部760检测与车辆1行驶等相关的信号。为此，传感部760可具有 碰撞传感器、转向传感器(steering sensor)、速度传感器、倾斜传感器、重量检测传感器、航向传感器、偏航传感器、陀螺传感器、定位模块、车辆前进/后退传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘旋转的方向盘传感器、车辆内部温度传感器、车辆内部湿度传感器、超声波传感器、红外线传感器、雷达、激光雷达等。

由此，传感部760可获得对车辆碰撞信息、车辆方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速度信息、车辆倾斜度信息、车辆前进/后退信息、电池信息、燃料信息、轮胎信息、车灯信息、车辆内部温度信息、车辆内部湿度信息、方向盘旋转角度等的检测信号。并且，后述驾驶人员辅助装置100可基于通过设置于车辆1的摄像头、超声波传感器、红外线传感器、雷达及激光雷达中的至少一个所获得的周边环境信息，生成用于车辆1的加速、减速、方向转换等的控制信号。其中，周边环境信息可以为与从行驶中的车辆1相距规定范围内的距离的各种对象的信息。例如，周边环境信息可包括与从车辆1相距100m内的障碍物的数量、距障碍物的距离、障碍物的大小、障碍物的类型等相关的信息。

根据情况，除此之外，传感部760还可包括加速踏板传感器、压力传感器、引擎转速传感器(engine speed sensor)、空气流量传感器(AFS)、吸气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器及曲轴角度传感器(CAS)等。

传感部760可包括人体识别信息检测部。人体识别信息检测部检测并获得搭乘人员的人体识别信息。人体识别信息可包括指纹识别(Fingerprint)信息、虹膜识别(Iris-scan)信息、视网膜识别(Retina-scan)信息、手形(Hand geo-metry)信息、面部识别(Facial recognition)信息、语音识别(Voice recognition)信息。人体识别信息检测部可包括用于检测搭乘人员的人体识别信息的传感器。其中，内部摄像头199及扩音器723可执行人体识别信息传感器的功能。人体识别信息检测部可通过内部摄像头199获得手形信息、面部识别信息。

输出部740用于输出在控制部770处理的信息，输出部740可包括显示部741、音频输出部742及触觉输出部743。

显示部741可显示在控制部770中处理的信息。例如，显示部741可显 示与车辆相关的信息。其中，与车辆相关的信息可包括用于直接控制车辆的车辆控制信息或用于引导驾驶人员驾驶的车辆驾驶辅助信息。并且，与车辆相关的信息可包括提醒当前车辆状态的车辆状态信息或与车辆的行驶相关的车辆行驶信息。

显示部741可包括在液晶显示器(LCD，liquid crystal display)、薄膜晶体管液晶显示器(TFTLCD，thin film transistor-liquid crystal display)、有机发光二极管(OLED，organic light-emitting diode)、柔性显示器(flexible display)、三维显示器(3D display)、电子墨水显示器(e-ink display)中的至少一个。

显示部741可以与触摸传感器形成相互覆盖结构或者与触摸传感器形成为一体，从而可体现触摸屏。上述触摸屏执行用于提供车辆1和使用人员之间的输入接口的使用人员输入部724的功能，并可提供车辆1和使用人员之间的输出接口。在此情况下，显示部741还可包括检测对显示部741的触摸的触摸传感器，使得上述显示部741可通过触摸方式接收控制指令。若利用上述触摸传感器实现对显示部741的触摸，则触摸传感器检测上述触摸，且控制部770可根据上述触摸生成与上述触摸相对应的控制指令。通过触摸方式输入的内容可以为文字或数字，或者在各种模式中可指示或指定的菜单项目。

显示部741可包括辅音群，使得驾驶人员可在驾驶的同时确认车辆状态信息或车辆行驶信息。辅音群可位于仪表板上。在此情况下，驾驶人员的视线在维持车辆前方的情况下可确认显示在辅音群的信息。

根据实施例，显示部741可体现为平视显示器。在显示部741体现为平视显示器的情况下，可通过设置于挡风玻璃的透明显示器输出信息。或者，显示部741可设置有投射模块，从而可通过向挡风玻璃投射的图像输出信息。

音频输出部742将从控制部770的电信号变换成音频信号并输出。为此，音频输出部742可具有扬声器等。音频输出部742可输出与使用人员输入部724工作相对应的声音。，

触觉输出部743产生触觉性输出。例如，触觉输出部743可使方向盘、安全带、座椅震动，从而可识别使用人员输出。

车辆驱动部750可控制车辆各种装置的工作。车辆驱动部750可包括动 力源驱动部751、转向驱动部752、制动器驱动部753、灯驱动部754、空调驱动部755、窗驱动部756、气囊驱动部757、天窗驱动部758及雨刷驱动部759中的至少一种。

动力源驱动部754可对车辆1的动力源执行电子式控制。动力源驱动部751可包括加速装置及减速装置，上述加速装置可增加车辆1的速度，上述减速装置可降低车辆1的速度。

例如，在基于化石燃料的引擎为动力源的情况下，动力源驱动部751可执行对引擎的电子式控制。由此，可控制引擎的输出扭矩等。在动力源驱动部751为引擎的情况下，可根据控制部770的控制来限定引擎输出扭矩并限定车辆的速度。

作为另一例，在基于电的电机(未图示)为动力源的情况下，动力源驱动部754可执行对电机的控制。由此，可控制电机的转速、扭矩等。

转向驱动部752可包括转向装置(steering apparatus)。对此，转向驱动部752可对车辆1内的转向装置(未图示)执行电子式控制。例如，转向驱动部752可包括转向扭矩传感器、转向角传感器及转向电机，可通过转向扭矩传感器检测驾驶人员向方向盘12施加的转向扭矩。转向驱动部752可基于车辆1的速度及转向扭矩等来改变向转向电机施加的电流的大小和方向，由此可控制转向力和转向角。并且，转向驱动部752可基于借助转向角传感器获得的转向角信息来判断是否准确调整车辆1的行驶方向。由此，可改变车辆的行驶方向。并且，在车辆1低速行驶时，转向驱动部752可通过增加转向电机的转向力降低方向盘12的重量感，在车辆1高速行驶时，可通过降低转向电机的转向力提高方向盘12的重量感。并且，在执行车辆1的自动驾驶功能的情况下，即使在驾驶人员操作方向盘12的情况下(例如，未检测到转向扭矩的情况)，转向驱动部752可基于传感部760输出的检测信号或处理器170提供的控制信号等来使转向电机产生适当的转向力。

制动器驱动部753可对车辆1内的制动器装置(brake apparatus)执行电子式控制。例如，可通过控制配置于轮胎的制动器的工作来降低车辆1的速度。作为另一例，可通过使分别配置于左侧轮胎和右侧轮胎的制动器的工作相异，来将车辆1的行驶方向调整成左侧或右侧。

灯驱动部754可打开/关闭配置于车辆内部、外部的至少一个以上的灯。 灯驱动部754可包括照明装置。并且，灯驱动部754可控制照明装置中的各个灯所输出的光的强度、方向等。例如，灯驱动部可执行对方向指示灯、头灯、制动灯等的控制。

空调驱动部755可对车辆1内的空调装置(air cinditioner)(未图示)执行电子式控制。例如，在车辆内部的温度高的情况下，能够以空调装置工作，并使冷气向车辆的内部供给的方式进行控制。

窗驱动部756可对车辆1的悬架装置(window apparatus)执行电子式控制。例如，可控制对车辆的侧面的左右窗的开放或封闭。

气囊驱动部757可对车辆1的悬架装置(airbag apparatus)执行电子式控制。例如，当遇到危险时，能够以使气囊弹出的方式进行控制。

天窗驱动部755可对车辆200的天窗装置(sunroof apparatus)(未图示)执行电子式控制。例如，可控制天窗的开放或封闭。

雨刷驱动部759可执行对设置于车辆1的雨刷14a、14b的控制。例如，在雨刷驱动部759通过使用人员输入部724接收使雨刷驱动的使用人员输入时，可根据使用人员输入对雨刷14a、14b的驱动次数、驱动速度等执行电子式控制。作为另一例，雨刷驱动部759可基于传感部760所包括的雨量传感器(rain sensor)的检测信号判断雨水的量或强度，由此在没有使用人员输入的情况下可自动驱动雨刷14a、14b。

根据情况，车辆驱动部750还可包括悬架驱动部。悬架驱动部可对车辆1内的悬架装置(suspension apparatus)执行电子式控制。例如，在路面弯曲的情况，可通过控制悬架装置来降低车辆1的振动。

存储器730与控制部770电连接。存储器770可存储对于单元的基本数据、用于单元工作控制的控制数据、输入输出的数据。存储器790可以为硬件、ROM、RAM、EPROM、闪存驱动器、硬盘驱动器等的多种存储设备。存储器730可存储用于控制部770的处理或控制的应用程序等、用于车辆1整体动作的多种数据。

接口部780可执行与车辆1相连接的多个外部设备之间的通路的作用。例如，接口部780可包括可与移动终端600相连接的端口，可通过上述端口与移动终端600相连接。在此情况下，接口部780可以与移动终端600进行数据交换。

根据情况，接口部780可执行向所连接的移动终端600供给电能的作用。在移动终端600与接口部780电连接的情况下，根据控制部770的控制，接口部780向移动终端600提供从电源部790供给的电能。

控制部770可控制车辆1内的各个单元的整体动作。控制部770可被命名为电子控制单元(ECU，Electronic Contol Unit)。

控制部770可利用专用集成电路、数字信号处理器、数字信号处理装置、可编程逻辑器装置、现场可编程门阵列、处理器(processors)、控制器、微控制器、微处理器、用于执行其他功能的电单元中的至少一种来体现。

电源部可根据控制部770的控制供给各个结构要素的工作所需要的电源。尤其，电源部770可从车辆内部的电池(未图示)等接收电源。

驾驶人员辅助装置100可以与控制部770进行数据交换。可向控制部770输出从驾驶人员辅助装置100生成的控制信号。控制部770可基于从驾驶人员辅助装置100接收的控制信号控制车辆1的行驶方向。

音视频导航装置400可以与控制部770进行数据交换。控制部770可从音视频导航装置400或额外的导航接收导航仪信息。其中，导航信息可包括设定的目的地信息、至上述目的地的路径信息、与车辆行驶相关的地图信息或车辆位置信息。

另一方面，在体现车辆1的过程中，在图7所示的结构要素中的一部分可以是不必要的结构。因此，与以上所说明的结构要素相比，在本说明书中所说明的车辆1可具有更多或更少的结构要素。

驾驶人员辅助装置100可基于借助在安装于车辆1的多个摄像头195、196、197、198中的至少一个生成的影像，生成用于调整车辆的行驶方向等的各种控制信号。或者，驾驶人员辅助装置100可基于借助在安装于车辆1的至少一个以上的传感器获得的周边环境信息生成用于调整车辆的行驶方向等的各种控制信号。

以下，为了方便说明，继续假设驾驶人员辅助装置100基于借助拍摄车辆前方的摄像头195生成的影像，生成用于调整车辆的行驶方向等的各种控制信号。

图8为示出本发明一实施例的驾驶人员辅助装置100的控制方法的流程图。

参照图8，处理器170接收对车辆1的前方的影像(以下，称之为“行驶影像”)(步骤S800)。行驶影像可以为从安装于车辆1的前方一侧的摄像头195提供的影像。其中，摄像头195可以为参照图2A至图3C说明的摄像头195。摄像头195可根据处理器170的控制，拍摄车辆1的前方，并生成行驶影像，在实时、周期性、当接收使用人员的要求时或当满足已设定条件时，可向处理器170提供生成的行驶影像。此时，在借助摄像头195生成的行驶影像显示至少一个对象。例如，在行驶影像中显示的对象可以为其他车辆、周边设施、信号灯、交通标识牌、行人、路面等。

接着，处理器170可从在步骤S800中接收的影像识别左侧车道线及右侧车道线(步骤S805)。具体地，处理器170为了使车辆1识别作为当前行驶中的道路的行车道，可识别在行驶影像中显示的对象中的左侧车道线及右侧车道线。例如，处理器170可通过执行对行驶影像的车道间(LD，Lane Detection)，识别位于车辆1的左侧的左侧车道线和位于车辆1的右侧右侧车道线。当在步骤S805中，未识别出左侧车道线及右侧车道线中的至少一个时，处理器170回到步骤S800之后，可重复执行步骤S805，直到可从由摄像头195追加提供的行驶影像中均识别左侧车道线及右侧车道线。

接着，当通过步骤S805均识别左侧车道线及右侧车道线时，处理器170可将识别的左侧车道线及右侧车道线之间的区域判断为车辆1的行车道(步骤S810)。具体地，处理器170可将识别的左侧车道线作为左侧界线，将识别的右侧车道线作为右侧界线的区域判断为车辆1当前行驶中的道路。

根据情况，处理器170可基于从车辆1的GPS模块提供的车辆1位置信息判断车辆1的行车道。具体地，在车辆1行驶区间内存在多个道路的情况下，处理器170可通过使从GPS模块提供的车辆1位置信息与预先存储于存储器140的电子地图信息相匹配来判断车辆1的行车道。在电子地图信息可存储对属于车辆1行驶区间内的道路的数量和位置的信息，因此，处理器170可通过比较地图信息和车辆1位置信息，来判断车辆1在多个道路中的哪一条道路上行驶。在此情况下，可省略步骤S805及步骤S810。

接着，处理器170检测在通过上述过程判断的行车道上的对象(步骤S815)。具体地，处理器170可在行驶影像中显示的至少一个以上的对象中，检测仅在行车道上存在的对象。例如，处理器170可在行驶影像的整体影像 中，将与行车道相对应的区域设定成关注区域(ROI，Region Of Interest)，并仅对关注区域执行对象检测。即，在行驶影像的整体区域中，对除关注区域之外的区域不执行对象检测。由此，显著降低用于进行对象检测的计算量，从而可提高信息处理速度。

并且，在处理器170基于左侧车道线及右侧车道线判断行车道的情况下，在步骤S815中显示行驶影像的对象中，可检测除车道之外的对象。例如，处理器170可在步骤S815中显示行驶影像的对象中，仅检测具有体积的对象。

具体地，处理器170可计算出检测的对象处于以行车道的中央为基准，向两侧中的哪一侧隔开何种程度的状态。并且，处理器170可计算出检测的对象和车辆1之间的间距。并且，处理器170可计算出对象的长度及宽度。并且，处理器170可判断检测的对象的形状、颜色、是否进行移动等。

根据情况，在处理器170检测在行车道上的对象时，处理器170可判断检测对象的种类。例如，处理器170可判断检测的对象是坑洞还是障碍物。具体地，处理器170可基于在对通过步骤S815检测的对象的信息中的间距信息，判断对象是否从行车道凹陷或突出。判断结果，在对象从行车道凹陷的情况下，处理器170可将对象判断为坑洞。相反，在对象从行车道突出的情况下，处理器170可将对象判断为障碍物。

并且，在处理器170检测行车道上的对象时，上述处理器170可计算检测的对象的位置及大小。此时，处理器170可针对将检测的对象判断为在坑洞及障碍物中的一种的情况，计算独享的位置及大小。

并且，处理器170可计算坑洞从行车道凹陷的程度，即，VDE深度。例如，可将从行车道凹陷最深的部分和未凹陷的部分的高度差作为坑洞的深度。并且，处理器170可计算障碍物从行车道突出的程度，即，障碍物的高度。例如，可将从行车道突出最高的部分和为突出的部分的高度差作为障碍物的高度。

根据情况，在检测的对象为障碍物的情况下，处理器170还可判断障碍物是否为坠落物。参照图20，单独详细说明处理器170判断障碍物是否为坠落物的动作。

接着，处理器170基于对在步骤S815中检测的对象的信息，生成用于 在行车道内调整车辆1的行驶方向的控制信号(步骤S820)。即，在没有其他车道的车道变更的情况下，在当前行驶中的行车道内，处理器170可根据作为躲避在步骤S815中检测的对象，或者因在步骤S815中检测的对象所导致的损失最小化的路径的引导路径，生成用于调整车辆1的行驶方向的控制信号。

接着，处理器170可向车辆1的转向装置提供通过步骤S820生成的控制信号(步骤s825)。车辆1的转向装置可基于从处理器170提供的控制信号调整车辆1的行驶方向。由此，车辆1可在行车道内，沿着上述引导路径行驶。

根据情况，处理器170还可向除车辆1的转向之外的其他结构要素提供通过步骤S820生成的控制信号。例如，处理器170可向车辆1的加速装置、减速装置、显示部741等提供通过步骤S820生成的控制信号。例如，在因车辆1的速度过快，而很难仅根据调整行驶方向来使车辆1沿着应到路径行驶的情况下，动力源驱动部751的减速装置可基于从处理器170提供的控制信号来使车辆1减速。作为另一例，显示部741在画面显示于从处理器170提供的控制喜好相对应的引导路径，从而帮助驾驶人员视觉性识别车辆1行驶的路径。

图9A至图9C示出驾驶人员辅助装置100判断行车道及对象的种类的一例。

首先，图9A示出车辆1在包括三个道路的区间内行驶的情况的俯视图。具体地，三个道路包括位于最左侧的第一车道901、位于中央的第二车道902及位于最右侧的第三车道903。并且，第一车道901和第二车道902由左侧车道线911划分，第二车道902和第三车道903由右侧车道线划分。为了方便说明，如图所示，假设驾驶人员辅助装置100设置于在第二车道902行驶的车辆1。即，假设车辆1的行车道为第二车道902。

如图所示，摄像头195拍摄车辆1前方的规定范围A并生成行驶影像。摄像头195所拍摄的范围A可根据摄像头195的安装位置、安装角度、视角等而相异。

另一方面，根据图9A，第二车道902和第一车道由左侧车道线911划分，第二车道902和第三车道903由右侧车道线912划分。摄像头195的拍 摄范围A均可包括左侧车道线911及右侧车道线912，因此，处理器170执行对借助摄像头195生成的行驶影像的车道检测，来识别左侧车道线911及右侧车道线912。并且，处理器170判断为车辆1当前处于在作为将左侧车道线911及右侧车道线912作为两侧界线的区域的行车道，即，第二车道902内行驶。

但是，处理器170判断车辆1的行车道的方法并不局限于利用左侧车道线911及右侧车道线912的方法，此外可使用多种方法。作为一例，如上所述，处理器170也可通过将从车辆1的GPS模块提供的车辆1位置信息和预先存储于存储器140的地图信息相匹配，来判断在地图信息中的多个道路中，车辆1当前行驶的道路为第几条道路。

根据情况，如图所示，可在作为车辆1的行车道的第二车道902上存在对象931，可在借助拍摄行车道的摄像头195生成的行驶影像显示在行车道上存在的对象931。对此，处理器170可计算检测的对象931的大小。例如，如图所示，可计算对象931的长度L和宽度W。其中，对象931的长度L可以为对象931的前后末端之间的间隔，对象931的宽度W为独享931的左右末端之间的间隔。

并且，根据图9B及图9C，当从行驶影像检测对象931时，处理器170可基于对在行驶影像中的对象的信息中的间距信息，判断检测的对象931与坑洞及障碍物中的哪一个相对应。

例如，在借助摄像头195生成的行驶影像为立体图像的情况下，处理器170可基于立体图像获得视差图，并将在视差图中的各个视差值换算成间距值来获得深度图(depth map)。深度图可包括在行驶影像中，显示对象931的区域中的按像素的坐标值及深度值。处理器170可基于在深度图的深度值判断对象931是否从行车道凹陷还是突出。

图9B示出在图9A所示的对象931从行车道凹陷的情况，即，对象931为坑洞931a的情况下的侧视图。在本发明中，坑洞为在路面形成的局部窟窿，与路面的其他部分相比，坑洞是指凹陷而成的部分。在对象931从第二车道902凹陷的情况下，处理器170可将对象931判断为坑洞931a。例如，处理器170可在对行驶影像的深度图中，可在与第二车道902相对应的部分中，将已设定的第一基准值以上深度值增加的部分判断为坑洞931a。

参照图9B，与路面的其他部分相比，坑洞931a向垂直下部凹陷而成。对此，处理器170可基于深度图计算坑洞931a的深度D。其中，坑洞931a的深度D可以为在与坑洞931a相对应的区域中，从路面凹陷最深的位置和路面之间的价格。

图9C示出图9A所示的对象931从行车道突出的情况，即，对象931为障碍物931b的情况的侧视图。障碍物可以为与路面的其他部分相比突出的部分。在对象931从第二车道902突出的情况下，处理器170可将对象931判断为障碍物931b。例如，处理器170可在对行驶影像的深度图中，可在于第二车道902相对应的部分中，将已设定的第二基准值以上深度值降低的部分判断为障碍物931b。

参照图9C，与路面的其他部分相比，障碍物931b向垂直上部突出。对此，处理器170可基于深度图检测障碍物931b的高度H。其中，障碍物931b的高度H可以为在于障碍物931b相对应的区域中，从路面突出最高的位置和路面之间的间隔。

驾驶人员辅助装置100判断在行车道上存在的对象的种类，并根据判断的种类生成用于在行车道内调整车辆1的行驶方向的控制信号。由此，在不考虑对象的种类或大小等的情况下，与调整车辆1的行驶方向的以往方式相比，可容易躲避对象的同时可降低车辆1的损伤。

图10为示出驾驶人员辅助装置100对坑洞生成引导路径的一例的流程图。

首先，处理器170接收行驶影像(步骤S100)。行驶影像可以从安装于车辆1的前方一侧的摄像头195提供。摄像头195可根据处理器170的控制拍摄车辆1前方，并生成行驶影像，且可向处理器170实时或周期性提供生成的行驶影像。此时，可在借助摄像头195生成的行驶影像显示至少一个对象。

接着，处理器170判断行车道(步骤S1005)。作为一例，处理器170可从通过步骤S1000接收的行驶影像检测左侧车道线911及右侧车道线912，并可将检测的左侧车道线911及右侧车道线912作为两侧界线的区域设定成行车道。作为另一例，处理器170可基于通过与步骤S1000不同的过程接收的车辆1位置信息，判断及设定车辆1的行车道。并且，处理器170可根据 行驶状况变更用于判断行车道的信息。例如，通过车辆1的通信部710接收的天气信息为恶劣天气的情况下，因雪或雨等因素，无法检测左侧车道线911及右侧车道线912的可能性会增加，因此处理器170可通过比较车辆1位置信息和地图信息的方式判断车辆1的行车道。

接着，处理器170检测在步骤S1005中判断的行车道上存在的坑洞。例如，如上所述，与行车道的其他部分相比，坑洞呈向垂直下部凹陷的形态，因此，处理器170可将在深度图中，具有与凹陷区域相对应的深度值的区域判断成坑洞。

接着，处理器170计算检测的坑洞的位置及大小(步骤S1015)。作为一例，处理器170可计算坑洞的宽度。并且，处理器170可计算对于行车道的左右侧界线(即，左侧车道线911及右侧车道线912)的坑洞的相对位置。

接着，处理器170判断坑洞的位置是否处于以行车道的中央为基准的规定范围内(步骤S1020)。例如，处理器170可判断坑洞的左侧末端和行车道的左侧界线之间的间距是否为已设定的间距以上，坑洞的右侧末端和行车道的右侧界线之间的间距是否为已设定间距以上。此时，上述规定范围可根据行车道的宽度变更。根据情况，例如，上述已设定的间距可以为车辆1的轮胎宽度以上，上述间距可具有小于整体宽度O的1/2的值。

接着，在步骤S1020中的判断结果，在坑洞的位置处于以行车道的中央为基准的规定范围内的情况下，处理器170判断坑洞的宽度是否小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距(步骤S1025)。这是因为为使坑洞从车辆1的左侧轮胎11a和右侧轮胎11b之间通过，坑洞的宽度得小于左侧轮胎11a和右侧轮胎11b之间的间距T。此时，如图1所示，左侧轮胎11a和右侧轮胎11b之间的间距T可意味着左侧轮胎11a的内侧和右侧轮胎11b的内侧之间的间距。

接着，在步骤S1025中的判断结果，当坑洞的宽度小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距的时，处理器170生成使坑洞从左侧轮胎11a和右侧轮胎11b之间通过的引导路径(步骤S1030)。例如，处理器170可生成车辆1的中心线经过坑洞的中心的引导路径。坑洞位于行车道内，左侧轮胎11a和右侧轮胎11b之间的间距大于坑洞的宽度，因此，在车辆1沿着引导路径行驶的情况下，车辆1不会受到因坑洞所引起的损伤，并可继续 位置在行车道内的行驶。

当在步骤S1020中，判断为坑洞的位置处于以行车道的中央为基准的规定范围之外或者在步骤S1025中，坑洞的宽度为车辆1的左侧轮胎11a和右侧轮胎11b之间的间距以上时，处理器170可判断在行车道内是否存在从坑洞隔开车辆1的整体宽度O以上的区域(步骤S1035)。即，在处理器170不可能生成使坑洞从左侧轮胎11a和右侧轮胎11b之间通过的引导路径的情况下，处理器170可判断在行车道内是否存在从坑洞隔开车辆1的整体宽度O以上的区域。

在步骤S1035中，当判断为行车道内存在坑洞隔开车辆1的整体宽度O以上的区域时，处理器170可生成使车辆1通过隔开车辆1的整体宽度O以上区域的引导路径(步骤S1040)。即，在坑洞的左侧末端和行车道的左侧界线之间的间距及坑洞的右侧末端和行车道的右侧界线之间的间距中的至少一个为车辆01的整体宽度O以上的情况下，处理器170可生成使车辆1向确保车辆1的整体宽度O以上间距的区域内行驶的引导路径。在车辆1向车辆1的整体宽度O以上的间距内行驶的情况下，车辆1的轮胎11不会经过坑洞，因此，可预先防止车辆1因坑洞而损坏的状况。

根据情况，在步骤S1035中，在判断在行车道内不存在从坑洞隔开车辆1的整体宽度O以上的区域时，处理器170可生成使在车辆1的左侧轮胎11a及右侧轮胎11b中的与坑洞相对较近的轮胎通过坑洞的中心的引导路径(步骤S1045)。例如，在坑洞以行车道的中央为基准向左侧倾斜的情况下，处理器170可生成使车辆1的左侧轮胎11a经过坑洞的中心的引导路径。相反，在坑洞一行车道的中央为基准向右侧倾斜的情况下，处理器170可生成使车辆1的右侧轮胎11b通过坑洞的中心的引导路径。

接着，处理器170根据下步骤S1030、步骤S1040或步骤S1045中生成的引导路径生成用于调整车辆1的行驶方向的控制信号(步骤S105)。并且，处理器170可向车辆1的转向装置等提供在步骤S1050中生成的控制信号。图7所示的转向驱动部752可包括转向装置。

参照图10，驾驶人员辅助装置100可基于咋行车道上存在的坑洞的大小和对于行车道两侧界线的坑洞的位置，在行车道内生成相异的引导路径。由此，在不变更车道的情况下，维持在行车道上的行驶并使因坑洞所引起的车 辆1损伤最小化，并可降低基于车道变更的与其他车辆的碰撞等事故危险性。并且，维持在行车道上的行驶，由此，与为了避开坑洞而变更车道的情况相比，降低驾驶人员的混淆，并且，因对于行驶路径的变化减小，从而可提高汽车燃油经济性。

图11A至图11C示出驾驶人员辅助装置100对坑洞生成引导路径的一例。

参照图11A，图11A例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况的俯视图，图11B例示对于图11A所示的区间的正面图。

参照图11A及图11B，在第二车道902的车辆1前方存在坑洞941，处理器170可在借助摄像头195生成的行驶影像中检测坑洞941。

此时，处理器170可计算检测的坑洞941的位置及大小。具体地，处理器170可计算坑洞941的位置，并判断计算的坑洞941的位置是否处于第二车道902内的规定范围R1内。其中，规定范围R1可以为第二车道902的左右界线之间的区域，即，在左侧车道线911和右侧车道线912之间的区域中，与从左侧车道线911朝向右侧车道线912以平行的方式隔开已设定间距R2的位置与从哟侧车道912朝向左侧车道线911隔开已设定间距R2的位置之间的区域相对应的范围。此时，已设定间距R2可以为车辆1的轮胎宽度以上的值。图11A及图11B例示坑洞941处于第二车道902内的规定范围R1内的状态。

并且，处理器170可计算坑洞941的宽度W1，并可判断计算的坑洞941的宽度W1是否小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距T。其中，左侧轮胎11a和右侧轮胎11b之间的间距T可意味着从左侧轮胎11a的内侧和右侧轮胎11b的内侧之间的间距。

如图所示，坑洞941处于从第二车道902的两侧界线分别隔开已设定间距R2的状态，因此如图11C所示，处理器170可生成使坑洞941从车辆1的下部通过的引导路径1001。即，处理器170可生成使坑洞941从车辆1的左侧轮胎11a的内侧和右侧轮胎11b的内侧之间通过的引导路径。

如图11C所示，与右侧车道线912相比，在坑洞941相对更接近左侧车道线911的情况下，处理器170可生成苏子和接近坑洞941，使车辆1的中 心线越接近左侧车道线911的引导路径1001。根据情况，左侧车道线911和坑洞941的左侧末端之间的间距处于隔开已设定间距R2以上的状态，在车辆1通过坑洞941的时点，在车辆1的自身左侧和左侧车道线911之间会存在间距。由此，即使车辆1沿着引导路径1001接近左侧车道线911，也可防止与在第一车道901上行驶的其他车辆发生碰撞的状况。

根据情况，在车辆1维持当前行驶方向时，在预测坑洞941会从车辆1的左侧轮胎11a的内侧和右侧轮胎11b的内侧之间通过的情况下，处理器170无需调整车辆1的行驶方向，因此，处理器170可省略生成对坑洞941的引导路径1001的过程。

图12A至图12C为示出驾驶人员辅助装置100对坑洞生成引导路径的一例的图。

参照图12A，如同图11A，图12A例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况下的俯视图，图12B例示对图12A所示的区间的正面图。

参照图12A及图12B，在第二车道902的车辆1前方存在坑洞942，处理器170可在借助摄像头195生成的行驶影像中检测坑洞942。

此时，处理器170可计算检测的坑洞942的位置及大小。例如，处理器170可计算坑洞942的位置及宽度W2，并判断坑洞942是否处于第二车道902内的规定范围R1内。

其中，规定范围R1可以为第二车道902的左侧界线之间的区域，即，在左侧车道线911和右侧车道线912之间的区域中，与从左侧车道线911朝向右侧车道线912以平行的方式隔开已设定间距R2的位置与从右侧车道线912朝向左侧车道线911隔开已设定间距R2的位置之间的区域相对应的范围。此时，已设定的间距R2可以为车辆1的轮胎宽度以上，且小于整体宽度O的1/2的值。在图12A及图12B中，与图11A及图11B不同，例示坑洞942处于第二车道902内的规定范围R1之外的状况。即，例示坑洞942的左侧末端和左侧车道线911之间的间距I1小于图11A及图11B所示的已设定间距R2的状况。

在此情况下，处理器170可判断在第二车道902内是否存在从坑洞942隔开车辆1的整体宽度O以上的区域。其中，如图1所示，车辆1的整体宽 度O可意味着车辆1的自身左右末端之间的最大宽度。

如图12A及图12B所示，从坑洞942的左侧末端至左侧车道线911之间的间距I1小于整体宽度O，但从坑洞942的右侧末端至右侧车道线912之间的间距I2为整体宽度O以上。

具体地，在第二车道902中以坑洞942为基准划分的两个区域I1、I2中，坑洞942右侧的区域I2为车辆1的整体宽度O以上，因此如图12C所示，处理器170可生成使车辆1通过坑洞942右侧区域I2内的引导路径1002。即，处理器170可在第二车道902内生成使车辆1不脱离第二车道902并可会坑洞942的引导路径1002。

如图12C所示，在车辆1沿着第二车道902的中央行驶时，在坑洞942和右侧车道线912之间的间距大于车辆1的整体宽度O的情况下，可随着车辆1接近坑洞942，处理器170可生成车辆1的中心线越接近右侧车道线912并使车辆1分别从坑洞942和右侧车道线912隔开恒定间距的引导路径1002。由此，即使车辆1沿着引导路径1002接近右侧车道线912，也可防止与在第三车道903上行驶的其他车辆的碰撞状况。

根据情况，在车辆1维持当前行驶方向的情况下，在预测坑洞942会从车辆1的左侧轮胎11a的内侧和右侧轮胎11b的内侧之间通过的情况下，处理器170无需调整车辆1的行驶方向，因此，处理器170可省略生成对坑洞942引导路径1002的过程。

图13A至图13C为示出驾驶人员辅助装置100对坑洞生成引导路径的一例的图。

参照图13A，如同图11A，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧从车道912划分的第二车道902的情况下的俯视图，图13B例示对图13A所示的区间的正面图。

参照图13A及图13B，在第二车道902的车辆前方存爱坑洞943，处理器170可在借助摄像头195生成的行驶影像中检测坑洞943。

此时，处理器170可计算检测的坑洞943的位置及大小。例如，处理器170可计算坑洞743的位置及宽度我3，并可判断坑洞943是否处于第二车道902内的规定范围R1之内。

其中，规定范围R1可以为在第二车道902的左右界线之间的区域，即， 在左侧车道线911和右侧车道线912之间的区域中，与从左侧车道线911朝向右侧车道线912以平行的方式隔开已设定间距R2的位置与从右侧车道线912朝向左侧车道线911隔开已设定间距R2的位置相对应的范围。此时，已设定的间距R2可以为车辆1的轮胎宽度以上，且可具有小于整体宽度O的1/2的值。

在图13A及图13B中，相比于图11A及图11B，假设坑洞943处于第二车道902内的规定范围R1之外。即，假设坑洞943的左侧末端和左侧车道线911之间的间距I3小于图11A及图11B所示的已设定间距R2。

并且，处理器170可判断在第二车道902内是否存在从坑洞943隔开车辆1的整体宽度O以上的区域。其中，车辆1的整体宽度O可意味着车辆1的自身左右末端之间的宽度。

根据图13A及图13B，从坑洞943的左侧末端至左侧车道线911之间的间距I3及从坑洞943的右侧末端至右侧车道线912之间的间距I4均小于整体宽度O。即，在作为车辆1的行车道的第二车道902内不存在隔开车辆1的整体宽度O以上的区域。在此情况下，如图11C所示，不可能生成使坑洞941从车辆1的左侧轮胎11a及右侧轮胎11b之间通过的引导路径1001，以及如图12C所示，不可能生成使坑洞941通过通过坑洞942隔开车辆1的整体宽度O以上的区域内的引导路径1002。

但是，处理器170可生成使在车辆1的左侧轮胎11a及右侧轮胎11b中的与坑洞943相对较近的轮胎从坑洞943的上方经过的引导路径。例如，如图所示，处理器170可生成使在车辆1的左侧轮胎11a及右侧轮胎11b中的与坑洞943相对较近的轮胎11a通过坑洞943的中心的引导路径。

在此情况下，处理器170可向车辆1的减速装置提供控制信号，上述控制信号用于使车辆到达坑洞943之前减速。此时，处理器170可根据坑洞943的深度按等级调整车辆1的减速量。例如，在坑洞943的深度小于第一深度的情况下，使车辆1的行驶速度降低至第二速度，上述第二速度低于第一速度。并且，在坑洞943的深度为第二深度以上的情况下，可向减速装置提供使车辆1到达坑洞943之间停止的控制信号，或者可向转向装置提供将行车道从第二车道902变更成其他车道的控制信号。

图14A至图14B示出驾驶人员辅助装置100对多个坑洞生成引导路径的 一例。

参照图14A，如同图11A，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的敌人车道902的情况下的俯视图。

参照图14A，在第二车道902的车辆1前方存在两个坑洞944、945，处理器170可在借助摄像头195生成的行驶影像中检测两个坑洞944、945。此时，假设与车辆1相对较近的坑洞944能够以第二车道902的中央为基准处于规定范围R1内，与车辆1相对较远的坑洞945以第二车道902的中央为基准处于规定范围R1之外。并且，假设两个坑洞944、945各个的宽度W4、W5小于车辆1的整体宽度O。

在第二车道902中同时显示两个坑洞的情况下，处理器170可均考虑两个坑洞各个的位置及大小来生成引导路径。

例如，参照图14B，处理器170可生包括成对从车辆1的当前位置至较近坑洞944之间的一区间S1的第一轨迹1004a及对从较近坑洞944至较远坑洞945的第二区间S2的第二轨迹1004b的引导路径1004。

具体地，与车辆1相对较近的坑洞944处于以第二车道902的中央为基准的规定范围R1内，宽度W4小于车辆1的整体宽度O。因此，处理器170可对第一区间S1生成使坑洞944从车辆1的左侧轮胎11a的内侧和右侧轮胎11b的内侧通过的第一轨迹1004a。

并且，与车辆1相对较近的坑洞944处于以第二车道902的中央为基准的规定范围R1之外。例如，如图所示，坑洞945的左侧末端和左侧车道线911之间的区域I5可小于已设定的间距R2。

在一部分实例中，若坑洞945的右侧末端和右侧车道线912之间的区域I6为已设定间距R2以上且为车辆1的整体宽度O以上，则车辆1可从坑洞945的右侧末端和哟蹙额车道912之间的区域I6通过。由此，处理器170可对第二区间生成与第一轨迹1004a的结束为止相连接并从坑洞945的右侧末端和右侧车道线912之间的区域I6内经过的第二轨迹1004b。即，处理器170可生成包括第一轨迹1004a及第二轨迹1004b的引导路径，并可向车辆1的转向装置提供根据对应引导路径1004调整驾驶方向的控制信号。

图14A及图14B中以在车辆1的前方存在两个坑洞944、945的情况为 基准进行了说明，但在具有三个以上的坑洞的情况下，也可通过相同方式依次生成轨迹，由此，可使车辆1在不脱离行车道的情况下，使车辆1连续地躲避坑洞。

图15为示出驾驶人员辅助装置100对障碍物生成引导路径的一例的流程图。

首先，处理器170接收行驶影像(步骤S1500)。行驶影像可从设置于车辆1的前方一侧的摄像头195获得。摄像头195可根据处理器170的控制来拍摄车辆1前方并生成行驶影像，且可向处理器170实时或周期性提供生成的行驶影像。此时，可在借助摄像头195生成的行驶影像显示至少一个对象。

接着，处理器170判断行车道(步骤S1505)。作为一例，处理器170可从通过步骤S1500接收的行驶影像检测左侧车道线911及右侧车道线912，并可将检测的左侧车道线911及右侧车道线912作为两侧界线的区域设定成行车道。作为另一例，处理器170可基于通过与步骤S1500相异的过程接收的车辆1位置信息判断及设定车辆1的行车道。并且，处理器170可根据行驶状况变更用于判断行车道的信息。例如，在车辆1的通信部710接收的天气信息为恶劣天气的情况下，因雪或雨等因素，无法检测左侧车道线911及右侧车道线912的可能性会增加，因此处理器170可通过比较车辆1位置信息和地图信息的方式判断车辆1的行车道。

接着，处理器170检测在步骤S1505中判断的行车道上述存在的障碍物(步骤S1510)。例如，如上所述，与行车道的其他部分相比，障碍物呈向垂直上部突出的形态，因此，处理器170可将具有在深度图中，与突出的区域相对应的深度值的区域判断成障碍物。

接着，处理器170计算检测的障碍物的位置及大小(步骤S1515)。作为一例，处理器170可计算障碍物的宽度及高度。并且，处理器170可计算对于行车道的左右侧界线(及，左侧车道线911及右侧车道线912)的障碍物的相对位置。

接着，处理器170判断障碍物的位置是否处于以行车道的中央为基准的规定范围之内(步骤S1520)。即，处理器170可判断障碍物和行车道的左侧界线之间的间距及障碍物和行车道的右侧界线之间的间距是否分别为已 设定的间距以上。例如，处理器170可分别判断障碍物的左侧末端和行车道的左侧界线的间距是否为已设定间距以上以及障碍物的右侧末端和行车道的右侧界线之间的间距是否为已设定间距以上。其中，已设定间距可以为车辆1的轮胎宽度以上的间距。

接着，在步骤S1520中的判断结果，在障碍物的位置处于以行车道的中央为基准的规定范围之内的情况下，处理器170判断障碍物的宽度是否小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距(步骤S1525)。这是因为为了使障碍物从车辆1的左侧轮胎11a和右侧轮胎11b之间通过，障碍物的宽度的小于左侧轮胎11a和右侧轮胎11b之间的间距。此时，左侧轮胎11a和右侧轮胎11b之间的间距可意味着左侧轮胎11a的内侧和右侧轮胎11b的内侧之间的间距。

接着，在步骤S1530中的判断结果，在判断为障碍物的宽度小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距时，处理器170判断障碍物的高度是否小于车辆1的最小离地间隙G(步骤S1530)。车辆1为使障碍物从左侧轮胎11a和右侧轮胎11b之间通过，车辆1的最小离地间隙G得大于障碍物的高度。

接着，在步骤S1530中，在判断障碍物的高度小于车辆1的最小离地间隙G时，处理器170生成使障碍物从左侧轮胎11a和右侧轮胎11b之间通过的引导路径(步骤S1535)。即，例如，处理器170可生成使车辆1的中心线经过障碍物的中心的引导路径。仅在障碍物位于行车道内，左侧轮胎11a和右侧轮胎11b之间的间距大于障碍物的宽度，车辆1的最小离地间隙G大于障碍物的高度的状态下，在车辆1沿着一道路径行驶的情况下，不受到因障碍物所引起的损伤，并可在行车道内继续维持行驶。

在步骤S1520中，在判断为障碍物的位置处于以行车道的中央为基准的规定范围之外的情况下，在与步骤S1525中，在判断障碍物的宽度为车辆1的左侧轮胎11a和右侧轮胎11b的间距以上的情况以及在步骤S1530中，在判断为障碍物的高度为车辆1的最小离地间隙G以上的情况中的至少一个相对应时，处理器170可判断在行车道内是否存在从障碍物隔开车辆1的整体宽度O以上的区域(步骤S1540)。即，在处理器170不可能生成使障碍物从左侧轮胎11a和右侧轮胎11b之间通过的引导路径的情况下，处理器170 可判断在行车道内是否存在从障碍物隔开车辆1的整体宽度O以上的区域。

在步骤S1540中，在判断为行车道内存在从障碍物隔开车辆1的整体宽度O以上的区域时，处理器170可生成使车辆1通过隔开车辆1的整体宽度O以上的区域的引导路径(步骤S1545)。即，在障碍物的左侧末端和行车道的左侧界线之间的间距及障碍物的右侧末端和行车道的右侧界线之间的间距中的至少一个为车辆1的整体宽度O以上的情况下，处理器170可生成使车辆1向确保车辆1的整体宽度O以上的间距的区域内行驶的引导路径。

接着，处理器170可根据在步骤S1545中生成的引导路径生成用于调整车辆1的行驶方向的控制信号(步骤S1550)。并且，处理器170可向车辆1的转向装置等提供在步骤S1550中生成的控制信号。在车辆1沿着引导路径向确保车辆1的整体宽度O以上的间距的区域内行驶的情况下，车辆1的轮胎不会经过障碍物，因此，可预先防止因轮胎与障碍物的碰撞所引起的车辆1损伤的状况。

参照图15，驾驶人员辅助装置100基于在行车道存在的障碍物的大小和对行车道两侧的界线的障碍物的位置，可在行车道内生成相异的引导路径。由此，维持在行车道上的行驶病史基于障碍物的车辆1损伤最小化，并可降低基于车道变更的与其他车辆的膨胀等事故危险性。并且，维持在行车道上的行驶，由此，与为了避开障碍物而变更车道的情况相比，降低驾驶人员的混淆，并且，因对于行驶路径的变化减小，从而可提高汽车燃油经济性。

图16A至图16C示出驾驶人员辅助装置100对障碍物生成引导路径的一例。

参照图16A，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况下的俯视图。图16B例示对图16A所示的区间的侧视图。

参照图16A及图16B，在第二车道902的车辆前方存在障碍物946，处理器170可在借助摄像头195生成的行驶影像中检测障碍物946。

此时，处理器170可计算检测的障碍物946的位置及大小。例如，处理器170可计算障碍物946的位置及宽度W6，俩判断障碍物946是否处于第二车道902内的规定范围R1之内。其中，规定范围R1为第二车道902的左右界线之间的区域，即，在左侧车道线911和右侧车道线912之间的区域中， 于从左侧车道线911朝向右侧车道线912以平行的方式隔开已设定间距R2的位置与从右侧车道线912朝向左侧车道线911隔开已设定间距R2的位置之间的区域相对应的范围。此时，已设定的间距R2可以为车辆1的轮胎间距以上的值。根据图16A及图16B，可确认障碍物946处于第二车道902内的规定范围R1内的状态。

并且，处理器170可计算障碍物946的宽度W6，并可判断计算的障碍物946的宽度W6是否小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距。其中，左侧轮胎11a和右侧轮胎11b的间距可意味着从左侧轮胎11a的内侧至右侧轮胎11b的内侧之间的间距。如图所示，可确认障碍物946的宽度W6小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距T。

并且，处理器170可计算障碍物946的高度H1，并判断计算的障碍物946的高度H1是否小于车辆1的高低间隙G。在图16B中，假设障碍物946的高度H1小于车辆1的最小离地间隙G。

如图所示，障碍物946分别从第二车道902的两个界线隔开已设定间距R2，且障碍物946的高度H1小于车辆1的最小离地间隙G，因此，如图16C所示，处理器170可生成使障碍物946从车辆1的下部通过的引导路径1006。即，处理器170可生成使障碍物946从车辆1的左侧轮胎的内侧和右侧轮胎的内侧之间通过的引导路径1006。如图16C所示，与左侧车道线911相比，在障碍物946相对接近右侧车道线912的情况下，随着车辆1越接近障碍物946，处理器170可生成使车辆1的中心线越接近右侧车道线912的引导路径1006。

在一部分实施例中，右侧车道线912和障碍物946的右侧末端之间的间距处于隔开已设定间距R2以上的状态，因此，在车辆1通过障碍物946的时点，车辆1的自身左侧和左侧车道线911之间存在间距。由此，即使车辆1沿着引导路径1006接近右侧车道线912，也可防止与在第三车道903上行驶的其他车辆的碰撞。

即使车辆1维持当前行驶方向，在预测障碍物946从车辆1的左侧轮胎的内侧和右侧轮胎的内侧之间通过的情况下，处理器170无需调整车辆1的行驶方向，因此，处理器170可省略生成对障碍物946的引导路径1006的过程。

图17A至图17C示出驾驶人员辅助装置100对障碍物生成引导路径的一例。

参照图17A，如同图16A所示，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况下的俯视图，图17B例示对图17A所示的侧视图。

参照图17A及图17B，在第二车道902的车辆1前方存在障碍物947，处理器170可在借助摄像头195生成的行驶影像中检测障碍物947。

此时，处理器170可计算检测的障碍物947的位置及大小。例如，处理器170可计算障碍物947的位置及宽度，来判断障碍物947是否处于第二车道902内的规定范围之内。其中，规定范围R1可以为在第二车道902的左侧界线之间的区域，即，在左侧车道线911和右侧车道线912之间的区域中，与从左侧车道线911朝向右侧车道线912以平行的方式隔开已设定间距R2的位置与从右侧车道线912朝向左侧车道线911隔开已设定间距R2的位置之间的区域相对应的范围。此时，已设定的间距R2可以为车辆1的轮胎间距以上的值。

在图17A及图17B中，与图16A及图16B不同，假设障碍物947处于在第二车道902内的规定范围R1之外。即，假设障碍物947的左侧末端和左侧车道线911之间的间距17小于图16A及图16B所示的已设定间距R2。

处理器170可判断在第二车道902内是否存在从障碍物947隔开车辆1的整体宽度O以上的区域。其中，车辆1的整体宽度O可意味着车辆1的自身左右末端之间的宽度。如图17A及图17B所示，从障碍物947的左侧末端至左侧车道线911之间的间距I7小于整体宽度O，但从障碍物947的右侧末端至右侧车道线912之间的间距I8为整体宽度O以上。

并且，处理器170可相互比较障碍物947的高度H2和车辆1的最小离地间隙G的大小。即，处理器170可判断障碍物947的高度H2是否小于车辆1的最小离地间隙G。参照图17B，障碍物947的高度H2高于车辆1的高低间隙G，因此，处理器170有可能不生成使障碍物947从车辆1的左侧轮胎的内侧和右侧轮胎的内侧之间通过的引导路径1007。但是，处理器170可生成使车辆1在第二车道902内从确保车辆1的整体宽度O以上的间距的区域I8内通过的引导路径1007。

即，在第二车道902中的以障碍物947为基准划分的两个区域I7、I8中，障碍物947右侧的区域I8为车辆1的整体宽度O以上，因此，如图17C所示，处理器170可生成使车辆1通过障碍物947右侧区域I8的引导路径1007。即，处理器170可在第二车道902内生成使车辆1不脱离第二车道902并可避开障碍物947的引导路径1007。

如图17C所示，在沿着车辆1的第二车道902的中央行驶的过程中，在障碍物947和右侧车道线912之间的间距大于车辆1的整体宽度O的情况下，随着车辆1接近障碍物947，处理器170可生成使车辆的中心线越接近右侧车道线912并使车辆1分贝从障碍物947和右侧车道线912隔开恒定间距的引导路径1007。由此，即使车辆1沿着引导路径1007接近右侧车道线912，也可防止与在第三车道903上行驶的其他车辆的碰撞状况。

在车辆1处于维持当前行驶方向的情况下，在预测车辆1从第二车道902的两侧界线中的一个和障碍物947之间通过时，处理器170可无需调整车辆1的行行驶方向，因此，处理器170可省略生成对障碍物947的引导路径1007的过程。

图18A至图18C示出驾驶人员辅助装置100对多个障碍物生成引导路径的一例。

参照图18A，如同图16A所示，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况。并且，图18B例示对图18A所示的区间的侧视图。

参照图18A及图18B，在第二车道902的车辆前方存在两个障碍物948、949，处理器170可在借助摄像头195生成的行驶影像中检测两个障碍物948、949。此时，假设与车辆1相对较近内的障碍物948处于以第二车道902的中央为基准的规定范围(参照图16A的“R1”)之外，与车辆1相对较远的障碍物949处于以第二车道902的中央为基准的规定范围R1之内。并且，假设两个障碍物948、949各个的宽度W8、W9小于车辆1的整体宽度O。并且，假设与车辆1相对较近的障碍物948的高度H3为车辆1的最小离地间隙G以上，与车辆1相对较远的障碍物949的高度H4小于车辆1的最小离地间隙G。

在第二车道902中同时显示两个以上的障碍物948、949的情况下，处 理器170可均考虑两个障碍物948、949各个的位置及大小来生成引导路径。

例如，参照图18C，处理器170可生成包括对于从车辆1的当前位置至较近障碍物948之间的第一区间S11的第一轨迹1008a以及对于从较近障碍物948至较远障碍物949之间的第二区间S12的第二轨迹1008b的引导路径1008。

具体地，与车辆1相对较近的障碍物948处于以第二车道902的中央为基准的固定范围R1之外，宽度W8小于车辆1的整体宽度O，高度H3为车辆1的最小离地间隙G以上。因此，处理器170可对第一区间S11生成经过与障碍物948的左侧末端和左侧车道线911之间的间距相对应的区域I9内的第一轨迹1008a。

并且，与车辆1相对较远的障碍物949处于以第二车道902的中央为基准的规定范围R1之内，宽度W9小于车辆1的整体宽度O，高度H4小于车辆1的最小离地间隙G。由此，处理器170可对第二区间S2生成与第一轨迹1008a的而结束位置相连接并使障碍物949从车辆1的左侧轮胎11a的内侧和右侧轮胎11b的内侧之间通过的第二轨迹1008b。

即，处理器170可生成包括第一轨迹1008a及第二轨迹1008b的引导路径1008，并可向车辆1的转向装置提供根据对应引导路径1008调整车辆1的行驶方向的控制信号。

在图18A及图18B中，以在车辆1的期房存在两个障碍物948、949的情况为基准进行了说明，但在具有三个以上的障碍物的情况下，也可通过相同的方式依次生成轨迹，由此，可使车辆1在不脱离行车道的情况下，使车辆1连续躲避障碍物948、949。

图19A及图19B示出驾驶人员辅助装置100向驾驶人员提供有关对象的信息的工作。

根据图19A，如同图16A所示，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况。并且，如图19B示出在图19A所示的行驶状况下，向车辆1的挡风玻璃照射的车辆1前方的状况。为了方便说明，假设在第二车道902上存在的对象951为障碍物。

处理器170可跟踪在第二车道902上存在的障碍物951。具体地，在行 驶影像中的与第二车道902相对应的区域中检测障碍物951时，处理器170可实时或周期性跟踪检测的障碍物951。对此，处理器170可生成对于障碍物951的跟踪信息。图19A示出在第二车道902上仅存在一个障碍物951的情况，但本发明并不局限于此。作为一例，在第二车道902上存在两个以上的障碍物的情况下，处理器170也可分别跟踪两个以上的障碍物。

处理器170可控制用于显示对检测的障碍物951的信息的显示部741。此时，例如，如图19B所示，显示部741可以为设置于车辆1的已标板等的平视显示器。根据处理器170的控制，平视显示器向投射面(例如，车辆1的挡风玻璃)投射与各种信息相对应的图像，使得搭乘车辆1的驾驶人员等的使用人员识别映射在投射面的图像。或者，显示部741可包括与车辆1的一区域(例如，车辆1的挡风玻璃)相互覆盖的透明显示器。根据情况，透明显示器在特定工作状态(例如，打开)下具有恒定水平以上的透过度，从而使用人员可隔着透明显示器识别位于相反侧的事物。

在一部分实施例中，借助显示部741显示的信息只要是包括障碍物951等在内的对象，则并未特殊限定上述信息。具体地，参照图19B，显示部741可在画面的一部分区域显示引导对于障碍物951的信息(例如，从车辆1至障碍物951的距离、障碍物951是否移动)的文字形式的图像1101。例如，如图所示，在显示部741为将车辆1的挡风玻璃用成投射面的平视显示器的情况下，使用人员可通过在车辆1的挡风玻璃映射的图像1101直观性识别车辆1和障碍物951之间的距离为53m，且障碍物951当前处于停止状态。

并且，处理器170可向车辆1的显示部741提供显示对于障碍物951的跟踪信息的控制信号。例如，如图所示，显示部741可基于从处理器170提供的控制信号显示引导当前正在处于跟踪障碍物951的状态的图像1021。

此时，处理器170可根据至跟踪的障碍物951的距离变更图像1021的属性。例如，若至障碍物951的距离为第一距离以上，则使显示部741将图像1021显示成蓝色，若在至障碍物951的距离小于第一距离，则使显示部741将图像1021显示成红色。作为另一例，若至障碍物951的距离为第二距离以上，则显示部741使图像1021以第一速度闪烁，若至障碍物951的距离小于第二距离，则显示部741使图像1021以第二速度闪烁，上述第二速度大于第一速度。

并且，处理器170可控制显示部741，使得上述控制部741显示与对障碍物951生成的引导路径相对应的图像1031。例如，如图19A所示，在障碍物951的右侧末端和右侧车道线912之间的间距111大于车辆1的整体宽度O的情况下，处理器170可生成使车辆1在障碍物951的右侧末端和右侧车道线912之间的间距I11内行驶的引导路径，并使显示部741显示表示生成的引导路径的图像1031。

根据图19A及图19B，处理器170可通过显示部741视觉性输出对障碍物951等对象的基本信息、用于引导正在跟中的对象的信息及用于引导引导路径的信息，由此，帮助使用人员直观性识别车辆1的周边状况。

图20为示出驾驶人员辅助装置100对坠落物生成引导路径的一例的流程图。

首先，处理器170接收行驶影像(步骤S2000)。可从安装于车辆1的前方一侧的摄像头提供195行驶影像。摄像头195可根据处理器170的控制拍摄车辆1前方，并生成行驶影像，并可向处理器170实时或周期性提供生成的行驶影像。此时，在借助摄像头195生成的行驶影像中显示至少一个对象。

接着，处理器170判断行车道(步骤S2005)。作为一例，处理器170从通过步骤S2000接收的行驶影像检测左侧车道线911及右侧车道线912，并可将检测的左侧车道线911及右侧车道线912作为两侧界线的区域设定成行车道。作为另一例，处理器170可基于与步骤S2000相异的过程接收的车辆1位置信息判断及设定车辆1的行车道。并且，处理器170可根据行驶状况，可变更用于判断行车道的信息。例如，通过车辆1的通信部710接收的天气信息为恶劣天气的情况下，因雪或雨等因素，无法检测左侧车道线911及右侧车道线912的可能性会增加，因此处理器170可通过比较车辆1位置信息和地图信息的方式判断车辆1的行车道。

接着，处理器170检测在步骤S2005中判断的行车道上存在的障碍物(步骤S2010)。例如，如上所述，与行车道的其他部分相比，障碍物成向垂直上部突出的形态，因此，处理器170可将在深度图中，具有与突出的区域相对应的深度值的区域判断为障碍物。并且，处理器170可跟踪在步骤S2010中检测的障碍物。

接着，处理器170判断在步骤S2010中检测的障碍物是否为坠落物(步骤S2015)。具体地，处理器170可基于对在步骤S2010中检测的障碍物的跟踪信息，判断障碍物是否基于时间移动。例如，随着时间的经过，在对行车道的障碍物的垂直位置及水平位置中的至少一个发生改变的情况下，处理器170可将障碍物判断为坠落物。

接着，在处理器170将步骤S2015中的障碍物判断为坠落物时，处理器170可预测坠落物的停止位置。为此，处理器170可计算坠落物的最初移动速度、当前移动速度(例如，降落速度)及过去移动轨迹(例如，降落轨迹)等。并且，处理器170还可计算坠落物的大小。并且，处理器170可基于坠落物的过去移动速度、当前移动速度、过去移动轨迹等预测坠落物的停止位置。

具体地，处理器170可通过比较在最初检测坠落物的时点计算的坠落物的速度及位置和在当前时点计算的坠落物的速度及位置，计算出坠落物的速度变化及过去移动轨迹。由此，处理器170可基于坠落物的速度变化及过去移动轨迹预测坠落物将以何种速度向哪一方向移动。例如，在最初检测的时点至当前时点的第一时间内，坠落物沿着第一方向进行直线运动且速度从“10”下降至“7”的情况下，处理器170可预测坠落物从当前时点至第一时间内，沿着第一方向进行直线运动且速度从“7”下降至“4”。处理器170均可预测坠落物的移动轨迹和速度变化，因此，处理器170可预测坠落物的停止位置。

在步骤S2015中，障碍物停止在最初检测的位置的情况下，处理器170可判断为障碍物不与坠落物相对应。在此情况下，处理器170可执行图15所示的步骤S1520。

接着，处理器170判断在步骤S2025中预测的坠落物的停止位置是否为在步骤S2005中判断的行车道内(步骤S2025)。当预测正在移动的坠落物会在行车道外停止时，无需变更车辆1的行驶方向，因此，处理器170可省略后述的步骤S2030及步骤S2035。

接着，在步骤S2025中预测坠落物会在行车道内停止时，处理器170可基于坠落物的大小及预测的停止位置生成行车道内的引导路径(步骤S2030)。例如，若预测的坠落物停止位置处于以行车道的中央为基准的规 定范围(参照图16A的“R1”)内，坠落物的宽度小于车辆1的左侧轮胎和右侧轮胎之间的间距T，坠落物的高度小于车辆1的最小离地间隙，则处理器170可生成从车辆1的左侧轮胎及右侧轮胎之间通过预测的坠落物停止位置的引导路径。作为另一例，若预测的坠落物停止位置处于以行车道的中央为基准的规定范围R1之外，在行车道内存在从预测的坠落物停止位置隔开车辆1的整体宽度O以上的区域，则处理器170可生成使车辆1通过在行车道内的隔开整体宽度O以上的区域的引导路径。

接着，处理器170可根据在步骤S2030中生成的引导路径生成用于调整车辆1的行驶方向的控制信号(步骤S2035)。并且，处理器170可向车辆1的转向装置等提供在步骤S2035中生成的控制信号。

图21A至图21C示出驾驶人员辅助装置100对坠落物生成引导路径的一例的图。为了方便说明，假设坠落物952为以与路面相接触的状态下进行移动的障碍物。

根据图21A，如同图16A所示，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况下的俯视图。并且，图21B示出在图21A所示的行驶状况下，向车辆1的挡风玻璃照射的车辆1前方的状况。并且，图21C示出基于预测的坠落物952停止位置P3生成的引导路径1013的一例。

参照图21A及图21B，例示在第一车道901内的第一位置P1第一次检测位于车辆1前方的坠落物952之后，随着与在第一车道901上行驶的其他车辆2碰撞，位于当前第二车道902内的第二位置P2的情况。即，处理器170可通过跟踪坠落物952获得对于从第一位置P1至第二位置P2的跟踪信息。其中，跟踪信息可包括坠落物952的最初检测位置、在最初位置的移送速度、当前位置的速度、对于从最初检测位置至当前位置的移动速度变化量、从最初检测位置至当前位置的移动轨迹1011、对于当前移动速度等的信息。

处理器170可基于跟踪信息或模拟信息预测坠落物952的未来移动轨迹1012，并基于预测的未来一定轨迹1012预测坠落物952的停止位置P3。例如，如图21A所示，处理器170可预测坠落物952会在第三位置P3停止。

根据情况，相比于参照图19A至图19c的说明，处理器170可替代坠落物952的当前位置P2利用预测的停止位置P3生成引导路径1013。

并且，处理器170可通过组合跟踪信息及预测的坠落物952停止位置P3生成模拟信息。例如，模拟信息可包括模拟显示坠落物952根据过去移动轨迹1011和未来移动轨迹1012进行移动的动态影像。

并且，处理器170可控制显示部741，使得显示部741显示对于跟踪信息、模拟信息、引导路径1013等的坠落物952的信息。此时，例如，如图21B所示，显示部741可包括设置于车辆的仪表板的平视显示器。根据处理器170的控制，平视显示器向投射面(例如，车辆1的挡风玻璃)投射与各种信息相对应的图像，使得搭乘车辆1的驾驶人员等的使用人员识别映射在投射面的图像。或者，显示部741可包括与车辆1的一区域(例如，车辆1的挡风玻璃)相互覆盖的透明显示器。根据情况，透明显示器在特定工作状态(例如，打开)下具有恒定水平以上的透过度，从而使用人员可隔着透明显示器识别位于相反侧的事物。

具体地，参照图21B，显示部741可在画面的一部分区域显示引导对于坠落物952的信息(例如，从车辆1至障碍物952的距离、障碍物952是否移动)的文字形式的图像1102。例如，如图所示，在显示部741为将车辆1的挡风玻璃用成投射面的平视显示器的情况下，使用人员可通过在车辆1的挡风玻璃映射的图像1102直观性识别车辆1和坠落物952之间的距离为37m，且坠落物952当前处于移动的状态。

并且，处理器170可控制显示部741，使得显示部741显示对于坠落物952的跟踪信息或模拟信息。例如，如图所示，处理器170可控制显示部741，使得显示部741显示在模拟信息中的用于引导正在跟踪坠落物952的图像1022。并且，处理器170也可基于未来移动轨迹1012按时间变更显示图像1022的位置。

此时，处理器170可根据至跟踪的坠落物952的距离变更图像1021的属性。例如，若至坠落物952的距离为第一距离以上，则使显示部741将图像1022显示成蓝色，若在至坠落物952的距离小于第一距离，则使显示部741将图像1022显示成红色。作为另一例，若至坠落物952的距离为第二距离以上，则显示部741使图像1022以第一速度闪烁，若至坠落物952的距离小于第二距离，则显示部741使图像1022以第二速度闪烁，上述第二速度大于第一速度。

并且，处理器170可控制显示部741，使得上述控制部741显示与对坠落物952生成的引导路径相对应的图像1032。例如，如图21A所示，在预测的停止位置P3处于以第二车道902为基准的规定范围(参照图16A的“R1”)之外，从预测的停止位置P3至坠落物952的左侧末端和左侧车道线911之间的间距大于车辆1的整体宽度O的情况下，如图21C所示，处理器170生成使车辆1从坠落物952的左侧末端和左侧车道线911之间的间距内行驶的引导路径1013，并使显示部741显示于生成的引导路径1013相对应的图像1032。

根据图21A及图21B，处理器170可通过显示部741视觉性输出对于坠落物952的基本信息1102、用于引导正在跟踪的坠落物952的位置变化的信息P1、P2、P3及用于引导引导路径1013的信息1032，由此，帮助使用人员直观性识别车辆1的周边状况。并且，参照图21C，处理器170可生成对于在坠落物952正在移动的状态下暂时经过的第三位置P3的引导路径1013，而不是生成对于第二位置P2的引导路径。

图22A至图22C示出驾驶人员辅助装置100对坠落物生成引导路径的另一例的图。为了方便说明，假设坠落物953正在从空中朝向路面坠落。

根据图22A，如同图16A所示，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况。并且，图22B示出对于图22A所示的区间的侧视图。并且，图22C示出基于预测的坠落物953停止位置生成的引导路径1016的一例。

参照图22A及图22B，在车辆1的前方行驶的其他车辆3所装载的装载物掉落的情况下，处理器170可基于行驶影像，将装载物判断为障碍物。并且，装载物从空中朝向第二车道902坠落，因此，处理器170可将装载物判断为坠落物953。

处理器170可获得对于从第一次检测坠落物953的位置(即，开始降落的位置)至当前第四位置P4的跟踪信息。其中，跟踪信息可包含对于坠落物953的过去移动速度变化量、至当前的移动轨迹1014、当前移动速度等的信息。

处理器170可基于跟踪信息预测坠落物953的未来移动轨迹1015，并基于预测的未来移动轨迹1015预测坠落物953的停止位置。例如，如图22A 及图22B所示，处理器170可预测坠落物953会在第五位置P5中停止。

处理器170可判断作为预测的坠落物953停止位置的第五位置P5是否处于以第二车道902的中央为基准的规定范围R1内。其中，规定范围R1可以为在第二车道902的左右界线之间的区域，即，在左侧车道线911和右侧车道线912之间的区域中，与从左侧车道线911朝向右侧车道线912以平行的方式隔开已设定间距R2的位置和从右侧车道线912朝向左侧车道线911隔开已设定间距R2的位置之间的区域相对应的范围。此时，已设定间距R2可以为车辆1的轮胎宽度以上的值。根据图22A，可确认坠落物953处于第二车道902内的规定范围R1内的状态。

并且，处理器170可计算坠落物953的宽度，并可判断计算的坠落物953的宽度是否小于车辆1的左侧轮胎11a和右侧轮胎11b之间的间距T。

并且，处理器170可计算坠落物953的高度H5，并可判断计算的坠落物953的高度H5是否小于车辆1的最小离地间隙G。

在图22B中，若坠落物953的宽度小于车辆1的左侧露台11a和右侧轮胎11b之间的间距T，坠落物953的高度H5小于车辆1的最小离地间隙G，则如图22C所示，处理器170可生成使坠落物953从车厢1的下部通过的引导路径1016。即，处理器170可通过调整车辆1的行驶方向来使车辆从左侧轮胎11a和右侧轮胎11b之间避开坠落物953。

图23示出驾驶人员辅助装置100控制车辆1的灯驱动部754的一例。

参照图23，如同图16A所示，例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况下的俯视图。

在作为车辆1的行车道的第二车道902上检测障碍物的情况下，处理器170可生成对包括检测的障碍物的当前位置的区域照射光束1200的控制信号。或者，在障碍物为坠落物的情况下，处理器170可生成对包括预测的坠落物停止位置的区域照射光束1200的控制信号。即，图23所示的第六位置P6可以为停止的障碍物的当前位置或者预测的正在移动的坠落物的停止位置。

并且，处理器170可向车辆1的灯驱动部754提供用于照射光束1200的控制信号。例如，车辆1的灯驱动部754可基于从处理器170提供的控制 信号使设置于车辆1的前方的一对头灯13a、13b朝向障碍物照射规定颜色或大小的光束1200。此时，根据灯驱动部754的控制，从头灯13a、13b照射的光速1200可以为激光束1200。

并且，处理器170可根据检测的障碍物的大小或至检测的障碍物的间距来使灯驱动部754变更照射光束1200的属性(例如，颜色，大小，强度，闪烁周期等)。

例如，当与检测的障碍物之间的距离越小，处理器170可使灯驱动部754照射小的光束1200。作为另一例，在与检测的障碍物之间的距离为第一距离以上的情况下，处理器170可使灯驱动部754照射第一强度的光束1200，在于检测的障碍物之间的距离小于第一距离的情况下，处理器170使灯驱动部754照射第二强度的光束1200，上述第二强度的强度小于第一强度。

根据图23，在第二车道902之外的道路上行驶的其他车辆4的驾驶人员可看到路面上由光束1200所照射的区域1201并可迅速识别在第二车道902上存在的障碍物，因此，可帮助驾驶人员进行安全驾驶。

图24A及图24B为示出驾驶人员辅助装置100在发生溅水现象时在行车道内生成引导路径的一例的流程图。

首先，参照图24A，吹起170接收行驶影像(步骤S2400)。安装于车辆1前方一侧的摄像头195可提供行驶影像。摄像头195可根据处理器170的控制拍摄车辆1前方，并生成行驶影像，且可向处理器170实时或周期性提供所生成的行驶影像。此时，在借助摄像头195生成的行驶影像可显示至少一个对象。

接着，处理器170判断行车道(步骤S2405)。作为一例，处理器170可从通过步骤S2400接收的行驶影像检测左侧车道线911及右侧车道线912，并可将检测的左侧车道线911及右侧车道线912为两侧界线的区域设定成行车道。作为另一例，处理器170可基于与步骤S2400相异的过程接收的车辆1位置信息判断及设定车辆1的行车道。并且，处理器170可根据行驶状况变更用于判断行车道的信息。例如，通过车辆1的通信部710接收的天气信息为恶劣天气的情况下，因雪或雨等因素，无法检测左侧车道线911及右侧车道线912的可能性会增加，因此处理器170可通过比较车辆1位置信息和地图信息的方式判断车辆1的行车道。

接着，处理器170检测在步骤S405中判断的行车道上存在的对象，并判断在步骤S2410中检测的对象是否为溅水现象(步骤S415)。作为利益，处理器170可根据车辆1的挡风玻璃是否被在步骤S2410中检测的对象遮挡已设定区域以上，将对象判断为溅水现象。或者，在借助摄像头195生成的行驶影像中，在已设定比例以上的区域被水等遮挡的情况下，处理器170可将在步骤S2410中检测的对象判断为溅水现象。

此时，处理器你170还可通过考虑由车辆1的雨量传感器提供的降雨信息，来判断对象是否为溅水现象。即，在车辆的前方视野被遮挡已设定区域以上且通过雨量传感器检测到已设定值以上的降雨的情况下，可将在步骤S2410中检测的对象判断为溅水现象。此时，可在车辆1的挡风玻璃附近配置至少一个以上的雨量传感器。

接车，当将对象判断为溅水现象时，处理器170可基于过去行驶影像生成行车道内的引导路径(步骤S2420)。过去行驶影像可意味着在接收将对象判断为溅水现象的行驶影像之前的行驶影像。为此，处理器170可存储已接收的全部或一部分行驶影像。在步骤S2420中，处理器170可基于对过去行驶影像的车道识别结果生成行车道内的引导路径。例如，在过去行驶影像中识别出直线形态的车道的情况下，处理器170可生成用于车辆1的直行的引导路径。作为与另一，在过去行驶影像中，在识别出具有规定曲率的车道的情况下，处理器170可生成具有识已别车道的曲率的引导路径。

接着，处理器170可根据通过步骤S2420生成的引导路径生成用于调整车辆1的行驶方向的控制信号(步骤S2425)。并且，处理器170可向转向装置等提供在步骤S2435中生成的控制信号。

图24B为示出在发生溅水现象时，驾驶人员辅助装置100限定车辆1的方向盘12的可操作范围的一例的流程图。与步骤S2400、步骤S2405、步骤S2410及步骤S2415与图24A的步骤相同，并将省略对其的详细说明。

根据图24B，在步骤S2415中将对象判断为溅水现象时，处理器170可判断在其他道路是否存在障碍物(步骤S2430)。其中，其他道路可意味着与车辆1的行车道相邻的道路。并且，处理器170可基于从在传感部760中包括的传感器中，雷达、激光雷达、超音波传感器等可检测存在于车辆1周边的对象的至少一个以上的传感器输出的检测信号判断在其他道路是否存 在障碍物。当然，处理器170还可通过分析在多个摄像头195、196、197、198中的至少一个生成的影像来判断在其他道路上是否存在障碍物。

在步骤S430中，当判断为在其他道路上不存在障碍物时，处理器170可将车辆1的方向盘12的可操作范围限定在第一范围内(步骤S435)。相反，在步骤S2430中，当判断为在其他道路上存在障碍物时，处理器170可将车辆1的方向盘12的可操作范围限定在第二范围内(步骤S2440)。其中，第一范围及第二范围处于已被设定的状态，第二范围可小于第一范围。例如，第二范围可属于第一范围内。

即，与在其他道路不存在障碍物的情况相比，在其他道路上存在障碍物的情况下，处理器170可相对缩小方向盘12的可操作范围。例如，在车辆1的转向装置包括电动助力转向装置(motor driven power steering)的情况下，处理器170可通过控制设置于电动助力转向装置的转向电机的驱动力来使方向盘12仅在规定范围内选旋转。电动助力转向装置也可被命名为电动转向装置(EPS，electronic Power Steering)。作为又一例，在方向盘12旋转至限定范围的临界值的情况下，处理器170可锁片紧固于使形成于转向柱的插入槽。作为另一例，方向盘12的操作量越大，处理器170可利用转向装置的摩擦部件来增加对于转向柱的摩擦力，使得驾驶人员无法将方向盘12旋转至限定范围之外。由此，驾驶人员可降低基于驾驶人员急剧操作方向盘的与其他车辆的碰撞危险等。

接着，处理器170为了解除向方向盘12施加的限定，可判断是否满足已设定条件(以下，称之为“解除条件”)(步骤S2445)。例如，将在对象判断为溅水现象之后，在经过已设定时间的情况下，处理器170可判断为满足解除条件。作为另一例，在车辆1的挡风玻璃被溅水现象所遮挡的面积小于已设定面积的情况下，处理器170可判断为满足解除条件。但是，解除条件并不局限于上述例，此外，可通过使用人员输入等设定多种条件。

若，在步骤S2445中，当判断为满足解除条件时，处理器170可解除对于方向盘12的限定(步骤S2450)。具体地，处理器170可向上述车辆1的转向装置提供解除对于方向盘12的限定的控制信号。

图25A至图25C示出在发生溅水现象时的驾驶人员辅助装置100的动作的一例。

如同图16A所示，图25A例示车辆1的行车道为在第一车道901和第三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902的情况下的俯视图。如图所示，随着在车辆1的前方行驶的其他车辆5通过在之后的第二车道902形成的水坑(puddle)，车辆1可被挨浇。

如图25A所示，图25B例示在车辆被挨浇954之前和之后，对于各个车辆1的挡风玻璃的状态。在图25B中，为了方便说明，例示显示部741为将挡风玻璃用成平视显示器的情况下。参照图25B的左侧的图，随着其他车辆5经过水坑，车辆1可被挨浇954。并且，参照图25B的中间的图，随着车辆1朝向溅水现象954行驶，溅水现象954会遮挡车辆1的挡风玻璃从而可遮挡前方视野。在此情况下，处理器170可基于行驶影像判断车辆1的挡风玻璃是否被溅水现象遮挡蒸汽区域中的已设定区域以上。图25B的中间图与图25B的左侧图不同，其他车辆5、左侧车道线911及右侧车道线912处于被溅水现象954遮挡的状态，因此，驾驶人员无法确认前方状况。

当判断为车辆1的挡风玻璃的整个区域中的已设定区域以上被溅水现象954遮挡时，如图25的右侧所示，处理器170可是显示部741在挡风玻璃上显示于左侧车道线911相对应的虚拟车道921及与右侧车道线912相对应的虚拟车道922。并且，处理器170可基于过去行驶影像生成引导路径，并可使显示部741在挡风玻璃上显示于生成的引导路径相对应的图像1033。此时，处理器170为了生成与虚拟车道921、922及引导路径相对应的图像1033而利用的行驶影像可以为图25B的最右侧所示的过去行驶影像。

如图25的右侧所示，随着在挡风玻璃显示于虚拟车道921、922及引导路径相对应的图像1033，驾驶人员可在因溅水现象954而无法确保前方视野的状态下也可继续进行安全驾驶。

在一部分实施例中，处理器170可通过显示部741显示虚拟车道921、922及与引导路径相对应的图像1033的动作一同或单独限定方向盘12的可操作范围。其中，方向盘12的可操作范围可意味着驾驶人员可手动旋转方向盘12的角度范围。在突然发生溅水现象954等的情况下，因无法确保前方视野，而判断力下降的驾驶人员可过度操作方向盘12，由此会增加车道脱离等事故危险性，从而，处理器170使方向盘12仅在限定范围内旋转。

参照图25C，在车辆1沿着第二车道902直行时，如图25B的中央所示， 在挡风玻璃会被溅水现象954所遮挡，而导致驾驶人员很难确保前方视野的情况下，处理器170可使方向盘12以中立位置为基准，仅在作为规定角度范围的第一范围(－θ1～+θ1)内旋转。其中，中立位置可意味着使车辆1直行的方向盘的位置。并且，“-”符号可意味着从中立位置向逆时针方向的旋转，“+”符号意味着从中立位置向顺时针方向的旋转。即，在方向盘12处于中立位置的状态下，车辆1的轮胎可以与车辆1的中心线(center line of vehicle)平行。处理器170可向用于限定方向转向装置提供盘12的旋转量的控制信号，使得驾驶人员无法将方向盘12旋转至第一范围(－θ1～+θ1)之外。例如，转向装置可包括用于检测方向盘12的旋转方向、旋转速度、旋转梁、转向扭矩等的转向传感器(steering sensor)，处理器170可基于转向传感器的检测信号，判断方向盘12的旋转量是否达到第一范围(－θ1～+θ1)的临界值。

当判断为方向盘12的旋转量达到第一范围(－θ1～+θ1)的临界值时，处理器170可降低设置于电动助力转向装置的转向电机的驱动力，或者可向转向驱动部752提供用于提高对于转向柱的摩擦或阻力的控制信号。由此，转向驱动部752可基于处理器170所提供的控制信号控制转向装置，从而，即使驾驶人员向方向盘12施加力，也能够使方向盘12的旋转不超过第一范围(－θ1～+θ1)。

在图25A中示出溅水现象954因先行车辆5所产生的情况，但还可以因其他原因导致。例如，溅水现象954可因暴雨形成，在从雨量传感器输出的检测信号与暴雨相对应的情况下，处理器170可判断为车辆1遭受暴雨954。

并且，图25C示出可＝在第一范围(－θ1～+θ1)内可操作方向盘12，但其他体现也有可能。例如，在车辆1沿着第二车道902直行时，处理器170判断为车辆1处于其前方视野被溅水现象954遮挡的状态时，处理器170可固定方向盘12。即，处理器170可将方向盘12的可操作范围设定成“O”，使得方向盘12无法向顺时针方向及逆时针方向旋转。由此，车辆1可维持沿着第二车道902的直行。

图26A及图26B为示出在车辆1遭受溅水现象时的驾驶人员辅助装置100的动作的再一例的图。

如同图25A所示，图26A例示车辆1的行车道为在第一车道901和第 三车道903之间，由左侧车道线911及右侧车道线912划分的第二车道902，随着在车辆1的前方行驶的其他车辆6通过形成于第二车道902的水坑，车辆1可承受溅水现象955。与图25A相比较，在图26A中，具有其他车辆7在第一车道901行驶的差异。

处理器170可判断车辆1的行车道之外的道路上是否存在障碍物。当判断为在其他道路存在如其他车辆7等的障碍物时，处理器170与在其他道路上不存在障碍物的情况作比较，来缩小方向盘12的可操作范围。

例如，如图25A所示，在第一车道901及第二车道902中不存在接近车辆1的其他车辆的状况下，可将方向盘12的可操作范围限定在(－θ1～+θ1)。相反，如图26A所示，在第一车道901存在接近车辆1的其他车辆的状况下，以使方向盘仅在小于第一范围(－θ1～+θ1)的范围内旋转的方式变更方向盘12的可操作范围。

例如，处理器170可基于障碍物的特征变更方向盘12的可操作范围。例如，如图26A所示的其他车辆7和车辆1之间的间距越近，处理器170可逐渐缩小方向盘12的可操作范围。

根据情况，处理器170可考虑对于车辆1的障碍物的相对位置设定方向盘12的可操作范围。参照图26B，其他车辆7在车辆1的左侧行驶，因此，在车辆1的驾驶人员向逆时针方向旋转方向盘12的情况下，发生车辆1和其他车辆之间的碰撞的可能性高。在此情况下，处理器170可限定方向盘12的可操作范围，使得方向盘12仅在以中立位置为基准，向顺时针方向的第二范围(0～+θ1)内旋转。即，根据处理器170的控制，方向盘12不向逆时针方向旋转，因此，降低车辆1和其他车辆之间的碰撞危险性。

图27A至图27C为示出在车辆1遭受溅水现象时的驾驶人员辅助装置100的动作的另一例的图。为了方便说明，假设显示部741为安装于仪表板的平视显示器。

图27A例示车辆1在具有规定曲率的往复2车道中的右侧车道线905行驶，且在左侧车道线904，与车辆1的行驶方向相反的其他车辆8行驶中的状况。假设左侧车道线904为被划分为左侧车道线914和中央车道915的区域，右侧车道线905为被划分为中央车道915和右侧车道线916的区域。并且，为了方便说明，假设其他车辆8在经过形成于道路904的水坑时发生的 溅水现象956因碰撞车辆1的党风玻璃，而导致驾驶人员前方视野被遮挡。

处理器170可基于过去行驶录像，即，因溅水现象956，驾驶人员的前方视野被遮挡之前从摄像头195接收的行驶影像生成用于调整车辆1的行驶方向的控制信号。

参照图27B，图27A所示的往复2车道形成有朝向左侧的弯道，处理器170可在过去行驶影像中识别哟蹙额车道905的两侧的两个车道915、916，并基于识别的车道计算右侧车道线905的弯道信息。例如，处理器170可基于识别的车道的曲率计算形成于右侧车道线905的弯道的方向及曲率。

在完成对于行车道的弯道信息的计算时，处理器170可基于计算的弯道信息生成作为车辆1的行车道的右侧车道线905内的引导路径。并且，处理器170可使显示部741显示计算的弯道信息。例如，如图27B所示，处理器170可使平视显示器741在挡风玻璃投射与因溅水现象956而被遮挡的中央车道915相对应的虚拟车道925及与右侧车道线916相对应的虚拟车道926。并且，处理器170可基于右侧车道线905的曲率生成右侧车道线905内的引导路径，并可使平视显示器741在挡风玻璃投射与生成的引导路径相对应的图像1034。

随着发生溅水现象956，处理器170可基于行车道的曲率限定方向盘12的可操作范围。参照图27C，处理器170可基于在右侧道路905形成的弯道的方向及弯道的曲率(或曲率半径)设定方向盘12的可操作范围。具体地，因在右侧道路905形成左侧弯道，因此，处理器170可使方向盘12不向顺时针方向旋转。并且，处理器170可基于在右侧道路905形成的弯道的曲率，使方向盘12从中立位置向作为逆时针方向的第三范围(－θ4～－θ3)内旋转。其中，“－”符号可意味着从中立位置向逆时针方向的旋转。例如，在右侧道路905的曲率为第一值的情况下，第三范围可被设定为－20度～－15度，在右侧道路905的曲率为第二值的情况下，第二值大于第一值，第三范围可被设定为－30度～－25度。

图28为示出在车辆1遭受溅水现象时的驾驶人员辅助装置100的动作的又一例的图。为了方便说明，假设在与车辆1的挡风玻璃相邻的位置设置一对雨刷14a、14b。

参照图28，在车辆1的挡风玻璃因发生溅水现象958而被遮蔽的情况下， 处理器170可向车辆1的雨刷驱动部759提供控制信号，上述控制信号用于使雨刷14a、14b驱动至少一次以上。即，因溅水现象958，在驾驶人员很难确保前方视野的情况下，雨刷14a、14b可根据处理器170的控制自动打开，由此，可迅速去除遮蔽挡风玻璃的溅水现象958。

根据情况，处理器170可基于因溅水现象958，而车辆1的前方视野被遮蔽的程度，按等级雨刷14a、14b的驱动次数、驱动速度等。为此，处理器170可基于行驶影像，计算出在挡风玻璃的整个区域中，因溅水现象958而被遮蔽的区域的面积及比例。

例如，因溅水现象958，在挡风玻璃的70％以上被遮挡的情况下，处理器170可向雨刷驱动部759输出使雨刷14a、14b快速动作五次的控制信号。

作为再一例，因溅水现象958，在挡风玻璃的40％以上且低于70％的部分被遮挡的情况下，处理器170可向雨刷驱动部759输出使雨刷14a、14b以中间速度动作三次的控制信号。

作为又一例，因溅水现象958，挡风玻璃的20％以上且低于40％的部分被遮挡的情况下，处理器170可向雨刷驱动部759输出使雨刷14a、14b以缓慢的速度动作一次的控制信号。因溅水现象958，在挡风玻璃的极小部分(例如，低于20％的部分)被遮挡的情况下，驾驶人员可通过剩余80％以上的区域亲自确认前方状况，因此，处理器170有可能不生成用于驱动雨花14a、14b的控制信号。

在上述例示中，以驾驶人员辅助装置100在车辆1的行车道内调整车辆的行驶方向的动作为中心进行了说明，但也可利用其他实施例。例如，在处理器170无法在行车道内生成如图11C等所示的引导路径的情况下，上述处理器170可生成使车辆向其他车道行驶的控制信号，而不是使车辆在行车道内的区域行驶。具体地，处理器170在生成连接车辆1的当前行车道和其他行车道的路径之后，可向车辆1的转向装置提供控制信号，上述控制信号用于根据连接当前行车道和其他行车道的路径调整车辆1的行驶方向。

在此情况下，处理器170基于在从摄像头195接收的行驶影像及从传感部760接收的检测信号中的至少一种，可判断在位于行车道的左侧或右侧的其他车道是否存在对象(例如，障碍物)，可针对在其他车道上不存在对象的情况生成连接当前行车道和其他车道的路径。

在上述例示中，说明了驾驶人员辅助装置100利用车辆1的显示部741显示有关对象的各种信息的情况，但这仅是为了说明的方便性，本发明的范围并不局限于此。即，处理器170可通过与对显示部741的控制方式相同的方式控制显示部180。例如，处理器170可利用在驾驶人员辅助装置100所包括的显示部180显示有关对象的各种信息，而不是利用车辆1的显示部741进行显示。

以上说明的本发明并非仅通过装置及方法体现，而是可通过实现与本发明的实施例的结构相对应的功能的程序或记录上述程序的记录介质实现，并且，本发明所属技术领域的普通技术人员在不超过本发明技术思想的范围内可对以上说明的本发明进行多种置换、变形及变更，因此，本发明并不局限于上述实施例及附图。可通过选择性组合各个实施例的整体或一部分来实现多种变形。