驻车辅助装置的制作方法

专利名称：驻车辅助装置的制作方法
技术领域：
本发明涉及对将车辆前进到在前进中使车辆驻车时的后退开始位 置(乘员将换挡杆的位置切换为倒档的换挡杆切换位置)，并从该后退 开始位置后退将车辆驻车于规定的驻车位置的驾驶操作进行辅助的驻 车辅助装置。
背景技术：
由于使车辆驻车的驾驶操作一般是在狭窄的空间中并伴随着转向 及后退，因此要求较高的驾驶技术。因此，为了减轻驻车驾驶时乘员的 负担，人们提出了各种的驻车辅助装置及驾驶辅助装置。在下述表示出 处的专利文献l中记载了对前进到后退开始位置、并伴随转向而后退使 车辆驻车于规定的驻车位置的驾驶操作进行辅助的驻车辅助装置的发 明。
安装了该驻车辅助装置的车辆的驾驶者为了确认空着的驻车位，在 从驾驶席大致正侧面看得到该驻车位的位置将车辆临时停止。驾驶者在 临时停止后，朝向后退开始位置伴随圆弧状的移动使车辆前进。驻车辅 助装置以该临时停止为起点，计算向后退开始位置前进的车辆的移动 量。驾驶者通过目测，当判断为已到达能够充分地折返的位置时使车辆 停止。然后，将换挡杆切换到倒档。驻车辅助装置若检测到切换了换挡 杆则计算驻车目标位置及引导线路。具体而言，对表示驻车位的白线进 行图像识别，并根据该识别结果确定驻车目标位置。然后，根据该驻车 目标位置及已停在后退开始位置的车辆的位置计算引导线路.
专利文献1:日本特开2006-175918号公报(参照第38 ~ 51段等)

发明内容
该驻车辅助装置具有优异的驻车目标位置的设定精度、设定速度 快、能够减少驾驶者设定驻车目标位置的工夫的优点。但是，成为后退 开始位置的停车位置交给了驾驶者进行酌情确定，未必是最合适的位置。例如在按照所需以上的前进量及转向量进行了移动而停车的情况 下，向驻车目标位置的后退时间变长。相反，在前进量及转向量不充分 的情况下，有时无法设定引导线路，需要使换挡杆从倒档返回再次前进。 这些会使驻车所需时间变长，因此希望更有效的驻车辅助装置。
本发明是鉴于上述课题而做出的，目的在于提供一种能够以良好的 精度、且短时间对驻车的目标位置及用于驻车的线路进行设定，从而能 够减轻驻车时乘员的驾驶负担的驻车辅助装置。
为了达到该目的的本发明所涉及的驻车辅助装置是对前进到后退 开始位置，并从后退开始位置后退，使车辆向规定的驻车位置驻车的驾 驶操作进行辅助的装置，其构成如下。
包括图像接受部，其取得由安装于所述车辆的摄影装置对所述车 辆的周边情景进行拍摄而得到的图像数据；驻车基准检测部，其基于所 述图像数据检测对所述车辆进行驻车时的驻车基准；驻车目标设定部， 其基于所述驻车基准设定与所述规定的驻车位置对应的驻车目标位置；
驻车线路运算部，其在到所述后退开始位置之前的前进过程中，根 据基于反复检测出的所述驻车基准而反复设定的所述驻车目标位置，逐 次运算从所述车辆的现在位置到所述驻车目标位置的驻车线路；以及驻 车线路判断部，其基于所述驻车线路运算部的运算结果，判断所述驻车 线路是否成立。
根据该技术方案，能够在前进的路上将驻车线路成立的位置作为后 退开始位置。因此，能够设定适当的位置而不会使后退开始位置过于远 离驻车目标。而且，由于只要驻车线路未成立就继续前进，所以不会将 驻车线路未成立的位置作为后退开始位置。
其结果，能够提供以良好的精度、且短时间对驻车的目标位置及用 于驻车的线路进行设定，从而能够减轻驻车时乘员的驾驶负担的驻车辅 助装置。
而且本发明涉及的驻车辅助装置的所述驻车线路运算部，每当所述 车辆前进规定距离就运算所述驻车线路。
根据该技术方案，每前进规定距离、即随着车辆的移动运算驻车线路，因此能够省去多余的运算。通常由于图像识别处理的处理负荷大，
因此优选能够省去不必要的运算从而能够抑制对其他处理的影响及耗电量。
而且，本发明涉及的驻车辅助装置的所述驻车线路运算部，每当所 述车辆圆弧状地移动规定角度就运算所述驻车线路。
根据该技术方案，每当圆弧状地移动规定角度、即随着车辆的移动 就运算驻车线路，因此能够省去多余的运算。通常由于图像识别处理的 处理负荷大，因此优选能够省去不必要的运算从而能够抑制对其他处理 的影响及耗电量。
而且，本发明涉及的驻车辅助装置还包括通知输出部，该通知输出 部在判断为所述驻车线路已成立的情况下，对判断结果进行通知。
通过判断结果的通知，乘员能够将车辆迅速地停车。即、乘员能够 驻车而不使车辆从驻车线路已成立的位置起长时间前进。其结果，能够 将适当的位置设定为后退开始位置。而且，由于乘员在接到通知之前使 车辆继续前进，因此也不会将驻车线路未成立的位置作为后退开始位置 进行驻车。
而且，本发明涉及的驻车辅助装置的所述驻车基准是驻车位划分线。
通常在划分了车位的停车场中，路面铺设沥青等而呈深色，划分车 位的驻车位划分线是白色或黄色等浅色。因此，反差大，通过图像识别 容易确定驻车位划分线。通过将这样的驻车位划分线作为驻车基准进行 检测，能够设定准确的驻车目标位置。
而且，本发明涉及的驻车辅助装置，其特征在于，还包括图像输 出部，其向设置于车厢内的显示装置输出输出图像，该输出图像包含至
少重叠了所述驻车目标位置的所述车辆的周边情景；指示输入接受部， 其接受所述车辆的乘员的指示。
并且，所述驻车目标设定部，基于所述乘员根据所述输出图像输入 的指示调整所述驻车目标位置。基于从图像数据检测出的驻车基准而设定的驻车目标位置，存在偏 差的情况。而且，即使设定了准确的位置，也有时希望考虑欲将驾驶席 侧或助手席侧较大地空出等乘员的意图。根据该特征，基于乘员的指示 输入调整驻车目标位置。因此，能够进行正确且便利性高的驻车辅助。
而且，本发明涉及的驻车辅助装置还包括引导部，该引导部沿着所 述驻车线路从所述后退开始位置到所述驻车目标位置，引导所述车辆的 后退。
与前进的驾驶操作相比，后退的驾驶操作一方要求较高的技能。因 此，通过引导部对从后退开始位置到驻车目标位置的后退进行引导，则 能够很大地减轻乘员的驾驶操作的负担。而且，从后退开始位置到驻车 目标位置的驻车线路在设定了后退开始位置的时间点就已经运算完成， 因此能够迅速地实施引导。
进而，本发明涉及的驻车辅助装置的所述引导部通过自动转向控制 对所述车辆进行引导。
若通过自动转向控制实施后退的引导，则能够很大地减轻乘员的驾 驶操作的负担。如上所述，从后退开始位置到驻车目标位置的驻车线路， 在设定了后退开始位置的时间点就已经运算完成，因此能够通过自动转 向迅速地实施引导。


图l是示意地表示本发明的驻车辅助装置的构成例的框图。
图2表示安装了图1的驻车辅助装置的车辆的一例的立体图。
图3是示意地表示图2的车辆的构成例的框图。
图4是表示入库驻车时的车辆的驾驶操作的一例的说明图。
图5是表示纵列驻车时的车辆的驾驶操作的一例的说明图。
图6是表示纵列驻车时的车辆的驾驶操作的其他例子的说明图。
图7是表示通用坐标系与摄像头坐标系的关系的说明图。图8是表示摄像头坐标系与拍摄图像的图像坐标系的关系的说明图。
图9是"^兌明运算自身车辆的移动量的原理的图。
图10是表示本发明的驻车辅助装置的后退开始位置之前的动作的 流程图。
图11是表示本发明的驻车辅助装置的从后退开始位置到驻车目标 位置的第一实施方式涉及的动作的流程图。
图12是表示本发明的驻车辅助装置的从后退开始位置到驻车目标 位置的第二实施方式涉及的动作的流程图。
图13是表示车位划分线的检测方法的一例的流程图。
图14是表示根据由摄像头拍摄到的图像检测车位划分线的方法的 说明图。
图15是表示运算驻车线路的例子的说明图。
图16是表示对有效地成立的驻车线路进行了运算的情况的例子的 说明图。
图17是表示调整驻车目标的画面的一例的说明图。
图18是表示利用了引导线的驻车引导的一例的说明图(1)。
图19是表示利用了引导线的驻车引导的一例的说明图(2)。
具体实施例方式
[第一实施方式
下面，参照

本发明的实施方式。
在第一实施方式中，以实施自动转向控制的驻车辅助装置为例进行 说明。
图l是示意地表示本发明的驻车辅助装置的构成例的框图。图2表示安装了本实施方式的驻车辅助装置的车辆30的一例的立 体图。
图3是示意地表示车辆30的构成例的框图。
本发明的驻车辅助装置以ECU20为核心而构成。ECU20具备进行 信息的输入输出的输入输出接口 19，并且具备处理经由该输入输出接口 19得到的信息的微处理器、DSP ( digital signal processor:数字信号处 理器)。当然，也可将输入输出接口 19的一部分或全部包括在这样的处 理器中。ECU20由将该处理器作为核心部件的电子电路构成。而且， ECU20具有由内置于该处理器、或作为别的部件被安装的存储器及寄 存器等构成的存储部。
在驾驶席的附近、副仪表板的上部位置上作为显示装置具备在显示 面上形成触摸面板21T的监视器21。监视器21是具备背光的液晶式显 示装置。当然，也可是等离子体显示型或CRT型显示装置。而且，触 摸面板21T是能够将通过手指等触摸的接触位置作为定位数据输出的 感压式或静电式的指示输入装置。监视器21还具有扬声器22，也可在 门的内侧等其他地方设置扬声器22。另外，优选将监视器21兼作导航 系统的显示装置来使用。
在本实施方式中，作为拍摄车辆周边情景的摄影装置，在车辆30 的后端具备摄像头23。摄像头23是内置CCD( Charge Coupled Device: 电荷耦合器件)和CIS ( CMOS image sensor: CMOS图樣传感器)等 摄像元件的数字摄像头，将已拍摄的信息作为时间序列的动画信息实时 地输出。摄像头23是广角摄像头，可在水平方向上确保120 140度的 视角。而且，摄像头23被设置为对光轴具有约30度左右的俯角，能够 对车辆30后方8m左右以内的区域进行拍摄。
另外，在本实施方式中，作为摄影装置例示了对车辆30的后方进 行摄影的摄像头23，但也可仅安装对车辆30的前方进行摄影的摄像头， 或安装对前方及后方进行拍摄的两台摄像头。而且，也可在车辆30的 前方的侧面使用两台摄像头对侧前方进行摄影。
车辆30具有用于检测车辆30的驾驶操作及移动状态 各种传感器。
在方向盘39的操作系统中具备转向传感器24，能够测量方向盘39 的操作方向及操作量。方向盘39与将旋转操作力传递给前轮38f并进 行辅助转向的动力转向装置34联动。因此，根据转向传感器24的测量 结果，能够检测出车辆30的转向方向及转向量。
换挡杆32的操作系统中具有挡位传感器25，能够判别换挡位置。 换挡杆32与具有对来自配置于车体前方的引擎31的动力进行变速并向 车轮38传递的变矩器以及CVT ( continuously variable transmission; 无极变速器)等的变速机构35联动。在本实施方式的情况下，挡位传 感器25也可由检测换挡杆32是否被设置于倒档的开关构成。
控制行驶速度的油门踏板36的操作系统具备加速传感器26，能够 测量操作量。而且，为了使车轮38的制动装置37产生制动力而被操作 的制动踏板33的操作系统中具备制动传感器27，能够检测有无制动操 作。
而且，作为车辆30的移动距离传感器具有对前车轮及后车轮的至 少一方车轮38的旋转量进行测量的旋转传感器28。当然，在变速机构 35中也能够根据驱动系统测量的旋转量检测车辆30的移动量。
如图1所示，本发明的驻车辅助装置具有以下各功能部图像接受 部l、驻车基准检测部2、驻车目标设定部3、驻车线路运算部4、驻车 线路判断部5、引导部6、通知输出部7、图像输出部8、指示输入接受 部9。各功能部通过输入输出接口 19连接。
该连接，例如通过微处理器内外的数据总线、地址总线、控制总线 等进行。而且，这些功能部由以微处理器等为核心的ECU20构成。如 上所述，ECU20具有存储器、盘装置(硬盘、光/磁/光磁盘等)等存储 单元。例如，对于使微处理器执行的程序、对所取得的图像数据进行临 时存储等，可以使用内外的存储器及盘装置。这种连接是公知的，在此 为了使说明变得简单，省略详细的图示及说明。
首先对这些各功能部的概要进行说明。在这之前对本发明的驻车辅 助装置辅助的驾驶操作进行说明。本发明的驻车辅助装置具有对使车辆30停到规定的驻车位置的驾驶操作进行辅助的功能。在此，该驾驶操作 是指前进到后退开始位置，从该后退开始位置向驻车目标位置后退。
例如，如图4所示，以已经停放的其他车辆50之间的空着的驻车 位E为规定的驻车位置，进行入库驻车时的驾驶操作相当于上述驾驶操 作。在本例中，为了明示规定的驻车位置图示了其他的车辆50,当然也 可没有其他车辆50。另外，驻车位E是由在路面上标记的车位划分线 W(驻车位划分线)规定的车位。图中的虚线所示的矩形G是设定于驻 车位E内的驻车目标区域(后述的图5及图6也相同)。
在图4中，点Q是车辆30中的规定位置，点P1 点P4表示该点 Q的水平面上(路面上)的位置(坐标点)(后述的图5及图6也相同)。 在本例的入库驻车中，车辆30按照由向右向(第一转向方向)的转向 引起的圓弧状的移动轨迹沿前进线路KF前进到后退开始位置Pl。然 后，从后退开始位置Pl按照由向左向(第二转向方向)的转向引起的 圆弧状的移动轨迹沿驻车线路KB (Kl、 K2、 K3)后退，停到规定的 驻车位E (规定的驻车位置)。在此，示出了将驻车线路KB进一步分 成直线后退的线路K1和线路K3、以及按照由向左向(第二转向方向) 的转向引起的圆弧状的移动轨迹而后退的线路K2三种的例子。但这是 一例，驻车线路KB的轨迹能够适当地设定。
而且，图5所示的纵列驻车也相当于上述驾驶操作。在本例的纵列 驻车中，车辆30伴随由向右向(第一转向方向)的转向引起的圆弧状 的移动轨迹沿前进线路KF前进到后退开始位置P1。然后，从后退开始 位置Pl按照由向左方向(第二转向方向)的转向引起的圆弧状的移动 轨迹沿驻车线路KB (K 1、 K2、 K3)后退，停到规定的驻车位E (规 定的驻车位置)。与上述的入库驻车相同，在此，示出了进一步将驻车 线路KB分为三种的例子。具体而言，是按照由向左方向(第二转向方 向)的转向引起的圆弧状的移动轨迹而后退的线路Kl、按照由向右方 向(第三转向方向)的转向引起的圆弧状的移动轨迹而后退的线路K2、 以及直线后退线路K3。但这也只是一例，驻车线路KB的轨迹能够适 当地设定。
在此，若作为第一转向方向将转向角设定为中立位置，则成为如图 6所示的纵列驻车。即、相对于规定的驻车位E按照由向右方向(第一转向方向)的转向角零度的移动轨迹沿前进线路KF前进到后退开始位 置。然后，从后退开始位置Pl按照由向左方向(第二转向方向)的转 向引起的圆弧状的移动轨迹沿驻车线路KB (K 1、 K2、 K3)后退，停 到规定的驻车位E (规定的驻车位置)。
下面，对上述的各功能部的概要进行说明。
图像接受部l是取得图像数据的功能部，该图像数据是通过安装于 车辆30的摄像头23 (摄影装置)拍摄的车辆30的周边情景。
驻车基准检测部2是根据已取得的图像数据检测对车辆30进行驻 车时的驻车基准(例如车位划分线W)的功能部。驻车基准检测部2 在到达后退开始位置Pl之前的前进中，反复地检测驻车基准。
驻车目标设定部3是根据检测出的车位划分线W (驻车基准)设定 与规定的驻车位置(例如，驻车位E )对应的驻车目标位置P4 (驻车目 标区域G)的功能部。驻车目标设定部3在到达后退开始位置P1之前 的前进中，根据检测出的驻车基准反复地设定驻车目标位置P4。
驻车线路运算部4是在到达后退开始位置P1之前的前进中，根据 基于反复地检测出的驻车基准反复地设定的驻车目标位置P4，逐次地 运算从车辆30的当前位置Q到驻车目标位置P4的驻车线樹线路KB ) 的功能部。即、是在按照圆弧状的移动轨迹而在前进线路KF上前进的 期间，逐次运算从车辆30的当前位置Q到驻车目标位置P4的驻车线 路(线路KB)的功能部。
驻车线路判断部5是基于驻车线路运算部4的运算结果判断驻车线 路KB是否成立的功能部。
引导部6是沿驻车线路KB从后退开始位置Pl到驻车目标位置P4， 引导车辆30的后退的功能部。该引导包括伴随自动转向控制的引导、 以及利用语音及利用在监视器21上显示的引导线对由乘员进行的转向 进行辅助的引导。在本第一实施方式中，对伴随自动控制的控制进行说 明。对于利用引导线的引导在第二实施方式中进行^L明。
通知输出部7是在车辆30沿前进线路KF前进的期间，判断为驻车线路KB已成立的情况下，通过通知单元将该判断结果通知给乘员的功 能部。在此，通知单元例如是指监视器21及扬声器22。
图像输出部8是在摄像头23拍摄到的情景中重叠驻车位E及驻车 目标区域G并输出到监视器21的功能部。引导部6在使用引导线对车 辆30的后退进行引导的情况下，也重叠输出必要的引导线。
指示输入接受部9是接受来自乘员的驻车辅助开始、结束、驻车方 式(入库、纵列、左右的驻车方向)、驻车目标区域G的调整指示等指 示输入的功能部。乘员能够使用触摸面板21T及其他的开关等进行指示 输入。在本实施方式中，例示了利用触摸面板21T进行指示输入的情况。
下面对由上述概略说明的功能部执行的驻车辅助的具体的处理进 行详述。如上所述，在本实施方式中，通过基于由摄像头23拍摄到的 图像数据的图像处理，检测成为驻车基准的车位划分线W，设定驻车目 标位置P4。而且，通过各种传感器，运算车辆30的移动量。在对各功 能部进行详细说明之前，首先对基本的图像处理原理、及移动量运算的 原理进行说明。
图7是表示通用坐标系(X、 Y、 Z)与摄像头坐标系(x、 y、 z) 的关系的说明图，图8是表示摄像头坐标系(x、 y、 z)与拍摄图像的 图像坐标系(u、 v)的关系的说明图。通用坐标系、摄像头坐标系在此 都是右手坐标系。右手坐标系是指以打开右手的拇指、食指、中指的顺 序确定X (x)、 Y (y)、 Z (z)的方式。
如图7所示，车辆30及三维空间上的任意的点M (例如，驻车目 标位置P4等)配置于由将原点设定为O的通用坐标系(X、 Y、 Z)定 义的坐标中。在此，设通用坐标系的Y-Z平面为水平的路面。摄像头 23在通用坐标系中具有并进成分及旋转成分地被配置。即、存在相对于 通用坐标系具有并进成分及旋转成分，将原点设定为o的摄像头坐标系 (x、 y、 z)。
图像坐标系(u、 v)处于如图8所示的垂直于与摄像头坐标系的光 轴一致的z轴的面n (图像面)上的、在z轴方向上从摄像头坐标的原 点o离开摄像头的焦距f的二维坐标系。图像面与光轴的交点是图像中心OI。而且，理想的情况下是图像坐标系的u轴与摄像头坐标系的x 轴平行，v轴与摄像头坐标系的y轴平行。图中的c()是u轴与v轴所成 的角度，在此，图像坐标系(u、 v)是正交坐标系，小为90度。
如图7所示，通用坐标系中的点M的坐标为(Xi、 Yi、 Zi)时，点 M用下面的行列式(1)表示，其齐次坐才示(homogeneous coordinates ) 用下面的行列式(2)表示。
(数式l)
(数式2)
通过透视摄像头矩阵P将点M如下面式(3)那样坐标变换(透视
变换、视点变换)为图像面n上的点m。
(数式3)
S=pH ，，'《3》
若将与摄像头坐标系和通用坐标系之间的位置相关的变换矩阵设
为并进矢量T (并进成分)、将与姿势相关的变换矩阵设为旋转矩阵R (旋转成分)、将包含摄像头23的焦距f及u-v轴的角度(|)等内部参数 的矩阵设为摄像头矩阵A，则透视摄像头矩阵P用下面式(4)表示。
(数式4)
師a则 ，豕'《4)
透视摄像头矩阵P由多个行列构成，但通常用作为3行4列的矩阵
^1
l一
rf2
J一式的射影摄像头矩阵进行表示。
通用坐标系的点M通过上述式(3)变换成图像坐标系的点m，并 通过图像输出部8与由摄像头23拍摄的摄影图像重叠。因此，例如， 通用坐标系中的驻车目标位置P4的坐标能够根据图像坐标系的点进行 引导。
接着，对车辆30的移动量的运算原理进行说明。图9是说明运算 车辆30的移动量的原理的图。在此，对车辆30位于图7所示的通用坐 标系的Y-Z平面(路面)的情况进行说明。
转向传感器24及旋转传感器28等移动状态检测传感器的检测结 果，通过输入输出接口被输入到ECU20的各功能部。详细内容将在后 述，驻车线路运算部4及引导部6根据移动状态检测传感器的检测结果 对车辆30的位置变化(移动量)进行运算。
图9中例示了按照半径C的圆弧状的移动轨迹后退的车辆30。图中 的虚线表示半径为C的圆弧。图9 (b)是图9 (a)的局部放大图。半 径C是根据转向传感器24的检测结果求出的。图中的ds表示在微小的 时间中车辆30的微小移动距离。微小移动距离ds是根据旋转传感器28 的检测结果求出的。然后，使用下述的式(5) ~ (7)运算车辆30的 移动量。另外，式中的a是累积移动距离。
(数式5)
下面，适当地利用图10 ~图12所示的流程图对本发明的驻车辅助 装置的动作进行^L明。在此，以图4所示将车辆30入库驻车到空着的 驻车位E的情况为例进行说明。另外，图10是表示后退开始位置Pl之前的动作的流程图，图11 及图12是表示从后退开始位置Pl到驻车目标位置P4的动作的流程图。
而且，图ll表示本第一实施方式中的动作，图12表示后述的第二 实施方式中的动作。
(驻车辅助开始指示步骤)
乘员在能够确认驻车位E的状态的任意位置(图4的位置P0)使 车辆30临时停止。然后，操作车厢内的开关(未图示)及触摸面板21T 等，使驻车辅助装置开始执行驻车辅助功能。来自作为指示输入部的开 关及触摸面板21T的输入通过输入输出接口 19被输入到指示输入接受 部9。指示输入接受部9根据已输入的指示使ECU20的各功能部开始 执行驻车辅助功能。
在此，驻车辅助功能的开始指示包括包含了入库驻车、纵列驻车、 还是向左右哪个方向驻车等驻车方式的指示。另外，驻车辅助装置在根 据临时停止后的车辆30的举动能够自动地判断驻车方式的情况下，也 可不指示驻车方式。在此，举动是指通过转向传感器24检测出的方向 盘39的转向方向及转向角等。例如，若从前进开始规定期间内的转向 角是规定的角度以上，就能够判定为图4所示的入库驻车、如果小于规 定的角度(包括直线前进)的话，就能够判断为图5及图6所示的纵列 驻车。
(图像接受步骤(图10#1))
若使车辆30临时停止、开始执行驻车辅助功能，则乘员松开制动 踏板使车辆30前进。
图像接受部1取得由安装于车辆30的摄像头23对车辆30的周边 情景进行拍摄而得到的图像数据。图像接受部1对从摄像头23输出的 图像信号实施同步分离及A/D变换，例如1秒钟取得30帧的图像数据。 当然，根据驻车基准检测部2等的图像处理能力，能够变更按时间序列 取得的图像数据的规定间隔，如l秒钟为15帧或60帧等。已取得的图 像数据被存储于ECU20的帧存储器(未图示)，适时地读出并使用。(移动量运算步骤(图10#2))
接受图像数据，并且运算从上次接受的图像数据中的车辆30的位 置到当前位置的车辆的移动量。该运算也可设置作为功能部的移动量运 算部来执行，也可在驻车线路运算部4及引导部6中执行。
另外，在使用图9进行了说明的上述中，例示了根据转向传感器 24及旋转传感器28的检测结果运算移动量的原理。但是，也可图像识 别图7及图8所示那样的特定的点M (m)，根据图像上的点M (m) 的移动运算车辆30的移动量。
(驻车基准检测步骤(图10#3))
驻车基准检测部2在本实施方式中将车位划分线W作为驻车基准 进行检测。图13是表示车位划分线W的检测方法的一例的流程图。图
明图。若车辆30从图4所示的车辆位置P0按照由向右方向的转向引起 的圆弧状移动轨迹前进，则驻车位E逐渐进入摄像头23的视野。摄像 头23是具备广角透镜的摄像头，拍摄的图像周边是失真的。而且，图 像接受部1取得的图像数据是对三维空间进行了拍摄的图像数据。因此， 驻车基准检测部2首先实施校正失真的变换处理及变换为上述那样的二 维坐标的变换处理(图13#31)。
通常，在这种划分了车位的停车场中，路面因铺设沥青等而呈深色、 车位划分线W是白色或黄色等浅色。因此，驻车基准检测部2利用图 像数据中的亮度差检测车位划分线W。具体而言，使加入公知的高斯滤 波器(Gaussian filter)的例如扫描3 x 3的空间滤波器进行扫描，对该 图像数据进行微分。根据该微分抽出例如亮度由暗向亮变化的正边。由 亮向暗变化的负边(图13#32)。
另外，此时，不必在图像数据的全部区域内进行微分处理，只要仅 对规定的关注区域ROI (region of interest)进行微分处理即可。驻车 位E的大小被规定在某程度的范围内。而且，使车辆30临时停车的位 置P0也控制在因个人差异导致的大致的一定的范围内。而且，从临时 停车的位置P0向后退开始位置Pl的线路也控制在某程度的范围内。因此，如图14所示，将被推定为驻车位E存在的范围作为关注区域ROI 进行以微分处理为首的识别处理。
而且，如上所述，在车辆30从图4所示的车辆位置P0按照向右方 向的转向引起的圆弧状移动轨迹前进的情况下，驻车位E逐渐进入摄像 头23的视野。因此，在车辆30开始前进后不久的期间驻车位E没有进 入摄像头23的视野。在这样的状态下，进行车位划分线W的识别是浪 费的，因此优选在车辆30前进一定距离后或移动了一定角度的圆弧状 之后，开始识别处理。
另外，在本实施方式中，作为驻车基准虽例示了车位划分线W但 并不限于此，也可将表示驻车位E的杆及壁面等作为驻车基准。
接着，驻车基准检测部2设定规定的阈值并进行将微分结果进行二 值化的二值化处理(图13的#33)。如上所述，路面因铺设沥青而呈深 色、车位划分线W是白色或黄色等浅色，车位划分线W的边缘的亮度 梯度大。因此，由于微分结果的绝对值也大，所以通过实施二值化处理 可排除车位划分线W以外的噪声成分的微分结果。从被二值化的点(像 素)中抽出构成车位划分线W的边缘的候补点(#34)。通常车位划分 线W是直线，因此候补点具有某程度的规则性地存在。于是，根据该 规则性对候补点进行直线适用处理(#35)。直线适用处理例如可使用 >知的霍夫(Hough)变换。
这样一来，检测出例如图4所示的车位划分线Wl及W2。然后， 搜索被检测出的车位划分线Wl及W2的端点，通过连接这些端点彼此 能够检测出驻车位E。 一般驻车位E是长方形，因此此时也可通过验证 直角度来提高驻车位E的检测精度。通过以上的处理取得车位划分线W 的位置、长度、端点、驻车位E的位置、大小等驻车位参数(#36)。
另外，车辆30前进之后等，在驻车位E未存在于摄像头23的摄像 范围内的情况下，既不检测车位划分线W，也不取得驻车位参数。
(驻车目标设定步骤(图10#4))
若如上述那样取得针对驻车位E的驻车位参数，则驻车目标设定部 3对该驻车位E设定驻车目标。具体而言，如图15所示，在驻车位E内的车辆30容放区域中设定驻车目标区域G。然后，根据该驻车目标 区域G内的车辆30的基准位置Q，设定成为驻车基准的驻车目标位置 P4。
(驻车线路运算步骤(图10#5))
驻车路线运算部4根据移动量运算步骤# 2中运算出的移动量及驻 车目标位置P4运算从后退开始位置Pl开始后退的驻车线路KB。即、 将车辆30的当前的位置作为虚拟后退开始位置Pl，运算到驻车目标位 置P4的虚拟驻车线路KB。作为由规定的转向量对车辆30进行了转向 时的线路运算该驻车线路KB。在图15所示的例子中，车辆30的前进 量及转向量不够充分，驻车线路KB没有到达驻车目标位置P4。
(驻车线路判断步骤(图10#6))
驻车线路判断部5判断驻车线路运算部4运算的虚拟驻车线路KB 是否到达驻车目标位置P4，即虚拟驻车线路KB是否有效地成立。如 图15所示，在驻车线路KB没有成立的情况下，再次返回处理#1，针 对新取得的图像数据进行驻车目标区域G及驻车目标位置P4的设定。 然后，再次进行虚拟驻车线路KB的运算，判断该驻车线路KB是否有 效地成立。这样，逐次反复地进行运算，判断驻车线路KB的成立。图 16是表示了反复运算的结果、到驻车目标位置P4的驻车线路KB已成 立的情况的例子。
该反复运算作为一例在规定的时间间隔被实施，但并不限于时间间 隔，也可车辆30每前进规定的距离就被实施。若车辆30的位置没有变 化的话则将进行无谓的运算，但若每前进规定的距离就进行运算，则车 辆30的位置将确实发生变化。而且，基于同样的理由，也可每当车辆 30圆弧状移动规定角度，即每当车辆30的姿势变换就进行运算。
(通知步骤(图10#7))
若驻车线路KB成立，则通知输出部7通过扬声器22通知驻车线 路KB的成立。
扬声器22例如发出"驻车线路已经成立。请停车并将换挡杆变更到倒档"这样的信息。
在此，乘员将换挡杆变更到倒档，则挡位传感器25检测换挡位置， 转移到下面的步骤(图10#8)。若变更换挡位置，则再次回到处理#1， 使用新取得的图像数据反复#1~ #8的处理。但是，若根据制动传感器 27及旋转传感器28的检测结果检测到车辆30的停车，则也可不进行再 计算待机到变更换挡位置之前。
(调整步骤(图10#9~ #12))
若换挡杆32变更到倒档，则图像输出部8例如如图17所示，在摄 像头23的摄影图像上重叠表示驻车目标区域G的显示(例如黄色)并 在监视器21上进行显示(#9)。利用该驻车目标区域G的显示能够可 调整地构成驻车目标位置P4。如图17所示，监视器21的画面上重叠 地显示调整用的箭头H。该箭头H与触摸面板21T联动，基于乘员的 操作指示能够调整驻车目标区域G的位置。除了车位划分线W的识别 精度不充分的情况以外，为了提高乘员的便利性该调整功能是合适的。 例如，能够根据想将驾驶席侧或助手席侧较大地空出、为卸下货物想将 后部较大地空出等要求，调整驻车目标区域G的位置。
在能够调整驻车目标区域G(驻车目标位置P4)的情况下，判断是 否有调整的指示(#10)，在有指示的情况下进行驻车线路KB的再计 算及判断(#11)。
具体而言，乘员的操作指示通过输入输出接口 19被传递到图像输 出部8及驻车目标设定部3。图像输出部8根据操作指示变更画面显示。 此时，为了明示正在变更中，优选使表示驻车目标区域G的显示为不同 的显示，例如黄色的闪烁及红色照明等。驻车目标设定部3根据驻车目 标区域G的变更来变更驻车目标位置P4。驻车线路运算部4运算到已 变更的驻车目标位置P4的驻车线路KB,驻车线路判断部5判断已再 计算的驻车线路KB是否有效地成立。在此，在驻车线路KB有效地成 立的情况下，表示驻车目标区域G的显示再次成为黄色照明。在驻车线 路KB不成立的情况下，进一步进行不同的显示，在例如进行红色的闪 烁等的同时还通过语音进行通知。进行该通知时，包含促使车辆30进 一步前进那样的信息。另外，图10中为了简化，所以针对驻车目标区域G的显示的变更、 及驻车线路KB的判断、判断结果的通知等处理省略了图示，仅表示了 "图像线路运算"。
(驻车目标确定步骤(图10#12))
在没有驻车目标区域G(驻车目标位置P4 )的调整的指示的情况(# 10)及调整后的驻车线路KB的成立被判断出的情况下(#11)，通知 输出部7向乘员输出催促其进行驻车目标区域G (驻车目标位置P4) 的确定输入的信息。而且，如图17所示，图像输出部8在摄影图像上 重叠用于使乘员进行确定输入的确定按钮并输出到监视器21.
通知输出部7通过扬声器22，例如发出"请确认画面上显示的驻车 位置，请按动确定按钮"这样的信息。
对确定按钮的指示输入通过触摸面板21T、输入输出接口 19被传 递到指示输入接受部9。该指示进一步被传递到引导部6，若判断为有 确定指示(#12)，则如以下说明那样通过移动部6开始后退引导(# 13 )。
(后退引导步骤(自动转向步骤(图ll))) 在本实施方式中，对通过自动转向实施后退引导的情况进行说明。
通过扬声器，例如发出"请松开制动踏板使车辆后退"这样的信息 以通知乘员引导开始。
乘员松开制动踏板33则车辆30基于滑移现象开始后退。引导部6 为了使车辆30沿计算出的驻车线路KB后退，基于上述的式(5) ~式 (7)，运算移动量(#14)，以运算与其相应的转向量(#15)。然后， 通过输入输出接口 19控制动力转向装置34的转向促动器(#16)。以 后，在到达驻车目标位置P4之前反复处理并14 #16。引导部6若判 断到达了驻车目标位置P4 (#17)，则控制制动装置37的制动致动器使 车辆30停止(#18)，结束驻车辅助。
另外，在图4中为了方便在驻车线路KB的中途设定了中间位置 P2、 P3，但从后退开始位置Pl到驻车目标位置P4不停止地连续地进行自动转向是没有问题的。 (第二实施方式)
在第二实施方式中，对按照驻车线路KB的后退是通过乘员的手动 转向来实施的情况进行说明。本第二实施方式在后退引导步骤不是通过 自动转向而是通过由乘员的手动转向进行的这一点与上述的第一实施 方式不同。其他则与第一实施方式相同，因此省略说明，下面仅对后退 引导步骤进行说明。
(后退引导步骤(转向辅助步骤(图12)))
在图17所示的监视器21的画面显示中，若确定驻车目标区域G(驻 车目标位置P4)的位置，则引导部6开始后退引导。图18是表示按动 了确定按钮后的监视器2的画面显示的一例的说明图。如图18所示， 通过图像输出部8在摄影图像上重叠引导线L1 L4。在本例中，引导 线Ll是用绿色表示的车宽延长线、引导线L2是用绿色表示的后方5m 的目标线、引导线L3是用绿色表示的后方3m目标线、引导线L4是用 红色表示的后方lm的注意线。另外，也可同时重叠驻车目标区域G。
乘员将这些引导线作为基准，根据从扬声器22发出的信息进行转 向，朝向驻车位E^f吏车辆30后退。
例如，最初引导部6通过扬声器22，引导"在引导线与白线接触之 前请直线后退"。
按照该引导，车辆30如图4所示沿驻车线路KB的第一线路Kl 从后退开始位置Pl后退到第一中间位置P2。
若车辆30到达第一中间位置P2则引导部6通过扬声器22，引导 "请临时停止，向左方向打满方向盘"。
车宽延长线Ll等引导线根据转向角以表示车辆30的行进方向的方 式被重叠。图19是方向盘39被操作时的监视器21的画面的一例。
引导部6若基于转向传感器24的检测结果判断为必要的转向已结 束，则引导"请松开制动，保持方向盘，在有引导之前进行直接的后退"。若按照该引导则车辆30随着由左方向(第二转向方向)的转向引 起的圆弧状移动轨迹沿驻车线路KB的第二线路K2从图4所示的第一 中间位置P2向第二中间位置P3后退。
车辆30若到达第二中间位置P2则引导部6通过扬声器22，引导 "请临时停止，将方向盘返回到中立位置"。
引导部6当根据转向传感器24的检测结果判断为必要的转向已结 束时，进行"请松开制动，参考引导线笔直后退"的引导。
若按照该引导，则车辆30沿驻车线路KB的第三线路K3从第二中 间位置P3向驻车目标位置P4后退。乘员特别是参考引导线L2 ~ L4使 车辆30后退，在所希望的位置操作制动踏板33使车辆停止。另外，上 述那样的引导部6也可通过语音引导停止位置。
在进行上述的引导期间，引导部6在车辆30到达驻车目标位置P4 之前，运算车辆30的移动量及转向量(图12#14A、 #15A)，通过引 导线显示及语音输出辅助转向(#16A)。若判断车辆30到达驻车目标 位置P4 ( #17A)，则如上述那样通过引导线L1~L4的显示及语音辅 助车辆30的停止(#18A)。若车辆30停止则结束驻车辅助。
产业上的可利用性
如以上说明的那样，根据本发明，能够提供以高精度且短时间设定 驻车的目标位置及用于驻车的线路，从而能够减轻驻车时乘员的驾驶负 担的驻车辅助装置。
权利要求
1.一种驻车辅助装置，对前进到后退开始位置，并从所述后退开始位置后退，使车辆停到规定的驻车位置的驾驶操作进行辅助，其特征在于，包括图像接受部，其取得由安装于所述车辆的摄影装置对所述车辆的周边情景进行拍摄而得到的图像数据；驻车基准检测部，其基于所述图像数据检测对所述车辆进行驻车时的驻车基准；驻车目标设定部，其基于所述驻车基准设定与所述规定的驻车位置对应的驻车目标位置；驻车线路运算部，其在到所述后退开始位置之前的前进过程中，根据基于反复检测出的所述驻车基准而反复设定的所述驻车目标位置，逐次运算从所述车辆的当前位置到所述驻车目标位置的驻车线路；以及驻车线路判断部，其基于所述驻车线路运算部的运算结果，判断所述驻车线路是否成立。
2. 根据权利要求l所述的驻车辅助装置，其特征在于， 所述驻车线路运算部，在所述车辆每前进规定距离时就运算所述驻车线路。
3. 根据权利要求l所述的驻车辅助装置，其特征在于， 所述驻车线路运算部，每当所述车辆圆弧状地移动规定角度时就运算所述驻车线路。
4. 根据权利要求1~3中任一项所述的驻车辅助装置，其特征在于， 还包括通知输出部，该通知输出部在判断为所述驻车线路已成立的情况 下，对判断结果进行通知。
5. 根据权利要求1 ~4中任一项所述的驻车辅助装置，其特征在于， 所述驻车基准是驻车位划分线。
6. 根据权利要求1~5中任一项所述的驻车辅助装置，其特征在于， 还包括图像输出部，其向设置于车厢内的显示装置输出输出图像，该输出 图像包含至少重叠了所述驻车目标位置的所述车辆的周边情景； 指示输入接受部，其接受所述车辆的乘员的指示。 所述驻车目标设定部，基于所述乘员根据所述输出图像输入的指示 调整所述驻车目标位置。
7. 根据权利要求1~6中任一项所述的驻车辅助装置，其特征在于，还包括引导部，该引导部沿着所述驻车线路从所述后退开始位置到所述 驻车目标位置，引导所述车辆的后退。
8.根据权利要求7所述的驻车辅助装置，其特征在于， 所述引导部通过自动转向控制对所述车辆进行引导。
全文摘要
本发明提供一种能够以良好的精度、且短时间对驻车的目标位置及用于驻车的线路进行设定，从而能够减轻驻车时乘员的驾驶负担的驻车辅助装置。驻车辅助装置对前进到后退开始位置(P1)，并从后退开始位置(P1)后退从而向规定的驻车位置(E)使车辆(30)进行驻车的驾驶操作进行如下的辅助。驻车目标设定部基于根据已摄影的车辆(30)的周边情景的图像数据而检测出的驻车基准(W1、W2)，设定与规定的驻车位置(E)对应的驻车目标位置(P4)。驻车线路运算部，在沿前进线路(KF)的前进中，逐次运算从车辆(30)的现在位置到驻车目标位置(P4)的驻车线路(KB)。驻车线路判断部，其基于驻车线路运算部的运算结果，判断驻车线路(KB)是否成立。
文档编号B60W10/184GK101641241SQ20088000879
公开日2010年2月3日 申请日期2008年5月14日 优先权日2007年5月16日
发明者田中优 申请人:爱信精机株式会社