驻车辅助装置的制作方法

本发明涉及以使车辆自动地移动至事先登记的驻车位置并停止的方式控制该车辆的驻车辅助装置。

背景技术：

专利文献1公开了基于由设置于车门的拍摄装置拍摄的拍摄图像来设定目标驻车位置，通过将车辆引导至设定的目标驻车位置来执行驻车辅助控制的驻车辅助装置(以下也称呼为“现有装置”)。现有装置构成为在探测到车门处于开状态的情况下，禁止引导车辆(即禁止驻车辅助控制)。

在打开了车门后，拍摄装置脱离正常位置，因此现有装置可能将错误的位置设定为目标驻车位置，并可能将车辆引导至该错误的位置。然而，根据现有装置的构成，记载了在正在执行驻车辅助控制的期间车门被打开的情况下禁止引导车辆，从而能够预先防止将车辆引导至错误的位置。

专利文献1：日本特开2015-074265号公报

技术实现要素：

然而，已知如下的驻车辅助装置：将从包括驻车位置的拍摄图像提取出的特征点与该驻车位置相关联地登记，之后，从包括该驻车位置的拍摄图像探测特征点，从而计算与该特征点相关联地登记的驻车位置，执行使车辆驻车于该计算出的驻车位置的驻车辅助控制。在这样的驻车辅助装置中，通过驻车辅助控制使车辆临时移动至驻车位置并处于停止状态，然后登记该驻车位置。在驻车位置(通过驻车辅助控制使车辆临时移动到的位置)偏离期望的驻车位置的情况下，许可车辆的驾驶员修正驻车位置。在由驾驶员修正了驻车位置的情况下，将修正后的驻车位置登记为登记驻车位置。

在驾驶员修正驻车位置时，存在希望在确认了预定要登记的驻车位置作为登记驻车位置是安全的(合适的)之后修正驻车位置的需求。为了确认驻车位置是安全的，驾驶员期望能够打开车辆的车门来实际确认车外的环境。然而，根据现有装置，在驻车辅助控制的执行期间打开了车门的情况下，该控制被禁止。因此，在应用了现有装置的构成的上述驻车辅助装置中，如果驾驶员为了修正驻车位置而打开车门，则在该时间点驻车辅助控制被禁止，因此驻车位置的修正作业被中断。为了不使驻车位置的修正作业中断，驾驶员必须在不打开车门的情况下修正驻车位置，在该情况下，无法充分地确认预定要登记的驻车位置作为登记驻车位置是安全的，因此可能无法将驻车位置登记为期望的位置。

本发明是为了应对上述课题而作出的。即，本发明的目的之一是提供能够减少执行将车辆驻车于与登记驻车位置不同的错误位置的驻车辅助控制的可能性，并将驻车位置登记为期望的位置的驻车辅助装置(以下也称为“本发明装置”)。

本发明装置是驻车辅助装置，具备：

拍摄装置(21)，能够拍摄车辆(sv)的周围；

控制装置(10)，能够执行包括登记模式的控制和驻车辅助模式的控制的驻车辅助控制；以及

车门开闭传感器(101)，探测所述车辆(sv)的车门是否处于开状态，

在该驻车辅助装置中，

所述登记模式的控制包括：

驻车位置设定处理，所述车辆(sv)的驾驶员将驻车位置(ppark)暂定地设定于预定要登记驻车位置的登记预定区域(pl)；以及

驻车位置修正处理，在所述车辆(sv)停止于所述驻车位置(ppark)的状态下，许可驾驶员修正所述驻车位置(ppark)，将修正后的驻车位置与已经从包括所述登记预定区域(pl)的拍摄图像提取出的特征点(f(fe、fi、fp))相关联地登记为登记驻车位置(ppark_reg)，

所述驻车辅助模式的控制包括：

驻车辅助处理，从包括所述登记驻车位置(ppark_reg)的拍摄图像探测所述特征点(f)，从而计算所述登记驻车位置(ppark_reg)，执行使所述车辆(sv)自动地驻车于该计算出的登记驻车位置(ppark_reg)的控制和辅助所述车辆(sv)的驻车的控制之中的任意控制，

所述控制装置(10)构成为：

在正在执行所述驻车辅助模式的控制的情况下，在基于所述车门开闭传感器(101)判定为所述车门从闭状态变为了开状态的时间点，终止该驻车辅助模式的控制，

在正在执行所述登记模式的控制之中的所述驻车位置修正处理的情况下，即使判定为所述车门从闭状态变为了开状态，也继续该驻车位置修正处理。

根据该构成，即使在正在执行登记模式的控制之中的驻车位置修正处理时车门被打开，该驻车位置修正处理也不会被中止而是继续。因此，驾驶员能够在打开车门并实际确认了车外的环境之后(具体而言，确认预定要登记的驻车位置作为登记驻车位置是安全的之后)修正驻车位置。因此，能够将驻车位置登记为期望的位置。除此之外，根据该构成，在正在执行驻车辅助模式的控制时车门被打开的情况下，在该打开的时间点，驻车辅助模式的控制中止。因此，即使在拍摄装置设置于车门的情况下，也能够减少由于打开车门从而拍摄装置脱离正常位置所引起的、执行向与登记驻车位置不同的错误位置的驻车辅助控制的可能性。另外，在驻车位置修正处理中，修正后的驻车位置与已经从包括登记预定区域的拍摄图像提取出的特征点相关联地登记。即，先于驻车位置修正处理而提取出特征点。因此，在拍摄装置设置于车门的情况下，即使在正在执行驻车位置修正处理时车门被打开，拍摄装置脱离正常位置，也不会妨碍特征点的提取处理。

在本发明的一个方面中，

所述控制装置(10)构成为在正在执行所述登记模式的控制之中作为除了所述驻车位置修正处理之外的处理的登记模式其他处理的情况下，在判定为所述车门从闭状态变为了开状态的时间点，中止该登记模式其他处理。

根据该构成，在正在执行登记模式其他处理时车门被打开的情况下，在该打开的时间点中止登记模式其他处理。因此，在拍摄装置设置于车门的情况下，能够防止在车门被打开时从由拍摄装置拍摄的拍摄图像提取特征点这样的事情。即，在将登记驻车位置与特征点相关联地登记时，能够防止登记驻车位置与特征点的位置关系被错误地登记这样的事情的发生。因此，在驻车辅助模式的控制下，能够基于探测出的特征点高精度地计算登记驻车位置。

在上述说明中，为了帮助理解本发明，针对与后述的实施方式对应的发明的构成，在括号中添加了在该实施方式中使用的名称和/或附图标记。然而，本发明的各构成要素不限于由所述名称和/或附图标记所规定的实施方式。

附图说明

图1是本发明的实施方式所涉及的驻车辅助装置的概略构成图。

图2是示出雷达传感器、第1超声波传感器、第2超声波传感器及照相机的配置的车辆的俯视图。

图3是示意性示出前俯视图像及后俯视图像分别包括的地面上的拍摄范围的图。

图4是示意性示出右俯视图像及左俯视图像分别包括的地面上的拍摄范围的图。

图5a是示出划分前俯视图像的拍摄范围的分割区域的图。

图5b是示出划分后俯视图像的拍摄范围的分割区域的图。

图5c是示出划分右俯视图像的拍摄范围的分割区域的图。

图5d是示出划分左俯视图像的拍摄范围的分割区域的图。

图6是示出从俯视方向观察时的私人住宅的驻车场及其周边的图。

图7是示出根据拍摄图6的驻车场及其周边而得的左侧方图像数据而生成的左俯视图像的拍摄范围所包括的特征点的图。

图8是用于说明登记模式下的驻车辅助装置的工作及显示部的显示图像的图。

图9是用于说明登记模式下的驻车辅助装置的工作及显示部的显示图像的图。

图10是用于说明登记模式下的驻车辅助装置的工作及显示部的显示图像的图。

图11是示出在登记模式下暂定地设定的驻车位置与特征点的位置关系、和基于该驻车位置设定的目标路径的图。

图12a是示出在驻车位置设定操作中未进行旋转方向的位置操作的情况下的驻车位置与特征点的位置关系的图。

图12b是示出在驻车位置设定操作中进行了旋转方向的位置操作的情况下的驻车位置与特征点的位置关系的图。

图13是为了说明模板匹配而使用的图。

图14是示出在登记模式下从后俯视图像提取出的内部特征点的图。

图15是示出在登记模式下从右俯视图像、左俯视图像及前俯视图像提取出的周边特征点的图。

图16是为了说明驻车位置修正处理而使用的图。

图17是示出在驻车辅助模式下从左俯视图像探测的入口特征点的图。

图18是表示图1所示的车辆控制ecu的cpu执行的登记模式的例程的流程图。

图19是表示cpu执行的登记模式之中的驻车方法图像显示处理的例程的流程图。

图20是表示cpu执行的登记模式之中的驻车位置设定处理的例程的流程图。

图21是表示cpu执行的登记模式之中的登记用驻车辅助处理的例程的流程图。

图22是表示cpu执行的登记模式之中的驻车位置修正处理的例程的流程图。

图23是表示cpu执行的驻车辅助模式的例程的流程图。

图24是表示cpu执行的驻车辅助模式之中的基于入口特征点的驻车辅助处理的例程的流程图。

图25是表示cpu执行的驻车辅助模式之中的基于周边·内部特征点的驻车辅助处理的例程的流程图。

图26是表示cpu执行的控制继续判定处理的例程的流程图。

具体实施方式

＜构成＞

本发明的实施方式所涉及的驻车辅助装置(以下称呼为“本实施装置”)应用于车辆sv(参照图2)。如图1所示，本实施装置具备车辆控制ecu10、pvm(panoramicviewmonitor)-ecu20、引擎ecu30、制动ecu40、eps·ecu50、仪表ecu60、sbw(shift-by-wire)·ecu70、车身ecu100。另外，在以下，车辆控制ecu10也被简称为“vc(vehiclecontrol)ecu”。

各ecu包括微型计算机。微型计算机包括cpu、rom、ram、可读写的非易失性存储器及接口等。cpu通过执行rom保存的指令(程序、例程)来实现各种功能。此外，这些ecu以经由can(controllerareanetwork)能够交换数据(能够通信)的方式互相连接。因此，与特定的ecu连接的传感器(包括开关)的检测值等还被发送给其他的ecu。

vcecu与多个雷达传感器11a至11e、多个第1超声波传感器12a至12d、多个第2超声波传感器13a至13h、驻车辅助开关14及车速传感器15连接。

另外，在不需要区分多个雷达传感器11a至11e的情况下，将这些雷达传感器称呼为“雷达传感器11”。在不需要区分多个第1超声波传感器12a至12d的情况下，将这些第1超声波传感器称呼为“第1超声波传感器12”。在不需要区分多个第2超声波传感器13a至13h的情况下，将这些第2超声波传感器称呼为“第2超声波传感器13”。

雷达传感器11是使用毫米波段的电波的公知的传感器。雷达传感器11获取确定车辆sv与立体物体之间的距离、立体物体相对于车辆sv的相对速度、立体物体相对于车辆sv的相对位置(方向)等目标信息，将目标信息输出到vcecu。

雷达传感器11(11a至11e)配设于图2所示的车辆sv的预定位置，获取在以下所述的预定区域存在的立体物体的目标信息。

雷达传感器11a获取在车辆sv的右前方区域存在的立体物体的目标信息。

雷达传感器11b获取在车辆sv的前方区域存在的立体物体的目标信息。

雷达传感器11c获取在车辆sv的左前方区域存在的立体物体的目标信息。

雷达传感器11d获取在车辆sv的右后方区域存在的立体物体的目标信息。

雷达传感器11e获取在车辆sv的左后方区域存在的立体物体的目标信息。

第1超声波传感器12及第2超声波传感器13分别是使用超声波的公知的传感器。在不需要区分第1超声波传感器12与第2超声波传感器13的情况下，将这些超声波传感器统称为“超声波传感器”。

超声波传感器将超声波发送至预定的范围，接收立体物体反射的反射波，基于从超声波的发送到接收的时间检测立体物体的有无及到立体物体的距离。与第2超声波传感器13相比，第1超声波传感器12用于检测位于相对于车辆sv比较远的位置的立体物体。超声波传感器配设于图2所示的车辆sv的预定位置。

第1超声波传感器12(第1超声波传感器12a至12d)获取存在于以下所述的预定区域(检测区域)的立体物体与第1超声波传感器12之间的距离，将与该距离相关的信息发送给vcecu。

第1超声波传感器12a的检测区域是车辆sv的前部且右侧的区域。

第1超声波传感器12b的检测区域是车辆sv的前部且左侧的区域。

第1超声波传感器12c的检测区域是车辆sv的后部且右侧的区域。

第1超声波传感器12d的检测区域是车辆sv的后部且左侧的区域。

第2超声波传感器13(第2超声波传感器13a至13h)获取存在于以下所述的预定区域(检测区域)的立体物体与第2超声波传感器13之间的距离，将与该距离相关的信息发送给vcecu。

第2超声波传感器13a至13d的各个检测区域是车辆sv的前方的区域。

第2超声波传感器13e至13h的各个检测区域是车辆sv的后方的区域。

驻车辅助开关14是由驾驶员操作(按压)的开关。

车速传感器15构成为检测车辆sv的车速，输出表示车速的信号。另外，严格来说，车速传感器15是设置于车辆sv所具备的4个车轮之中的每个车轮的轮速传感器。vcecu构成为基于车速传感器15(轮速传感器)检测的各车轮的轮速来获取表示车辆sv的速度的车速。

pvm-ecu20与前照相机21a、后照相机21b、右侧照相机21c及左侧照相机21d连接。另外，在以下，在不需要区分前照相机21a、后照相机21b、右侧照相机21c及左侧照相机21d的情况下，将这些照相机统称为“照相机21”。照相机21相当于“拍摄装置”的一个例子。

如图2所示，前照相机21a设置于前保险杠fb的车辆宽度方向的大致中央部。前照相机21a的光轴朝向车辆sv的前方。

后照相机21b设置于车辆sv的后部的后行李箱rt的壁部。后照相机21b的光轴朝向车辆sv的后方。

右侧照相机21c设置于右侧的车门镜dmr。右侧照相机21c的光轴朝向车辆sv的右侧方。

左侧照相机21d设置于左侧的车门镜dml。左侧照相机21d的光轴朝向车辆sv的左侧方。

照相机21的视角为广角。因此，照相机21的拍摄范围包括各光轴的“右方、左方、下方及上方的范围”。车辆sv的整个周围被包括在4个照相机21a至21d的拍摄范围中。

照相机21在每当经过了预定时间时都拍摄与拍摄范围对应的车辆sv的周边的区域，从而获取图像信息(图像数据)。照相机21将获取的图像数据发送给pvm-ecu20及vcecu。

具体而言，前照相机21a拍摄与其拍摄范围对应的“车辆sv的前方的周边区域”。前照相机21a将通过该拍摄而获得的图像数据(以下称呼为“前方图像数据”)发送给pvm-ecu20。

后照相机21b拍摄与其拍摄范围对应的“车辆sv的后方的周边区域”。后照相机21b将通过该拍摄而获得的图像数据(以下称呼为“后方图像数据”)发送给pvm-ecu20。

右侧照相机21c拍摄与其拍摄范围对应的“车辆sv的右侧方的周边区域”。右侧照相机21c将通过该拍摄获取的图像数据(以下称呼为“右侧方图像数据”)发送给pvm-ecu20。

左侧照相机21d拍摄与其拍摄范围对应的“车辆sv的左侧方的周边区域”。左侧照相机21d将通过该拍摄获取的图像数据(以下称呼为“左侧方图像数据”)发送给pvm-ecu20。

在每当经过了预定时间时，pvm-ecu20都使用前方图像数据、后方图像数据、右侧方图像数据及左侧方图像数据来生成周边图像数据。基于周边图像数据而显示(生成)的图像被称呼为周边图像。周边图像是与车辆sv的周围的区域的至少一部分范围对应的图像，包括照相机视点图像及合成图像等。

照相机视点图像是以照相机21的各个透镜的配设位置为视点的图像。

合成图像之一是从设定于车辆sv的周围的任意位置的虚拟视点观察车辆sv的周围而得的图像(也称呼为“虚拟视点图像”)。

该虚拟视点图像的生成方法是公知的(例如参照日本特开2012-217000号公报、日本特开2016-192772号公报及日本特开2018-107754号公报等)。另外，pvm-ecu20也可以生成还将车辆图像(例如示出车辆的形状的多边形)及支持驻车动作的线等分别合成(重叠)于照相机视点图像及虚拟视点图像而成的图像。这样的图像也被称呼为周边图像。

在每当经过了预定时间时，pvm-ecu20都使用前方图像数据、后方图像数据、右侧方图像数据及左侧方图像数据分别生成前俯视图像数据、后俯视图像数据、右俯视图像数据及左俯视图像数据。

前俯视图像数据是将前方图像数据变换为从俯视方向(垂直俯视车辆sv接地的面的方向)观察时的图像而得的图像数据。

后俯视图像数据是将后方图像数据变换为从俯视方向观察时的图像而得的图像数据。

右俯视图像数据是将右侧方图像数据变换为从俯视方向观察时的图像而得的图像数据。

左俯视图像数据是将左侧方图像数据变换为从俯视方向观察时的图像而得的图像数据。

基于前俯视图像数据、后俯视图像数据、右俯视图像数据及左俯视图像数据生成的图像分别被称呼为前俯视图像、后俯视图像、右俯视图像及左俯视图像。以下，有时将前俯视图像、后俯视图像、右俯视图像及左俯视图像统称为“俯视图像”。

如图3及图4所示，前俯视图像所包括的地面上的拍摄范围81、后俯视图像所包括的地面上的拍摄范围82、右俯视图像所包括的地面上的拍摄范围83及左俯视图像所包括的地面上的拍摄范围84均具有长方形形状，其大小彼此相等。

如图3所示，拍摄范围81及拍摄范围82的在长边方向上延伸的边81e1、边81e2及边82e1、边82e2均与车辆sv的车辆宽度方向平行，在短边方向上延伸的边81e3、边81e4及边82e3、边82e4均与车辆sv的前后方向平行。以在从俯视方向观察时前照相机21a位于边81e1的大致中央的方式划定拍摄范围81。以在从俯视方向观察时后照相机21b位于边82e1的大致中央的方式划定拍摄范围82。由此，唯一地确定拍摄范围81及拍摄范围82相对于车辆sv的、在地面上的相对位置。

如图4所示，拍摄范围83及拍摄范围84的在长边方向上延伸的边83e1、边83e2及边84e1、边84e2均与车辆sv的前后方向平行，在短边方向上延伸的边83e3、边83e4及边84e3、边84e4均与车辆sv的车辆宽度方向平行。以在从俯视方向观察时右侧照相机21c位于边83e1的大致中央的方式划定拍摄范围83。以在从俯视方向观察时左侧照相机21d位于边84e1的大致中央的方式划定拍摄范围84。由此，唯一地确定拍摄范围83及拍摄范围84相对于车辆sv的、在地面上的相对位置。

vcecu构成为在每当经过了预定时间时都从pvm-ecu20获取俯视图像，能够在预定的定时(后述)，对俯视图像进行图像解析来提取特征点f。在提取特征点f时，vcecu分别将俯视图像的拍摄范围81至84划分为多个分割区域，针对每个分割区域提取预先设定的个数(后述)的特征点f。以下，参照图5a至图7，对特征点f的提取方法进行说明。

在本实施方式中，如图5a至图5d所示，各拍摄范围81至84被在其长边方向上4等分且在其短边方向上2等分，从而被划分为8个相同的分割区域。

如图5a所示，拍摄范围81被划分为分割区域81d1至分割区域81d8。

如图5b所示，拍摄范围82被划分为分割区域82d1至分割区域82d8。

如图5c所示，拍摄范围83被划分为分割区域83d1至分割区域83d8。

如图5d所示，拍摄范围84被划分为分割区域84d1至分割区域84d8。

图6示出了在从俯视方向观察时的私人住宅的驻车场pl及其周边。驻车场pl的地面90由混凝土90c和草坪90l构成。在驻车场pl与道路rd之间并排设置有多个用于堵塞侧槽的、混凝土制成的块90b。即，驻车场pl的周边的地面90由块90b构成。

图7示出了根据拍摄驻车场pl及其周边而得的左侧方图像数据生成的左俯视图像的拍摄范围84所包括的特征点f。特征点f是包括亮度的变化比较大的部分(尤其是角部、曲线部)的正方形形状的图像。特征点f的对置的1组边与各俯视图像的长边方向平行，特征点f的对置的另1组边与各俯视图像的短边方向平行。在本实施方式中，特征点f的一边的长度被设定为20像素。

如图7所示，拍摄范围84包括混凝土90c、草坪90l及块90b，在这些边界，亮度的变化变得比较大。因此，在从该左俯视图像提取特征点f时，vcecu将拍摄范围84划分为8个分割区域84d1至分割区域84d8，从各分割区域提取混凝土90c与草坪90l的边界(尤其是角部)及块90b与块90b的边界(尤其是角部)作为特征点f。另外，在其他的俯视图像中，也以同样的方法提取特征点f。

另外，vcecu先于从俯视图像提取特征点f的处理，执行对俯视图像进行图像解析来将俯视图像所包括的立体物体掩蔽的处理。vcecu构成为不从掩蔽部分提取特征点f。由此，特征点f被作为地面90的图像而提取。

pvm-ecu20还与触摸屏显示部22连接。触摸屏显示部22是具备未图示的导航装置的触摸屏式显示器。pvm-ecu20根据从vcecu发送的指令，将周边图像显示于触摸屏显示部22。

vcecu构成为能够执行驻车辅助控制。虽然稍后将详细描述，但驻车辅助控制包括登记模式的控制和驻车辅助模式的控制这两种辅助模式。在vcecu执行驻车辅助控制时，pvm-ecu20根据从vcecu发送的指令，将包括周边图像的驻车辅助图像(操作图像)显示于触摸屏显示部22。

引擎ecu30与引擎致动器31连接。引擎致动器31包括变更引擎(火花点火式或燃料喷射式内燃机)32的节流阀的开度的节流阀致动器。引擎ecu30能够通过驱动引擎致动器31，来变更引擎32产生的扭矩。引擎32产生的扭矩经由变速器(未图示)传递到驱动轮。

因此，引擎ecu30能够通过控制引擎致动器31，来控制车辆sv的驱动力。vcecu能够针对引擎ecu30发送驱动指令。引擎ecu30在接收到驱动指令后，根据该驱动指令控制引擎致动器31。因此，vcecu能够经由引擎ecu30执行后述的“驱动力自动控制”。另外，在车辆sv是混合动力车辆的情况下，引擎ecu30能够控制由作为车辆驱动源的“引擎(engine)和电动机”之中的任意一者或两者产生的车辆sv的驱动力。此外，在车辆sv是电动车的情况下，引擎ecu30能够控制由作为车辆驱动源的电动机产生的车辆sv的驱动力。

制动ecu40与制动致动器41连接。制动致动器41设置于液压回路，该液压回路位于通过制动踏板的踩踏力将液压油加压的未图示的主缸与设置于各车轮的摩擦制动机构42之间。摩擦制动机构42具备固定于车轮的制动盘42a和固定于车体的制动钳42b。

制动致动器41根据来自制动ecu40的指示调整供给至内置于制动钳42b的轮缸的液压，利用该液压使轮缸工作，从而将制动垫向制动盘42a推抵来产生摩擦制动力。因此，制动ecu40能够通过控制制动致动器41来控制车辆sv的制动力。vcecu能够针对制动ecu40发送制动指令。制动ecu40在接收了制动指令后，根据该制动指令来控制制动致动器41。因此，vcecu能够经由制动ecu40执行后述的“制动力自动控制”。

eps·ecu50是公知的电动助力转向系统的控制装置，与发动机驱动器51连接。发动机驱动器51与转舵用发动机52连接。转舵用发动机52被组装于“包括转向方向盘sw、转向轴sf及未图示的转向用齿轮机构等的转向机构”。转舵用发动机52能够通过从发动机驱动器51供给的电力来产生扭矩，通过该扭矩产生转向辅助扭矩，或者将左右转舵轮转舵。即，转舵用发动机52能够变更车辆sv的转舵角。

此外，eps·ecu50与转向角传感器53及转向扭矩传感器54连接。转向角传感器53构成为检测车辆sv的转向方向盘sw的转向角，并输出表示转向角的信号。转向扭矩传感器54构成为检测通过转向方向盘sw的操作向车辆sv的转向轴sf施加的转向扭矩，并输出表示转向扭矩的信号。

eps·ecu50通过转向扭矩传感器54检测驾驶员向转向方向盘sw输入的转向扭矩，基于该转向扭矩驱动转舵用发动机52。eps·ecu50通过该转舵用发动机52的驱动来向转向机构赋予转向扭矩(转向辅助扭矩)，由此能够辅助驾驶员的转向操作。

vcecu能够向eps·ecu50发送转向指令。eps·ecu50在接收了该转向指令后，基于该接收到的转向指令来驱动转舵用发动机52。因此，vcecu能够经由eps·ecu50自动地(即不需要驾驶员进行转向操作)变更车辆sv的转舵轮的转舵角。即，vcecu能够经由eps·ecu50执行后述的“转舵角自动控制”。

仪表ecu60与显示器61连接。显示器61是设置在驾驶席的正面的多信息显示器。显示器61除了显示车速及引擎旋转速度等的测量值之外，还显示各种信息。

sbw·ecu70与换挡位置传感器71连接。换挡位置传感器71检测作为变速操作部的可动部的换挡杆72的位置。在本实施方式中，换挡杆72的位置是驻车位置(p)、前进位置(d)及后退位置(r)。sbw·ecu70从换挡位置传感器71收取换挡杆72的位置，基于该位置控制车辆sv的未图示的变速机和/或驱动方向切换机构(即进行车辆sv的换挡控制)。

更具体而言，在换挡杆72的位置为“p”时，sbw·ecu70不向驱动轮传递驱动力，而是以将车辆sv机械式地锁定在停止位置的方式，来控制变速机和/或驱动方向切换机构。在换挡杆72的位置为“d”时，sbw·ecu70以向驱动轮传递使车辆sv前进的驱动力的方式来控制变速机和/或驱动方向切换机构。此外，在换挡杆72的位置为“r”时，sbw·ecu70以向驱动轮传递使车辆sv后退的驱动力的方式来控制变速机和/或驱动方向切换机构。

vcecu能够向sbw·ecu70发送换挡指令。sbw·ecu70在接收到换挡指令后，能够根据该换挡指令，不基于驾驶员对换挡杆72的操作，而是控制变速机和/或驱动方向切换机构，并切换换挡杆72的位置。基于从该vcecu发送的换挡指令的、变速机和/或驱动方向切换机构的控制被称呼为“换挡位置自动控制”。

车身ecu100与多个车门开闭传感器101a至101d连接。在本实施方式中，车辆sv具有4个车门。车门开闭传感器101a至101d分别设置于这4个车门。另外，在不需要区分多个车门开闭传感器101a至101d的情况下，将这些车门开闭传感器称呼为“车门开闭传感器101”。

车门开闭传感器101探测车门是否处于开状态。车门开闭传感器101在探测到车门处于开状态的情况下，产生表示该车门处于开状态的开信号。车门开闭传感器101在探测到车门处于开状态的期间，持续产生开信号。车门开闭传感器101在探测到车门处于闭状态的情况下，产生表示该车门处于闭状态的闭信号。车门开闭传感器101在探测到车门处于闭状态的期间，持续产生闭信号。车门开闭传感器101将产生的信号发送给车身ecu100。车身ecu100能够基于从哪个车门开闭传感器101a至101d接收了开信号及闭信号来确定哪个车门处于开状态。车身ecu100将从车门开闭传感器101接收的信号发送给vcecu。在从车身ecu100接收的信号从闭信号变为了开信号的情况下，vcecu判定在该变化的时间点车门从闭状态变为了开状态。

如上所述，驻车辅助控制包括登记模式的控制和驻车辅助模式的控制这两种辅助模式。以下，有时将“登记模式的控制”简称为“登记模式”，将“驻车辅助模式的控制”简称为“驻车辅助模式”。登记模式是车辆sv的驾驶员能够将“驾驶员预定要将车辆sv驻车的位置(即预定驻车位置)”作为登记驻车位置事先登记于vcecu的模式。与之相对，驻车辅助模式包括第1驻车模式和第2驻车模式这两种辅助模式。即，第1驻车模式是执行使车辆sv自动地驻车于登记驻车位置的控制或辅助使车辆sv驻车于登记驻车位置的控制的模式。第2驻车模式是基于从照相机21获取的图像信息(例如划分驻车空间的白线)、从雷达传感器11获取的目标信息(例如建筑物的墙壁及围栏)、和/或从超声波传感器获取的与到立体物体的距离相关的信息来计算驻车位置，执行使车辆sv自动地驻车于该驻车位置的控制或辅助使车辆sv驻车于该驻车位置的控制的公知的模式。在本实施方式中，对登记模式及驻车辅助模式之中的第1驻车模式进行说明。在以下，只要未特别明示，则驻车辅助模式意思是第1驻车模式。

另外，从上述说明可知，在本说明书中，驻车辅助控制包括“使车辆自动地驻车于驻车位置的控制”及“辅助使车辆驻车于驻车位置的控制”这两者。前者的控制通过由vcecu执行驱动力自动控制、制动力自动控制、转舵角自动控制及换挡位置自动控制来进行。后者的控制通过由vcecu执行上述4种自动控制之中的至少一种自动控制，由驾驶员执行其余的驾驶操作(例如换挡杆72的操作)来进行。在本实施方式中，设想vcecu执行前者的控制的情况。

在登记模式中，将车辆sv后退并能够并排驻车和/或纵排驻车的位置登记为驻车位置。在本实施方式中，并排驻车被定义为驻车辅助控制开始时的车辆sv的前后方向与车辆sv驻车于登记驻车位置时的前后方向交叉的驻车类型。纵排驻车被定义为驻车辅助控制开始时的车辆sv的前后方向与车辆sv驻车于登记驻车位置时的前后方向大致平行的驻车类型。

＜工作＞

(登记模式)

如果驾驶员在使车辆sv停止的状态下操作驻车辅助开关14，则用于执行驻车辅助控制的系统(以下称呼为“驻车辅助系统”)启动。如果在驻车位置尚未被登记的情况下驻车辅助系统启动，则vcecu首先基于图像信息、目标信息及与到立体物体的距离相关的信息等，判定能否执行驻车辅助模式之中的第2驻车模式。在判定为能够执行第2驻车模式的情况下，vcecu在触摸屏显示部22显示图8例示的显示图像g1。显示图像g1被区分为左侧区域和右侧区域。

显示图像g1的左侧区域包括合成图像g1s1及登记开始按钮g1a。合成图像g1s1是将相当于车辆sv的多边形sp重叠于从设定于车辆sv的上方的虚拟视点观察“通过第2驻车模式能够驻车的区域”而得的虚拟视点图像而成的周边图像。登记开始按钮g1a是为了使vcecu开始驻车位置的登记处理而由驾驶员触摸操作的按钮。

显示图像g1的右侧区域包括合成图像g1s2。合成图像g1s2是将多边形sp重叠于从设定于车辆sv的正上方的虚拟视点观察车辆sv的周围而得的虚拟视点图像而成的周边图像。以下，特别将虚拟视点设定于车辆sv的正上方的合成图像称呼为“合成俯视图像”。

如果显示图像g1所包括的驻车开始按钮(省略图示)被触摸操作，则开始第2驻车模式下的驻车辅助控制。

另外，实际上，显示图像g1包括用于开始第2驻车模式的各种消息、按钮及标记，但为了便于说明，省略了这些图示及说明。关于后述的其他的显示图像g2及显示图像g3等，也是同样。

另一方面，在vcecu判定为无法执行第2驻车模式的情况下，vcecu在触摸屏显示部22显示表示无法执行第2驻车模式的消息和登记开始按钮g1a(省略图示)。即，如果在驻车位置尚未被登记的情况下启动驻车辅助系统，则不论能否执行第2驻车模式，都在触摸屏显示部22显示登记开始按钮g1a。

在登记开始按钮g1a被触摸操作后，vcecu开始执行登记模式，判定能否进行基于在车辆sv的右侧区域进行并排驻车和/或纵排驻车的、驻车位置的登记和能否进行基于在车辆sv的左侧区域并排驻车和/或纵排驻车的、驻车位置的登记。以下也将“车辆sv的右侧/左侧区域”简称为“右侧/左侧区域”。

具体而言，vcecu基于图像信息、目标信息及与到立体物体的距离相关的信息，判定在车辆sv的右侧区域及左侧区域是否存在车辆sv能够并排驻车和/或纵排驻车的空间以及能否以不遭遇障碍物的方式设定用于使车辆sv移动至该空间的目标路径。以下，将该判定称为“驻车判定”。

除此之外，vcecu判定能否分别从自pvm-ecu20获取的右俯视图像及左俯视图像提取预定个数(例如12个)的特征点f。即，虽然稍后会详细描述，但在登记模式下，驻车位置被与特征点f的位置相关联地登记。因此，在无法提取特征点f的情况下，即使存在能够并排驻车和/或纵排驻车的空间且能够设定目标路径，也无法在该空间登记驻车位置。以下将该判定称呼为“特征点判定”。除此之外，还将“能够提取预定个数的特征点f”简称为“能够提取特征点f”。

在能够从右俯视图像提取特征点f的情况下，在右侧区域存在能够并排驻车和/或纵排驻车的空间且能够设定目标路径时，vcecu分别判定为能够进行基于在右侧区域并排驻车和/或纵排驻车的、驻车位置的登记。

在能够从左俯视图像提取特征点f的情况下，在左侧区域存在能够并排驻车和/或纵排驻车的空间且能够设定目标路径时，vcecu分别判定为能够进行基于在左侧区域并排驻车和/或纵排驻车的、驻车位置的登记。

在能够从右/左俯视图像提取特征点f的情况下，不论驻车判定的结果如何，vcecu都判定为无法进行驻车位置的登记。

在右侧/左侧区域不存在能够并排驻车和/或纵排驻车的空间或者即使存在也无法设定目标路径的情况下，不论特征点判定的结果如何，vcecu都判定为无法进行驻车位置的登记。

vcecu在通过驻车判定及特征点判定判定能够进行基于任意的驻车方法的、驻车位置的登记的情况下，将图9例示的显示图像g2显示于触摸屏显示部22。除此之外，vcecu将包括通过特征点判定判定为能够提取的特征点f的右和/或左俯视图像与驻车方法相关联地保存于其ram(后述)。显示图像g2包括4个驻车方法选择按钮(即，右并排驻车选择按钮g2a、右纵排驻车选择按钮g2b、左并排驻车选择按钮g2c及左纵排驻车选择按钮g2d)。

在判定为能够进行基于在右侧区域并排驻车和/或纵排驻车的、驻车位置的登记的情况下，vcecu分别将右并排驻车选择按钮g2a和/或右纵排驻车选择按钮g2b以可选择的方式显示。除此之外，vcecu将右俯视图像与向右侧区域的并排驻车和/或纵排驻车相关联地保存于其ram。

在判定为能够进行基于在左侧区域并排驻车和/或纵排驻车的、驻车位置的登记的情况下，vcecu分别将左并排驻车选择按钮g2c和/或左纵排驻车选择按钮g2d以可选择的方式显示。除此之外，vcecu将左俯视图像与向左侧区域的并排驻车和/或纵排驻车相关联地保存于其ram。

在图9的例子中，将左并排驻车选择按钮g2c及左纵排驻车选择按钮g2d以可选择的方式显示。以下，还将显示图像g2称呼为“驻车方法图像g2”。

例如，在图7的例子中，在车辆sv停止在道路rd上的预定的位置p1的状态下登记开始按钮g1a(参照图8)被触摸操作而开始登记模式，vcecu在驻车判定中判定为能够进行基于在左侧区域并排驻车及纵排驻车的、驻车位置的登记，且在特征点判定中判定为能够从左俯视图像提取特征点f的情况下(参照图7的拍摄范围84)，vcecu将该左俯视图像分别与向左侧区域的并排驻车及向左侧区域的纵排驻车相关联地保存于其ram。

另一方面，在通过驻车判定及特征点判定判定为无法进行驻车位置的登记的情况下，vcecu将表示无法进行驻车位置的登记的消息显示于触摸屏显示部22(省略图示)，并终止登记模式。

驾驶员从以可选择的方式显示的驻车方法选择按钮之中触摸操作与期望的驻车方法对应的驻车方法选择按钮g2a至g2d，从而vcecu确定使用该驻车方法进行驻车位置的登记。在以下，将“从开始登记模式，到基于驻车判定及特征点判定的判定结果将驻车方法图像g2(或表示无法登记的消息)显示于触摸屏显示部22”的一系列的处理称呼为“驻车方法图像显示处理”。在驻车方法选择按钮g2a至g2d之中的任意驻车方法选择按钮被触摸操作的时间点，驻车方法图像显示处理终止。

在驻车方法图像显示处理终止后，vcecu在触摸屏显示部22显示图10例示的显示图像g3(即，从驻车方法图像g2切换为显示图像g3)。在图10的例子中，显示在左并排驻车选择按钮g2c被触摸操作的情况下的显示图像g3。

显示图像g3在其左侧区域包括合成图像g3s。合成图像g3s是合成俯视图像。驻车位置显示框g3a叠加显示于合成图像g3s。显示图像g3在其右侧区域包括位置操作按钮g3c及设定完成按钮g3d。位置操作按钮g3c包括向上箭头、向下箭头、向左箭头、向右箭头、顺时针箭头及逆时针箭头这6个箭头按钮。

驻车位置显示框g3a是示出预定登记的驻车位置的长方形框。为了使驻车位置显示框g3a在合成图像g3s中的位置移动，由驾驶员操作位置操作按钮g3c。

如果位置操作按钮g3c所包括的向上箭头、向下箭头、向左箭头及向右箭头之中的一者被触摸操作了仅一次，则在合成图像g3s中驻车位置显示框g3a向被触摸操作的箭头的方向移动仅预定距离。如果顺时针箭头及逆时针箭头之中的一者被触摸操作了仅一次，则在合成图像g3s中驻车位置显示框g3a绕驻车位置显示框g3a的中心点向被触摸操作的箭头的旋转方向旋转仅预定角度。由此，驾驶员能够操作位置操作按钮g3c，使驻车位置显示框g3a在合成图像g3s中的位置移动至期望的位置。以下，还将该操作称呼为“驻车位置设定操作”。

设定完成按钮g3d是为了将由驻车位置显示框g3a示出的位置暂定地(后述)设定(确定)为预定登记的驻车位置ppark并开始使车辆sv自动地驻车于驻车位置ppark的控制(驻车辅助控制)而被触摸操作的按钮。即，驻车位置ppark被暂定地设定于驾驶员预定要登记驻车位置的区域(登记预定区域)。以下，还将显示图像g3称呼为“驻车位置设定图像g3”。

图11示出在设定完成按钮g3d被触摸操作时的驻车位置ppark。如果设定完成按钮g3d被触摸操作，则如图11所示，vcecu设定以驻车位置ppark的预定的位置为原点o的坐标系。然后，提取各特征点f，将其明暗信息、坐标(x，z)及角度θ保存于vcecu的ram(换言之，将提取出的各特征点f与驻车位置ppark相关联地登记)。即，如上所述，vcecu将包括通过特征点判定判定为能够提取的特征点f的右俯视图像和/或左俯视图像与驻车方法相关联地保存于其ram。vcecu通过读出其ram所保存的俯视图像，将各特征点f的明暗信息、坐标(x，z)及角度θ保存于其ram。另外，严格来说，在设定完成按钮g3d被触摸操作的时间点，清除不与到驻车位置ppark的驻车方法相关联的右俯视图像或左俯视图像。

如图11所示，x轴被以其正方向与“在车辆sv后退并驻车于驻车位置ppark的情况下(参照图15)的车辆sv的前后方向上的前方向”一致的方式设定。如图12a及图12b所示，各特征点f的角度θ被定义为x轴与针对各特征点f预先设定的基准线rl所成的角度。例如，基准线rl被以其正方向与“在车辆sv驻车于在开始驻车位置设定操作之前由驻车位置显示框g3a示出的驻车位置的情况下的车辆sv的前后方向上的前方向”一致的方式设定。图12a例示了在驻车位置设定操作中顺时针箭头及逆时针箭头未被操作的情况下的驻车位置ppark与各特征点f的位置关系，图12b例示了在驻车位置设定操作中顺时针箭头被操作并且驻车位置ppark旋转了仅角度θ1的情况下的驻车位置ppark与各特征点f的位置关系。在图12a中，各特征点f的角度θ为0°，在图12b中，各特征点f的角度θ为θ1。在本实施方式中，为了便于说明，设为θ＝0°。

在此，如图11所示，在车辆sv停止在驻车场pl附近的道路rd上的情况下，提取驻车场pl的入口处的地面90的特征点作为特征点f。因此，在以下，将在设定完成按钮g3d被触摸操作的时间点保存于vcecu的ram的特征点f称呼为“入口特征点fe”。由此，唯一地确定驻车位置ppark与入口特征点fe的位置关系。

在以下，将“从驻车方法图像显示处理终止，到许可驾驶员进行在驻车位置设定图像g3上移动驻车位置显示框g3a的位置的驻车位置设定操作，将由驻车位置显示框g3a示出的位置暂定地设定为预定登记的驻车位置ppark”的一系列的处理称呼为“驻车位置设定处理”。驻车位置设定处理在设定完成按钮g3d被触摸操作从而入口特征点fe的明暗信息、坐标(x，z)及角度θ被保存于vcecu的ram的时间点终止。

在驻车位置设定处理终止后，vcecu执行使车辆sv向暂定地设定的驻车位置ppark自动地驻车的控制(驻车辅助控制)。在驻车位置ppark(预定登记的驻车位置)被实际登记之前进行该情况下的驻车辅助控制，因此在以下也称呼为“登记用驻车辅助控制”。

除此之外，在驻车位置设定处理终止后，vcecu将登记用驻车辅助图像(省略图示)显示于触摸屏显示部22。登记用驻车辅助图像在其左侧区域包括在从车辆sv的位置观察移动方向时而得的照相机视点图像，在其右侧区域包括合成俯视图像。在照相机视点图像及合成俯视图像包括驻车位置ppark的情况下，将示出驻车位置ppark的驻车位置显示框叠加显示于这些照相机视点图像及合成俯视图像。

对登记用驻车辅助控制具体地进行说明。vcecu将使车辆sv不与障碍物接触地从当前的位置(在图11的例子中为位置p1)移动到驻车位置ppark的路径确定为目标路径rtgt。即，vcecu确定当前时间点的车辆sv的位置与驻车位置ppark的位置关系，计算(设定)从当前时间点的车辆sv的位置到驻车位置ppark的、车辆sv能够移动的目标路径rtgt。vcecu确定用于使车辆sv沿目标路径rtgt移动的“使车辆sv移动的方向(具体而言为换挡杆72的位置)、转舵角模式及速度模式”。vcecu进行根据确定的换挡杆72的位置切换换挡杆72的位置(变速机和/或驱动方向切换机构的状态)的换挡位置自动控制，之后，以按照转舵角模式及速度模式使车辆sv行驶的方式执行转舵角自动控制、驱动力自动控制及制动力自动控制。

另外，通过探测入口特征点fe来进行上述“确定当前时间点的车辆sv的位置与驻车位置ppark的位置关系”。即，在开始登记用驻车辅助控制后，vcecu在每当经过了预定时间时都通过后述的匹配处理判定从pvm-ecu20获取的俯视图像是否包括入口特征点fe。在俯视图像包括至少一个以上的入口特征点fe的情况下，vcecu判定为探测到入口特征点fe，并基于该入口特征点fe的坐标(x，z)及角度θ计算驻车位置ppark。

即，在执行登记用驻车辅助控制的期间，vcecu针对每个预定时间进行“根据基于入口特征点fe计算出的驻车位置ppark来设定目标路径rtgt，执行使车辆sv沿该目标路径rtgt移动的各种控制的处理”。在图11的例子中，认为在开始了登记用驻车辅助控制的短暂的期间，从左俯视图像探测到入口特征点fe，之后从后俯视图像探测到入口特征点fe。

另外，可能发生车辆sv沿目标路径rtgt移动，从而从哪个俯视图像都探测不到入口特征点fe的事情。在该情况下，vcecu将过去设定的目标路径rtgt之中的最新的目标路径rtgt用作在当前时间点的目标路径rtgt。

在此，参照图13对匹配处理进行说明。本实施装置通过模板匹配进行匹配处理。模板匹配是从预定范围的图像搜索与模板图像的相似度高的图像的处理。模板匹配是公知的，因此在以下，对其概要简洁地进行说明。

图13例示了将任意的某个入口特征点fe作为模板图像，在左俯视图像的拍摄范围84内进行模板匹配的情况。vcecu首先计算该入口特征点fe的明暗信息。在此，图像的明暗信息是指将“构成该图像的各像素的亮度值(lumij、i，j：图像内的位置坐标)”除以“构成该图像的全部像素的平均亮度值(lumave)”而得的值(lumid-lumave)与各像素相关联而成的信息。接下来，vcecu从左俯视图像裁出大小及形状与入口特征点fe相同的图像，计算该图像的明暗信息，计算与入口特征点fe的明暗信息的相似度。vcecu对拍摄范围84内的整个范围进行该处理。

具体而言，一边在拍摄范围84的短边方向上逐个像素地偏移一边执行“一边在拍摄范围84的长边方向上逐个像素地偏移一边计算左俯视图像的明暗信息与入口特征点fe的明暗信息的相似度的处理”。在左俯视图像内包括明暗信息的相似度为预定的相似度阈值以上的图像的情况下，vcecu判定从左俯视图像探测到了入口特征点fe。针对其他的俯视图像也通过同样的方法进行匹配处理。除此之外，在从俯视图像探测其他的特征点f(后述的内部特征点fi及周边特征点fp)时，也进行同样的匹配处理。

在登记模式下，为了提高基于特征点f的驻车位置ppark的计算精度，除了提取入口特征点fe之外，还追加提取内部特征点fi及周边特征点fp。首先，对内部特征点fi进行说明。

在使车辆sv沿目标路径rtgt移动至驻车位置ppark过程中，vcecu计算车辆sv相对于驻车位置ppark的位置推定精度。并且，在判定为该位置推定精度为预定的精度阈值以上的情况下，如图14所示，vcecu在该时间点从获取自pvm-ecu20的后俯视图像提取预定个数(在本实施方式中为12个)的特征点f。随着车辆sv的移动量的推定精度变高，车辆sv相对于驻车位置ppark的位置推定精度也变高。车辆sv的移动量的推定精度在车辆sv转弯的期间比较低，在车辆sv直行的期间比较高。在登记用驻车辅助控制开始之后车辆sv开始直行的时间点是车辆sv后退并且车辆sv的一部分进入驻车位置ppark的内部的时间点(参照图14)。因此，在车辆sv后退并且车辆sv的一部分进入驻车位置ppark的内部，结果判定为车辆sv相对于驻车位置ppark的位置推定精度变为精度阈值以上的情况下，vcecu从后俯视图像提取特征点f。

如此提取出的特征点f之中的大部分存在于驻车位置ppark的内部。因此，在以下，将在车辆sv相对于驻车位置ppark的位置推定精度变为精度阈值以上的时间点提取的特征点f称呼为“内部特征点fi”。vcecu将内部特征点fi的明暗信息、坐标(x，z)及角度θ保存于其ram。在驻车辅助模式下计算驻车位置ppark时使用内部特征点fi。即，在登记模式下，在驻车位置ppark的计算中不使用内部特征点fi。

在提取出内部特征点fi后，车辆sv后退了仅预定距离的情况下，vcecu再次提取内部特征点fi。上述预定距离例如被设定为后俯视图像不重复的距离。但是，在车辆sv后退仅预定距离之前向驻车位置ppark的驻车已完成的情况下，仅进行一次内部特征点fi的提取。

接下来，对周边特征点fp进行说明。vcecu在使车辆sv移动到驻车位置ppark后，执行制动力自动控制来使车辆sv停止，之后，通过换挡位置自动控制将换挡杆72的位置切换为“p”。由此，完成车辆sv向驻车位置ppark的驻车。在判定为车辆sv向驻车位置ppark的驻车完成的情况下，如图15所示，vcecu在该时间点分别从获取自pvm-ecu20的右俯视图像、左俯视图像及前俯视图像提取预定个数的特征点f。在本实施方式中，vcecu分别从右俯视图像及左俯视图像提取11个特征点f，从前俯视图像提取12个特征点f(在图15中，仅图示出一部分特征点f)。

如此提取的特征点f存在于驻车位置ppark的周边。因此，在以下，将在车辆sv向驻车位置ppark的驻车完成的时间点提取的特征点f称呼为“周边特征点fp”。vcecu将周边特征点fp的明暗信息、坐标(x，z)及角度θ保存于其ram。在驻车辅助模式下计算驻车位置ppark时使用周边特征点fp。即，在登记模式下，在驻车位置ppark的计算中不使用周边特征点fp。另外，在以下，有时将入口特征点fe、内部特征点fi及周边特征点fp统称为“特征点f”。

在以下，将“从驻车位置设定处理终止到登记用驻车辅助控制终止”的一系列的处理称呼为“登记用驻车辅助处理”。在车辆sv向驻车位置ppark的驻车完成后、提取出周边特征点fp并且周边特征点fp的明暗信息、坐标(x，z)及角度θ被保存于vcecu的ram的时间点，登记用驻车辅助处理终止。即，登记用驻车辅助处理是执行登记用驻车辅助控制的处理。

在登记用驻车辅助处理终止后，vcecu将驻车位置修正图像(省略图示)显示于触摸屏显示部22。驻车位置修正图像在其左侧区域包括合成俯视图像，在其右侧区域包括位置操作按钮及登记按钮。示出驻车位置ppark的驻车位置显示框叠加显示于合成俯视图像。位置操作按钮具有与位置操作按钮g3c相同的构成及功能，由驾驶员操作从而使驻车位置显示框在合成俯视图像中的位置移动。登记按钮是为了将由驻车位置显示框示出的位置确定为登记驻车位置ppark_reg并终止登记模式而触摸操作的按钮。

驾驶员能够操作位置操作按钮使驻车位置显示框的位置移动到期望的位置，从而图16所示，将驻车位置ppark(参照虚线)修正为期望的位置(即登记驻车位置ppark_reg(参照实线))。在登记按钮被触摸操作后，vcecu将表示登记驻车位置ppark_reg的登记完成的登记完成图像(省略图示)显示于触摸屏显示部22。除此之外，vcecu重新设定以登记驻车位置ppark_reg的预定位置为原点oreg的坐标系，将入口·内部·周边特征点fe、fi、fp各自的坐标及角度补正为重新设定的坐标系中的坐标(x，z)及角度θ，与明暗信息一起保存于vcecu的非易失性存储器。换言之，将这些特征点f登记于vcecu。

在以下，将“从登记用驻车辅助处理终止，到许可驾驶员进行在驻车位置修正图像上移动驻车位置显示框的位置的驻车位置修正操作，将由该驻车位置显示框示出的位置登记为登记驻车位置ppark_reg”的一系列的处理称呼为“驻车位置修正处理”。在登记按钮被触摸操作，在重新设定的坐标系中补正的坐标(x，z)及角度θ被与明暗信息一起保存于vcecu的非易失性存储器的时间点，驻车位置修正处理终止。在驻车位置修正处理终止后，登记模式终止。即，登记模式是依次执行驻车方法图像显示处理、驻车位置设定处理、登记用驻车辅助处理及驻车位置修正处理的模式。

(驻车辅助模式)

接下来，对驻车辅助模式进行说明。在以下，对于与登记模式相同的处理，存在省略其说明的情况。

如果驾驶员在使车辆sv停止的状态下操作了驻车辅助开关14，则驻车辅助系统启动。如果在登记了登记驻车位置ppark_reg的情况下驻车辅助系统启动，则与登记模式的情况同样，vcecu首先判定能否执行第2驻车模式。在判定为能够执行第2驻车模式的情况下，vcecu将显示图像g1(参照图8)显示于触摸屏显示部22。在显示图像g1所包括的驻车开始按钮(省略图示)被触摸操作后，开始基于第2驻车模式的驻车辅助控制。

在此，在登记了登记驻车位置ppark_reg的情况下，在车辆sv以预定的车速以下行驶的期间，vcecu在每当经过了预定时间时在获取的右俯视图像及左俯视图像中进行入口特征点fe的匹配处理，判定从这些图像之中的任意一方是否探测到了入口特征点fe。在驻车辅助开关14被操作的时间点探测到入口特征点fe的情况下(参照图17)，vcecu将模式按钮(省略图示)叠加显示于显示图像g1的右侧区域所包括的合成图像g1s2(图8参照)。模式按钮是用于切换第2驻车模式与驻车辅助模式(严格来说是第1驻车模式，是执行向登记驻车位置ppark_reg的驻车辅助控制的模式)的按钮。另外，图17所示的位置p2示出了与图11的位置p1不同的位置。此外，图17所示的拍摄范围84reg是在驻车位置设定处理中提取入口特征点fe时的拍摄范围。另一方面，在驻车辅助开关14被操作的时间点未探测到入口特征点fe的情况下，vcecu判定为无法进行到登记驻车位置ppark_reg的驻车辅助控制，不显示模式按钮。

在驾驶员触摸操作了模式按钮后，vcecu将驻车辅助图像(省略图示)显示于触摸屏显示部22(即，从显示图像g1切换到驻车辅助图像)。

驻车辅助图像在其左侧区域包括从车辆sv的位置观察移动方向时所得的照相机视点图像，在其右侧区域包括合成俯视图像及驻车开始按钮(省略图示)。在照相机视点图像及合成俯视图像包括登记驻车位置ppark_reg的情况下，将示出登记驻车位置ppark_reg的驻车位置显示框叠加显示于这些照相机视点图像及合成俯视图像。另外，该登记驻车位置ppark_reg是基于探测出的入口特征点fe计算出的驻车位置。在驾驶员触摸操作了驻车开始按钮后，vcecu开始作为执行使车辆sv自动地驻车于登记驻车位置ppark_reg的控制(驻车辅助控制)的模式的驻车辅助模式。

在开始了驻车辅助模式后，vcecu执行“基于入口特征点的驻车辅助处理”。该处理与登记模式中的登记用驻车辅助处理实质上相同。即，在每当经过了预定时间时，vcecu都执行“根据基于入口特征点fe计算出的登记驻车位置ppark_reg来设定目标路径rtgt，并执行使车辆sv沿该目标路径rtgt移动的各种控制的处理”。另外，在由于车辆sv沿目标路径rtgt移动，从哪个俯视图像都无法再探测到入口特征点fe的情况下，vcecu终止“基于入口特征点的驻车辅助处理”。在该情况下，vcecu将过去设定的目标路径rtgt之中最新的目标路径rtgt用作当前时间点的目标路径rtgt。

在“基于入口特征点的驻车辅助处理”终止后，vcecu执行“基于周边·内部特征点的驻车辅助处理”。在该处理中，vcecu在每当经过了预定时间时使用从pvm-ecu20获取的俯视图像(尤其是右俯视图像、左俯视图像及后俯视图像)进行匹配处理，判定是否从该俯视图像探测出了周边特征点fp和/或内部特征点fi。在探测出了周边特征点fp和/或内部特征点fi的情况下，vcecu基于探测出的周边特征点fp和/或内部特征点fi的坐标(x，z)及角度θ来计算登记驻车位置ppark_reg。vcecu基于登记驻车位置ppark_reg设定目标路径rtgt，执行使车辆sv沿该目标路径rtgt移动的各种控制。

在每当经过了预定时间时，vcecu都进行上述处理。其结果，在判定为车辆sv向登记驻车位置ppark_reg的驻车完成的情况下，vcecu终止“基于周边·内部特征点的驻车辅助处理”。

在“基于周边·内部特征点的驻车辅助处理”后，驻车辅助模式终止。即，驻车辅助模式是依次执行“基于入口特征点的驻车辅助处理”及“基于周边·内部特征点的驻车辅助处理”的模式。

(控制继续判定处理)

vcecu在执行登记模式或驻车辅助模式的期间，在每当经过了预定时间时都并行执行控制继续判定处理。具体而言，在执行“登记模式下的驻车位置修正处理以外的处理(以下也称呼为“登记模式其他处理”)”或“驻车辅助模式”的情况下在判定为车辆sv的车门从闭状态变为开状态时，vcecu在该判定时间点中止当前执行的控制(处理)。另一方面，在执行“登记模式下的驻车位置修正处理”的情况下，即使判定为车辆sv的车门从闭状态变为了开状态，vcecu也继续当前执行的驻车位置修正处理。另外，“登记模式其他处理”是指驻车方法图像显示处理、驻车位置设定处理及登记用驻车辅助处理之中的任意处理。

＜具体的工作＞

(登记模式)

在登记模式开始后，在每当经过了预定时间时，vcecu的cpu都执行图18中的由流程图示出的例程。

因此，在登记模式开始后，cpu从图18的步骤1800开始处理，依次执行步骤1900的驻车方法图像显示处理、步骤2000的驻车位置设定处理、步骤2100的登记用驻车辅助处理及步骤2200的驻车位置修正处理。

在进行到步骤1900后，cpu执行图19中的由流程图示出的例程(驻车方法图像显示处理)。cpu从图19的步骤1900开始处理并进行到步骤1905，判定(驻车判定)在右侧区域及左侧区域是否存在车辆sv能够并排驻车和/或纵排驻车的空间以及能否设定到该空间的目标路径rtgt，并判定(特征点判定)能否从右俯视图像及左俯视图像提取特征点f。

cpu在驻车判定中做出了肯定判定且在特征点判定中做出了肯定判定的情况下(s1905：是)，判定为能够进行基于任意驻车方法的驻车位置的登记，进行到步骤1910，将驻车方法图像g2显示于触摸屏显示部22。之后，cpu在驻车方法选择按钮g2a至g2d之中的任意驻车方法选择按钮被触摸操作的时间点进行到步骤1995来终止驻车方法图像显示处理，并进行到图20的步骤2000。

对此，cpu在驻车判定及特征点判定之中至少一者的判定中做出了否定判定的情况下(s1905：否)，判定为无法进行驻车位置的登记，进行到步骤s1915，在触摸屏显示部22显示表示无法进行驻车位置的登记的消息。之后，cpu进行到步骤1995来终止驻车方法图像显示处理，并终止登记模式。

在进行到步骤2000后，cpu执行图20中的由流程图示出的例程(驻车位置设定处理)。cpu从图20的步骤2000开始处理并进行到步骤2005，将驻车位置设定图像g3显示于触摸屏显示部22。之后，cpu进行到步骤2010，判定位置操作按钮g3c是否被触摸操作。在步骤2010中做出了否定判定的情况下(s2010：否)，cpu进行到步骤2020来判定设定完成按钮g3d是否被触摸操作。在步骤2020中做出了否定判定的(s2020：否)，cpu进行到步骤2095并暂时终止本例程。

重复上述处理，在步骤2010中做出了肯定判定的情况下(s2010：是)，cpu进行到步骤2015，使驻车位置显示框g3a在合成图像g3s中的位置移动。之后，cpu进行到步骤2020，判定设定完成按钮g3d是否被触摸操作。在步骤2020中做出了肯定判定的情况下(s2020：是)，cpu进行到步骤2025，将坐标系设定于驻车位置ppark，将通过步骤1905的特征点判定判定为能够提取的特征点f作为入口特征点fe，将其明暗信息、坐标(x，z)及角度θ保存于vcecu的ram。换言之，存储入口特征点fe与驻车位置ppark的位置关系。之后，cpu进行到步骤2095并终止驻车位置设定处理，进行到图21的步骤2100。

在进行到步骤2100后，cpu执行图21中的由流程图示出的例程(登记用驻车辅助处理)。cpu从图21的步骤2100开始处理并进行到步骤2105，将登记用驻车辅助图像显示于触摸屏显示部22。之后，cpu进行到步骤2110，判定后退标志的值是否为0。后退标志是表示车辆sv相对于驻车位置ppark的位置推定精度是否为精度阈值以上的标志，在为精度阈值以上的情况下后退标志的值被设定为1，在小于精度阈值的情况下后退标志的值被设定为0。

在判定后退标志的值为0的情况下(s2110：是)，cpu进行到步骤2115，判定是否检测到入口特征点fe。在做出了肯定判定的情况下(s2115：是)，cpu在步骤2120中基于入口特征点fe计算驻车位置ppark。之后，cpu进行至步骤2125，基于驻车位置ppark设定目标路径rtgt，在步骤2130中，执行用于使车辆sv沿目标路径rtgt移动的各种控制。

之后，cpu进行到步骤2135，判定车辆sv的向驻车位置ppark的驻车是否完成。在做出了否定判定的情况下(s2135：否)，cpu在步骤2140中判定车辆sv相对于驻车位置ppark的位置推定精度是否为精度阈值以上。如上所述，在车辆sv后退并且车辆sv的一部分进入驻车位置ppark的内部的时间点(换言之，在后退方向上开始直行的时间点)，位置推定精度变为精度阈值以上。因此，在车辆sv后退并且车辆sv的一部分进入驻车位置ppark的内部之前，cpu在步骤2140中做出否定判定(s2140：否)，之后，进行到步骤2195，暂时终止本例程。

作为重复上述处理从而车辆sv沿目标路径rtgt移动的结果，使用后照相机21b无法再探测到入口特征点fe的情况下，cpu在步骤2115中做出否定判定(s2115：否)。在该情况下，cpu进行到步骤s2130，执行用于使车辆sv沿在最新的周期中计算出的目标路径rtgt移动的各种控制。

之后，cpu进行步骤s2135的判定，在做出了否定判定的情况下(s2135：否)，进行步骤2140的判定。在车辆sv的一部分尚未进入驻车位置ppark的内部的情况下(换言之，车辆sv尚未在后退方向上直行的情况下)，cpu在步骤2140中做出否定判定(s2140：否)，之后，进行到步骤2195并暂时终止本例程。

重复上述处理，在步骤2140中做出了肯定判定的情况下(s2140：是)，cpu进行到步骤2145并将上述后退标志的值设定为1。之后，cpu进行到步骤2150，判定“在当前的周期中能够从后俯视图像提取的特征点f不与已经从后俯视图像提取出的特征点f重复”这一非重复条件是否成立。在步骤2140中初次做出肯定判定的情况下，由于尚未进行从后俯视图像提取特征点f的处理，因此cpu在步骤2150中进行肯定判定(s2150：是)。之后，cpu进行到步骤2155，将从在当前的周期中获取的后俯视图像提取特征点f作为内部特征点fi，将该内部特征点fi的明暗信息、坐标(x，z)及角度θ保存于vcecu的ram。换言之，存储内部特征点fi与驻车位置ppark的位置关系。之后，cpu进行到步骤2195，暂时终止本例程。

cpu重复上述处理，经过步骤2105进行步骤2110的判定。在步骤2145中后退标志的值被设定为1，因此cpu在步骤2110中做出否定判定(s2110：否)，在步骤2130中进行用于使车辆sv沿在最新的周期中计算出的目标路径rtgt移动的各种控制。在车辆sv后退并且一旦车辆sv的一部分进入驻车位置ppark的内部的情况下，在车辆sv完成在驻车位置ppark的驻车之前，车辆sv相对于驻车位置ppark的位置推定精度为精度阈值以上。因此，在步骤2130终止后，在步骤2135中做出了否定判定的情况下(s2135：否)，cpu在步骤2140中做出肯定判定(s2140：是)，经过步骤2145再次进行步骤2150的判定。在非重复条件不成立(即，在当前的周期中能够从后俯视图像提取出的特征点f与已经从后俯视图像提取出的特征点f重复)的情况下(s2150：否)，cpu进行到步骤2195并暂时终止本例程。

重复上述处理，在步骤2135中做出了肯定判定的情况下(s2135：是)，cpu进行到步骤2160，分别从在当前的周期中获取的右俯视图像、左俯视图像及前俯视图像提取特征点f作为周边特征点fp，将该周边特征点fp的明暗信息、坐标(x，z)及角度θ保存于vcecu的ram。换言之，存储周边特征点fp与驻车位置ppark的位置关系。除此之外，cpu将后退标志的值设定为0(初始化)。之后，cpu进行到步骤2195，终止登记用驻车辅助处理，进行到图22的步骤2200。

cpu在进行到步骤2200后，执行图22中的由流程图示出的例程(驻车位置修正处理)。cpu从图22的步骤2200开始处理并进行到步骤2205，将驻车位置修正图像显示于触摸屏显示部22。之后，cpu在步骤2210中判定位置操作按钮是否被触摸操作。在步骤2210做出了否定判定的情况下(s2210：否)，cpu进行到步骤2220，判定登记按钮是否被触摸操作。在步骤2220中做出了否定判定的情况下(s2220：否)，cpu进行到步骤2295并暂时终止本例程。

重复上述处理，在步骤2210中做出了肯定判定的情况下(s2210：是)，cpu进行到步骤2215，使驻车位置显示框在合成俯视图像中的位置移动。之后，cpu进行到步骤2220，判定登记按钮是否被触摸操作。在步骤2220中做出了肯定判定的情况下(s2220：是)，cpu在步骤2225中将登记完成图像显示于触摸屏显示部22并进行到步骤2230。在步骤2230中，cpu将坐标系重新设定于登记驻车位置ppark_reg，将入口·内部·周边特征点fe、fi、fp的补正后的坐标(x，z)及角度θ与明暗信息一起保存于vcecu的非易失性存储器。换言之，保存入口·内部·周边特征点fe、fi、fp与登记驻车位置ppark_reg的位置关系。之后，cpu进行到步骤2295并终止驻车位置修正处理，进行到图18的步骤1895并终止登记模式。

(驻车辅助模式)

在驻车辅助模式开始后，在每当经过了预定时间时，cpu都执行图23中的由流程图示出的例程。

因此，在驻车辅助模式的执行开始后，cpu从图23的步骤2300开始处理，依次执行步骤2400的“基于入口特征点的驻车辅助处理”及步骤2500的“基于周边·内部特征点的驻车辅助处理”。

cpu在进行到步骤2400后，执行图24中的由流程图示出的例程(基于入口特征点的驻车辅助处理)。cpu从图24的步骤2400开始处理并进行到步骤2405，将驻车辅助图像显示于触摸屏显示部22，在步骤2410中判定是否探测到入口特征点fe。在做出了肯定判定的情况下(s2410：是)，cpu在步骤2415中，基于入口特征点fe计算登记驻车位置ppark_reg。之后，cpu进行至步骤2420，基于登记驻车位置ppark_reg设定目标路径rtgt，在步骤2425中执行用于使车辆sv沿目标路径rtgt移动的各种控制。之后，cpu进行到步骤2495并暂时终止本例程。

作为重复上述处理并且车辆sv沿目标路径rtgt移动的结果，在使用后照相机21b无法再探测到入口特征点fe的情况下，cpu在步骤2410中执行否定判定(s2410：否)。在该情况下，cpu进行至步骤s2425，执行用于使车辆sv沿在最新的周期中计算出的目标路径rtgt移动的各种控制。之后，cpu进行到步骤2495并终止基于入口特征点的驻车辅助处理，进行到图25的步骤2500。

cpu在进行到步骤2500后，执行图25中的由流程图示出的例程(基于周边·内部特征点的驻车辅助处理)。cpu从图25的步骤2500开始处理并进行到步骤2505，将驻车辅助图像显示于触摸屏显示部22。之后，cpu在步骤2510中判定车辆sv是否正接近登记驻车位置ppark_reg。在换挡杆72的位置为“d”时，cpu在步骤2510中做出否定判定(s2510：否)。在该情况下，cpu进行到步骤2515，执行用于使车辆sv沿在最新的周期中计算出的目标路径rtgt移动的各种控制。之后，cpu进行到步骤2595并暂时终止本例程。

重复上述处理，在其中途换挡杆72的位置切换为“r”的情况下，cpu在步骤2510中做出肯定判定(s2510：是)，进行到步骤2520并判定是否探测到周边特征点fp和/或内部特征点fi。在否定判定的情况下(s2520：否)，cpu进行到步骤2515，执行用于使车辆sv沿在最新的周期中计算出的目标路径rtgt移动的各种控制。之后，cpu进行到步骤2595并暂时终止本例程。

重复上述处理，在步骤2520中做出了肯定判定的情况下(s2520：是)，cpu在步骤2525中基于周边特征点fp和/或内部特征点fi计算登记驻车位置ppark_reg。之后，cpu进行到步骤2530，基于登记驻车位置ppark_reg设定目标路径rtgt，在步骤2535中执行用于使车辆sv沿目标路径rtgt移动的各种控制。

之后，cpu进行到步骤2540判定车辆sv向登记驻车位置ppark_reg的驻车是否完成。在做出了否定判定的情况下(s2540：否)，cpu进行到步骤2595并暂时终止本例程。重复上述处理，在步骤2540中做出了肯定判定的情况下(s2540：是)，cpu进行到步骤2595并终止基于周边·内部特征点的驻车辅助处理，进行到图23的步骤2395并终止驻车辅助模式。

(控制继续判定处理)

在执行上述登记模式或驻车辅助模式的期间，在每当经过了预定时间时，cpu都并行执行图26中由流程图示出的例程(控制继续判定处理)。

因此，在开始了登记模式和驻车辅助模式之中的任意一个模式后，cpu从图26的步骤2600开始处理，在步骤2605中基于从车身ecu100发送的信号判定车辆sv的车门是否从闭状态变为了开状态。在做出了否定判定的情况下(s2605：否)，cpu判定车门被维持为闭状态，进行到步骤2695并暂时终止本例程。即，继续执行在当前时间点执行的控制(处理)。

对此，在步骤2605中做出了肯定判定的情况下(s2605：是)，cpu判定车门变为了开状态，进行到步骤2610。在步骤2610中，cpu判定在当前时间点执行的控制(处理)是否为“登记模式下的驻车位置修正处理”。在做出了否定判定的情况下(s2610：否)，cpu判定在当前时间点正在执行“登记模式其他处理(登记模式下的驻车位置修正处理之外的处理)”和“驻车辅助模式”之中的任意处理，进行到步骤2615，中止被判定为正在执行的该控制(处理)。之后，cpu进行到步骤2695并暂时终止本例程。此时，中止控制(处理)的主旨可以显示于触摸屏显示部22，也可以通过声音来通知。

另一方面，在步骤2610中做出了肯定判定的情况下(s2610：是)，cpu判定在当前时间点正在执行登记模式下的驻车位置修正处理，进行到步骤2695并暂时终止本例程。即，继续执行登记模式下的驻车位置修正处理。

对本实施装置的作用效果进行说明。在本实施装置中，即使在正在执行登记模式之中的驻车位置修正处理时车门被打开也不中止该驻车位置修正处理而是继续。因此，驾驶员能够在打开车门并实际确认了车外的环境后(具体而言，确认了预定登记的驻车位置作为登记驻车位置ppark_reg是安全的)，修正驻车位置ppark。因此，能够将驻车位置ppark登记在期望的位置。除此之外，根据本实施装置，在正在执行驻车辅助模式时车门被打开的情况下，在该打开的时间点驻车辅助模式被中止。因此，能够减少由于车门的打开从而照相机21脱离正常位置所引起的执行驻车于与登记驻车位置ppark_reg不同的错误位置的驻车辅助控制的可能性。另外，特征点f被先于驻车位置修正处理而提取。因此，即使在正在执行驻车位置修正处理时车门被打开导致照相机21脱离正常位置，也不会妨碍特征点f的提取处理。

除此之外，在本实施装置中，在正在执行登记模式其他处理时车门被打开的情况下，在该打开的时间点终止正在执行的处理。因此，能够防止发生在车门被打开时从基于由照相机21拍摄的拍摄图像生成的俯视图像提取特征点f这样的事情。即，能够防止在将登记驻车位置ppark_reg与特征点f相关联地登记时，错误地登记登记驻车位置ppark_reg与特征点f的位置关系这样的事情。因此，在驻车辅助模式下，能够基于探测出的特征点f高精度地计算登记驻车位置ppark_reg。

以上，对本发明的实施方式所涉及的驻车辅助装置进行了说明，但本发明不限于此，在不脱离本发明的目的的范围内能够进行各种变更。例如，本实施装置也可以构成为具备未图示的声音识别装置，还可以构成为通过基于驾驶员的声音的操作来进行通过触摸屏操作进行的操作的一部分或者全部。

标号的说明

10：车辆控制ecu；11：雷达传感器；12：第1超声波传感器；13：第2超声波传感器；14：驻车辅助开关；15：车速传感器；20：pvm-ecu；21a：前照相机；21b：后照相机；21c：右侧照相机；21d：左侧照相机；22：触摸屏显示部；30：引擎ecu；40：制动euu；50：eps·ecu；70：sbw·ecu；72：换挡杆；81：前俯视图像的拍摄范围；82：后俯视图像的拍摄范围；83：右俯视图像的拍摄范围；84：左俯视图像的拍摄范围；100：车身ecu；101：车门开闭传感器。