停车辅助装置的制作方法

本公开中的实施例涉及一种停车辅助装置。

背景技术：

为了辅助停车而安装在车辆上的停车辅助装置是已知的。例如，停车辅助装置检测诸如其它停泊车辆的障碍物并且确定在避开障碍物的同时到达目标停车位置的路线。停车辅助装置基于该路线辅助停车。

例如，在确定路线时，存在一种方法(以下称为“相关技术方法1”)，在该方法中，即使在停车辅助期间也持续检测位于目标停车位置两侧的障碍物的形状，并且如果需要则改变路线。根据该方法，可以提高路线的精确度。

此外，还存在一种方法(以下称为“相关技术方法2”)，在该方法中，利用超声波声波定位仪(或超声波声呐，ultrasonicsonar)检测在目标停车位置侧面(以下称为“内侧表面”)的障碍物的侧表面，并且进一步地，利用在包括由相机持续捕捉的内侧表面的图像中的图像(在该图像中，内侧表面邻近于中心)来确定障碍物的内侧表面的位置。根据该方法，可以在停车辅助之前以高精度确定目标停车位置。

日本专利no.5469663和jp2010-267115a是相关技术的示例。

然而，在相关技术方法1中，即使在停车辅助期间车辆进入目标停车位置之后，路线仍改变。因此，存在延迟识别正确的目标停车位置的问题，因而，由于向前及向后的转向而引起在停车时花费时间。

另外，在相关技术方法2中，在一些情况下，基于成像的采样速率或主车辆的速度，不存在内侧表面在中心附近被拍摄的图像。因此，存在目标停车位置的误差增大的问题。

技术实现要素：

一实施方式提供一种辅助停车的停车辅助装置，其包括：停车位候补检测部，其在搭载有所述停车辅助装置的主车辆(hostvehicle)行驶时，基于到侧方障碍物的距离数据，推测每一障碍物的位置，由此检测出位于侧方的停车位候补；图像选择部，当检测出所述停车位候补时，其从所拍摄到的所述主车辆周围的拍摄图像中，选择两张以上反映了与所述停车位候补相邻的障碍物的内侧侧面的拍摄图像，所述内侧是指该障碍物的靠所述停车位候补的一侧；立体图像处理部，其对所选择的两张以上的拍摄图像进行立体图像处理，算出该障碍物的三维点群；位置确定部，其基于算出的所述三维点群，确定该障碍物的靠所述停车位候补侧的位置；停车位校正部，其基于所确定的该障碍物的靠所述停车位候补侧的位置，校正所述停车位候补的位置。根据这样的配置，例如对两张以上反映了与停车位候补相邻的障碍物的内侧侧面的拍摄图像进行立体图像处理，算出该障碍物的三维点群，由此能够较早地确定且精确地确定停车位候补位置(停车目标位置)。

在另一实施方式的停车辅助装置中，还包括：停车位判断部，其判断所校正的所述停车位候补的入口部分的宽度是否在第一阈值以上；车辆引导部，当判断为该宽度在第一阈值以上时，向所校正的所述停车位候补的位置引导所述主车辆；在所述停车位候补的两侧存在所述相邻的障碍物的情况下，对各个所述相邻的障碍物进行并完成所述图像选择部的处理、所述立体图像处理部的处理、所述位置确定部的处理、所述停车位校正部的处理时，所述停车位判断部判断所校正的所述停车位候补的入口部分的宽度是否在第一阈值以上，当判断为该宽度在第一阈值以上时，所述车辆引导部向所校正的所述停车位候补的位置引导所述主车辆。根据这样的配置，例如只要能够取得两张以上反映了在停车位候补两侧与之相邻的各个障碍物的内侧侧面的拍摄图像，在引导车辆前就能够精确地确定停车位候补的位置(停车目标位置)。

在另一实施方式的停车辅助装置中，在所述停车位候补的两侧存在所述相邻的障碍物的情况下，由于所述图像选择部未完成对位于一侧的所述相邻的障碍物的两张以上所述拍摄图像的选择而没有执行所述立体图像处理部的处理和所述位置确定部的处理时，所述停车位校正部基于确定了所述停车位候补侧位置的位于另一侧的所述相邻的障碍物的位置，校正所述停车位候补的位置，所述停车位判断部判断所校正的所述停车位候补的入口部分的宽度是否在大于所述第一阈值的第二阈值以上，当判断为该宽度在所述第二阈值以上时，所述车辆引导部向所校正的所述停车位候补的位置开始引导所述主车辆，之后，所述图像选择部取得反映了两张以上所述位于一侧的相邻的障碍物的所述内侧侧面的拍摄图像时，对所述位于一侧的相邻的障碍物进行所述立体图像处理部的处理、所述位置确定部的处理、所述停车位校正部的处理，更新所述停车位候补的位置，所述车辆引导部向更新的所述停车位候补的位置引导所述主车辆。根据这样的配置，例如，即使在夜晚等较暗的环境中不能对两个相邻的障碍物中的一障碍物取得两张以上反映了内侧侧面的拍摄图像的情况下，在开始引导车辆后，只要是并排后退停车，就由尾灯或者倒车灯照射该障碍物，因此能够取得两张以上反映了内侧侧面的拍摄图像，在主车辆进入停车位候补之前，基于该两张以上的拍摄图像，能够更新停车位候补的位置。

在另一实施方式的停车辅助装置中，所述立体图像处理部从所选择的两张以上拍摄图像中的每一张拍摄图像中抽出所述障碍物及其附近的图像，并对抽出的该图像进行立体图像处理，算出所述障碍物的三维点群。根据这样的配置，例如图像处理量少，并且整体处理时间缩短。

在另一实施方式的停车辅助装置中，在所述停车位候补的入口部分的宽度在第一预定值以上时，所述图像选择部在所述主车辆周围的拍摄图像中反映了所述相邻的障碍物的所述内侧侧面的拍摄图像中的所述内侧侧面的面积大的拍摄图像中选择两张拍摄图像，在所述停车位候补的入口部分的宽度小于第一预定值时，所述图像选择部在所述主车辆周围的拍摄图像中反映了所述相邻的障碍物的所述内侧侧面的拍摄图像中选择所有的所述内侧侧面的面积在第二预定值以上的拍摄图像。根据这样的配置，例如在停车位候补的入口部分的宽度狭窄时，不限定于两张，而是取得更多的反映了相邻的障碍物的内侧侧面的拍摄图像，由此能够精确地确定停车位候补的位置(停车目标位置)。

附图说明

根据参照附图考虑的以下详细描述，本公开的前述的和附加的特点以及特征变得更加显而易见，其中：

图1是示出看到实施例中的车辆的乘员舱的一部分的状态的示例的透视图；

图2是示出实施例中的车辆的示例的平面图(俯视图)；

图3是示出从车辆后侧看到的实施例中的车辆的仪表盘的示例的图；

图4是示出实施例中的停车辅助系统的配置的示例的框图；

图5是示出实施例中的ecu的示例的功能配置框图；

图6是示出实施例中的总体处理的示例的流程图；

图7是示出实施例中的利用声呐数据的停车位候补检测处理的示例的流程图；

图8a和图8b是描述图7中的处理的图；

图9是示出实施例中的用于选择相邻的障碍物的内侧表面被拍摄到的图像的处理的示例的流程图；

图10a至图10c是描述图9中的处理的图；

图11是示出实施例中的立体图像处理中的障碍物位点检测处理的示例的流程图；

图12a和图12b是描述图11中的处理的图；

图13是示出实施例中的用于整合障碍物位点并建模的处理的示例的流程图；

图14a和图14b是描述图13中的处理的图；

图15a和图15b是描述用于校正停车位候补的位置的处理的图；以及

图16a和16b是示出实施例中的显示停车位候补的状况的示例的屏幕。

具体实施方式

下文中，将公开本公开的实施例的示例。实施例中的配置以及由下文描述的配置所带来的动作、结果及效果仅仅是示例。本公开还可以通过除了在下文公开的实施例中的配置以外的配置实现，并且可以获得基于基本配置的各种效果和衍生效果中的至少一种。

在本实施例中，车辆1(主车辆)可以是例如驱动源是内燃发动机(未示出)的机动车，即内燃发动机车辆；可以是驱动源是电动马达(未示出)的机动车，即电动车辆或燃料电池车辆等；可以是驱动源是内燃发动机与电动马达的混合车辆；或可以是具有其他驱动源的车辆。此外，车辆1可以安装各种变速器，或可以安装诸如驱动内燃发动机和电动马达所需的系统或组件的各种装置。另外，可以以不同方式设置与车辆1的车轮3的驱动相关的装置、方法、数量、布局。

图1是示出了看到实施例中的车辆1的乘员舱的一部分的状态的示例的透视图。图2是示出了实施例中的车辆1的示例的平面图(俯视图)。如图1所示，车体2配置了使用者(未示出)坐在其中的乘员舱2a。在乘员舱2a中，以面对作为使用者的驾驶员的座位2b的状态设置转向部4、加速操作部5、制动操作部6以及档位操作部7。

例如，转向部4是自仪表盘24突出的方向盘。加速操作部5是例如位于驾驶员的脚下方的加速器踏板。制动操作部6是例如位于驾驶员的脚下方的制动踏板。档位操作部7是例如自中心控制台突出的变速杆。转向部4、加速操作部5、制动操作部6以及档位操作部7不限于上述内容。

此外，作为显示输出单元的显示装置8以及作为声音输出单元的声音输出装置9设置在乘员舱2a中。显示装置8是例如液晶显示器(lcd)或有机电致发光显示器(oled)等。声音输出装置9是例如扬声器。另外，诸如触摸面板的操作输入单元10覆盖显示装置8。

使用者可以经由操作输入单元10在视觉上识别出显示在显示装置8的显示屏上的图像。此外，使用者可以通过诸如用手指在显示在显示装置8的显示屏上的图像对应的位置上进行触摸、摁压或滑动操作输入单元10的操作来执行操作输入。显示装置8、声音输出装置9以及操作输入单元10沿车辆宽度方向(即水平方向)设置在位于仪表盘24上且在中心部分处的监控装置11上。

监控装置11可以包括诸如开关、转盘(dial)、操纵杆(joystick)或按钮等的操作输入单元(未示出)。此外，声音输出装置(未示出)可以设置在乘员舱2a中的与监控装置11的位置不同的另一位置处，或者，声音可以从与监控装置11的声音输出装置9不同的另一个声音输出装置输出。例如，监控装置11还用作导航系统或音频系统。不同于显示装置8的显示装置12设置在乘员舱2a中。

图3是示出了从车辆1后侧观看的实施例中的车辆1的仪表盘24的示例的图。如图3所示，例如，显示装置12设置在仪表盘24的仪表板部25上，且在速度显示部25a与旋转速度显示部25b之间大致位于仪表板部25的中心处。显示装置12的屏幕的尺寸小于显示装置8的屏幕8a的尺寸。指示与车辆1的停车辅助相关的信息的图像主要显示在该显示装置12上。显示在显示装置12上的信息量可以小于显示在显示装置8上的信息量。例如，显示装置12是lcd或oeld。显示在显示装置8上的信息可以显示在显示装置12上。

此外，如图1和图2所示，车辆1是四轮车辆，并且包括右前和左前轮3f以及右后和左后轮3r。配置这四个车轮3中的任何车辆以进行转向。

图4是示出了实施例中的停车辅助系统100的配置的示例的框图。如图4所示，车辆1包括停车辅助系统100。停车辅助系统100是停车辅助装置的示例。

如图4所示，车辆1包括使至少两个车轮3转向的转向系统13。转向系统13包括致动器13a和扭矩传感器13b。

转向系统13由电子控制单元(ecu)14等进行电控制，并操作致动器13a。转向系统13是例如电动助力转向系统或线控转向(sbw)系统等。转向系统13通过使用致动器13a向转向部4增加扭矩(即辅助扭矩)来补充转向力，或使用致动器13a使车轮3转向。在这种情况下，致动器13a使两个车轮3转向。另外，扭矩传感器13b检测例如从驾驶员赋予转向部4的扭矩。

此外，如图2所示，例如，四个成像单元15a至15d作为多个成像单元15设置在车体2上。成像单元15是其中合并了诸如电荷耦合器件(ccd)或cmos图像传感器(cis)的成像元件的数字相机。成像单元15可以以预定的帧速率输出移动的图片数据。成像单元15分别包括广角镜头和鱼眼镜头，并且可以在水平方向上使例如140°至190°的范围成像。成像单元15顺序地围绕车体2的外部环境成像，并输出图像作为拍摄到的图像数据，其中外部环境包括车辆1可以在其上移动的路面或车辆1可以在其中停泊的区域。

例如，成像单元15a设置在位于车体2的后侧的端部2e处，并设置在处于后备箱的门2h的下侧的壁部上。例如，成像单元15b设置在位于车体2的右侧的端部2f处，并设置在右侧后视镜2g上。例如，成像单元15c设置在位于前侧(即，沿车体2的纵向方向的前侧)的端部2c处，并设置在前保险杆等上。例如，成像单元15d设置在位于左侧(即，沿车体2的车辆宽度方向的左侧)的端部2d处，并设置在作为左侧突出部的后视镜2g上。

ecu14基于从成像单元15获得的图像数据执行计算处理和图像处理，并且例如估计停车场中的障碍物(其它车辆或杆等)的位置(包括尺寸，同下文)，检测停车位候补，然后校正停车位候补的位置，并引导车辆1至停车位候补的校正位置(将在下文对细节进行描述)。

此外，如图1和图2所示，例如，四个距离测量单元16a至16d以及八个距离测量单元17a至17h作为多个距离测量单元16和17设置在车体2上。距离测量单元16和17是例如发出超声波并拍摄反射波的声呐设备(超声波检测器)。ecu14可以识别例如位于车辆1周围的障碍物等的目标的存在，并且可以根据检测结果(声呐数据)通过距离测量单元16和17测量到目标的距离。距离测量单元17用于检测诸如距离相对短的目标，距离测量单元16用于检测诸如距离相对较长的目标。此外，距离测量单元17用于检测车辆1前方和后方的目标，距离测量单元16用于检测车辆1侧面的目标。

另外，如图4所示，在停车辅助系统100中，除了ecu14、监控装置11、转向系统13以及距离测量单元16和17以外，制动系统18、转向角传感器19、加速器传感器20、档位传感器21以及车轮速度传感器22经由作为通信线路的车内网络23彼此电连接。

车内网络23被配置为例如控制器区域网络(can)。ecu14可以通过经由车内网络23发送控制信号来控制转向系统13、制动系统18等。此外，ecu14可以通过扭矩传感器13b、制动传感器18b、转向角传感器19、距离测量单元16、距离测量单元17、加速器传感器20、档位传感器21、车轮速度传感器22等接收检测结果，或经由车内网络23接收操作输入单元10的操作信号。

ecu14包括例如中央处理单元(cpu)14a、只读存储器(rom)14b、随机存取存储器(ram)14c、显示控制单元14d、声音控制单元14e、固态驱动器(ssd)14f(闪存)等。

cpu14a可以读出安装并存储在诸如rom14b的非易失性存储装置中的程序，并可以根据程序执行计算处理。ram14c暂时储存用于cpu14a的计算的各种数据。此外，在ecu14中的计算处理项中，显示控制单元14d主要利用通过成像单元15获取的图像数据执行图像处理并执行将显示在显示装置8上的图像数据的合成。此外，在ecu14中的计算处理项中，声音控制单元14e主要执行从声音输出装置9输出的声音数据的处理。另外，ssd14f是可重写非易失性存储单元，并且即便在将ecu14断电的情况下，仍可以存储数据。cpu14a、rom14b、ram14c等被集成在一个封装件中。另外，ecu14可配置为使用其他逻辑操作处理器或逻辑电路例如数字信号处理器(dsp)等来代替cpu14a。另外。可以提供硬盘驱动器(hdd)、电可擦除可编程只读存储器(eeprom)等来代替ssd14f，ssd14f、hdd以及eeprom可以与ecu14分开设置。另外，操作单元14g被配置为包括例如按钮或开关，并且当驾驶员等执行与停车辅助相关的操作时输出操作信号。

例如，制动系统18是抑制制动器锁定的防抱死制动系统(abs)、抑制车辆1在转弯时打滑的电子稳定性控制系统(esc)、增强制动力(执行制动辅助)的电子制动系统、线控制动器(bbw)等。

制动系统18经由致动器18a向车轮3(车辆1)给予制动力。此外，制动系统18可以检测制动器的锁定、车辆3的空转或由左右车轮3之间的转速差所引起的打滑的征兆，并且可以执行各种控制。例如，制动传感器18b是检测制动操作部6的可移动部分的位置的传感器。制动传感器18b可以检测作为制动操作部6的可移动部分的制动踏板的位置。制动传感器18b包括位移传感器。

转向角传感器19是检测诸如方向盘的转向部4的转向量的传感器。利用诸如霍尔元件等配置转向角传感器19。ecu14获取由驾驶员做出的转向部4的转向量，或者在自动转向的情况下从转向角传感器19获取每个车轮3的转向量，并执行各种控制。转向角传感器19检测包括在转向部4中的旋转部件的旋转角。转向角传感器19是角度传感器的示例。

例如，加速器传感器20是检测加速操作部5的可移动部分的位置的传感器。加速器传感器20可以检测作为可移动部分的加速器踏板的位置。加速器传感器20包括位移传感器。

例如，档位传感器21是检测档位操作部7的可移动部分的位置的传感器。档位传感器21可以检测作为档位操作部7的可移动部分的杆、臂、按钮等的位置。档位传感器21可以包括位移传感器或可以配置为切换器。

车轮速度传感器22是检测车轮3每单位时间的旋转量或旋转数的传感器。车轮速度传感器22输出指示所检测的旋转数的车轮速度脉冲的数量作为传感器值。例如，使用霍尔元件等配置车轮速度传感器22。ecu14基于从车轮速度传感器22获得的传感器值计算车辆1的移动量，并执行各种控制。在一些情况下，车轮速度传感器22设置在制动系统18上。在这种情况下，ecu14经由制动系统18获取车轮速度传感器22做出的检测结果。

上述的各种传感器和致动器的配置、布置以及电连接形式仅为示例，并且可以以各种方式设置(改变)。

在本实施例中，通过联合硬件和软件(控制程序)，ecu14至少实现了作为停车辅助装置的部分功能。

图5是示出了实施例中的ecu14的示例的功能配置框图。如图5所示，ecu14用作停车位候补检测单元141、图像选择单元142、立体图像处理单元143、建模单元144、停车位校正单元145、停车位确定单元146、车辆引导单元147以及存储单元148。存储单元148存储在ecu14中用于计算的数据或在ecu14中计算出的数据。

停车位候补检测单元141基于当车辆1正在行驶时由距离测量单元16测量的到位于侧方向的障碍物的距离的数据来估计每个障碍物的位置，并且检测位于侧方向的停车位候补(细节将在下文描述)。

当检测到停车位候补时，图像选择单元142从由成像单元15拍摄到车辆1的周围环境的拍摄图像中选择拍摄到与停车位候补相邻的障碍物的内侧表面(停车位候补侧的侧表面)的两个或更多个拍摄图像。此外，在停车位候补的入口部分的宽度等于或大于第一预定值的情况下，图像选择单元142从在车辆1的周围环境被成像的拍摄图像中的拍摄到相邻的障碍物的内侧表面的拍摄图像中选择内侧表面的面积为最大和第二大的两个拍摄图像。此外，在停车位候补的入口部分的宽度小于第一预定值的情况下，图像选择单元142从在车辆1的周围环境被成像的图像中的拍摄到相邻的障碍物的内侧表面的拍摄图像中选择内侧表面的面积等于或大于第二预定值的所有拍摄图像(细节将在下文中描述)。

立体图像处理单元143对所选的两个或更多个拍摄图像执行立体图像处理，并计算障碍物的三维点群。此外，优选的是，立体图像处理单元143对于所选的两个或更多个拍摄图像中的每个提取障碍物和障碍物附近的图像，对提取的图像执行立体图像处理并计算三维点群(细节将在下文描述)。

建模单元144确定基于计算出的三维点群确定在停车位候补侧的障碍物的位置(细节将在下文中描述)。建模单元144是位置确定单元的示例。

停车位校正单元145基于确定出的在停车位候补侧的障碍物的位置来校正停车位候补的位置。

停车位确定单元146确定校正后的停车位候补的入口部分的宽度是否等于或大于第一阈值(或第二阈值)(细节将在下文描述)。

当确定出宽度(校正后的停车位候补的入口部分的宽度)等于或大于第一阈值(或第二阈值)时，车辆引导单元147引导车辆1至停车位候补的校正位置(细节将在下文中描述)。

此外，在相邻的障碍物出现在停车位候补两侧的情况下，并且当关于相邻的障碍物的图像选择单元142的处理、立体图像处理单元143的处理、建模单元144的处理以及停车位校正单元145的处理均完成时，停车位确定单元146确定校正后的停车位候补的入口部分的宽度是否等于或大于第一阈值。当确定出宽度等于或大于第一阈值时，车辆引导单元147引导车辆1至停车位候补的校正位置。

在本实施例中，使用下述两种停车位条件，它们是用于确定停车位候补是否适合作为用于车辆1的停车位。

(条件1)停车位候补的入口部分的宽度等于或大于第一阈值。

(条件2)停车位候补的入口部分的宽度等于或大于第二阈值。

此处，第二阈值是大于第一阈值的阈值。另外，第一阈值和第二阈值的适当使用将在下文中描述。

在本实施例中，使用上述的两种条件例如条件1和条件2作为停车位条件。但是，因为条件1中的第一阈值和条件2中的第二阈值不存在大的差异，所以可以使用单个条件。此外，不仅考虑停车位候补的入口部分的宽度作为停车位条件，而且还考虑诸如停车位候补的深度部分的宽度之类的其他元素作为停车位条件。

接下来，将对实施例中的停车辅助系统100的操作的示例进行描述。停车辅助系统100的操作不限于下述操作。图6是示出了实施例中的总体处理的示例的流程图。将停车位候补检测单元141至车辆引导单元147的操作的实体描述为ecu14。

如图6所示，例如，在驾驶员以低速驾驶车辆1以在平行停车场中寻找停车位的情况下，首先，ecu14执行主车辆的行驶距离的测量以及到目标的距离的测量，然后执行目标图像的获取(步骤s1)。当测量主车辆的行驶距离时，ecu14利用来自车轮速度传感器22等的检测结果执行计算，并计算车辆1的行驶距离。此外，在测量到目标的距离时，ecu14利用来自距离测量单元16和17的检测结果(声呐数据)测量到位于车辆1周围的障碍物(目标)的距离。此外，当获取目标图像时，ecu14获取由成像单元15拍摄的障碍物(目标)的图像。

接下来，停车位候补检测单元141利用声呐数据执行停车位候补检测处理(步骤s2)。将使用图7、图8a和图8b对步骤2进行描述。图7是示出了实施例中的利用声呐数据的停车位候补检测处理的示例的流程图。图8a和图8b是描述图7中的处理的图。

首先，停车位候补检测单元141使用利用声呐数据和车辆1的移动速度等的三角测量等的原理来检测障碍物位点(步骤s21)。在图8a的示例中，当车辆1在平行停车场中经过其他车辆c1和c2的前方时，停车位候补检测单元141检测障碍物位点ps。

接下来，停车位候补检测单元141基于彼此的距离将障碍物位点ps分组(步骤s22)。在图8a的示例中，将障碍物位点ps分成组1和组2。

停车位候补检测单元141估计每个障碍物的前表面(位于车辆1侧的表面)和内侧表面(步骤s23)。在图8a和图8b的示例中，在如图8a所示获取障碍物位点ps的情况下，停车位候补检测单元141还对于每个组利用与车辆1的行进方向有关的信息将前表面和内侧表面在平面图中估计为直线(线段)。因此，如图8b所示，关于与组1对应的其它车辆c1，估计前表面x1和内侧表面y1，关于与组2对应的其它车辆c2，估计前表面x2和内侧表面y2。

接下来，停车位候补检测单元141根据与每个组的前表面和内侧表面有关的信息来检测停车位候补(步骤s24)。在图8b的示例中，在内侧表面y1和内侧表面y2之间检测到停车位候补s。在此步骤24中，停车位候补检测单元141将满足条件1的区域检测为停车位候补s。

如上所述，根据步骤s2，可以检测停车位候补，但位置的精确度不高。因此，如下所述，执行位置的校正。

返回到图6，在继步骤s2之后的步骤s3中，停车位候补检测单元141确定是否存在停车位候补。在是的情况下，进程前进至步骤s4，在否的情况下，返回到步骤s1。

在步骤s4中，图像选择单元142选择相邻的障碍物的内侧表面被拍摄到的图像。将利用图9至图10c描述该步骤s4。图9是示出了实施例中的用于选择相邻的障碍物的内侧表面被拍摄到的图像的处理的示例的流程图。图10a至图10c是描述图9中的处理的图。

首先，图像选择单元142从成像单元15拍摄到车辆1的周围环境的图像中获取拍摄到相邻的障碍物的内侧表面的图像，并在每个图像的相邻障碍物的内侧表面上设置虚拟表面(内侧表面的近似表面)(步骤s41)。在图10a的示例中，拍摄到相邻的障碍物的内侧表面的图像是指关于其它车辆c1的五个图像a1至a5中的四个图像a2至a5。此外，如图10b和图10c所示，关于其它车辆c1的虚拟表面vs设置在内侧表面y1中。

接下来，图像选择单元142计算每个图像的虚拟表面的面积(步骤s42)。

接下来，图像选择单元142确定停车位候补的入口部分的宽度是否等于或大于第一预定值(步骤s43)，在是的情况下，进程前进至步骤s44，在否的情况下，前进至步骤s45。在图10c的示例中，停车位候补的入口部分的宽度是指端点p1与端点p2之间的距离d。端点p1是前表面x1与内侧表面y1的交叉点。端点p2是前表面x2与内侧表面y2之间的交叉点。

在步骤s44中，图像选择单元142从图像中选择虚拟表面的面积大的两个图像。此外，在步骤s45中，图像选择单元142从图像中选择虚拟表面的面积等于或大于第二预定值的所有图像。在下面描述的立体图像处理中，需要拍摄到内侧表面的两个或更多个图像。在步骤s44中仅选择两个图像的原因是为了减少在立体图像处理中的处理量。此外，在步骤s45中，通常选择三个或更多个图像。原因是，由于停车位候补的入口部分的宽度窄，即便立体图像处理中的处理量增加，但可以改善校正停车位候补的位置的精确度。

用于获取虚拟表面的面积的图像可以是具有失真的图像或不具有失真(本来不具有失真的图像或失真被校正后的图像)的图像中的任何一个图像。

返回到图6，在继步骤s4之后的步骤s5中，立体图像处理单元143对选择的两个或更多个拍摄图像执行立体图像处理，并计算障碍物的三维点群。将利用图11、图12a和图12b描述步骤s5。图11是示出了实施例中的立体图形处理中的障碍物位点检测处理的示例的流程图。图12a和图12b是描述图11中的处理的图。

首先，立体图像处理单元143从每个选择的图像提取声呐检测部分的图像(步骤s51)。在图12a的示例中，在图像(a1)中，提取包括虚拟表面vs1的图像f1作为关于其它车辆c1的声呐检测部分。此外，在图像(a2)中，提取包括作为声呐检测部分的虚拟表面vs2的图像f2作为关于其它车辆c1的声呐检测部分。通过执行提取，可以减少在步骤s52中执行的处理量。

接下来，立体图像处理单元143对提取的多个图像执行立体图像处理，并计算障碍物的三维点群。立体图像处理是使用拍摄到相同对象且成像角度彼此不同的两个或更多个图像基于三角测量原理来确定对象的三维坐标的图像处理技术。作为本实施例中的立体图像处理方法，例如，可以使用已知的各种方法，诸如块匹配法。

在该示例中，在图12a和图12b中，如图12b所示，作为与其它车辆c1相关的三维点群，计算三维点群g1(其它车辆c1的高位置部分)、三维点群g2(其它车辆c1的低位置部分)以及三维点群g3(路面)。

返回到图6，在继步骤s5之后的步骤s6中，建模单元144整合障碍物位点并执行建模。本实施例中的建模是指基于计算出的三维点群确定在停车位候补侧面的障碍物的位置。当建模的精确度高时，可以以高精确度确定与障碍物相邻的停车位候补的位置。详细地，在本实施例中的建模中，确定障碍物的前表面的位置和内侧表面的位置，并且它们的交叉点(平面图中的交叉点)可以被确定为端点。将使用图13、图14a和图14b对步骤s6进行描述。图13是示出了实施例中的用于整合障碍物位点和建模的处理的示例的流程图。图14a和图14b是描述图13中的处理的图。

首先，建模单元144从三维点群中去除障碍物的不必要的点(步骤s61)。不必要的点是与等于或大于预定值的虚拟表面、路面以及车辆的下部(如果障碍物是车辆)分离的点。例如，在图12b的示例中，三维点群g1、g2和g3中的三维点群g2和g3是不必要的点。此外，在图14a的(a1)所示的车辆c的示例中，区域a1的外侧是与等于或大于预定值的虚拟表面vs3分离的点。此外，在图14b的(b1)所示的六角杆q的示例中，区域a2的外侧是与等于或大于预定值的虚拟表面vs4分离的点。

接下来，建模单元144基于从其中去除了不必要的点的三维点群来估计障碍物的内侧表面(步骤s62)。在图14a的(a1)所示的车辆c的示例中，基于三维点r来估计内侧表面y3。另外，在图14b的(b1)所示的六角杆q的示例中，将通过连接五个三维点r而获取的直线估计为内侧表面。

接下来，建模单元144确定估计的内部表面的长度是否等于或大于第三预定阈值(步骤s63)，在是的情况下，进程前进至步骤s64，在否的情况下，前进至步骤s66。第三预定阈值可以被设为能够确定障碍物是车辆还是非车辆(例如，杆和交通锥标)的值。例如，在该步骤s63中，在图14a的(a1)所示的车辆c的示例中，内侧表面y3的长度等于或大于第三预定阈值，因而确定的结果为是。此外，在图14b的(b1)所示的六角杆q的示例中，内侧表面(即，通过连接五个三维点r而获取的直线)的长度小于第三预定阈值，因而确定的结果为否。

在步骤s64中，建模单元144确定出障碍物是具有侧表面的目标，并且在步骤s65中，确定在步骤s62中估计的内侧表面作为内侧表面，然后根据内侧表面与通过声呐数据估计的前表面的交叉点计算端点。例如，在图14a的(a1)和(a2)所示的车辆c的示例中，将内侧表面y3确定为内侧表面，并且根据内侧表面y3与作为通过声呐数据确定出的直线的前表面x3的交叉点计算出端点p3。

此外，在步骤s66中，建模单元144确定出障碍物是不具有侧表面的目标，并且在步骤s67中，假设直线是内侧表面，其穿过在步骤s62中估计障碍物的内侧表面的三维点中使用的三维点中的与停车位候补最近的点，并且垂直于前表面(在平面图中正交)。此外，在步骤s68中，建模单元144根据通过声呐数据估计的前表面与在步骤s67中假设的内侧表面的交叉点来计算端点。例如，在图14b的(b1)和(b2)所示的六角杆q的示例中，将直线y4假设为内侧表面，其穿过五个三维点r中的与停车位候补最近的点且垂直于前表面x4，根据内侧表面y4与前表面x4的交叉点计算端点p4。

如上所述，不论障碍物是否是车辆，可以以高精度获取用于对障碍物进行建模所需的与前表面、内侧表面和端点(其是前表面和内侧表面的交叉点)有关的每个信息。

返回到图6，在继步骤s6之后的步骤s7中，停车位校正单元145基于对其执行建模的障碍物的位置信息(前表面、内侧表面以及端点)来校正停车位候补的位置。将参照图15a和图15b对步骤s7进行描述。图15a和图15b是描述了用于校正停车位候补的位置的处理的图。基于与其它车辆c1相关的前表面x1、内侧表面y1和端点p1以及与其它车辆c2相关的前表面x2、内侧表面y2和端点p2来估计图15a中所示的未经校正的停车位候补s1。但是，误差大(与图8b的情况类似)。另一方面，基于与其它车辆c1相关的执行了建模的前表面x1n、内侧表面y1n和端点p1n以及与其它车辆c2相关的执行了建模的前表面x2n、内侧表面y2n和端点p2n来校正图15b所示的校正后的停车位候补s2。因此，误差小。

返回到图6，在继步骤s7之后的步骤s8中，停车位确定单元146基于校正后的停车位候补的位置确定是否满足停车位条件，在是的情况下，进程前进至步骤9，在否的情况下返回到步骤s1。上述条件1和条件2是停车位条件。在停车位候补的两侧存在相邻的障碍物的情况下，如果完成对在两侧的相邻的障碍物的建模(步骤s6)，则使用条件1。例如，当对在两侧的相邻的障碍物的建模未完成时，可以考虑下述情况。利用图8a中的示例，情况如下。例如，在车辆1在夜晚等的黑暗环境中在开启头灯的状态下低速行驶的情况下，因为来自头灯的光，所以可以获得拍摄到其它车辆c2的内侧表面的两个或更多个图像。但是，因为其它车辆c1的内侧表面是黑暗的，所以不能获得拍摄到其它车辆c1的内侧表面的两个或更多个图像。在这样的情况下，使用条件2作为停车位条件。

返回到图6，在步骤s9中，车辆引导单元147引导车辆1至校正后的停车位候补的位置。在这种情况下，优选的是，为驾驶员显示停车位候补。图16a和16b是示出了实施例中的显示停车位候补的情况的示例的屏幕。如图16a所示，停车位候补(停车位)显示在显示装置8的屏幕8a上。在驾驶员想要在停车位候补停车的情况下，通过驾驶员在操作输入单元10(触摸面板)上的预定操作而开始步骤s9中的车辆引导。此外，如图16b所示，停车位候补等还可以显示在显示装置12上。

例如，在步骤s9中开始车辆引导的情况下，车辆1处于自动转向模式。在自动转向模式中，驾车不需要操作转向部4，具体地，不需要操作方向盘。此外，使用缓移(即，传递的发动机驱动力)作为车辆1的向前驱动力和向后驱动力，而无需执行摁压加速器踏板的操作(即，加速操作部5的操作)。因此，驾驶员根据在显示装置8和12上的显示仅执行作为制动操作部6的制动踏板作和作为档位操作部7的变速杆的操作。在自动转向模式中，可以自动地操作作为制动操作部6的制动踏板和作为档位操作部7的变速杆。

此外，当利用图15b描述车辆引导的轨迹时，轨迹可以穿过端点p1n与端点p2n的中点并穿过内侧表面y1n与内侧表面y2n的中线。此外，在相邻的障碍物仅存在于停车位候补一侧的情况下，例如，可以参照一侧的障碍物的内侧表面和端点确定轨迹。

返回到图6，在继步骤s9之后的步骤s10中，ecu14确定在与停车位候补相邻的障碍物中是否存在未对其执行立体图像处理的障碍物，并且在是的情况下，进程前进至步骤s12，在否的情况下，进程前进至步骤s11。存在未对其执行立体图像处理的障碍物的情况是指例如如上描述的在停车位候补的两侧存在相邻的障碍物并且由于夜晚的黑暗环境而未对一侧的相邻的障碍物完全执行建模(步骤s6)的具体情况。也就是说，在许多情境下，在步骤s10中确定为否，并且进程前进至步骤s11。

在步骤s11中，车辆引导单元147确定是否完成了车辆引导，并且在是的情况下，进程结束，在否的情况下，返回到步骤s9。例如，车辆引导完成的情况是指车辆1到达停车位候补的位置的情况或驾驶员在操作输入单元10(触摸面板)上执行用于完成车辆引导的操作的情况。

在步骤s10中是的情况下，执行步骤s12至s17中的处理项。但是，步骤s12、s13、s15、s16和s17中的处理项同步骤s1、s4、s5、s6以及s7中的处理项相似，因而将省略其描述。

在步骤s14中，ecu14确定是否获得拍摄到与未执行立体图像处理的障碍物相关的内侧表面的两个或更多个图像，并且在是的情况下，进程前进至步骤s15，在否的情况下，返回到步骤s9。例如，使用图8a中的示例，在车辆1在夜晚等的黑暗环境中在开启头灯的状态下低速行驶的情况下，因为其它车辆c1的内侧表面即使由于来自头灯的光而仍未变亮，所以在一些情况下不能获得拍摄到其它车辆c1的内侧表面的两个或更多个图像。但是，由于可以获取拍摄到其它车辆c2的内侧表面的两个或更多个图像，因此执行步骤s4至s7中的与其它车辆c2相关的处理项，并且步骤s8中的确定结果变为是，且在步骤s9中执行车辆引导。在此情况下，如果停车场是平行停车场，则对车辆1执行用于向后停车的车辆引导，此时，其它车辆c1的内侧表面被车辆1的尾灯和倒车灯照亮。因此，在一些情况下，可以获得拍摄到其它车辆c1的内侧表面的两个或更多个拍摄图像。因此，对其它车辆c1执行立体图像处理，并且可以在车辆1进入停车位候补之前基于立体图像处理的结果来校正停车位候补。

如上所述，根据本实施例中的停车辅助系统100，通过对拍摄到与停车位候补相邻的障碍物的内侧表面的两个或更多个图像执行立体图像处理并且计算障碍物的三维点群，可以以高精度快速地确定停车位候补的位置(目标停车位置)。

此外，对于位于停车位候补两侧的每个相邻的障碍物，如果能够获取拍摄到内侧表面的两个或更多个拍摄图像，则可以在车辆引导之前以高精度确定停车位候补的位置(目标停车位置)。

另外，在执行立体图像处理时，可以通过从图像提取障碍物和障碍物附近的图像减少图像处理的量和整体处理时间。

此外，当处于车辆1侧面的停车位候补的宽度窄时，通过获取拍摄到相邻的障碍物的内侧表面的许多拍摄图像而不限于两个，可以进一步精确地确定停车位候补的位置(目标停车位置)。

另外，例如，在诸如夜晚的黑暗环境中，即使在不能获得拍摄到两个相邻的障碍物中之一的内侧表面的两个或更多个拍摄图像的情况下，如果在车辆引导开始之后平行向后停车，则由于障碍物被尾灯和倒车灯照亮，所以仍获得拍摄到内侧表面的两个或更多拍摄图像，因而，可以在车辆1进入停车位候补之前基于这两个或更多个拍摄图像来更新停车位候补的位置。

因此，与相关技术方法1相比，由于在车辆1进入停车位候补之前完成了停车位候补的位置的校正(向后驱动)，所以未发生向前和向后的转向等，因而在停车时不耗时。

此外，利用立体图像处理，与相关技术方法2相比，可以以高精确度指明作为障碍物的车辆的位置而与成像的采样速率无关，甚至可以以高精确度指明除了车辆以外的具有各种形状的障碍物(诸如柱或路锥)的位置。因此，可以以高精确度指明停车位候补的位置。

根据实施例的停车辅助装置是执行停车辅助的停车辅助装置。停车辅助装置包括：停车位候补检测单元，基于当其上安装有停车辅助装置的主车辆正在行驶时到位于主车辆两侧的障碍物的距离的数据来估计每个障碍物的位置，并且检测位于主车辆侧面的停车位候补；图像选择单元，当检测到停车位候补时，从由设置在主车辆上的成像单元拍摄的主车辆的周围环境被成像的图像中选择拍摄到位于停车位候补侧面的与停车位候补相邻的障碍物的内侧表面的两个或更多个拍摄图像；立体图像处理单元，对所选的两个或更多拍摄图像执行立体图像处理，并计算障碍物的三维点群；位置确定单元，基于计算出的三维点群确定在停车位候补侧的障碍物的位置；以及停车位校正单元，基于确定出的在停车位候补侧的障碍物的位置来校正停车位候补的位置。例如，根据此配置，对拍摄到与停车位候补相邻的障碍物的内侧表面的两个或更多个图像执行立体图像处理，并计算三维点群。因此，可以以高精确度快速地确定停车位候补的位置(目标停车位置)。

可以配置根据实施例的停车辅助装置，以使停车辅助装置还包括：停车位确定单元，确定校正后的停车位候补的入口部分的宽度是否等于或大于第一阈值；以及车辆引导单元，当确定出宽度等于或大于第一阈值时，引导主车辆至校正后的停车位候补的位置，其中，在停车位候补的两侧存在相邻的障碍物的情况下，且当对相邻的障碍物完全执行图像选择单元的处理、立体图像处理单元的处理、位置确定单元的处理以及停车位校正单元的处理时，停车位确定单元确定校正后的停车位候补的入口部分的宽度是否等于或大于第一阈值，当确定出宽度等于或大于第一阈值时，车辆引导单元引导主车辆至校正后的停车位候补的位置。例如，根据此配置，对于位于停车位候补两侧的每个相邻的障碍物，如果可以获取到拍摄到内侧表面的两个或更多个图像，则可以在车辆引导之前以高精确度确定停车位候补的位置(目标停车位置)。

可以如下配置根据本实施例的停车辅助装置，在位于停车位候补的两侧存在相邻的障碍物的情况下，当由于图像选择单元未完全执行两个或更多个拍摄图像的选择而未对位于一侧的相邻的障碍物执行立体图像处理单元的处理和位置确定单元的处理时，停车位校正单元基于与确定出停车位候补侧的位置的一侧不同的另一侧的相邻的障碍物的位置来校正停车位候补的位置，停车位确定单元确定校正后的停车位候补的入口部分的宽度是否等于或大于比第一阈值大的第二阈值，当确定出宽度等于或大于第二阈值时，车辆引导单元开始将主车辆引导至校正后的停车位候补的位置的操作，在开始操作后，当图像选择单元获得拍摄到在一侧相邻的障碍物的内侧表面的两个或更多个拍摄图像时，对位于一侧的相邻的障碍物执行立体图像处理单元的处理、位置确定单元的处理以及停车位校正单元的处理，并且更新停车位候补的位置，车辆引导单元引导主车辆至更新后的停车位候补的位置。例如，根据此配置，在诸如夜晚的黑暗环境中，即便在不能获取拍摄到两个相邻的障碍物中之一的内侧表面的两个或更多个拍摄图像的情况下，如果开始车辆引导之后平行向后停车，则由于障碍物被尾灯和倒车灯照亮，所以获得拍摄到内侧表面的两个或更多个拍摄图像，因此，在主车辆进入停车位候补之前，可以基于两个或更多拍摄图像来更新停车位候补的位置。

可以配置根据实施例的停车辅助装置，以使立体图像处理单元对于所选的两个或更多个拍摄图像中的每一个提取障碍物和障碍物附近的图像，对提取的图像执行立体图像处理，并计算障碍物的三维点群。例如，根据此配置，可以减少图像处理的量和整体处理时间。

可以如下配置根据本实施例的停车辅助装置，在停车位候补的入口部分的宽度等于或大于第一阈值的情况下，图像选择单元从在周围环境被成像的图像中的拍摄到相邻的障碍物的内侧表面的图像中选择内侧表面的面积是最大和第二大的两个拍摄图像，并且在停车位候补的入口部分的宽度小于第一预定值的情况下，图像选择单元从在主车辆的周围环境被成像的图像中的拍摄到相邻的障碍物的内侧表面的拍摄图像中选择内侧表面的面积等于或大于第二预定值的所有拍摄图像。例如，根据此配置，当停车位候补的入口部分的宽度窄时，通过获取拍摄到相邻的障碍物的内侧表面的许多拍摄图像而不限于两个图像，可以进一步精确地确定停车位候补的位置(目标停车位置)。

以上公开的实施例并不限制本公开的范围，其仅仅是包括在本公开的范围内的示例。此处公开的特定实施例可以是这样的实施例，其中，例如，在不脱离本公开的精神的情况下，可以在上面描述的实施例中改变、省略和添加具体用途、结构、形状、动作和效果的至少一部分。

已经在上面的说明书中描述了本发明的原理、优选的实施例以及操作模式。但是，旨在被保护的本发明不应解释为限于公开的特定实施例。而且，此处描述的实施例应当视为是说明性的而非限制性的。在不脱离本发明的精神的情况下，其他人可以做出变化和改变，并且采用等同物。因此，在此明确地旨在涵盖落在如在权利要求中限定的本发明的精神和范围内的所有这些变化、改变以及等同物。