专利名称：驻车辅助方法及驻车辅助装置的制作方法
技术领域：
本发明涉及驻车辅助方法及驻车辅助装置。
背景技术：
一直以来，公知有一种将由车载照相机拍摄的影像显示在显示器上的车载装置。该装置从安装在车辆后端的车载照相机输入影像信号，将基于该影像信号的周边图像与引导线一同输出到配置在驾驶席附近的显示器。
另外，专利文献1记载了如下的图像处理装置，其在驻车操作时，积累从车载照相机输入的图像数据的同时，使用所积累的图像数据进行图像处理，显示俯瞰车辆周边区域的俯瞰图像。
进而，专利文献2也提出了一种不仅显示俯瞰图像，而且在俯瞰图像上重叠与当时的舵度相应的预计轨迹、和到达驻车框的目标轨迹的装置。
专利文献1日本特开2002-373327号公报专利文献2日本特开2004-114879号公报但是，在图22所示的周边图像70中，在将预计轨迹71与本车图像72重叠的情况下，虽然具有成为方向盘操作等的目标的优点，但只能看出在保持当前舵角的状态下后退(或前进)时的行进路线与驻车目标区域73的偏差，而不知道具体的方向盘操作。即，由于与进行驻车时的驾驶操作相关的信息不充分，所以驾驶者必须反复进行舵角的微调整。另一方面，如专利文献2那样，显示到达驻车框的目标轨迹的装置，为了计算从当前位置到目标位置的目标轨迹，需要由用户手动指定成为目标的驻车空间。因此，在照相机的摄影框中不能全部包含该驻车空间的情况下，由于不能进行驻车空间的指定，所以不能计算目标轨迹。
发明内容
本发明就是鉴于上述问题点而完成的，其目的是提供一种在驻车时辅助方向盘操作的驻车辅助方法和驻车辅助装置。
为了解决上述问题点，本发明之1是一种驻车辅助方法，在基于从设置于车辆的摄像装置取得的图像数据，将周边图像输出到显示单元，其特征在于，将表示向驻车目标区域开始直行的位置的直行引导标识与上述周边图像一同输出到上述显示单元。
本发明之2的是一种驻车辅助装置，被安装于车辆，其特征在于，具有图像数据取得单元，从设置于上述车辆的摄像装置取得图像数据；输出控制单元，将基于上述图像数据的周边图像输出到显示单元；和第1标识描绘单元，将表示向驻车目标区域开始直行的位置的直行引导标识与上述周边图像一同进行描绘。
本发明之3是，如本发明之2所述的驻车辅助装置，其特征在于，还具有第2标识描绘单元，将与上述车辆的舵角相应的预测轨迹标识，与上述周边图像一同进行描绘。
本发明之4是，如本发明之2或3所述的驻车辅助装置，其特征在于，还具有划线检测单元，检测将驻车目标区域进行划分的划线，上述第1标识描绘单元计算出表示上述划线的直线或与该直线平行的直线，与基于上述车辆的舵角的预计行进路线的切点，并将上述切点的位置作为直行开始位置进行描绘。
本发明之5是，如本发明之4所述的驻车辅助装置，其特征在于，上述第1标识描绘单元将表示上述划线的直线或与该直线平行的直线，与上述预计行进路线的上述切点作为基端，显示与上述划线平行的直行行进路线。
本发明之6是，如本发明之2或3所述的驻车辅助装置，其特征在于，还具有划线检测单元，其用于检测将驻车目标区域进行划分的划线，上述第1标识描绘单元计算出表示上述划线的直线或与该直线平行的直线，与基于上述车辆的舵角的预计行进路线的切点，同时，基于上述切点计算出上述车辆与上述划线成为平行时的车辆位置，并在上述车辆位置描绘表示上述车辆的外形的预计位置标识。
本发明之7是，如本发明之4～6的任意一项所述的驻车辅助装置，其特征在于，上述第2标识描绘单元，将上述预计行进路线中的从上述车辆后方，到表示上述划线的直线或与该直线平行的直线与上述预计行进路线的上述切点，作为上述预测轨迹标识进行描绘。
本发明之8是，如本发明之2～7的任意一项所述的驻车辅助装置，其特征在于，还具有本车位置描绘单元，将表示上述车辆的当前位置的当前位置标识显示在上述周边图像。
本发明之9是，如本发明之2～8的任意一项所述的驻车辅助装置，其特征在于，还具有图像数据存储单元，将从上述摄像装置取得的图像数据作为记录图像数据进行存储；图像合成单元，将上述记录图像数据与最新的上述图像数据合成，来生成显示当前的上述摄像装置的死角区域和摄像区域的合成数据。
本发明之10是，如本发明之2～9的任意一项所述的驻车辅助装置，其特征在于，还具有图像处理单元，对上述图像数据进行图像处理，生成俯瞰上述车辆周边的俯瞰数据，同时，上述输出控制单元将基于上述俯瞰数据的俯瞰图像显示于上述显示单元，上述第1标识描绘单元将上述直行引导标识与上述俯瞰图像一同进行描绘。
根据本发明之1，由于与周边图像一同显示直行引导标识，所以转弯到直行引导标识所表示的位置，在该直行位置以后，只要按照直行引导标识直行即可。因此，在要求比较高难度的驾驶操作的驻车时，可辅助驾驶操作。
根据本发明之2，用于通过直行使车辆进入驻车目标区域的直行引导标识与周边图像一同被显示在显示单元上。因此，驾驶者只需将车辆转弯到直行引导标识，在该标识以后打正方向盘直行即可。因此，在要求驾驶技能的驻车操作时，可辅助车辆的方向盘操作。
根据本发明之3，由于与周边图像一同还描绘与当时的舵角对应的车辆的预测轨迹标识，所以，可更容易掌握朝向驻车目标区域的车辆的轨迹。
根据本发明之4，由于在表示划线的直线或与该直线平行的直线与预计行进路线的切点的位置描绘直行引导标识，所以可表示出与当前的舵角对应的直行开始位置。因此，驾驶者只需将车辆转弯到直行引导标识处，在该标识以后打正方向盘直行即可。或者，在判断为直行开始位置不合适的情况下，可通过转动方向盘，变更直行引导标识的位置。
根据本发明之5，由于从车辆与划线成为平行时的位置，描绘与划线平行的直行行进路线，所以，可把握直行行进路线与周边图像中的白线的偏差等。
根据本发明之6，描绘车辆与划线成为了平行时的预计位置标识。即，由于利用车辆的外形来表示开始直行的位置，所以在直观上容易理解驻车开始位置。
根据本发明之7，利用第2标识描绘单元，将从车辆后方到表示划线的直线或其平行线与预计行进路线的切点的预计行进路线，作为预测轨迹标识进行描绘。因此，由于描绘了与到达直行开始位置之前的舵角对应的预测轨迹，所以可易于理解地显示车辆的行进路线。
根据本发明之8，由于在周边图像中显示当前位置标识，所以可容易确认显示在周边图像中的驻车目标区域与车辆的相对位置。另外，在直观上可容易理解描绘在周边图像中的各引导线。
根据本发明之9，能够使用最新的图像数据、和所蓄积的过去拍摄的记录图像数据来显示当前的摄像装置的死角区域。因此，能够在更大的范围确认驻车目标区域。
根据本发明之10，由于直行引导标识与俯瞰图像一同显示，所以可容易理解驻车目标区域与直行引导标识的相对位置。
图1是本实施方式的驻车辅助系统的方框图。
图2是车辆图像的说明图。
图3是照相机的摄像范围的说明图。
图4(a)是图像数据，(b)是俯瞰数据的模式图。
图5是俯瞰数据的写入处理的说明图。
图6(a)是路面上的白线、(b)是引导线的计算、(c)是描绘的引导线的说明图。
图7是本实施方式的处理步骤的说明图。
图8是本实施方式的处理步骤的说明图。
图9是本实施方式的处理步骤的说明图。
图10是本实施方式的处理步骤的说明图。
图11是本实施方式的处理步骤的说明图。
图12是合成图像的说明图。
图13是驻车辅助画面的说明图。
图14是驻车辅助画面的说明图。
图15是直行引导框的描绘处理说明图。
图16是第2实施方式的驻车辅助画面的说明图。
图17是其他例的驻车辅助的说明图，(a)是描绘了第3线段的引导线、(b)是省略了第2线段的引导线、(c)是输出语音的辅助的说明图。
图18是其他例的引导线的描绘处理的说明图。
图19是其他例的引导线的说明图。
图20(a)是省略了预计车轴位置的引导线、(b)是变更了直行引导框的引导线的说明图。
图21是其他例的引导线的说明图。
图22是以往的引导线的说明图。
图中1-驻车辅助系统；2-作为驻车辅助装置的控制装置；8-作为显示单元的显示器；14-作为图像数据取得单元的图像数据输入部；15-作为图像处理单元、输出控制单元、第1标识描绘单元、第2标识描绘单元、划线检测单元、本车位置描绘单元以及图像合成单元的图像处理器；25-作为摄像装置的照相机；30-作为当前位置标识的车辆图像；50、68-作为周边图像和俯瞰图像的记录图像；51、67-作为周边图像和俯瞰图像的当前图像；52、66-作为周边图像和俯瞰图像的合成图像；100-作为划线的白线；C-车辆；F-作为直行引导标识以及预计位置标识的直行引导框；F1-作为直行开始位置的预计车轴位置；G-图像数据；G1-作为记录图像数据的俯瞰数据；G3-合成数据；P1、P2-切点；Rv-作为预测轨迹标识的转弯引导线；St-作为直行引导标识的直行引导线；St1-作为直行开始位置的第1线段；St2-作为直行行进路线的第2线段；Tr-预计行进路线；Z-拍摄区域。
具体实施例方式
(第1实施方式)下面，参照图1～图14对本发明的驻车辅助装置的一实施方式进行说明。图1是说明驻车辅助系统1的构成的方框图。
如图1所示，驻车辅助系统1具有作为驻车辅助装置的控制装置2。控制装置2具有控制部3、主存储器4和ROM5。控制部3具有未图示的CPU等，按照存储在ROM5中的驻车辅助程序等各种程序进行各种处理的主控制。主存储器4暂时存储控制部3的运算结果，并且保存用于驻车辅助的各种变量、标志等。
在ROM5中存储有车辆图像数据5a。车辆图像数据5a是用于将安装了驻车辅助系统1的车辆(参照图3)的图像输出到作为显示单元的显示器8的数据。如果将该车辆图像数据5a输出到显示器8，则显示如图2所示那样的作为当前位置标识的车辆图像30。
显示器8是触摸屏，当在该触摸屏上进行输入操作时，通过控制装置2所具备的用户输入接口部(以下称为用户输入I/F部10)，向控制部3输出与输入操作对应的信号。另外，当用户对与显示器8相邻设置的操作开关9进行了输入操作时，同样通过用户输入I/F部10，向控制部3输出与输入操作对应的信号。
另外，控制装置2具有语音处理器11。语音处理器11具有保存了语音文件的未图示的存储器和数字/模拟转换器等，使用该语音文件，从驻车辅助系统1所具备的扬声器12输出提示语音或警告声。
进而，控制装置2具有车辆侧接口部(以下称为车辆侧I/F部13)。控制部3，通过该车辆侧I/F部13，从设置于车辆C的车速传感器20输入车速脉冲VP，对脉冲数进行计数。另外，控制部3，通过车辆侧I/F部13从陀螺仪21输入方位检测信号GRP，以更新保存在主存储器4中的作为变量的当前方位。
另外，控制部3通过车辆侧I/F部13，从车辆C的空挡起动开关22输入挡位信号SPP，对被保存在主存储器4中的作为变量的挡位进行更新。进而，控制部3通过车辆侧I/F部13，从转向舵角传感器23输入转向传感器信号STP。控制部3基于该转向传感器信号STP，更新被保存在主存储器4中的车辆C的当前舵角。
控制部3，若输入了表示倒挡的挡位信号SPP时，将当时的车辆位置设定为基准位置。而且，基于车速脉冲VP和转向传感器信号STP，计算出距基准位置的相对坐标、相对舵角。
另外，控制部3具有作为图像数据取得单元的图像数据输入部14。图像数据输入部14在控制部3的控制下，驱动控制被设置于车辆C的作为摄像装置的后方监视照相机(以下简称为照相机25)，依次取得图像数据G。
如图3所示，照相机25被安装在车辆C的后门等车辆的后端，并且使其光轴朝向下方。该照相机25是可拍摄彩色图像的数字式照相机，具有由广角透镜、反射镜等构成的光学机构、和CCD摄像元件(均未图示)。照相机25具有例如左右140度的视角，将包含车辆C的后端的后方数米作为拍摄区域Z。图像数据输入部14根据控制部3的控制，取得由照相机25进行了模拟/数字变换后的图像数据G，并且暂时保存在控制装置2所具备的作为图像数据存储单元的图像存储器17中。此外，照相机25也可以向图像数据输入部14输出影像信号，图像数据输入部14根据影像信号，进行模拟/数字变换，生成图像数据G。
另外，如图1所示，控制装置2具有作为图像处理单元、输出控制单元、第1标识描绘单元、第2标识描绘单元、划线检测单元、本车位置描绘单元以及图像合成单元的图像处理器15。图像处理器15在车辆C从基准位置后退了图像记录距离D1(在本实施方式中，是100mm)时，通过图像数据输入部14输入如图4(a)模式表示那样的图像数据G。而且，通过对各图像数据G进行公知的几何转换，生成如图4(b)所示那样的作为记录图像数据的俯瞰数据G1。照相机25的视点虽然是相对路面的斜上方，但俯瞰数据G1被转换成从垂直方向上方观察路面的图像数据。
进而，图像传感器15从控制部3输入表示距基准位置的相对坐标的坐标数据、和表示以基准位置的舵角为基准的相对舵角的舵角数据。而且，如图5所示，将俯瞰数据G1写入图像存储器17的存储区域A中的、由与这些坐标数据和舵角数据对应的实线所表示的区域中。在写入了基准位置的俯瞰数据G1之后，在写入从基准位置进一步后退的位置的俯瞰数据G1时，根据以基准位置为基准的相对坐标和相对舵角，将俯瞰数据G1添写入用虚线所示的区域中。在各俯瞰数据G1重复的区域中选择写入更新的俯瞰数据G1的像素值。由此，基于先写入的俯瞰数据G1的图像与基于后写入的俯瞰数据G1的图像成为连续的图像。这样，在每次车辆C后退了图像记录距离D1时，在各个拍摄地点拍摄的俯瞰数据G1被积累在图像存储器17中。
而且，如果在图像存储器17中积累了规定幅数以上的俯瞰数据G1，则图像处理器15读出规定区域的各俯瞰数据G1。另外，从照相机25重新取得反映了当前车辆周边状况的最新图像数据G(以下称为当前图像数据G2)。然后，在将当前图像数据G2进行了俯瞰转换之后，对俯瞰数据G1和俯瞰转换后的当前图像数据G2进行合成处理，并且将合成处理后的合成数据G3显示在显示器8上。
另外，图像处理器15在将俯瞰数据G1和当前图像数据G2合成后的图像上描绘引导线。详细地讲，首先，图像处理器15进行划分驻车目标区域的白线的检测处理。在该处理中，本实施方式是使用公知的边缘提取处理。例如，将彩色图像的合成数据G3转换成灰度等级数据，设定亮度平均值和中间值等的阈值。而且，在像素间的亮度的斜率等小于阈值时，不检测为边缘，在大于等于阈值时检测为边缘。或者，检测出转换为灰度等级数据的俯瞰数据G1的各像素的亮度、和与各像素邻接的像素的像素值之差。然后将差值大的像素作为边缘检测出来。例如，如图6(a)所示，由照相机25拍摄车辆后方的作为划线的白线100，生成了各俯瞰数据G1时，通过进行使用了这些俯瞰数据G1的合成数据G3的边缘检测，如图6(b)所示，白线100作为边缘EG被提取出来。
作为边缘提取的结果，由于有时检测出中断了的边缘EG，所以，例如图像处理器15根据该边缘提取结果进行霍夫变换，将边缘EG作为图像空间中的直线(线段)进行识别。图像处理器15将这样求得的直线(线段)作为白线近似式Sg。
并且，图像处理器15根据转向传感器信号STP，将与车宽对应的车辆C的1对预计行进路线Tr作为图像坐标系(Xi、Yj)中的式求出。然后，求出预计行进路线Tr与白线近似式Sg的切点。如图6(b)那样，在预计行进路线Tr不与白线近似式Sg相切的情况下，计算出与白线近似式Sg平行，且与预计行进路线Tr相切的平行式Sg1。
进而，在计算出白线近似式Sg或平行式Sg1与预计行进路线Tr的切点P1、P2的坐标后，如图6(c)所示，求出通过各切点P1、P2的具有与车宽大致相同宽度的作为直行开始位置的第1线段St1。该第1线段St1表示在车辆C从当前位置沿着预计行进路线Tr后退的情况下，车辆C成为与白线近似式Sg平行时的后车轴的位置。即，在车辆C的从当前位置到该第1线段St1之间，如果在维持当前的舵角的状态下沿着预计行进路线Tr转弯，则车辆C的后车轴与第1线段St1一致。因此，在车辆C的后车轴与第1线段St1一致后，如果使车辆C向后方直行，则能够将车辆C与白线100平行地驻车。
这样地求出第1线段St1后，图像处理器15求出从切点P1、P2与白线近似式Sg或平行式Sg1平行的线，即与车长大致相同长度的作为直行行进路线的第2线段St2。由于利用该第2线段St2，能够把握车体与白线100的相对距离，所以可知道在以当前的舵角转弯后，并进行了直行时的车辆C两侧的空间偏位。这些第1线段St1和第2线段St2构成了提供与转弯后的直行相关的信息的作为直行引导标识的直行引导线St。另外，图像处理器15切断预计行进路线Tr，求出长度为从车辆后端到第1线段St1的作为预测轨迹标识的转弯引导线Rv。将这些转弯引导线Rv和直行引导线St重叠在基于合成数据G3的图像上。
下面，参照图7～图11，对本实施方式的处理步骤进行说明。如图7所示，首先控制部3按照被保存在ROM5中的驻车辅助程序，等待开始触发信号的输入(步骤S1)。开始触发信号在本实施方式中是基于点火线圈电子断电装置(未图示)的起动的输入信号。若输入了开始触发信号，在控制部3的控制下，进行系统起动管理处理(步骤S2)、数据积累处理(步骤S3)、合成处理(步骤S4)、描绘处理(步骤S5)。然后，控制部3判断是否有结束触发信号的输入(步骤S6)，在未输入的情况下，返回步骤S2。在本实施方式中，结束触发信号是基于点火线圈电子断电装置的关闭状态、或驻车辅助系统1的关闭的输入信号。
下面，参照图8，对系统起动管理处理S2进行说明。首先，控制部3通过车辆侧I/F部13输入挡位信号SPP，更新被保存在主存储器4中的作为变量的挡位(步骤S2-1)。然后，控制部3判断挡位是否是倒挡(步骤S2-2)。在判断为挡位是倒挡时(步骤S2-2中，是)，将车辆C的当前位置设定为基准位置。
另外，控制部3判断被存储在主存储器4中的系统起动标志是否是OFF(步骤S2-3)。系统起动标志是表示是否起动了驻车辅助模式的标志。控制部3在判断系统起动标志是ON时(步骤S2-3中，否)，进入下面的数据积累处理(步骤S3)。
当挡位成为倒挡时，控制部3判断系统起动标志为OFF(步骤S2-3中，是)。在此情况下，控制部3把系统起动标志更新为ON(步骤S2-4)。进而，将被保存在主存储器4中的作为变量的后退距离ΔDM设定为“0”，进行初始化(步骤S2-5)。另外，在控制部3的控制下，图像处理器15通过图像数据输入部14从照相机25输入图像数据G(步骤S2-6)，将该图像数据G如从图4(a)到图4(b)那样进行俯瞰转换(步骤S2-7)，生成俯瞰数据G1。
另外，图像处理器15通过控制部3，将俯瞰数据G1存储在图像存储器17中的与基准位置对应的数据区域(步骤S2-8)。如果这样地存储了基准位置的俯瞰数据G1，则进入下面的数据积累处理。
参照图9对数据积累处理进行说明。首先，控制部3输入由车速脉冲VP和转向传感器信号STP构成的车辆信号(步骤S3-1)。如上述那样，控制部3根据随着车辆C的后退输入的车速脉冲VP，对其脉冲数进行计数。然后，根据该脉冲数，更新被存储在主存储器4中的移动量Δd(步骤S3-2)。另外，通过将该移动量Δd加到在步骤S2-5中初始化后的后退距离ΔDM，来更新后退距离ΔDM(步骤S3-3)。如果后退距离ΔDM被更新，则复位移动量Δd。然后，判断该后退距离ΔDM是否大于等于图像记录距离D1(步骤S3-4)。在本实施方式中，图像记录距离D1被设定为100mm。
在判断为后退距离ΔDM小于图像记录距离D1时(步骤S3-4中，否)，进入步骤S6(参照图7)，判断有无结束触发信号的输入。而且在没有结束触发信号的输入的情况下(步骤S6中，否)，返回系统起动管理处理(步骤S2)。
另一方面，在判断为后退距离ΔDM大于等于图像记录距离D1时(步骤S3-4中，是)，图像处理器15输入记录用的图像数据G(步骤S3-5)。然后对该图像数据G进行俯瞰转换，生成图(b)所示那样的俯瞰数据G1(步骤S3-6)。另外，将拍摄了记录用图像数据G的坐标数据和舵角数据输入，并将俯瞰数据G1写入图像存储器17的存储区域中的与这些坐标数据和舵角数据对应的位置(步骤S3-7)。如果将俯瞰数据G1写入图像存储器17，则增加被存储在主存储器4中的数据数计数，将后退距离ΔDM初始化为“0”(步骤S3-8)。
然后，控制部3根据被存储在主存储器4中的数据数计数，判断在图像存储器17中是否存储了规定数量的俯瞰数据G1(步骤S3-9)。规定数量例如被设定为10组等，控制部3在判断为存储有规定数量的俯瞰数据G1时(步骤S3-9中，是)，将存储在主存储器4中的可显示的标志设置成ON(步骤S3-10)，进入下面的合成处理(步骤S4)。可显示的标志是表示是否能够合成使用了各俯瞰数据G1的合成数据G3的标志。在判断为未存储有规定数量的俯瞰数据G1时(步骤S3-9中，否)，进入步骤S6，判断有无结束触发信号的输入，在没有结束触发脉冲的输入的情况下，返回步骤S2。
下面，参照图10说明合成处理。首先，图像处理器15提取写入了各俯瞰数据G1的图像存储器17的存储区域A中的基于车辆C的当前坐标、当前舵角的规定区域(步骤S4-1)。在本实施方式中，读出被写入图像存储器17的存储区域A中的相当于当前的车辆C的后部及其周边的区域中的俯瞰数据G1的像素值。
如果从图像存储器17中提取了各俯瞰数据G1，则对提取的各俯瞰数据G1进行旋转转换，使其与当前舵角一致(步骤S4-2)。
另外，图像处理器15从照相机25输入当前图像数据G2(步骤S4-3)，使用各俯瞰数据G1和当前图像数据G2生成合成数据G3(步骤S4-4)。详细地讲，如图12所示，将旋转转换后的各俯瞰数据G1配置在显示器8的显示区域Zd中的上方。进而，将当前图像数据G2进行俯瞰转换，并配置在显示器8的显示区域Zd中的下方。由此，在显示区域Zd的上方，显示作为基于各俯瞰数据G1的周边图像的记录图像50。记录图像50是显示了当前的车辆C的后部及其周边的图像，其显示了当前的照相机25的死角区域。在显示区域Zd的下方，显示基于当前图像数据G2的作为周边图像的当前图像51。当前图像51是当前的照相机25的拍摄区域Z内的图像，成为从上方俯瞰在拍摄区域Z中所包含的路面的图像。
接下来，图像处理器15进行图11所示的描绘处理。首先，图像处理器15对合成数据G3如上述那样进行白线检测处理(步骤S5-1)。图像处理器15将合成数据G3转换成灰度等级数据，并根据各像素的亮度提取边缘。进而，图像处理器15对边缘提取结果进行霍夫变换等，计算出图6(b)所示那样的白线近似式Sg(步骤S5-2)。此时，只要能够仅在各白线100的前端检测出边缘EG即可。另外，在由于未检测出边缘EG等原因而不能计算出1对白线近似式Sg的情况下，在本实施方式中只是单纯地将预计行进路线Tr描绘在当前图像51上。
另外，控制部3通过车辆侧I/F部13，输入转向传感器信号STP(步骤S5-3)，计算预计行进路线Tr(步骤S5-4)。
然后，如图6(b)所示，计算出预计行进路线Tr与白线近似式Sg的切点P1、P2(步骤S5-5)。如上述那样，在预计行进路线Tr与白线近似式Sg不相切的情况下，计算出与白线近似式Sg平行，且与预计行进路线Tr相切的平行式Sg1，求出预计行进路线Tr与平行式Sg1的切点P1、P2。
如果计算出了切点P1、P2，则计算以该切点P1、P2为终端的转弯引导线Rv(步骤S5-6)。此时，图像处理器15如图6(c)所示，将预计行进路线Tr中的从车辆后端到切点P1、P2的部分切断，将该线段作为转弯引导线Rv。
另外，图像处理器15计算出直行引导线St(步骤S5-7)。即，如上述那样将切点P1、P2连接，将第1线段St1作为直线式求出。另外，以切点P1、P2为基点，分别计算出与白线近似式Sg或平行式Sg1平行的1对第2线段St2。
然后，图像处理器15将存储在VRAM16中的合成数据G3输出到显示器8(步骤S5-8)。进而，在规定的位置输出车辆图像数据5a，并将如图12所示那样的作为周边图像的合成图像52显示在显示器8(步骤S5-9)。
然后，向合成图像52输出转弯引导线Rv和直行引导线St(步骤S5-10)。由此，在显示器8上显示如图13所示那样的驻车辅助画面55。在驾驶者确认直行引导线St与合成图像52的白线的偏差，并以当前的舵角转弯也可以的情况下，在车辆C的后车轴到达第1线段St1为止，在维持方向盘操作状态不变的状态下，使车辆C转弯。另一方面，驾驶者在判断为直行引导线St与合成图像52的白线的偏差较大，或者各白线与各第2线段St2之间的间隔有较大的偏位，需要变更当前的舵角的情况下，转动方向盘。此时，重新开始上述的各处理，重新描绘转弯引导线Rv和直行引导线St。
然后，根据直行引导线St与白线的相对位置的确认，进行维持舵角不变的状态下的转弯，如果车辆C的后车轴到达了第1线段St1，车辆C与白线成为大致平行。此时，在显示器8上显示出如图14所示那样的驻车辅助画面55。未显示转弯引导线Rv，在当前图像51中，重叠有直行引导线St。驾驶者在该时刻打正方向盘，使车辆C向后方直行，从而可在驻车目标区域的适当的位置驻车。
如果在完成了驻车，驾驶者则操作换挡手柄，将挡位变更为停车或空挡等倒车以外的挡位。其结果，在图8的步骤S2-2中，控制部3判断挡位不是倒挡(步骤S2-2中，否)，并判断系统起动标志是否是ON(步骤S2-9)。在驻车辅助模式已经结束的情况下，由于系统起动标志为OFF(步骤S2-9中，否)，所以判断有无结束触发信号的输入(步骤S6)。另一方面，在驻车完成之后，立即将系统起动标志设定为ON。因此控制部3判断系统起动标志为ON(步骤S2-9中，是)将被存储在主存储器4中的变量复位(步骤S2-10)。而且，将系统起动标志设定为OFF(步骤S2-11)。然后，在输入了结束触发信号时(步骤S6中，是)，结束处理。
根据第1实施方式，可获得以下的效果。
(1)在第1实施方式中，在显示器8中，在显示俯瞰车辆周边的合成图像52的同时，还显示与当前舵角对应的转弯引导线Rv、和表示针对驻车目标区域开始直行的位置的直行引导线St。因此，驾驶者只要将车辆C转弯到直行引导线St所示的直行开始位置，从该直行开始位置打正方向盘直行即可。因此，在要求驾驶技能的驻车操作时，能够辅助车辆C的方向盘操作。
(2)在第1实施方式中，在维持当前的舵角的情况下，将车辆C的后车轴与白线100平行的位置作为直行开始位置，并利用第1线段St1表示。因此，驾驶者可确定直行开始位置的大体位置。另外，在直行开始位置不合适的情况下，可通过进行方向盘操作来变更舵角。
(3)在第1实施方式中，从车辆C与白线100平行的第1线段St1描绘与白线100平行的第2线段St2。因此，驾驶者可把握所描绘的第2线段St2与合成图像52中的白线的偏差、和第2线段St2与各白线之间的空间的偏位等。从而，在第2线段St2与白线的偏差较大的情况下等，可转动方向盘改变转弯行进路线。
(4)在第1实施方式中，由于在合成图像52中显示车辆图像30，所以可容易确认在合成图像52中显示的驻车目标区域与车辆C的相对位置。另外，能够使驾驶者在直观上容易理解被描绘在当前图像51中的各引导线Rv、St、即车辆C的转弯轨迹和直行轨迹。
(5)在第1实施方式中，在驻车辅助画面55中显示有基于当前图像数据G2的当前图像51、和基于所积累的过去拍摄的俯瞰数据G1的记录图像50。因此，由于显示俯瞰车辆周边的图像，所以可容易把握车辆两侧的白线与车辆C的距离。另外，由于可显示记录图像50和当前图像51，所以可在更宽的范围确认驻车目标区域。
(第2实施方式)下面，参照图15和图16，对具体化本发明的第2实施方式进行说明。此外，第2实施方式由于其构造只是变更了第1实施方式的直行引导线St，所以对于相同的部分省略其详细的说明。
在第2实施方式的转弯引导线Rv和直行引导线St的描绘处理(参照图11)中，在步骤S5-1至步骤S5-6中进行与第1实施方式同样的处理。然后，图像处理器15在步骤S5-7中，不描绘直行引导线St，而是描绘作为预计位置标识的直行引导框F。直行引导框F表示车辆C与白线近似式Sg成为平行的位置上的车辆的外形。
关于该直行引导框F，参照图15进行说明。直行引导框F由预计车轴位置F1、预计后端位置F2、预计前端位置F3、预计侧端位置F4、F5构成。预计车轴位置F1表示在使车辆C从当前位置不转动方向盘按照预计行进路线Tr(参照图6)进行了后退的情况下，车辆C与白线近似式Sg成为平行时的后车轴的预计位置。这里，虽然是用实线来描绘，但也可以用虚线描绘。此外，预计车轴位置F1被描绘在与第1实施方式的第1线段St1相同的位置上。
预计后端位置F2和预计前端位置F3是，在按照预计行进路线Tr(参照图6)进行了后退的情况下，分别将车辆C与白线近似式Sg成为平行时的车辆C的后端和前端的位置进行了预计并描绘的线。另外，预计侧端位置F4、F5表示车辆C的后车轮、后端或前端处于预计车轴位置F1、预计后端位置F2或预计前端位置F3时的车辆C的侧端。即，预计车轴位置F1被描绘在与白线近似式Sg正交的方向上，预计侧端位置F4、F5被描绘成与白线近似式Sg平行。
当根据切点P1、P2计算出直行引导框F的坐标时(步骤S5-7)，图像处理器15如第1实施方式那样将合成数据G3输出到显示器8中(步骤S5-8)。另外，图像处理器15将车辆图像数据5a输出到显示器8的显示区域Zd的规定的位置(步骤S5-9)。
如果输出了合成数据G3和车辆图像数据5a，则图像处理器15将在步骤S5-7计算出了坐标的直行引导框F、和转弯引导线Rv作为引导线输出(步骤S5-9)。
其结果，在显示器8中显示如图16所示那样的驻车辅助画面65。在驻车辅助画面65中，显示有基于合成数据G3的合成图像66。本实施方式的合成图像66由于扩展了提取俯瞰数据G1的范围，所以描绘出比第1实施方式更大的车辆周边区域。合成图像66显示基于当前图像数据G2的当前图像67、和基于过去拍摄的积累在图像存储器17中的俯瞰数据G1的记录图像68。另外，在记录图像68中重叠表示车辆整体的车辆图像30。
另外，在合成图像66中，重叠有直行引导框F和转弯引导线Rv。直行引导框F由于被描绘成与车辆C的大小大致相同的大小，所以用户可直观地把握直行引导框F就是按照转弯引导线Rv转弯后的车辆位置。另外，由于能够在画面上确认直行引导框F与被描绘在合成图像66中的白线平行的情况，所以驾驶者能够直观地理解，只要从直行引导框F向后方直行即可。如果描绘了引导线(步骤S5-10)，则进入步骤S6，判断有无结束触发信号。
根据第2实施方式，可获得以下的效果。
(6)在第2实施方式中，作为直线开始位置，根据白线近似式Sg或平行式Sg1与预计行进路线Tr的切点P1、P2，描绘了在车辆C与白线100成为平行时的直行引导框F。即，由于利用表示车辆C的外形的框来描绘开始直行的位置，所以驾驶者可直观地理解直行引导框F的作用。
此外，上述各实施方式也可以进行如下的变更。
·在上述各实施方式中，是将俯瞰数据G1写入图像存储器17的存储区域A中的对应的区域中，但也可以将俯瞰数据G1与坐标数据和舵角数据相关联地存储。另外，也可以将图像数据G不经过俯瞰转换而存储在图像存储器17中。
·在上述各实施方式中，将图像记录距离D1设定为100mm，但也可以设定为除此以外的距离。
·在上述各实施方式中，在数据积累和图像处理时，也可以取代转向传感器信号STP，而使用基于陀螺仪21的方位检测信号GRP。
·也可以采用上述步骤以外的合成方法来生成合成图像52。例如，也可以将从照相机25输入的图像数据不进行积累，而直接将俯瞰转换后的俯瞰数据输出到显示器8。或者，即使不是俯瞰转换后的图像，也可以在拍摄了车辆C的前方或后方等车辆周边的周边图像上描绘转弯引导线Rv或直行引导线St。此外，在将图像数据G不经过俯瞰转换而显示在显示器8的情况下，在为了计算出转弯引导线Rv和直行引导线St而进行边缘提取时，也可以对图像数据G不进行俯瞰转换，而直接进行边缘提取。
·在上述各实施方式中，在规定数量的俯瞰数据G1被积累在图像存储器17中时，使可显示的标志为ON，但也可以在俯瞰数据G1被写入全部规定的数据区域中的情况下，使可显示的标志为ON。或者，也可以在图像存储器17中即使只积累了1组俯瞰数据G1的情况下，使可显示的标志为ON或者显示合成图像52(记录图像50)。在这种情况下，未积累俯瞰数据G1的区域也可以显示蒙板等表示非显示的图像。
·驻车辅助画面55、65也可以是省略记录图像50、68，显示了各引导线Rv、St和当前图像51的画面。
·在第1实施方式中，转弯引导线Rv、直行引导线St也可以是上述以外的引导线。例如，如图17(a)所示那样，也可以在第2线段St2的终端描绘与第1线段St1平行的第3线段St3，并表示车体的大小。或者，如图17(b)所示那样，也可以只描绘直行引导线St中的第1线段St1，而省略第2线段St2。在这种情况下，也可以在第1线段St1附近，显示表示直行开始位置的标识60。或者，如图17(c)所示那样，也可以在车辆C接近了第1线段St1时等，从扬声器12输出“请直行”等语音61。
·在上述各实施方式中，只在计算出1对白线近似式Sg的情况下，描绘各引导线Rv、St，但即使在只计算出1条的情况下，也可以进行描绘。例如，图像处理器15，如图18所示，求出1条白线近似式Sg(或与白线近似式Sg平行的平行式)与预计行进路线Tr的切点P1。然后，求出通过切点P1的白线近似式Sg(或平行式)的垂线V，并求出垂线V与另一方的预计行进路线Tr的交点P3。然后求出连接了切点P1和交点P3的第4线段St4。该第4线段St4在第1实施方式中，与第1线段St1同样表示直行开始位置，在第2实施方式中，表示预计车轴位置F1。进而，将切点P1和交点P3作为基点，描绘与白线近似式Sg平行的第2线段St2、和直行引导框F(在图18中省略图示)。
·图像处理器15也可以不检测白线，而检测停放中的其他车辆的边缘。而且，也可以通过将该边缘之间的空间作为驻车目标区域来识别，并求出边缘与预计行进路线Tr的切点P1、P2，来求出转弯引导线Rv和直行引导线St。
·在第2实施方式中，如图19所示的驻车辅助画面69那样，也可以显示只表示车辆C的后部的车辆图像30。另外，如图19所示那样，在合成图像69a中也可以不包含直行引导框F整体，而只要至少包含一部分即可。在此情况下，由于也能够判断出直行引导框F与合成图像69a的白线平行的情况，所以能够容易理解直行引导框F的作用。
在第2实施方式中，如图20(a)所示，也可以将直行引导框F形成为省略了预计车轴位置F1的四边框形状。另外，如图20(b)所示那样，也可以将直行引导框F由表示在车辆C与白线近似式Sg成为平行时的车辆C的各个角部的角位置F6～F10、和预计车轴位置F1构成。
在第2实施方式中，也可以如图21所示那样，在直行引导框F的后退方向(行进方向)侧描绘预计直行路线Ls。预计直行路线Ls被描绘在预计侧端位置F4、F5的延长线上，表示从直行引导框F进行了后退时的预计行进路线。该预计直行行进路线Ls相当于第1实施方式的第2线段St2。这样，能够把握从直行引导框F进行了后退时的车辆C与白线的相对距离以及相对方向。
·在上述各实施方式中，将第1线段St1和预计车轴位置F1作为在车辆C与驻车目标区域成为平行时的后车轴位置进行了描绘。除此以外，也可以将第1线段St1和预计车轴位置F1作为车辆C的后端的预计位置进行描绘。在这种情况下，在沿着转弯引导线Rv转弯，且车辆C的后端与第1线段St1或预计车轴位置F1成为了一致时，通过转动方向盘，向后方直行，能够将车辆C停放在驻车目标区域中。
·在上述各实施方式中，根据被安装在车辆后端的照相机25拍摄的图像数据G来显示驻车辅助画面55，但也可以使用被安装在车辆侧端或前端的照相机。例如，如果使用被安装在车辆前端的照相机，则在通过使车辆前进来停放车辆时，可进行驻车辅助。
权利要求
1.一种驻车辅助方法，根据从设置于车辆的摄像装置取得的图像数据，将周边图像输出到显示单元，其特征在于，将表示向驻车目标区域开始直行的位置的直行引导标识，与上述周边图像一同输出到上述显示单元。
2.一种驻车辅助装置，被安装于车辆，其特征在于，具有图像数据取得单元，从设置于上述车辆的摄像装置取得图像数据；输出控制单元，将基于上述图像数据的周边图像输出到显示单元；和第1标识描绘单元，将表示向驻车目标区域开始直行的位置的直行引导标识，与上述周边图像一同描绘。
3.根据权利要求2所述的驻车辅助装置，其特征在于，还具有第2标识描绘单元，将与上述车辆的舵角相应的预测轨迹标识，与上述周边图像一同描绘。
4.根据权利要求2或3所述的驻车辅助装置，其特征在于，还具有划线检测单元，检测划分驻车目标区域的划线，上述第1标识描绘单元计算出表示上述划线的直线或与该直线平行的直线，与基于上述车辆的舵角的预计行进路线的切点，将上述切点的位置作为直行开始位置进行描绘。
5.根据权利要求4所述的驻车辅助装置，其特征在于，上述第1标识描绘单元将表示上述划线的直线或与该直线平行的直线，与上述预计行进路线的上述切点作为基端，显示与上述划线平行的直行行进路线。
6.根据权利要求2或3所述的驻车辅助装置，其特征在于，还具有划线检测单元，检测划分驻车目标区域的划线，上述第1标识描绘单元计算出表示上述划线的直线或与该直线平行的直线，与基于上述车辆的舵角的预计行进路线的上述切点，并且，根据上述切点计算出上述车辆与上述划线成为平行时的车辆位置，在上述车辆位置描绘表示上述车辆的外形的预计位置标识。
7.根据权利要求4～6中任意一项所述的驻车辅助装置，其特征在于，上述第2标识描绘单元将上述预计行进路线中的从上述车辆后方，到表示上述划线的直线或与该直线平行的直线与上述预计行进路线的上述切点，作为上述预测轨迹标识进行描绘。
8.根据权利要求2～7中任意一项所述的驻车辅助装置，其特征在于，还具有本车位置描绘单元，在上述周边图像中显示表示上述车辆的当前位置的当前位置标识。
9.根据权利要求2～8中任意一项所述的驻车辅助装置，其特征在于，还具有图像数据存储单元，将从上述摄像装置取得的图像数据作为记录图像数据进行存储；图像合成单元，将上述记录图像数据与最新的上述图像数据合成，生成显示当前的上述摄像装置的死角区域和摄像区域的合成数据。
10.根据权利要求2～9中任意一项所述的驻车辅助装置，其特征在于，还具有图像处理单元，对上述图像数据进行图像处理，生成俯瞰了上述车辆周边的俯瞰数据，并且，上述输出控制单元将基于上述俯瞰数据的俯瞰图像显示于上述显示单元，上述第1标识描绘单元将上述直行引导标识与上述俯瞰图像一同进行描绘。
全文摘要
本发明提供一种辅助驻车时的方向盘操作的驻车辅助方法以及驻车辅助装置。在使用图像数据将俯瞰了车辆周边的合成图像(52)输出到显示器的驻车辅助系统的控制装置中，将基于车辆的舵角的转弯引导线(Rv)、和用于在使车辆按照转弯引导线转弯后使车辆直行的直行引导线(St)，与合成图像(52)一同输出到显示器。
文档编号G01C11/00GK101082502SQ20071009735
公开日2007年12月5日 申请日期2007年5月11日 优先权日2006年5月29日
发明者榊原圣治 申请人:爱信艾达株式会社