显示控制装置、显示装置、显示控制方法以及程序与流程

文档序号:16371940发布日期:2018-12-22 08:47阅读:132来源:国知局
显示控制装置、显示装置、显示控制方法以及程序与流程

本发明涉及显示控制装置、显示装置、显示控制方法以及程序。

背景技术

近年来,普及有如下技术:在车辆后退时等,针对通过搭载于车辆后方的后方摄像机拍摄的后方影像,重叠引导线并显示于监视器等显示部,从而将车辆容易且准确地引导到停车区域,所述引导线表示后退动作的轨迹的预测。关于该技术,专利文献1公开了将车辆周围的拍摄图像显示在车内监视器上的车辆的行驶辅助装置。专利文献1涉及的行驶辅助装置在车辆周围的拍摄图像上重叠显示引导线。

另外,专利文献2公开一种车辆的停车辅助装置,其无需在车辆停止位置进行方向盘操作而能够预先预测能否进入到期望的停车空间。专利文献2涉及的停车辅助装置具备拍摄车辆后方的拍摄单元、显示车辆后方的图像的显示单元、以及控制单元,该控制单元将后退预测轨迹与显示于显示单元的图像重叠显示,该后退预测轨迹是向使车辆以最大转向角后退时的、车辆前进方向延伸、且与车辆的后部右端和后部左端对应。

在先技术文献

专利文献

专利文献1:国际公开第2012/102392号;

专利文献2:日本专利文献特开2014-162398号公报。



技术实现要素:

发明要解决的问题

根据用于停放车辆的停车区域的情况,驾驶员有时希望将车辆停放在停车区域的宽度方向上尽可能靠近中央的位置,而有时希望将车辆靠近左右任何一侧停放。在这样的情况下,当如上述的专利文献所涉及的技术那样仅仅显示与车辆的宽度等对应的引导线时,驾驶员不容易适当地掌握停车区域的宽度方向上的车辆的位置。

另外,在驾驶员将车辆移动到停车区域等的情况下,当驾驶员想要一边视觉确认影像一边掌握限定车辆的目标位置的物体(停车边界线或者路缘石等)与车辆之间的距离时,驾驶员可以通过引导线的长度等来掌握大致距离。但是,仅仅使用上述专利文献所涉及的引导线,不能掌握具体的距离。于是,为了能够掌握具体的距离,想到了将表示到物体为止的距离的数值重叠到影像上的方法、或者将间隔窄的多个线作为刻度附加到引导线来显示的方法等。但是,在这样的方法中,显示内容可能变得复杂,因此驾驶员不容易适当且迅速识别到物体为止的距离。

鉴于上述问题,本实施方式的目的在于提供一种显示控制装置、显示装置、显示控制方法以及程序,使得驾驶员能够适当掌握停车区域的宽度方向上的车辆的位置,或者使得驾驶员能够适当且迅速掌握到限定车辆的目标位置的物体为止的距离。

用于解决问题的手段

于是,本实施方式提供一种显示控制装置,包括:影像数据获取部,获取来自摄像机的影像数据,所述摄像机拍摄车辆的后方;显示影像生成部,生成将一对预想行进路线和多个辅助线重叠到由所述影像数据获取部获取的所述影像数据上的显示影像数据,所述一对预想行进路线与所述车辆的宽度对应、且根据所述车辆的后退动作而被绘制,所述多个辅助线分别配置成在所述一对预想行进路线的两侧在宽度方向上排列;提取部,从所述影像数据中提取区域边界,所述区域边界是所述车辆能够停放的停车区域的宽度方向的边界;位置关系判断部,判断由所述提取部提取的所述区域边界和所述辅助线在所述显示影像数据中的位置关系;以及显示控制部,将基于所述显示影像数据的影像显示在显示部,所述显示影像数据由所述显示影像生成部生成,所述显示影像生成部使位于与所述区域边界相比的外侧的所述辅助线的显示清晰度低于位于与所述区域边界相比的内侧的所述辅助线的显示清晰度,所述区域边界是由所述提取部提取的。

另外,本实施方式提供一种显示控制装置,包括:影像数据获取部,获取来自摄像机的影像数据,所述摄像机拍摄车辆的周围;物体检测部,从所述影像数据中检测物体,所述物体限定所述车辆的目标位置;显示影像生成部,生成将至少一个距离显示线重叠到所述影像数据上的显示影像数据,所述至少一个距离显示线表示距所述车辆为预定距离的位置、或者距所述车辆的预想轨迹中的位置为预定距离的位置;以及显示控制部,将基于所述显示影像数据的影像显示在显示部,所述显示影像数据由所述显示影像生成部生成,所述显示影像生成部在判断出由所述物体检测部检测出的所述物体的位置和与所述距离显示线对应的位置之间的距离为预定的第一阈值以下的情况下,生成还将辅助线重叠到所述影像数据上的所述显示影像数据,所述辅助线表示与所述距离显示线的位置相比离所述车辆更近的距离处的位置。

另外,本实施方式提供一种显示控制方法,包括:获取来自摄像机的影像数据,所述摄像机拍摄车辆的后方;生成将一对预想行进路线和多个辅助线重叠到所述影像数据的显示影像数据,所述一对预想行进路线与所述车辆的宽度对应、且根据所述车辆的后退动作而被绘制,所述多个辅助线分别配置成在所述一对预想行进路线的两侧在宽度方向上排列;从所述影像数据中提取区域边界,所述区域边界是所述车辆能够停放的停车区域的宽度方向的边界;判断所提取的所述区域边界和所述辅助线在所述显示影像数据中的位置关系;使位于与所提取的所述区域边界相比的外侧的所述辅助线的显示清晰度低于位于与所述区域边界相比的内侧的所述辅助线的显示清晰度;将基于所述显示影像数据的影像显示在显示部。

另外,本实施方式提供一种显示控制方法,包括:获取来自摄像机的影像数据,所述摄像机拍摄车辆的周围;从所述影像数据中检测物体,所述物体限定所述车辆的目标位置;生成将至少一个距离显示线重叠到所述影像数据上的显示影像数据,所述至少一个距离显示线表示距所述车辆为预定距离的位置、或者距所述车辆的预想轨迹中的位置为预定距离的位置;在判断出所检测出的所述物体的位置和与所述距离显示线对应的位置之间的距离为预定的第一阈值以下的情况下,生成还将辅助线重叠到所述影像数据的所述显示影像数据,所述辅助线表示与所述距离显示线的位置相比离所述车辆更近的距离处的位置;将基于所生成的所述显示影像数据的影像显示在显示部。

另外,本实施方式提供一种程序,使计算执行如下步骤:获取来自摄像机的影像数据,所述摄像机拍摄车辆的后方;生成将一对预想行进路线和多个辅助线重叠到所述影像数据上的显示影像数据,所述一对预想行进路线与所述车辆的宽度对应、且根据所述车辆的后退动作而被绘制,所述多个辅助线分别配置成在所述一对预想行进路线的两侧在宽度方向上排列;从所述影像数据中提取区域边界,所述区域边界是所述车辆能够停放的停车区域的宽度方向的边界;判断所提取的所述区域边界与所述辅助线在所述显示影像数据中的位置关系;使位于与所提取的所述区域边界相比的外侧的所述辅助线的显示清晰度低于位于与所述区域边界相比的内侧的所述辅助线的显示清晰度;将基于所述显示影像数据的影像显示在显示部。

另外,本实施方式提供一种程序,使计算执行如下步骤:获取来自摄像机的影像数据,所述摄像机拍摄车辆的周围;从所述影像数据中检测物体,所述物体限定所述车辆的目标位置;生成将至少一个距离显示线重叠到所述影像数据上的显示影像数据,所述至少一个距离显示线表示距所述车辆为预定距离的位置、或者距所述车辆的预想轨迹中的位置为预定距离的位置;在判断出所检测出的所述物体的位置和与所述距离显示线对应的位置之间的距离为预定的第一阈值以下的情况下,生成还将辅助线重叠到所述影像数据上的所述显示影像数据,所述辅助线表示与所述距离显示线的位置相比离所述车辆更近的距离处的位置;将基于所生成的所述显示影像数据的影像显示在显示部。

发明效果

根据本实施方式,能够提供一种显示控制装置、显示装置、显示控制方法以及程序,其能够使驾驶员适当掌握停车区域的宽度方向上的车辆的位置,或者能够使驾驶员适当且迅速掌握到限定车辆的目标位置的物体为止的距离。

附图说明

图1是示出实施方式1涉及的车辆的图;

图2是示出实施方式1涉及的车辆的内部的图;

图3是示出具有实施方式1涉及的显示控制装置以及显示控制装置的显示控制系统的构成的图;

图4是示出通过实施方式1涉及的显示控制装置执行的显示控制方法的流程图;

图5是例示通过由实施方式1涉及的显示影像生成部生成的显示影像数据示出的影像的图;

图6是示出针对图5例示的影像而显示于显示部的显示影像的图;

图7是例示针对车辆靠近停车区域的一侧的状态显示于显示部的显示影像的图;

图8是例示通过由实施方式1涉及的显示影像生成部生成的显示影像数据示出的影像的图;

图9是示出针对图8中例示的影像示出显示于显示部的显示影像的图;

图10是例示针对车辆靠近停车区域的一侧的状态显示于显示部的显示影像的图;

图11是示出辅助线的显示方式的其他例子的图;

图12是示出实施方式2涉及的处理的流程图;

图13是例示实施方式2涉及的显示影像显示于显示部的状态的图;

图14是示出实施方式3涉及的车辆的图;

图15是示出实施方式3涉及的显示控制装置以及具有显示控制装置的显示装置的构成的图;

图16是示出通过实施方式3涉及的显示控制装置执行的显示控制方法的流程图;

图17是例示通过由实施方式3涉及的显示影像生成部生成的显示影像数据示出的后方影像的图;

图18是例示示出车辆比图17所示的状态进一步后退的状态的后方影像的图;

图19是例示示出车辆比图18所示的状态进一步后退的状态的后方影像的图;

图20是例示示出车辆比图19所示的状态进一步后退的状态的后方影像的图;

图21是例示通过由实施方式3涉及的显示影像生成部生成的显示影像数据示出的后方影像的图;

图22是例示示出车辆比图21所示的状态进一步后退的状态的后方影像的图;

图23是示出实施方式3的变形例涉及的处理的流程图;

图24是示出实施方式3的变形例涉及的后方影像的例子的图;

图25是示出实施方式3的变形例涉及的后方影像的例子的图;

图26是示出实施方式4涉及的显示控制装置以及具有显示控制装置的显示装置的构成的图;

图27是示出通过实施方式4涉及的显示控制装置执行的显示控制方法的流程图;

图28是例示通过由实施方式4涉及的显示影像生成部生成的显示影像数据示出的俯瞰影像的图;

图29是例示示出车辆比图28所示的状态进一步后退的状态的俯瞰影像的图;

图30是例示示出车辆比图29所示的状态进一步后退的状态的俯瞰影像的图;

图31是例示通过由实施方式4涉及的显示影像生成部生成的显示影像数据示出的俯瞰影像的图;

图32是例示示出车辆比图31所示的状态进一步后退的状态的俯瞰影像的图。

具体实施方式

(实施方式1)

以下,参照附图,对本发明的实施方式进行说明。此外,针对实质上相同的构成元件,标注相同的符号。

图1是示出实施方式1涉及的车辆1的图。车辆1具有后方摄像机2和显示控制装置100。后方摄像机2设置于车辆1的后部,拍摄包含路面90在内的车辆1的后方。显示控制装置100能够设置于车辆1的任意位置。显示控制装置100能够与can(controlareanetwork,控制器局域网络)连接。显示控制装置100进行控制以在通过后方摄像机2拍摄的影像上重叠一对预想行进路线,该一对预想行进路线与车辆1的宽度对应、且根据车辆1的后退动作而被绘制。后面叙述细节。

图2是示出实施方式1涉及的车辆1的内部的图。图2是从驾驶座向车辆1的前方向观察车辆1的内部的驾驶室的图。车辆1具有方向盘10、仪表板12、挡风玻璃14、中央控制台16、显示车辆的行驶速度以及引擎转速等的群集面板(clusterpanel)18等。另外,在中央控制台16可以设置有显示导航画面等的中心显示部20。在车辆1中,在群集面板18的上部可以设置有通过平视显示器来显示影像的平视显示器显示部22。在平视显示器为合成仪(combiner)型的情况下,平视显示器显示部22是合成仪。另外,在平视显示器在挡风玻璃14上显示虚像的情况下,平视显示器显示部22是在挡风玻璃14中呈现虚像的区域。另外,车辆1可以具有后视监视器24。后视监视器24被配置在与通常的车辆中的后方确认用的后视镜相同的位置、即配置在挡风玻璃14的上部中央附近。

图3是示出实施方式1涉及的显示控制装置100以及具有显示控制装置100的显示装置40的构成的图。显示装置40具有后方摄像机2、显示部50以及显示控制装置100。显示控制装置100与后方摄像机2以及显示部50可通信地连接。显示控制装置100具有后退动作检测部102、转向信息获取部104、影像数据获取部106、显示影像生成部110、提取部112、位置关系判断部114以及显示控制部120。此外,显示装置40的至少一个构成元件或者全部构成元件可以组合到车辆1中,也可以从车辆1中拆卸来携带。

显示部50显示通过后方摄像机2拍摄的影像。显示部50例如能够通过后视监视器24、群集面板18、中心显示部20或者平视显示器显示部22来实现。另外,显示部50也可以通过能够与显示控制装置100通信的智能手机或者平板电脑终端等的便携式终端装置来实现。另外,显示控制装置100例如可以是内置于中央控制台16等中的计算机装置,也可以是上述的便携式终端装置。

显示控制装置100包括cpu(centralprocessingunit,中央处理器)等处理器、存储器等存储装置、用户界面以及各种外围电路。即,显示控制装置100具有作为计算机的功能。另外,显示控制装置100通过使处理器执行被保存在存储装置中的程序,实现后退动作检测部102、转向信息获取部104、影像数据获取部106、显示影像生成部110、提取部112、位置关系判断部114以及显示控制部120这样的构成元件。另外,显示控制装置100的各构成元件不限于通过基于程序的软件来实现,还可以通过硬件、固件以及软件中的任何组合等来实现。另外,显示控制装置100的各构成元件可以使用例如fpga(field-programmablegatearray,现场可编程门阵列)或者微型计算机等的用户可编程的集成电路来实现。在该情况下,可以使用该集成电路来实现由上述各构成元件构成的程序。这也适用于后面叙述的其他实施方式。

后退动作检测部102检测车辆1的后退动作。例如,后退动作检测部102从can等中获取选择了倒档的信息,并判定车辆1是否为后退动作状态。后退动作检测部102在判定为后退动作状态的情况下,将表示该情况的后退动作信息输出给显示影像生成部110。

转向信息获取部104获取来自can等的信号,从而获取转向角信息,该转向角信息表示车辆1的车轮的转向角。此外,转向角信息除了包括表示转向角度的信息之外,还包括表示如右或左这样的转向方向的信息。此外,转向角信息可以表示方向盘10的转向角。转向信息获取部104将所获取的转向角信息输出给显示影像生成部110。尤其是,转向信息获取部104获取车辆1停止时或后退动作时的转向角信息。

影像数据获取部106获取来自后方摄像机2的影像数据。影像数据获取部106将所获取的影像数据输出给显示影像生成部110。这里,影像数据是表示通过后方摄像机2来拍摄的车辆1的后方的影像的数据。此外,车辆1通过后方动作而停车到停车区域时所拍摄的影像可以包含:表示停车区域的图像、以及表示区域边界的图像,该区域边界是停车区域的边界。

另外,停车区域是车辆1能够停车的停车空间。例如,也可以通过绘制在路面90上的白线等停车区域线来划出停车区域。在该情况下,区域边界对应于绘制在路面90上的停车区域线。另外,停车区域可以不是由停车区域线划出,也可以由墙壁等障碍物划出。在该情况下,区域边界对应于障碍物。另外,停车区域可以无需物理上划出,而仅是停放车辆1时充分的空间。在该情况下,区域边界对应于相邻停放的其他车辆等。此外,即使在通过停车区域线划出停车空间的情况下,也存在停放在相邻停车空间的其他车辆超出停车区域线停放的情况。在该情况下,区域边界对应于超出停车区域线停放的其他车辆。此外,以下,“障碍物”不仅包括墙壁等固定在停车区域附近的物体,还可以包括其他车辆等。

显示影像生成部110在从后退动作检测部102接受到后退动作信息的情况下,生成显示影像数据,该显示影像数据是对通过影像数据获取部106获取的影像数据上重叠了一对预想行进路线和多个辅助线的数据。然后,显示影像生成部110将所生成的显示影像数据输出给显示控制部120。

这里,预想行进路线也可以称为引导线、后退预测轨迹、或者预想轨迹线等。预想行进路线与车辆1的宽度对应,并根据车辆1的后退动作而被绘制。即,在显示影像数据中,一对预想行进路线的宽度与车辆1的宽度对应。而且,预想行进路线表示车辆1的后退动作轨迹的预测。换言之,预想行进路线表示在车辆1以由转向信息获取部104获取的转向角信息来表示的转向角进行了后退动作时的、车辆1的左端和右端在路面90上的预想轨迹。

另外,多个辅助线以在宽度方向上排列的方式分别配置于一对预想行进路线的两侧。即,在一对预想行进路线中的左侧预想行进路线的左侧,在宽度方向上排列多个辅助线。同样,在一对预想行进路线中的右侧预想行进路线的右侧,在宽度方向上排列多个辅助线。辅助线表示在显示影像数据上的车辆1的后方路面上的、从一对预想行进路线的宽度方向的距离。关于辅助线,后面详细叙述。

显示影像生成部110根据转向角决定在显示影像数据上的一对预想行进路线的形状,该转向角通过由转向信息获取部104获取的转向角信息来表示。另外,显示影像生成部110在显示影像数据上决定配置于所决定的形状的一对预想行进路线的两侧的多个辅助线的形状。此外,辅助线的形状可以与预想行进路线的形状对应。然后,显示影像生成部110将所决定的形状的一对预想行进路线和所决定的形状的多个辅助线重叠到通过影像数据获取部106获取的影像数据上。由此,显示影像生成部110生成显示影像数据。并且,显示影像生成部110根据区域边界与辅助线在显示影像数据上的位置关系,变更辅助线显示清晰度。后面详细叙述。

提取部112从通过影像数据获取部106获取的影像数据中提取区域边界。然后,提取部112将表示提取结果的提取数据向位置关系判断部114输出。区域边界的提取可以通过现有的各种方法来得到。例如,提取部112可以通过边缘检测来识别停车区域线、障碍物、或者其他车辆,由此提取区域边界。另外,在区域边界是白线的情况下,提取部112可以通过识别白线来提取区域边界。另外,在显示控制装置100预先存储了字典数据的情况下,该字典数据表示停车区域线和车辆等,提取部112将该字典数据和影像数据内的对象进行比较来识别停车区域线和车辆等,由此提取区域边界。

另外,提取部112识别停车区域。停车区域的识别可以通过现有的各种方法来进行。例如,可以将通过区域边界形成的长方形区域识别为停车区域。

位置关系判断部114获取通过显示影像生成部110生成的显示影像数据。位置关系判断部114判断通过提取部112提取的区域边界和各辅助线在显示影像数据上的位置关系。然后,位置关系判断部114将位置关系数据输出给显示影像生成部110,该位置关系数据表示位置关系的判断结果。

具体而言,位置关系判断部114判断在显示影像数据中辅助线是否比区域边界位于外侧。更具体而言,位置关系判断部114判断在宽度方向上区域边界的外侧是否存在辅助线。在这里,位置关系判断部114在辅助线位于与区域边界相比更靠近停车区域的一侧的位置上时,判断为区域边界的外侧不存在辅助线、即区域边界的内侧存在辅助线。另一方面,位置关系判断部114在辅助线没有位于比区域边界更靠近停车区域的一侧的位置上时,判断为在区域边界的外侧存在辅助线。例如,在停车区域的左侧的区域边界的左侧存在辅助线的情况下,位置关系判断部114判断为该辅助线与区域边界相比的外侧。同样,在停车区域的右侧的区域边界的右侧存在辅助线的情况下,位置关系判断部114判断为该辅助线与区域边界相比的外侧。

显示控制部120从显示影像生成部110接受显示影像数据。然后,显示控制部120进行控制,以使在显示部50显示基于显示影像数据的影像,该显示影像数据通过显示影像生成部110来生成。此外,如后所述,显示影像生成部110进行处理以使得位于与区域边界相比的外侧的辅助线的显示清晰度低于位于与区域边界相比的内侧的辅助线的显示清晰度。因此,在通过显示控制部120的控制来显示的显示影像数据中,多个辅助线的清晰度可以根据与区域边界之间的位置关系而不同。

图4是示出通过实施方式1涉及的显示控制装置100执行的显示控制方法的流程图。另外,图5~图7是例示与在车辆1向后方直行时通过显示影像生成部110生成的显示影像数据相关的影像的图。另外,图8~图10是例示与在车辆1以某一转向角后退时通过显示影像生成部110生成的显示影像数据相关的影像的图。以下,使用图5~图7所示的例子,针对图4所示的流程图进行说明。

当后退动作检测部102检测出车辆1的后退动作时(步骤s100的“是”),转向信息获取部104获取表示车辆1的转向角的转向角信息(步骤s102)。另外,影像数据获取部106获取来自后方摄像机2的影像数据(步骤s104)。

显示影像生成部110生成显示影像数据,该显示影像数据是对通过影像数据获取部106获取的影像数据重叠了一对预想行进路线和多个辅助线的数据(步骤s106)。图5是例示通过实施方式1涉及的显示影像生成部110生成的显示影像数据来表示的影像52的图。此外,图5中例示的影像52是显示于显示部50之前的影像。另外,图5例示了车辆1在停车区域的宽度方向上的大致中央朝向后方直行的情况。

影像52包括停车区域60、位于停车区域60的左侧的区域边界62l、以及位于停车区域60的右侧的区域边界62r。表示这些停车区域60、区域边界62l以及区域边界62r的数据被包含在通过影像数据获取部106获取的影像数据中。此外,以下,在不区分区域边界62l和区域边界62r而进行说明的情况下,简单地称为区域边界62。该情况在以下说明的预想行进路线和辅助线中也相同。

另外,影像52包括引导线200,引导线200包括左侧的预想行进路线202l和右侧的预想行进路线202r。即,引导线200包括一对预想行进路线202。该引导线200根据转向角信息,通过显示影像生成部110绘制。此外,由于影像52是车辆1的后方的影像,因此预想行进路线202l与车辆1的右端的预想轨迹对应,预想行进路线202r与车辆1的左端的预想轨迹对应。

另外,影像52包括位于预想行进路线202l的左侧的辅助线211l、212l、213l、214l。同样,影像52包括位于预想行进路线202r的右侧的辅助线211r、212r、213r、214r。辅助线211l、212l、213l、214l根据预想行进路线202l的形状,通过显示影像生成部110绘制。另外,辅助线211r、212r、213r、214r根据预想行进路线202r的形状,通过显示影像生成部110绘制。此外,辅助线在引导线200的两侧分别配置有四个,但辅助线不限于四个,可以是两个以上的任意数量。

这里,辅助线211l、212l、213l、214l之中辅助线211l最靠近预想行进路线202l。另外,辅助线212l第二个靠近预想行进路线202l,辅助线213l第三个靠近预想行进路线202l,辅助线214l第四个靠近预想行进路线202l。同样,辅助线211r、212r、213r、214r之中,辅助线211r最靠近预想行进路线202r。另外,辅助线212r第二个靠近预想行进路线202r,辅助线213r第三个靠近预想行进路线202r,辅助线214r第四个靠近预想行进路线202r。

这里,辅助线211l、212l、213l、214l被绘制成在与影像52对应的影像数据上的车辆1后方的路面90上,看起来与预想行进路线202l平行。同样,辅助线211r、212r、213r、214r被绘制成在与影像52对应的影像数据上的车辆1后方的路面90上,看起来与预想行进路线202r平行。此外,该情况在图8所示的其他例子中也相同。

即,显示影像生成部110将辅助线重叠成在显示影像数据上的车辆1后方的路面90上看起来沿着预想行进路线202。此外,辅助线只要被绘制成在影像数据上的车辆1后方的路面90上看起来相对于预想行进路线202平行即可,因此无需相对于预想行进路线202严格平行。此外,这里所称的“平行”是指,在影像数据上的车辆1后方的路面90上,辅助线与预想行进路线202之间的距离大致恒定。在显示部50上的影像中,根据透视画法,绘制成随着从车辆1远离而预想行进路线202与辅助线之间的距离变短。

由此,通过将辅助线绘制成在影像数据上的车辆1后方的路面90上看起来平行于预想行进路线202,驾驶员能够感官上掌握停车区域60的宽度方向上的预想位置。即,驾驶员能够容易掌握当车辆1以当前的转向角后退时,车辆1行进到停车区域60的宽度方向上的哪个位置。

另外,辅助线211l、212l、213l、214l被绘制成在与影像52对应的影像数据上的车辆1的后方的路面90上间隔恒定。同样,辅助线211r、212r、213r、214r被绘制成在与影像52对应的影像数据上的车辆1的后方的路面90上间隔恒定。即,显示影像生成部110重叠多个辅助线,以使其在显示影像数据上的车辆1的后方的路面90上间隔恒定。此外,该情况在图8所示的其他例子中也相同。

例如,辅助线可以在与影像52对应的影像数据上的车辆1的后方的路面90上以30cm间隔绘制。在该情况下,辅助线211l被绘制成在显示影像数据上的车辆1的后方的路面90上,预想行进路线202l与辅助线211l之间的间隔为30cm。同样,辅助线211r被绘制成在显示影像数据上的车辆1的后方的路面90上,预想行进路线202r与辅助线211r之间的间隔为30cm。此外,辅助线的间隔可以通过驾驶员等用户等来适当变更。

由此,通过使相邻的辅助线的间隔恒定,多个辅助线发挥如尺子的刻度那样的作用。因此,驾驶员在某些程度能够定量地掌握:车辆1以当前的转向角后退时的车辆1的左右侧面与区域边界62或者周围物体之间的距离。例如,在辅助线的间隔为30cm的例子中,在区域边界62l位于辅助线212l的附近的情况下,驾驶员能够容易掌握:如果车辆1以当前的转向角后退,则当车辆1与区域边界62l之间的距离为大致60cm。

提取部112从通过影像数据获取部106获取的影像数据中提取停车区域的宽度方向的区域边界(步骤s108)。在图5的例子中,提取部112从与影像52相关的影像数据中提取区域边界62l和区域边界62r。

接着,位置关系判断部114判断通过提取部112提取的区域边界与辅助线之间的显示影像数据上的位置关系(步骤s110)。在图5的例子中,位置关系判断部114判断区域边界62l与辅助线211l、212l、213l、214l之间的位置关系。具体而言,位置关系判断部114分别判断辅助线211l、212l、213l、214l是否位于与区域边界62l相比的外侧。同样,位置关系判断部114判断区域边界62r与辅助线211r、212r、213r、214r之间的位置关系。具体而言,位置关系判断部114分别判断辅助线211r、212r、213r、214r是否位于与区域边界62r相比的外侧。

在与区域边界相比的外侧不存在辅助线的情况下(步骤s112的“否”),不进行后面叙述的s114的处理,处理进入s116。另一方面,在与区域边界相比的外侧存在辅助线的情况下(s112的“是”),显示影像生成部110以位于区域边界外侧的辅助线的显示清晰度低于位于区域边界的内侧的辅助线的显示清晰的方式绘制辅助线(步骤s114)。

在图5的例子中,辅助线211l、212l位于与区域边界62l相比的内侧,辅助线213l、214l位于与区域边界62l相比的外侧。因此,显示影像生成部110以使辅助线213l、214l的显示清晰度低于辅助线211l、212l的显示清晰度的方式绘制辅助线。同样,辅助线211r、212r位于与区域边界62r相比的内侧,辅助线213r、214r位于与区域边界62r相比的外侧。因此,显示影像生成部110以使辅助线213r、214r的显示清晰度低于辅助线211r、212r的显示清晰度的方式绘制辅助线。

显示控制部120将基于显示影像数据的影像显示在显示部50(步骤s116),该显示影像数据通过显示影像生成部110来生成。图6是示出针对图5中例示的影像52显示于显示部50的显示影像54的图。在图6所示的显示影像54中,未显示辅助线213l、214l和辅助线213r、214r。由此,通过降低位于与区域边界相比的外侧的辅助线的显示清晰度,驾驶员能够适当掌握停车区域的宽度方向上的车辆1的位置。具体而言,车辆1越靠近区域边界62,位于其区域边界62一侧的辅助线的数量越少。因此,驾驶员通过视觉确认显示部50,能够容易且适当地掌握车辆1靠近对应的辅助线的数量减少的区域边界62侧的情况。并且,驾驶员能够容易且适当地掌握辅助线的数量越少车辆1越靠近区域边界62侧况。

另外,当在显示部50的一个区域边界62的左右显示有多个辅助线时,驾驶员难以视觉确认区域边界62。因此,通过降低与区域边界62相比位于外侧的辅助线的清晰度,驾驶员能够在显示部50上更容易视觉确认区域边界62。

此外,在图6的例子中,位于预想行进路线202l的左侧的辅助线的数量和位于预想行进路线202r的右侧的辅助线的数量均为两个。因此,驾驶员通过视觉确认显示部50,能够容易掌握车辆1后退到停车区域的宽度方向上的大致中央。

图7是例示针对车辆1靠近停车区域60的一侧的状态而显示于显示部50的显示影像54的图。图7示出在车辆1偏向停车区域60的左侧后退时的显示影像54。在该情况下,与图5的例子相比,预想行进路线202l与区域边界62l之间的距离缩小,因此不仅辅助线213l、214l位于与区域边界62l相比的外侧,辅助线212l也位于与区域边界62l相比的外侧。因此,显示影像生成部110以使辅助线212l、213l、214l的显示清晰度低于辅助线211l的显示清晰度的方式绘制辅助线。在图7的例子中,显示影像生成部110删除辅助线212l、213l、214l的显示,辅助线211l的显示清晰度保持原样。

另一方面,与图5的例子相比,预想行进路线202r与区域边界62r之间的距离增加,因此不仅辅助线211r、212r位于与区域边界62r相比的内侧,辅助线213r也位于与区域边界62r相比的内侧。而且,只有辅助线214r位于与区域边界62r相比的外侧。因此,显示影像生成部110以使辅助线214r的显示清晰度低于辅助线211r、212r、213r的显示清晰度的方式绘制辅助线。在图7的例子中,显示影像生成部110删除辅助线214r的显示,辅助线211r、212r、213r的显示清晰度保持原样。

由此,如图7所示,在显示于显示部50的显示影像54中,位于预想行进路线202l的左侧的辅助线的数量为一个,位于预想行进路线202r的右侧的辅助线的数量为三个。因此,驾驶员通过视觉确认显示部50,能够掌握区域边界62l侧的辅助线的数量少于区域边界62r侧的辅助线的数量。因此,驾驶员通过视觉确认显示部50,能够容易且适当掌握车辆1靠近区域边界62l侧。

并且,当辅助线的间隔为30cm时,驾驶员能够容易掌握区域边界62l与车辆1之间的距离为30cm以上且小于60cm。因此,驾驶员能够适当掌握车辆后退时的停车区域的宽度方向上的车辆的位置。

接着,针对车辆1以某转向角后退的情况进行说明。

图8是例示通过由实施方式1涉及的显示影像生成部110生成的显示影像数据来示出的影像52的图。此外,图8中例示的影像52与上述的s106的处理中生成的显示影像数据相关。因此,图8中例示的影像52是在显示于显示部50之前的影像。另外,图8例示车辆1在停车区域的宽度方向上的大致中央以某转向角后退。

与图5所示的例子同样,图8所示的影像52包括停车区域60、区域边界62l以及区域边界62r。另外,图8所示的影像52包括引导线200,引导线200包括预想行进路线202l和预想行进路线202r。在图8所示的例子中,显示影像生成部110绘制预想行进路线202l和预想行进路线202r以使其成为与转向角信息所示的转向角对应的曲线。该曲线的曲率随着转向角的增加而增加。

另外,与图5所示的例子同样,图8所示的影像52包括位于预想行进路线202l的左侧的辅助线211l、212l、213l、214l。同样,图8所示的影像52包括位于预想行进路线202r的右侧的辅助线211r、212r、213r、214r。在图8所示的例子中,显示影像生成部110绘制辅助线211l、212l、213l、214l以使其与预想行进路线202l的弯曲形状对应地成为曲线。同样,显示影像生成部110绘制辅助线211r、212r、213r、214r以使其与预想行进路线202r的弯曲形状对应地成为曲线。由此,辅助线被绘制成看起来平行于预想行进路线202。

另外,在图8的例子中,在上述的s110的处理中,位置关系判断部114判断区域边界62l与辅助线211l、212l、213l、214l之间的位置关系。同样,位置关系判断部114判断区域边界62r与辅助线211r、212r、213r、214r之间的位置关系。然后,位置关系判断部114判定辅助线213r以及辅助线214r与区域边界62r交叉。因此,在上述的s114的处理中,显示影像生成部110以使辅助线213r以及辅助线214r之中与区域边界62r相比位于外侧的部分的显示清晰度降低的方式绘制辅助线。

图9是示出针对图8中例示的影像52而显示于显示部50的显示影像54的图。在图9所示的显示影像54中,未显示辅助线213r以及辅助线214r中的、位于区域边界62r外侧的部分。另一方面,显示有其他辅助线。因此,驾驶员能够掌握在停车区域60的跟前侧、车辆1较靠近区域边界62r。

图10是例示针对车辆1靠近停车区域60的一侧的状态而显示于显示部50的显示影像54的图。图10示出车辆1偏向停车区域60的左侧以某转向角后退时的显示影像54。在该情况下,与图8的例子相比,预想行进路线202l与区域边界62l之间的距离缩小,因此辅助线213l、214l位于与区域边界62l相比的外侧。因此,显示影像生成部110以删除辅助线213l、214l的显示的方式绘制辅助线。另一方面,在预想行进路线202r的右侧显示有辅助线211r、212r、213r、214r。

并且,在图10所示的例子中,辅助线212l与区域边界62l交叉。因此,显示影像生成部110以降低辅助线212l中的与区域边界62l相比位于外侧的部分的显示清晰度的方式绘制辅助线。因此,如图10所示,针对与辅助线212l和区域边界62l之间的交点a相比的跟前侧,显示辅助线212l,针对与交点a相比的里侧,未显示辅助线212l。因此,当辅助线的间隔为30cm时,在车辆1以当前的转向角后退到与交点a对应的位置的情况下,驾驶员能够掌握车辆1接近到了距区域边界62l的距离为60cm的位置。并且,在点b,辅助线211l接近区域边界62l。因此,在车辆1以当前的转向角后退到与交点b对应的位置的情况下,驾驶员能够掌握车辆1接近到了距区域边界62l的距离为30cm的位置。因此,驾驶员能够适当掌握车辆后退时的停车区域的宽度方向上的车辆的位置。由此,驾驶员能够容易掌握车辆1后退至哪个位置时切换转向角较好。

图11是示出辅助线的显示方式的其他例子的图。在图6等所示的例子中,辅助线的显示方式为删除与区域边界62相比位于外侧的辅助线的显示,但辅助线的显示方式不限于此。如图11所示,显示影像生成部110也可以以虚线显示位于与区域边界62相比的外侧的辅助线213l、214l、213r、214r。另外,显示影像生成部110可以使区域边界62外侧的辅助线的浓度低于区域边界62内侧的辅助线的浓度。另外,显示影像生成部110也可以使区域边界62外侧的辅助线比区域边界62内侧的辅助线细。

由此,通过不删除区域边界62外侧的辅助线,驾驶员能够容易掌握从车辆1到区域边界62外侧的物体为止的距离。例如,在车辆1要停放的停车区域60的相邻位置存在其他车辆的情况下,驾驶员能够容易掌握从车辆1到其他车辆为止的距离。

另外,显示影像生成部110也可以使辅助线的显示方式做成与预想行进路线202的显示方式不同。例如,如图11所示,显示影像生成部110可以以实线显示预想行进路线202,以虚线显示辅助线。另外,显示影像生成部110可以使辅助线的颜色不同于预想行进路线202的颜色。另外,显示影像生成部110也可以使辅助线的粗细不同于预想行进路线202的粗细。另外,显示影像生成部110也可以使辅助线的浓度不同于预想行进路线202的浓度。通过这样的显示方式,驾驶员能够容易区分辅助线和预想行进路线202。

另外,显示影像生成部110也可以将各辅助线的显示方式做成不同于其他辅助线的显示方式。在该情况下、显示影像生成部110也可以使靠近预想行进路线202的辅助线更突出。例如,如图11所示,显示影像生成部110也可以将越靠近预想行进路线202的辅助线显示为越粗。另外,显示影像生成部110也可以将越靠近预想行进路线202的辅助线越以突出的颜色显示。例如,辅助线211以红色显示,辅助线212以橙色显示,辅助线213以黄色显示,辅助线214以青色显示。

通过这样的显示方式,驾驶员能够容易区分各辅助线。并且,通过将靠近预想行进路线202的辅助线更突出地显示,驾驶员能够容易掌握靠近预想行进路线202的辅助线。由此,在突出的显示方式的辅助线位于区域边界62的附近的情况下,驾驶员能够容易判断在停车区域60的宽度方向上、车辆1位于更靠近该区域边界62的位置。

(实施方式2)

接着,对实施方式2进行说明。需要说明的是,关于实施方式2涉及的车辆1的结构和显示装置40的结构,由于与图1~图3所示的实施方式1涉及的结构实质上相同,因此省略说明。

图12是示出实施方式2涉及的处理的流程图。图12所示的处理在图4所示的流程图中的s108的处理与s110的处理之间进行。提取部112从通过影像数据获取部106获取的影像数据中提取位于停车区域的宽度方向的附近的障碍物(步骤s202)。障碍物的提取可以通过与边缘检测等的、区域边界的提取方法相同的方法进行。这里,“位于停车区域的宽度方向的附近的障碍物”包括在与影像数据相关的影像中、显示于与区域边界相比的外侧的障碍物。另外,在区域边界由障碍物构成的情况下,包括构成该区域边界的障碍物。

接着,位置关系判断部114判断通过提取部112提取的障碍物与各辅助线在显示影像数据上的位置关系(步骤s204)。具体而言,位置关系判断部114判定各辅助线是否与障碍物重叠。在不存在与障碍物重叠的辅助线的情况下(步骤s206的“否”),不进行后面叙述的s208的处理,结束图12所示的处理。另一方面,在存在与障碍物重叠的辅助线的情况下(步骤s206的“是”),显示影像生成部110以与障碍物重叠的辅助线的显示比不与障碍物重叠的辅助线的显示更突出方式绘制辅助线(步骤s208)。以下,举出具体例子进行说明。

图13是例示实施方式2涉及的显示影像54显示于显示部50上的状态的图。在图13所示的显示影像54中,在区域边界62l的外侧即左侧附近,显示有例如其他车辆等障碍物70。而且,如箭头c所示,辅助线212l与障碍物70重叠。因此,显示影像生成部110使辅助线212l的显示比其他辅助线的显示更突出。例如,如图13所示,显示影像生成部110可以使辅助线212l比辅助线211l更粗。另外,显示影像生成部110可以使辅助线212l的颜色比辅助线211l的颜色更突出。另外,显示影像生成部110可以使辅助线212l闪烁。此外,与实施方式1同样,显示影像生成部110使辅助线212l中的与区域边界62l相比的外侧的部分(由箭头d表示)的清晰度低于与区域边界62l相比的内侧的部分(由箭头e表示)的清晰度。

在区域边界由停车区域线构成的情况下,即使车辆1横跨停车区域线,也不会损伤车辆1或者其他物体。然而,当车辆1与障碍物70接触时,可能损伤车辆1或者障碍物70。另外,在将车辆1停放在停车区域60时,若过分靠近障碍物70,则当车辆1的门打开时,门可能与障碍物70接触。或者,当想要避免门与障碍物70之间的接触时,可能无法把门打开或关闭成乘客能够乘坐的程度。

另一方面,如实施方式2所示,通过突出显示与障碍物70重叠的辅助线,驾驶员能够更容易掌握从车辆1到障碍物70为止的距离。由此,驾驶员能够更容易操作车辆1以避免如上所述的问题。在图13所示的例子中,驾驶员能够更容易掌握当车辆1后退到与由箭头c表示的位置对应的位置时,车辆1接近到了距障碍物70的距离为60cm的位置。

此外,在实施方式1中,构成为靠近预想行进路线202的辅助线的显示方式为突出显示,然而,与障碍物70重叠的辅助线的显示方式也可以与靠近预想行进路线202的辅助线的显示方式不同。例如,在将靠近预想行进路线202的辅助线的颜色设为更突出的颜色情况下,可以使与障碍物70重叠的辅助线闪烁。另外,在将靠近预想行进路线202的辅助线的粗细设为更粗的情况下,可以将与障碍物70重叠的辅助线的颜色设为比其他辅助线的颜色更突出。由此,驾驶员能够容易区分掌握车辆1与区域边界之间的距离和车辆1与障碍物70之间的距离。

(实施方式3)

接着,对实施方式3进行说明。需要说明的是,针对与上述的实施方式中说明的元件实质上相同的构成元件,标注相同的符号。

图14是示出实施方式3涉及的车辆1的图。车辆1具有后方摄像机2、前方摄像机3、侧面摄像机4以及显示控制装置100。前方摄像机3设置于车辆1的前方,并拍摄包含路面90在内的车辆1的前方。侧面摄像机4分别设置于车辆1的左右,并拍摄包含路面90在内的车辆1的左方和右方。因此,后方摄像机2、前方摄像机3以及侧面摄像机4是拍摄车辆1的周围的摄像机。此外,在实施方式3中,前方摄像机3和侧面摄像机4并不是必需的。另外,实施方式3涉及的车辆1具有图2所示的内部结构。

实施方式3涉及的显示控制装置100能设置于车辆1的任意位置。显示控制装置100能够与can连接。显示控制装置100进行控制以对通过后方摄像机2等拍摄的影像重叠距离显示线,该距离显示线表示距当前的车辆1的距离或者距车辆1的将来的位置的距离。后面叙述细节。此外,该情况在后面叙述的其他实施方式中也相同。

图15是示出实施方式3涉及的显示控制装置100以及具有显示控制装置100的显示装置40的结构的图。显示装置40具有后方摄像机2、识别字典42、显示部50以及显示控制装置100。显示控制装置100以能够通信的方式与后方摄像机2、识别字典42以及显示部50连接。

显示控制装置100具有车辆信息获取部1102、影像数据获取部1106、影像处理部1110以及显示控制部1120。另外,影像处理部1110具有物体检测部1112以及显示影像生成部1114。需要说明的是,实施方式3涉及的显示装置40中的至少一个构成元件或者全部构成元件可以组装到车辆1,也可以从车辆1中拆卸而携带。该情况在后面叙述的其他实施方式中也相同。

识别字典42例如为存储器等存储装置。识别字典42中存储有物体检测部1112从影像数据中检测物体时所需的字典数据。字典数据是用于通过图像识别处理从影像数据中识别出限定车辆1的目标位置的物体的数据。例如,识别字典42中作为该“限定车辆1的目标位置的物体”而存储有与停车边界线、停车区域线、路缘石、其他车辆或者墙壁等障碍物等的物体相关的字典数据。此外,以下,在“车辆1的目标位置”为停车区域的情况下,即,在车辆1在停车区域内进行停车的情况下,将“限定车辆1的目标位置的物体”称为区域边界,该区域边界是停车区域的边界。换句话说,与上述的实施方式同样地,“区域边界”能够包括上述停车边界线、停车区域线、路缘石、其他车辆或者墙壁等障碍物等。

实施方式3涉及的显示控制装置100包括cpu等处理器、存储器等存储装置、用户界面以及各种外围电路。即,显示控制装置100具有作为计算机的功能。另外,显示控制装置100通过处理器执行保存于存储装置的程序,来实现如车辆信息获取部1102、影像数据获取部1106、影像处理部1110以及显示控制部1120这样的构成要素。

车辆信息获取部1102从can和转向角传感器等中获取与车辆1的动作相关的车辆信息。具体而言,车辆信息获取部1102从can等中获取后退动作信息,该后退动作信息是表示倒车档被选择的情况的信息。这时,车辆信息获取部1102将该后退动作信息输出给影像处理部1110。

另外,车辆信息获取部1102通过获取来自can或者转向角传感器等的信号,获取表示车辆1的车轮的转向角的转向角信息。需要说明的是,转向角信息除了包括表示转向角度的信息之外,还包括如右或左那样的表示转向方向的信息。此外,转向角信息可以表示方向盘10的转向角。车辆信息获取部1102将所获取的转向角信息输出给影像处理部1110。尤其是,车辆信息获取部1102获取车辆1停止时或后退动作时的转向角信息。

影像数据获取部1106获取来自后方摄像机2的影像数据。影像数据获取部1106将所获取的影像数据输出给影像处理部1110。这里,影像数据是表示通过后方摄像机2拍摄了车辆1后方的影像的数据。此外,当车辆1通过后退动作停车到停车区域时所拍摄的影像能够包括表示停车区域的图像、以及表示区域边界的图像,该区域边界是停车区域的边界。

另外,与上述的实施方式同样,停车区域可以是车辆1能够停车的停车空间。例如,可以通过绘制于路面90上的白线等停车区域线来划出停车区域。在该情况下、区域边界即“限定车辆1的目标位置的物体”对应于绘制在路面90上的停车区域线。另外,停车区域可以不是由停车区域线划出。也可以通过墙壁等障碍物划出。在该情况下,区域边界即“限定车辆1的目标位置的物体”对应于障碍物。另外,停车区域无需在物理上划出,可以仅是停放车辆1时充分的空间。在该情况下,区域边界即“限定车辆1的目标位置的物体”对应于相邻停放的其他车辆等。此外,即使在通过停车区域线来划出停车空间的情况下,也存在相邻停车空间的其他车辆超出停车区域线停放的情况。在该情况下,区域边界即“限定车辆1的目标位置的物体”对应于超出停车区域线停放的其他车辆。此外,以下,“障碍物”不仅包括墙壁等固定在停车区域附近的物体,还包括其他车辆等。

影像处理部1110当从车辆信息获取部1102中获取到后退动作信息时,进行用于生成显示影像数据的处理,该显示影像数据表示显示于显示部50的影像。然后,影像处理部1110将所生成的显示影像数据输出给显示控制部1120。

物体检测部1112从通过影像数据获取部1106获取的影像数据中,使用存储于识别字典42中的字典数据,检测限定车辆1的目标位置的物体。这里,在“目标位置”为停车区域的情况下,物体检测部1112使用字典数据从影像数据中检测区域边界。然后,物体检测部1112将检测数据输出给显示影像生成部1114,该检测数据表示所检测出的物体。

具体而言,物体检测部1112通过图像识别处理从影像数据中识别物体、即区域边界。区域边界的识别可以通过现有的各种方法来进行。例如,物体检测部1112可以通过对影像数据进行边缘检测来识别包含于影像数据内的对象。物体检测部1112可以将存储于识别字典42的字典数据和影像数据内的对应进行比较来识别停车区域线和车辆等,由此提取区域边界。另外,在停车区域为白线的情况下,物体检测部1112可以通过从影像数据中识别白线来检测区域边界。

此外,物体检测部1112可以从影像数据中识别停车区域。停车区域的识别可以通过现有的各种方法来进行。例如,物体检测部1112可以将通过区域边界形成的长方形区域识别为停车区域。另外,物体检测部1112不仅从通过影像数据获取部1106获取的影像数据中,还可以从通过后面叙述的通过显示影像生成部1114生成的显示影像数据中,使用存储于识别字典42的字典数据,检测限定车辆1的目标位置的物体。

显示影像生成部1114生成对通过影像数据获取部1106获取的影像数据重叠了引导线的显示影像数据。然后,显示影像生成部1114将所生成的显示影像数据输出给显示控制部1120。

这里,实施方式3涉及的引导线能够改称为预想行进路线、后退预测轨迹、或者预想轨迹线等。引导线与车辆1的宽度对应、且根据车辆1的后退动作而被绘制。即,在显示影像数据中,引导线的宽度与车辆1的宽度对应。而且,引导线表示车辆1的后退动作的轨迹的预测。换句话说,引导线表示在车辆1以转向角进行后退动作时的车辆1的左端和右端在路面90上的预想轨迹,该转向角通过由车辆信息获取部1102获取的转向角信息来表示。因此,显示影像生成部1114根据转向角信息来决定引导线的形状。

并且,实施方式3涉及的引导线可以包括表示距车辆1为预定距离的距离显示线。另外,引导线也可以包括表示距预想轨迹中的位置为预定距离的距离显示线。即,引导线表示车辆1的预想轨迹,并且表示从车辆1到区域边界等的影像数据中的各对象为止的、当前以及将来的距离。后面叙述细节。

另外,显示影像生成部1114在通过物体检测部1112检测出的物体即区域边界的位置接近距离显示线的位置的情况下,生成再将辅助线重叠到所述影像数据的显示影像数据,该辅助线表示与该距离显示线的位置相比、离车辆更近的距离处的位置。这里,实施方式3涉及的“辅助线”是用于辅助适当地掌握距离的线,这是因为,紧靠引导线有可能无法适当掌握到区域边界为止的距离。后面详细叙述。此外,显示影像生成部1114根据转向角信息还可以决定辅助线的形状。这时,辅助线的形状可以与引导线的形状对应。

显示控制部1120从影像处理部1110的显示影像生成部1114接受显示影像数据。然后,显示控制部1120进行控制以将基于显示影像数据的影像显示在显示部50,该显示影像数据通过显示影像生成部1114来生成。此外,如后所述,显示影像生成部1114根据影像数据中的距离显示线与区域边界(即,物体)之间的距离,进行处理以将辅助线重叠到显示影像数据。因此,在通过显示控制部1120的控制来显示的显示影像数据中,辅助线的有无可以根据距离显示线与区域边界之间的位置关系而不同。

图16是示出通过实施方式3涉及的显示控制装置100来执行的显示控制方法的流程图。另外,图17~图20是例示与车辆1向后方直行时通过显示影像生成部1114生成的显示影像数据相关的影像的图。另外,图21~图22是例示与车辆1以某转向角后退时通过显示影像生成部1114生成的显示影像数据相关的影像的图。以下,使用图17~图20所示的例子来进行图16所示的流程图的说明。

当车辆信息获取部1102检测到车辆1的后退动作时(步骤s300的“是”)、车辆信息获取部1102获取表示车辆1的转向角的转向角信息(步骤s302)。另外,影像数据获取部1106获取来自后方摄像机2的影像数据(步骤s304)。

显示影像生成部1114生成对通过影像数据获取部1106获取的影像数据重叠了包含距离显示线在内的引导线的显示影像数据(步骤s306)。图17是例示通过由实施方式3涉及的显示影像生成部1114生成的显示影像数据来表示的后方影像56的图。图17例示着显示部50显示了后方影像56的情况,该后方影像56表示车辆1朝向停车区域向后方直行的状态。

后方影像56包括路面90、停车区域60、位于停车区域60的左侧的区域边界62l、位于停车区域60的右侧的区域边界62r、以及位于停车区域60的后方的区域边界62a。这些表示停车区域60、区域边界62l、区域边界62r以及区域边界62a的数据被包含在通过影像数据获取部1106获取的影像数据中。此外,以下,在不区分区域边界62l、区域边界62r以及区域边界62a来进行说明的情况下,简单称为区域边界62。该情况在以下说明的引导线中也相同。

后方影像56包括引导线1200,引导线1200包括左侧的预想轨迹线1202l和右侧的预想轨迹线1202r。即,引导线1200包括以竖线形成的一对预想轨迹线1202。该引导线1200根据转向角信息,通过显示影像生成部1114来绘制。此外,后方影像56是车辆1的后方的影像,因此预想轨迹线1202l与车辆1的右端的预想轨迹对应,预想轨迹线1202r与车辆1的左端的预想轨迹对应。

另外,引导线1200包括表示从当前的车辆1的后端的距离的距离显示线1204a、1204b、1204c、1204d。即,引导线1200包括以横线形成且表示离车辆1的预定距离的距离显示线1204。距离显示线1204a表示距车辆1的后端为距离da的位置。同样,距离显示线1204b、1204c、1204d分别表示距车辆1的后端为距离db、距离dc、距离dd的位置。例如,距离da、距离db、距离dc、距离dd分别为0.4m、1.0m、2.0m、3.0m。此外,距离显示线1204的数量是任意的。

此外,预想轨迹线1202l表示在车辆1的预想轨迹中距车辆1的右侧面为0.0m的距离。同样,预想轨迹线1202r表示在车辆1的预想轨迹中距车辆1的左侧面为0.0m的距离。因此,预想轨迹线1202l以及预想轨迹线1202r还称为距离显示线。该情况在后面叙述的实施方式4涉及的预想轨迹线中也相同。

由此,通过使后方影像56包含引导线1200,驾驶员能够掌握车辆1以当前的转向角后退时的车辆1的预想轨迹。另外,通过显示距离显示线1204,驾驶员能够掌握从车辆1的后端到区域边界62a为止的大致距离。

物体检测部1112从通过影像数据获取部1106获取的影像数据中提取停车区域的区域边界、即“限定车辆1的目标位置的物体”(步骤s308)。在图17的例子中,物体检测部1112从与后方影像56相关的影像数据中提取区域边界62l、区域边界62r以及区域边界62a。

接着,显示影像生成部1114判断区域边界62的位置是否接近与距离显示线n对应的位置(步骤s312)。这里,距离显示线n是距离显示线1204a、1204b、1204c、1204d中的任何一者。优选的是,距离显示线n是相对于区域边界62位于车辆1侧(即,跟前侧)的距离显示线1204。更优选的是,距离显示线n是与如下位置对应的距离显示线1204(第一距离显示线),该位置是相对于区域边界62位于车辆1的侧(即,跟前侧)的多个距离显示线1204的位置之中、位于最靠近区域边界62的位置。此外,在图17的例子中,显示影像生成部1114判断区域边界62a的位置是否沿着车辆1的行进方向接近与距离显示线1204d对应的位置。另外,“与距离显示线n对应的位置”是指,在实际的路面90上,距车辆1的后端为距离显示线n所示的距离的位置。例如,与距离显示线1204d对应的位置是指,距车辆1的后端为距离dd(=2.0m)的位置。

这里,显示影像生成部1114在判断为区域边界62a的位置和与距离显示线对应的位置之间的距离δdn为预定的阈值dth以下的情况下、即在δdn≤dth的情况下,判断为区域边界62的位置接近距离显示线n的位置。换句话说,显示影像生成部1114判断是否为δdn≤dth(s312)。即,显示影像生成部1114判断通过物体检测部1112检测的物体(即,区域边界62的位置)和与距离显示线n对应的位置之间的距离是否为预定的第一阈值以下。

此外,当将距离显示线n表示的距离、即从车辆1的后端到与距离显示线n对应的位置为止的距离设为dn、将从车辆1的后端到区域边界62a为止的距离设为dx时,δdn=dx-dn。例如,在距离显示线n为距离显示线1204d的情况下,δdn=dx-dd。另外,δdn可以是区域边界62的位置与距离显示线1204的位置之间的距离的最小值、即区域边界62的位置与距离显示线1204的位置最近处的距离。

另外,关于阈值dth,对于各距离显示线1204可以不是恒定的,可以按照各距离显示线1204而不同。即,与距离显示线1204a相关的阈值dth和与距离显示线1204d相关的阈值dth可以彼此不同。此外,与距离显示线1204d相关的阈值dth可以例如为0.2m。即,在da=3.0m的例子中,在从车辆1的后端到区域边界62a为止的距离dx为3.2m的情况下,显示影像生成部1114可以判断为区域边界62接近与距离显示线n对应的位置。

此外,显示影像生成部1114可以通过图像处理来进行是否为δdn≤dth的判断。例如,显示影像生成部1114可以根据显示影像数据中的区域边界62的图像与距离显示线n的图像之间的像素数量来计算δdn。这里,通过透视画法,根据深度位置,像素数量与距离之间的关系发生变化。因此,显示影像生成部1114可以在显示影像数据中根据深度方向而存储像素数与距离之间的关系。并且,显示影像生成部1114可以存储各距离显示线1204附近的像素数量和与该距离显示线1204对应的位置的实际距离之间的关系。而且,显示影像生成部1114可以在显示影像数据中对区域边界62的图像与距离显示线n的图像之间的像素数量进行计数,并根据该像素数量来计算δdn。

在判断为区域边界62未接近与距离显示线n对应的位置的情况下,即在判断为不是δdn≤dth的情况下(s312的“否”),不进行后面叙述的s314的处理,处理进入s316。另一方面,在判断为区域边界62接近了与距离显示线n对应的位置的情况下,即在判断为变成δdn≤dth的情况下(s312的“是”),显示影像生成部1114将辅助线重叠到与距离显示线n的位置相比离车辆1更近的距离处的位置(步骤s314)。即,显示影像生成部1114这时生成将辅助线进一步重叠到影像数据的显示影像数据,该辅助线表示与距离显示线n的位置相比离车辆1更近的距离处的位置。然后,显示控制部1120将基于显示影像数据的影像显示在显示部50(步骤s316),该显示影像数据通过显示影像生成部1114来生成。

在图17的例子中,离区域边界62a最近的距离显示线1204是距离显示线1204d。因此,显示影像生成部1114计算与距离显示线1204d对应的位置和区域边界62a的位置之间的距离δdn。然后,显示影像生成部1114判断为δdn>dth、即区域边界62a未接近与距离显示线1204d对应的位置(s312的“否”)。因此,在图17的例子中,显示影像生成部1114未向影像数据重叠辅助线。

图18是例示后方影像56的图,该后方影像56表示车辆1与图17所示的状态相比进一步后退的状态。在图18所示的状态中,与图17所示的状态相比,区域边界62a的位置更接近距离显示线1204d的位置。这里,显示影像生成部1114计算与距离显示线1204d对应的位置和区域边界62a的位置之间的距离δdn,且其结果为δdn≤dth。

在该情况下,在s312的处理中,显示影像生成部1114判断为δdn≤dth。即,显示影像生成部1114判断为区域边界62接近了与距离显示线1204d对应的位置(s312的“是”)。因此,显示影像生成部1114重叠辅助线1300d,该辅助线1300d表示与距离显示线1204d的位置相比离车辆1更近的距离处的位置(s314)。这里,辅助线1300d的显示方式可以与距离显示线1204的显示方式不同。在图18的例子中,距离显示线1204由实线表示,与此相对,辅助线1300d由虚线表示。另外,也可以使辅助线1300d的粗细比距离显示线1204细。该情况在其他辅助线1300以及其他实施方式涉及的辅助线中也相同。

由此,通过重叠辅助线1300d,在区域边界62a附近表示距车辆1后端的距离的线显示得较多。因此,驾驶员能够某程度上定量掌握从车辆1的后端到区域边界62a为止的距离。即,驾驶员能够某程度上定量掌握车辆1的后端接近区域边界62a的程度。再换句话说,驾驶员能够某程度上定量掌握当将车辆1后退到什么程度时,以什么样的程度接近区域边界62a。因此,驾驶员能够适当掌握到区域边界62a为止的距离。并且,通过将辅助线1300d显示于后方影像56,驾驶员能够立即掌握从车辆1的后端到区域边界62a为止的距离为3.0m左右的情况。

这里,优选的是,显示影像生成部1114在距离显示线1204d与距离显示线1204c之间重叠显示辅助线1300d。即,当将从车辆1的后端到辅助线1300d的位置为止的距离设为dsd时,dd>dsd>dc。另外,如上述的例子所述,当dd=3.0m、dc=2.0时,可以设为dsd=2.5m。这时,辅助线1300d表示二等分了距离显示线1204d与距离显示线1204c之间的距离的位置。

图19是例示后方影像56的图,该后方影像56表示车辆1比图18所示的状态进一步后退的状态。在图19所示的状态中,区域边界62a的位置正接近距离显示线1204c的位置。此外,距离显示线1204d处于比区域边界62a更远离车辆1的位置。这时,显示影像生成部1114计算与距离显示线1204c对应的位置和区域边界62a的位置之间的距离δdn,其结果为δdn≤dth。

在该情况下,在s312的处理中,显示影像生成部1114判断为δdn≤dth。即,显示影像生成部1114判断为区域边界62接近了与距离显示线1204c对应的位置(s312的“是”)。因此,显示影像生成部1114重叠辅助线1300c,该辅助线1300c表示与距离显示线1204c的位置相比离车辆1更近的距离处的位置(s314)。由此,通过重叠辅助线1300c,驾驶员能够适当掌握到区域边界62a为止的距离。并且,通过使辅助线1300c显示于后方影像56,驾驶员能够立即掌握从车辆1的后端到区域边界62a为止的距离为2.0m左右。

这里,如图18的例子所述,显示影像生成部1114在距离显示线1204c与距离显示线1204b之间重叠辅助线1300d而显示。即,当将从车辆1的后端到辅助线1300c的位置为止的距离设为dsc时,dc>dsc>db。另外,如上述的例子所述,当dc=2.0m、db=1.0时,可以设为dsc=1.5m。这时,辅助线1300c表示二等分了距离显示线1204c与距离显示线1204b之间的距离的位置。

图20是例示表示车辆1比图19所示的状态进一步后退的状态的后方影像56的图。在图20所示的状态中,区域边界62a的位置正接近距离显示线1204a的位置。此外,距离显示线1204d、1204c、1204b处于比区域边界62a更远离车辆1的位置。这时,显示影像生成部1114计算与距离显示线1204a对应的位置和区域边界62a的位置之间的距离δdn,其结果为δdn≤dth。

在该情况下,在s312的处理中,显示影像生成部1114判断为δdn≤dth。即,显示影像生成部1114判断为区域边界62接近了与距离显示线1204a对应的位置(s312的“是”)。因此,显示影像生成部1114重叠辅助线1300a,该辅助线1300a表示与距离显示线1204a的位置相比离车辆1更近的距离处的位置(s314)。由此,通过重叠辅助线1300a,驾驶员能够适当掌握到区域边界62a为止的距离。并且,通过使辅助线1300a显示于后方影像56,驾驶员能够立即掌握从车辆1的后端到区域边界62a为止的距离为0.4m左右。

这里,距离显示线1204a是多个距离显示线1204之中最靠近车辆1的距离显示线1204。在该情况下,显示影像生成部1114在距离显示线1204a与车辆1的后端之间重叠显示辅助线1300a。即,当将从车辆1的后端到辅助线1300a的位置为止的距离设为dsa时,da>dsa>0。另外,如上述的例子所述,当da=0.4m时,可以设为dsa=0.2m。这时,辅助线1300a表示二等分了距离显示线1204a与车辆1的后端之间的距离的位置。

此外,显示影像生成部1114可以以比其他辅助线1300更突出的显示方式重叠显示与距离显示线1204a相关的辅助线1300a,该距离显示线1204a是离车辆1最近的距离显示线1204。例如,可以通过红色等突出的颜色显示辅助线1300a。另外,可以将辅助线1300a显示为比其他辅助线1300更粗。另外,可以以闪烁的方式显示辅助线1300a。

显示辅助线1300a是指,车辆1的后端与区域边界62a之间的距离和离车辆1的后端最近的距离显示线1204a所表示的距离的相同程度越大,车辆1越接近区域边界62a。因此,如上所述,能够通过以突出的显示方式显示辅助线1300a,向驾驶员警告车辆1正接近区域边界62a。

如上所述,在区域边界62接近了距离显示线1204的情况下,本实施方式涉及的显示控制装置100生成还重叠了辅助线1300的显示影像数据,该辅助线1300表示比该距离显示线1204更近的位置。因此,在区域边界62a附近较多地显示表示离车辆1的后端的距离的线。由此,与不显示辅助线1300的情况相比,驾驶员能够一见就精确地掌握从车辆1的后端到区域边界62a为止的距离。因此,本实施方式涉及的显示控制装置100能够使驾驶员适当且迅速掌握到区域边界62a为止的距离。

另外,如上所述,在本实施方式中,构成为在区域边界62a接近某距离显示线1204时,重叠与该距离显示线1204相关的辅助线1300。换句话说,仅显示和与离区域边界62a最近的位置对应的距离显示线1204相关的辅助线1300,而不显示与其他距离显示线1204相关的辅助线1300。这里,如果始终显示全部辅助线1300,则显示内容变得复杂,对于驾驶员来说繁杂,因此有时可能发生驾驶员不能立刻掌握到区域边界62a为止的距离的情况。与此相对,在本实施方式中,如上所述,不显示全部辅助线1300,而仅显示区域边界62a附近的辅助线1300。因此,显示影像不仅不复杂,还能够详细显示驾驶员想要知道的信息、即区域边界62a附近的距离信息。因此,驾驶员能够更适当且迅速掌握到区域边界62a为止的距离。

另外,如上所述,在本实施方式中,例如在图18的例子中,构成为在距离显示线1204d(第一距离显示线)与距离显示线1204c(第二距离显示线)之间重叠辅助线1300d,距离显示线1204d与离区域边界62a位置最近的位置对应,距离显示线1204c与距离显示线1204d相邻、且表示与距离显示线1204d相比离车辆1更近的距离。由此,即使驾驶员没有掌握辅助线1300所示的距离,驾驶员也能够直观地掌握辅助线1300所示的大致距离。

并且,在上述的例子中,辅助线1300表示整数等分(例如,二等分)了彼此相邻的距离显示线1204之间的距离的位置。即,可以重叠辅助线1300以使以下的式(1)成立。

式(1):

dsn=d(n-1)+k*{dn-d(n-1)}/m

这里,m和k是整数,k<m。另外,d(n-1)是距离显示线n的前一个(跟前侧)距离显示线所示的距离。由此,彼此相邻的距离显示线1204与它们之间的辅助线1300发挥刻度的作用,因此驾驶员能够更精确地掌握从车辆1到区域边界62a为止的距离。

另外,如上所述,在本实施方式中,区分辅助线1300的显示方式与距离显示线1204的显示方式。由此,驾驶员能够容易掌握如标尺的刻度那样哪个线表示哪个距离。因此,驾驶员能够更适当且迅速掌握到区域边界62a为止的距离。

对重叠显示了辅助线1300之后的处理示例进行说明。例如,当车辆1通过后退从图18所示的状态向图19所示的状态变化时,辅助线1300d的显示一直持续到区域边界62a超过距离显示线1204d的位置而到达辅助线1300d的位置为止。然后,辅助线1300d的显示在区域边界62a到达辅助线1300d的位置时结束。关于图19所示的辅助线1300c也相同。此外,辅助线1300a的显示优选在区域边界62a到达辅助线1300a的位置的情况下也继续进行。这些辅助线1300的显示结束处理在其他实施方式中也通用。

在上述的实施方式中,说明了针对车辆1的行进方向重叠显示辅助线的例子。接着,说明针对车辆1的宽度方向重叠显示辅助线的情况。

图21是例示通过由显示影像生成部1114生成的显示影像数据表示的后方影像56的图。图21例示显示部50显示了后方影像56的情况,该后方影像56表示车辆1朝向停车区域以某转向角后退的状态。

与图17所示的例子同样地,图21所示的后方影像56包括停车区域60、区域边界62l、区域边界62r以及区域边界62a。另外,图21所示的后方影像56包括引导线1200,引导线1200包括预想轨迹线1202l和预想轨迹线1202r、以及距离显示线1204a、1204b、1204c、1204d。在图21所示的例子中,显示影像生成部1114绘制预想轨迹线1202l和预想轨迹线1202r,以使其成为与转向角信息所示的转向角对应的曲线。该曲线的曲率随着转向角增加而增加。另外,显示影像生成部1114绘制距离显示线1204a、1204b、1204c、1204d,使其以与该预想轨迹线1202l和预想轨迹线1202r的弯曲对应的方式倾斜。

另外,在图21所示的例子中,引导线1200在预想轨迹线1202l的左侧和预想轨迹线1202r的右侧分别还包括距离显示线1206l和距离显示线1206r。距离显示线1206l表示从预想轨迹线1202l向左侧距离dl的位置。距离显示线1206r表示从预想轨迹线1202r向左侧距离dr的位置。例如,dl=dr=1.0m。另外,距离显示线1206的形状与预想轨迹线1202同样地,与转向角连动地弯曲。由此,距离显示线1206被绘制成看起来平行于预想轨迹线1202。此外,预想轨迹线1202表示从车辆1的预想轨迹中的位置的距离为0.0m的位置。因此,预想轨迹线1202也可以称为距离显示线。此外,在图21的例子中,距离显示线1206的数量为左右各一根,但距离显示线1206的数量为任意。

在图21的例子中,显示影像生成部1114判断区域边界62的位置是否接近与距离显示线n对应的位置(s312)。这里,在图21的例子中,距离显示线n是距离显示线1206l,区域边界62是区域边界62l。显示影像生成部1114判断区域边界62l的位置和与距离显示线1206l对应的位置最接近处(由箭头a表示)的距离δdn是否为预定的阈值dth以下。此外,如上所述,关于距离δdn的计算方法,可以通过图像处理进行。即,显示影像生成部1114预先存储某深度方向上的距离与像素数量之间的关系,在由箭头a表示的位置,可以根据区域边界62l的位置和与距离显示线1206l对应的位置之间的像素数量来计算出δdn。此外,阈值dth无需和与距离显示线1204相关的值相同。并且,阈值dth无需针对距离显示线1206l和距离显示线1206r相同。

在图21的例子中,显示影像生成部1114判断为δdn>dth、即区域边界62l未接近与距离显示线1206l对应的位置(s312的“否”)。因此,显示影像生成部1114不对影像数据重叠辅助线。

图22是例示后方影像56的图,该后方影像56示出了车辆1比图21所示的状态更后退的状态。在图22所示的状态中,与图21所示的状态相比,区域边界62l的位置更接近距离显示线1206l的位置。这里,显示影像生成部1114计算与距离显示线1206l对应的位置和区域边界62l的位置之间的距离δdn,其结果为δdn≤dth。

在该情况下,在s312的处理中,显示影像生成部1114判断为δdn≤dth。即,显示影像生成部1114判断为区域边界62l接近了与距离显示线1206l对应的位置(s312的“是”)。因此,显示影像生成部1114重叠辅助线1310l,辅助线1310l表示与距离显示线1206l的位置相比离车辆1的预想轨迹线1202更近的距离处的位置(s314)。此外,距离显示线1206以实线表示,与次相对,辅助线1310l以虚线表示。

由此,通过重叠辅助线1310l,驾驶员能够某程度上定量掌握从预想轨迹线1202l到区域边界62l为止的距离。即,当车辆1以当前的转向角后退到与箭头b对应的位置时,驾驶员能够掌握车辆1接近区域边界62l到什么程度。因此,驾驶员能够适当掌握从预想的车辆1的轨迹到区域边界62l为止的距离。并且,通过使辅助线1310l显示于后方影像56,驾驶员能够立即掌握当车辆1以当前的转向角后退时到区域边界62l为止的距离为1.0m左右。

这里,显示影像生成部1114与预想轨迹线1202l和距离显示线1206l的弯曲形状对应地,将辅助线1310l绘制成曲线。因此,辅助线1310l被绘制成看起来平行于预想轨迹线1202和距离显示线1206l。

这里,优选的是,显示影像生成部1114在距离显示线1206l与预想轨迹线1202l之间重叠显示辅助线1310l。即,当将从预想轨迹线1202l到辅助线1310l的位置为止的距离设为dsl时,dl>dsl>0。另外,如上述的例子所述,可以设为dl=1.0m、dsl=0.5m。这时,辅助线1310l表示二等分了距离显示线1206l与预想轨迹线1202l之间的距离的位置。即,辅助线1310l表示整数等分了距离显示线1206l与预想轨迹线1202l之间的距离的位置。由此,驾驶员能够更精确地掌握从车辆1的预想的轨迹到区域边界62l为止的距离。

由此,实施方式3涉及的显示控制装置100在图21以及图22所示的例子中,也能够发挥与图17~图20所示的例子同样的效果。例如,本实施方式涉及的显示控制装置100能够使驾驶员适当且迅速地掌握到区域边界62l为止的距离。另外,在图21和图22所示的例中,也被构成为在距离显示线1206l(第一距离显示线)与预想轨迹线1202l(第二距离显示线)之间重叠辅助线1310l,预想轨迹线1202l与距离显示线1206l相邻、且表示与距离显示线1206l相比离车辆1更近的距离。由此,即使驾驶员没有掌握辅助线1310所示的距离,驾驶员也能够直观地掌握辅助线1310所示的大致距离。另外,通过区分辅助线1310的显示方式与距离显示线1206的显示方式,驾驶员能够更适当且迅速掌握到区域边界62l为止的距离。

(实施方式3的变形例)

接着,对实施方式3的变形例进行说明。在该变形例中,显示影像生成部1114改变比通过物体检测部1112识别的区域边界62的位置更远离车辆1后端的位置对应的引导线1200部分的显示方式。

图23是示出实施方式3的变形例涉及的处理的流程图。另外,图24~

图25是示出实施方式3的变形例涉及的后方影像56的例子的图。图23所示的处理对应于对图16所示的流程图之中从s308的下一个处理到s314之前的处理进行变形的处理。另外,图24与图19所示的后方影像56的变形例对应。图25与图20所示的后方影像56的变形例对应。此外,以下说明的例子也能够应用于图21~图22所示的、车辆1以某转向角后退的情况。

在图16的s308的处理之后,显示影像生成部1114判断在后方影像56(即,显示影像数据)中是否存在与比区域边界62的位置更靠近外侧的位置对应的引导线1200部分(步骤s322)。在判断为不存在与比区域边界62的位置更靠近外侧的位置对应的引导线1200部分的情况下(s322的“否”),不进行后面叙述的s324的处理,处理进入s326。另一方面,在判断为存在与比区域边界62的位置更靠近外侧的位置对应的引导线1200部分的情况下(s322的“是”),显示影像生成部1114删除与距车辆1的后端比区域边界62的位置更靠远方的位置对应的引导线1200部分(步骤s324)。

然后,显示影像生成部1114判断区域边界62的位置是否接近在显示方式未变化的距离显示线1204之中距车辆1的后端最远的距离显示线1204的位置(步骤s326)。该处理与实施方式3涉及的s312的处理对应。这里,该变形例中的“距车辆1的后端最远的距离显示线1204”与实施方式3中的“距离显示线n”对应。因此,当将“距车辆1的后端最远的距离显示线1204”的位置与区域边界62的位置之间的距离设为δdn时,显示影像生成部1114判断是否为δdn≤dth。

在判断为区域边界62的位置接近了距车辆1的后端最远的距离显示线1204的位置的情况下(s326的“是”),处理进入上述的s314的处理。另一方面,在判断为区域边界62的位置未接近距车辆1的后端最远的距离显示线1204的位置的情况下(s326的“否”),处理进入上述的s316的处理。关于之后的处理,由于实质上与使用图16而所述的实施方式3涉及的处理相同,因此省略说明。

在图24所示的例子中,显示影像生成部1114删除在预想轨迹线1202之中与比区域边界62a更远的位置对应的部分。另外,显示影像生成部1114删除在距离显示线1204之中与比区域边界62a更远的位置对应的距离显示线1204d。然后,由于区域边界62a的位置接近了距离显示线1204c的位置,该距离显示线1204c是在删除了距离显示线1204d的后方影像56中最远的距离显示线1204(s326的“是”),因此显示影像生成部1114重叠显示辅助线1300c。

在图25所示的例子中,显示影像生成部1114删除在预想轨迹线1202之中与比区域边界62a更远的位置对应的部分。另外,显示影像生成部1114删除在距离显示线1204之中与比区域边界62a更远的位置对应的距离显示线1204d、1204c、1204b。然后,由于区域边界62a的位置接近了距离显示线1204a的位置,该距离显示线1204a是在删除了距离显示线1204d、1204c、1204b的后方影像56中距车辆1的后端最远的距离显示线1204(s326的“是”),因此显示影像生成部1114重叠显示辅助线1300a。

在实施方式3的变形例中,删除了比区域边界62a更远的引导线1200部分。这里,关于比区域边界62a更远的位置,车辆1实质上不会侵入,因此对于驾驶员来说,引导线1200的显示是不需要的。因此,在实施方式3的变形例中,通过改变作为不需要的显示的、比区域边界62a更远的引导线1200部分,驾驶员能够适当且迅速掌握到区域边界62a为止的距离。并且,在实施方式3的变形例中,被构成为当车辆1越接近区域边界62a时,引导线1200越短,被显示的距离显示线1204的数量变少。因此,驾驶员能够更直观地识别车辆1的后端接近区域边界62a到什么程度。

此外,在上述的说明中,示出了显示影像生成部1114删除该引导线1200部分的显示的例子,但不限于这样的构成。显示影像生成部1114可以改变该引导线1200部分的显示以使其至少不显眼。例如,显示影像生成部1114可以使该引导线1200部分的显示颜色变淡。另外,例如,显示影像生成部1114可以以虚线表示该引导线1200部分。

(实施方式4)

接着,对实施方式4进行说明。实施方式4与实施方式3的不同点在于,在显示部50上显示俯瞰影像。此外,关于实施方式4涉及的车辆1的硬件构成,与实施方式3涉及的构成实质上相同,因此省略说明。此外,俯瞰影像是以好像从上方的视点俯视了车辆周围的方式疑似显示的影像。

图26是示出实施方式4涉及的显示控制装置100和具有显示控制装置100的显示装置40的结构的图。显示装置40具有俯瞰影像用摄像机8、识别字典42、显示部50以及显示控制装置100。俯瞰影像用摄像机8包括后方摄像机2、前方摄像机3以及侧面摄像机4。显示控制装置100具有车辆信息获取部1102、影像数据获取部1106、影像处理部1110以及显示控制部1120。另外,影像处理部1110具有物体检测部1112以及显示影像生成部1114。另外,显示影像生成部1114具有俯瞰影像生成部1116。关于这些构成元件之中、实质上与实施方式3涉及的构成相同的功能,省略说明。

影像数据获取部1106获取来自构成俯瞰影像用摄像机8的后方摄像机2、前方摄像机3以及侧面摄像机4的影像数据。影像数据获取部1106将所获取的影像数据向影像处理部1110输出。

俯瞰影像生成部1116生成将车辆1周围的影像从车辆1的上方观察到的那样进行了视点转换的俯瞰影像。具体而言,俯瞰影像生成部1116针对与来自后方摄像机2、前方摄像机3以及侧面摄像机4的影像数据相关的各影像,以从车辆1的上方观察到的那样进行视点转换。然后,俯瞰影像生成部1116将视点转换后的各影像合成到车辆图标,该车辆图标是假想的车辆1的图像,由此生成表示俯瞰影像的俯瞰影像数据。此外,术语“影像数据”还可以包括该俯瞰影像数据。

物体检测部1112从通过俯瞰影像生成部1116生成的俯瞰影像数据中,使用存储于识别字典42的字典数据,检测区域边界等的、限定车辆1的目标位置的物体。另外,在实施方式4中,识别字典42中存储有与从上方观察物体的图像相关的字典数据。此外,关于物体检测部1112检测物体的方法,实质上与实施方式3涉及的方法相同。

显示影像生成部1114生成对通过俯瞰影像生成部1116生成的俯瞰影像数据重叠了引导线的显示影像数据。然后,显示影像生成部1114将所生成的显示影像数据向显示控制部1120输出。显示控制部1120进行控制以将基于显示影像数据的影像显示在显示部50,该显示影像数据通过显示影像生成部1114来生成。因此,在实施方式4中,显示部50显示与通过俯瞰影像生成部1116生成的俯瞰影像数据对应的俯瞰影像。

图27是示出通过实施方式4涉及的显示控制装置100执行的显示控制方法的流程图。另外,图28~图30是例示如下俯瞰影像的图,该俯瞰影像与在车辆1以某转向角后退而接近后方的挡车器的情况下由显示影像生成部1114生成的显示影像数据相关。图31~图32是例示如下俯瞰影像的图,该俯瞰影像与在车辆1后退并接近位于侧方的路缘石的情况下由显示影像生成部1114生成的显示影像数据相关。以下,使用图28~图30所示的例子,对图27所示的流程图进行说明。

一旦车辆信息获取部1102检测出车辆1的后退动作(步骤s400的“是”),则车辆信息获取部1102获取表示车辆1的转向角的转向角信息(步骤s402)。另外,影像数据获取部1106获取来自俯瞰影像用摄像机8的影像数据(步骤s404)。

如上所述,俯瞰影像生成部1116生成俯瞰影像数据(步骤s405)。然后,显示影像生成部1114生成对由俯瞰影像生成部1116生成的俯瞰影像数据重叠了包含距离显示线在内的引导线的显示影像数据(步骤s406)。

图28是例示通过由实施方式4涉及的显示影像生成部1114生成的显示影像数据表示的俯瞰影像58的图。图28例示显示部50显示了俯瞰影像58的情况,该俯瞰影像58表示在停车区域60中车辆1以某转向角向挡车器64后退的状态。

俯瞰影像58包括车辆图标58a、停车区域60以及挡车器64,该车辆图标58a是车辆1的假想图像。这里,挡车器64限定车辆1的停车位置,因此挡车器64为区域边界、即“限定车辆1的目标位置的物体”。

另外,俯瞰影像58包括引导线1220,引导线1220包括车辆1的左侧的预想轨迹线1222l和车辆1的右侧的预想轨迹线1222r。即,引导线1220包括以竖线形成的一对预想轨迹线1222。该引导线1220根据转向角信息,通过显示影像生成部1114来绘制。与实施方式3同样,显示影像生成部1114将预想轨迹线1222l和预想轨迹线1222r绘制成与转向角信息所示的转向角对应的曲线。

另外,引导线1220包括距离显示线1224a、1224b、1224c,该距离显示线1224a、1224b、1224c表示距当前的车辆1后端的距离。即,引导线1220包括距离显示线1224,距离显示线1224以横线形成,且表示距车辆1的预定的距离。显示影像生成部1114绘制距离显示线1224a、1224b、1224c,以使其与预想轨迹线1222l和预想轨迹线1222r的弯曲对应的方式倾斜。距离显示线1224a表示距车辆1的后端为距离da的位置。同样,距离显示线1224b、1224c分别表示距车辆1的后端为距离db、距离dc的位置。与实施方式3同样地,例如,距离da、距离db、距离dc分别为0.4m、1.0m、2.0m。

由此,通过在俯瞰影像58中包含引导线1220,驾驶员能够掌握车辆1的预想轨迹。另外,通过显示有距离显示线1224,驾驶员能够掌握从车辆1的后端到挡车器64为止的大致距离。

物体检测部1112从由俯瞰影像生成部1116生成的俯瞰影像数据中,提取停车区域的区域边界、即“限定车辆1的目标位置的物体”(步骤s408)。在图28的例子中,物体检测部1112从与俯瞰影像58相关的俯瞰影像数据中提取挡车器64。

接着,显示影像生成部1114判断挡车器64的位置是否接近了与距离显示线n对应的位置(步骤s412)。实质上与实施方式3同样地,距离显示线n是距离显示线1224a、1224b、1224c中的任何一者。此外,在图28的例子中,显示影像生成部1114判断挡车器64的位置是否沿着车辆1的行进方向接近了与距离显示线1204c对应的位置。

这里,显示影像生成部1114在判断挡车器64的位置与距离显示线n对应的位置之间的距离δdn为预定的阈值dth以下的情况下、即在δdn≤dth的情况下,判断为挡车器64的位置接近了距离显示线n的位置。此外,与实施方式3同样地,阈值dth的值可以根据距离显示线n为距离显示线1224中的哪一个而不同。

此外,显示影像生成部1114可以通过图像处理来进行是否为δdn≤dth的判断。这里,俯瞰影像58是从车辆1的上方观察到的俯视图,因此像素数量与实际距离之间的关系大致恒定。因此,显示影像生成部1114可以在显示影像数据中存储像素数量与实际距离之间的关系。然后,显示影像生成部1114可以对在显示影像数据中、挡车器64的图像与距离显示线n的图像之间的像素数量进行计数,根据该像素数量来计算δdn。

在判断为挡车器64未接近与距离显示线n对应的位置的情况下、即在判断为不是δdn≤dth的情况下(s412的“否”),不进行后面叙述的s414的处理,处理进入s416。另一方面,在判断为挡车器64接近了与距离显示线n对应的位置的情况下、即在判断为δdn≤dth的情况下(s412的“是”),显示影像生成部1114在比距离显示线n的位置更靠近车辆1的距离的位置处重叠辅助线(步骤s414)。然后,显示控制部1120将基于由显示影像生成部1114生成的显示影像数据的影像显示在显示部50(步骤s416)。

在图28的例子中,离挡车器64最近的距离显示线1224是距离显示线1224c。因此,显示影像生成部1114计算与距离显示线1224c对应的位置和挡车器64的位置之间的距离δdn。然后,显示影像生成部1114判断为δdn>dth、即挡车器64未接近与距离显示线1224c对应的位置(s412的“否”)。因此,显示影像生成部1114不对俯瞰影像数据重叠辅助线。

图29是例示俯瞰影像58的图,该俯瞰影像58示出了车辆1比图28所示的状态进一步后退的状态。在图29所示的状态中,挡车器64的位置接近距离显示线1224b的位置。这里,显示影像生成部1114计算与距离显示线1224b对应的位置和挡车器64的位置之间的距离δdn,其结果为δdn≤dth。

在该情况下,在s412的处理中,显示影像生成部1114判断为δdn≤dth。即,显示影像生成部1114判断为挡车器64接近了与距离显示线1224b对应的位置(s412的“是”)。因此,显示影像生成部1114重叠辅助线1320b,辅助线1320b表示与距离显示线1224b的位置相比离车辆1更近的距离处的位置(s414)。由此,通过重叠辅助线1320b,驾驶员能够某程度上定量掌握到挡车器64为止的距离。即,驾驶员能够某程度上定量掌握车辆1的后端接近挡车器64到什么程度。再换句话说,驾驶员能够某程度上定量掌握当将车辆1后退到什么程度时接近挡车器64到什么程度。因此,驾驶员能够适当掌握到挡车器64为止的距离。并且,通过将辅助线1320b显示于俯瞰影像58,驾驶员能够立即掌握从车辆1的后端到挡车器64为止的距离为1.0m左右。

这里,与实施方式3同样地,显示影像生成部1114在距离显示线1224b与距离显示线1224a之间重叠显示辅助线1320b。即,当将从车辆1的后端到辅助线1320b的位置为止的距离设为dsb时,db>dsb>da。另外,如上述的例子所述,当db=1.0m、da=0.4时,可以设为dsb=0.7m。这时,辅助线1320b表示二等分了距离显示线1224b与距离显示线1224a之间的距离的位置。另外,在设为dsb=0.6m或0.8m的情况下,辅助线1320b表示三等分了距离显示线1224b与距离显示线1224a之间的距离的位置。由此,彼此相邻的距离显示线1224与它们之间的辅助线1320发挥刻度的作用,因此驾驶员能够更精确地掌握从车辆1到挡车器64为止的距离。

图30是例示俯瞰影像58的图,该俯瞰影像示出了车辆1比图29所示的状态进一步后退的状态。在图30所示的状态中,挡车器64的位置接近距离显示线1224a的位置。这时,显示影像生成部1114计算与距离显示线1224a对应的位置和挡车器64的位置之间的距离δdn,其结果为δdn≤dth(s412的“是”)。因此,显示影像生成部1114重叠辅助线1320a,辅助线1320a表示与距离显示线1224a的位置相比离车辆1更近的距离处的位置(s414)。由此,通过重叠辅助线1320a,驾驶员能够适当掌握到挡车器64为止的距离。并且,通过将辅助线1320a显示于俯瞰影像58,驾驶员能够立即掌握从车辆1的后端到挡车器64为止的距离为0.4m左右。

这里,距离显示线1224a是多个距离显示线1224之中离车辆1最近的距离显示线1224。在该情况下,与实施方式3同样地,显示影像生成部1114在距离显示线1224a与车辆1的后端之间重叠显示辅助线1320a。即,当将从车辆1的后端到辅助线1320a的位置为止的距离设为dsa时,da>dsa>0。另外,如上述的例子所述,当da=0.4m时,可以设为dsa=0.2m。这时,辅助线1300a表示二等分了距离显示线1224a与车辆1的后端之间的距离的位置。

另外,与实施方式3同样地,显示影像生成部1114可以将离车辆1最近的距离显示线1224a所涉及的辅助线1320a以比其他辅助线1320更突出的显示方式重叠显示。通过以突出的显示方式显示辅助线1320a,能够向驾驶员警告车辆1正接近挡车器64等区域边界的情况。

由此,实施方式4涉及的显示控制装置100能够发挥与实施方式3同样的效果。例如,实施方式4涉及的显示控制装置100能够使驾驶员适当且迅速掌握到挡车器64等区域边界为止的距离。另外,在实施方式4中,被构成为在彼此相邻的距离显示线1224之间重叠辅助线1320。由此,即使驾驶员没有掌握辅助线1320所示的的距离,驾驶员也能够直观地掌握辅助线1320所示的大致距离。另外,通过区分辅助线1320的显示方式与距离显示线1224的显示方式,驾驶员能够更适当且迅速掌握到挡车器64等区域边界为止的距离。

图31是例示通过由实施方式4涉及的显示影像生成部1114生成的显示影像数据表示的俯瞰影像58的图。图31例示将后方影像56显示在显示部50上的情况,该后方影像56示出车辆1后退并接近位于车辆1的侧方的路缘石的状态。

与图28所示的例子同样地,图31中例示的俯瞰影像58包括车辆图标58a和停车区域60。另外,图31中例示的俯瞰影像58在车辆图标58a的左侧方包括路缘石66。这里,路缘石66限定车辆1的停车位置,因此路缘石66是区域边界、即“限定车辆1的目标位置的物体”。另外,俯瞰影像58包括引导线1220,引导线1220包括预想轨迹线1222l和预想轨迹线1222r、以及距离显示线1224a、1224b、1224c。

并且,在图31中例示的俯瞰影像58中,引导线1220还包括距离显示线1226l和距离显示线1224r。距离显示线1226l被绘制在车辆图标58a和预想轨迹线1222l的左侧。距离显示线1224r被绘制在车辆图标58a和预想轨迹线1222r的右侧。

距离显示线1226l表示距车辆1的左侧面以及与预想轨迹线1222l对应的位置向左侧距离为距离dl的位置。距离显示线1226r表示距车辆1的右侧面以及与预想轨迹线1222r对应的位置向右侧距离为距离dr的位置。例如,dl=dr=1.0m。另外,距离显示线1226的形状与预想轨迹线1222同样地,可以与转向角连动地弯曲。由此,距离显示线1226被绘制成在看起来平行于预想轨迹线1222。

在图31的例中,显示影像生成部1114判断区域边界的位置是否接近了与距离显示线n对应的位置(s412)。这里,在图31的例子中,距离显示线n是距离显示线1226l,区域边界是路缘石66。显示影像生成部1114判断路缘石66的位置和与距离显示线1226l对应的位置最接近处的距离δdn是否为预定的阈值dth以下。此外,在图31的例子中,显示影像生成部1114判断为δdn>dth、即路缘石66未接近与距离显示线1226l对应的位置(s412的“否”)。因此,显示影像生成部1114不对俯瞰影像数据重叠辅助线。

图32是例示俯瞰影像58的图,该俯瞰影像58示出了车辆1比图31所示的状态进一步后退的状态。在图32所示的状态中,路缘石66的位置正接近距离显示线1226l的位置。这里,显示影像生成部1114计算与距离显示线1226l对应的位置和路缘石66的位置之间的距离δdn,其结果为δdn≤dth。

在该情况下,在s412的处理中,显示影像生成部1114判断为δdn≤dth。即,显示影像生成部1114判断为路缘石66接近了与距离显示线1226l对应的位置(s412的“是”)。因此,显示影像生成部1114重叠辅助线1330l,辅助线1330l表示与距离显示线1226l的位置相比离车辆1更近的距离处的位置(s414)。由此,通过重叠辅助线1330l,驾驶员能够适当掌握从预想轨迹线1222l到路缘石66为止的距离。即,在车辆1以当前的转向角后退到与箭头c对应的位置时,驾驶员能够掌握车辆1接近路缘石66到什么程度。

这里,与实施方式3同样地,显示影像生成部1114与预想轨迹线1222l以及距离显示线1226l的弯曲形状对应地,将辅助线1330l绘制成曲线。因此,辅助线1330l被绘制成看起来平行于预想轨迹线1222和距离显示线1226l。

另外,与实施方式3同样地,显示影像生成部1114在距离显示线1226l与预想轨迹线1222l和车辆图标58a之间重叠显示辅助线1330l。即,当将从预想轨迹线1222l到辅助线1330l的位置为止的距离设为dsl时,dl>dsl>0。另外,如上述的例子所述,可以设为dl=1.0m、dsl=0.5m。这时,辅助线1330l表示二等分了距离显示线1226l与预想轨迹线1222l之间的距离的位置。即,辅助线1330l表示整数等分了距离显示线1226l与预想轨迹线1222l和车辆图标58a之间的距离的位置。由此,驾驶员能够更精确地掌握从车辆1和车辆1的预想的轨迹到路缘石66为止的距离。

(变形例)

此外,本发明不限于上述实施方式,在不脱离宗旨的范围内能够进行适当变更。例如,上述的流程图中的各处理顺序能够适当变更。例如,在图4所示的流程图中,s102的处理和s104的处理的顺序可以相反。另外,例如,在图16所示的流程图中,s302的处理和s304的处理的顺序可以相反。

另外,在上述的实施方式1和实施方式2中,多个辅助线的间隔设为恒定,但该间隔可以预先固定,也可以是可变的。在上述的例子中,辅助线的间隔设为30cm,但驾驶员可以通过显示控制装置100的用户界面的操作,适当地变更辅助线的间隔。另外,显示影像生成部110可以根据停车区域的宽度来自动变更辅助线的间隔。例如,显示影像生成部110可以在停车区域的宽度越窄时,将辅助线的间隔设为越窄。由此,驾驶员能够不依赖停车区域的宽度而容易掌握停车区域的宽度方向上的车辆1的位置。在停车区域的宽度狭窄的情况下,驾驶员希望更精确地操作车辆1。通过这样的构成,驾驶员能够精确地掌握到区域边界为止的位置,因此驾驶员能够更容易进行针对车辆1的精确操作。

另外,在上述的实施方式1和实施方式2中,辅助线的数量可以是预先固定的,也可以是可变的。驾驶员可以通过显示控制装置100的用户界面的操作,适当地变更辅助线的数量。另外,显示影像生成部110可以根据停车区域的宽度等来自动变更辅助线的数量。例如,显示影像生成部110在停车区域的宽度越宽时,将辅助线的数量设为越多。

另外,在上述的实施方式3和及实施方式4中,与距车辆1的后端距离相关的辅助线(辅助线1300或者辅助线1320)和与距车辆1的预想轨迹线的距离相关的辅助线(辅助线1310或者辅助线1330)以彼此独立的方式显示,但不限于这样的构成。可以同时显示与距车辆1的后端的距离相关的辅助线和与距车辆1的预想轨迹线的距离相关的辅助线。例如,在图22所示的例子中,在区域边界62a接近距离显示线1204d的情况下,显示影像生成部1114不仅重叠显示辅助线1310l,还可以重叠显示辅助线1300d。

另外,在上述的实施方式3以及实施方式4中,被绘制在某一个距离显示线n与相邻的距离显示线n-1之间的辅助线不限于一个,可以绘制多个辅助线。优选的是,多个辅助线以等间隔绘制。由此,辅助线发挥刻度的作用,因此驾驶员能够更精确地掌握从车辆1到区域边界为止的距离。

另外,在上述的实施方式中,对车辆1停放在停车区域的情况的例子进行了说明,但不限于这样的构成。本实施方式能够应用于车辆1朝向某一个目标位置的任何情况。

另外,程序能够使用各种类型的非临时性计算机可读介质(non-transitorycomputerreadablemedium)进行保存,并供应给计算机。非临时性计算机可读介质包括各种类型的有形记录介质(tangiblestoragemedium)。非临时性计算机可读介质的例子包括磁记录介质(例如,软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、cd-rom:(readonlymemory,只读存储器)、cd-r(可写光盘)、cd-r/w(可擦写光盘)、半导体存储器(例如,光罩式rom、prom(programmablerom,可编程序只读存储器)、eprom(erasableprom,可擦可编程序只读存储器)、快闪rom、ram(randomaccessmemory,随机存取存储器)。另外,程序也可以通过各种类型的临时性计算机可读介质(transitorycomputerreadablemedium)供应给计算机。临时性计算机可读介质的例子包括电信号、光信号、以及电磁波。临时性计算机可读介质能够经由电线和光纤等有线通信路径、或者无线通信路径将程序供应给计算机。

以上,参照实施方式对本发明进行了说明,但本发明不限于上述实施方式。本领域技术人员能够对本发明的构成和细节进行在发明的保护范围内能够理解的各种变更。

本申请主张以2016年8月9日申请的日本申请特愿2016-156576以及2017年3月14日申请的日本申请特愿2017-048488为基础的优选权,并引入其公开的全部内容。

工业应用性

本实施方式涉及的显示控制装置例如能够利用于在车辆的行驶时驾驶员对周围环境的识别中。

符号说明

1…车辆

2…后方摄像机

3…前方摄像机

4…侧面摄像机

8…俯瞰影像用摄像机

40…显示装置

42…识别字典

50…显示部

60…停车区域

62…区域边界

100…显示控制装置

102…后退动作检测部

104…转向信息获取部

106…影像数据获取部

110…显示影像生成部

112…提取部

114…位置关系判断部

120…显示控制部

200…引导线

202…预想行进路线

211、212、213、214…辅助线

1102…车辆信息获取部

1106…影像数据获取部

1110…影像处理部

1112…物体检测部

1114…显示影像生成部

1116…俯瞰影像生成部

1120…显示控制部

1200、1220…引导线

1202、1222…预想轨迹线

1204、1206、1224、1226…距离显示线

1300、1310、1320、1330…辅助线

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1