车辆驾驶辅助装置的制作方法

专利名称：车辆驾驶辅助装置的制作方法
技术领域：
本发明涉及一种车辆驾驶辅助装置。
背景技术：
现有技术中，公知有如下这样的驾驶辅助装置在显示器的画面 上，显示例如从拍摄车辆后方情况的摄像机输出的影像，并在该影像 上叠加用于辅助驾驶员执行停车动作的导向标记(例如，参照日本发 明专利公开公报特开2001-180405号)。
该驾驶辅助装置中，导向标记包括对用于停车的操纵起始地进 行导向的操纵开始导向线；和对方向盘的反方向操作(回轮)地点进 行导向的标记(eyemark)。采用该操纵辅助装置，驾驶员需要按如 下方式来进行驾驶操作，即，使规定长度线段的驾驶开始导向线在停 车的操纵开始时叠加在设定于停车空间内的拐角位置处的目标点上， 使圆形的标记在停车的反方向操作方向盘开始时叠加在设定于停车 空间内的拐角位置处的目标点上。
此外，现有技术中，还公知有如下这样的驾驶辅助装置在显示 画面中显示从例如对车辆行进方向进行摄像的摄像机所输出的影像， 并在该影像上叠加显示用于辅助驾驶员执行停车动作的导向标记，该 导向标记包括用于表示车辆的预测路线的导向线和表示车宽的导向 线，驾驶员可分别对该两种导向线是显示还是不显示进行切换(例如， 参照日本发明专利7>开公报特开2001-6097号)。此外，现有技术中，还公知有如下这样的停车辅助装置例如为
了辅助驾驶员执行停车动作，根据停车空间算出理想的行驶轨迹，并 用可视图形来显示该理想的行驶轨迹、沿着该行驶轨迹的理想(方向 盘)转向角、以及实际转向角与理想转向角之间的偏差(例如，参照
日本发明专利公开公报特开平11-283199号)。

发明内容
然而，就上述第一个现有技术所公开的操纵辅助装置而言，只是 在后摄像机所输出的图像上叠加显示有用于辅助驾驶员驾驶车辆的 导向标记。因此，由于停车时的车辆位置不断变化，所以有时难以看 清楚停车空间和导向标记之间的位置关系。而且，很难像如下这样来 进行驾驶操作，即， 一边移动车辆， 一边使圆形的标记与停车空间的 目标点重合在一起。因此，釆用该驾驶辅助装置，要求驾驶员高水平 地驾驶。此外，和转弯开始导向线、圆形的标记相对应的目标点被设 定在停车空间内的拐角处，因此，要在显示器的画面中容易就观察到 位置较远的目标点还是比较困难的，不便于驾驶员驾驶。
本发明是鉴于上述不足而作出的，第一个目的在于提供一种车辆 驾驶辅助装置，采用本发明，可合适地辅助驾驶员，从而便于驾驶员 驾驶。
此外，就上述第二个现有技术所公开的驾驶辅助装置而言，多个 导向线中的各线是显示还是不显示可分别由驾驶员切换。在该结构 中，根据车辆的驾驶状态即使出现需要改变导向线的情况，但在驾驶
员作出新的指示之前，已经不需要的导向线还会持续得到显示。因此， 显示画面变得很乱，而且，为了停止不需要的导向线的显示，有较麻 烦的操作。
本发明是鉴于上述不足而作出的，第二个目的在于提供一种车辆 驾驶辅助装置，采用本发明，可合适地辅助驾驶员，从而便于驾驶员 驾驶。
此外，就上述第三个现有技术所公开的停车辅助装置而言，由于只是将理想转向角和实际转向角偏离理想转向角的量显示出来。因 此，需要像如下这样来进行驾驶，即，不断地确认该实际转向角的偏 移量，并使该偏移量为零。因此，驾驶操作比较复杂，很好地按其进 行驾驶操作需要熟练的技能。此外，该停车辅助装置中，只是采用了 与转向角相关的图形来进行显示，根据停车空间和车辆之间的相对位 置应做出什么样的规定驾驶操作，驾驶员也无法认清，因为对从开始 执行停车动作到执行完毕的过程中需要进行的一个个驾驶操作驾驶 员无法把握，因此，可能难以进行合适的驾驶操作。
本发明是鉴于上述不足而作出的，第三个目的在于提供一种车辆 驾驶辅助装置，采用本发明，可合适地辅助驾驶员，从而便于驾驶员 驾驶。
(1) 为了达到解决上述问题的目的，本发明第一个发明的车辆
驾驶辅助装置包括多个摄像装置，用于对车外周边区域进行摄像并 输出图像；视点变换图象处理机构，其对所述多个摄像装置所输出的 所述图像进行视点变换的图像处理，得到变换图像；显示装置，其设 置在车厢内；转向角状态量检测机构，其对与车辆的实际转向角相关 的转向角状态量进行检测，测得检测值；显示控制机构，其对所述视
点变换图像处理机构所输出的所述变换图像和用于辅助驾驶员执行 停车动作的导向标记进行叠加，并使它们显示在所述显示装置中，其
中，所述显示控制机构根据所述转向角状态量检测机构所测得的所述 检测值，使所述导向标记显示在所述显示装置中，所述导向标记包括 与所述车辆在所述停车动作开始时的初始位置相关的初始位置确定 导向线和与反方向操作方向盘动作的开始位置相关的反方向操作方 向盘开始位置确定导向线。
(2) 此外，所述第一个发明的车辆驾驶辅助装置中，在所述停 车动作为侧方停车的情况下，所述显示控制机构将侧方停车初始位置 确定导向线作为所述初始位置确定导向线并显示在所述显示装置中， 以所述侧方停车初始位置确定导向线处于停车框的拐角部中与所述 车辆最近的那个所述拐角部时，所述车辆所处位置作为侧方停车初始位置。
(3) 此外，所述第一个发明的车辆驾驶辅助装置中，在所述停 车动作为入库停车的情况下，所述显示控制机构将入库停车初始位置 确定导向线作为所述初始位置确定导向线显示在所述显示装置中，以 使所述入库停车初始位置确定导向线处于停车框的大致中部时，所述 车辆所处位置作为入库停车初始位置。
(4) 为了达到解决上述问题的目的，本发明第二个发明的车辆 驾驶辅助装置包括多个摄像装置，用于对车外周边区域进行摄像并 输出图像；显示装置，其设置在车厢内；转向角状态量检测机构，其 对与车辆的实际转向角相关的转向角状态量进行检测，测得检测值；
显示控制机构，其将如下标记与所述多个摄像装置所输出的所述图像 重叠，并使其显示在所述显示装置中，该标记是指用于辅助驾驶员 执行停车动作的停车导向标记；根据所述转向角状态量检测机构输出 的所述检测值预测得到的与所述车辆的行驶轨迹相关的预测导向标 记、或位于距所述车辆身见定距离的基准导向标记二者中至少任何一 个，其中，在对所述车辆执行规定停车动作时，所述显示控制机构禁 止对所述预测导向标记和所述基准导向标记进行显示。
(5) 为了达到解决上述问题的目的，本发明第三个发明的车辆 驾驶辅助装置包括多个摄像装置，用于对车外周边区域进行摄像并 输出图像；显示装置，其设置在车厢内；显示控制机构，其对所述多 个摄像装置所输出的所述图像和用于辅助驾驶员执行停车动作的导 向标记进行叠加，并使其显示在所述显示装置中，其中，所述显示控 制机构使操作提示显示在所述显示装置中，该操作提示用于指示停车 时的驾驶操作，对与所述驾驶操作的多到操作中正在执行的那个操作 相对应的所述操作提示进行突出显示。
(6) 此外，所述第三个发明的车辆驾驶辅助装置中，在突出显 示与所述正执行的操作相对应的所述操作提示时，所述显示控制机构 增大被突出显示的所述操作提示的对比度。
(7) 此外，所述第三个发明的车辆驾驶辅助装置中，在突出显示与所述正执行的操作相对应的所述操作提示时，所述显示控制机构 增大被突出显示的所述操作提示的显示尺寸。
(8) 此外，所述第三个发明的车辆驾驶辅助装置中，在突出显 示与所述正执行的操作相对应的所述操作提示时，所述显示控制机构 改变被突出显示的所述操作提示的显示颜色。
(9) 此外，所述第三个发明的车辆驾驶辅助装置中，所述显示
控制机构将所述操作提示显示在，与重叠显示有所述导向标记的所述 图像的显示范围不相冲突的位置。
采用所述(l)的车辆驾驶辅助装置，多个摄像装置对车外周边 区域进行摄像并输出图像，在对该图像进行视点变换图象处理后获得 的变换图像上叠加用于辅助驾驶的导向标记。此时，即使车辆移动也 可以得到停车空间和导向标记之间的相对位置容易进行辨认的变换 图像(如，从车辆上方来俯视的俯视图等)，提高了驾驶员辨认的容 易性。
此外，作为导向标记，显示有由规定的线段构成的初始位置确定 导向线和反方向操作方向盘开始位置确定导向线。此时，可容易地进 行用于确定各导向线相对于规定目标位置的位置的驾驶操作，可提高 驾驶员进行驾驶操作的便利性。
采用所述(2)的车辆驾驶辅助装置，驾驶员需要进行的驾驶操 作仅为，使侧方停车的初始位置确定导向线移到停车框的拐角部中与 所述车辆最近的那个所述拐角部。此时，例如与使初始位置确定导向 线移到停车框的拐角部中离该车最近的拐角部以外其他拐角部的情 况相比，驾驶员易于识别所必要的驾驶操作。此外，也易于在显示装 置的显示画面上观察目标位置，驾驶员能容易地进行驾驶操作，可提 高驾驶员进行驾驶操作的便利性。
采用所述(3)的车辆驾驶辅助装置，驾驶员需要进行的驾驶操 作为，使入库停车的初始位置确定导向线移到停车框的大致中部位 置。此时，例如与使初始位置确定导向线移到在规定位置设定的目标 点的情况相比，驾驶员能容易地进行驾驶操作，可提高驾驶员进行驾驶操作的便利性。
采用所述(4)的车辆驾驶辅助装置，禁止在停车时显示预测导 向线和基准导向线。由此，例如，即使驾驶员在允许显示预测导向线 和基准导向线的状态下执行了停车动作，也可自动停止对显示预测导 向线和基准导向线的显示。此时，可防止因显示有预测导向线和基准 导向线而难于辨认停车导向线的情况发生，并防止显示变得繁杂，提 高了驾驶员进行驾驶操作的便利性。
釆用所述(5)的车辆驾驶辅助装置，不仅在多个摄像装置输出 的图像上叠加导向标记，还叠加操作提示，该操作提示突出显示与停 车时的完整驾驶操作的多道操作中各操作相对应的操作提示。此时， 对驾驶员来说，易于在停车空间PW和车辆之间的相对位置适当的合 适时刻，准确地发现需要进行的驾驶操作，也可容易地进行驾驶操作。 因此，驾驶员能容易地把握从执行停车动作开始到执行完毕的过程中 的完整驾驶操作，提高驾驶员进行驾驶操作的便利性。
采用所述(9)的车辆驾驶辅助装置，通过将操作提示显示在， 与叠加显示有导向标记的图像的显示范围不相冲突的位置，对于驾驶 员来说，能一边容易地对操作提示和实际的外界周边区域的图像进行 比较， 一边准确地识别纟喿作提示。


图1是本发明一实施方式的车辆驾驶辅助装置的结构图。
图2是表示本发明 一 实施方式的车辆驾驶辅助装置的外部摄像机 的布置方式的图。
图3是表示与本发明一实施方式的车辆驾驶辅助装置的拍摄范围 相对应的^见定外部区域的图。
图4是表示通过本发明 一 实施方式的车辆驾驶辅助装置的后摄像 机拍摄到的图像数据RP、通过对图像数据RP进行视点变换图像处理 而获得的变换图像RCP的一个例子的图。
图5是表示本发明一实施方式的车辆驾驶辅助装置的与左、右后视镜ML、 MR的开合状态相对应的全景拍摄画面GV的图像的图。
图6是表示本发明一实施方式的车辆驾驶辅助装置在左、右后视 4竟ML、 MR的开合状态的图。
图7中(A)是本发明一实施方式的车辆驾驶辅助装置在左、右 后视镜ML、 MR的展开状态下的全景拍4i画面GV的图像。
图7中(B)是本发明一实施方式的对比例的车辆驾驶辅助装置 在左、右后视镜ML、 MR的折叠状态下的全景拍摄画面GV的图像。
图8是表示从本发明 一实施方式的车辆驾驶辅助装置的图像处理 部输出的各变换图像的例子的图。
图9是表示从本发明一实施方式的车辆驾驶辅助装置的显示画面 的例子的图。
图10中(A)是表示本发明一实施方式的车辆驾驶辅助装置的显 示画面的例子的图。
图10中(B)是表示本发明一实施方式的对比例的车辆驾驶辅助 装置的显示画面的例子的图。
图11是表示本发明一实施方式的车辆驾驶辅助装置的显示画面 所显示的导向标记的例子的图。
图12是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面GV的图像上叠加显示有预测导向线EL的例子的 图。
图13是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面GV的图像上叠加显示有预测导向线EL的例子的 图。
图14是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的前方拍4聂画面FV和后方拍纟聂画面RV的各图^象上叠加有预测导 向线EL的例子的图。
图15是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的前方拍纟聂画面FV和后方拍4聂画面RV的各图^象上叠加显示有预 测导向线EL的例子的图。图16是表示在本发明一实施方式的车辆驾驶辅助装置的显示画
面的全景拍摄画面GV的图像上叠加显示有基准导向线DL的例子的图。
图17是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的后方拍摄画面RV的图像上叠加显示有基准导向线DL的例子的 图。
图18是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面G V的图像上叠加显示有侧方停车的初始位置确定 导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的 图。
图19是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面GV的图像上叠加显示有侧方停车的初始位置确定 导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的 图。
图20是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面GV的图像上叠加显示有入库停车的初始位置确定 导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的 图。
图21是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面GV的图像上叠加显示有入库停车的初始位置确定 导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的 图。
图22是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面G V的图像上叠加显示有侧方停车的初始位置确定 导向线PLA和反方向"I喿作方向盘开始位置确定导向线PLB的例子的 图。
图23是表示在本发明一实施方式的车辆驾驶辅助装置的显示画 面的全景拍摄画面GV的图像上叠加显示有入库停车的初始位置确定 导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的
12图。
图24是表示在本发明一实施方式的车辆驾驶辅助装置的显示画面上所显示的停车导向线菜单的例子的图。
图25是表示在本发明一实施方式的车辆驾驶辅助装置的显示画面的全景拍摄画面GV的图像上叠加显示有侧方停车的初始位置确定导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的图。
图26是表示与本发明一实施方式的车辆驾驶辅助装置的显示画面的全景拍摄画面GV的图像一起显示的操作提示HELP的例子的图。
图27是表示在本发明一实施方式的车辆驾驶辅助装置的显示画面的全景拍4聂画面GV的图像上叠加显示有入库停车的初始位置确定导向线PLA和反方向操作方向盘开始位置确定导向线PLB的例子的图。
图28是表示与本发明一实施方式的车辆驾驶辅助装置的显示画面的全景拍摄画面GV的图像一起显示的操作提示HELP的例子的图。
具体实施例方式
下面，参照附图对本发明 一 实施方式的车辆驾驶辅助装置进行说明。
本实施方式的车辆驾驶辅助装置IO设置在车上，如图1所示，包括可对车外进行拍摄的外部摄像机11;近红外线LED12;车辆状态传感器13;导航装置14;操作开关15;切换开关16;折叠开关17;后视镜驱动机构18;显示装置19;由包括CPU等的电子电路构成的图像处理装置20。
如图2所示，外部摄像机11以车外为拍摄区域，包括以前方周边区域作为摄像区域的前摄像机11a;以后方周边区域作为摄像区域的后摄像机lib;以左侧周边区域作为摄像区域的左摄像机11c;以右侧周边区域作为摄像区域的右摄像机11d。该外部摄像机11能拍
摄如从可见光至近红外线区域的光，通过对各摄像机lla、 llb、 llc、
lid所拍摄到的图像进行规定的图像处理，如过滤或二值化处理等，生成由二维排列的像素构成的图像数据，然后将该图像数据输出给图
像处理装置20。
此外，前摄像机lla例如设置在车辆的前格栅上；后摄像机lib例如设置在车辆的后背门或掀背门等上；左摄像机llc和右摄像机lld例如分别i殳置在车辆的左、右后视j竟ML、 MR的下端等位置。
近红外线LED12例如设置在车辆的副驾驶座侧的后视镜(如左侧的后视镜ML)上，并由图像处理装置20控制其点亮与否。近红外线LED12例如在夜间等时候与前照灯(省略图示)同时点亮，从而照亮副驾驶座侧的规定区域(如，副驾驶座侧的外部摄像机11的摄像区域，即，作为左摄像机llc的摄像区域的车辆左方的周边区域)。
车辆状态传感器13对自身车辆的车辆状态量进行检测。车辆状态传感器13例如包括如下机构车轮速度传感器31,其对驱动轮的转速(车轮速度)进行检测；转向角传感器32,其对(方向盘)转向角(如驾驶员对方向盘操作的转向角大小和方向)或与该方向盘转向角对应的车辆实际转向角进行检测；档位传感器33等，其在驾驶员操作换挡杆(省略图示)而对变速机构(省略图示)的状态进行切换时，检测与变速机构的当前状态相对应的档位。
导航装置14根据车辆的当前位置和预先存储的地图数据执行地图匹配处理。此外，还针对如根据操作员的输入操作等，设定的目的地，执行路线搜索和路线引导等处理，并向显示装置19和扬声器(省略图示)发出控制指令，以指示它们如何动作。
操作开关15根据驾驶员对其进行的操作输出各种指令信号，如在显示装置19的显示画面上的菜单中对各种项目进行选择时的指令等。
切换开关16根据驾驶员对其进行的操作，输出用于对显示装置19的显示画面上进行各种显示切换的指令信号。折叠开关17根据驾驶员对其进行的操作将各种指令信号输出给
后视镜驱动才几构18,由该后视镜驱动机构18使车辆的左、右后视镜ML、 MR折叠、展开以及改变角度等。
显示装置19根据图像处理装置20的控制进行各种显示。例如，在显示装置19的显示画面上，不仅显示外部摄像机11输出的各图像数据，还可在这些图像数据上叠加显示车辆自身的位置和各种导向标记等。
图像处理装置20例如包括LED控制部41、图像处理部42、存储部44以及显示控制部45。
LED控制部41对近红外线LED12进4于控制，例如4吏近红外线LED12在夜间等时4矣与前照灯(省略图示)同时点亮，还例如4吏近红外线LED12在显示装置19的显示画面中显示有后述的侧方拍摄画面SV的图像时点亮。
图像处理部42才艮据外部摄像机11的各才聂像机lla、 llb、 llc、lld输出的图像数据，例如通过规定的变换处理等，生成与预设的规定拍摄范围相对应的变换图像，并将其输出。
此外，规定拍摄范围例如为图3中(A)所示的车辆前方区域的拍摄范围(前方拍摄画面FV);图3中(B)所示的车辆后方区域的拍摄范围(后方拍摄画面RV);图3中(C)所示的车辆左、右侧前方区域的拍摄范围(侧方拍摄画面SV);图3中(D)所示的车辆两侧后方区域的拍摄范围，即，将左、右后视镜ML、 MR能照到的区域虛拟地再现出来的拍摄范围(镜像拍摄画面MV);图3中(E)所示的车辆前方区域中将显示区域朝左右扩展后的拍摄范围(前方盲
区拍摄画面FBV);图3中(F)所示的俯视车辆周边区域而看到的拍摄范围(全景拍摄画面GV)等。
例如在生成全景拍摄画面GV图像时，如图4所示，图像处理部42对图像的变形等进行修正并进行视点变换图像处理(改变拍摄图像的视点位置)，将各摄像机lla、 llb、 llc、 lld输出的图像数据(如图4所示的车辆后方区域的图像数据RP)变为从车辆的垂直方向上方的规定视点位置BP向下看所看到的图像(如图4所示的变换图像
RCP)。接下来，从通过该变换处理获得的各变换图像中，提取被设定在各变换图像上规定的视角范围内的图像(如前方提取图像PF、后方提取图像PR、左侧提取图像PSL、右侧提取图像PSR),并它们从彼此交接位置加以拼接。接下来，如图5中(A) 、 (B)所示，合成这些图像(各提取图像PF、 PR、 PSL、 PSR)而生成合成图像，并将该合成图像作为全景拍摄画面GV的图像输出。此外，该合成图像中，在相邻的提取图像各自的分界处设置规定的分界线ML (maskline )。
此夕卜，当外部摄像机11中的左摄像机llc和右摄像机lld分别设置在车辆的左、右后视镜ML、 MR的下端时，左纟聂像机llc和右才聂像机lld的摄像区域会随着左、右后视镜ML、 MR的开合(即，展开或折叠)而发生变化。因此，图像处理部42要根据左、右后视镜ML、 MR的开合状态来改变在视点变换图像处理中的处理内容，同时改变被设定在各变换图像上的规定的视角范围(即，用于从各变换图像中提取各提取图像PF、 PR、 PSL、 PSR的提取范围)。此外，还改变用于构成合成图像的各图像(即，各提取图像PF、 PR、 PSL、PSR)彼此之间的分界位置。通过这些处理，从而无论左、右后视镜ML、 MR是处于展开状态还是折叠状态，都可生成表示同一规定周边区域的全景拍摄画面GV的图像。
如图6中(A) ~ (D)所示，当左、右后祸L4竟ML、 MR从展开状态移动到折叠状态时，后视镜ML、 MR在水平方向上的倾斜角度会发生变换，使得后视镜ML、 MR的端部朝垂直方向上方扬起。此时，对于各li^象才几llc、 lld，它们,皮设定为在左、右后^L镜ML、 MR的展开状态下仅对车辆左、右侧周边区域进行拍摄，因而当它们在左、右后视镜ML、 MR的折叠状态下，不仅其摄像区域会朝车辆后方移位，图像中还会含有不必要的车身左侧部分和车身右侧部分。
此时，若采用与在左、右后视镜ML、 MR的展开状态下来生成全景拍摄画面GV的图像(如图7中(A)所示的展开状态下的全景拍摄画面GV的图像)的处理方式相同的处理方式(即，处理中釆用
同样的视点变换图像处理，以同样的用于提取各提取图像PSL、 PSR的提取范围的方式，以及同样的构成合成图像的各提取图像PF、 PR、PSL、 PSR彼此之间的分界位置的方式)，来生成左、右后视镜ML、MR的折叠状态下的全景拍摄画面GV的图像(如图7中(B)所示的折叠状态下的全景拍摄画面GV的图像)，则从规定视点位置BP俯视不能得看到合适的图像。并且，采用相同处理方法，不仅不能显示车辆左、右侧的规定周边区域，此外，提取图像PSL、 PSR和用于构成合成图像的其他各提取图像PF、 PR之间的分界位置也会错位。
鉴于该情况，图像处理部42首先根据左、右后视镜ML、 MR的开合状态来改变视点变换中的处理内容。并且，改变在被设定在各变换图像上的规定的视角范围(即，用于从各变换图像中提取各提取图像PF、 PR、 PSL、 PSR的提取范围)。这样，无论左、右后视镜ML、MR是处于展开状态还是折叠状态，都可将从规定视点位置BP俯视看到的、用来显示车辆左、右侧的同一规定周边区域的、合适的各提取图像PSL、 PSR提取出来。
此外，与左、右后视j竟ML、 MR处于展开状态的情况相比，当左、右后视镜ML、 MR处于折叠状态时，各摄像机llc、 lld的摄像区域会朝车辆后方移位，由此会出现拍不到的区域。考虑到有这些问题，与如图5中(A)所示的左、右后视镜ML、 MR处于展开状态的情况相比，在如图5中(B)所示的左、右后视镜ML、 MR处于折叠状态的情况下，使前方提取图像PF与左侧提取图像PSL、右侧提取图像PSR之间的分界位置朝车辆后方移位，让合成图像中各提取图像PF、 PSL、 PSR彼此之间的分界位置发生变化。图像处理部42按照分界位置的变化，变更从各变换图像中提取各提取图像PF、 PR、 PSL、PSR的提取范围。
在如图5中(A)所示的左、右后视^竟ML、 MR的展开状态下，表示前方提取图像PF与左侧提取图像PSL、右侧提取图像PSR之间的分界位置的分界线ML,相对于沿车辆的左右方向延伸的线，朝车
17前方倾斜规定的第一角度ot 。与此相对，在如图5中(B)所示的左、 右后浮见镜ML、 MR的折叠状态下，表示前方拔:耳又图像PF与左侧提取 图像PSL、右侧提取图像PSR之间的分界位置的分界线ML,相对于 沿车辆的左右方向延伸的线，朝车前方倾斜规定的第二角度e (P< a),该第二角度P小于第一角度a 。这样，与左、右后视镜ML、 MR处于展开状态的情况相比，在左、右后视镜ML、 MR处于折叠状 态的情况下，对前方提取图像PF的提取区域扩大，而对左侧提取图 像PSL和右侧提取图像PSR的提取区域缩小。
显示控制部45还可将与导航装置14各种处理相关的导航画面显 示在显示装置19的显示画面中。
此外，显示控制部45按照预设好的规定组合方式，或者与操作 开关15或切换开关16输出的指令信号相对应的规定组合方式，或者 与车辆状态传感器13输出的检测信号相对应的规定组合方式，将从 图像处理部42输出的各变换图像显示在显示装置19中，该各变换图 像例如为图8中(A)所示的前方拍摄画面FV;图8中(B)所示 的后方拍摄画面RV;图8中(C) 、 (D)所示的侧方拍摄画面SV; 图8中(E) 、 (F)所示左、右镜像拍摄画面MV;图8中(G)所 示的前方盲区拍摄画面FBV;以及图8中(H)所示的全景拍摄画面 GV。
此外，在将从图像处理部42输出的各变换图像显示在显示装置 19的显示画面上时，显示控制部45获得存储在存储部44中的各种信 息和各种图像，将它们显示在显示装置19的显示画面中。并且，将 用于辅助驾驶员驾驶的各种导向标记(例如，图8中(A) (F)、 (H)所示的与车辆周边规定位置相关的基准导向线DL,以及图8 中(A) 、 (H)所示的与车辆的行驶轨迹相关的预测导向线EL等) 叠加显示在各经变换的图像上。
例如，当与车辆状态传感器13的车轮速度传感器31输出的检测 信号相对应的车辆速度(车速)为规定的低速判断阈值Vth以下，且 根据档位传感器33输出的检测信号判断出档位为倒车档之外的档位(如向前驱动档位等)时，显示控制部45从预设的多个显示方式中，
选才奪如下四种显示方式，即，如图9中(A)所示的前方拍才聂画面FV 和全景拍摄画面GV的组合，如图9中(B)所示的前方盲区拍摄画 面FBV,如图9中(C)所示的左、右侧方拍才聂画面SV的组合，如 图9中(D)所示的左侧方拍摄画面SV。接下来，显示控制部45将 上述这些显示方式中的任何一种显示在显示装置19的显示画面中， 所显示的图像可由切换开关16输出的指令信号等进行切换。
此时，显示控制部45不仅在显示装置19中显示从图像处理部42 输出的各变换图像，还在显示装置19中显示从存储部44中获得的例 如如下信息显示方式指示图像IP,用于表示能被切换到的显示方式；
摄像区域指示图像CP,用于示意性地表示与正在显示的经变换的图 像相对应的那个外部摄像机11的摄像区域；各种信息(如"请一边 直接确认周围状况一边驾驶"等)、菜单显示以及操作提示等。
显示方式指示图像IP例如为，表示前方拍t聂画面FV和全景拍摄 画面GV的组合的图像(F . G);表示前方盲区拍摄画面FBV的图 像(FB);表示左、右侧方拍摄画面SV的组合或者仅左侧方拍摄画 面SV的图像(S);表示后方拍摄画面RV和全景拍摄画面GV的组 合的图像(R'G);以及表示后方拍摄画面RV和左、右镜像拍摄画 面MV的组合的图像(R M)。如图9中(A) ~ (D)所示，与其 他可切换成的显示方式所对应的显示方式指示图像IP相比，与显示 装置19的显示画面中正在显示的那个显示方式所对应的显示方式指 示图像IP,被通过如通过增大对比度、增大尺寸或让显示颜色变化等 方式而突出显示。
如图9中(C) 、 (D)所示，作为显示方式指示图像IP,显示 控制部45加以控制，突出显示的是表示左、右侧方拍4聂画面SV的组 合或只是左侧方拍摄画面SV的图像(S),此时，还显示有第一、 第二辅助显示方式指示图像IPa、 IPb,该第一、第二辅助显示方式指 示图像IPa、 IPb用于指示可相互切换的显示方式(即，左、右侧方拍 摄画面SV的组合的显示方式，或者只是左侧方拍摄画面SV的显示方式)。
该第一辅助显示方式指示图像IPa表示的是，例如可通过长按操 作开关15 (长按"左"键)，从左、右侧方拍摄画面SV的组合的 显示方式切换为只有左侧方拍摄画面SV的显示方式。该第二辅助显 示方式指示图像IPb表示的是，例如可通过长按操作开关15 (长按 "左""右，，键)，从只有左侧方拍摄画面SV的显示方式切换为左、 右侧方拍摄画面SV的组合的显示方式。
针对前方拍才聂画面FV和全景拍;^聂画面GV的组合，如图9中(A) 所示，显示控制部45将前方拍摄画面FV的图像和全景拍^^画面GV 的图像左右并列地显示在显示装置19的显示画面中。
此外，^"对后方拍4聂画面RV和全景拍纟聂画面GV的组合，显示 控制部45将后方拍摄画面RV的图像和全景拍摄画面GV的图像左 右并列地显示在显示装置19的显示画面中。
此外，针对左、右侧方拍摄画面SV的组合，如图9中(C)所示， 显示控制部45将左侧方拍:f聂画面SV的图j象和右侧方拍^l画面SV的 图像左右并列地显示在显示装置19的显示画面中。
此外，在根据如档位传感器33输出的检测信号判断出档位为倒 车档时，则选择后拍摄画面RV和左、右镜像拍摄画面MV的组合， 对于该组合，如图10中(A)所示，将左镜像拍摄画面MV的图像 和右镜像拍摄画面MV的图像左右并列地设置在上层，并将后方拍摄 画面RV设置在下层，像这样将各拍摄画面显示在显示装置19的显 示画面中。该情况下，与图10中(B)所示的i殳置方式相比，即，与 将后方拍摄画面RV设置在上层而将左、右镜像拍摄画面MV的图像 设置在下层的设置方式相比，图10中(A)的組合可防止驾驶员对显 示方式产生不自然感，提高可视性。
此外， -使在车辆前进时与前方拍纟聂画面FV相组合的全景拍纟聂画 面GV的图^象、和在车辆后退时与后方拍l聂画面RV相组合的全景拍 摄画面GV的图像二者相同(即，使构成全景拍摄画面GV的图像的 各提取图像PF、 PR、 PSL、 PSR的视角范围和各提取图像彼此之间的分界位置等不发生变化，为相同的显示方式)。
如图ll所示，在将从图像处理部42输出的各变换图像显示在显 示装置19的显示画面中时，显示控制部45根据操作开关15输出的 指令信号，将用于辅助驾驶员驾驶的各种导向标记叠加在各变换图像 (如，前方拍摄画面FV、后方拍摄画面RV、侧方拍摄画面SV、镜 像拍摄画面MV以及全景拍摄画面GV各图像)上。
导向标记例如为预测导向线EL、基准导向线DL、停车导向线PL。
预测导向线EL是表示根据如转向角传感器3 2输出的检测信号而 预测得到的车辆行驶轨迹的导向线。当转向角传感器32检测到的方 向盘转向角或与该转向角对应的车辆实际转向角为规定值以上时，将 预测导向线EL叠加显示在全景拍摄画面GV、前方拍摄画面FV以及 后方拍摄画面RV各图像上，并使预测导向线EL的显示颜色与后述 的基准导向线DL的显示颜色不同。此外，当执行后述的停车动作时 (例如，在最大限度地转动了方向盘的情况下倒车时，即，在方向盘 转向角或与该转向角对应的车辆实际转向角为近似最大值附近、即规 定值以上的情况下倒车时)，禁止对预测导向线EL进行显示。
例如叠加显示在全景拍摄画面GV的图像上的预测导向线EL具 有显示起始点PO，该显示起始点PO相对于与车辆的行驶状态相对应 的基准点具有规定的边距m。在如图12中(A) 、 (B)和图13中 (A)所示的前进时的左转弯和右转弯的情况下，预测导向线EL为 以保险杠外端P1和转弯时靠里侧后轮外端P2为基准点而显示的两条 导向线(预测导向线EL)。在如图12中(C) 、 (D)和图13中(B) 所示的倒车时的左转弯和右转弯的情况下，预测导向线EL为以左右 的后轮外端P3、 P4为基准点而显示的两条导向线(预测导向线EL)。
此外，如图14中(A)和图15中(A)所示，例如叠加显示在前 方拍摄画面FV的图像上的预测导向线EL为如下这样一条导向线 从相对于基准点也就是距保险杠外端Pl具有规定边距m的显示起始 点PO开始， 一直延伸到距车辆前端规定距离fm的前方位置。如图 14中(B)和图15中(B)所示，例如叠加在后方拍4聂画面RV的图
21像上的预测导向线EL为如下这样的框状导向线从相对于基准点也 就是距左右的后轮外端P3、 P4具有规定边距m的显示起始点PO开 始， 一直延伸到到距车辆后端规定距离的后方位置。
基准导向线DL显示在距车辆外端(如前端、后端、侧端(左 侧、右侧))预设有规定距离的位置上，基准导向线DL的显示颜色 与预测导向线EL的显示颜色不同。
此外，当执行后述的停车动作时(如，在最大限度地转动了方向 盘的情况下倒车时)，禁止对基准导向线DL进行显示。
此外，当档位变为倒车档而车辆即将后退时，在转向角传感器32 才企测出的方向盘转向角或与该转向角对应的车辆实际转向角为失见定 值以上、显示出预测导向线EL的情况下，禁止对基准导向线DL进 行显示。
根据如档位传感器33输出的检测信号判断档位是否为倒车档， 并根据该判断信息来切换基准导向线DL的显示位置。
当档位为倒车档以外的档位时，如图16中(A)所示，例如叠加 显示在全景拍摄画面GV的图像上的基准导向线DL为如下这样的框 状导向线在车辆前方，具体而言，显示在与车辆前端间隔^见定距离 fa且与车辆两侧间隔^见定距离sa的位置上。此外，当档位为倒车档 时，如图16中(B)所示，例如叠加在全景拍摄画面GV的图像上的 基准导向线DL为如下这样的框状导向线在车辆后方，具体而言， 显示在与车辆后端间隔规定距离ra且与车辆两侧间隔规定距离sa的 位置上。
此外，如图17所示，例如叠加显示在后方拍摄画面RV的图像上 的基准导向线DL，为如下这样的多条导向线DL0 DL3和两条导向线 DLs。导向线DL0 DL3的长度大致与车宽相同，导向线DLO在车辆 的后背门或掀背门打开的状态下与车辆上位置最靠后的部分间隔规 定距离r0的后方位置，导向线DL1 DL3位于与车辆后端间隔多个不 同规定距离rl、 r2、 r3的后方位置；导向线DLs位于与车辆两侧间隔 规定距离sa的位置，从车辆后端向后延伸。此外，基准导向线DL不仅可叠加显示在全景拍摄画面GV、前 方拍^聂画面FV以及后方拍纟聂画面RV上，还可叠加显示在左、右侧 方拍摄画面SV的各图像和左、右镜像拍摄画面MV的各图像上。
停车导向线pl是用于驾驶员对车辆执行停车动作时辅助其驾驶 的导向线，例如包括与停车动作开始时的车辆初始位置相关的初始 位置确定导向线PLA;与反方向操作方向盘动作的开始位置相关的反 方向#:作方向盘开始位置确定导向线PLB，该初始位置确定导向线 PLA和反方向操作方向盘开始位置确定导向线PLB的显示颜色互不 相同。停车导向线PL叠加在全景拍摄画面GV上。此外，作为对车 辆执行的停车动作，例如设定有侧方停车和入库停车。
如图18中(A) 、 (B)所示，作为停车动作，当执行向左、向 右的侧方停车时，在车辆后方的左(或右)规定位置上，显示规定线 段那样的初始位置确定导向线PLA。此外，还显示由如下移动轨迹的 一部分构成的反方向纟喿作方向盘开始位置确定导向线PLB,该移动轨 迹是指，在最大限度地向左、向右转动了方向盘并使车辆后退时，转 弯时车辆靠外侧后轮(或相对于转弯时外侧后轮具有规定边距的部 位)的移动轨迹(即，为了向左侧方停车而最大限度地向右转动了方 向盘时的该靠外后轮的移动轨迹，和为了向右侧方停车而最大限度地 向左转动了方向盘时的该靠外后轮的移动轨迹)。
侧方停车过程中，如图19中(A)所示，初始位置确定导向线 PLA以如下方式来引导驾驶员驾驶车辆，即，让驾驶员使初始位置确 定导向线PLA处于含有规定四边形停车框(车位)PW的拐角部中离 车最近的那个拐角部PWa这样的位置。只要停车框PW上离车最近 的拐角部PWa位于该初始位置确定导向线PLA上的任何位置，车辆 所处位置就是侧方停车的停车操作中最合适的初始位置。
此外，侧方停车过程中，如图19中(B)所示，反方向操作方向 盘开始位置确定导向线PLB以如下方式来引导驾驶员驾驶车辆，使 驾驶员从初始位置起最大限度地转动方向盘(即，在向左侧方停车的 情况下，最大限度地向左转动方向盘，在向右侧方停车的情况下，最大限度地向右转动方向盘)并让车辆从初始位置开始后退时，引导驾 驶员使反方向操作方向盘开始位置确定导向线PLB移到与规定四边形的停车框PW内最靠里侧的长边PWb接近的位置。当该反方向操 作方向盘开始位置确定导向线PLB接近停车框PW内最靠里侧的长 边PWb后，车辆所处位置就是侧方停车的停车操作中最合适的反方 向操作方向盘位置。这样，如图19中(C)所示，通过从反方向操作方向盘位置起反 方向操作方向盘而最大限度地转动方向盘(即，向左侧方停车的情况下，最大限度地向右转动方向盘，向右侧方停车的情况下，最大限度 地向左转动方向盘)，使车辆后退，即可将车辆停入停车框PW内。 如图20中(A) 、 (B)所示，作为停车动作，当执行向左或向 右的入库停车时，会在车辆左侧或右侧的规定位置上，显示规定框状 的初始位置确定导向线PLA。此外，还显示由如下移动轨迹的一部分 构成的反方向操作方向盘开始位置确定导向线PLB，该移动轨迹是 指，在最大限度地向左或向右转动了方向盘而倒车时，两后轮(或相 对于两后4仑具有规定边距的部位)的移动轨迹(即，为了向左入库停 车而最大限度地向左转动了方向盘时的两后轮的移动轨迹，和为了向 右入库停车而最大限度地向右转动了方向盘时的两后轮的移动轨迹)。此外，框状的初始位置确定导向线PLA的内部也可被填实。 在该入库停车过程中，如图21中(A)所示，初始位置确定导向 线PLA以如下方式来引导驾驶员驾驶车辆，即，驾驶员需使初始位 置确定导向线PLA移到规定四边形的停车框PW的大致中部。当将 该初始位置确定导向线PLA位于停车框PW的大致中部时，车辆所 处位置即为入库停车的停车操作中最合适的初始位置。此外，在入库停车过程中，如图21中(B)所示，反方向操作方 向盘开始位置确定导向线PLB以如下方式来引导驾驶员驾驶车辆， 即，在驾驶员从初始位置起最大限度地转动方向盘(即，在向左入库 停车的情况下，最大限度地向右转动方向盘，在向右侧方停车的情况下，最大限度地向左转动方向盘)，使车辆从初始位置开始前进，让 驾驶员使反方向操作方向盘开始位置确定导向线PLB的后端部分PLBr设置到规定四边形的停车框PW内。当该反方向操作方向盘开 始位置确定导向线PLB的后端部分PLBr移到^f亭车框PW内时，车辆 的位置即为入库停车的停车操作中最合适的反方向操作方向盘位置。这样，如图21中(C)所示，通过从反方向操作方向盘位置起反 方向操作方向盘动作而最大限度地转动方向盘(即，在向左入库停车 的情况下，最大限度地向左转动方向盘，在向右入库停车的情况下， 最大限度地向右转动方向盘)并使车辆开始后退，即可将车辆停入停 车框PW内。进行各停车动作中，初始位置确定导向线PLA总是叠加在全景拍 摄画面GV的图像上，当通过转向角传感器32检测出的规定方向的 方向盘转向角或与该转向角对应的车辆实际转向角，为方向盘差不多 被最大限度地转动、也就是规定值以上时，将反方向操作方向盘开始 位置确定导向线PLB叠加显示在全景拍摄画面GV的图像上。参照图22中(A) 、 (B)所示的向左的侧方停车的全景拍摄画 面GV的图像，在车辆处于停车动作中的初始位置，在将档位设定在 倒车档(图22中(A)所示的状态)后，向左转动方向盘，使方向盘 的转向角或与该转向角对应的车辆实际转向角变为方向盘差不多3皮 最大限度地转动、也就是规定值以上时(图22中(B)所示的状态)， 才将反方向操作方向盘开始位置确定导向线PLB叠加显示在全景拍 摄画面GV的图像上。此外，参照图23中(A) 、 (B)所示的向左的入库停车的全景 拍摄画面GV的图像，在车辆处于停车动作中的初始位置，并将档位 设定在倒车档以外的档位上(图23中(A)所示的状态)后，当向右 转动方向盘，使方向盘转向角或与该转向角所对应的车辆实际转向角 变为方向盘差不多被最大限度地转动、也就是规定值以上时(图23 中(B)所示的状态)，才将反方向操作方向盘开始位置确定导向线 PLB叠加显示在全景拍摄画面GV的图像上。此外，对叠加显示在全景拍摄画面GV的图像上反方向操作方向
盘开始位置确定导向线PLB的显示， 一直持续到停车动作结束时。
显示控制部45根据操作开关15输出的指令信号，对导向标记的 有无进行切换以及对显示装置19的显示内容进行切换。
如图9中(A)所示，通常，在显示装置19的显示画面中显示全 景拍摄画面GV的图像时(即，未将各种导向标记叠加在全景拍摄画 面GV的图像上时)，显示控制部45会进行控制，根据对操作开关 15进行的规定操作(如，旋转操作)，将用于表示可对规定的停车导 向线菜单进行显示的指示图像PP (停车菜单)显示在显示画面中。 此外，当操作者对操作开关15进行规定操作(如，旋转操作)时， 也会将如图24所示的规定的停车导向线菜单显示在显示画面中。
该停车导向线菜单例如包括控制预测导向线EL和基准导向线 DL的显示与否的选择菜单(基准/预测导向线)；和控制与向左、向 右的侧方停车或向左、向右的入库停车相对应的停车导向线PL的显 示与否的各选择菜单(向左的入库停车导向线、向右的入库停车导向
线、向左的侧方停车导向线、向右的侧方停车导向线)。
此外，在显示画面中显示有停车导向线菜单的状态下，可通过对
操作开关15进行规定操作(如，旋转操作和按下操作)，选择各选 择菜单和确定是否显示与各选择菜单相对应的导向线。
例如，将从通常的前方拍纟聂画面FV和全景拍4聂画面GV的组合 的显示方式切换过来的停车导向线菜单(例如，图24所示的停车导 向线菜单)显示在显示画面中，在该状态下，能通过对操作开关15
PL的显示进行控制的选择菜单(向左的侧方停车导向线)。在进行 完该选择后，如图25中(A)所示，将显示画面的显示切换回前方拍 摄画面FV和全景拍摄画面GV的组合的显示方式。此时，若方向盘 转向角或与该转向角对应的车辆实际转向角不足规定值，且档位为倒 车档之外的档位时，则在前方拍摄画面FV的图像上叠加显示基准导 向线DL,在全景拍摄画面GV的图像上叠加显示基准导向线DL和初始位置确定导向线PLA。此时，通过对操作开关15进行规定操作
(如，按下操作)，还可在显示画面上显示指示图像PHa(使用方法)， 该指示图像PHa表示，可将提示停车导向线PL的使用方法的操作提 示显示出来。
此外，当操作者对操作开关15进行规定操作(如，按下操作) 时，可将如图26中(A)所示那样的规定的操作提示HELP与全景拍 摄画面GV图像一起显示在显示画面中。
此时，操作提示HELP可显示在显示画面上与全景拍摄画面GV 的图像的显示范围不相沖突的位置上。
此时，通过对操作开关15进行规定操作(如，按下操作)，还 可在显示画面中显示指示图像PHb (使用方法OFF),该指示图像 PHb表示，可结束对操作提示HELP的显示。
该操作提示HELP包括多道操作的各指示信息Ha (如，"l.使导 向线与停车框的角部重合"、"2.最大限度地向左转动方向盘，在导 向线达到路肩前使车辆一直后退"、"3.最大限度地向右转动方向盘， 倒车，直至车辆停入停车框内"等)和示意图像Hb,其中，该多道 操作动作组成如在向左的侧方停车时的完整的驾驶操作；该示意图像
Hb对应于各指示信息Ha,示意性地显示停车框PW与车辆、停车导 向线PL之间的位置关系。根据停车时车辆的实际状态(如，通过档 位传感器33检测出的档位，和通过转向角传感器32检测出的方向盘 转向角或与该转向角对应的车辆实际转向角的大小)，即，根据停车时
的完整的驾驶操作的多道操作，依次突出显示各指示Ha和各示意图像 Hb。此外，突出显示是通过如增大对比度、增大显示尺寸或改变显示颜 色等方式而进行的。
此外，在停车时的完整的驾驶操作的多道操作中，对应的各指示 信息Ha和各示意图像Hb的显示颜色相同，多道操作之间，对应的 各指示信息Ha彼此的显示颜色不同，对应的示意图像Hb彼此的显 示颜色也不同。
在如图25中(A)和图26中(A)所示的显示画面中，在向左的
27侧方停车时，档位为倒车档以外的档位，该状态下，在方向盘转向角 或与该转向角对应的车辆实际转向角不足规定值时，相应地，在全景
拍摄画面GV的图像上仅叠加显示初始位置确定导向线PLA,操作提 示HELP中，只突出显示用来指示将车辆设定到停车动作的初始位置 时的指示信息Ha( "l.使导向线与停车框的角部重合")和与该指示 信息Ha相对应的示意图像Hb。在从上一状态起，在向左的侧方停车 的车辆初始位置处，将档位杆从该状态设定为倒车档，然后，向左转 动方向盘，4吏方向盘转向角或与该转向角对应的车辆实际转向角变为 方向盘差不多被最大限度地转动、也就是规定值以上，此时，像如下 这样来对显示进行切换。参照图25中(B)和图26中(B)所示的 显示画面，在后方拍纟聂画面RV和全景拍纟聂画面GV的组合的显示方 式下，在全景拍摄画面GV的图像上叠加显示初始位置确定导向线 PLA和反方向操作方向盘开始位置确定导向线PLB。此外，操作提示 HELP中，突出显示如下的指示信息Ha ( "2.最大限度地向左转动方 向盘，在导向线达到路肩前使车辆一直后退"、"3.最大限度地向右 转动方向盘，倒车直至车辆停入停车框内")和与这些指示信息Ha 相对应的模式图像Hb的状态，此时的指示信息Ha指示的情况为 最大限度地转动方向盘使车辆从初始位置开始后退，然后从反方向操 作方向盘位置起最大限度地向反方向转动方向盘并使车辆后退。
此外，例如，将从通常的前方拍t聂画面FV和全景拍纟聂画面GV 的组合的显示方式切换过来的停车导向线菜单(例如，图24所示的 停车导向线菜单)显示在显示画面中的状态下，通过对操作开关15
进行规定操作，选择用来对向左的入库停车的停车导向线PL的显示 进行指示的选择菜单(向左的入库停车导向线)，则可如图27中(A) 所示，将显示画面的显示切换为前方拍4聂画面FV和全景拍:^聂画面GV 的组合的显示方式。
此时，若方向盘转向角或与该转向角对应的车辆实际转向角为头见 定值以上，且档位为倒车档之外的档位时，则在前方拍摄画面FV的 图像上叠加显示基准导向线DL,在全景拍摄画面GV的图像上叠加显示基准导向线DL、初始位置确定导向线PLA以及反方向操作方向 盘开始位置确定导向线PLB。此时，还可通过对操作开关15进行规 定操作(如，按下操作)，在显示画面上显示指示图像PHa (使用方 法)，该指示图像PHa表示的是，可使指示停车导向线PL的使用方 法的操作提示显示出来。
此外，当操作者对操作开关15进行规定操作(如，按下操作) 后，则将如图28中(A)所示那样的规定的操作提示HELP和全景拍 摄画面GV图像一起显示在显示画面中。此时，再次对操作开关15 进行规定操作(如，按下操作)后，在显示画面中显示指示图像PHb (使用方法OFF),该指示图像PHb表示的是，可结束对操作提示 HELP的显示。
该操作提示HELP包括多道操作的各指示信息Ha(如，"l.使(初 始位置确定导向线PLA的)标记与停车框的中部对应"、"2.最大限 度地向右转动方向盘，并使车辆前进到停车导向线进入停车框"、"3. 最大限度地向左转动方向盘，使车辆一直后退，直至车辆停入停车框 内"等)和示意图像Hb,其中，该多道操作组成如向左的入库停车 时的完整的驾驶操作；该示意图像Hb对应于各指示信息Ha,示意性 地显示停车框PW与车辆、停车导向线PL之间的位置关系。根据停 车时车辆的实际状态(如，通过档位传感器33 ;险测出的档位，和通 过转向角传感器32检测出的方向盘转向角或与该转向角对应的车辆 实际转向角的大小)，即，根据停车时的完整的驾驶操作的多道操作， 依次突出显示各指示信息Ha和各示意图像Hb。此外，突出显示是通 过如增大对比度、增大显示尺寸或改变显示颜色等方式而进行的。
在如图27中(A)和图28中(A)所示的显示画面中，表示的是 在向左的入库停车，档位为倒车档以外的档位的状态，其方向盘转向 角或与该转向角对应的车辆实际转向角不足规定值。相应地，在全景 拍摄画面GV的图像上叠加显示有基准导向线DL、初始位置确定导 向线PLA和反方向操作方向盘开始位置确定导向线PLB，操作提示 HELP中，仅突出显示先将车辆停到停车动作的初始位置、再最大限度地转动方向盘并4吏车辆从初始位置起开始后退而移动到反方向
操作方向盘位置的指示信息Ha ( "l.使(初始位置确定导向线PLA的)标记与停车框的中部对应"、"2.最大限度地向右转动方向盘，并使车辆前进到停车导向线进入停车框")和与这些指示信息Ha相对应的示意图像Hb。从上一状态起，在向左的入库停车中车辆的反方向操作方向盘位置处，将档位杆设定为倒车档，然后向左转动方向盘，使方向盘转向角或与该转向角对应的车辆实际转向角变为方向盘差不多被最大限度地转动、也就是规定值以上，此时，如图27中(B)和图28中(B)所示，在后方拍^^画面RV和全景拍:t聂画面GV的组合的显示方式下，将初始位置确定导向线PLA和反方向操作方向盘开始位置确定导向线PLB叠加显示在全景拍摄画面GV的图像上。此外，操作提示HELP中，只突出显示指示最大限度地向反方向转动方向盘并使车辆从反方向操作方向盘位置开始后退的指示信息Ha( 3.最大限度地向左转动方向盘，使车辆一直后退，直至车辆停入停车框内")和与该指示信息Ha相对应的示意图像Hb。
如上所述，通过采用本实施方式的车辆驾驶辅助装置10,在全景拍摄画面GV的图像上叠加显示停车导向线PL。由此，即使在车辆移动过程中，驾驶员也易于识别停车框PW和停车导向线PL之间的相对位置。
此外，停车导向线PL所包含的初始位置确定导向线PLA和反方向操作方向盘开始位置确定导向线PLB为规定的线段。由此，可容易地进行用于确定位置的驾驶操作，可提高驾驶员进行驾驶操作的便利性。
此外，驾驶员需要进行的侧方停车的操作是，使初始位置确定导向线PLA移到停车框PW的拐角部中离车最近的拐角部PWa这样的位置。该情况下，例如与初始位置确定导向线PLA移到停车框PW的拐角部中离该车最近的拐角部PWa以外的位置的情况相比，驾驶员易于掌握必要的驾驶操作，此外，也易于在显示装置19的显示画面上识别出作为目标的拐角部PWa。因此，驾驶员能容易地进行驾驶操作，也可提高驾驶员进行驾驶操作的便利性。
此外，驾驶员需要进行的入库停车的操作是，使初始位置确定导
向线PLA位于停车框PW的大致中部这样的位置。该情况下，例如与使初始位置确定导向线PLA位于在规定位置设定的目标点等的情况相比，可筒化驾驶员的驾驶操作，便于驾驶员进行驾驶操作。
此外，如上所述，通过采用本实施方式的车辆驾驶辅助装置10,禁止在停车时显示预测导向线EL和基准导向线DL。由此，例如，即使驾驶员在允许显示预测导向线EL和基准导向线DL的状态下执行停车动作，也可自动停止对显示预测导向线EL和基准导向线DL的显示，这样可防止因显示有预测导向线EL和基准导向线DL而难于视认停车导向线PL的情况发生，并防止显示变得繁杂，便于驾驶员进行驾驶操作。
此外，如上所述，通过采用本实施方式的车辆驾驶辅助装置10,根据由各摄像机lla、 llb、 llc、 lld输出的图像数据变换得到的图像上叠加导向标记，此外，还显示操作提示HELP,该操作提示HELP能突出显示与停车时的完整驾驶操作的多道操作中各操作相对应的操作提示。由此，对驾驶员来说，易于在停车空间PW和车辆之间的相对位置适当的合适时刻，准确地发现到需要进行的驾驶操作，也可把握从执行停车动作开始到执行完毕的过程中的完整驾驶操作，便于驾驶员进行驾驶操作。
此外，通过将操作提示HELP显示在，与叠加显示有导向标记的变换图像的显示范围不相冲突的位置，对于驾驶员来说，易于一边对操作提示HELP和从实际的外界周边拍摄画面变换得来图像进行比较， 一边准确地识别操作提示。
尽管已对本发明的优选实施方式作了以上描述和图示说明，但应
明的精神或范围的情况下，可对本发明进行各种增加、删减、替换以及其它修改。因此，本发明不受前述描述的限制，而仅受后附权利要求的范围的限制。
3权利要求
1.一种车辆驾驶辅助装置，其特征在于，包括多个摄像装置，用于对车外周边区域进行摄像并输出图像；视点变换图象处理机构，其对所述多个摄像装置所输出的所述图像进行视点变换的图像处理，得到变换图像；显示装置，其设置在车厢内；转向角状态量检测机构，其对与车辆的实际转向角相关的转向角状态量进行检测，测得检测值；显示控制机构，其对所述视点变换图像处理机构所输出的所述变换图像和用于辅助驾驶员执行停车动作的导向标记进行叠加，并使它们显示在所述显示装置中，所述显示控制机构根据所述转向角状态量检测机构所测得的所述检测值，使所述导向标记显示在所述显示装置中，所述导向标记包括与所述车辆在所述停车动作开始时的初始位置相关的初始位置确定导向线和与反方向操作方向盘动作的开始位置相关的反方向操作方向盘开始位置确定导向线。
2. 如权利要求1所述的车辆驾驶辅助装置，其特征在于，在所述停车动作为侧方停车的情况下，所述显示控制机构将侧方 停车初始位置确定导向线作为所述初始位置确定导向线并显示在所述显示装置中，以所述侧方停车初始位置确定导向线处于停车框的拐角部中与 所述车辆最近的那个所述拐角部时，所述车辆所处位置作为侧方停车 初始位置。
3. 如权利要求1所述的车辆驾驶辅助装置，其特征在于，在所述停车动作为入库停车的情况下，所述显示控制机构将入库 停车初始位置确定导向线作为所述初始位置确定导向线显示在所述 显示装置中，以使所述入库停车初始位置确定导向线处于停车框的大致中部时，所述车辆所处位置作为入库停车初始位置。
4. 一种车辆驾驶辅助装置，其特征在于，包括多个摄像装置，用于对车外周边区域进行摄像并输出图像； 显示装置，其设置在车厢内；转向角状态量检测机构，其对与车辆的实际转向角相关的转向角 状态量进行检测，测得检测值；显示控制机构，其将如下标记与所述多个摄像装置所输出的所述 图像重叠，并使其显示在所述显示装置中，该标记是指用于辅助驾 驶员执行停车动作的停车导向标记；根据所述转向角状态量检测机构输出的所述检测值预测得到的与所述车辆的行驶轨迹相关的预测导 向标记、或位于距所述车辆规定距离的基准导向标记二者中至少任何 一个，在对所述车辆执行规定停车动作时，所述显示控制机构禁止对所 述预测导向标记和所述基准导向标记进4于显示。
5. —种车辆驾驶辅助装置，其特征在于，包括多个摄像装置，用于对车外周边区域进行摄像并输出图像； 显示装置，其设置在车厢内；显示控制机构，其对所述多个摄像装置所输出的所述图像和用于 辅助驾驶员执行停车动作的导向标记进行叠加，并使其显示在所述显 示装置中，所述显示控制机构使操作提示显示在所述显示装置中，该操作提 示用于指示停车时的驾驶操作，对与所述驾驶操作的多到操作中正在执行的那个操作相对应的 所述操作提示进行突出显示。
6. 如权利要求5所示的车辆驾驶辅助装置，其特征在于，在突出显示与所述正执行的操作相对应的所述操作提示时，所述 显示控制机构增大被突出显示的所述操作提示的对比度。
7. 如权利要求5或6所示的车辆驾驶辅助装置，其特征在于， 在突出显示与所述正执行的操作相对应的所述操作提示时，所述显示控制机构增大被突出显示的所述操作提示的显示尺寸。
8. 如权利要求5或6所示的车辆驾驶辅助装置，其特征在于， 在突出显示与所述正执行的操作相对应的所述操作提示时，所述显示控制机构改变被突出显示的所述操作提示的显示颜色。
9. 如权利要求5或6所示的车辆驾驶辅助装置，其特征在于， 所述显示控制机构将所述操作提示显示在，与重叠显示有所述导向标记的所述图像的显示范围不相冲突的位置。
全文摘要
本发明提供一种车辆驾驶辅助装置，包括对车外周边区域摄像并输出图像的多个摄像装置；视点变换图象处理机构，对输出的图像进行视点变换的图像处理，得到变换图像；设在车厢内的显示装置；转向角状态量检测机构，检测与车辆的实际转向角相关的转向角状态量，测得检测值；显示控制机构，叠加视点变换图像处理机构输出的变换图像和辅助驾驶员执行停车动作的导向标记，使它们显示在显示装置中，显示控制机构根据转向角状态量检测机构输出的检测值，使导向标记显示在显示装置中，该导向标记包括与车辆在停车动作开始时的初始位置相关的初始位置确定导向线和与反方向操作方向盘动作的开始位置相关的反方向操作方向盘开始位置确定导向线。
文档编号B60R21/00GK101676149SQ200910176309
公开日2010年3月24日 申请日期2009年9月14日 优先权日2008年9月16日
发明者三枝重信, 大岛健一, 小西康博, 川越浩行, 清水学, 照田八州志, 片嶋淑隆, 藤原幸广 申请人:本田技研工业株式会社