周边监控装置的制作方法

本发明的实施方式涉及周边监控装置。

背景技术：

以往，存在具备涉水(过河)功能的车辆。例如，在称为非公路用车(off-roadvehicle)的车辆中，有的施加有防水对策以使其能够在沼泽或河川、淹水的路面等进行涉水行驶(水中行驶)。在这种车辆中，有的搭载有如下系统：例如使用超声波声纳等传感器对距水面的距离进行测量，在设置于车室内的显示装置上显示水面和本车辆的图形图像，并模拟地显示涉水行驶状态来提示给驾驶员。

专利文献1：日本特表2015-512825号公报

技术实现要素：

然而，在车辆进行涉水行驶的情况下，水面产生水波动的情况较多。如上所述的技术那样，在使用超声波声纳等传感器对距水面的距离进行检测而对表示水面的图形图像进行显示的情况下，有时由于水波动而水面产生起伏，导致难以正确地对距水面的距离进行测量。在这种情况下，存在如下问题：无法利用图形图像正确地表现出水波动状态或到水面的高度，难以向使用者恰当地提供水面状态的显示或是否适于涉水行驶的信息。

因此，本发明要解决的问题之一为提供一种周边监控装置，能够向使用者恰当地提供水面状态的显示或是否适于涉水行驶(水中行驶)的信息。

本发明的实施方式涉及的周边监控装置，例如包括：控制部，其使显示装置显示基于拍摄图像数据的图像，该拍摄图像数据是从将车辆的车身表面及该车身表面的周边作为拍摄范围进行拍摄的拍摄部输出的数据；以及图像处理部，其将基于在上述车辆进行涉水行驶时的水位界限信息的水位界限线叠加于上述图像上的上述车身表面的对应位置。根据该构成，例如在显示装置上显示基于由拍摄部拍摄到的拍摄图像数据的实际图像，显示出本车辆的实际的车身表面及涉水行驶(水中行驶)时的周边状况、即水面状况(水位或水波动状况等)。此外，水位界限线叠加于图像上的车身表面的对应位置。其结果，能够易于更加正确地向使用者提供实际的状况、即水位到达车身的什么部位的状况，并让使用者易于直观地掌握涉水行驶时的状况。

此外，在上述周边监控装置中，例如，上述控制部可以使对上述拍摄图像数据进行校正后的图像显示，上述拍摄图像数据是对上述车辆的侧面进行拍摄所得到的数据。根据该构成，例如，能够进一步提高画面内容(车辆侧面及与其叠加的水位界限线)的可视性，并易于更加正确地让使用者理解实际的状况、即水位到达车身的什么部位的状况。

此外，在上述周边监控装置中，例如，作为上述校正，上述控制部可以对上述拍摄图像数据进行视点转换处理。根据该构成，例如，能够提供如从车辆的侧面方向观看车辆的侧面那样的图像，能够提供更容易理解水位界限线与水面的关系、水面与车身的关系的图像。

此外，在上述周边监控装置中，例如，作为上述校正，上述控制部可以对上述拍摄图像数据进行畸变校正处理。根据该构成，例如，能够成为更容易识别车辆形状的形式，并能够提供更加容易理解水位界限线与水面的关系、水面与车身的关系的图像。

此外，在上述周边监控装置中，例如，作为上述校正，上述控制部可以进行将上述拍摄图像数据的一部分截取的截取处理。根据该构成，例如，能够放大显示在车辆中应注意与水位的关系的特定部分，并能够提供更容易理解车身与水位界限线的关系、水面与车身的关系的图像。

此外，在上述周边监控装置中，例如，上述图像处理部可以将沿着上述车辆的表面形状的形状的上述水位界限线叠加于上述对应位置。根据该构成，例如，能够减轻车辆的表面与水位界限线的偏移，能够提供更加容易理解水位界限线与水面的关系、水面与车身的关系的图像。

此外，在上述周边监控装置中，例如，上述图像处理部可以将直线的上述水位界限线叠加于上述对应位置。根据该构成，例如，水位界限线的叠加处理变得容易，能够减轻处理负荷。此外，能够相对于车辆简单地显示水位界限线，能够进行易于直观地理解与车辆、水位界限线、水面的关系的显示。

此外，在上述周边监控装置中，例如，在显示上述水位界限线的情况下，上述控制部可以使上述图像中的上述车身表面的显示区域比不显示上述水位界限线的情况大。根据该构成，例如，能够容易地识别与车身叠加的水位界限线，并且能够容易地识别画面已切换成水位界限线的显示模式。

此外，在上述周边监控装置中，例如，上述图像处理部可以将水位参考线叠加于在车高方向上比叠加于上述图像的上述水位界限线低的位置。根据该构成，水位参考线能够阶段性地表示水位相对于车身的上升程度，所以针对水位上升，能够阶段性地提醒注意。

此外，在上述周边监控装置中，例如，上述图像处理部可以将上述水位参考线以与上述水位界限线不同的显示方式进行叠加。根据该构成，针对基于水位参考线的水位上升，能够更明确地提醒注意。

附图说明

图1是表示搭载有实施方式涉及的周边监控装置的车辆的车室的一部分被透视的状态的一个示例的立体图。

图2是表示搭载有实施方式涉及的周边监控装置的车辆的一个示例的俯视图。

图3是搭载有实施方式涉及的周边监控装置的车辆的仪表板的一个示例，且是从车辆后方观察的视野内的图。

图4是表示包括实施方式涉及的周边监控装置的图像控制系统的一个示例的框图。

图5是表示基于实施方式涉及的周边监控装置的水位界限线的显示例的说明图。

图6是基于实施方式涉及的周边监控装置的显示例，且是表示将水位界限线和水位参考线与畸变校正及视点转换后的图像的状态的说明图。

图7是基于实施方式涉及的周边监控装置的显示例，且是表示将水位界限线和水位参考线与畸变校正及视点转换后的其它图像的状态的说明图。

图8是表示用于实现实施方式涉及的周边监控装置的ecu内实现的水位界限线的显示的cpu构成的一个示例的框图。

图9是实施方式涉及的周边监控装置的显示装置的显示例，且是表示水位界限线显示前即标准显示模式时的画面布局及显示例的图。

图10是实施方式涉及的周边监控装置的显示装置的显示例，且是表示水位界限线显示后即特殊显示模式时的画面布局及显示例的图。

图11是说明包括基于实施方式涉及的周边监控装置的水位界限线的显示的周边监控图像的显示处理的一个示例的流程图。

具体实施方式

以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构、以及由该结构带来的作用、结果和效果仅是一个示例。本发明也可以通过以下实施方式中公开的结构以外的结构实现，并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。

在本实施方式中，搭载周边监控装置(周边监控系统)的车辆1，例如，可以是以未图示的内燃机作为驱动源的汽车，即内燃机车，也可以是以未图示的电动机作为驱动源的汽车，即电动汽车或燃料电池汽车等。此外，也可以是以上述双方作为驱动源的混合动力车，还可以是具有其他驱动源的汽车。此外，车辆1可以搭载各种变速装置，还可以搭载用于驱动内燃机或电动机所需要的各种装置，例如系统或部件等。车辆1例如是：除在所谓“公路”(主要是已铺装的道路及与其同等的道路)上的行驶以外，也能够舒适地进行在“野路”(主要是未铺装的未平整土地道路等)上的行驶的车辆。可以设其为四轮驱动车辆：作为驱动方式，对全部4个车轮3传递驱动力，将全部4轮作为驱动轮使用。与车轮3的驱动相关的装置的形式、数量、以及布局等可以进行各种设定。例如，也可以是以在“公路”上的行驶为主要目的的车辆。此外，驱动方式也不限定于四轮驱动方式，例如也可以是前轮驱动方式或后轮驱动方式。

如图1所例示的那样，车身2构成有由未图示的乘坐人员乘坐的车室2a。在车室2a内，以朝向作为乘坐人员的驾驶员的座椅2b的状态，设置有转向部4、加速操作部5、制动操作部6、以及变速操作部7等。转向部4例如是从仪表板24突出的方向盘；加速操作部5例如是位于驾驶员脚下的油门踏板；制动操作部6例如是位于驾驶员脚下的制动踏板；变速操作部7例如是从中央控制台突出的变速杆。另外，转向部4、加速操作部5、制动操作部6、以及变速操作部7等不限于此。

此外，在车室2a内设置有作为显示输出部的显示装置8和/或作为声音输出部的声音输出装置9。显示装置8例如是lcd(liquidcrystaldisplay，液晶显示器)或oeld(organicelectroluminescentdisplay，有机电致发光显示器)等。声音输出装置9例如是扬声器。此外，显示装置8例如由触控面板等透明的操作输入部10覆盖。乘坐人员能够透过操作输入部10目视确认在显示装置8的显示画面上显示的图像。此外，乘坐人员通过在与在显示装置8的显示画面上显示的图像对应的位置用手指等对操作输入部10进行触碰、按压或划动等操作，能够进行操作输入。上述的显示装置8、声音输出装置9、操作输入部10等例如设置于位于仪表板24的车宽方向即左右方向上的中央部的监视装置11上。监视装置11可以具有开关、旋钮、控制杆、以及按钮等未图示的操作输入部。此外，也可以在车室2a内与监视装置11不同的其他位置设有未图示的声音输出装置，可以从监视装置11的声音输出装置9及其他的声音输出装置输出声音。另外，监视装置11例如可以兼用于导航系统或音响系统。

此外，在车室2a内，设置有与显示装置8不同的显示装置12。如图3中例示的那样，显示装置12例如设置于仪表板24的仪表盘部25，在仪表盘部25的大致中央，位于速度显示部25a和转数显示部25b之间。显示装置12的画面12a的大小，小于显示装置8的画面8a(图3)的大小。在该显示装置12上，例如在车辆1的周边监控或其它功能进行动作的情况下，可以显示表示指示器或标志、文字信息的图像作为辅助性信息。由显示装置12显示的信息量可以少于由显示装置8显示的信息量。显示装置12例如是lcd或oeld等。另外，在显示装置8上，可以显示由显示装置12显示的信息。

此外，如图1、图2中例示的那样，车辆1例如是四轮汽车，具有左右两个前轮3f和左右两个后轮3r。这些四个车轮3均可以构成为能够转向。如图4中例示的那样，车辆1具有使至少两个车轮3改变方向的转向系统13。转向系统13具有致动器13a和扭矩传感器13b。转向系统13由ecu14(electroniccontrolunit，电子控制单元)等电控，使致动器13a动作。转向系统13例如是电动助力转向系统或sbw(steerbywire，线控转向)系统等。此外，扭矩传感器13b例如对由驾驶员向转向部4提供的扭矩进行检测。

此外，如图2中例示的那样，在车身2中，例如设置有四个拍摄部15a至15d作为多个拍摄部15。拍摄部15例如是内置有ccd(chargecoupleddevice，电荷耦合器件)或cis(cmosimagesensor，互补金属氧化物半导体图像传感器)等拍摄元件的数码相机。拍摄部15能够以规定的帧率输出动态图像数据(拍摄图像数据)。拍摄部15分别具有广角镜头或鱼眼镜头，在水平方向上能够拍摄140°至220°的范围。此外，拍摄部15的光轴有时朝向斜下方地设置。因此，拍摄部15逐次拍摄车辆1周边的外部环境，并将其作为拍摄图像数据输出，该车辆1周边的外部环境包括：车辆1能够移动的路面或涉水行驶时的水面、其周边的状况(是否有水、水面的状态、到水面的高度等)或物体(作为障碍物，例如是岩石、树木、人、自行车、车辆等)。

拍摄部15a例如位于车身2的后侧的端部2e，设置于后备箱的车门2h的后窗的下方的壁部。拍摄部15b例如位于车身2的右侧的端部2f，设置于右侧的车门后视镜2g。拍摄部15c例如位于车身2的前侧、即在车辆前后方向上的前方侧的端部2c，设置于前保险杠或前格栅等。拍摄部15d例如位于车身2的左侧、即在车宽方向上的左侧的端部2d，设置于左侧的车门后视镜2g。ecu14能够基于由多个拍摄部15获得的拍摄图像数据而进行运算处理或图像处理，生成视角更广的图像，或者生成从上方观看车辆1的虚拟的俯视图像。此外，ecu14能够对由拍摄部15获得的广角图像的数据(弯曲的图像的数据)进行运算处理或图像处理来进行校正畸变的畸变校正处理，或者能够进行截取处理以生成截取出特定区域的图像或生成仅表示特定区域的图像数据。此外，ecu14能够进行视点转换处理，以将拍摄图像数据转换成如从与由拍摄部15拍摄的视点不同的虚拟视点拍摄到那样的虚拟图像数据。例如，可以转换成表示如从上方俯视车辆1那样的俯视图像的虚拟图像数据，或者转换成表示如从远离该车辆1的位置观看车辆1的侧面那样的侧视图像的虚拟图像数据。ecu14通过使获取的图像数据显示在显示装置8上，例如提供周边监控信息，以能够进行车辆1的右侧方或左侧方的安全确认、后述的涉水行驶时的水位的确认、俯视车辆1时的其周围的安全确认。

此外，ecu14也能够在涉水行驶时与水面的状态一起显示车身2的一部分，来显示涉水行驶时的车辆1与水面的关系，并进行涉水行驶辅助(水中行驶辅助)。在这种情况下，如后述那样，ecu14能够显示将水位界限线或水位参考线等叠加于车辆1的一部分、例如车身2的侧面的图像。另外，ecu14也能够在从拍摄部15提供的拍摄图像数据中识别出在车辆1周边的路面示出的区划线等而进行行驶辅助，或者检测(提取)停车位而进行停车辅助。

如图1、图2中例示的那样，在车身2中，例如设置有四个测距部16a至16d和八个测距部17a至17h作为多个测距部16、17。测距部16、17例如是发射超声波而捕捉其反射波的声纳。声纳也可以称为声纳传感器、或超声波探测器、超声波声纳。在本实施方式中，测距部16、17设置于车辆1在车高方向上的较低位置、例如是前后的保险杠，能够对车辆1的周边、例如是障碍物进行检测，并对距该障碍物的距离进行测量。此外，测距部16、17可以用作对车辆1是否处于进入水中(水中行驶)状态进行判断的传感器。如上所述，测距部16、17设置于车辆1在车高方向上的较低位置、即前后的保险杠，所以在进行涉水行驶的情况下，在水位到达不能涉水行驶的高度(与水位界限线叠加的高度)之前的较早阶段就会被淹没。例如，在测距部16、17被淹没的情况下，反射波的接收状态变得不稳定，导致动作错误。因此，在车辆1进入河川或沼泽而被淹没的情况下，能够由多个测距部16、17几乎同时输出错误信号。例如，在车辆1进行前进行驶的同时进入河川或沼泽的情况下，测距部17e、17f、17g和17h几乎同时被淹没而输出错误信号，接着测距部16c和16d输出错误信号。同样地，在车辆1进行后退行驶的同时进入河川或沼泽的情况下，测距部17a、17b、17c和17d几乎同时被淹没而输出错误信号，接着测距部16a和16b输出错误信号。也就是说，基于测距部16和17的错误信号的输出状态，能够获得用于判断车辆1是否处于涉水行驶状态的信息。另外，在车辆1完成了涉水行驶的情况下(在已登陆的情况下)，在车辆1进行前进行驶的同时从河川或沼泽出来时，测距部17e、17f、17g和17h几乎同时恢复，接着测距部16c和16d恢复。当进一步进行登陆时，测距部16a和16b恢复，最后，测距部17a、17b、17c和17d几乎同时恢复。这样，在所有测距部16和17恢复的情况下，能够获得用于判断车辆1已完成涉水行驶(完全登陆)的信息。另外，测距部16和17为防水结构，构成为不会因淹没而产生破损等。

此外，如图4中例示的那样，在周边监控系统100(周边监控装置)中，除了ecu14、监视装置11、转向系统13、测距部16和17等之外，制动系统18、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22、加速度传感器26等通过作为电信线路的车内网络23电连接。车内网络23例如构成为can(controllerareanetwork，控制器区域网络)。ecu14能够通过车内网络23发送控制信号，来控制转向系统13、制动系统18等。此外，ecu14能够通过车内网路23，接收扭矩传感器13b、制动传感器18b、转向角传感器19、测距部16、测距部17、油门传感器20、档位传感器21、轮速传感器22、加速度传感器26等的检测结果或操作输入部10等的操作信号等。

ecu14例如具有cpu(centralprocessingunit，中央处理单元)14a、rom(readonlymemory，只读存储器)14b、ram(randomaccessmemory，随机存取存储器)14c、显示控制部14d、声音控制部14e、ssd(solidstatedrive，固态硬盘，flashmemory，闪存)14f等。cpu14a例如能够进行与由显示装置8和12显示的图像关联的图像处理的运算处理及控制。例如，进行用于显示在陆地上行驶时显示的标准显示模式的图像或在涉水行驶时显示的特殊显示模式的图像等的处理或运算。除此之外，cpu14a也能够进行以下的各种运算处理及控制：车辆1的移动目标位置(停车目标位置、目标位置)的决定、车辆1的引导路径(引导路径、停车路径、引导停车路径)的运算、是否存在与物体的干扰的判断、车辆1的自动控制、自动控制的解除等。

cpu14a能够对安装并存储于rom14b等非易失性的存储装置中的程序进行读取，并根据该程序进行运算处理。ram14c临时存储cpu14a的运算中使用的各种数据。此外，显示控制部14d在ecu14的运算处理中主要进行由显示装置8显示的图像数据的合成等。此外，声音控制部14e在ecu14的运算处理中主要进行由声音输出装置9输出的声音数据的处理。ssd14f是可擦写的非易失性的存储部，即使在ecu14的电源断开的情况下，也能够存储数据。另外，cpu14a、rom14b、ram14c等可以集成在同一个封装内。此外，ecu14可以是如下构成，即：使用dsp(digitalsignalprocessor，数字信号处理器)等其它逻辑运算处理器或逻辑电路等来代替cpu14a。此外，可以设置有hdd(harddiskdrive，硬盘驱动器)来代替ssd14f，ssd14f或hdd也可以与ecu14分别设置。

制动系统18例如是抑制刹车的锁死的abs(anti-lockbrakesystem，防锁死制动系统)、抑制在转弯时车辆1的侧滑的防止侧滑装置(esc：electronicstabilitycontrol，电子稳定控制)、增强制动力(进行制动辅助)的电动制动系统、bbw(brakebywire，线控制动)等。制动系统18通过致动器18a向车轮3甚至向车辆1提供制动力。此外，制动系统18能够基于左右的车轮3的旋转差等，对刹车的锁死、车轮3的空转、侧滑的征兆等进行检测，并进行各种控制。制动传感器18b例如是对制动操作部6的可动部分的位置进行检测的传感器。

转向角传感器19例如是对方向盘等转向部4的转向量进行检测的传感器。ecu14从转向角传感器19获取驾驶员对转向部4的转向量或自动转向时的各车轮3的转向量等，并进行各种控制。油门传感器20例如是对加速操作部5的可动部分的位置进行检测的传感器。档位传感器21例如是对变速操作部7的可动部分的位置进行检测的传感器。轮速传感器22是对车轮3的旋转量或每单位时间的转数进行检测的传感器。轮速传感器22将表示检测出的转数的轮速脉冲数作为传感器数值输出。ecu14基于从轮速传感器22获取的传感器数值，对车辆1的移动量等进行运算，并进行各种控制。在本实施方式中，假设在车辆1设置有两个加速度传感器26(26a、26b)。另外，在车辆1搭载有esc的情况下，使用现有技术中搭载于esc的加速度传感器26(26a、26b)。另外，本实施方式并非限制加速度传感器，只要是能够检测车辆1在左右方向上的加速度的传感器即可。在本实施方式中，导出在前后方向上的加速度及在左右方向上的加速度。

另外，上述的各种传感器或致动器的结构、配置、电连接方式等仅是一个示例，可以进行各种设定(变更)。

作为一个示例，实现周边监控系统100的ecu14，使用基于在车辆1的涉水行驶时由拍摄部15拍摄到的拍摄图像数据的实际图像，将车辆1周围的水面与叠加了“水位界限线”的车身2的关系显示在显示装置8上。在这种情况下，由拍摄部15拍摄的拍摄图像数据是将车辆1的车身2表面及该表面的周边作为拍摄范围进行拍摄的数据。这里，“水位界限线”是指表示如下界限的标识，即：即使车辆1被淹没也能够使行驶功能等车辆1具有的功能正常地动作的水位、以及能够防止水向车室2a内进入的水位的界限。

图5至图7是表示将“水位界限线l”叠加于基于拍摄图像数据的图像的状态的说明图。“水位界限线l”是在车轮3的接地位置起沿车高方向例如600mm的位置处设置的线，并设定在以下的高度，即：施加在车辆1的设计阶段中的防水处理或止水处理等的高度；以及基于车辆1的驱动性能等而预先设定的高度。“水位界限线l”可以在基于由拍摄部15拍摄到的拍摄图像数据的图像中包含的车身2中，例如沿着车身侧面2m(沿着车身2的曲面)进行叠加显示。例如，在车身侧面2m为曲面的情况下，优选的是水位界限线l也为沿着车辆1的表面形状(水平截面形状)的形状(曲线)。此外，水位界限线l被叠加于车身2的范围内。在这种情况下，车轮3部分也包含在内而被叠加水位界限线l。这样，通过使水位界限线l沿着车身侧面2m，并且叠加于车身2的范围内，能够让使用者没有不适感地且容易地识别水位提升到了车身2的何处。

如上所述，具有广角镜头或鱼眼镜头的拍摄部15b及拍摄部15d固定于车门后视镜2g。因此，拍摄部15b及拍摄部15d将车辆1的车身侧面2m的一部分(包括前轮3f、后轮3r)、以及其侧方的风景作为拍摄范围。也就是说，在车辆1进入河川或沼泽、淹水的路面等水中的情况下，能够获得将车辆1的车身侧面2m和因进入水中而上升的水面收入同一画面内的图像。而且，ecu14通过利用显示装置8显示将“水位界限线l”叠加显示于与水面一起显示的车辆1的车身侧面2m而得到的图像，能够让使用者(驾驶员等)在视觉上确认车辆1的涉水行驶中的淹没状态及淹没状态的变化。此外，由于在该画面上，作为实际图像显示有水面，所以能够让使用者易于直观地掌握水位的变化。在这种情况下，由于显示的图像是实际图像，所以即使在水面产生水波动的情况下，也能够实时地让使用者识别其水面变化，能够让使用者更加恰当地且容易地进行在涉水行驶时的状况判断。

另外，如图6和图7所示，ecu14能够将“水位参考线k”叠加于在车高方向上比“水位界限线l”低的位置，作为与“水位界限线l”类似的标识。该“水位参考线k”大致与水位界限线l平行地叠加，是预告性质地向使用者通知虽然未达到水位界限线l但水位已上升的标识线。在例如叠加了两条“水位参考线k”的情况下，一条叠加于例如“水位界限线l”的下方400mm、即从车轮3的接地面起200mm的位置作为“第一水位参考线k1”。此外，另一条叠加于例如“水位界限线l”的下方200mm、即从车轮3的接地面起400mm的位置作为“第二水位参考线k2”。这样，通过设定“水位参考线k”，能够阶段性地表示水位相对于车身2的上升程度，所以能够针对水位上升阶段性地提醒注意。另外，是否显示“水位参考线k”可以由使用者选择。此外，能够适当地设定“水位参考线k”的条数或叠加位置(从车轮3的接地位置起的高度)。

ecu14所包含的cpu14a为了实现如上所述的包含涉水行驶时的“水位界限线l”的图像的提供，如图8所示，包括图像获取部30、显示处理部32(控制部)、图像处理部34和输出部36。此外，显示处理部32包括畸变校正部38、视点转换部40和布局调整部42，图像处理部34包括水位界限线叠加部44和水位参考线叠加部46。图像获取部30、显示处理部32、图像处理部34、输出部36、畸变校正部38、视点转换部40、布局调整部42、水位界限线叠加部44和水位参考线叠加部46能够通过对安装并存储于rom14b等存储装置的程序进行读取，并执行该程序来实现。

图像获取部30通过显示控制部14d来获取从设置在车辆1并拍摄该车辆1周边的拍摄部15输出的拍摄图像数据。另外，显示控制部14d可以不通过cpu14a的处理，而将由拍摄部15拍摄到的拍摄图像数据以原始状态输出到显示装置8或显示装置12。此外，cpu14a可以利用操作输入部10或操作部14g等输入装置来让使用者选择期望的显示内容。也就是说，显示控制部14d能够将通过对操作输入部10或操作部14g的操作而选择出的图像，选择性地显示在显示装置8上。例如，能够将由拍摄部15a拍摄到的车辆1的后方图像显示在显示装置8上，或者将由拍摄部15d拍摄到的左侧方图像显示在显示装置8上。

显示处理部32对从拍摄部15输出的拍摄图像数据进行各种图像处理，将基于拍摄图像数据的图像转换成容易识别“水位界限线l”或“水位参考线k”的图像并显示在显示装置8上，该拍摄部15将车辆1的车身2的表面及该表面的周边作为拍摄范围进行拍摄。

例如，畸变校正部38对拍摄图像数据或基于拍摄图像数据的图像进行公知的畸变校正处理。如上所述，在拍摄部15b及拍摄部15d具备广角镜头或鱼眼镜头的情况下，基于拍摄到的拍摄图像数据的原始图像为如图5所示那样的弯曲的图像。在这种情况下，弯曲的图像是在拍摄范围内包含车辆1及该车辆1的前方、后方、侧方的广范围的状况的图像。也就是说，能够提供让使用者容易掌握车辆1及车辆1的整个周边的状况的图像。另一方面，不习惯该弯曲的图像的使用者有可能对显示内容的理解需要较多时间。此外，由于本来应该接近直线的“水位界限线l”弯曲，所以有时带来不适感。因此，畸变校正部38(cpu14a)例如基于rom14b中保存的校正信息，对拍摄到车辆1的侧面的拍摄图像数据赋予与像素位置对应的位移量来进行校正，从而进行缓和或去除弯曲的处理。其结果，能够使显示在显示装置8上的车辆1的形状接近于实际的形状，更容易地让使用者理解显示内容。

视点转换部40对拍摄图像数据或基于拍摄图像数据的图像进行公知的视点转换处理。例如，为了更容易地让使用者理解叠加于车身2的车身侧面2m的“水位界限线l”或“水位参考线k”与水面w(水面线)的关系，优选的是，提供从容易视觉确认叠加了水位界限线l或水位参考线k的车身2的表面(例如，车身侧面2m)的方向投下视线所得到的图像。例如，图6和图7所示，转换后的图像是从离开车身侧面2m的位置朝向该车身侧面2m，以往下看车身侧面2m与水面w的接触部分(水面线)附近那样的视线获得的图像。其结果，转换后的图像更易于理解车身侧面2m与水面w的关系。视点转换部40(cpu14a)对拍摄到了车辆1的侧面的拍摄图像数据，应用例如rom14b等中保存的映射表的转换信息，来生成从离开车辆1而朝向该车辆1的视点位置观看时的虚拟图像数据(视线转换图像)。另外，图6和图7表示对基于拍摄图像数据的图像进行了畸变校正和视点转换处理的示例，但也可以省略畸变校正处理而进行视点转换处理。在这种情况下，变成从离开车身侧面2m的位置观看如图5所示那样的图像的图像。此外，视点转换部40可以在视点转换处理期间进行畸变校正。此外，畸变校正部38和视点转换部40也可以汇总构成为图像转换部。

视点转换部40能够适当地设定视点的位置。例如，如图6所示，也可以转换成如同将视点置于在车身侧面2m的大致中央部离开车身侧面2m的位置而朝向车辆1的前方侧那样的视线转换图像。此外，如图7所示，视点转换部40也可以转换成如同将视点置于在车身侧面2m的大致中央部离开车身侧面2m的位置而朝向车辆1的车身侧面2m那样的视线转换图像。同样地，也可以转换成如同从车身侧面2m的大致中央部朝向车辆1的后方侧那样的视线转换图像。在这种情况下，可以进行适当地截取基于拍摄图像数据的图像的一部分的截取处理。这样，能够适当地变更视点位置，或者能够通过截取处理适当地放大显示，从而能够提供要向使用者提醒注意的部分的表示水位界限线l(水位参考线k)与水面w的关系的图像，更容易地掌握并识别涉水行驶状态。此外，例如在显示如图7所示那样的朝向车身侧面2m的图像的情况下，也可以将朝向与驾驶席侧相反的一侧的车身侧面2m的图像显示在显示装置8上。在这种情况下，驾驶席侧的车身侧面2m由驾驶员自身进行目视确认，并相反侧的车身侧面2m能够利用显示装置8确认。这些视点切换例如能够根据来自操作输入部10或操作部14g的输入来选择。

布局调整部42对显示在显示装置8上的画面的布局进行调整(变更)。如图9所示，ecu14将显示装置8的显示区域划分为多个并显示各种方向的图像或表示车辆1的姿态的倾斜计50等，作为通常在显示装置8上显示的行驶辅助画面。图9是车辆1在陆地上行驶时显示的标准显示模式时的图像例。在这种情况下，作为标准显示模式，布局调整部42例如在显示装置8的显示区域的中央上部配置前方显示区域fv，并在其左右配置左侧显示区域svl和右侧显示区域svr。此外，在前方显示区域fv的下方，配置显示倾斜计50的姿态显示区域pv。另外，在陆地上行驶时，也可以在前方显示区域fv内，根据需要显示前进路径标识r、前方参考线qa和侧方参考线pa等来进行行驶辅助，该前进路径标识r表示车辆1的推定行进方向，该前方参考线qa表示距车身2的前方侧的端部2c的距离的大致标准，该侧方参考线pa表示距车身2的侧方的端部2d、2f的距离的大致标准。此外，在左侧显示区域svl、右侧显示区域svr，显示有车身2和路面，作为进行了畸变校正而缓和了畸变的图像。另外，布局调整部42在陆地上行驶时主要显示的标准显示模式的情况下，在左侧显示区域svl及右侧显示区域svr中，车身2和路面的显示比例是路面较多。也就是说，在标准显示模式的情况下，在左侧显示区域svl及右侧显示区域svr中，显示使得前轮3f周围的路面状况变得容易掌握的图像。另外，倾斜计50基于来自加速度传感器26(26a、26b)的信号，以标志52的姿态来显示车辆1在左右方向上的倾斜(侧倾角)或在前后方向上的倾斜(俯仰角)。

此外，布局调整部42在涉水行驶时，能够进行显示内容的变更(布局变更)，以使水位界限线l或水位参考线k与水面w的关系变得更容易了解。图10是在进行涉水行驶的情况下显示的特殊显示模式时的图像例。另外，在图10的情况下，前方显示区域fv、左侧显示区域svl、右侧显示区域svr和姿态显示区域pv的布局与图9的陆地上行驶的情况相同，而左侧显示区域svl、右侧显示区域svr的内部的布局与图9的情况不同。如图10所示，在显示有水位界限线l(水位参考线k)的特殊显示模式的情况下，使显示在左侧显示区域svl、右侧显示区域svr的图像中的车身2的表面的显示区域比不显示水位界限线l(水位参考线k)的情况大。在特殊显示模式的情况下，主要显示水面w相对于水位界限线l(水位参考线k)上升了何等程度。因此，在特殊显示模式的情况下，增加了左侧显示区域svl及右侧显示区域svr中的车身侧面2m的显示面积。通过这样变更图像内的布局，能够提高水位界限线l(水位参考线k)与水面w的关系的可目视确认性。此外，能够容易地识别显示装置8的画面已切换成水位界限线l的显示模式。另外，由拍摄部15拍摄的拍摄图像数据，将比利用左侧显示区域svl或右侧显示区域svr显示的区域大的区域作为拍摄范围，例如通过进行从该范围截取的截取处理来显示在左侧显示区域svl或右侧显示区域svr。因此，为了增大车身2的表面的显示区域，例如能够通过调整从原图像截取的截取范围来实现。此外，在另一个实施方式中，也可以将车身2的表面的显示区域保持在图9的状态不变，来显示水位界限线l(水位参考线k)。

此外，布局调整部42也可以通过布局变更，利用显示装置8的整个显示区域，来显示如图6或图7那样的表示水位界限线l(水位参考线k)与水面w的关系的图像。通过进行这样的显示，进一步提高水位界限线l(水位参考线k)与水面w的关系的可目视确认性，并且能够以特别让使用者对水位界限线l(水位参考线k)与水面w的关系加以注意的方式进行强调。

图像处理部34进行如下处理，即：将基于车辆1的涉水行驶时的水位界限信息的水位界限线l或水位参考线k，叠加于显示在显示装置8上的图像上的车身2的表面的对应位置。水位界限信息例如是用于将水位界限线l或水位参考线k叠加于图像的信息，可以是指定图像上的图像的信息，也可以是从基准线、例如从车轮3的接地位置起的高度信息等。cpu14a在显示水位界限线l的条件齐备时，将水位界限线l叠加于在车辆1的设计阶段中在车高方向上规定的高度的位置。如上所述，各拍摄部15固定于车身2，并规定了拍摄范围。因此，能够计算出在拍摄图像数据或基于拍摄图像数据的图像中车身2显示在显示范围内的何处，所以将水位界限线l叠加于该位置。同样地，水位参考线叠加部46将水位参考线k叠加于在车辆1的设计阶段中在车高方向上规定的高度位置。另外，水位界限线叠加部44及水位参考线叠加部46可以以不同的显示方式进行叠加，以容易识别水位界限线l和水位参考线k(第一水位参考线k1、第二水位参考线k2)。例如，能够改变线的种类或线的颜色。另外，在选择线的颜色的情况下，优选的是相对于车身2的颜色能够识别的颜色。例如，水位界限线叠加部44和水位参考线叠加部46可以获取车身2的颜色信息，并自动地选择能够识别的线的颜色，也可以能够由使用者选择。此外，水位界限线叠加部44在叠加显示水位界限线l的情况下，如图6和图7所示，可以附加表示是水位界限线l的信息、例如箭头等“标记”或“limit(界限)”等“文字信息”。另外，在附加“标记”或“文字信息”等的情况下，优选的是使其叠加于水位界限线l的上侧，即使在水面w上升的情况下，“标记”或“文字信息”也容易目视确认。在由水位参考线叠加部46进行水位参考线k的叠加时，也可以同样地附加“标记”或“文字信息”。此外，在图6和图7中，表示了水位参考线k与水位界限线l平行地叠加的示例，但水位参考线k也可以在与水位界限线l正交的方向上进行叠加，并与表示水深的尺度一起进行显示。

cpu14a可以通过使用者的手动操作、例如基于操作输入部10或操作部14g的输入操作，来进行是否显示水位界限线l(水位参考线k)、例如从图9的显示状态向图10的显示状态的切换及其相反的切换。此外，如上所述，也可以根据测距部16和测距部17的动作状态(错误信号的输出状态)进行切换。除此之外，也可以使用基于声音识别或手势识别等的输入方法来进行切换操作。

使用图11的流程图，对这样构成的周边监控系统100的控制例进行说明。另外，图11所示的流程是以规定的处理周期重复进行的。

首先，cpu14a判断当前是否为周边监控中(s100)，在非周边监控中的情况下(s100，“否”)，例如在车辆1的电源断开(off)时或以其它用途(导航系统或音响系统等)利用显示装置8时，临时结束此流程。另一方面，cpu14a在判断为当前是周边监控中的情况下(s100，“是”)，对涉水行驶模式切换条件是否成立进行判断(s102)。如上所述，cpu14a在通过操作输入部10或操作部14g进行了输入操作的情况下，视为涉水行驶模式切换条件成立。此外，cpu14a在测距部16或测距部17以规定的方式输出错误信号的情况下，例如在测距部17e至17h几乎同时(例如，2秒钟以内)输出错误信号的情况下，视为涉水行驶模式切换条件成立。

在s102中，cpu14a在涉水行驶模式切换条件成立的情况下(s102，“是”)，通过图像获取部30，获取由拍摄部15当前拍摄到的拍摄图像数据、例如车辆1的侧方图像(s104)。接着，cpu14a对获取的侧方图像进行图像转换处理(s106)。在图像转换处理中，基于使用者的显示图像的状态设定，进行基于畸变校正部38的畸变校正处理和基于视点转换部40的视点转换处理中的至少一方。另外，在通过使用者的选择或设定而将水位界限线l等叠加于图5所示的原始图像来进行显示的情况下，也可以跳过s106的处理。

接着，cpu14a通过水位界限线叠加部44将“水位界限线l”叠加于车身2的车身侧面2m，并且通过水位参考线叠加部46将“水位参考线k”叠加于车身2的车身侧面2m(s108)。另外，在这种情况下，可以通过使用者的选择或设定，不显示“水位参考线k”。通过不显示“水位参考线k”，能够使叠加水位界限线l的图像简单化。也就是说，能够进行与想要简单的显示的使用者对应的显示。

接着，布局调整部42在从作为周边监控画面显示的图9的标准显示模式的画面切换成涉水行驶模式的画面的情况下，对涉水行驶模式的画面是否被指定为主画面进行确认(s110)。例如，在通过基于操作输入部10或操作部14g的输入操作而选择出“主显示”的情况下(s110，“是”)，布局调整部42进行如下处理，即：从图9的标准显示模式的画面切换成如图5至图7所示那样的、强调水位界限线l(水位参考线k)与水面w的关系的画面，并使其为利用显示装置8的整个显示区域的显示(主显示)(s112)。

另一方面，在未进行主显示选择的情况下(s110，“否”)，如图10所示，布局调整部42进行如下处理，即：切换成特殊显示模式并显示在显示装置8上(s114)，在该特殊显示模式下，显示在左侧显示区域svl及右侧显示区域svr的图像中的车身2的表面的显示区域比不显示水位界限线l(水位参考线k)的情况大。

cpu14a在进行基于表示水位界限线l(水位参考线k)与水面w的关系的涉水行驶模式的显示的期间，对从涉水行驶模式恢复到陆上行驶模式的模式恢复条件是否成立进行确认(s116)。在手动恢复的情况下，cpu14a在通过利用操作输入部10或操作部14g等的输入操作而由使用者进行画面恢复请求(陆上行驶模式的画面显示请求)的情况下，视为模式恢复条件成立。此外，在自动恢复的情况下，cpu14a在测距部16、测距部17全部恢复的情况下(由于登陆而错误信号全部被消除的情况下)，且之后经过了规定期间、例如经过了5秒钟的情况下，视为模式恢复条件成立。在模式恢复条件成立的情况下(s116，“是”)，布局调整部42使显示在显示装置8上的图像恢复到标准显示模式的图像(图9的画面)(s118)，并结束一系列的基于涉水行驶模式的水位界限线l(水位参考线k)的显示处理。

另外，在s116中，在模式恢复条件不成立的情况下(s116，“否”)，cpu14a通过转移到s104并进行s104以后的处理，来依序更新涉水行驶时的显示图像，通过显示装置8实时地显示水面w的变化(水位的变化)与水位界限线l(水位参考线k)的关系的推移。此外，在s102中，在涉水行驶模式切换条件不成立的情况下(s102，“否”)，即在不需要水位界限线l(水位参考线k)的显示的情况下，转移到s118，并持续进行将标准显示模式的画面显示在显示装置8上的处理。

这样，根据本实施方式的周边监控系统100，在显示装置8上显示基于由拍摄部15拍摄到的拍摄图像数据的实际图像，并显示车辆1的实际的车身2的表面及涉水行驶时的周边、即水面w。此外，水位界限线l叠加于图像上的车身2表面的对应位置。其结果，能够更正确地传达实际的状况、即水面w已达到车身2的何处或水面的状态如何等的状况，并让使用者易于直观地掌握这些信息。

另外，在上述实施方式的情况下，表示了基于设置于车门后视镜2g的拍摄部15b或拍摄部15d拍摄到的拍摄图像数据，将水位界限线l或水位参考线k叠加于车身侧面2m的示例。在另一个实施方式中，可以使用由其它的拍摄部15拍摄到的拍摄图像数据。例如，在设置于车身2的前部的拍摄部15c的拍摄范围内包含车身2的前部(车身前面)的情况下，也可以将水位界限线l或水位参考线k叠加于车身前面的图像并显示在显示装置8的前方显示区域fv。在这种情况下，在使车辆1前进时，变得容易掌握水位相对于车身2的变化。同样地，在设置于车身2的后部的拍摄部15a的拍摄范围内包含车身2的后部(车身后面)的情况下，也可以将水位界限线l或水位参考线k叠加于车身后面的图像并显示在显示装置8上。在这种情况下，也可以基于变速操作部7(变速杆)的换档位置来切换前后的图像。此外，也可以将显示装置8的显示区域划分为四个，并将水位界限线l(水位参考线k)分别叠加于前后左右的图像而进行显示。在这种情况下，由于能够针对车辆1的整个周围表示水面w与水位界限线l(水位参考线k)的关系，所以即使在例如水底的凹凸较大而车辆1倾斜得较大那样的情况下，也能够让使用者容易地掌握水位界限线l(水位参考线k)与水面w的关系。

此外，在本实施方式中，表示了将水位界限线l或水位参考线k沿着车身侧面2m进行叠加的示例。也就是说，在车身侧面2m为曲面的情况下，以与该曲面对应地使水位界限线l或水位参考线k也成为曲线的方式进行叠加，但并不限于此。例如，在对拍摄图像数据或基于拍摄图像数据的图像进行畸变校正而使其接近于车辆1的实际形状的情况下，由于叠加了水位界限线l或水位参考线k的车身2的前后方向上的形状成为直线性形状，所以也可以简单地用直线表示水位界限线l或水位参考线k。在这种情况下，能够减轻基于ecu14的图像处理负荷。此外，通过用单纯的直线表示水位界限线l或水位参考线k，能够易于直观地理解与水面的关系。

此外，在上述实施方式中，说明了所谓的非公路用车，但本实施方式的周边监控装置也可以应用于所谓的公路用车(乘用车等)，能够获得同样的效果。此外，可以通过对叠加了水位参考线k或水位界限线l的图像进行图像处理，来对水面w相对于水位参考线k或水位界限线l的位置进行检测，并输出基于声音等的警告信息。

此外，在上述实施方式中，表示的是在自动地切换成涉水行驶模式(水中行驶模式)的情况下，使用来自测距部16、测距部17的信号的示例，但并不限于此，也可以使用来自其它的传感器的信号来进行切换。此外，可以基于由拍摄部15拍摄到的图像，对水面w进行检测，并进行切换。此外，模式切换也可以仅由手动进行。

以上，说明了本发明的实施方式及变形例，但这些实施方式及变形例仅作为示例进行提示，并非有限定发明范围的意图。这些新的实施方式可以由其它各种方式实施，能够在不脱离发明要旨的范围内，进行各种省略、置换、变更。这些实施方式或其变形包含于发明范围或要旨内，并且包含于申请专利范围中记载的发明和其均等的范围内。

附图标记说明

1车辆

2车身

2m车身侧面

8显示装置

14ecu

14acpu

14brom

14d显示控制部

14g操作部

15、15a、15b、15c、15d拍摄部

30图像获取部

32显示处理部

34图像处理部

36输出部

38畸变校正部

40视点转换部

42布局调整部

44水位界限线叠加部

46水位参考线叠加部

l水位界限线

k水位参考线

w水面

100周边监控系统(周边监控装置)