周边监控装置的制作方法

文档序号:14213554阅读:159来源:国知局
本发明的实施方式涉及周边监控装置。
背景技术
::目前为止,已知有对由车载摄像装置拍摄到的车辆的周边影像进行视点转换处理后,显示在配置于车室内的显示装置上的技术。专利文献1:日本专利第5168186号公报技术实现要素:然而,有时会难以对存在于车辆周围的物体的位置关系及该物体的状态综合地进行识别。例如,通过视点转换处理得到的俯视图像可以使对存在于车辆周围的物体的位置关系容易掌握,但若仅显示俯视图像,则可能难以识别该物体的姿态及大小等。因此,如果能够提供一种周边监控装置,其可以显示能够让使用者容易地掌握存在于车辆周围的物体的位置关系、其姿态或大小的图像,则在提高安全性及使驾驶操作更容易的方面是很有意义的。本发明的实施方式涉及的周边监控装置,例如包括:图像获取部,其获取从设置于车辆并拍摄该车辆周边的拍摄部输出的拍摄图像数据;图像转换部,其将上述拍摄图像数据转换为基于使拍摄方向为朝向上述车辆的多个虚拟视点的虚拟图像数据;以及控制部,其以使上述虚拟视点从第1虚拟视点位置经过第2虚拟视点位置移动到第3虚拟视点位置的方式,将上述虚拟图像数据依序显示在设置于上述车辆的车室内的显示装置,该第1虚拟视点位置从上述车辆的一侧隔着上述车辆朝向相反侧,该第2虚拟视点位置从上述车辆的上方空中区域朝向上述车辆,该第3虚拟视点位置从上述车辆的上述相反侧隔着上述车辆朝向上述一侧。上述控制部在以从上述第2虚拟视点位置通过的方式显示上述虚拟图像数据的期间内,使上述虚拟图像数据以上述虚拟视点的视线为中心旋转。采用该结构,例如,在使朝向车辆的虚拟视点从第1虚拟视点位置经过位于车辆上方空中区域的第2虚拟视点位置移动到第3虚拟视点位置的期间内、以及在第2虚拟视点位置使虚拟图像数据旋转的期间内,存在于车辆周围的物体的样子会逐渐变化。其结果,能够将存在于车辆周围的物体的位置关系及姿态、大小以容易识别的形态显示。此外,上述周边监控装置的上述控制部,例如可以将上述第2虚拟视点位置决定为上述车辆的正上方的位置。采用该结构,能够进行使车辆(本车辆)与周边情况的位置关系容易掌握的显示。此外,上述周边监控装置的上述控制部,例如可以使上述虚拟图像数据在被决定为上述正上方位置的上述第2虚拟视点位置旋转180°。通过以容易掌握车辆周围的情况的状态使虚拟图像数据旋转,易于抑制对物体位置关系的识别水平的下降。此外,随着虚拟图像数据的旋转,由于存在于车辆周围的物体的显示位置会变化,因此能够提高对物体的识别水平。而且,在第3虚拟视点位置显示基于虚拟图像数据的图像时,上下方向处在恰当的显示状态,因此能够提高对现实世界的再现程度。此外,上述周边监控装置的上述控制部,例如可以将上述第3虚拟视点位置决定为相对于上述车辆发车时的预计行进方向位于后方。采用该结构,例如,能够在最后显示在使车辆发车时很有可能最终要注意的观察方向的图像,因此能够进行使使用者更容易理解车辆周围的情况的显示。此外,上述周边监控装置的上述图像转换部,例如可以将上述拍摄图像数据投影于以上述车辆的位置为中心的曲面上,转换为上述虚拟图像数据。采用该结构,例如,即使在将虚拟视点相对于车辆设定在水平方向上的情况下,也能够显示出投影图像的高度分量,能够向使用者提示物体的存在及大小。此外,上述周边监控装置的上述图像转换部,例如可以将上述拍摄图像数据投影于以上述车辆的位置为中心的平面上,转换为上述虚拟图像数据。采用该结构,例如,从拍摄图像数据向虚拟图像数据的转换处理比起投影在曲面上的情况要容易,能够减轻处理负荷或增加处理速度。此外,上述周边监控装置的上述控制部,例如可以在上述虚拟图像数据上重叠显示本车辆的图像。采用该结构,例如,能够进行使使用者更容易理解存在于本车辆周围的物体与本车辆的位置关系的显示。另外,本车辆的图像能够使用预先保存在存储装置等中的图像数据。该本车辆的图像数据可以是实际车辆的拍摄数据,也可以是动画。此外,本车辆的图像数据也可以半透明地或以线条图来表示。附图说明图1为表示搭载实施方式涉及的周边监控装置的车辆的车室的一部分呈透视状态的一个示例的立体图。图2为表示搭载实施方式涉及的周边监控装置的车辆的一个示例的俯视图。图3为作为搭载实施方式涉及的周边监控装置的车辆的仪表板的一个示例且为从车辆后方观察到的图。图4为表示包括实施方式涉及的周边监控装置的图像控制系统的一个示例的框图。图5为表示用于显示在实施方式涉及的周边监控装置的ecu内实现的视点转换图像的控制部的结构的一个示例的框图。图6为用于说明实施方式涉及的周边监控装置中的虚拟视点的移动的一个示例的说明图。图7为表示搭载实施方式涉及的周边监控装置的车辆的周围的状态的一个示例的说明图。图8为用于说明实施方式涉及的周边监控装置的显示处理的一个示例的流程图。图9为实施方式涉及的周边监控装置中的曲面投影的显示例,是使用第1虚拟视点位置的虚拟图像数据在显示装置上显示的示例。图10为实施方式涉及的周边监控装置中的曲面投影的显示例,是使用将虚拟视点从第1虚拟视点位置移动到第2虚拟视点位置的状态的虚拟图像数据在显示装置上显示的示例。图11为实施方式涉及的周边监控装置中的曲面投影的显示例,是使用在第2虚拟视点位置进行了旋转处理,并做好了使虚拟视点向第3虚拟视点位置移动的准备的状态的虚拟图像数据在显示装置上显示的示例。图12为实施方式涉及的周边监控装置中的曲面投影的显示例,是使用第3虚拟视点位置的虚拟图像数据在显示装置上显示的示例。图13为实施方式涉及的周边监控装置中的平面投影的显示例,是使用第1虚拟视点位置的虚拟图像数据在显示装置上显示的示例。图14为实施方式涉及的周边监控装置中的平面投影的显示例,是使用将虚拟视点从第1虚拟视点位置移动到第2虚拟视点位置的状态的虚拟图像数据在显示装置上显示的示例。图15为实施方式涉及的周边监控装置中的平面投影的显示例,是使用在第2虚拟视点位置进行了旋转处理,并做好了使虚拟视点向第3虚拟视点位置移动的准备的状态的虚拟图像数据在显示装置上显示的示例。图16为实施方式涉及的周边监控装置中的平面投影的显示例,是使用第3虚拟视点位置的虚拟图像数据在显示装置上显示的示例。具体实施方式以下对本发明的示例性的实施方式进行公开。以下示出的实施方式的结构、以及由该结构带来的作用、结果和效果仅是一个示例。本发明也可以通过以下实施方式中公开的结构以外的结构实现,并能够获得基于基本结构的各种效果及衍生的效果中的至少一种。本实施方式中,搭载周边监控装置的车辆1,例如,可以是以未图示的内燃机作为驱动源的汽车,即内燃机车,也可以是以未图示的电动机作为驱动源的汽车,即电动汽车或燃料电池汽车等。此外,也可以是以上述双方作为驱动源的混合动力车,还可以是具有其他驱动源的汽车。此外,车辆1可以搭载各种变速装置,还可以搭载用于驱动内燃机或电动机所需要的各种装置,例如系统或部件等。此外,可以对车辆1中与车轮3的驱动相关的装置的方式、数量、布局等进行各种设定。如图1所例示的那样,车身2构成有由未图示的乘坐人员乘坐的车室2a。车室2a内,以朝向作为乘坐人员的驾驶人员的座椅2b的状态,设置有转向部4、加速操作部5、制动操作部6、以及变速操作部7等。转向部4例如是从仪表板24突出的方向盘;加速操作部5例如是位于驾驶人员脚下的油门踏板;制动操作部6例如是位于驾驶人员脚下的制动踏板;变速操作部7例如是从中央控制台突出的变速杆。另外,转向部4、加速操作部5、制动操作部6、以及变速操作部7等不限于此。此外,车室2a内设置有作为显示输出部的显示装置8、作为声音输出部的声音输出装置9。显示装置8例如是lcd(liquidcrystaldisplay,液晶显示器)或oeld(organicelectroluminescentdisplay,有机电致发光显示器)等。声音输出装置9例如是扬声器。此外,显示装置8例如由触控面板等透明的操作输入部10覆盖。乘坐人员能够透过操作输入部10观察在显示装置8的显示画面上显示的图像。此外,乘坐人员通过在与在显示装置8的显示画面上显示的图像对应的位置用手指等对操作输入部10进行触碰、按压或划动等操作,能够进行操作输入。上述的显示装置8、声音输出装置9、操作输入部10等例如设置于位于仪表板24的车宽方向即左右方向上的中央部的监视装置11上。监视装置11可以具有开关、旋钮、控制杆、以及按钮等未图示的操作输入部。此外,也可以在车室2a内与监视装置11不同的其他位置设有未图示的声音输出装置,可以从监视装置11的声音输出装置9及其他的声音输出装置输出声音。另外,监视装置11例如可以兼用于导航系统或音响系统。此外,车室2a内设有区别于显示装置8的显示装置12。如图3所例示的那样,显示装置12例如设置于仪表板24的仪表盘部25上,位于仪表盘部25的大致中央、速度显示部25a与转速显示部25b之间。显示装置12的画面12a的大小,小于显示装置8的画面8a(图3)的大小。该显示装置12上,可主要显示表示与车辆1的停车辅助相关的信息的图像。显示在显示装置12的信息量可以比显示在显示装置8的信息量少。显示装置12例如是lcd、oeld等。另外,显示装置8上也可以显示由显示装置12显示的信息。此外,如图1、图2所例示的那样,车辆1例如是四轮汽车,具有左右2个前轮3f及左右2个后轮3r。该4个车轮3均可以构成为能够转向。如图4所例示的那样,车辆1具有能使至少2个车轮3转向的转向系统13。转向系统13具有致动器13a及扭矩传感器13b。转向系统13由ecu14(electroniccontrolunit,电子控制单元)等电控制,使致动器13a工作。转向系统13例如是电动助力转向系统或sbw(steerbywire,线控转向)系统等。转向系统13通过致动器13a向转向部4施加扭矩即辅助扭矩来补充转向力,或通过致动器13a使车轮3转向等。这种情况下,致动器13a可以使1个车轮3转向,也可以使多个车轮3转向。此外,扭矩传感器13b例如检测驾驶人员施加给转向部4的扭矩。此外,如图2所例示的那样,车身2上设置有例如4个拍摄部15a~15d,作为多个拍摄部15。拍摄部15例如是内置ccd(chargecoupleddevice,电荷耦合器件)或cis(cmosimagesensor,互补金属氧化物半导体图像传感器)等拍摄元件的数码相机。拍摄部15可以以规定的帧率输出动态图像数据(拍摄图像数据)。拍摄部15分别具有广角镜头或鱼眼镜头,能够在水平方向上拍摄例如140°~190°的范围。此外,拍摄部15的光轴设定为朝向斜下方。由此,拍摄部15依次拍摄包含车辆1能够在其上移动的路面及车辆1能够停车的区域的车辆1的周边的外部环境,并作为拍摄图像数据输出。拍摄部15a例如位于车身2后侧的端部2e,设置于后备箱的门2h的下方的壁部。拍摄部15b例如位于车身2右侧的端部2f,设置于右侧的车门后视镜2g。拍摄部15c例如位于车身2的前侧即车辆前后方向上的前方侧的端部2c,设置于前保险杠等。拍摄部15d例如位于车身2的左侧即车宽方向上的左侧的端部2d,设置于作为左侧的突出部的车门后视镜2g。ecu14基于由多个拍摄部15得到的图像数据来进行运算处理或图像处理,能够生成视角更广的图像,或生成从上方观察车辆1的虚拟的俯视图像。此外,ecu14能够将从拍摄部15提供的拍摄图像数据转换成如同从使拍摄方向为朝向车辆1的多个虚拟视点拍摄的虚拟图像数据。此外,在显示装置8上依次显示该多个虚拟图像数据,能够显示如同以用户(驾驶人员,使用者)搭乘的车辆1为中心而从周围的远方朝向该车辆1那样的图像(实质上的动态图像)。对于虚拟图像数据的显示的细节在后文中详述。此外,ecu14也可以从由拍摄部15提供的拍摄图像数据中识别车辆1的周边的路面上示出的区划线等,检测(提取)由区划线等示出的停车位,来进行停车辅助。此外,如图1、图2所示例的那样,在车身2设置有例如4个测距部16a~16d,以及8个测距部17a~17h,作为多个测距部16、17。测距部16、17例如是发射超声波并捕捉其反射波的声纳。声纳也称作声纳传感器、超声波探测器或超声波声纳。本实施方式中,在使车辆1停车时,测距部16能够检测出与车辆1并排的第一障碍物(相邻车辆)及存在于用于停车的空间深处侧的第二障碍物(例如路牙、台阶、墙壁或篱笆等),并测定与该障碍物之间的距离。此外,在障碍物(物体)接近车辆1而超过了规定距离时,测距部17能够检测出接近的障碍物(物体),并测定与该障碍物之间的距离。特别是,配置于车辆1的后方两侧的测距部17a、17d,作为在车辆1边后退边进入平行停车的空间时测定车辆1的后方角部与第一障碍物(相邻车辆)之间的距离以及在进入之后进一步测定后方角部与第二障碍物(墙壁等)之间的距离的传感器(间隙声纳,clearancesonar)发挥作用。ecu14根据测距部16、17的检测结果,能够获取位于车辆1周围的障碍物等物体的有无及与该物体之间的距离。即,测距部16、17是用于检测物体的检测部的一个示例。另外,测距部17例如可以用于检测比较近距离的物体,测距部16例如相比于测距部17可以用于检测较远距离的物体。此外,测距部17例如可以用于检测车辆1的前方及后方的物体,测距部16可以用于检测车辆1侧方的物体。测距部17也可以作为用于检测物体(障碍物)接近到了规定的距离处的接近传感器发挥功能。此外,如图4所例示的那样,周边监控系统100(周边监控装置)中,ecu14、监视装置11、转向系统13、以及测距部16、17等之外,制动系统18、转向角传感器19、油门传感器20、档位传感器21、以及轮速传感器22等,通过作为电信线路的车内网络23电连接。车内网络23例如构成为can(controllerareanetwork,控制器区域网络)。ecu14通过车内网络23传送控制信号,由此能够控制转向系统13、制动系统18等。此外,ecu14通过车内网络23,能够接收扭矩传感器13b、制动传感器18b、转向角传感器19、测距部16、测距部17、油门传感器20、档位传感器21、轮速传感器22等的检测结果、以及操作输入部10等的操作信号等。ecu14例如具有cpu14a(centralprocessingunit,中央处理单元)、rom14b(readonlymemory,只读存储器)、ram14c(randomaccessmemory,随机存取存储器)、显示控制部14d、声音控制部14e、以及ssd14f(solidstatedrive,固态硬盘、flashmemory,闪存)等。cpu14a例如能够进行下述各种运算处理及控制,即:与显示在显示装置8、12上的图像相关的图像处理、车辆1的目标移动位置(目标停车位置、目标位置)的决定、车辆1的引导路径(引导路径、停车路径、引导停车路径)的运算、与物体间有无干扰的判断、车辆1的自动控制、自动控制的解除等。cpu14a能够对安装并存储在rom14b等非易失性存储装置的程序进行读取,并按照该程序进行运算处理。ram14c临时性地存储用于在cpu14a运算的各种数据。此外,显示控制部14d在ecu14的运算处理中主要进行显示在显示装置8的图像数据的合成等。此外,声音控制部14e在ecu14的运算处理中主要进行由声音输出装置9输出的声音数据的处理。此外,ssd14f是可擦写的非易失性的存储部,即使在ecu14的电源被断开的情况下也能够存储数据。另外,cpu14a、rom14b及ram14c等可以集成在同一个封装内。此外ecu14也可以是使用dsp(digitalsignalprocessor,数字信号处理器)等其他逻辑运算处理器或逻辑电路等来取代cpu14a的结构。此外也可以设置hdd(harddiskdrive,硬盘驱动器)来代替ssd14f,并且ssd14f或hdd也可以与ecu14分别设置。制动系统18例如是抑制制动的锁死的abs(anti-lockbrakesystem,防锁死制动系统)、抑制转弯时车辆1的侧滑的防止侧滑装置(esc:electronicstabilitycontrol,电子稳定控制)、增强制动力(进行制动辅助)的电动制动系统、bbw(brakebywire,线控制动)等。制动系统18通过致动器18a,对车轮3进而对车辆1施加制动力。此外,制动系统18能够基于左右的车轮3的旋转差等检测出刹车的锁死、车轮3的空转、以及侧滑的征兆等,并进行各种控制。制动传感器18b例如是检测制动操作部6的可动部的位置的传感器。制动传感器18b能够检测作为可动部的制动踏板的位置。制动传感器18b含有位移传感器。转向角传感器19例如是检测方向盘等转向部4的转向量的传感器。转向角传感器19例如用霍尔元件等构成。ecu14从转向角传感器19获取由于驾驶人员而产生的转向部4的转向量、或自动转向时各车轮3的转向量等,并进行各种控制。另外,转向角传感器19检测包含在转向部4的旋转部分的旋转角度。转向角传感器19是角度传感器的一个示例。油门传感器20例如是检测加速操作部5的可动部的位置的传感器。油门传感器20能够检测作为可动部的油门踏板的位置。油门传感器20包含位移传感器。档位传感器21例如是检测变速操作部7的可动部的位置的传感器。档位传感器21能够检测作为可动部的杆、臂、以及按钮等的位置。档位传感器21可以包含位移传感器,也可以构成为开关。轮速传感器22是检测车轮3的旋转量及单位时间的转速的传感器。轮速传感器22输出表示检测出的转速的轮速脉冲数作为传感器数值。轮速传感器22例如可以用霍尔元件等构成。ecu14基于从轮速传感器22获取的传感器数值来对车辆1的移动量等进行运算,并进行各种控制。另外,轮速传感器22也可以设置于制动系统18。这种情况下,ecu14通过制动系统18获取轮速传感器22的检测结果。另外,上述各种传感器以及致动器的结构、配置、电连接的形态等仅是一个示例,可以进行各种设定(变更)。ecu14实现周边监控系统。具体来说,生成以车辆1为中心如同从远方观察该车辆1的图像(视点转换图像)。进而,利用该视点转换图像,使虚拟视点从车辆1的一侧(例如正面区域、前方区域)经过车辆1的上方空中区域,向车辆1的相反侧(例如背面区域、后方区域)移动的同时,进行实质上的动态图像显示。通过进行该显示,使得用户容易识别存在于车辆1周围的物体的位置关系及其姿态、大小等。包含在ecu14中的cpu14a为了实现上述视点转换图像的实质上的动态图像显示,如图5所示那样,包括:图像获取部30、图像转换部32、操作接收部34、以及数据控制部36(控制部)等。进而,cpu14a例如进行利用由拍摄部15得到的拍摄图像数据的图像处理。图像获取部30、图像转换部32、操作接收部34、数据控制部36可以读取安装并存储在rom14b等存储装置的程序并将其执行来实现。图像获取部30通过显示控制部14d,获取从设置于车辆1并拍摄该车辆1周边的拍摄部15输出的拍摄图像数据。另外,显示控制部14d可以将拍摄部15拍摄到的拍摄图像数据以原始状态输出给显示装置8及显示装置12。这种情况下,可以利用操作部14g等输入装置让用户选择希望的显示内容。即,显示控制部14d选择性地显示由操作部14g的操作而被选择的图像。例如能够显示由拍摄部15a拍摄到的车辆1的后方图像,或者显示由拍摄部15d拍摄到的左侧方图像。图像转换部32将由图像获取部30获取的拍摄图像数据转换为基于使拍摄方向为从远方朝向车辆1的多个虚拟视点的虚拟图像数据。基于虚拟视点的虚拟图像数据的转换可以用公知的各种处理方法来实施。作为一个示例,图像转换部32基于由拍摄部15拍摄的表示车辆1的外部环境的拍摄图像数据、以及例如保存在rom14b等的映射表(mappingtable)的转换信息,生成从与车辆1分离而朝向该车辆1的视点位置观察车辆1的周围外部环境的情况下的虚拟图像数据(视点转换图像)。本实施方式的情况下,rom14b例如预先保存多种转换信息(mappingtable,映射表),该转换信息是如能够得到在从以车辆1为中心半径为数米(例如5米)的半圆轨道朝向车辆1的虚拟视点移动的情况下所得到的虚拟图像数据那样的信息。另外,映射表的转换信息优选是按照每个虚拟视点的位置进行准备。此外,本实施方式的情况下,视点转换图像优选为以具有连续性的平滑(smooth)的动态图像来显示。因此,映射表的转换信息,以例如虚拟视点每次移动α°时能够生成虚拟图像数据的方式准备。另外,增加映射表的转换信息的数量的话,生成的虚拟图像数据的数量(帧数)也增加从而能够生成更平滑的动态图像,但有cpu14a的处理负荷增加的倾向。反之,减少映射表的转换信息的数量的话生成的虚拟图像数据的数量也减少有可能动态图像质量会下降,但能够减轻cpu14a的处理负荷。因此,可以根据需要的视点转换图像(实质上的动态图像)的质量,来决定映射表的转换信息的数量。另外,在减少映射表的转换信息的数量时,在生成动态图像时可以基于前后的虚拟图像数据进行插值等来进行动态图像的修正(掉帧校正)。操作接收部34获取基于操作部14g的操作输入的信号。操作部14g例如是按钮或开关等,能够执行来自用户的视点转换图像的显示的请求或取消。此外,操作接收部34可以接收未图示的点火开关(ignitionswitch)的接通(on)信号,以该接通信号为契机视为获取了视点转换图像的显示请求。例如,可以根据用户乘坐于车辆1并将点火开关接通(on),在使车辆1发车之前先自动显示视点转换图像以向用户通知车辆1周围的情况。数据控制部36以形成虚拟视点在车辆1的周围移动着的动态图像的方式,将图像转换部32生成的多个虚拟图像数据排列,并提供给显示控制部14d而使其显示在显示装置8上。如图6所示,数据控制部36例如按照以虚拟视点38依序从第1虚拟视点位置a经过第2虚拟视点位置b移动到第3虚拟视点位置c的方式显示虚拟图像数据来进行准备。第1虚拟视点位置a是从车辆1的一侧隔着车辆1朝向相反侧(另一侧)的位置。图6的情况,示出了其设定于车辆1的前方侧的示例。第2虚拟视点位置b是从车辆1的上方空中区域朝向该车辆1的位置。第3虚拟视点位置c是从第1虚拟视点位置a的相反侧隔着车辆1朝向一侧的位置。图6的情况下,示出了其设定于车辆1的后方侧的示例。此外,数据控制部36在以虚拟视点38从第2虚拟视点位置b通过的方式显示虚拟图像数据的期间中,使虚拟图像数据以虚拟视点38的视线(车辆1的上方空中区域朝向该车辆1的视线(例如铅垂轴o))为中心旋转。在使虚拟视点38从第1虚拟视点位置a向第3虚拟视点位置c移动时,在将虚拟图像数据保持原样连续地显示的情况下,在通过第2虚拟视点位置b的前后,存在于车辆1周围的物体的上下方向会颠倒。其结果,难以掌握物体的位置及姿态。因此,数据控制部36在能够环顾车辆1的整个周围的车辆1的正上方位置(第2虚拟视点位置b)处使虚拟图像数据旋转180°。其结果,在通过第2虚拟视点位置b之后物体的上下方向也是与在第1虚拟视点位置a处时显示的状态相同的方向,能够以容易掌握车辆1周围的情况的状态,在抑制对物体位置关系的识别水平的下降的同时,顺畅地进行图像向第3虚拟视点位置c的转变。即,当在第3虚拟视点位置c显示基于虚拟图像数据的图像时,上下方向处在恰当的显示状态,因此能够提高对现实世界的再现程度。此外,随着虚拟图像数据的旋转,存在于车辆1周围的物体的显示位置也会变化,因此该物体的存在容易变得醒目,能够提高对物体的识别水平。即,能够容易地注意到物体的存在。另外,能够环顾车辆1的整个周围的车辆1的正上方位置是指,例如可以是在车辆1的前保险杠的铅垂延长线上的位置,也可以是在车顶的铅垂延长线上的位置,还可以是在后保险杠的铅垂延长线上的位置。此外也可以是在这些位置之间的位置。其中,由于能够进行使车辆1与周围的物体之间的位置关系容易掌握的显示、以及在使虚拟图像数据旋转时车辆1的偏心旋转较少而能够没有不协调感地进行显示等方面,在车顶的铅垂延长线上的位置较为理想。另外,虚拟图像数据由于是基于搭载于车辆1的拍摄部15拍摄到的拍摄图像数据生成的,因此有可能在拍摄图像数据中本车辆(车辆1)仅存在一部分。例如,有可能只有保险杠的一部分或车门的一部分被拍摄进来。其结果,基于拍摄图像数据生成的虚拟图像数据中,有可能没有反映出车辆1的全貌。因此,数据控制部36例如可以使预先存储在rom14b或ssd14f中的本车辆(车辆1)的车辆外形数据与虚拟图像数据重叠,以使车辆1存在于在显示装置8上显示的视点转换图像中的方式进行显示。其结果,能够进行使用户更加容易理解存在于车辆1(本车辆)的周围的物体与车辆1之间的位置关系的显示。另外,与虚拟视点38的移动对应地,车辆1的样子也会时刻变化,因此优选与映射表的转换信息的数量对应地准备车辆外形数据。车辆外形数据可以使用实际车辆1的拍摄数据来生成,也可以是动画。此外,车辆外形数据也可以使用半透明地或以线条图来显示车辆1的数据。在半透明地或以线条图显示车辆外形数据的情况下,能够使存在于车辆的深处侧的物体的存在及形状、大小等也容易掌握。另一方面,以实体表达的方式显示车辆外形数据的情况下,由于能够减少与现实世界(现实空间)的偏离,因此能够提供使用户更容易接受的图像。数据控制部36在使虚拟视点38移动时,可以预先决定其移动开始位置。数据控制部36例如可以将第3虚拟视点位置c决定为相对于车辆1发车时的预计行进方向位于后方。图6表示在车辆1前进发车时的第1虚拟视点位置a、第2虚拟视点位置b以及第3虚拟视点位置c的设定位置。反之,在车辆1后退发车的情况下,将第1虚拟视点位置a设定于车辆1的后方侧,将第3虚拟视点位置c设定于前方侧。如此,通过设定第3虚拟视点位置c,能够在最后提供在使车辆1发车时很有可能最终要注意的观察方向的图像,因此能够进行使用户更容易理解车辆1周围的情况的显示。另外,数据控制部36例如通过将对车辆1的点火开关进行切断(off)操作的前一刻亦即停车前一刻的变速操作部7的位置存储在ssd14f等中,来对车辆1发车时的预计行进方向进行判定。即,在切断点火开关的前一刻变速操作部7的位置在“r档”而以后退行走停车的情况下,车辆1从停车状态发车时前进发车的可能性较高。因此,优选将第3虚拟视点位置c设定于后方侧以使在视点转换图像的最后易于识别车辆1前方的情况。反之在即将切断点火开关时变速操作部7的位置在“d档”而以前进行走停车的情况下,车辆1从停车状态发车时后退发车的可能性较高。因此,优选将第3虚拟视点位置c设定于前方侧以使在视点转换图像的最后易于识别车辆1后方的情况。此外,利用停车辅助系统使车辆1停车的情况下,车辆1的ecu14可以将停车时的车辆1的进入方向及出库时的出发方向存储在ssd14f中。这种情况下,可以利用存储在ssd14f中的停车辅助时的信息来判定车辆1发车时的预计行进方向。另外,有时在车辆1停车期间内该车辆1周围的情况会发生变化,而使得最好变更发车时的预计行进方向。这种情况下,在点火开关接通时,数据控制部36可以在显示装置8或显示装置12上显示向用户询问车辆1的发车方向的信息,使其从操作部14g输入预计行进方向、即希望从哪个方向向哪个方向观察视点转换图像。图6的情况,示出了将第1虚拟视点位置a设定于车辆1的前方侧,将第2虚拟视点位置b设定于车辆1的上方空中区域,将第3虚拟视点位置c设定于后方侧的示例。第1虚拟视点位置a及第3虚拟视点位置c的设定位置能使虚拟图像数据在第2虚拟视点位置b(车辆1的上方空中区域)处例如绕铅垂轴o旋转180°即可,可以适当进行选择而可以得到同样的效果。例如,在另外的实施方式中,也可以将第1虚拟视点位置a设定于车辆1的右侧,将第2虚拟视点位置b设定于车辆1的上方空中区域,将第3虚拟视点位置c设定于车辆1的左侧,来显示视点转换图像(实质上的动态图像)。这种情况下,能够提供易于促使对车辆1的侧面情况加以注意的周边监控信息。此外,也可以将车辆1的左斜前方作为第1虚拟视点位置a,经过车辆1的上方空中区域即第2虚拟视点位置b,而将车辆1的右斜后方作为第3虚拟视点位置c。同样地,也可以将车辆1的右斜前方作为第1虚拟视点位置a,经过车辆1的上方空中区域即第2虚拟视点位置b,而将车辆1的左斜后方作为第3虚拟视点位置c。这种情况下,能够提供易于促使对车辆1的角落部分情况加以注意的周边监控信息。以下对如这样构成的周边监控系统100的动作进行说明。图7为表示车辆1停车中的现实世界(现实空间)一个示例的立体图。图7的情况表示车辆1在由前方侧的物体40及后方侧的物体42及物体44夹在中间的空间内停车的示例。另外,物体40与物体42为直径较小的圆柱形物体,物体44是比物体40及42直径更大的圆柱形物体。在以下的说明中,作为一个示例,对从图7的状态试图使车辆1前进发车时的对视点转换图像的显示处理进行说明。cpu14a(ecu14)首先判断是否存在视点转换图像的显示请求(s100)。例如,对点火开关的操作状态进行确认,点火开关被接通的情况下,车辆1处于发车准备中,判定为存在显示请求。这种情况下,随着点火开关的操作,以自动显示模式显示视点转换图像。此外,在其他的实施方式中,用户通过操作部14a等请求视点转换图像的显示的情况下,判定为存在显示请求。这种情况下,以手动显示模式显示视点转换图像。cpu14a判定为“不存在显示请求”的情况下(s100的“否”),暂时结束此流程。另一方面,cpu14a判定为“存在显示请求”的情况下(s100的“是”),数据控制部36获取车辆1的预计发车方向(s102)。数据控制部36例如基于存储于ssd14f等中的停车前一刻的变速操作部7的档位或进行停车辅助时的停车情况等,获取车辆1的预计发车方向。进而,数据控制部36基于预计发车方向,决定显示开始视点位置(s104)。例如,在判定为车辆1是前进发车的情况下,数据控制部36将第3虚拟视点位置c设定于车辆1的后方侧,将第1虚拟视点位置a设定于车辆1的前方侧。反之,在判定为车辆1是后退发车的情况下,数据控制部36将第3虚拟视点位置c设定于车辆1的前方侧,将第1虚拟视点位置a设定于车辆1的后方侧。接下来,图像获取部30通过显示控制部14d获取由各拍摄部15a~15d拍摄到的车辆1的周边的拍摄图像数据(当前图像)(s106)。进而,图像转换部32利用存储于rom14b的映射表的转换信息,将获取到的拍摄图像数据生成为(转换为)虚拟图像数据(s108)。另外,本实施方式中,图像转换部32以将拍摄图像数据投影于以车辆1的位置为中心的曲面上的方式,来转换为虚拟图像数据。数据控制部36从虚拟视点38存在于在s104中决定的显示开始视点位置(例如图6中的第1虚拟视点位置a)的情况下的虚拟图像数据开始进行显示。然后,数据控制部36以使虚拟视点38向第2虚拟视点位置b移动的方式,以规定的帧率依序显示虚拟图像数据,来开始视点转换图像的实质上的动态图像显示(s110)。本实施方式的情况下,如上所述,图像转换部32利用曲面投影将拍摄图像数据生成为虚拟图像数据。例如,在利用平面投影生成虚拟图像数据的情况下,若将第1虚拟视点位置a相对于车辆1设定在水平方向上,则与车辆1的周围的物体对应的像素会排列在水平线上(表现为直线),难以表现物体。另一方面,利用曲面投影生成虚拟图像数据的情况下,若将第1虚拟视点位置a相对于车辆1设定在水平方向上,存在于距离第1虚拟视点位置a较近位置的物体会以倒伏在路面的状态显示。此外,存在于深处侧(距离第1虚拟视点位置a较远侧)的物体会立体地显示为立像。图9为在虚拟视点38存在于第1虚拟视点位置的情况下,通过利用了曲面投影的虚拟图像数据而显示的视点转换图像的一个示例。这种情况下,能够使用户识别出车辆1的后方存在有物体42及44。数据控制部36对依序显示的虚拟图像数据(实质上的动态图像)是否是位于第2虚拟视点位置b的虚拟图像数据、即是否到了使虚拟图像数据绕铅垂轴o旋转180°的位置的虚拟图像数据的显示时机进行判定(s112的“否”)。当到达了将虚拟图像数据旋转的位置(时机)时(s112的“是”),数据控制部36暂时停止虚拟视点38的移动并进行虚拟图像数据的旋转(s114)。图10为基于虚拟视点38到达了第2虚拟视点位置b的情况下的虚拟图像数据而显示在显示装置8上的视点转换图像。如图10所示,在虚拟图像数据旋转之前,以车辆1的前方侧朝向显示装置8的画面的下端侧,且物体40存在于显示装置8的画面的下端侧,物体42及44存在于显示装置8的画面的上端侧的状态显示。图11为基于虚拟视点38到达第2虚拟视点位置b之后,以铅垂轴o(参照图6)为中心在水平方向上旋转180°之后的虚拟图像数据而显示在显示装置8上的视点转换图像。如图11所示,在虚拟图像数据旋转之后,以车辆1的后方侧朝向显示装置8的画面的下端侧,且物体42及44存在于显示装置8的画面的下端侧,物体40存在于显示装置8的画面的上端侧的状态显示。像这样,通过以容易掌握车辆1周围的整体情况的状态使虚拟图像数据旋转,能够使用户容易识别出物体40~44的存在及其与车辆1之间的位置关系,并且能够提高对要加以注意的物体的关注程度。数据控制部36对在第2虚拟视点位置b的数据控制部36控制的旋转是否结束进行确认(s116的“否”),在旋转结束的情况下(s116的“是”),使虚拟视点38向第3虚拟视点位置c的移动开始(s118)。另外,虚拟图像数据由于在第2虚拟视点位置旋转180°,因此即使使虚拟视点38向第3虚拟视点位置c移动也不会使车辆1的上下方向颠倒,在第3虚拟视点位置c显示基于虚拟图像数据的图像时,上下方向处在恰当的显示状态,因此能够提高对现实世界的还原度。接下来,数据控制部36对虚拟视点38的位置是否到达了显示最终位置进行判定(s120的“否”)。虚拟视点38到达了第3虚拟视点位置c(c1),即实施了与第3虚拟视点位置c(c1)对应的虚拟图像数据的显示的情况下(s120的“是”),cpu14a(操作接收部34)暂时停止此流程,等待下一次视点转换图像的显示请求的接收。此外,数据控制部36可以对一次显示请求,以规定次数反复显示视点转换图像。在多次显示视点转换图像的情况下,可以每次显示新的视点转换图像。即,可以实时地进行变化中的视点转换图像的显示。这种情况下,能够在视点转换图像中反映出突然的物体的接近,例如步行者等的接近,能够更好地向用户提供现实世界的情况。此外,在其他的实施方式中,也可以将初次显示的视点转换图像的内容保存在ram14c等,在第2次以后重复显示该保存的视点转换图像。这种情况下能够减轻cpu14a的处理负荷。数据控制部36可以改变虚拟视点的移动速度,即视点转换图像的动态图像显示速度(也可以设为可改变的)。例如,可以通过操作部14g接收用户希望的显示速度,然后设定为该显示速度。这种情况下,能够按照用户的偏好进行显示。此外,在多次进行视点转换图像的显示的情况下,也可以在初次的显示中以标准的第1速度显示,第2次以后以比第1速度慢的第2速度进行显示。这种情况下,能够进行使车辆周围的情况更容易理解的显示。如此,数据控制部36在显示虚拟图像数据时,使虚拟视点38在第1虚拟视点位置a、第2虚拟视点位置b以及第3虚拟视点位置c间连续地移动,并在第2虚拟视点位置b的位置使虚拟图像数据在水平方向上旋转180°。其结果,能够通过基于从虚拟视点38观察到的视点转换图像的实质上的动态图像向用户提供车辆1周围的情况,能够使用户更容易掌握车辆1周围的情况(现实世界、现实空间)。此外,由于使虚拟视点38的位置在高度方向上以及在从第1虚拟视点位置a到第3虚拟视点位置c的方向上连续地移动,存在于车辆1周围的物体(例如物体40~44)的观察方式会时刻变化。通过其变化的过程(连续变化的过程)能够使物体(立体物)的特征变得易于了解。进而,通过将视点转换图像连续地显示为实质上的动态图像,能够使物体的形状变化变得容易掌握。即,与间断地、或是个别地显示视点转换图像的情况相比,能够进行使用户容易理解车辆1周围的情况的显示。此外,通过将第3虚拟视点位置c设定为相对于在车辆1发车时的预计行进方向位于后方而使虚拟图像数据的显示结束,如图12所示,能够容易使发车方向的情况给用户留下印象,从而能够在发车时更强烈地引起注意。另外,在图像转换部32利用曲面投影来从拍摄图像数据生成虚拟图像数据的情况下,存在使cpu14a的处理负荷增大的情况。另一方面,利用平面投影从拍摄图像数据生成虚拟图像数据的情况下,存在与曲面投影的情况相比能够减轻cpu14a的处理负荷的情况。如上所述利用平面投影的情况下,在虚拟视点38位于与车辆1同水平的位置时,可能导致难以进行物体的显示。因此,如图6所示,将虚拟视点38的移动开始位置及移动结束位置向相对于车辆1的水平位置的上方移动,作为第1虚拟视点位置a1及第3虚拟视点位置c1。例如使第1虚拟视点位置a1相对于水平的仰角为α=15°。同样地使第3虚拟视点位置c1相对于水平的仰角为β=15°。这样,仅通过改变虚拟视点38的移动开始位置及移动结束位置,就能够容易地回避难以显示物体的不便之处。进而能够容易地减轻cpu14a的处理负荷。图13~图16表示基于使用虚拟图像数据的视点转换图像的显示示例,其中该虚拟图像数据是利用了平面投影而生成的。如图13所示,在虚拟视点38存在于第1虚拟视点位置a1时,成为对与之重叠的车辆1从前方的稍微上方俯视的状态。其结果,以从水平线升起的状态显示物体40,使用户容易识别出物体40的存在。在虚拟视点38到达第2虚拟视点位置b时,数据控制部36与用曲面投影生成虚拟图像数据的情况同样地,使虚拟图像数据绕铅垂轴o在水平方向上旋转180°(图14及图15)。在利用平面投影的情况下,由在第2虚拟视点位置b处的虚拟图像数据显示的物体40~44几乎为顶面视图像,物体40~44与车辆1之间的位置关系与利用曲面投影的情况更为明确。虚拟图像数据的旋转结束后,以看起来是虚拟视点38朝向第3虚拟视点位置c1重新开始移动的方式,数据控制部36重新开始虚拟图像数据的依序显示,进行与第3虚拟视点位置c1对应的虚拟图像数据的显示(图16),进而使一系列的显示处理结束。如图16所示,在虚拟视点38存在于第3虚拟视点位置c1时,成为对与之重叠的车辆1从后方的稍微上方俯视的状态。如此,利用平面投影来生成并显示虚拟图像数据的情况下,也可以使虚拟视点38在第1虚拟视点位置a1、第2虚拟视点位置b以及第3虚拟视点c1间连续地移动,并在第2虚拟视点位置b使虚拟图像数据在水平方向上旋转180°。其结果,能够通过基于从虚拟视点38观察到的视点转换图像的实质上的动态图像向用户提供车辆1周围的情况,能够使用户更容易掌握车辆1周围的情况(现实世界、现实空间)。此外,由于使虚拟视点38的位置在高度方向上以及在从第1虚拟视点位置a1到第3虚拟视点位置c1的方向上连续地移动,存在于车辆1周围的物体(例如物体40~44)的观察方式会时刻变化。通过其变化的过程(连续变化的过程)能够使物体(立体物)的特征变得易于了解。进而,通过将视点转换图像连续地显示为实质上的动态图像,能够使物体的形状变化变得容易掌握。即,与间断地、或是个别地显示视点转换图像的情况相比,能够进行使用户容易理解车辆1周围的情况的显示。此外,通过将第3虚拟视点位置c1设定为相对于在车辆1发车时的预计行进方向位于后方而使虚拟图像数据的显示结束,如图16所示,能够容易使发车方向的情况给用户留下印象,从而能够在发车时更强烈地引起注意。另外,上述各实施方式中,是将使虚拟图像数据旋转的第2虚拟视点位置b的位置设为车辆1的上方空中区域包含以车辆1为基准的铅垂轴o的位置(正上方位置)进行的说明。在其他实施方式中,使虚拟图像数据旋转的位置不限于包含铅垂轴o的位置,可以是与铅垂轴o的位置前后错开规定量的位置,也能够得到相同的效果。此外,在以虚拟视点38在第1虚拟视点位置a(a1)、第2虚拟视点位置b以及第3虚拟视点位置c(c1)间移动的方式显示虚拟图像数据的情况下,优选显示为实质上的动态图像,但对虚拟图像数据的显示也不是必须从第1虚拟视点位置a(a1)起到第3虚拟视点位置c(c1)止一直连续。例如,可以以在动态图像的中间包含静止图像的方式显示。此外,也可以通过用户对操作部14g等的操作,使基于虚拟图像数据的显示在想要关注的虚拟视点的位置静止。例如,在显示车辆1周边的情况时,在想要关注之处使基于虚拟图像数据的显示暂时成为静止图像,由此能够容易地研究车辆1与物体之间的位置关系及发车路径。此外,在图6中,示出了虚拟视点38沿着以车辆1为中心大致为半圆形的轨道移动的示例,但只要虚拟视点38在第2虚拟视点位置b的位置或其前后位置旋转180°,可以适当改变其移动方式。例如,可以在虚拟视点38从第1虚拟视点位置a(a1)上升规定的高度后,使虚拟视点38在车辆1的上方空中区域水平移动。在该水平移动的期间内使虚拟视点38在水平方向上旋转180°,其后,使其朝向第3虚拟视点位置c(c1)下降。这种情况下,俯视着车辆1的状态变长而能够进行使车辆1与物体之间的位置关系更容易掌握的显示。上述实施方式中,示出了从拍摄图像数据生成虚拟图像数据时利用曲面投影和平面投影中的任意一种的示例,但并不限于此。也可以将曲面投影与平面投影适当地组合来使用。例如,可以在第1虚拟视点位置a及第3虚拟视点位置c的附近使用曲面投影,而在其他部分使用平面投影。在这种情况下,能够通过显示开始及结束位置的改变将视点转换图像的显示范围扩大,同时能够减轻图像转换部32的处理负荷。此外,上述实施方式中,示出了基于拍摄部15拍摄到的当前图像(实时图像)生成虚拟图像数据的示例,但也可以将拍摄图像数据暂时保存于ram14c等而延迟时间地生成虚拟图像数据。这种情况下,尽管可能会稍微降低显示的实时性,但处理速度较慢的cpu14也变得可以使用,能够有助于削减周边监控装置的成本。此外,也可以利用由拍摄部15拍摄并保存于ram14c等的过去图像,来显示本实施方式中所示出的视点转换图像。这种情况下,不仅是当前的车辆1的周围,移动过的区域(偏离当前车辆1的位置的位置)的情况(过去的情况)也变得能够掌握,能够增加周边监控装置的利用机会。以上对本发明的实施方式及变形例进行了说明,但这些实施方式及变形例仅作为示例举出,并不意味着用于限定本发明的范围。这些新的实施方式也能够以其他各种形态进行实施,在不脱离本发明的核心思想的范围内,可以进行各种省略、替换及变更。这些实施方式及其变形均包含于本发明的范围及核心思想之中,并且包含于权利要求书所记载的发明及其等同的范围内。符号说明1…车辆2…车身8…显示装置14…ecu14a…cpu14b…rom14d…显示控制部14g…操作部15,15a,15b,15c,15d…拍摄部30…图像获取部32…图像转换部34…操作接收部36…数据控制部38…虚拟视点40,42,44…物体100…周边监控系统(周边监控装置)a,a1…第1虚拟视点位置b…第2虚拟视点位置c,c1…第3虚拟视点位置o…铅垂轴。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1