图像生成设备和图像显示系统的制作方法

专利名称：图像生成设备和图像显示系统的制作方法
技术领域：
本发明涉及一种用于显示将要在安装于车辆上的显示设备上进行显示的图像的技术。
背景技术：
现有技术的图像显示系统安装在诸如汽车之类的车辆上，拍摄车辆周边以生成图像，并且将该图像显示在车辆内的显示器上。例如，与驾驶员的座位相对的前挡泥板的外部区域很容易被遮蔽。利用对通过拍摄前挡泥板的外部区域而获得的图像进行显示的图像显示系统，当车辆在窄路上掠过对面来车时或在其他情况下，驾驶员可以容易地识别与驾驶员的座位相对的车体与障碍物之间的间隙。已经提出了一种用于在车辆内部显示示出车辆周边广阔区域(不限于诸如前挡泥板的外部区域之类的车辆周边的有限区域)的图像的技术。例如，专利文献1在一个屏幕上排列并显示了车载摄像机所获得的三个图像，所述车载摄像机分别设置在车辆的前方、 左侧和右侧。专利文献2提出了一种技术，用于利用通过多个车载摄像机拍摄车辆周边所获得的多个拍摄图像来提供示出从设置在车辆的正上方的虚拟观察点所观察到的车辆周边图像。专利文献2还提出了一种用于根据方向指示所指示的方向在图像中移动驾驶员自己的车辆位置的技术。专利文献专利文献1 日本专利申请公开第2001-114048号专利文献2 日本专利申请公开第Hei3_99952号

发明内容
本发明要解决的技术问题在现有技术的图像显示系统中，观看将要显示的图像中所显示的物体的观察点的视野方向为车载摄像机的光轴的方向、或者基本上从车辆的正上方向下观看车辆的方向。 因此，驾驶员查看图像，并基于图像中物体的位置通过思考的过程(即，在他/她的头脑中进行坐标变换)来识别实际物体与车辆之间的位置关系。但是，很难立刻确定实际物体与车辆之间的位置关系。如在专利文献1中，在一个屏幕上显示车辆的前方、左侧和右侧的情况下，示出车辆前方的图像与示出车辆两侧的图像在视野方向上是不同的。因此，驾驶员可能会混淆物体存在的方向，从而驾驶员不能立刻确定该物体与车辆之间的位置关系。但是，当驾驶车辆的驾驶员发现可能与车辆接触的物体时，他/她需要通过瞬间决定来进行回避驾驶以避免碰撞。但是，在传统的图像显示系统中，很难立刻确定车辆与车辆周围物体之间的位置关系。因此，存在很难立刻做出准确决定的情况。因此，需要一种能够更直观地识别车辆与物体之间的位置关系的技术。
4
本发明就是在考虑该情况的条件下做出的，并且本发明的目的是提供一种用于直观地识别车辆与物体之间的位置关系的技术。本发明的目的通过下述构造实现。(1) 一种图像生成设备，其生成将要在安装在车辆上的显示设备上进行显示的图像，所述图像生成设备包括合成图像生成部分，其基于多个摄像机所拍摄的车辆周边的多个图像来生成车辆周围的合成图像，所述合成图像是从位于车辆后方并且指向车辆前方的虚拟观察点观察到的；输出部分，其将所生成的合成图像输出到显示设备；以及输入部分， 其输入车辆驾驶员的方向指示，其中当所述输入部分没有输入方向指示时，所述合成图像生成部分生成第一合成图像，其中以基本相同的尺寸显示车辆左侧区域和车辆右侧区域， 当输入部分输入方向指示时，所述合成图像生成部分生成第二合成图像，其中方向指示所指示的车辆一侧区域比车辆另一侧区域的显示尺寸大。(2)如(1)所述的图像生成设备，其中当所述输入部分停止输入方向指示时，所述合成图像生成部分继续生成第二合成图像至预定时间段，以及其中在所述预定时间段期间未输入方向指示时，所述合成图像生成部分在所述预定时间段之后开始生成第一合成图像。(3)如(1)或( 所述的图像生成设备，还包括显示图像生成部分，其生成包括由设置在车辆前方的摄像机所拍摄的前方图像和由合成图像生成部分所生成的合成图像的显示图像，其中所述输出部分将所生成的显示图像输出到显示设备。(4)如(1)至C3)中任意之一所述的图像生成设备，其中当将合成图像的虚拟观察点从第一位置改变到第二位置时，所述合成图像生成部分将虚拟观察点从第一位置逐步移动到第二位置，以生成多个合成图像，从而创建虚拟观察点连续移动的动画。(5) 一种图像生成设备，其生成将要在安装在车辆上的显示设备上进行显示的图像，所述图像生成设备包括合成图像生成部分，其基于多个摄像机所拍摄的车辆周边的多个图像来生成车辆周围的合成图像，所述合成图像是从位于车辆后方并且指向车辆前方的虚拟观察点观察到的，并且包括车辆的右侧区域和左侧区域；显示图像生成部分，其生成包括由设置在车辆前方的摄像机所拍摄的前方图像和由合成图像生成部分所生成的合成图像的显示图像；以及输出部分，其将所生成的显示图像输出到显示设备。(6) 一种图像生成设备，其生成将要在安装在车辆上的显示设备上进行显示的图像，所述图像生成设备包括合成图像生成部分，其基于多个摄像机所拍摄的车辆周边的多个图像来生成从虚拟观察点观察到的合成图像；以及输出部分，其将所生成的合成图像输出到显示设备，其中当将所述合成图像的虚拟观察点从第一位置改变到第二位置时，所述合成图像生成部分将虚拟观察点从第一位置逐步移动到第二位置，以生成多个合成图像， 从而创建虚拟观察点连续移动的动画。(7)如(6)所述的图像生成设备，其中所述合成图像生成部分从基准位置开始改变虚拟观察点。(8)如(7)所述的图像生成设备，其中所述基准位置是对应于车辆驾驶员的观察点的位置。(9) 一种安装在车辆上的图像显示系统，所述图像显示系统包括如⑴至⑶中任意之一所述的图像生成设备；以及显示设备，其显示图像生成设备所生成的图像。
5
本发明的效果(1)至(4)所述的图像生成设备以及(9)中所述的图像显示系统广泛地显示了驾驶员想要行进的方向中的侧面区域，在该侧面区域中很可能存在在车辆改变方向移动或者朝向路边移动时会与车辆接触的物体。因此，可以容易地发现可能与车辆接触的物体，从而可以有效地防止小的碰撞事故。由于显示了从自车辆后方位置指向车辆前方的虚拟观察点观察到的合成图像，因此以与驾驶员的视野方向相同的视野方向显示了车辆的侧面区域。 从而驾驶员可以直观地识别车辆与物体之间的位置关系，而无需承担诸如在他/她的头脑中进行坐标变换之类的复杂确定。根据O)中所述的图像生成设备，可以防止难以看到显示在显示设备上的合成图像的情况，这是因为当在短时间内连续操作方向指示时或在其他情况下，所述合成图像的观察点频繁改变。根据(3)中所述的图像生成设备，显示设备在同一屏幕上显示车辆的前方区域、 左侧区域和右侧区域。因此，可以不改变屏幕而从同一屏幕监视驾驶员驾驶时期望监视的区域。由于前方图像的视野方向、合成图像的视野方向、以及驾驶员的视野方向基本相同， 因此驾驶员可以直观地识别显示在屏幕上的物体的位置关系，而无需承担诸如在他/她的头脑中进行坐标变换之类的复杂确定。从而，即使已经提供了很多信息，驾驶员也可以做出准确的决定，以确保安全。根据中所述的图像生成设备，在显示设备上创建合成图像的动画演示，其中虚拟观察点从第一位置连续移动到第二位置。这样，与虚拟观察点从第一位置瞬间变换为第二位置的情况相比较，在虚拟观察点变换之后，驾驶员可以容易而直观地识别合成图像的虚拟观察点的位置。根据(5)中所述的图像生成设备，由于显示设备在同一屏幕上显示车辆的前方区域、左侧区域和右侧区域，因此可以不改变屏幕来从同一屏幕监视驾驶员期望监视的区域。 由于前方图像的视野方向、合成图像的视野方向、以及驾驶员的视野方向基本相同，因此驾驶员可以直观地识别显示在屏幕上的物体的位置关系，而无需承担诸如在他/她的头脑中进行坐标变换之类的复杂确定。因此，即使已经提供了很多信息，驾驶员也可以做出准确的决定，从而可以确保安全。根据(6)至(8)中所述的图像生成设备，在显示设备上创建合成图像的动画演示， 其中虚拟观察点在显示设备上从第一位置逐步移动到第二位置。因此，与虚拟观察点从第一位置瞬间移动到第二位置的情况相比较，在虚拟观察点变换之后，驾驶员可以容易而直观地识别合成图像的虚拟观察点的位置。根据(7)中所述的图像生成设备，由于虚拟观察点从基准位置开始移动，因此虚拟观察点关于所述基准位置进行变换之后，驾驶员可以容易而直观地识别合成图像的虚拟观察点的位置。根据(8)中所述的图像生成设备，由于虚拟观察点从对应于驾驶员观察点的基准位置开始移动，因此虚拟观察点变换之后，驾驶员可以更容易而直观地识别合成图像的虚拟观察点的位置。


6
图1是图像显示系统的方框图。图2是示出车载摄像机布置在车辆上的位置的视图。图3是用于生成从虚拟观察点观察到的合成图像的方法的说明视图。图4是示出图像显示系统的操作模式转换的视图。图5是示出前方模式的显示模式转换的视图。图6是示出双图像模式的显示图像示例的视图。图7是双图像模式中所呈现的视野范围的说明视图。图8是示出双图像模式中屏幕显示示例的视图。图9是示出虚拟观察点的观察点位置变换的视图。图10是示出双图像模式的显示图像示例的视图。图11是示出双图像模式的显示图像示例的视图。图12是示出改变虚拟观察点的观察点位置的处理流程的视图。图13是示出单图像模式中屏幕显示示例的视图。图14是示出虚拟观察点的移动的视图。图15是示出侧面摄像机模式中的屏幕显示示例的视图。图16是示出后方模式中的显示模式转换的视图。图17是示出标准模式的视野范围的水平角的视图。图18是示出宽模式的视野范围的水平角的视图。图19是示出合成标准模式的显示图像示例的视图。图20是示出合成高角度模式的显示图像示例的视图。图21是示出合成高角度模式的虚拟观察点的观察点位置的视图。图22是示出虚拟观察点的设置屏幕的视图。图23是示出虚拟观察点的设置屏幕的视图。图M是示出合成标准模式的显示图像示例的视图。图25是示出存储模式信息的处理流程的视图。图沈是示出开始后方模式时刻的处理流程的视图。图27是示出存储模式信息的处理流程的视图。图观是示出开始后方模式时刻的处理流程的视图。
具体实施例方式实现本发明的最佳模式下文中，将参照附图来描述本发明的实施例。<1.配置 >图1是根据本发明的实施例的图像显示系统100的方框图。图像显示系统100安装在车辆上(本实施例中为汽车)，并且具有拍摄车辆周边以生成图像以及将该图像显示在车辆内部的功能。作为车辆驾驶员的图像显示系统100的用户可以通过使用图像显示系统100容易地监视车辆周边。如图1所示，图像显示系统100包括拍摄部分5，其拍摄车辆周边；图像生成设备 10，其生成示出车辆周边的显示图像；以及导航设备20，其将各种信息提供给车辆驾驶员。图像生成设备10由具有图像生成功能的E⑶(电子控制单元)构造并且布置在车辆的预定位置。导航设备20为驾驶员执行导航引导。导航设备20包括显示器21，例如液晶显示器，其具有触摸板功能；操作部分22，其由驾驶员操作；以及控制部分23，其控制整个设备。导航设备20设置在车辆的仪表板上或者其他部分上，以使得可以从驾驶员处观看显示器21的屏幕。通过操作部分22和作为触摸板的显示器21来接收来自驾驶员的各种指令。 通过具有CPU、RAM、ROM等的计算机来构造控制部分23。通过CPU根据预定程序执行计算处理的方式来实现包括导航功能在内的各种功能。导航设备20可通信地连接到图像生成设备10。导航设备20可以利用图像生成设备10来传送和接收各种控制信号，或者可以接收图像生成设备10中所生成的显示图像。 显示器21通常显示用于导航引导的地像。但是，响应于驾驶员的预定操作或者来自图像生成设备10的信号等，显示器21显示图像生成设备10中所生成的并且示出车辆周边的显示图像。因此，导航设备20还用作显示设备，其接收图像生成设备10中所生成的显示图像并且对该图像进行显示。拍摄部分5电连接到图像生成设备10，并且基于来自图像生成设备10的信号进行操作。拍摄部分5包括车载摄像机，即，前方摄像机51、侧面摄像机52、和后方摄像机53。 车载摄像机51、52和53包括镜头和成像元件，并且通过电子手段来获取图像。图2是示出车载摄像机51、52和53布置在车辆9上的位置的视图。如图2中所示，前方摄像机51设置在车辆9前端的号牌位置附近。前方摄像机51的光轴51a朝向车辆9的正前方。侧面摄像机52分别设置在左右门镜93上。侧面摄像机52的光轴5 朝向车辆9的垂直于正前方的向外方向。后方摄像机53设置在车辆9后端的号牌位置附近。 后方摄像机53的光轴53a朝向车辆9的正前方的相反方向。前方摄像机51或后方摄像机 53优选地设置在左右的基本中心处，但是可以稍微偏离左右的中心处而位于朝左或朝右的方向上。对于车载摄像机51、52和53的镜头，采用鱼眼镜头或其他镜头。车载摄像机51、 52和53具有至少为180度的观察角α。因此，如果使用四个车载摄像机51、52和53，则可以拍摄车辆9的整个周边情况。返回图1，图像生成设备10包括控制部分1，其控制整个设备；图像处理部分3， 其处理从拍摄部分5获取的拍摄图像，并且生成显示图像；以及通信部分42，其与导航设备 20进行通信。通过导航设备20的操作部分22或显示器21从驾驶员处接收到的各种指令被通信部分42接收作为控制信号，并且输入到控制部分1。因此，图像生成设备10可以响应于驾驶员对导航设备20的操作来执行操作。图像处理部分3由可以处理各种图像的硬件电路来构成，并且包括拍摄图像调整部分31、合成图像生成部分32、和显示图像生成部分33作为主要功能块。拍摄图像调整部分31将从拍摄部分5获取的拍摄图像调整为显示图像。拍摄图像调整部分31执行诸如亮度或对比度、图像的失真修正之类的拍摄图像的图像质量的调整以使得图像自然地显示等。合成图像生成部分32基于从拍摄部分5的多个车载摄像机51、52和53所获取的多个拍摄图像来生成从车辆9附近的特定虚拟观察点观察到的合成图像。下文中将描述合成图像生成部分32如何生成从虚拟观察点观察到的合成图像。
显示图像生成部分33通过使用已在拍摄图像调整部分31中调整了的拍摄图像中的一个图像或多个图像的组合以及已由合成图像生成部分32生成的合成图像，来生成将要提供给驾驶员的显示图像。所生成的显示图像通过通信部分42输出到导航设备20，并且显示在导航设备20的显示器21上。控制部分1由具有CPU、RAM、R0M等的计算机构成。各种控制功能以CPU根据预定程序执行计算处理的方式来实现。如上所述实现的控制部分1的功能包括控制图像处理部分3执行图像处理的功能，即控制显示图像的内容的功能。在合成图像生成部分32中生成合成图像所需的各种参数由控制部分1的功能来指示。控制部分1还包括由闪存等构成的非易失性存储器11和具有测量功能的计时器12。图像生成设备10还包括信号输入部分41，其输入来自车辆9中所提供的各种设备的信号。来自车辆9外部的信号通过信号输入部分41输入到控制部分1。具体地，表示各种信息的信号从换档传感器81、车速传感器82、方向指示装置83、转向传感器84、变换开关85等输入到控制部分1。同时，图像显示系统100可以构造为包括换档传感器81、车速传感器82、方向指示装置83、转向传感器84、和变换开关85中的部分或全部。从换档传感器81，输入车辆9的变速器中变速杆的操作位置，即，换档位置，例如 “P (停车)”、“D (驾驶)，，、“N(空档)”、或“R(倒档)”。从车速传感器82输入车辆9当时的驾驶速度(km/h)。从方向指示装置83，输入基于方向指示灯开关操作的方向指示，即表示车辆9的驾驶员所预期的方向指示的转向信号。当方向指示灯开关被操作时，生成转向信号。所述转向信号表示所操作的方向(向左或向右)。当方向指示灯开关处于中间位置时，转向信号断开。从转向传感器84，输入驾驶员对方向盘进行转向操作的旋转方向以及旋转的角度。变换开关85是从驾驶员处接收指令以对显示图像的示象(aspect)进行变换的开关。 从变换开关85，将表示驾驶员指示的信号输入到控制部分1。<2.图像变换处理〉接下来，将描述图像处理部分3的合成图像生成部分32如何基于已从拍摄部分5 获得的多个拍摄图像来生成从特定虚拟观察点观察到的合成图像。图3是生成从特定虚拟观察点观察到的合成图像的方法的说明视图。当拍摄部分5的前方摄像机51、侧面摄像机52、和后方摄像机53同时拍摄图像时，分别获取表示车辆9的前方、左侧和右侧、以及后方的四个拍摄图像Pl至P4。S卩，从拍摄部分5获取的四个拍摄图像Pl至P4包括表示拍摄时车辆9的整个周边情况的信息。四个拍摄图像Pl至P4复合后，投影到一个虚构三维曲面SP上。例如，三维曲面 SP基本上为半球(碗)形状。三维曲面SP的中央部分(碗的底部)设置为车辆9的位置。 包含在拍摄图像Pl至P4中的每个像素的位置与三维曲面SP的每个像素的位置之间的对应关系是预先确定的。因此，可以根据所述对应关系以及包含在拍摄图像Pl至P4中的每个像素的值来确定三维曲面SP的每个像素的值。拍摄图像Pl至P4的每个像素的位置与三维曲面SP的每个像素的位置之间的对应关系在控制部分1的非易失性存储器11等中存储为表格数据。同时，通过控制部分1将三维曲面SP的虚拟观察点VP设置为车辆附近的朝向特定视野方向的特定观察点位置。使用观察点位置和视野方向来定义虚拟观察点VP。根据所设置的虚拟观察点VP，将三维曲面SP上的必要区域裁剪为图像，从而生成从特定虚拟观察点观察到的合成图像。例如，在设置虚拟观察点VPl的情况下，其中观察点的位置基本为车辆9中心的正上方的位置，并且视野方向基本为直接向下的方向，则生成从车辆9的基本正上方向下观看车辆9的合成图像CP1。如同一附图中所示，在设置虚拟观察点VP2的情况下，其中观察点的位置为车辆9的左后方位置，并且视野方向基本为车辆9的前方，则生成从车辆9的左后方观看车辆9的整个周边的合成图像CP2。虚拟观察点VP与三维曲面SP上的必要区域之间的关系预先确定，并且在控制部分1的非易失性存储器11中存储为表格数据。当实际生成合成图像时，不需要确定三维曲面SP的所有像素的值。仅根据拍摄图像Pl至P4来确定与所设置的虚拟观察点VP相应的必要区域的像素的值，从而提高处理速度。将要呈现在合成图像中的车辆9的图像预先准备为诸如位图之类的数据，并且存储在非易失性存储器11等中。当生成合成图像时，读取形状上与观察点位置一致的车辆9 的图像的数据以及上述合成图像的虚拟观察点VP的视野方向，从而使它们在合成图像中重叠。同时，在附图中，实际车辆和将要呈现在图像中的车辆的图像由同一参考标号9表
7J\ ο<3.操作模式>接下来，将描述图像显示系统100的操作。图4是示出图像显示系统100的操作模式转换的视图。图像显示系统100具有三种操作模式，包括导航模式M0、前方模式Ml、和后方模式M2。根据驾驶员的操作或驾驶状态通过控制部分1的控制来变换操作模式。导航模式MO是通过导航设备20的功能在显示器21上显示用于导航引导等的地像的操作模式。在导航模式MO中，不使用拍摄部分5和图像生成设备10的功能。通过作为单个单元的导航设备20的功能来实现各种显示。因此，如果导航设备20具有接收和显示TV广播无线电波而不是用于导航引导的地像的功能，则可以显示TV广播屏幕。前方模式Ml和后方模式M2是通过使用拍摄部分5和图像生成设备10的功能来在显示器21上实时地显示呈现出车辆9的周边情况的显示图像的操作模式。前方模式Ml 是实现前方监视器的功能以显示主要呈现出车辆9的前方区域或侧面区域的显示图像(其在车辆9前进时是必要的)的操作模式。后方模式M2是实现后方监视器的功能以显示主要呈现出车辆9的后方区域的显示图像(其在车辆9倒车时是必要的)的操作模式。在导航模式MO的情况下，例如，如果从车速传感器82输入的驾驶速度小于IOkm/ h，则导航模式MO变换为前方模式Ml。在前方模式Ml的情况下，例如，如果驾驶速度至少为 10km/h,则前方模式Ml变换为导航模式M0。如果车辆9的驾驶速度相对较高，则放弃前方模式M1，从而使驾驶员集中注意力进行驾驶。相反，如果车辆9的驾驶速度相对较低，则驾驶员很可能正在考虑车辆9的周边情况而进行驾驶，例如，车辆正进入视野较差的十字路口、正改变方向、以及正在向路边移动。因此，当驾驶速度相对较低时，操作模式变换为前方模式M1，其主要呈现出车辆9的前方区域或侧面区域。同时，在操作模式从导航模式MO变换为前方模式Ml的情况下，可以将驾驶员已做出明确操作指令的情况添加到驾驶速度小于10km/h的情况。
在导航模式MO或前方模式Ml的情况下，如果从换档传感器81输入的变速杆的位置为“R(倒车)”，则导航模式MO或前方模式Ml变换为后方模式M2。换句话说，当车辆9 的变速器被操作为位于“R(倒车)”，则车辆9处于倒车状态，从而操作模式变换为后方模式 M2，其主要呈现出车辆9的后方区域。在后方模式M2的情况下，当变速杆的位置为非“R(倒车)”的位置，则后方模式M2 根据当时的驾驶速度而变换为导航模式MO或前方模式Ml。如果驾驶速度至少为10km/h， 则后方模式M2变换为前方模式Ml。下文中，将详细描述前方模式Ml和后方模式M2中的每一个中用于显示车辆9的周边的示象。<4.前方模式>首先，将描述前方模式Ml的显示示象。图5是示出前方模式Ml中的显示模式转换的视图。前方模式Ml包括三种显示模式，即双图像模式Mil、单图像模式M12、以及侧面摄像机模式M13。这些显示模式的显示示象不同。每当驾驶员按下变换开关85时，显示模式就通过控制部分1的控制依次变换为双图像模式Mil、单图像模式M12、和侧面摄像机模式M13。在侧面摄像机模式M13的情况下，当按下变换开关85时，侧面摄像机模式13再次返回到双图像模式Mil。双图像模式Mll是在显示器21上并排显示包括由前方摄像机51进行拍摄而获得的前方图像FPl和从虚拟观察点VP观察到的合成图像FP2的显示图像的显示模式。在双图像模式Mll中，在同一屏幕上显示两个图像，即前方图像FPl和合成图像FP2。单图像模式M12是在显示器21上显示仅包括从虚拟观察点VP观察到的合成图像 FP3的显示图像的显示模式。侧面摄像机模式M13是在显示器21上显示仅包括由侧面摄像机52进行拍摄而获得的侧面图像FP4的显示图像的显示模式。<4-1. 2 图像模式 ><4-1-1.视野范围 >在双图像模式Mll中，显示图像生成部分生成包括前方摄像机51所拍摄的前方图像FPl和合成图像生成部分32所生成的合成图像FP2的显示图像，通信部分42将所生成的显示图像输出到导航设备20。图6是示出在双图像模式Mll中将要在显示器21上显示的显示图像示例的视图。 如图6中所示，在双图像模式Mll的显示图像上，前方图像FPl位于上部，合成图像FP2位于下部。前方图像FPl不是从虚拟观察点VP观察到的合成图像，而是在图像调整部分31中将由前方摄像机51进行拍摄而获得的拍摄图像调整为显示图像所获得的显示图像。合成图像FP2是包括从自车辆9的后方指向车辆9的前方的虚拟观察点VP观察到的车辆9的侧面区域的合成图像。图7是双图像模式Mll中所呈现的车辆9附近的视野范围的说明视图。在图7中， 虚线所表示的范围FVl是在前方图像FPl上所呈现的视野范围。双点划线所表示的范围 FV2是合成图像FP2上所呈现的视野范围。视野范围FVl和FV2在区域A2 (其为所述范围的边界)中部分重叠。在前方图像FPl上，车辆9的前方区域中在左右方向上延伸的180度水平角的区域被设置为视野范围FV1。因此，当车辆进入视野较差的十字路口时，驾驶员可以观看前方图像FP1，从而他/她可以识别车辆9的容易成为盲区的左前方和右前方中存在的物体。在合成图像FP2上，包括车辆9的从车辆9的前端的前方到车辆9的后端的后方的左侧和右侧区域以及车辆9的后方区域的范围被设置为视野范围FV2。因此，驾驶员可以观看合成图像FP2，从而他/她可以识别侧面区域或后方区域中存在的物体。当改变方向时、 向路边移动等时，驾驶员可以从其座位上容易地监视容易成为盲区的区域，例如，在门镜93 上看不到的前挡泥板94外部附近的区域Al。在双图像模式Mll中，可以不变换屏幕而同时看到视野范围FVl和FV2的两个图像FPl和FP2(参照图6)，从而驾驶员可以立即监视车辆9的周边情况。合成图像FP2的虚拟观察点VP的观察点位置被设置为车辆9的后方。视野方向被设置为车辆9的向前方向。因此，如图6中所示，合成图像FP2示出了从车辆9的后方向前观看车辆9的状态下车辆9的周边以及车辆9的图像。由于前方图像FPl的视野方向、 合成图像FP2的视野方向、以及驾驶员的视野方向基本相同，因此驾驶员不会混淆图像上所呈现物体的朝向。驾驶员不需要进行诸如在他/她的头脑中进行坐标变换之类的复杂思考，从而驾驶员可以直观地识别显示器21上所显示物体与车辆9之间的位置关系。与使用从车辆9的正上方向下观看车辆9的图像的情况相比较，容易识别车辆9 周围的物体靠近车辆9的哪个部分的位置关系。在从自车辆9的后方指向前方的虚拟观察点观察到的合成图像FP2上，呈现出车辆9的前进方向的前方区域以及车辆9的侧面区域。 因此，与使用从车辆9的正上方向下观看车辆9的图像的情况相比较，容易预测出车辆9与车辆9周围物体之间的位置关系如何根据车辆9的前进而变化。因此，当车辆9前进时，有效防止了车辆9与车辆9周围物体的接触。如图7中所示，假设在两个图像FPl和FP2的视野范围FVl和FV2上特定物体T 在车辆9周围移动。具体地，物体T从双图像模式Mll的视野范围之外的位置TPl移动到视野范围FV2内的区域Al的位置TP2，再移动到视野范围FVl和视野范围FV2的重叠区域 A2内的位置TP3，最后移动到视野范围FVl内车辆9前方的位置TP4。图8是示出物体T如上所述移动时双图像模式Mll中显示器21的屏幕显示示例的视图。当物体T从视野范围外的位置TPl移动到合成图像FP2的视野范围FV2内的位置 TP2时，物体T首先出现在屏幕下部的合成图像FP2上(状态STl)。在该观察点处，物体T 没有出现在屏幕上部的前方图像FPl上。随后，当物体T移动到视野范围FVl与视野范围 FV2的重叠区域A2内的位置TP3时，物体T既出现在前方图像FPl上也出现在合成图像FP2 上(状态ST2)。当物体T移动到前方图像FPl的视野范围FVl内的位置TP4时，物体T出现在前方图像FPl上(状态ST3)。即使在在两个图像FPl和FP2的视野范围FVl和FV2上物体T在车辆9周围移动的情况下，由于前方图像FPl的视野方向与合成图像FP2的视野方向、以及驾驶员的视野方向基本相同，因此物体T在两个图像FPl和FP2中的任意一个上以基本相同的方向移动。因此，驾驶员可以直观地识别物体T的移动。由于存在视野范围FVl与视野范围FV2彼此重叠的边界区域A2，因此存在物体T同时出现在前方图像FPl和合成图像FP2上的情形。因此，可以连续地识别出物体T的移动。在双图像模式Mll中，为驾驶员提供了非常多的信息。但是，如上所述，驾驶员可以直观地识别车辆9的周边情况。因此，驾驶员可以做出准确决定，从而可以充分确保驾驶
12安全。<4-1-2.方向指示装置的操作交互〉在双图像模式Mll中，响应于驾驶员对方向指示装置83的方向指示灯开关的操作，合成图像FP2的虚拟观察点VP的观察点位置通过控制部分1的控制而移动。图9是示出虚拟观察点VP的观察点位置转换的视图。如果从方向指示装置83输入的转向信号断开，即，信号输入部分41没有输入方向指示，则虚拟观察点VP的观察点位置设置为车辆9后方的基本在左右的中心处的位置VPC， 视野方向设置为车辆9的向前方向。因此，如图6中所示，生成车辆9的左侧区域与右侧区域以基本相等尺寸显示的合成图像FP2。如果从方向指示装置83输入的转向信号接通，即，信号输入部分41输入方向指示，则在虚拟观察点VP的视野方向设置为车辆9的向前方向的状态下，虚拟观察点VP的观察点位置移动到转向信号所指示方向的位置。具体地，如果转向信号指示左方，则虚拟观察点VP的观察点位置设置为车辆9左侧的位置VPL。因此，如图10中所示，生成方向指示装置83的转向信号所指示的车辆9的左侧区域比右侧区域的显示尺寸大的合成图像FP2，并且将其显示在显示器21上。该情况下，合成图像FP2同样示出从车辆9的后方向前方观看车辆9的状态下的车辆9的周边。如果转向信号指示右方，则虚拟观察点VP的观察点位置设置为车辆9右侧的位置 VPR0因此，如图11中所示，生成方向指示装置83的转向信号所指示的车辆9的右侧区域比左侧区域的显示尺寸大的合成图像FP2，并且将其显示在显示器21上。该情况下，合成图像FP2同样示出从车辆9的后方向前方观看车辆9的状态下的车辆9的周边。在方向指示装置83指示的方向上，最可能存在物体，其在车辆9改变方向移动或者朝向路边移动时可能与车辆9接触。由于方向指示装置83所指示方向的侧面区域被广泛呈现，从而驾驶员可以将他/她的注意力集中到可能与车辆9接触的物体上。因此，可以有效地防止车辆9与该物体接触。该情况下，合成图像FP2同样示出从车辆9的后方向前方观看车辆9的状态下的车辆9的周边以及车辆9的图像。由于车辆9的侧面区域以与驾驶员的视野方向相同的视野方向出现，因此驾驶员不会混淆图像中所呈现物体的朝向。驾驶员不需要进行诸如在他/ 她的头脑中进行坐标变换之类的复杂思考，从而驾驶员可以直观地识别车辆9与物体之间的位置关系。另外，驾驶员可以容易地识别车辆9周围的物体靠近车辆9的哪个部分的位置关系。驾驶员可以容易地预测出车辆9与车辆9周围物体之间的位置关系如何根据车辆 9的驾驶而变化。因此，驾驶员可以立刻做出准确的决定。即使在虚拟观察点VP的观察点位置移动到车辆9的左侧或右侧的情况下，合成图像也包括与转向信号所指示的一个方向相反的方向上的侧面区域。因此，即使物体存在于与转向信号所指示的方向相反的方向上的侧面区域中，也可以识别该物体。例如，在以与转向信号所指示的方向相反的方向暂时操作方向盘以避开存在于转向信号所指示的方向上的物体的情况下，可以防止与相反方向上存在的物体接触。但是，如果方向指示灯开关从操作位置返回到中间位置，从而来自方向指示装置 83的转向信号从接通变换为断开，则合成图像FP2的虚拟观察点VP的观察点位置返回到基本在左右中心处的位置VPC。该情况下，当输入信号部分41停止输入方向指示时，合成图像
13生成部分32继续生成合成图像FP2预定时间。并且在该预定时间内不输入方向指示，在该预定时间之后，合成图像生成部分32开始生成合成图像FP1。S卩，虚拟观察点VP的观察点位置在转向信号断开预定时间之后而不是在转向信号从接通变换为断开之后立即返回到基本在左右中心处的位置VPC。图12是示出改变虚拟观察点VP的观察点位置的处理流程的视图。当操作方向指示灯开关从而使得转向信号接通时，通过控制部分1的控制来执行该处理。首先，确定方向指示装置83的转向信号所指示的方向(S11)。如果转向信号指示向左，则执行S12。如果转向信号指示向右，则执行S17。在S12中，虚拟观察点VP设置为左侧的位置VPL。因此，如图10中所示，生成示出的左侧面区域比右侧更宽的合成图像FP2，并且将其显示在显示器21上。随后，在虚拟观察点VP设置为左侧的位置VPL的状态下，监视转向信号的状态 (S13)。如果转向信号指示向左的状态保持，则处理返回到S12，以使得虚拟观察点VP保持为左侧的位置VPL。换句话说，保持显示示出的左侧面区域相对更宽的合成图像FP2。同时， 如果转向信号指示向右，则执行S17。在S13中，如果转向信号断开，即已改变为没有方向指示，则在转向信号变为断开时开始通过计时器12进行测量(S14)。监视转向信号的状态，直到从测量开始经过了预定时间为止(S15和S16)。在本实施例中，例如，预定时间为3秒。在经过该预定时间之前，虚拟观察点VP都保持为左侧的位置VPL。并且，保持显示示出的左侧面区域相对更宽的合成图像FP2。如果在转向信号断开的状态下经过了预定时间(S16中为是)，则虚拟观察点VP的观察点位置返回到基本在左右中心处的位置VPC (S22)。因此，显示包括车辆9的基本相等的左侧和右侧区域的合成图像 FP2。但是，如果在S15中转向信号再次指示向左，则直到从测量开始经过预定时间为止，处理才返回到S12，从而保持虚拟观察点VP处于左侧位置VPL的状态。换句话说，保持显示示出的左侧面区域相对更宽的合成图像FP2。同时，如果在S15中转向信号指示向右， 则执行S17。在改变方向或向路边移动的情况下，稍微地操作方向盘。因此，存在方向指示装置 83的方向指示灯开关从操作位置返回到中间位置的情况，而与驾驶员的意图无关。因此，驾驶员短时间以相同方向持续操作方向指示装置83的方向指示灯开关。该情况下，如果虚拟观察点VP的观察点位置响应于转向信号的接通/断开而立即改变，则显示在显示器21上的合成图像FP2的观察点位置频繁变换，从而很难看到合成图像FP2。因此，即使转向信号断开，虚拟观察点VP的观察点位置也应该保持预定时间，在转向信号断开状态经过了预定时间的情况下，虚拟观察点VP的观察点位置才返回到基本位于左右中心处的位置VPC。因此，可以防止很难看到合成图像FP2的情况。当用于确定的预定时间较短时，合成图像FP2的观察点位置可能会频繁地变换。 当用于确定的预定时间较长时，合成图像FP2的观察点位置不容易返回到基本中心处。因此，优选地将预定时间设置为2秒到4秒。已经描述了转向信号指示向左的情况。但是，转向信号指示向右的情况与转向信号指示向左的情况仅在向左或向右方面不同，而转向信号指示向右的情况所进行的处理与转向信号指示向左的情况所进行的处理相同。换句话说，在S17中，虚拟观察点VP设置为右侧的位置VPR。因此，如图11中所示，生成示出的右侧区域比左侧区域更宽的合成图像 FP2，并且将其显示在显示器21上。随后，在虚拟观察点VP设置为右侧的位置VPR的状态下，监视转向信号的状态 (S18)。如果转向信号指示向右的状态保持，则处理返回到S17，从而虚拟观察点VP保持为右侧的位置VPR。如果转向信号指示向左，则执行S12。在S18中，如果转向信号断开，则在转向信号变为断开时开始通过计时器12进行测量(S19)，并且监视转向信号的状态，直到从测量开始经过预定时间为止(S20和S21)。此时，在经过预定时间之前，虚拟观察点VP都保持为右侧的位置VPR。如果转向信号断开的状态已经经过了预定时间(S21中为是)，则虚拟观察点VP的观察点位置返回到基本在左右中心处的位置VPC (S22)。因此，显示包括车辆9的基本相等的左侧和右侧区域的合成图像 FP2。但是，如果在S20中转向信号再次指示向右，则直到从测量开始经过预定时间为止，处理返回到S17，从而保持虚拟观察点VP位于右侧位置VPR的状态。换句话说，保持显示示出的右侧区域相对更宽的合成图像FP2。同时，如果在S20中转向信号指示向左，则执行 S12。<4-2.单图像模式〉返回图5，将描述单图像模式M12中的显示示象。在单图像模式M12中，显示器21 仅显示合成图像FP3。虚拟观察点VP的观察点位置设置为车辆9后方的基本在左右中心处的位置，并且视野方向设置为向车辆9的前方。因此，合成图像FP3示出了从车辆9的后方向前方观看车辆9的状态下车辆9的左侧和右侧区域。在窄路等上驾驶车辆9以避开对面来车的情况下，应该监视车辆9的左侧和右侧两侧。因此，上述显示示象的单图像模式M12 可以被有效利用。在单图像模式M12中，合成图像FP3的视野方向同样与驾驶员的视野方向基本相同。因此，驾驶员可以直观地识别显示在显示器21上的车辆9与物体之间的位置关系。如果显示模式已变换为单图像模式M12，则执行动画演示，以使得合成图像FP3的虚拟观察点VP以连续显示多个合成图像FP3的方式移动。图13是示出在单图像模式M12 中执行动画演示的情况下的显示示例的视图。图14是示出该情况下虚拟观察点VP的移动的视图。如图14中所示，虚拟观察点VP的观察点位置通过控制部分1改变，从而虚拟观察点VP的观察点位置从对应于驾驶员观察点的位置VPD直接移动到车辆9后方的位置VPA。 此时，合成图像生成部分32生成多个合成图像FP3，同时将虚拟观察点VP连续地从位置 VPD移动到位置VPA。另外，合成图像生成部分32生成动画，其中虚拟观察点VP通过连续生成多个合成图像FP3来连续移动。生成多个合成图像FP3的参数由控制部分1基于改变之前的位置VPD的参数以及改变之后的位置VPA的参数通过线性内插的方式提取。所生成的多个合成图像FP3转而输出到导航设备20，并且随后显示在显示器21上。因此，如图13中所示，在显示器21上执行动画演示，从而合成图像FP3的虚拟观察点VP从对应于驾驶员观察点的位置移动到车辆9的后方位置。在合成图像FP3上，车辆 9的图像没有出现(STll)，这是因为初始观察点为驾驶员的观察点。但是，车辆9顶部的图像逐渐出现(ST12和ST13)。最终，出现从后方向下观看车辆9的图像(ST14)。执行动画演示约1秒。在虚拟观察点VP的位置改变的情况下，如果虚拟观察点VP瞬时变换，则驾驶员不容易确定观察合成图像的虚拟观察点VP的位置。通过如本实施例中所述执行动画演示，与虚拟观察点VP瞬时变换的情况相比，驾驶员可以直观地识别观看合成图像的虚拟观察点 VP的位置。当执行动画演示时，对应于车辆9的驾驶员的观察点的位置为基准位置，从而虚拟观察点VP的观察点位置从基准位置开始移动。由于虚拟观察点VP改变之后的观察点位置基于驾驶员的观察点位置进行呈现，因此可以容易而直观地识别虚拟观察点VP改变之后的观察点位置。开始动画演示的基准位置可以不是对应于驾驶员观察点的位置，而是驾驶员可以容易而直观地识别的位置。例如，基准位置可以为车辆9中心的基本正上方或者基本位于前保险杠的左右中心处的位置。可以在任意情况下执行动画演示，例如在虚拟观察点VP改变的情况下，以及在显示模式改变的情况下。例如，在上述双图像模式Mll中，即使在虚拟观察点VP的观察点位置响应于方向指示装置83的操作而向左或向右改变的情况下，也优选地执行动画演示。在任意情况下，优选地生成多个合成图像，其中对于这些合成图像可以通过连续显示的方式执行动画演示，同时连续移动虚拟观察点的位置。生成合成图像的参数可以基于改变之前的位置的参数以及改变之后的位置的参数通过线性内插的方式来提取。通过使用动画演示， 驾驶员可以直观地识别改变之后的虚拟观察点VP的位置。<4-3.侧面摄像机模式〉返回图5，以下将描述侧面摄像机模式M13中的显示示象。在侧面摄像机模式中， 显示器12仅显示侧面图像FP4。侧面图像FP4不是从虚拟观察点VP观察到的合成图像，而是通过图像调整部分31将在左侧面摄像机52中进行拍摄而获得的拍摄图像调整为显示图像所获得的显示图像。例如，本实施例的车辆9中驾驶员的座位位置为右侧。因此，车辆9左侧(与驾驶员的座位位置方向相反)前挡泥板94的外部区域很容易成为盲区。因此，在侧面摄像机模式M13中，放大并呈现左侧前挡泥板94的外部区域。因此，与其他显示模式相比较，可以容易地识别盲区中存在物体的状态。如图15中所示，在侧面摄像机模式M13中，按下变换开关85，从而可以变换将要显示在显示器21上的范围。具体地，可以在侧面图像FP4(其放大并呈现车辆9左侧前轮96 附近的区域)与侧面图像FP5(其放大并呈现后方区域而非前轮96附近的区域)之间进行变换。<5.后方模式〉下文中，将描述变速杆的位置为“R(倒车)，，时的操作模式后方模式M2的显示示象。图16是示出后方模式M2中显示模式转换的视图。后方模式M2包括四种显示模式，即， 标准模式M21、宽模式M22、合成标准模式M23、和合成高角度模式M24。这些模式的显示示象不同。通过执行预定操作，驾驶员可以选择特定的一种显示模式并且将所选择的显示模式设置为当前显示模式(下文中，称其为“当前模式”)。具体地，当按下变换开关85时，当前模式依次被设置为标准模式M21、宽模式M22、
16以及合成标准模式M23。如果合成标准模式M23为当前模式，当按下变换开关85时，标准模式M21再次被设置为当前模式。代替变换开关85，可以按下屏幕上的命令按钮来进行变换。如果合成标准模式M23为当前模式，当按下在显示器21的屏幕上显示为命令按钮的观察点变换按钮CBl时，合成高角度模式M24被设置为当前模式。即使合成高角度模式 M24为当前模式，当按下显示在显示器21的屏幕上的观察点变换按钮CBl时，合成标准模式 M23也被设置为当前模式。如果合成高角度模式M24为当前模式，当按下变换开关85时，标准模式M21被设置为当前模式。在后方模式M2中，通过图像处理部分3生成对应于当前模式的显示图像，并且将其显示在显示器21上。如果标准模式M21和宽模式M22为当前模式，则显示器21显示仅包括在后方摄像机53中进行拍摄而获得的后方图像BPl和BP2的显示图像。如果合成标准模式M23为当前模式，则显示器21并排显示包括从虚拟观察点VP观察到的合成图像BP4 和在后方摄像机53中进行拍摄而获得的后方图像BP5的显示图像。如果合成高角度模式 M24为当前模式，显示从虚拟观察点VP观察到的合成图像BP6而不显示合成标准模式M23 中的后方图像BP5。<5-1.标准模式〉如图16中所示，在标准模式M21中，显示器21仅显示后方图像BPl。后方图像BPl 不是从虚拟观察点VP观察到的合成图像，而是通过图像调整部分31将在后方摄像机53中进行拍摄而获得的拍摄图像调整为显示图像所获得的显示图像。如图17中所示，后方图像 BPl的视野范围的水平角为135度。在标准模式M21中，以自然示象呈现车辆9的后方区域。在后方图像BPl中，以重叠的方式显示表示车辆9倒车时期望路径的引导线GL。 引导线GL根据从转向传感器84输入的方向盘的旋转方向和旋转角度来移动。因此，基于引导线GL，驾驶员可以对车辆9进行倒车。<5-2.宽模式〉如图16中所示，即使在宽模式M22中，显示器21也仅显示后方图像BP2。后方图像BP2不是从虚拟观察点VP观察到的合成图像，而是通过在图像调整部分31中将在后方摄像机53中进行拍摄而获得的拍摄图像调整为显示图像所获得的显示图像。在后方图像 BP2中，同样以重叠的方式显示表示车辆9倒车时期望路径的引导线GL。如图18中所示，后方图像BP2的视野范围的水平角为180度。可以监视水平方向上比标准模式M21更大范围内的物体。因此，在车头向前进行停车的情况下，当车辆从停车位倒车时，驾驶员可以通过利用上述显示示象的宽模式M22来监视容易成为盲区的后方的左右侧区域。<5-3.合成标准模式〉图19是示出合成标准模式M23中将要显示在显示器21上的显示图像示例的视图。如图19中所示，在合成标准模式M23中的显示图像上，合成图像BP4位于左侧，而后方图像BP5位于右侧。合成图像BP4是从向下观看车辆9的整个周边的虚拟观察点VP观察到的合成图像。后方图像BP5不是从虚拟观察点VP观察到的合成图像，而是通过在图像调整部分31中将在后方摄像机53中进行拍摄而获得的拍摄图像调整为显示图像所获得的显示图像。后方图像BP5的视野范围的水平角为135度。驾驶员观看上述显示示象的合成标准模式M23的显示图像，从而他/她可以同时监视车辆9的整个周边以及车辆9的后方区域。因此，驾驶员可以在识别车辆9整个周围环境中物体的同时安全地对车辆9进行倒车。<5-4.合成高角度模式〉图20是示出合成高角度模式M24中将要显示在显示器21上的显示图像示例的视图。如图20中所示，与在合成标准模式M23中一样，在合成高角度模式M24中从向下观看车辆9的整个周边的虚拟观察点VP观察到的合成图像BP4也位于显示图像的左侧。从基本直接向下观看车辆9后端附近的虚拟观察点VP观察到的合成图像BP6位于显示图像的右侧。如图21中所示，合成图像BP6的虚拟观察点VP的观察点位置设置为基本在车辆9 后端正上方的位置。视野方向设置为基本直接向下的方向。因此，在合成图像BP6上，在基本从上向下观看车辆9后端附近的区域的状态下放大并呈现该区域。在合成图像BP6上， 作为车辆9倒车时的驾驶方向的车辆9的后方位于图像的上方。驾驶员观看上述显示画面中合成高角度模式M24的显示图像，从而他/她可以容易地监视车辆9与车辆9周围物体之间的间隙，特别是与车辆9后端附近所存在物体之间的间隙。同时，很难监视到车辆9后方区域(其为车辆9倒车时的驾驶方向)中远离车辆9 而存在的物体。因此，合成高角度模式M24为车辆9停车时倒车情况下最终调整车辆9的停车位置的特定情形下可以有效利用的显示模式。<5-5.角度调整〉对于合成标准模式M23(参照图19)和合成高角度模式M24 (参照图20)中位于左侧的合成图像BP4，虚拟观察点VP的观察点位置可以设置为驾驶员期望的位置。在合成标准模式M23或合成高角度模式M24中，按下在屏幕上显示为命令按钮的设置按钮CB2，从而显示设置虚拟观察点VP的观察点位置的设置屏幕。图22和图23是示出虚拟观察点VP的设置屏幕的视图。设置屏幕示出了表示车辆9的虚拟观察点VP的位置的指示器以及车辆9的侧面视图。按下屏幕上的命令按钮CB4 和CB5，从而可以移动指示器。车辆9的视图的移动了的指示器的位置被设置为虚拟观察点 VP的观察点位置。该情况下，虚拟观察点VP的视野方向设置为基本朝向车辆9的中心9c。 图22是示出虚拟观察点VP的观察点位置设置为基本在车辆9中心的正上方位置的情况示例的视图。图23是示出虚拟观察点VP的观察点位置设置为车辆9的后方位置的情况示例的视图。在指示器的位置为虚拟观察点VP的情况下，设置屏幕的左侧显示合成图像BP7。 因此，通过观看设置屏幕，可以容易地确定哪个合成图像BP7是在虚拟观察点VP移动的情况下获得的。从而，驾驶员可以将虚拟观察点VP移动到他/她期望的位置。当按下在设置屏幕上显示为命令按钮的完成按钮CB时，设置内容反映在合成标准模式M23和合成高角度模式M24的显示上。例如，当按下图23中所示设置屏幕上的完成按钮BC3时，在从车辆9的后方观看车辆9的状态下、在显示图像的左侧、在合成图像BP4 上呈现车辆9，如图24中所示。由于可以设置虚拟观察点VP的观察点位置，因此驾驶员在对车辆9进行倒车时可以从期望的角度来识别车辆9与车辆9周围物体之间的位置关系。
<5-6.当前模式设置〉在后方模式M2中，存在四种彼此不同的显示模式。通过利用变换开关85等从驾驶员处接收指示。根据该指示，将一种显示模式设置为当前模式。通常，驾驶员根据他/她的喜好或者他/她经常使用的停车位环境来使用四种显示模式中的一种期望的显示模式。 如果每当车辆9倒车时都需要将驾驶员所期望的显示模式设置为当前模式，则该操作将变得复杂。因此，在后方模式M2中，图像显示系统100将最近使用的显示模式设置为当前模式。当操作模式下次再变为后方模式M2时，控制部分1将最近使用的显示模式设置为当前模式，作为操作模式变为后方模式M2之后紧接的当前模式。因此，驾驶员无需每次在车辆 9倒车时执行复杂的操作来选择他/她期望的显示模式。图25是示出对表示最近已设置的当前模式的信息进行存储的处理流程的视图。 在操作模式为后方模式M2的情况下，控制部分1重复执行该处理。首先，确定当前模式是否已变换为另一显示模式(S31)。如果当前模式已变换为另一显示模式，则将表示变换后的当前模式的模式信息存储在非易失性存储器11中(S32)。 由于每当当前模式变换时，则执行该处理，因此将表示最近已设置为当前模式的显示模式的模式信息存储在非易失性存储器11中。当操作模式为非后方模式M2的操作模式时(当车辆9的变速器在非“R(倒车)”的位置处时)，或者当图像显示系统100的电源关断时，模式信息存储在非易失性存储器11中。图26是示出开始后方模式M2的时刻的处理流程的视图。当车辆9的变速器被操作为位于“R(倒车)，，时，以及当操作模式为后方模式M2时，控制部分1执行该处理。首先，读取存储在非易失性存储器11中的模式信息(S41)。确定所读取模式信息所表示的显示模式为哪种显示模式(S42)。如果模式信息所表示的显示模式为非合成高角度模式M24的显示模式(S42中为否)，则将该模式信息所表示的显示模式设置为当前模式(S43)。如果模式信息所表示的显示模式为合成高角度模式M24(S42中为是)，则将合成标准模式M23设置为当前模式 (S44)。原理上，将最近已设置为当前模式的显示模式设置为操作模式变为后方模式M2 之后紧接的当前模式。但是，如果最近已设置为当前模式的显示模式为合成高角度模式 M24，则将合成标准模式M23而非合成高角度模式M24设置为操作模式变为后方模式M2之后紧接的当前模式。由于合成高角度模式M24通常在最终调整车辆9的停车位置时使用， 因此在开始对车辆9进行倒车时很少使用合成高角度模式M24。因此，如果最近已设置为当前模式的显示模式为合成高角度模式M24，作为例外，将另一显示模式设置为操作模式变为后方模式M2之后紧接的当前模式，从而将当前模式从合成高角度模式M24改变为另一显示模式的复杂操作是不必要的。同时，可以通过不同于图25和图26中所示的处理来执行对合成高角度模式M24 的异常处理。图27是示出对表示最近当前模式的信息进行存储的另一处理流程示例的视图。 该处理也在操作模式为后方模式M2时由控制部分1重复执行。首先，确定当前模式是否已变换为另一显示模式(S51)。如果当前模式已变换为另
19一显示模式，确定变换之后的当前模式为哪种显示模式(S52)。如果变换之后的当前模式为非合成高角度模式M24的显示模式(S52中为否)，则将表示变换之后的当前模式的模式信息存储在非易失性存储器11中(S53)。如果变换之后的当前模式为合成高角度模式M24(S52中为是)，则将表示合成标准模式M23的模式信息存储在非易失性存储器11中(S54)。因此，原理上，将表示最近已设置为当前模式的显示模式的模式信息存储在非易失性存储器11中。但是，如果最近设置的当前模式为合成高角度模式M24，作为例外，则存储表示合成标准模式M23的模式信息。图28是示出执行图27的处理的过程中开始后方模式M2时刻的处理流程的视图。 该处理在车辆9的变速器被操作为位于“R(倒车)”时也由控制部分1执行，从而使操作模式变为后方模式M2。首先，读取存储在非易失性存储器11中的模式信息(S61)。将所读取模式信息所表示的显示模式设置为当前模式(S62)。在该处理中，同样，如果最近已设置为当前模式的显示模式为合成高角度模式M24，作为例外，则可以将另一显示模式设置为操作模式变为后方模式M2之后紧接的当前模式。从而，将当前模式从合成高角度模式M24改变为另一显示模式的复杂操作是不必要的。<6.修改实施例〉已经描述了本发明的一个实施例。但是，本发明不限于已描述的实施例。可以对本发明进行各种修改。下文中，将描述本发明的修改实施例。当然，以下所述修改可以适当地组合。在已描述的实施例中，图像生成设备10和导航设备20是不同的。但是，导航设备 20和图像生成设备10可以位于同一外壳中以构成集成的设备。在已描述的实施例中，对图像生成设备10中所生成的显示图像进行显示的显示设备为导航设备20。但是，该显示设备也可以为普通的显示设备，其不具有诸如导航功能之类的特定功能。在已描述的实施例中，图像生成设备10的控制部分1所实现的功能部分可以由导航设备20的控制部分23实现。来自换档传感器81、车速传感器82、方向指示装置83、转向传感器84、和变换开关 85的信号输入到图像生成设备10中。但是，这些信号中的部分或全部可以输入到导航设备 20。该情况下，这些信号中的部分或全部可以通过通信部分42输入到图像生成设备10的控制部分1中。在已描述的实施例中，驾驶员期望的方向指示从方向指示装置83输入。但是，该指示可以通过其他方式输入。例如，根据从拍摄驾驶员的眼睛而获得的图像来检测驾驶员观察点的移动。根据检测结果，可以输入驾驶员期望的方向指示。在已描述的实施例中，在后方模式M2中特殊处理的特定显示模式为合成高角度模式M24。但是，也可以将非合成高角度模式M24的另一显示模式设置为该特定显示模式。 例如，仅显示基本从虚拟观察点直接向下观看车辆9后方附近的图像的显示模式可以为该特定显示模式。优选地，在诸如最终调整停车位置之类的特定情况下使用的画面的显示模式为该特定显示模式。
在已描述的实施例中，由软件通过CPU依照程序进行计算处理来实现各种功能。 但是，部分功能可以通过电子硬件电路来实现。相反，通过硬件电路实现的部分功能也可以通过软件来实现。本发明基于2009年5月29日提交的日本专利申请(日本专利申请第2009-130100 号)，该日本专利申请的公开通过引用并入本文。参考标号的描述1控制部分
3图像处理部分
5拍摄部分
10图像生成设备
11非易失性存储器
21显不器
32合成图像生成部分
42通信部分
100图像显示系统
权利要求
1.一种图像生成设备，其生成将要于安装在车辆上的显示设备上进行显示的图像，所述图像生成设备包括合成图像生成部分，其基于多个摄像机所拍摄的车辆周边的多个图像来生成车辆周围的合成图像，所述合成图像是从位于车辆后方并且指向车辆前方的虚拟观察点观察到的； 输出部分，其将所生成的合成图像输出到显示设备；以及输入部分，其输入车辆驾驶员的方向指示， 其中所述合成图像生成部分用于当所述输入部分没有输入方向指示时，生成第一合成图像，其中以基本相同的尺寸显示车辆左侧区域和车辆右侧区域，以及当输入部分输入方向指示时，生成第二合成图像，其中由方向指示所指示的车辆一侧区域比车辆另一侧区域的显示尺寸大。
2.如权利要求1所述的图像生成设备，其中当所述输入部分停止输入方向指示时，所述合成图像生成部分继续生成第二合成图像预定时间段，以及其中当在所述预定时间段期间不输入方向指示时，在所述预定时间段之后，所述合成图像生成部分开始生成第一合成图像。
3.如权利要求1所述的图像生成设备，还包括显示图像生成部分，其生成包括由设置在车辆前方的摄像机所拍摄的前方图像和由合成图像生成部分所生成的合成图像的显示图像，其中所述输出部分将所生成的显示图像输出到显示设备。
4.如权利要求1所述的图像生成设备，其中当将合成图像的虚拟观察点从第一位置改变为第二位置时，所述合成图像生成部分将虚拟观察点从第一位置逐步移动到第二位置， 以生成多个合成图像，从而创建虚拟观察点连续移动的动画。
5.一种图像生成设备，其生成将要于安装在车辆上的显示设备上进行显示的图像，所述图像生成设备包括合成图像生成部分，其基于多个摄像机所拍摄的车辆周边的多个图像来生成车辆周围的合成图像，所述合成图像是从位于车辆后方并且指向车辆前方的虚拟观察点观察到的， 并且包括车辆的右侧区域和左侧区域；显示图像生成部分，其生成包括由设置在车辆前方的摄像机所拍摄的前方图像和由合成图像生成部分所生成的合成图像的显示图像；以及输出部分，其将所生成的显示图像输出到显示设备。
6.一种图像生成设备，其生成将要于安装在车辆上的显示设备上进行显示的图像，所述图像生成设备包括合成图像生成部分，其基于多个摄像机所拍摄的车辆周边的多个图像来生成从虚拟观察点观察到的合成图像；以及输出部分，其将所生成的合成图像输出到显示设备，其中当将所述合成图像的虚拟观察点从第一位置改变为第二位置时，所述合成图像生成部分将虚拟观察点从第一位置逐步移动到第二位置，以生成多个合成图像，从而创建虚拟观察点连续移动的动画。
7.如权利要求6所述的图像生成设备，其中所述合成图像生成部分从基准位置开始改变虚拟观察点。
8.如权利要求7所述的图像生成设备，其中所述基准位置是对应于车辆驾驶员观察点的位置。
9.一种安装在车辆上的图像显示系统，所述图像显示系统包括 如权利要求1所述的图像生成设备；以及显示设备，其显示图像生成设备所生成的图像。
10.一种安装在车辆上的图像显示系统，所述图像显示系统包括 如权利要求5中所述的图像生成设备；以及显示设备，其显示图像生成设备所生成的图像。
11.一种安装在车辆上的图像显示系统，所述图像显示系统包括 如权利要求6中所述的图像生成设备；以及显示设备，其显示图像生成设备所生成的图像。
全文摘要
本发明提供了一种用于直观地了解车辆与物体之间的位置关系的技术。在一种图像显示系统中，在提供给驾驶员的显示图像中，以较大尺寸显示车辆(9)的由方向指示器所指示方向上的侧面区域。因此，容易发现可能与车辆(9)接触的物体，从而可以有效避免碰撞事故。在这种情况下，显示从自车辆(9)的后方位置向前方进行观察的虚拟观察点所观察到的合成图像(FP2)，从而以与驾驶员他/她的视野方向相同的视野方向显示车辆(9)的侧面区域。因此，驾驶员可以直观地了解车辆(9)与物体之间的位置关系，而不需要进行诸如必须在他/她的头脑中进行坐标变换的复杂确定。
文档编号G09G5/36GK102448773SQ20108002368
公开日2012年5月9日 申请日期2010年5月28日 优先权日2009年5月29日
发明者大野恭裕, 尾崎行辅, 山下贵克 申请人:富士通天株式会社