9的右侧表面上的右侧镜93R中。侧镜93L、93R可以从展开状态(驾驶员可以检查车辆9的侧后方的状态)变到折叠状态。在左侧镜93L的展开状态下，左侧摄像机5L的光轴5La面向车辆9的左侧方向(该方向与直线行驶方向实质上正交)。此外，在右侧镜93R的展开状态下，右侧摄像机5R的光轴5Ra面向车辆9的右侧方向(该方向与直线行驶方向实质上正交)。
[0056]采用例如鱼眼镜头的广角镜头作为摄像机5的镜头。摄像机5中的每个摄像机具有180°或更大视角。因此，能够通过使用四个摄像机5F、5B、5L、5R来捕获车辆9的整个周围。可以通过四个摄像机5中的两个摄像机5来交叠式地捕获车辆9的左前、右前、左后和右后方的各区域Al、A2、A3、A4。
[0057]如图1所示，显示设备3具有触摸面板31。触摸面板21设置在薄型(例如液晶型和有机EL型)显示面板中，并且可以接收用户的操作。显示面板配置为显示多种信息和图像。显示设备3布置在车辆9的仪表面板上，使得用户可以视觉上识别显示面板的屏幕。显示设备3可以布置在与图像生成设备2相同的壳体中，并与图像生成设备2集成在一起，或备选地，可以是与图像生成设备2分开的设备。
[0058]操作按钮4是用于接收用户操作的操作部件。操作按钮4设置在车辆9的方向盘上，例如，配置为主要接收来自驾驶员的操作。用户可以通过操作按钮4和显示设备3的触摸面板31在图像显示系统10上执行多种操作。当用户操作所述操作按钮4和操作面板31中的任何一个时，将指示对应操作的内容的操作信号输入到图像生成设备2。
[0059]图像生成设备2是能够执行多种图像处理的电子设备2，具有图像获取单元21、图像合成单元22、图像调整单元23和图像输出单元24。
[0060]图像获取单元21是图像获取装置的示例，被配置为获取由四个摄像机5F、5B、5L、5R捕获的图像。图像获取单元21具有例如将模拟捕获图像转换为数字捕获图像的图像处理功能。图像获取单元21配置为针对所获取的捕获图像执行预定图像处理并将处理之后的捕获图像输入到图像合成单元22和图像调整单元23。
[0061]图像合成单元22是配置为执行用于生成合成图像的图像处理的硬件电路。图像合成单元22是生成装置的示例，配置为合成由多个摄像机5获取的多个捕获图像，从而生成对从虚拟视点观看到的车辆9的周围加以指示的合成图像。下文将详细描述生成合成图像的方法。
[0062]图像调整单元23被配置为生成显示图像以便显示在显示设备3上。图像调整单元23配置为通过使用由图像合成单元22生成的合成图像和由图像获取单元21获取的捕获图像，生成包括合成图像和捕获图像的显示图像。
[0063]图像输出单元24配置为向显示设备3输出在图像调整单元23中生成的显示图像，并将显示图像显示在显示设备3上。因此，将指示从虚拟视点观看到的车辆9的周围的合成图像显示在显示设备3上。
[0064]此外，图像生成设备2还具有控制单元20、操作接收单元25、信号接收单元26和存储单元27。控制单元20是具有例如CPU、RAM、ROM等的微型计算机，并配置为总体上控制整个图像生成设备2。
[0065]操作接收单元25配置为当用户执行操作时，接收从操作按钮4和触摸面板31发送的操作信号。因此，操作接收单元25接收用户的操作。操作接收单元25配置为向控制单元20输入接收到的操作信号。
[0066]信号接收单元26配置为接收从单独设置在车辆9中的设备发送的信号，并向控制单元20输出所述信号。信号接收单元26配置为接收从例如变速传感器(shift sensor) 91和镜子驱动单元92发送的信号。
[0067]变速传感器91配置为检测变速位置并向图像生成设备2传输指示所述变速位置的信号，其中变速位置是车辆9传动的变速档(shift level)的位置。基于所述信号，控制单元20可以确定车辆9向前还是向后行进。
[0068]此外，镜子驱动单元32配置为响应于用户的指令旋转左侧镜93L和右侧镜93R 二者，并将侧镜93L、93R从展开状态和折叠状态中的一个状态变到另一状态。镜子驱动单元32配置为向图像生成设备2发送对侧镜93L、93R的展开/折叠状态加以指示的信号。
[0069]存储单元27是例如闪存的非易失性存储器，被配置为在其中存储多种信息。存储单元27配置为在其中存储用作固件的程序27a和用于由图像合成单元22生成合成图像的多种数据。用于生成合成图像的数据包括多个对应表27b。
[0070]CPU响应于存储在存储单元27中的程序27a而执行计算处理，使得实现控制单元20的多种功能。所示的图像控制单元20a和状态获取单元20b是当CPU响应于程序27a而执行计算处理时实现的功能单元的一部分。
[0071]所述图像控制单元20a配置为控制用于生成合成图像的图像合成单元22以及用于生成显示图像的图像调整单元23。图像控制单元20a配置为根据车辆9的状态和用户操作，控制图像合成单元22和图像调整单元23生成合成图像和显示图像。
[0072]此外，状态获取单元20b是状态获取装置的示例，并配置为获取侧镜93L、93R的展开/折叠状态。状态获取单元20b配置为基于从镜子驱动单元92传输的信号，获取侧镜93L、93R的展开/折叠状态的任意状态。
[0073]<1-2.生成合成图像〉
[0074]随后，描述了一种生成对从虚拟视点观看到的车辆9的周围情况加以指示的合成图像的方法。图3示出了图像合成单元22生成合成图像的方法。
[0075]当在前置摄像机5F、后置摄像机5B、左侧摄像机5L和右侧摄像机5R中分别执行捕获时，获得对车辆9的前方、后方、左侧和右侧加以指示的四个捕获图像SF、SB、SL、SR。四个捕获图像SF、SB、SL、SR包括指示车辆9的整个周围的数据。
[0076]图像合成单元22将四个捕获图像SF、SB、SL、SR中包括的数据(像素值)投影到虚拟三维空间的立体曲面TS。立体曲面TS是与车辆9的周围区域相对应的虚拟投影平面。
[0077]立体曲面TS为例如实质上半球形(碗状)，将中心区域(所述碗的底部)定义为车辆区域R0，车辆区域RO是车辆9的位置。图像合成单元22不将捕获图像数据投影到立体曲面TS的车辆区域(车辆9的位置)R0，而将捕获图像数据投影到投影区域R1，投影区域Rl是车辆区域RO的外部区域。投影区域Rl的每个位置与四个捕获图像SF、SB、SL、SR中的任一数据相关联。图像合成单元22将四个捕获图像SF、SB、SL、SR的数据分别投影到投影区域Rl的对应位置。
[0078]如图4所示，图像合成单元22将前置摄像机5F的捕获图像SF的数据投影到投影区域Rl的GF部分，所述GF部分与车辆9的前方相对应。同样，图像合成单元22将后置摄像机5B的捕获图像SB的数据投影到投影区域Rl的GB部分，所述GB部分与车辆9的后方相对应。此外，图像合成单元22将左侧摄像机5L的捕获图像SL的数据投影到投影区域Rl的GL部分，所述GL部分与车辆9的左侧相对应，并将右侧摄像机5R的捕获图像SR的数据投影到投影区域Rl的GR部分，所述GR部分与车辆9的右侧相对应。
[0079]在投影区域Rl中，对目标区域TA的数据进行投影，而非四个捕获图像SF、SB、SL、SR的整个区域的数据，其中所述目标区域TA是四个捕获图像SF、SB、SL、SR的一部分。也就是说，图像合成单元22通过使用四个捕获图像SF、SB、SL、SR的各目标区域TA，生成合成图像CP。
[0080]通过对应表27b将捕获图像中的数据和所述数据应投影到的投影区域Rl的每个位置相关联，所述对应表27b是提前存储在存储单元27中的表格数据。因此，通过对应表27b来定义四个捕获图像SF、SB、SL、SR的各目标区域(用于生成合成图像CP的区域)TA。将四个捕获图像SF、SB、SL、SR的每个目标区域TA确定为如下区域:在各捕获图像中包括车辆9周围的拍摄对象的图像。
[0081]当将捕获图像数据投影到如图3所示的立体曲面TS的投影区域Rl时，如上所述，图像合成单元22实际上配置代表车辆9的三维形状的多边形模型。将车辆9的模型布置在车辆区域RO中，车辆区域RO是车辆9在设置了立体曲面TS的三维空间内的位置。
[0082]然后，图像合成单元22在图像控制单元20a的控制下，相对所述三维空间设置虚拟视点VP0图像合成单元22可以朝向任意视向将虚拟视点VP设置在三维空间的任意视点位置处。图像合成单元22剪切投影到立体曲面TS的区域上的数据，作为图像，所述立体曲面TS被包括在以如从所设虚拟视点VP观看的视角内。此外，图像合成单元22根据所设虚拟视点VP执行对车辆9的模型的呈现，并将由所述呈现而产生的二维车辆图像90交叠在剪切图像上。因此，图像合成单元22生成合成图像CP，指示从虚拟视点VP观看到的车辆9和车辆9的周围区域。
[0083]例如，如图3所示，当设置了虚拟视点VPa(其视点位置在所述车辆9正上方且视向在所述车辆正下方)时，生成向下观看车辆9以及车辆9周围区域的合成图像CPa(俯瞰图像)。此外，当设置了虚拟视点VPb (其视点位置在车辆9的后方且视向在车辆的前方)时，生成指示车辆9和车辆9的周围区域的合成图像CPb，使得从车辆9的左后方观看所述车辆的整个周围。在该示例实施例中，图像合成单元22可以将如同从车辆9的正上方观看所述车辆的虚拟视点VPa设置为虚拟视点VP。因此，所述图像合成单元22可以生成作为向下观看车辆9和车辆9周围的合成图像的俯瞰图像。
[0084]在生成合成图像CP的过程中，如图4所示，将在立体曲面TS的投影区域Rl的部分GF、GB、GL、GR之间的边界部分BAl到BA4与两个捕获图像的数据进行投影，这两个捕获图像的数据应分别被投影到将所述边界部分夹在其间的两个部分。通过以相同比率将两个投影捕获图像数据进行alpha混合而获得边界部分BAl到BA4的数据的值。例如，通过将前置摄像机5的捕获图像SF的数据与左侧摄像机5L的捕获图像SL的数据进行alpha混合，获得在与车辆9的前方相对应的部分G F以及与车辆9的左侧相对应的投影区域Rl的部分GL之间的边界部分BAl的数据值。
[0085]由于图像合成单元22