剪切立体曲面TS的数据以便生成合成图像CP，因此立体曲面TS的边界部分BAl到BA4与用于所述合成图像CP的捕获图像之间的边界部分相对应。例如，图像合成单元22通过将两个捕获图像(将对应边界部分夹在其间)混合，来在合成图像CP的捕获图像之间生成边界部分。
[0086]<1-3.显示图像〉
[0087]随后，描述了通过图像调整单元23生成的显示图像。图5示出了由图像调整单元23生成的显示图像DP的示例。将图5所示的显示图像DP显示在显示设备3上，使得用户可以视觉上识别该显示图像。
[0088]如图5所示，显示图像DP包括合成图像CP和捕获图像SP。所述包括在显示图像DP中的合成图像CP是作为从车辆9的正上方观看车辆9周围的合成图像的俯瞰图像。
[0089]此外，根据车辆9的行进方向选择包括在显示图像DP中的捕获图像。当车辆9向前行进时，从前置摄像机5F获取的捕获图像SF用作显示图像DP的捕获图像SP。与此同时，当车辆9向后行进时，将从后置摄像机5B获取的捕获图像5B用作显示图像DP的捕获图像SP。图像控制单元20a根据从变速传感器91发送的信号，确定车辆9的行进方向。
[0090]用户视觉上识别显示图像DP以便根据捕获图像SP来理解车辆9的行进方向的情况并还根据合成图像CP来理解车辆9的整个周围的情况。图像显示系统10配置为不仅在侧镜93L、93R的展开状态下，而且还在侧镜93L、93R的折叠状态下，生成显示图像DP中包括的合成图像CP。
[0091]<1-4.侧镜的状态转变〉
[0092]如上所述，将侧面摄像机5L、5R分别设置在侧镜93L、93R中。因此，当侧镜93L、93R从展开状态转变到折叠状态时，侧面摄像机5L、5R的光轴的位置和方向也相应地发生改变。
[0093]图6示出了侧镜93L、93R的折叠状态。如上所述，当侧镜93L、93R在展开状态下时，侧面摄像机5L、5R的光轴5La、5Rb的方向与车辆9的直线行进方向实质上正交(参考图2)。另一方面，如图6所示，当侧镜93L、93R处于折叠状态时，相较于展开状态，侧面摄像机5L、5R的光轴5La、5Rb的方向更多地面向于后方。
[0094]此外，当旋转侧镜93L、93R时，设置有侧面摄像机5L、5R的位置不在旋转轴上。因此，当侧镜93L、93R从展开状态转变到折叠状态时，侧面摄像机5L、5R相对于车辆9的位置同样发生改变。
[0095]因此，当侧镜93L、93R从展开状态转变到折叠状态时，相应地改变在由侧面摄像机5L、5R获得的捕获图像中包括的拍摄对象图像的方向和范围。
[0096]图7示出了由左侧摄像机5L获得的捕获图像SL的示例。在与图8相同的情况下，获得图7所示的两个捕获图像SL。图7A示出了在左侧摄像机93L的展开状态下获取的捕获图像SL，图7B示出了在左侧摄像机93L的折叠状态下获取的捕获图像SL。
[0097]如图8所示，在左侧地面上存在所检查到的图案P的情况下获得两个捕获图像SL，图案P交替地布置有两个颜色的方格。图案P从车辆9前端的前方位置向车辆9后端的后方位置沿车辆9的纵向延伸。
[0098]图7所示的两个捕获图像SL包括图案P的图像Pa。然而，在两个捕获图像SL中，图案P的图像Pa的方向和范围不同。如图7A所示，在左侧镜93L的展开状态下获得的捕获图像SL中，图案P的图像Pa在捕获图像SL中沿实质上水平方向延伸。另一方面，如图7B所示，在左侧镜93L的折叠状态下获得的捕获图像SL中，图案P的图像Pa在捕获图像SL中以其右侧面下倾斜的方式延伸。在该示例中，描述了左侧摄像机5L。然而，右侧摄像机5R也是相同的。
[0099]这样，当改变侧镜93L、93R的展开/折叠状态时，由侧面摄像机5L、5R获得的捕获图像中包括的拍摄对象图像的方向和范围发生改变。因此，在侧镜93L、93R的折叠状态下，如果以与展开状态相同的方法生成合成图像CP，则生成不匹配地合成拍摄对象图像的合成图像CP。
[0100]为了处理以上问题，本示例实施例的图像显示系统10配置为:在侧镜93L、93R的展开状态和折叠状态下，改变由侧面摄像机5L、5R获得的捕获图像中的目标区域TA ( S卩，用于生成合成图像CP的区域)。
[0101]图9示出了左侧摄像机5L的捕获图像SL中的目标区域TA。图9A示出了在左侧镜93L的展开状态下的目标区域TAa。另一方面，图9B示出了在左侧镜93L的折叠状态下的目标区域TAb。在两个捕获图像SL中，捕获图像SL中的目标区域TA彼此不同。
[0102]这样，当在左侧镜93L的展开和折叠状态下改变捕获图像SL中的目标区域TA时，能够在任意状态下将在捕获图像SL中包括车辆9周围的拍摄对象图像的区域设置为目标区域TA。因此，在任意状态下，能够生成相匹配地合成拍摄对象图像的合成图像CP。与此同时，在该示例中，描述了左侧摄像机5L。然而，还根据右侧镜93R的状态，以相同方式改变在右侧摄像机5R的捕获图像SR中的目标区域TA。
[0103]尽管针对在展开状态下限定的目标区域TAa执行简单的坐标变换(旋转、平移等)，然而仍无法正确确定在侧镜93L、93R的折叠状态下限定的目标区域Tab。原因如下:尽管当改变侧镜93L、93R的状态时改变侧面摄像机5L、5R的位置，然而在通过例如鱼眼镜头的广角镜头获取的捕获图像中发生较大失真(扭曲拍摄对象图像的现象)。因此，根据提前存储在存储单元27中的对应表27b，单独确定在侧镜93L、93R的展开状态下定义的目标区域TAa和在折叠状态下定义的目标区域TAb。
[0104]在侧镜93L、93R的展开状态下，图像显示系统10的图像合成单元22配置为使用“展开时的表格”，即，与展开状态相对应的对应表27b。图像合成单元22配置为通过使用由展开时的表格确定的捕获图像的目标区域TAa，生成合成图像CP。另一方面，在侧镜93L、93R的折叠状态下，图像合成单元22配置为使用“折叠时的表格”，即，与折叠状态相对应的对应表27b。图像合成单元22配置为通过使用由折叠时的表格确定的捕获图像的目标区域TAb，生成合成图像CP。
[0105]这样，图像显示系统10的图像合成单元22配置为根据侧镜93L、93R的展开/折叠状态，改变用于生成合成图像CP的目标区域TA。因此，图像显示系统10可以生成相匹配地合成拍摄对象图像的合成图像CP，而无论侧镜93L、93R的状态。
[0106]<1-5.显示图像的显示〉
[0107]随后，描述图像显示系统10的操作的流程图。图10示出了用于显示显示图像DP的图像显示系统10的操作的流程。当用户通过操作按钮4执行操作以便开始图10所示的操作时，开始所述操作。此外，以预定周期(例如，1/30秒的周期)重复地执行图10的操作，直到用户通过操作按钮4执行了停止所述操作的操作为止。
[0108]首先，分别使得设置在车辆9中的四个摄像机5能够捕获车辆9的周围。其次，图像获取单元21获取通过四个摄像机5获得的四个捕获图像(步骤Sll)。
[0109]然后，状态获取单元20b获取侧镜93L、93R的展开/折叠状态。状态获取单元20b基于从配置为旋转侧镜93L、93R的镜子驱动单元92发送的信号，确定侧镜93L、93R处于展开状态还是折叠状态(步骤S12)。
[0110]如果侧镜93L、93R处于展开状态(步骤S12中的是)，则图像合成单元22在图像控制单元20a的控制下，选择展开时的表格，作为用于生成合成图像CP的对应表(步骤S13)。然后，图像合成单元22从存储单元27读出展开时的表格，所述展开时的表格是存储在存储单元27中的多个对应表27b之一。
[0111]然后，图像合成单元22使用展开时的表格以便生成合成图像CP，指示从虚拟视点观看到的车辆9的周围情况(步骤S15)。图像合成单元22根据展开时的表格确定四个捕获图像的各目标区域TA。然后，图像合成单元22通过使用四个捕获图像的各目标区域TA，生成合成图像CP。
[0112]随后，图像调整单元23生成显示图像DP，以便显示在显示设备3上(步骤S16)。图像调整单元23通过使用由图像合成单元22生成的合成图像CP以及由图像获取单元21获取的捕获图像，生成显示图像DP。图像调整单元23在图像控制单元20a的控制下，根据车辆9的行进方向选择捕获图像，并使用捕获图像来生成显示图像DP。
[0113]然后，图像输出单元24向显示设备3输出由图像调整单元23生成的显示图像DP (步骤S17)。然后，将包括合成图像CP的显示图像DP显示在显示设备3上。
[0114]此外，如果在步骤S12确定侧镜93L、93R处于折叠状态下(步骤S12中的否)，则图像合成单元22在图像控制单元20a的控制下，选择折叠时的表格，作为用于生成合成图像CP的对应表(步骤S14)。然后，图像合成单元22从存储单元27读出折叠时的表格，所述折叠时的表格是存储在存储单元27中的多个对应表27b之一。
[0115]然后，图像合成单元22使用折叠时的表格以便生成合成图像CP，指示从虚拟视点观看到的车辆9的周围情况(步骤S15)。图像合成单元22根据折叠时的表格确定四个捕获图像的各目标区域TA。因此，即使当侧镜93L、93R处于折叠状态下时，也将包括车辆9周围的拍摄对象图像的区域确定为侧面摄像机SL、SR的捕获图像中的目标区域TA。然后，图像合成单元22通过使用四个捕获图像的各目标区域TA，生成合成图像CP。因此，生成了相匹配地合成拍摄对象图像的合成图像CP。
[0116]随后，图像调整单元23生成显示图像DP，以便显示在显示设备3上(步骤S16)。图像调整单元23通过使用由图像合成单元22生成的合成图像CP以及由图像获取单元21获取的捕获图像，生成显示图像DP。图像调整单元23在图像控制单元20a的控制下，根据车辆9的行进方向选择捕获图像，并使用捕获图像来生成显示图像DP。
[0117]然后，图像输出单元24向显示设备3输出由图像调整单元23生成的显示图像DP (步骤S17)。然后，将包括合成图像CP的显示图像DP显示在显示设备3上。
[0118]如上所述，根据第一示例实施例的图像显示系统10，