成有间隙，其中不将任何捕获图像数据投影到间隙。因此，图像合成单元22利用未使用捕获图像的线条(掩膜图像的示例)来显示合成图像CP的捕获图像之间的边界部分。
[0180]图20示出了在侧镜93L、93R的展开和折叠状态下生成的合成图像CP的示例。图20A示出了在侧镜93L、93R的展开状态下生成的合成图像CP，图20B示出了在侧镜93L、93R的折叠状态下生成的合成图像CP。在图20中，利用与针对在图4或9的立体曲面TS的部分GF、GB、GL、GR之间的边界部分定义的附图标记相同的附图标记来表示合成图像CP的捕获图像之间的边界部分。
[0181]如图20A所示，在侧镜93L、93R的展开状态下生成的合成图像CP中，通过混合来形成合成图像CP的捕获图像之间的边界部分BAl到BA4。因此，边界部分BAl到BA4还包括拍摄对象的图像，使得合成图像CP成为自然图像。在这种情况下，由于使用在校准处理中得到的展开时的参数，生成了合成图像，能够在合成图像CP的混合部分处令所述拍摄对象的图像彼此正确交叠。
[0182]相反，如图20B所示，在侧镜93L、93R的折叠状态下生成的合成图像CP中，捕获图像数据不用于合成图像CP的捕获图像之间的边界部分BBl到BB4，使得形成非彩色的线条(achromatic lines)。因此，在线条BBl到BB4中不包括拍摄对象的图像。
[0183]在这种情况下，由于使用通过计算得到的折叠时的参数生成了合成图像CP，存在如下问题:不匹配地合成拍摄对象的图像。因此，利用未包括拍摄对象图像的线条来显示合成图像CP的捕获图像之间的边界部分，使得能够防止不匹配地显示所述拍摄对象的图像。同样，由于通过所述线条划分合成图像CP的捕获图像，能够降低由于拍摄对象的图像在捕获图像之间是不连续的而引起的用户不适感。
[0184]如上所述，根据第三示例实施例的图像显示系统10B，图像合成单元22配置为在侧镜93L、93R的展开状态下，通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间。另一方面，在侧镜93L、93R的折叠状态下，图像合成单元22配置为利用未使用捕获图像的线条来显示合成图像CP的捕获图像之间的边界部分。
[0185]在侧镜93L、93R的展开状态，正确地考虑侧镜5L、5R的光轴方向的误差，能够生成合成图像CP。因此，能够在合成图像CP的混合部分处令所述拍摄对象的图像彼此正确交叠，使得能够生成自然合成图像CP。相反，在侧镜93L、93R的折叠状态下，侧面摄像机5L、5R的光轴方向的误差是不精确的。因此，利用线条来显示合成图像CP中的捕获图像之间的边界部分，使得能够防止不匹配地交叠和显示拍摄对象的图像。
[0186]与此同时，根据第三示例实施例的图像显示系统10B，在校准处理中获取展开时的参数，并根据所获取的展开时的参数，通过预定计算来导出折叠时的参数。相反，可以在校准处理中获取折叠时的参数，并根据所获取的折叠时的参数，通过预定计算来导出展开时的参数。在这种情况下，图像合成单元22配置为在侧镜93L、93R的展开状态下时，利用未使用捕获图像的线条来显示合成图像CP中的捕获图像之间的边界部分。另一方面，在侧镜93L、93R的折叠状态下，图像合成单元22配置为通过混合两个捕获图像，来在合成图像CP的捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间。
[0187]<4.经修改的实施例>
[0188]尽管描述了本发明的示例实施例，然而本发明不限于所述示例实施例，可以进行多种修改。在下文中，描述了经修改的实施例。可以适当地组合包括上述示例实施例和以下经过修改的实施例的所有实施例。
[0189]在相应示例实施例中，状态获取单元20b配置为基于从镜子驱动单元92发送的信号，获取侧镜93L、93R的展开状态或折叠状态。然而，状态获取单元20b可以配置为基于用户输入操作，获取侧镜93L、93R的展开状态或折叠状态。在这种情况下，用户通过操作按钮4或触摸面板31输入侧镜93L、93R的展开状态和折叠状态中的任意状态。
[0190]此外，在第二和第三示例实施例中，在可弹出的标记部件7上形成标记70。然而，标记70可以形成在不可弹出的板状标记部件的主表面上，或形成在工作场所的地面上。
[0191]此外，第二和第三示例实施例的图像生成设备2可以不具有如配置为获取光轴参数的参数获取设备的功能。在这种情况下，图像生成设备2可以将由单独参数获取设备得到的光轴参数存储在存储单元27中，并当生成合成图像CP时使用光轴参数。
[0192]在第三示例实施例中，在侧镜93L、93R的展开或折叠状态下，利用未使用捕获图像的线条来显示在合成图像CP中的捕获图像之间的边界部分。然而，覆盖边界部分的图像的形状不限于线条型，只要能够防止不匹配地交叠和显示拍摄对象的图像，可以适当地确定覆盖边界部分的图像的形状。
[0193]同样，除了显示指示车辆9的周围的显示图像之外，对应所示实施例的图像显示系统10(10A、10B)还可以具有其它功能，例如引导到达目的地的路线的导航功能。当图像显示系统10(10A、10B)具有导航功能时，可以在正常情况下激活导航功能，并且当用户执行预定操作时，可以激活显示所述显示图像的功能。可以将导航功能设置在图像生成设备2或显示设备3中。
[0194]同样，相应示例实施例的图像显示系统10(10A、10B)配置为生成从车辆9正上方的虚拟视点观看到的合成图像(俯瞰图像)。然而，还可以生成从其它位置的虚拟视点观看到的合成图像。
[0195]同样，在上述示例实施例中，通过响应于所述程序的CPU的计算处理，将多种功能单元实现为软件形式。然而，可以将功能单元的一部分实现为电学硬件电路。此外，相反，可以以软件方式实现由所述硬件电路执行的一部分功能。
[0196]本申请基于2012年8月30日提交的日本专利申请N0.2012-189604，其内容通过引用合并于此。
【主权项】
1.一种用于具有侧镜的车辆的图像生成设备，所述图像生成设备包括: 图像获取装置，用于获取多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机； 生成装置，用于通过使用针对各捕获图像限定的目标区域，生成指示从虚拟视点观看到的车辆周围的合成图像；以及 状态获取装置，用于获取侧镜的展开状态或折叠状态， 其中所述生成装置根据侧镜的展开状态或折叠状态来改变所述目标区域。
2.根据权利要求1所述的图像生成设备， 其中所述生成装置在侧镜的展开状态下根据第一参数来限定目标区域，并在侧镜的折叠状态下根据第二参数来限定目标区域， 其中所述第一参数指示在侧镜的展开状态下侧面摄像机的光轴方向的误差；以及 其中所述第二参数指示在侧镜的折叠状态下侧面摄像机的光轴方向的误差。
3.根据权利要求2所述的图像生成设备，还包括: 第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数；以及 第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数。
4.根据权利要求1所述的图像生成设备，其中所述生成装置通过混合两个捕获图像，来在合成图像中的所述多个捕获图像之间生成边界部分，其中对应边界部分夹在所述两个捕获图像之间。
5.根据权利要求1所述的图像生成设备，其中所述生成装置: 在侧镜的展开状态和折叠状态中的一个状态下，通过混合两个捕获图像，来在合成图像中的所述多个捕获图像之间生成边界部分，其中对应边界部分夹在所述两个捕获图像之间；以及 在侧镜展开状态和折叠状态中的另一状态下，利用未使用捕获图像的掩膜图像来显示合成图像中的所述多个捕获图像之间的边界部分。
6.一种用于车辆的图像显示系统，所述图像显示系统包括: 根据权利要求1-5中的任一权利要求所述的图像生成设备；以及 显示设备，配置为显示从图像生成设备输出的合成图像。
7.—种参数获取设备，配置为获取与设置在车辆侧镜中的摄像机相关的参数，所述参数获取设备包括: 获取装置，用于获取侧镜的展开状态或折叠状态； 第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数，所述第一参数指示所述摄像机的光轴方向的误差；以及 第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数，所述第二参数指示所述摄像机的光轴方向的误差。
8.一种用于具有侧镜的车辆的图像生成方法，所述方法包括以下处理: (a)获取多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机； (b)通过使用针对各捕获图像限定的目标区域来生成合成图像，所述合成图像指示从虚拟视点观看到的车辆周围；以及 (C)获取侧镜的展开状态或折叠状态， 其中所述处理(b)包括根据所述侧镜的展开状态或折叠状态来改变目标区域的处理。
9.一种参数获取方法，获取与设置在车辆侧镜中的摄像机相关的参数，所述方法包括: (a)获取侧镜的展开状态或折叠状态的处理； (b)第一参数处理，在侧镜的实际展开状态下获取第一参数，所述第一参数指示所述摄像机的光轴方向的误差；以及 (C)第二参数处理，在侧镜的实际折叠状态下获取第二参数，所述第二参数指示所述摄像机的光轴方向的误差。
【专利摘要】图像获取单元获取多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机。图像合成单元通过使用针对所述多个捕获图像中的各捕获图像限定的目标区域(TA)，生成指示从虚拟视点观看到的车辆周围的合成图像。状态获取单元获取侧镜的展开状态/折叠状态。图像合成单元根据所述侧镜是展开状态/折叠状态来改变所述目标区域(TA)。
【IPC分类】H04N5-232, H04N7-18, B60R1-00, B60R1-12, B60R1-06
【公开号】CN104584541
【申请号】CN201380044961
【发明人】冈田直之, 山田正博, 泽田康嘉, 林田巧
【申请人】富士通天株式会社
【公开日】2015年4月29日
【申请日】2013年7月31日
【公告号】DE112013004306T5, US20150183371, WO2014034364A1