图像生成设备、图像显示系统、参数获取设备、图像生成方法和参数获取方法
【技术领域】
[0001]本发明涉及一种用于生成对车辆周围加以指示的图像的技术。
【背景技术】
[0002]在现有技术中，配置为生成对车辆(例如，汽车)周围加以指示的图像并将该图像显示在车辆内的显示设备上的图像显示技术是所熟知的。通过使用所述图像显示系统，用户(以驾驶员作为代表示例)基本上可以实时检查所述车辆的周围情况。
[0003]此外，近几年还提出了一种图像显示系统，配置为合成多个捕获图像、生成合成图像(指示从虚拟视点观看到的车辆周围)并显示所述合成图像(例如，参考专利文献I)。在所述图像显示系统中，能够生成俯瞰图像(overhead image)，所述俯瞰图像是如同从车辆上方观看车辆周围的合成图像。用户可以通过在视觉上识别所述合成图像，来检查车辆周围的整体情况。
[0004]现有技术文献
[0005]专利文献
[0006]【专利文献I】日本专利申请公开N0.2011-15174A
【发明内容】
[0007]本发明要解决的问题
[0008]通常向可以从展开状态转变到折叠状态的侧镜提供侧面摄像机，所述侧面摄像机配置为捕获多个捕获图像中指示车辆侧面的捕获图像。由于这个原因，当将侧镜从展开状态转变到折叠状态时，还改变向侧镜提供的侧面摄像机的光轴方向。
[0009]因此，当通过与展开状态下的侧镜相同的方法根据由折叠状态下的侧镜获得的捕获图像而生成合成图像时，可以生成使得在不匹配情况下合成拍摄对象的图像的合成图像。
[0010]因此，本发明的目的在于提供一种用于生成合成图像的技术，在合成图像中相匹配地合成拍摄对象的图像，而无论侧镜的状态。
[0011]解决问题的手段
[0012]为了实现以上目的，根据本发明的一个方面，提供了一种用于具有侧镜的车辆的图像生成设备，所述图像生成设备包括:图像获取装置，用于获取通过多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机；生成装置，用于通过使用针对各捕获图像而限定的目标区域，生成指示从虚拟视点观看到的车辆周围的合成图像；以及状态获取装置，用于获取侧镜的展开状态或折叠状态，其中所述生成装置根据所述侧镜的展开状态或折叠状态来改变目标区域。
[0013]根据上述图像生成设备，在由设置于侧镜内的摄像机获得的捕获图像中限定的目标区域根据侧镜的状态改变。因此，能够生成合成图像，在合成图像中相匹配地合成拍摄对象的图像，而无论侧镜的状态。
[0014]生成装置可以在侧镜的展开状态下根据第一参数限定目标区域，并且可以在侧镜的折叠状态下根据第二参数限定目标区域。这里，第一参数指示在侧镜展开状态下侧面摄像机的光轴方向的误差，第二参数指示在侧镜折叠状态下侧面摄像机的光轴方向的误差。
[0015]根据以上配置，可以根据侧镜展开状态和侧镜折叠状态的每个状态下光轴方向的误差，限定目标区域，使得能够更精确地生成合成图像。
[0016]图像生成设备还可以包括:第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数；以及第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数。
[0017]根据以上配置，能够正确地获取生成合成图像所需的第一参数和第二参数。
[0018]在图像生成设备中，生成装置可以通过将两个捕获图像混合，在合成图像中的多个捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间。
[0019]根据以上配置，当通过混合所述两个捕获图像来在合成图像中的捕获图像之间生成边界部分时，能够正确地相互交叠拍摄对象的图像。
[0020]在所述图像生成设备中，生成装置可以在侧镜的展开状态和折叠状态中的一个状态下，通过混合两个捕获图像，在合成图像中的多个捕获图像之间生成边界部分，其中对应边界部分夹在两个捕获图像之间；并在侧镜的展开状态和折叠状态中的另一状态下时，利用未使用捕获图像的掩膜图像来显示合成图像中的多个捕获图像之间的边界部分。
[0021]根据以上配置，在侧镜的一个状态下，由于通过混合所述两个捕获图像来生成合成图像中的捕获图像之间的边界部分，因此能够生成自然图像。此外，在侧镜的另一状态下，由于利用掩膜图像来显示合成图像中的捕获图像之间的边界部分，因此能够防止不匹配地交叠和显示所述拍摄对象的图像。
[0022]为了实现上述目的，根据本发明的第二方面，提供了一种用于车辆的图像显示系统，所述图像显示系统包括:根据第一方面的图像生成设备；以及显示设备，配置为显示从图像生成设备输出的合成图像。
[0023]为了实现以上目的，根据本发明的第三方面，提供了一种用于具有侧镜的车辆的图像生成方法，所述方法包括以下处理:(a)获取由多个摄像机获得的多个捕获图像，所述多个摄像机包括设置在侧镜中的侧面摄像机；(b)通过使用针对各捕获图像而限定的目标区域来生成合成图像，所述合成图像指示从虚拟视点观看到的车辆周围；以及(C)获取侧镜的展开状态或折叠状态，其中所述处理(b)包括根据所述侧镜的展开状态或折叠状态来改变目标区域的处理。
[0024]根据上述图像显示系统和图像生成方法，能够完成与根据第一方面的图像生成设备相同的效果。
[0025]为了实现上述目的，根据本发明的第四方面，提供了一种参数获取设备，配置为获取与设置在车辆侧镜中的摄像机相关的参数，所述参数获取设备包括:获取装置，用于获取侧镜的展开状态或折叠状态；第一参数获取装置，用于在侧镜的实际展开状态下获取第一参数，第一参数指示所述摄像机的光轴方向的误差；以及第二参数获取装置，用于在侧镜的实际折叠状态下获取第二参数，第二参数指示所述摄像机的光轴方向的误差。
[0026]为了实现以上目的，根据本发明的第五方面，提供了一种参数获取方法，获取与设置在车辆侧镜中的摄像机相关的参数，所述方法包括:(a)获取侧镜的展开状态或折叠状态的处理；(b)第一参数处理，在侧镜的实际展开状态下获取第一参数，所述第一参数指示所述摄像机的光轴方向的误差；以及(C)第二参数处理，在侧镜的实际折叠状态下获取第二参数，所述第二参数指示所述摄像机的光轴方向的误差。
[0027]根据所述参数获取设备和参数获取方法，能够在侧镜的展开状态和折叠状态中的每个状态下，正确地获取生成正确合成图像所需的第一参数和第二参数。
【附图说明】
[0028]图1示出了根据第一示例实施例的图像显示系统的配置。
[0029]图2示出了设置在图1的图像显示系统中的摄像机捕获图像所沿的方向。
[0030]图3示出了设置在图1的图像显示系统中的图像合成单元生成合成图像的方法。
[0031]图4示出了图3的立体曲面的部分和捕获图像之间的对应关系。
[0032]图5示出了由设置在图1的图像显示系统中的图像调整单元生成的显示图像的示例。
[0033]图6示出了安装有图1的图像显示系统的车辆的侧镜的折叠状态。
[0034]图7示出了由设置在图1的图像显示系统的左侧摄像机获取的捕获图像的示例。
[0035]图8示出了获取图7的捕获图像的情况。
[0036]图9示出了在由设置在图1的图像显示系统中的左侧摄像机获取的捕获图像中的目标区域。
[0037]图10示出了图1的图像显示系统的操作流程。
[0038]图11示出了根据第二示例实施例的图像显示系统的配置。
[0039]图12示出了当图11的图像显示系统执行校准处理时车辆的情况。
[0040]图13示出了用于校准处理使用的标记部件(marking member)的外观。
[0041]图14示出了校准处理的流程。
[0042]图15示出了针对校准处理的捕获图像的示例。
[0043]图16示出了图11的图像显示系统的操作流程。
[0044]图17示出了在由设置于图11的图像显示系统中的左侧摄像机获取的捕获图像中的目标区域。
[0045]图18示出了在由设置在图11的图像显示系统中的左侧摄像机获取的捕获图像中的目标区域。
[0046]图19示出了当根据第三示例实施例的图像显示系统生成合成图像时，在立体曲面的部分和捕获图像之间的对应关系。
[0047]图20示出了由根据第三示例实施例的图像显示系统生成的合成图像的示例。
【具体实施方式】
[0048]下文中，将参考附图描述本发明的示例实施例。
[0049]〈第一示例实施例〉
[0050]<1-1.配置〉
[0051]图1示出了根据第一示例实施例的图像显示系统10的配置。图像显示系统10用于车辆(在该示例实施例中，为汽车)，并具有生成图像并在该车辆内显示该图像的功能，其中所述图像指示车辆的周围区域。通过使用图像显示系统10，图像显示系统10的用户(驾驶员，作为代表示例)可以实质上实时识别车辆的周围情况。
[0052]如图1所示，图像显示系统10具有多个摄像机5、图像生成设备2、显示设备3和操作按钮4。每个摄像机5被配置为捕获车辆的周围以便获取捕获图像并将所获取的捕获图像输入到图像生成设备2。图像生成设备2配置为通过使用指示车辆周围的捕获图像，生成显示图像以便显示在显示设备3上。显示设备3配置为显示图像生成设备2中生成的显示图像。此外，操作按钮4配置为接收用户的操作。
[0053]每个摄像机5都具有镜头和捕获元件，并且配置为电学获取指示车辆周围的捕获图像。所述多个摄像机5包括前置摄像机5F、后置摄像机5B、左侧摄像机5L和右侧摄像机5R。如图2所示，四个摄像机5F、5B、5L、5R布置在车辆9的不同位置处，并配置为捕获车辆9的周围的不同方向。
[0054]图2示出了四个摄像机5F、5B、5L、5R捕获图像所沿的方向。将前置摄像机5F设置在车辆9的前端，将其光轴5Fa面向车辆9的直线行驶方向。将后置摄像机5B设置在车辆9的后端，将其光轴5Ba面向与车辆9的直线行驶方向相反的方向。
[0055]此外，将左侧摄像机5L设置在布置于车辆9的左侧表面上的左侧镜93L中。与此同时，将右侧摄像机5R设置在布置于车辆