图像处理设备、电子设备和图像处理方法
【专利说明】图像处理设备、电子设备和图像处理方法
[0001]本申请是基于2011年11月29日进入中国国家阶段的、申请号为201080023657.X、发明创造名称为“图像处理设备、电子设备和图像处理方法”的国际申请的分案申请。
技术领域
[0002]本发明涉及用于在车辆上所安装的显示设备上显示图像的技术。
【背景技术】
[0003]通常，已知有这样的设备，其能够借助安装在车辆上的多个摄像机获取车辆周边图像并以自动方式或经用户操作将图像显示在显示设备上，从而来进行车辆周边监视。还已知有这样的设备，其提供能够通过显示从车辆正上方的虚拟视点向下观看车辆的图像来使用户确认车辆整个外围的安全性的装置。另外，还已知有这样的技术，其通过使用安装在车辆上的多个摄像机来在预定高度的视点处拍摄图像，并由两个屏幕来实现对车辆周边安全性的确认，其中两个屏幕中的第一屏幕显示由摄像机拍摄的图像的视点位置以及车辆的全景，而两个屏幕中的0LE_LINK1第二屏幕显示与第一屏幕上所显示的0LE_LINK1视点位置的移动相对应的每个摄像机拍摄的每个图像(例如，参见专利文件I)。
[0004]现有技术
[0005]专利文件
[0006]专利文件1:日本专利申请公开第2008-219559号。
【发明内容】
[0007]本发明要解决的技术问题
[0008]然而，在借助多个摄像机显示车辆周边图像的现有技术中，必须识别出由多个摄像机拍摄的每一个图像分别对应于车辆的哪个方向。由于屏幕不显示用户的车辆，所以用户不能容易地识别出车辆与车辆周围障碍物之间的位置关系，比如距离。
[0009]在将从车辆正上方的虚拟视点俯视车辆的图像显示在屏幕上的现有技术中，用户需要同时识别车辆整个外围的较宽范围。由于用户要识别过多的信息，他/她可能在决定应当注意哪些观察点方面遇到困难。
[0010]专利文件I所公开的技术中分开显示了以下两个屏幕，一个屏幕显示了由摄像机拍摄的图像的视点位置以及车辆的全景，另一个屏幕显示了每一个与视点位置移动相对应的摄像机的图像。于是，由于用户要将显示在两个屏幕上的信息彼此关联起来，他/她无法容易地识别出车辆与障碍物之间的位置关系。
[0011]本发明是考虑现有问题而提出的，其目的是提供一种能使用户直观地识别出车辆与车辆周围障碍物之间的位置关系的技术。
[0012]解决问题的手段
[0013]本发明的目的是通过下述构造实现的。
[0014](I) 一种用于对安装在车辆上的显示设备上所要显示的图像进行处理的图像处理设备，该图像处理设备包括:接收部分，用于接收指令信号；合成图像生成部分，其根据由多个摄像机拍摄的车辆周边的多个图像来生成多个第一合成图像，这些第一合成图像是从布置在车辆周围和上方的多个虚拟视点观看车辆所看到的图像；以及输出部分，其响应于指令信号以使得虚拟视点连续做圆周运动的方式向显示设备顺序输出多个第一合成图像。
[0015](2)在上述(I)所描述的图像处理设备中，合成图像生成部分生成一个从基本上布置在车辆中心正上方的虚拟视点观看车辆所看到的第二合成图像。输出部分以使得虚拟视点在多个第一合成图像与第二合成图像之间连续移动的方式向显示设备顺序输出所述多个第一合成图像和所述第二合成图像。
[0016](3)在上述(2)所描述的图像处理设备中，输出部分在输出多个第一合成图像之后输出第二合成图像。
[0017](4)在上述(I)至(3)任意一个所描述的图像处理设备中，合成图像生成部分以使得虚拟视点绕着车辆位置做圆周运动的方式生成多个第一合成图像。
[0018](5)在上述(I)至(3)任意一个所描述的图像处理设备中，合成图像生成部分以使得虚拟视点绕着用户指定的车辆位置做圆周运动的方式生成多个第一合成图像。
[0019](6)在上述(I)至(5)任意一个所描述的图像处理设备中，接收部分在图像处理设备启动时接收指令信号。
[0020](7) 一种用于对安装在车辆上的显示设备上所要显示的图像进行处理的图像处理设备，该图像处理设备包括:操作部分，用于输出指令信号；接收部分，用于接收指令信号；合成图像生成部分，其根据由多个摄像机拍摄的车辆周边的多个图像来生成合成图像，该合成图像是从布置在车辆周围和上方的虚拟视点观看车辆所看到的图像，该虚拟视点连续做圆周运动；以及输出部分，其响应于指令信号向显示设备输出所述合成图像。
[0021](8)在上述(7)所描述的图像处理设备中，还包括显示设备，用于显示从输出部分输出的合成图像。
[0022](9) 一种用于对安装在车辆上的显示设备上所要显示的图像进行处理的图像处理方法，该图像处理方法包括:接收指令信号；根据由多个摄像机拍摄的车辆周边的多个图像来生成多个合成图像，这些合成图像是从布置在车辆周围和上方的多个虚拟视点观看车辆所观看到的图像；以及响应于指令信号来以使得虚拟视点连续做圆周运动的方式向显示设备顺序输出所述多个合成图像。
[0023]发明的效果
[0024]根据上述(I)至(9)的构造，显示设备对表现为在俯视车辆的状态下沿车辆外围移动的多个合成图像进行显示。从而，用户从在他/她眼前观看车辆的视点来监视车辆的整个外围，因此用户能够从一个屏幕上直观地识别出车辆与障碍物之间的位置关系。
[0025]根据上述(2)的构造，虚拟视点连续移动，从而表现出绕着车辆按圆周移动的多个合成图像以及从车辆上方观看的合成图像都能被显示。从而，用户能够从一个屏幕上直观地识别出车辆与障碍物之间的位置关系。能够从车辆周围和上方的多个视点来确认车辆周边的安全性。
[0026]根据上述(3)的构造，即使有用户从车辆周边的图像中忽视掉的关于障碍物或其他事物的信息，也可以通过车辆周边图像之后所顺序显示的车辆顶部的图像来再次确认安全性。用户不需要同时识别车辆整个外围的较宽范围。在车辆周边有限范围的图像之后会顺序显示从车辆顶部观看的整个车辆的较宽范围的图像，从而用户能够从一个屏幕上更稳妥地确认车辆周边的安全性。
[0027]根据上述(4)的构造，生成了从绕着车辆位置顺序移动的视点观看到的合成图像，从而用户能够从一个屏幕上直观地识别出在车辆整个外围周围的障碍物。
[0028]根据上述(5)的构造，用户在车辆附近指定一个位置，使得用户能够根据用户期望确认的车辆附近的任何一个位置来从一个屏幕上确认安全性。
[0029]根据上述(6)的构造，用户能够在图像处理设备启动时从一个屏幕上监视车辆的周边。
【附图说明】
[0030]图1是图像显示系统的框图。
[0031]图2是示出要被安装在车辆上的多个摄像机在车辆上布置的位置的示图。
[0032]图3是用于生成从某一虚拟视点观看到的合成图像的方法的说明示图。
[0033]图4是示出图像处理部分的处理流程的示图。
[0034]图5是示出第一实施例中合成图像的图像转换的示图。
[0035]图6是示出显示部分的显示处理流程的示图。
[0036]图7是示出第二实施例中合成图像的图像转换的示图。
[0037]图8是示出图像处理部分的处理的变型实施例1的示图。
[0038]图9是示出图像处理部分的处理的变型实施例2的示图。
[0039]图10是第三实施例的图像显示系统的框图。
[0040]图11是示出第三实施例的图像处理部分的处理流程的示图。
[0041]图12是示出第三实施例中合成图像的图像转换的示图。
[0042]图13是示出第三实施例的图像处理部分的处理的变型实施例1的示图。
[0043]图14是示出第三实施例的图像处理部分的处理的变型实施例2的示图。
【具体实施方式】
[0044]下面将参考附图来描述本发明的实施例。
[0045]〈1.第一实施例>
[0046]<1-1.构造〉
[0047]图1是第一实施例的图像显示系统100的框图。图像显示系统100是安装在车辆(在第一实施例中是汽车)上的电子设备。该电子设备具有对车辆周边进行拍摄、生成车辆周边的图像并在车辆内部显示这些图像的功能。使用该图像显示系统100的用户(S卩，该车辆的驾驶者)能够容易地监视车辆的周边。
[0048]如图1所示，图像显示系统100包括图像处理部分10和用于拍摄车辆周边的拍摄部分5。图像显示系统100还包括诸如液晶显示器之类的显示部分21，其被设置在仪表盘或其他地方以使得驾驶者能够看到该显示部分21的屏幕。图像处理部分10对将要显示在显示部分21上的图像进行处理。拍摄部分5电连接到图像处理部分10并根据来自图像处理部分10的信号进行操作。显示部分21具有触摸面板的功能并能够从用户接收各种指令。
[0049]拍摄部分5包括安装在车辆上的前方摄像机51、侧面摄像机52、以及后方摄像机53。车载摄像机51、52和53包括透镜和成像元件，并用来通过电子手段拍摄图像。
[0050]图2是示出车载摄像机51、52和53布置在车辆上的位置的示图。如图2所示，前方摄像机51被设置在车辆9前端的前保险杠91上左右方向的大致中心位置。前方摄像机51的光轴朝向车辆9的正前方。侧面摄像机52分别设置在左右门镜93上。侧面摄像机52的光轴朝向与上述正前方向垂直的车辆9的向外方向。后方摄像机53设置在车辆9后端的后保险杠92上左右方向的大致中心位置。后方摄像机53的光轴指向车辆9的正前方向的反向。
[0051]对于车载摄像机51、52和53的透镜，采用的是鱼眼透镜。车载摄像机51、52和53具有至少180°的视角α。因此，如果使用了四个车载透镜51、52和53，则可以对车辆9的整个周围进行拍摄。
[0052]由于车载透镜51、52和52具有至少180°的视角α，因此存在摄像机所拍摄的范围彼此重叠的重叠范围β。在重叠范围内，同一物体以不同方向被显示。因此，在对重叠范围的图像进行处理的过程中，可以通过调整两个摄像机的图像的重叠部分的穿透比(例如50% )以它们彼此重叠的方式来对两个摄像机的图像进行显示，或者可以从重叠部分中移除这些图像的某一范围。
[0053]返回图1，图像处理部分10包括用于对拍摄部分5所获取的图像进行处理并将该图像转换成显示图像的图像转换部分3、用于执行各种计算处理的CPU 1、和用于与显示部分21进行通信的通信部分42。在图像转换部分3中生成的图像被从通信部分42输出到