车辆周边图像显示装置和车辆周边图像显示方法
【专利摘要】本发明涉及车辆周边图像显示装置和车辆周边图像显示方法。在显示车辆周边图像的显示装置(Display Apparatus)中，对车载照相机的拍摄图像进行视线转换来生成拍摄俯瞰图像，并存储得到的拍摄俯瞰图像。还在拍摄俯瞰图像存在移动体的情况下存储拍摄俯瞰图像中的移动体的位置。获取车辆的移动信息，从存储的拍摄俯瞰图像中取出拍摄车辆的死角区域的部分的历史记录图像，并与拍摄俯瞰图像一起显示在显示画面上。此时，在历史记录图像中存在移动体的情况下，以与在拍摄俯瞰图像中存在该移动体的情况不同的显示模式来显示移动体。
【专利说明】车辆周边图像显示装置和车辆周边图像显示方法
[0001 ] 本申请主张于2014年2月12日提出的日本专利申请2014 — 24013号的优先权，并在此引用其全部内容。
技术领域
[0002]本公开涉及在显示画面上显示使用车载照相机拍摄车辆的周边区域而得到的图像的显示装置(Display Apparatus)以及显示方法(Display Method)。
【背景技术】
[0003]已知有对利用安装在车辆的前后左右的车载照相机得到的拍摄图像，实施视线转换为如从上方观察车辆那样的图像的处理，并显示得到的图像(俯瞰图像)的装置。若车辆的驾驶员能够利用俯瞰图像进行确认，则能够容易地把握包含距离感在内的周围存在的障碍物与安装装置的主车辆的位置关系、在路面描绘的标示等与主车辆的位置关系。
[0004]另外，还提出了即使在车辆的左右不安装车载照相机，也显示车辆的前后左右方向的周边区域的俯瞰图像的技术(专利文献I)。在该技术中，针对车辆的左右方向的周边区域不能够利用车载照相机直接拍摄图像，但根据安装于车辆的前后的车载照相机的图像，利用以下的原理生成左右方向的俯瞰图像。
[0005]首先，在通过车辆的前方的车载照相机得到的拍摄图像中不仅摄有车辆的正面的区域，在其两侧也还映入有斜前方的区域。因此，在从前方的车载照相机得到的俯瞰图像中还包含车辆的左右斜前方的区域的图像。而且，该斜前方的区域随着车辆前进，最终成为车辆的左右方向的区域。因此，若存储俯瞰图像中所包含的车辆的斜前方的区域的图像，则在车辆前进之后，能够作为车辆的左右方向的俯瞰图像使用。
[0006]在车辆进一步前进的情况下，从在其前进之前存储的俯瞰图像中取出相应的部分的图像来使用即可。这样一来，即使不在车辆的左右安装车载照相机，也能够显示车辆的前后左右方向的周边区域的俯瞰图像。
[0007]另外，车辆的左右方向所显示的俯瞰图像实际上是不久前拍摄得到的过去的俯瞰图像。因此，将从过去的俯瞰图像取出并显示在车辆的左右方向的图像被称为“历史记录图像”。
[0008]另外，在车辆后退的情况下，预先存储车辆的后方的车载照相机的俯瞰图像，并将从俯瞰图像中取出的历史记录图像显示在车辆的左右方向部分即可。这样一来，即使在后退时也能够显示车辆的前后左右方向的俯瞰图像。
[0009]专利文献1:JP2002-373327 A
[0010]但是，如上述那样，为了包含成为车载照相机的死角的区域地显示俯瞰图像而利用历史记录图像的技术在显示的区域内存在移动体的情况下，存在造成驾驶员误解的可能性。
[0011]其原因如下:首先，在移动体位于车载照相机的拍摄范围内的情况下，通过对车载照相机的图像进行视线转换来显示俯瞰图像，能够正确地显示主车辆与移动体的位置关系、位置关系的变化。其后，若随着车辆移动而移动体进入车载照相机的死角，则在对车载照相机的图像进行了视线转换后的俯瞰图像中不能够显示移动体，所以需要使用历史记录图像进行显示。然而，由于历史记录图像是不久前拍摄得到的图像，所以并非会显示移动体的正确的位置。另外，使用历史记录图像显示的移动体的位置随着车辆的行进而向与车辆的行进方向相反的一侧稍微移动，向相反方向移动与车辆移动相应的量，所以看起来像移动体相对于地面静止。因此，存在即使实际上移动体马上接近到车辆附近，也使驾驶员误解为移动体静止不会与车辆接触的可能性。
【发明内容】
[0012]该公开是鉴于以往技术具有的上述的课题而完成的，目的在于提供即使在车辆的周边存在移动体的情况下，也能够不造成驾驶员误解地使用历史记录图像显示车辆周边的俯瞰图像的技术。
[0013]为了解决上述的课题根据本公开的一个例子，如以下那样提供车辆周边图像显示装置以及车辆周边图像显示方法。通过对由车载照相机得到的拍摄图像进行视线转换来生成拍摄俯瞰图像，并存储所获得的拍摄俯瞰图像。另外，还在拍摄俯瞰图像中存在移动体的情况下存储移动体在拍摄俯瞰图像中的位置。并且，获取与车辆的移动量有关的移动信息，从存储的拍摄俯瞰图像中取出拍摄车辆的死角区域得到的部分的图像亦即历史记录图像，并与拍摄俯瞰图像一起显示在显示画面上。此时，在历史记录图像中存在移动体的情况下，以与在拍摄俯瞰图像中存在该移动体的情况不同的显示模式进行显示移动体。
[0014]这样一来，移动体在显示画面上的显示模式改变，所以能够使驾驶员认识到移动体是通过历史记录图像显示的。其结果为，驾驶员例如进行直接目视观察等来确认移动体，所以能够避免移动体的位置的误解。
【附图说明】
[0015]通过以下参照附图对本发明的优选实施方式进行的详细描述，本公开的上述目的以及其它的目的、特征、优点会变得更加清楚。
[0016]图1是表示安装了本公开的实施方式的图像显示装置的车辆的说明图，
[0017]图2是表示图像显示装置的大致的内部构成的说明图，
[0018]图3是表示拍摄车辆的前方的区域得到的拍摄图像的说明图，
[0019]图4是将拍摄图像转换为俯瞰图像的原理的说明图，
[0020]图5是若在车辆的周边存在移动体则存在造成驾驶员误解的可能性的理由的比较说明图，
[0021 ]图6是本实施方式的图像显示处理的前半部分的流程图，
[0022]图7是本实施方式的图像显示处理的后半部分的流程图，
[0023]图8是例示通过本实施方式的图像显示装置得到的历史记录图像的说明图，
[0024]图9是例示通过本实施方式的图像显示装置得到的历史记录图像的其它方式的说明图。
【具体实施方式】
[0025]以下，为了使上述的本公开的内容变得明确而对本公开的实施方式进行说明。
[0026]A.装置构成:
[0027]图1示出了安装了图像显示装置100的车辆1(也指主车辆)。另外，在本实施方式中，图像显示装置100也指车辆周边图像显示装置。
[0028]如图示那样车辆I具备安装在车辆I的前方的车载照相机10F、安装在车辆I的后方的车载照相机10R、安装在车室内的显示画面11、以及图像显示装置100等。另外，在本实施方式中，对分别在车辆I的前方以及后方安装车载照相机10F、10R的情况进行说明，但对于安装了车载照相机1F或者车载照相机1R的任意一方的车辆I，也能够应用本公开。
[0029]图像显示装置100若接收到由车载照相机10F、10R拍摄到的车辆I的周边的图像，则将该图像转换为从车辆I的上方拍摄到的那样的俯瞰图像，之后将获得的图像显示于显示画面11 ο
[0030]另外，在车辆I安装有检测方向盘2的转向角的转向角传感器12、检测车速的车速传感器13、检测未图示的变速器的移动位置的档位传感器14等。转向角传感器12、车速传感器13、档位传感器14的输出被输入到图像显示装置100，图像显示装置100基于这些输出获取与车辆I的移动量(移动速度以及移动方向)有关的移动信息。
[0031]然后，图像显示装置100基于车辆I的移动信息、和通过车载照相机10F、10R得到的俯瞰图像，来生成针对成为车载照相机10F、10R的死角的区域(车辆I的左右方向的区域)的俯瞰图像，并显示于显示画面11。
[0032]图2示出本实施方式的图像显示装置100的大致的内部构成。如图示那样本实施方式的图像显示装置100具备拍摄图像获取部101、拍摄俯瞰图像生成部102、移动体检测部103、拍摄俯瞰图像存储部104、移动信息获取部105、以及显示图像生成部106。
[0033]另外，这六个“部(部分)”是着眼于图像显示装置100在显示画面11显示车辆I的周边的图像的功能，而方便地将图像显示装置100的内部分类后的抽象概念，并不表示图像显示装置100在物理上被划分为六个部分。因此，这些“部”既能够作为由CPU执行的计算机程序实现为软件的构成要素，也能够作为包括LS1、存储器的电子电路实现为硬件的构成要素，也能够通过组合它们来实现。
[0034]拍摄图像获取部101与车载照相机1F以及车载照相机1R连接，并以恒定周期(约30Hz)从车载照相机1F获取从斜上方拍摄车辆I的前方的区域而得到的拍摄图像。另外，以恒定周期(约30Hz)从车载照相机1R获取从斜上方拍摄车辆I的后方的区域而得到的拍摄图像。
[0035]拍摄俯瞰图像生成部102从拍摄图像获取部101接受车载照相机10F、1R的拍摄图像并生成俯瞰图像。即，虽然通过车载照相机1F得到的拍摄图像是从斜上方拍摄车辆I的前方的区域而得到的图像，但通过针对该图像实施后述的视线转换，生成如从车辆I的上方拍摄到的那样的俯瞰图像。同样地，虽然车载照相机1R的拍摄图像是从斜上方拍摄车辆I的后方的区域的图像，但将该图像转换为如从车辆I的上方拍摄到的那样的俯瞰图像。后述对车载照相机10F、10R的拍摄图像实施视线转换来生成俯瞰图像的方法。在本实施方式中，拍摄俯瞰图像生成部102也指拍摄俯瞰图像生成设备/方法。
[0036]另外，如后述，在本实施方式的图像显示装置100中，能够不仅针对车辆I的前后方向的区域，还针对车辆I的左右方向的区域生成俯瞰图像，并显示于显示画面11。这里，车辆I的前后方向所显示的俯瞰图像是对由车载照相机10F、10R拍摄到的当前的图像进行视线转换后的图像。与此相对，车辆I的左右方向所显示的俯瞰图像是基于车辆I的移动信息，并根据车辆I的前后方向所显示的过去的俯瞰图像合成得到的图像。
[0037]因此以下为了将车辆I的前后方向所显示的俯瞰图像与车辆I的左右方向所显示的合成后的俯瞰图像区别而称为“拍摄俯瞰图像”。另外，仅称为“俯瞰图像”时，指从车辆I的上方观察到的图像，因此，拍摄俯瞰图像和历史记录图像均相当于“俯瞰图像”。拍摄俯瞰图像生成部102将生成的拍摄俯瞰图像输出给移动体检测部103、拍摄俯瞰图像存储部104、以及显示图像生成部106。
[0038]移动体检测部103解析从拍摄俯瞰图像生成部102供给的拍摄俯瞰图像，检测拍摄俯瞰图像中的移动体。移动体能够通过对过去接收到的图像、和新接收到的图像进行比较来检测。
[0039]另外，在本实施方式中，以移动体检测部103根据拍摄俯瞰图像检测移动体为例进行说明，但也可以如图中以虚线的箭头所示，从拍摄图像获取部101接收车载照相机10F、1R的拍摄图像，并检测拍摄图像中的移动体。移动体检测部103也指移动体检测设备/方法。
[0040]拍摄俯瞰图像存储部104存储从拍摄俯瞰图像生成部102供给的拍摄俯瞰图像。另夕卜，在该拍摄俯瞰图像中通过移动体检测部103检测到移动体的情况下，还将在拍摄俯瞰图像中检测到移动体的位置与拍摄俯瞰图像建立对应地存储。在本实施方式中，拍摄俯瞰图像存储部104也指拍摄俯瞰图像存储设备/方法。
[0041]另外，在移动体检测部103不使用拍摄俯瞰图像，而使用对该拍摄俯瞰图像进行视线转换之前的图像(车载照相机10F、10R的拍摄图像)来检测移动体的情况下，能够通过对在拍摄图像中检测到的移动体的位置实施视线转换，来求出移动体在拍摄俯瞰图像中的位置。
[0042]移动信息获取部105与转向角传感器12、车速传感器13、档位传感器14连接。移动信息获取部105基于这些传感器的输出，获取车辆I的移动信息。这里，车辆I的移动信息是车辆I在前进还是在后退、还是在停车这样的信息、车辆I在笔直地前进还是在右转、还是在左转，在转弯的情况下是与转弯的大小有关的信息、与车辆I的移动速度有关的信息等。移动信息获取部105将获取的车辆I的移动信息输出给显示图像生成部106。移动信息获取部105也指移动信息获取设备/方法。
[0043]显示图像生成部106使用来自拍摄俯瞰图像生成部102的拍摄俯瞰图像、来自移动信息获取部105的移动信息、以及存储于拍摄俯瞰图像存储部104的过去的拍摄俯瞰图像，生成车辆I的整周的周边区域的俯瞰图像，并显示于显示画面11。
[0044]这里，车辆I的前方以及后方的区域是车载照相机10FU0R的拍摄区域，所以显示对车载照相机10F、10R的拍摄图像进行视线转换后的俯瞰图像(拍摄俯瞰图像)即可。但是，车辆I的右方向以及左方向的区域为车载照相机10F、10R的死角区域，所以仅通过对车载照相机10F、10R的拍摄图像进行视线转换不能够得到俯瞰图像。因此，通过从存储于拍摄俯瞰图像存储部104的过去的拍摄俯瞰图像中，基于车辆I的移动信息取出相应的部分的图像(历史记录图像)，生成车辆I的左右方向的区域的俯瞰图像。在本实施方式中，显示图像生成部106也指拍摄俯瞰图像显示部/设备/方法或者历史记录图像显示部/设备/方法。
[0045]以下，对生成车辆I的左右方向的区域的俯瞰图像的方法进行说明，但作为其准备，首先，对将车载照相机10F、10R的拍摄图像进行视线转换来生成拍摄俯瞰图像的方法进行说明。其后，基于这样的说明，对生成车辆I的左右方向的区域的俯瞰图像的方法进行说明。
[0046]B.使用历史记录图像来显示车辆的周边的俯瞰图像的原理:
[0047]考虑在车辆I的车载照相机1F(或者车载照相机10R)所拍摄到的地面以等间隔格子状地描绘有多个标记的情况。
[0048]图3(a)以从车辆I的上方观察到的状态示出在车辆I的前方的地面以等间隔格子状地描绘的多个圆形标记。在图中，从车载照相机1F向倾斜方向延伸的两条点划线表示车载照相机1F的拍摄区域与死角区域的边界。
[0049]另外，以粗实线显示圆形标记是表示该标记在车载照相机1F的拍摄区域内，以较细的虚线显示圆形标记是表示该标记在车载照相机1F的死角区域内。车载照相机1F(或者车载照相机10R)从斜上方拍摄这样的地面。
[0050]在图3(b)示出由车载照相机1F得到的拍摄图像。在拍摄图像中映入有车载照相机1F的拍摄范围内存在的地面的标记。例如，拍摄图像上的标记a映入有图3 (a)的地面上的标记A，拍摄图像上的标记b映入有地面上的标记B。同样地，拍摄图像上的标记c以及标记d映入有地面上的标记C以及标记D。
[0051]这样，在车载照相机1F的拍摄范围内的地面上的坐标与拍摄图像上的坐标之间存在一对一的对应关系。因此，若利用该对应关系，则能够将图3(b)所例示的拍摄图像转换为如图3(a)所例示那样从车辆I的上方俯视地面那样的图像(俯瞰图像)。这是对车载照相机1F(或者车载照相机10R)的拍摄图像进行视线转换生成俯瞰图像时的想法。
[0052]通过进行这样的视线转换，图4(a)所示的拍摄图像被转换为图4(b)所示那样的俯瞰图像。这样得到的俯瞰图像成为在越远的位置左右方向越宽的图像。这是因为车载照相机1F(或者车载照相机10R)的拍摄范围向左右两侧扩展(参照图3(a))。在图4(b)中，将俯瞰图像中向左侧扩展的区域显示为区域L，将向右侧扩展的区域显示为区域R。
[0053]在图4(b)所示的状态中，区域L和区域R均在车载照相机1F的拍摄区域内。但是，若车辆I前进，则区域L成为车辆I的左方向的死角区域，区域R成为车辆I的右方向的死角区域。
[0054]因此，存储对车载照相机1F的拍摄图像进行视线转换得到的俯瞰图像(拍摄俯瞰图像)，并随着车辆I的移动，从过去的拍摄俯瞰图像中取出与当前的死角区域对应的部分的图像(历史记录图像)并进行显示。这样一来，对于车辆I的左右方向的区域也能够显示俯瞰图像。以上是使用历史记录图像来显示车辆I的左右方向的区域的俯瞰图像的基本的想法。
[0055]然而，在像这样使用历史记录图像来显示车辆I的周围的俯瞰图像的情况下，若显示范围内存在移动体，则存在造成驾驶员误解的可能性。使用图5对该理由进行说明。
[0056]图5示出了显示于显示画面11的车辆I的周边的俯瞰图像随着车辆I的前进而变化的样子。另外，在图5中，放大显示车辆I的前侧的部分。
[0057]另外，为了方便理解，在车辆I的前方的地面，与车辆I的行进方向平行地描绘有两条白线，在其里侧，以与车辆I的行进方向成直角地描绘有一条白线。并且，这里，在过去进行视线转换而生成的拍摄俯瞰图像还未被存储。
[0058]图5(a)示出了最开始显示于显示画面11的车辆I的周围的俯瞰图像。如图示那样，在车辆I的前方的拍摄区域显示有对车载照相机1F的拍摄图像进行视线转换而生成的拍摄俯瞰图像。在该拍摄俯瞰图像中在白线上映入有移动体。另外，如上述那样，未存储过去生成的拍摄俯瞰图像，所以在车辆I的左右的死角区域中显示历史记录图像。
[0059]图5(b)示出了在车辆I稍微前进的状态下，显示于显示画面11的车辆I的周围的俯瞰图像。在车辆I的前方的拍摄区域所显示的拍摄俯瞰图像中，随着车辆I稍微前进，白线的位置稍微接近车辆I。另外，在图5(a)中之前位于白线上的移动体向比白线靠近跟前侧移动。
[0060]如上述那样，拍摄俯瞰图像是对车载照相机1F拍摄到的当前的图像进行视线转换后的图像，所以在拍摄俯瞰图像中移动体位于比白线靠近跟前侧这一情况可认为即使在车载照相机1F的拍摄图像中移动体也位于比白线靠近跟前侧即可。因此，可认为在图5(b)所示的显示画面11中，正确地显示了移动体实际存在的位置。
[0061]另外，在图5(b)所示的显示画面11中，在车辆I的左右的死角区域中，从在图5(a)显示的过去的拍摄俯瞰图像中取出相应的部分的图像(历史记录图像)进行显示。另外，在以下的图5(b)?图5(d)中，为了区别拍摄俯瞰图像和历史记录图像，在历史记录图像附加斜线进行显示。
[0062]图5(c)示出了在车辆I进一步稍微前进的状态下，显示于显示画面11的车辆I的周围的俯瞰图像。随着车辆I前进，车辆I的前方的白线被显示在进一步接近车辆I的位置。其结果为，位于车辆I的前方的拍摄区域内的白线为很少的部分，大部分白线存在于车辆I的左右的死角区域。但是，对于死角区域，还显示从在图5(a)或者图5(b)显示的过去的拍摄俯瞰图像中取出相应的部分后的历史记录图像，所以能够在显示画面11上确认白线的位置。
[0063]这里，在图5(c)所示的显示画面11中还显示有移动体。如比较移动体和白线所明确的那样，图5(c)所示的移动体的位置未从图5(b)的移动体的位置变化。这是因为图5(c)的移动体的图像是从图5(b)的拍摄俯瞰图像所显示的图像中取出的历史记录图像，若从显示图5 (c)的图像的时刻观察则是过去的图像。
[0064]当然，考虑实际上移动体从显示图5(b)的图像的时刻开始进一步移动。若假设移动体的移动方向以及移动速度不改变，则在显示图5 (c)的图像的时刻的移动体应该存在于图中以虚线示出的白圈的位置。即，该情况下，驾驶员误解为移动体的位置比实际远。
[0065]图5(d)示出了从图5(c)所示的状态，车辆I进一步稍微前进的状态下，显示于显示画面11的车辆I的周围的俯瞰图像。如图示那样，在图5(d)的图像中，白线整体通过历史记录图像显不。
[0066]另外，虽然图5(d)的图像中还显示有移动体，但该移动体通过历史记录图像显示，所以移动体相对于白线的位置不从显示于图5(b)的图像的位置发生变化。但是，若移动体的移动方向以及移动速度不改变，则实际上，移动体应该存在于图中以虚线示出的白圈的位置。
[0067]另外，在移动体为步行者等的情况下，移动体的移动方向以及移动速度并非恒定。因此，推定实际的移动体的位置也较困难。
[0068]这样，使用历史记录图像来显示车辆I的周边的死角区域的图像的情况下，存在若移动体进入死角区域则不能够显示正确的移动体的位置，造成车辆I的驾驶员误解的可能性。因此，为了即使在存在移动体的情况下也不会造成驾驶员误解地使用历史记录图像来显示车辆I的周边的图像，在本实施方式的图像显示装置100中，执行以下那样的图像显示处理。
[0069]C.本实施方式的图像显示处理:
[0070]图6以及图7示出本实施方式的图像显示装置100执行的图像显示处理的流程图。
[0071]这里，本申请所记载的流程图，或者流程图的处理包括多个部分(或者也指步骤)，各部分例如，表现为SlOO。并且，各部分能够分割为多个子部分，另一方面，还能够将多个部分合为一个部分。并且，各部分能够指设备、模块、方法。另外，上述的多个部分的每一个或者组合后的部分不仅能够作为(i)与硬件单元(例如，计算机)组合的软件的部分，也能够作为(ii)硬件(例如，集成电路、布线逻辑电路)的部分，以包含或者不包含相关的装置的功能的方式实现。并且，硬件的部分也能够包含在微型计算机的内部。
[0072]如图示那样，若开始图像显示处理，则首先从车载照相机1F以及车载照相机10R，获取车辆I的前方以及后方的拍摄图像(S100)。然后，对从车载照相机10FU0R获取的拍摄图像进行视线转换，生成车辆I的前方以及后方的拍摄区域的拍摄俯瞰图像(S101)。
[0073]接着，从车辆I的前方以及后方的拍摄俯瞰图像中检测移动体(S102)。移动体的检测可以使用公知的任何方法。然后，判断是否检测到移动体(S103)。其结果为，在未检测到移动体的情况下(S103:否)，以能够识别拍摄时刻的状态(例如，与时间戳一起)将前方以及后方的拍摄俯瞰图像存储于存储器(S104)。与此相对，在检测到移动体的情况下(S103:是)，以能够识别拍摄时刻的状态将拍摄俯瞰图像和拍摄俯瞰图像中的移动体的位置存储于存储器(S105)。
[0074]例如，在前方的拍摄俯瞰图像检测到移动体，在后方的拍摄俯瞰图像未检测到移动体的情况下，针对前方的拍摄俯瞰图像，存储拍摄俯瞰图像以及移动体的位置(S105)，针对后方的拍摄俯瞰图像，存储拍摄俯瞰图像(S104)。
[0075]其后，在显示画面11上与车载照相机1F以及车载照相机1R的拍摄区域对应的帧存储器写入前方以及后方的拍摄俯瞰图像(S106)。这里，帧存储器是用于在显示画面11显示图像的存储器区域。显示于显示画面11的图像在帧存储器上生成。然后，若在帧存储器上完成图像，则通过将帧存储器的数据作为视频信号输出，在显示画面11显示图像。
[0076]帧存储器上的一个一个地址与显示画面11上的一个一个像素对应。在S106中，在显示画面11上与车载照相机1F的拍摄区域对应的帧存储器的各地址写入有前方的拍摄俯瞰图像，在与车载照相机1R的拍摄区域对应的帧存储器的各地址写入有后方的拍摄俯瞰图像。
[0077]接着，图像显示装置100获取车辆I的移动信息(也称为移动数据)(S107)。这里，车辆I的移动信息是指从转向角传感器12、车速传感器13、档位传感器14等获取的信息(或者数据)。
[0078]然后，基于获取的移动信息，判断车辆I是否为移动中(图7的S108)，在车辆I为移动中的情况下(S108:是)，判断是否为前进中(S109)。其结果为，在车辆I为前进中的情况下(S109:是)，从车辆I的前方所显示的过去的拍摄俯瞰图像中取出与车辆I的死角区域对应的图像(历史记录图像)(S110)。
[0079]与此相对，在车辆I为后退中的情况下(S109:否)，从车辆I的后方所显示的过去的拍摄俯瞰图像中取出与车辆I的死角区域对应的图像(历史记录图像)(S111)。由于已经在S107获取车辆I的移动信息，所以能够从过去的拍摄俯瞰图像中，决定与当前的车辆I的死角区域相应的部分。
[0080]接着，判断在取出的历史记录图像中是否存在移动体(S112)。如上述那样在本实施方式的图像显示处理中，在存储拍摄俯瞰图像时，判断在该拍摄俯瞰图像中是否存在移动体(图6的S103)，在存在移动体的情况下，还存储该移动体的位置(S105)。因此，能够容易地判断在从拍摄俯瞰图像取出的历史记录图像中是否存在移动体。
[0081]其结果为，在历史记录图像中存在移动体的情况下(图7的S112:是)，将历史记录图像中的移动体的显示模式变更为与通常不同的特殊模式(S113)。例如，变更历史记录图像中的移动体的颜色(例如变更为红色)进行显示、或者以红框、白框等包围移动体进行显示、或者将移动体的图像更换为预先存储的图形的图像进行显示。与此相对，在历史记录图像中不存在移动体的情况下(S112:否)，不进行变更移动体的显示模式的操作。
[0082]然后，将这样得到的历史记录图像写入显示画面11上与车载照相机1F以及车载照相机1R的死角区域对应的帧存储器(S114)。在历史记录图像中存在移动体的情况下，写入变更为特殊模式的历史记录图像。
[0083]另外，车辆I的前方以及后方的拍摄俯瞰图像已经在图6的S106中被写入帧存储器，所以通过写入历史记录图像，在帧存储器上，完成显示于显示画面11的图像。
[0084]因此，图像显示装置100将帧存储器上的图像输出到显示画面11(S115)。其结果为，在显示画面11显示有从上方观察车辆I的周边那样的俯瞰图像。
[0085]以上，对在判断为车辆I为移动中的情况下(S108:是)，在显示画面11的与死角区域对应的帧存储器写入历史记录图像的一系列的处理(S109?S114)进行了说明。
[0086]与此相对，在判断为车辆I为停止中的情况下(S108:否)，不进行写入历史记录图像的一系列的处理(S109?S114)，而将帧存储器上的图像输出给显示画面11(S115)。其结果，在显示画面11显示有仅更新了在车辆I的前后所显示的拍摄俯瞰图像的图像。另外，在帧存储器上残留之前写入的历史记录图像的情况下，该历史记录图像显示于显示画面11上的死角区域。
[0087]另外，也可以虽然在从车辆I停止起规定时间的期间，在显示画面11的死角区域显示残留在帧存储器上的历史记录图像，但经过规定时间之后，消除帧存储器上的历史记录图像，不在显示画面11显示历史记录图像。
[0088]如以上那样，若在显示画面11显示了帧存储器上的图像(S115)，则判断是否结束车辆I的周边区域的俯瞰图像的显示(S116)。其结果为，在还不结束显示的情况下(S116:否)，返回到处理的前端，再次获取由车载照相机10F、10R得到的拍摄图像(图6的S100)，之后执行上述的接着的一系列的处理。与此相对，在判断为结束显示的情况下(图7的S116:是)，结束本实施方式的图像显示处理。
[0089]图8例示了通过上述的本实施方式的图像显示处理而被显示在显示画面11的俯瞰图像。为了方便说明，在图8中，也与图5所示的情况相同，在车辆I的前方的地面描绘有与车辆I的行进方向平行的两条白线、和与这两条白线成直角的一条白线。另外，移动体也与图5所示的情况完全相同地移动。另外，在图5中，对历史记录图像附加斜线进行显示，但在图8中，为了避免图示变得繁琐，不对历史记录图像附加斜线显示。
[0090]如比较图8(a)和图5(a)，或者图8(b)和图5(b)所明确的那样，移动体位于车载照相机1F的拍摄区域内的期间，在利用本实施方式的图像显示处理显示的俯瞰图像、和以往的俯瞰图像相同。
[0091]如图8(c)所示，若移动体进入死角区域并在历史记录图像显示，则在本实施方式中，以与通常不同的模式显示移动体。在图示的例子中，以红色或者黄色等与通常不同的颜色显示移动体。因此驾驶员会认为发生了什么，不经由显示画面11而直接目视观察移动体来确认车辆I的周围，所以能够识别移动体的正确的位置。
[0092]对于图8(d)也相同，由于移动体在显示画面11上以与通常不同的模式进行显示，所以驾驶员直接目视观察并确认移动体的结果为，识别移动体的正确的位置。因此，即使在显示画面11上移动体不被显示在正确的位置，也能够避免驾驶员误解移动体的位置。
[0093]在图8所示的例子中，以在历史记录图像中存在移动体的情况下，仅以与通常不同的模式显示移动体为例进行了说明。但是，只要能够以与通常不同的模式显示历史记录图像中的移动体即可。例如，也可以在历史记录图像中存在移动体的情况下，以与通常不同的模式显示该历史记录图像整体。
[0094]图9示出了以这样的模式显示历史记录图像的变形例。在图9(a)以及图9(b)中，在拍摄俯瞰图像中存在移动体，在车辆I的左右方向的历史记录图像中不存在移动体。因此，左右方向的任意的历史记录图像均与拍摄俯瞰图像相同，以与通常相同的模式进行显示。
[0095]但是，在图9(c)以及图9(d)中，在对于车辆I，右侧的历史记录图像中存在移动体。因此，以与通常不同的模式，例如以略带红色的色彩，或者略带黄色的色彩显示车辆I的右侧的历史记录图像。另外，由于车辆I的左侧的历史记录图像不存在移动体，所以以与通常相同的模式显示。
[0096]这样一来，在显示画面11上以与通常不同的模式显示车辆I的右侧的历史记录图像，所以会使驾驶员认为发生了什么，而通过直接目视观察来确认车辆I的右侧的区域。其结果为，能够识别移动体的正确的位置。
[0097]另外，在图9中，以与通常不同的模式显示对于车辆I存在移动体的一侧的历史记录图像。因此，例如，如图9(b)?图9(d)那样，在车辆I的侧方的死角区域存在未显示历史记录图像的部分的情况下，仅历史记录图像的部分以与通常不同的模式被显示。
[0098]但是，也可以以与通常不同的模式显示存在移动体的一侧的死角区域整体。这样，也以与通常不同的模式显示存在移动体的一侧的历史记录图像，并且，也以与通常不同的模式显示移动体本身。其结果为，驾驶员通过直接目视观察来确认移动体，所以能够识别移动体的正确的位置。
[0099]本公开根据实施方式进行了记述，但理解为本公开并不限定于该实施方式、结构。本公开也包含各种变形例、均等范围内的变形。除此之外，各种组合、方式、以及在各种组合、方式包含一个要素、一个以上、或者一个以下的其它的组合、方式也在本公开的范畴、思想范围内。
【主权项】
1.一种车辆周边图像显示装置，是在显示画面(11)上显示使用车载照相机(10F、10R)拍摄车辆(I)的周边区域而得到的图像的车辆周边图像显示装置，其特征在于，具备: 拍摄俯瞰图像生成部(102)，其通过对由上述车载照相机得到的拍摄图像实施转换为从上述车辆的上方拍摄映入到该车载照相机的上述周边区域而得到的图像的视线转换，来生成拍摄俯瞰图像； 移动体检测部(103)，其根据上述拍摄俯瞰图像或者上述拍摄图像检测移动体； 拍摄俯瞰图像存储部(104)，其存储上述拍摄俯瞰图像，并且在该拍摄俯瞰图像中存在上述移动体的情况下还存储该移动体在该拍摄俯瞰图像中的位置； 拍摄俯瞰图像显示部(106)，其在上述显示画面上且与上述车载照相机拍摄到的上述周边区域对应的位置显示上述拍摄俯瞰图像； 移动信息获取部(105)，其获取与上述车辆的移动量有关的移动信息；以及历史记录图像显示部(106)，其针对在上述车辆的周边区域中成为上述车载照相机的死角的死角区域，基于上述移动信息从在上述车辆到达当前的位置之前生成并被存储到上述拍摄俯瞰图像存储部的上述拍摄俯瞰图像中取出拍摄该死角区域而得到的部分的图像亦即历史记录图像，并显示在上述显示画面上的与该死角区域对应的位置， 在上述历史记录图像中存在上述移动体的情况下，对于该移动体，上述历史记录图像显示部以与上述拍摄俯瞰图像显示部进行显示的显示模式不同的显示模式进行显示历史记录。2.根据权利要求1所述的车辆周边图像显示装置，其特征在于， 上述车载照相机安装在上述车辆的前方或者后方中的至少一方3.根据权利要求2所述的车辆周边图像显示装置，其特征在于， 上述历史记录图像显示部针对存在于上述车辆的右侧方的上述死角区域和存在于该车辆的左侧方的上述死角区域的每一个，显示上述历史记录图像， 在上述历史记录图像中存在上述移动体的情况下，以与不存在该移动体的一侧的上述历史记录图像不同的显示模式显示存在该移动体的一侧的上述历史记录图像。4.一种车辆周边图像显示方法，是在显示画面上显示使用车载照相机拍摄车辆的周边区域而得到的图像的车辆周边图像显示方法，其特征在于，具备: 拍摄俯瞰图像生成工序(SlOl)，其通过对由上述车载照相机得到的拍摄图像实施转换为从上述车辆的上方拍摄映入到该车载照相机的上述周边区域而得到的图像的视线转换，来生成拍摄俯瞰图像； 移动体检测工序(S102)，其根据上述拍摄俯瞰图像或者上述拍摄图像检测移动体； 拍摄俯瞰图像存储工序(S104、S105)，其存储上述拍摄俯瞰图像，并且在该拍摄俯瞰图像中存在上述移动体的情况下还存储该移动体在该拍摄俯瞰图像中的位置； 拍摄俯瞰图像显示工序(S106)，其在上述显示画面上且与上述车载照相机拍摄到的上述周边区域对应的位置显示上述拍摄俯瞰图像； 移动信息获取工序(S107)，其获取与上述车辆的移动量有关的移动信息；以及历史记录图像显示工序(3110、3111、3113、3114)，其针对在上述车辆的周边区域中成为上述车载照相机的死角的死角区域，基于上述移动信息从在上述车辆到达当前的位置之前生成并在上述拍摄俯瞰图像存储工序中存储的上述拍摄俯瞰图像中取出拍摄该死角区域而得到的部分的图像亦即历史记录图像，并显示在上述显示画面上的与该死角区域对应的位置， 上述历史记录图像显示工序是在上述历史记录图像中存在上述移动体的情况下，对于该移动体，以与上述拍摄俯瞰图像显示部进行显示的第一显示模式不同的第二显示模式进行显示历史记录的工序。
【文档编号】H04N7/18GK106031166SQ201580008224
【公开日】2016年10月12日
【申请日】2015年1月22日
【发明人】富山圭史, 大宫祥吾, 松川典史, 北尾纯, 北尾纯一
【申请人】株式会社电装