专利名称：影像显示装置及影像显示方法
技术领域：
本发明涉及一种在例如使车辆泊车时，对使驾驶员掌握车辆周围状况的影像予以显示的影像显示装置及影像显示方法。
背景技术：
以往，公知的驾驶操作辅助技术有在车体的多个部位设有摄像机，通过显示用各摄像机拍摄的影像，使驾驶员掌握从驾驶员来看成为死角的方向的状况的驾驶操作辅助技术。作为该驾驶操作辅助技术，公知有如下述日本特开2000-168475号公报所记载的那样，通过驾驶员操作选择开关而选择驾驶员所需要的信息，对该被选择的信息予以显示的技术。另外，公知的驾驶操作辅助技术还有将车辆的变速齿轮操作至R档作为条件，显示车辆后方的影像而使驾驶员掌握的技术。
发明内容
但是，在根据上述日本特开2000-168475号公报中记载的选择开关的操作来显示所需要的信息的技术中，认为当通过增加搭载于车辆的摄像机的数量来增加能提示给驾驶员的影像的种类时，会增加影像的选择开关的数量。另外，还担心难以了解操作哪个开关能显示哪个影像。并且，认为在此时的驾驶场景中，难以判断从多个影像中使哪个影像显示才能使驾驶员容易掌握周围状况、并能避免接触，其结果，产生了无法根据状况用完多个影像的问题。
因此，本发明是鉴于上述的实际情况提出的，其目的在于提供即使在使用搭载于车辆并拍摄车辆周围的多个摄像机时，仍可以通过简单的操作来使驾驶员正确地掌握车辆周围的状况的影像显示装置及影像显示方法。
本发明在使用从将车辆周围的不同方向作为拍摄方向的多个摄像机获取的多个影像将车辆周围的状况提示给驾驶员时，获取上述多个影像并使用该多个影像制作使驾驶员一览车辆周围的俯瞰影像，在显示着该俯瞰影像时，在选择了使驾驶员掌握车辆周围状况的、相对于本车辆的方向时，通过从上述俯瞰图像切换到包括与上述被选择的相对于本车辆的方向上的车辆周围状况的影像并予以显示，来解决上述课题。
根据本发明，在获取多个摄像机影像、并使用该多个摄像机影像，制作使驾驶员一览车辆周围的俯瞰影像，在显示着该俯瞰影像时选择了使驾驶员掌握车辆周围状况的、相对于本车辆的方向时，从俯瞰图像切换到包括被选择的相对于本车辆的方向上的车辆周围状况的影像并予以显示，因此能够在显示俯瞰影像、并使车辆周围的状况和车辆部位相对应地提示给驾驶员后，选择车辆周围的影像。因而，根据本发明，即使在使用搭载于车辆上并对车辆周围进行拍摄的多个摄像机时，也能够通过简单的操作使驾驶员正确地掌握车辆周围的状况，能够使驾驶员不混乱地选择所需要的车辆周围的影像。
图1是表示应用了本发明的驾驶辅助装置的结构的框图。
图2是表示构成应用了本发明的驾驶辅助装置的摄像部的结构的俯视图。
图3是表示由应用了本发明的驾驶辅助装置的左侧方摄像机拍摄的影像的一例的图。
图4是表示由应用了本发明的驾驶辅助装置的后方摄像机拍摄的影像的一例的图。
图5是在应用了本发明的驾驶辅助装置中，对显示于显示部的俯瞰影像的一例子予以表示的图。
图6是在应用了本发明的驾驶辅助装置中，用于对切换显示的接触可能性区域进行说明的图。
图7是用于说明在应用了本发明的驾驶辅助装置中，通过驾驶员的操作来选择影像的处理的图。
具体实施例方式
以下，参照附图对本发明的实施方式进行说明。
本发明应用于例如图1所示那样构成的驾驶辅助装置。该驾驶辅助装置具有将表示车辆周围状况的各种影像显示给驾驶员的影像显示装置的功能，提示驾驶员所需要的影像来辅助驾驶操作。
驾驶辅助装置的结构如图1所示，该驾驶辅助装置具有摄像部1和显示部2。该摄像部1由搭载于本车辆车体的多个摄像机构成，该显示部2设置于本车辆的车舱内、并设置于驾驶员可视其显示画面的位置。另外，该驾驶辅助装置在控制部3上连接有影像处理部4、障碍物检测部5、及影像范围选择部6。该控制部3对使用由摄像部1拍摄的多个摄像影像的影像显示综合地进行控制。
如图2所示，摄像部1由设置于本车辆10的前部的前方摄像机1F、设置于本车辆10的后部的后方摄像机1B、设置于本车辆10右侧方的右车门后视镜处的右侧方放摄像机1R、及设置于本车辆10左侧方的左车门后视镜处的左侧方摄像机1L构成。这些前方摄像机1F、后方摄像机1B、右侧方摄像机1R、左侧方摄像机1L是所谓的广角摄像机，以180度的视场角来在光学上进行了设计。通过由这些前方摄像机1F、后方摄像机1B、右侧方摄像机1R、左侧方摄像机1L在相同的时刻拍摄到的前方摄像机影像、后方摄像机影像、右侧方摄像机影像、左侧方摄像机影像，从而使驾驶辅助装置能够获取车辆周围的所有影像。
在此，如图3所示，由左侧方摄像机1L拍摄的左侧方摄像机影像是包括左侧方车体及轮胎周围的影像。如图4所示由后方摄像机1B拍摄的后方摄像机影像是包括后方车体、停车位的白线、泊车于相邻停车位的另一车辆的影像。这样的前方摄像机影像、后方摄像机影像、右侧方摄像机影像、左侧方摄像机影像被输出到影像处理部4。
显示部2将由摄像部1拍摄后完成影像处理的显示用的影像输入后，根据驾驶员的操作和由障碍物检测部5检测到的障碍物检测状况等，对包括使驾驶员一览整个车辆周围的俯瞰影像、或车辆周围状况的一部分的影像予以显示。
影像处理部4获得由摄像部1拍摄的多个摄像机影像后，通过实施规定的影像处理，制作使驾驶员一览并掌握车辆周围的俯瞰影像。另外，关于生成俯瞰图像的详细说明，参照日本特开2004-48621号公报等。影像处理部4预先存储有转换表，该转换表记录有输入的多个摄像机影像与输出的俯瞰影像的像素配置对应关系。当影像处理部4从摄像部1输入多个摄像机影像时，将各摄像机影像存储到规定的输入存储器中。被存储的各摄像机影像由影像处理部4遵照转换表以像素单位被读取后被存储到输出存储器中。由此，在输出存储器中能够从前方摄像机影像、后方摄像机影像、右侧方摄像机影像、左侧方摄像机影像，展现切出各自需要的图像区域而成的俯瞰影像。而且，影像处理部4遵照转换表完成了俯瞰影像的制作时，将该俯瞰影像输出到控制部3。
用该影像处理部4制作成的俯瞰影像是将从图3那样的左侧方摄像机影像抽出左前轮胎附近的影像、从图4那样的后方摄像机影像切出120度左右角度后的影像等的4种摄像机影像的假想视点位置在车辆上空集中到一点而成。对于驾驶员来说，这样的俯瞰影像能够以从上空向下看本车辆10的形态掌握车辆周围的状况。
该影像处理部4在例如要使本车辆向左后方向后退而纵列泊车于期望的停车位时，制作图5所示那样的俯瞰影像。根据图5，将本车辆CG影像100配置于图像中心，并在该本车辆CG影像100的周围配置视点变换后的车辆左前部影像101FL、车辆右前部影像101FR、车辆左侧面影像101L、车辆右侧面影像101R、车辆后部影像101B(以下，在总称时仅称为“车辆部位影像101”。)。在车辆左前部影像101FL与车辆右前部影像101FR的接缝配置掩蔽线102FL-FR，在车辆左前部影像101FL与车辆左侧面101L的接缝配置掩蔽线102FL-L，在车辆右前部影像101FR与车辆右侧面影像101R的接缝配置掩蔽线102FR-R，在车辆左侧面影像101L与车辆后部影像101B的接缝配置掩蔽线102L-B，在车辆右侧面影像101R与车辆后部影像101B的接缝配置掩蔽线102R-B。而且，在总称掩蔽线时仅称为“掩蔽线102”。
这样，通过在影像的接缝上设置掩蔽线102来将俯瞰影像分割成多个区域，从而作为车辆周围的一览使驾驶员掌握。而且，俯瞰影像的分割方法即使在图5所示的图案以外，还可以进一步详细划分，也可以是3分割左右。
障碍物检测部5对车辆周围有无障碍物及障碍物相对于本车辆的相对位置(相对于本车辆10的方向、距离)进行检测。该障碍物检测部5能够例举如使用超声波传感器或红外线传感器来检测障碍物的方法、或输入用摄像部1获取的摄像机影像后通过图像分析等来检测障碍物的方法。该障碍物检测部5将包括相对于本车辆有无障碍物及障碍物相对于本车辆的相对位置的障碍物检测信息输出到控制部3。
影像范围选择部6用于选择车辆周围的前方、左右侧方、后方中的使驾驶员掌握的车辆周围的部位。该影像范围选择部6是具有呈矩阵状地配置于显示部2的显示画面内的电极而构成的；也可以由触摸面板式接触坐标检测机构构成，该触摸面板式接触坐标检测机构根据对应于相对该电极的触压位置的电阻值变化来对显示部2的显示画面内的显示坐标进行检测；也可以是每一车辆周围的部位专用的选择开关。影像范围选择部6根据驾驶员的操作，将作为驾驶员所希望确认的车辆周围部位的信息的选择部位信息输出到控制部3。
控制部3在俯瞰影像与用影像范围选择部6选择的车辆周围部位之间切换显示部2上显示的影像。控制部3输入用障碍物检测部5制作成的表示有无障碍物及障碍物相对位置的障碍物检测信息、和从影像范围选择部6得到的选择部位信息。
控制部3根据从障碍物检测部5得到的障碍物检测信息来判断本车辆与障碍物接触的可能性。与该障碍物的接触可能性的判断，根据障碍物检测信息判断在例如在障碍物进入作为传感器的感知区域内的规定范围并正在接近时、或例如在障碍物已经接近距本车辆1m以内这样的预先设定的区域时，会判断为存在接触可能性。另外，控制部3根据障碍物检测信息的变化来检测障碍物正在接近本车辆、还是正在远离本车辆，并可以在存在于规定范围的障碍物正在靠近时判断为存在接触可能性。另外，该接触可能性的判断是由控制部3进行的，但也可以由障碍物检测部5进行。而且，控制部3进行如下控制根据障碍物与本车辆的接触可能性和选择部位信息，在俯瞰影像与用影像范围选择部6选择的车辆周围部位之间切换用显示部2显示的影像。
影像指定处理下面，在如上述那样构成的驾驶辅助装置中，对根据驾驶员的操作而变更在影像范围选择部6生成的选择部位信息的影像指定处理进行说明。在该说明中，对第1影像指定处理和第2影像指定处理进行说明，驾驶辅助装置只要对任意一个影像转换处理即可。
第1影像指定处理在如图5所示的俯瞰影像中显示着对用掩蔽线102进行了范围分割而得到的每个车辆周围部位分配的车辆部位影像101的状态下，检测被分割出的任何一个车辆部位影像101被选择的影像情况，由影像范围选择部6制作选择部位信息。在此，在影像范围选择部6由触摸面板式接触坐标检测机构构成时，将接触坐标与车辆左前部影像101FL、车辆右前部影像101FR、车辆左侧面影像101L、车辆右侧面影像101R、车辆后部影像101B的显示范围分别进行比较，判断选择了车辆周围的哪个部位。
由此，影像范围选择部6能够使与被选择的车辆部位影像101对应的摄像机影像显示在显示部2中。
第2影像指定处理根据触摸面板式接触坐标检测机构，读取接触了驾驶员想看的车辆周围部位的坐标，制作最容易看见地显示对应于该坐标的本车辆的相对位置附近的选择部位信息。例如，如图6所示，在从本车辆10的位置P1，经过位置P2、位置P3后，而要纵列泊车于所希望的停车位12内的作为目标的位置P4时，在位置P1上，将要接触图7的显示画面中的本车辆CG影像100的左下方。此时，由影像范围选择部6的触摸面板式接触坐标检测机构检测与本车辆CG影像100的中心坐标(0，0)相对的接触位置121的画面内坐标(X，Y)，能够制作表示本车辆左后侧方被选择的选择部位信息。
由此，在图6中，能够用控制部3切出从位置P1、以停车位12方向为中心的放大影像，并显示于显示部2。另外，作为该第2影像指定处理的其他例子，也可以使其显示以接触位置121的画面内坐标(X，Y)为中心的俯瞰影像。
这样，当用影像范围选择部6生成了对应于车辆周围部位被指定的部位的选择部位信息时，例如，在图6中，在本车辆10从位置P1移动到P2后，驾驶员识别作为存在接触可能性的部位的区域13B(接触可能性区域)而要确认接触可能性区域13B的周边状况时，成为在显示部2的显示画面上接触图7中的接触位置121。由此，控制部3能够使容易分辨车辆后方的右后侧方的影像显示于显示部2。
影像切换处理下面，对通过能够进行上述那样的影像指定处理的驾驶辅助装置，切换用显示部2显示的影像的处理进行说明。
如图6所示，该影像切换处理例举下面的情况来进行说明，即本车辆10从位置P1经过位置P2、位置P3，纵列泊车于停车位12内的作为目标的位置P4。在进行这种纵列泊车时，认为在位置P2存在接触可能性区域13A和接触可能性区域13B，该接触可能性区域13A处于本车辆10的右前方部分与右手侧另一车辆或墙壁(未图示)之间，该接触可能性区域13B处于本车辆10的右后方部分与停在停车位12A的另一车辆11A之间。另外，认为在位置P3存在接触可能性区域13C和接触可能性区域13D，该接触可能性区域13C处于本车辆的左前方部分与另一车辆11A之间，该接触可能性区域13D处于本车辆10的左后方部分与左手侧墙壁之间。对本车辆10的驾驶员来说，这种接触可能性区域13是应该加以注意的车辆周围部位。
所以，当由驾驶员在位置P1上操作影像范围选择部6的触摸面板式接触坐标检测机构中的任意部位时，控制部3首先显示用影像处理部4制作成的图5所示那样的俯瞰影像。由此，如图5所示，俯瞰影像成为包括相当于停车位12A的停车位影像111、相当于停在停车位12A的另一车辆11A的另一车辆影像110的影像。而且，控制部3在用障碍物检测部5检测到存在于距本车辆10数米范围中的作为障碍物的另一车辆11A时，也可以自动地使俯瞰影像显示于显示部2。
由此，驾驶辅助装置在纵列泊车时的初期，通过俯瞰影像来使驾驶员掌握本车辆10周围的全体情况。
然后，本车辆10从位置P1经过位置P2、后退到位置P3，控制部3在判断接触可能性区域13C及接触可能性区域13D的接触可能性时，能够使驾驶员通过俯瞰影像掌握本车辆10与另一车辆11A、及侧壁的状况。这样，在本车辆10处于位置P3时，为了根据驾驶员的判断对存在于接触可能性区域13C中的另一车辆11A加以注意，当操作触摸面板式接触坐标检测机构中的相当于左前方的部位时，控制部3将用包括左前方的前方摄像机1F或左侧方摄像机1L拍摄的前方摄像机影像或左侧方摄像机影像、或合成前方摄像机影像与左前方摄像机影像而成的影像显示于显示部2。由此，被显示于显示部2的影像从俯瞰影像切换到将用影像范围选择部6所指定的车辆周围部位放大了的影像。
另外，控制部3根据来自距离障碍物检测部5的障碍物检测信息，在本车辆10和另一车辆11A的距离成为1米左右的近距离、判断接触可能性变高时，也可以从俯瞰影像自动地切换到将本车辆10的左侧方放大了的影像。
然后，在从用障碍物检测部5检测出的障碍物检测信息，用控制部3判断出已经不存在接触可能性区域13C的接触可能性时，控制部3将显示部2的显示从放大了左前方的影像返回到俯瞰影像。由此，使驾驶员掌握已经不需要对接触可能性区域13C进行接触确认，接着，控制部3可以对包括另一接触可能性区域13的接触确认的车辆周围的全体情况进行确认。
另一方面，在显示接触可能性区域13C的影像时，仍然判断为存在相对于接触可能性区域13C的接触可能性时，控制部3根据来自障碍物检测部5的障碍物检测信息已判断了接触可能性区域13D的接触可能性时，将显示部2的显示切换为俯瞰影像，在俯瞰影像上表示接触可能性存在接触可能性区域13C、接触可能性区域13D的2处。由此，驾驶辅助装置能够使驾驶员掌握对2处接触可能性加以注意而进行驾驶。
这样，在使驾驶员掌握称为接触可能性区域13C和接触可能性区域13D的2处接触可能性区域13时，控制部3进行如下显示控制处理在俯瞰影像中使接触可能性区域13C和接触可能性区域13D闪烁，并使其颜色变化，使包围接触可能性区域13的掩蔽线闪烁等。另外，根据障碍物检测信息，相对于本车辆10的障碍物的距离越近或接近速度越快，接触可能性区域13的闪烁间隔就越短、颜色也变为强调色，由此，可以使驾驶员掌握在多个接触可能性区域13中最应该加以注意的接触可能性区域13。
实施方式的效果如以上的详细说明，根据应用了本发明的驾驶辅助装置，获取多个摄像机影像，并使用该多个摄像机影像来制作使驾驶员一览车辆周围的俯瞰影像，在显示该俯瞰影像时，在选择了使驾驶员掌握车辆周围的状况的相对于本车辆的方向时，从俯瞰影像切换到包括被选择的相对于本车辆的方向的车辆周围的情况的影像并予以显示，因此显示俯瞰影像，并使车辆周围的情况和车辆部位相对应地提示驾驶员之后，能够选择车辆周围的影像。因而，采用该驾驶辅助装置，即使是使用多个摄像机并使驾驶员选择车辆周围的影像时，也能够使驾驶员不混乱地选择所需要的、车辆周围的影像。
另外，采用该驾驶辅助装置，在检测接近于本车辆的障碍物、并判断为存在与本车辆接触的可能性时，显示俯瞰图像，因此能够在检测本车辆的接触可能性后立刻选择所需要的影像。
并且，采用该驾驶辅助装置，在选择相对于本车辆的方向，并切换到包括该相对于本车辆方向上的车辆周围情况的影像并予以显示时，当在该相对于本车辆的方向上未检测到接近于本车辆的障碍物而判断为不存在与本车辆接触的可能性时，将显示返回到俯瞰图像，因此在能够使驾驶员掌握已经没有接触可能性的同时，能够立刻使驾驶员选择之后需要加以注意的影像。
并且，采用该驾驶辅助装置，在选择相对于本车辆的方向，并切换到包括该相对于本车辆方向上的车辆周围情况的影像并予以显示时，当在该相对于本车辆的方向以外的方向上检测到接近于本车辆的障碍物而判断为有与本车辆接触的可能性时，将显示返回到俯瞰图像，因此在显示一接触可能性的部位的时刻，能够使驾驶员掌握其他接触可能性。
并且，采用该驾驶辅助装置，能够用俯瞰影像显示被选择的相对于上述本车辆的方向上的接触可能性、和该被选择的相对于本车辆的方向以外的方向上的接触可能性，因此使驾驶员在掌握此时的车辆周围的情况中是否存在接触可能性。
而且，上述实施方式是本发明的一例子。因此，本发明并不限定于上述实施方式，即使是本实施方式以外的方式，只要不脱离涉及到本发明的技术思想的范围，当然可以根据设计等进行各种变更。
权利要求
1.一种影像显示装置，其使用从将车辆周围的不同方向作为拍摄方向的多个摄像机获得的多个影像，将车辆周围的状况提示给驾驶员，其特征在于，包括影像处理单元、选择单元、显示单元；上述影像处理单元获取上述多个影像，并使用该多个影像制作使驾驶员一览车辆周围的俯瞰影像；上述选择单元选择使驾驶员掌握车辆周围状况的、相对于本车辆的方向；在显示由上述影像处理单元制作成的俯瞰影像时，并且当由上述选择单元选择了上述相对于本车辆的方向时，上述显示单元从由上述影像处理单元制作成的俯瞰图像切换到包括由上述选择单元选择的上述相对于本车辆的方向上的车辆周围状况的影像并对该影像进行显示。
2.根据权利要求1所述的影像显示装置，其特征在于，还具有检测接近于本车辆的障碍物的障碍物检测单元；在由上述障碍物检测单元检测到接近于本车辆的障碍物而判断为存在与本车辆接触的可能性时，上述显示单元显示由上述影像处理单元制作成的上述俯瞰图像。
3.根据权利要求1所述的影像显示装置，其特征在于，还具有检测接近于本车辆的障碍物的障碍物检测单元；在由上述选择单元选择上述相对于本车辆的方向后、切换到包括该相对于本车辆的方向上的车辆周围状况的影像并显示该影像时，并且当由上述障碍物检测单元在该相对于本车辆的方向上未检测到接近于本车辆的障碍物而判断为不存在相对于本车辆的接触可能性时，上述显示单元将显示返回到由上述影像处理单元制作成的上述俯瞰图像。
4.根据权利要求1所述的影像显示装置，其特征在于，还具有检测接近于本车辆的障碍物的障碍物检测单元；在由上述选择单元选择上述相对于本车辆的方向后、切换到包括该相对于本车辆的方向上的车辆周围状况的影像并显示该影像时，并且当由上述障碍物检测单元在该相对于本车辆的方向以外的方向上检测到接近于本车辆的障碍物而判断为存在相对于本车辆的接触可能性时，上述显示单元将显示返回到由上述影像处理单元制作成的上述俯瞰图像。
5.根据权利要求4所述的影像显示装置，其特征在于，上述显示单元通过上述俯瞰影像显示两种接触可能性，其中一种接触可能性是对由上述选择单元选择的上述相对于本车辆的方向上的接触可能性，另一种接触可能性是该被选择的相对于本车辆的方向以外的方向上的接触可能性。
6.根据权利要求1～5中的任意一项所述的影像显示装置，其特征在于，上述选择单元由内置于上述显示单元的显示画面的触摸面板式接触坐标检测机构组成。
7.一种影像显示方法，其使用从将车辆周围的不同方向作为拍摄方向的多个摄像机获取的多个影像，将车辆周围的状况提示给驾驶员，其特征在于，获取上述多个影像，并使用该多个影像制作使驾驶员一览车辆周围的俯瞰影像，在显示该俯瞰影像时，并且当选择了使驾驶员掌握车辆周围的状况的、相对于本车辆的方向时，从上述俯瞰图像切换到包括上述被选择的相对于本车辆的方向上的车辆周围状况的影像并显示该影像。
全文摘要
一种影像显示装置及影像显示方法，其即使在使用搭载于车辆并对车辆周围进行拍摄的多个摄像机时，也可以使驾驶员用简单的操作正确地掌握车辆周围的状况。为了使用从包含将车辆周围的不同方向作为拍摄方向的多个摄像机的摄像部获取的多个影像，将车辆周围的状况提示给驾驶员，具有影像处理部，其使用该多个影像制作使驾驶员一览车辆周围的俯瞰影像；影像范围选择部，其选择使驾驶员掌握本车辆周围状况的、相对于本车辆的方向。控制部在用显示部显示俯瞰影像时，用影像范围选择部选择了相对于本车辆的方向时，从俯瞰图像切换到包括被选择的相对于本车辆的方向上的车辆周围状况的影像并将其显示于显示部。
文档编号H04N7/18GK1865849SQ20061008060
公开日2006年11月22日 申请日期2006年5月19日 优先权日2005年5月20日
发明者知野见聪, 柳井达美 申请人:日产自动车株式会社