专利名称：图像显示系统的制作方法
技术领域：
本发明涉及用于在车辆中显示图像的技木。
背景技术：
通常，已知ー种图像显示系统，其被安装在诸如汽车的车辆上并基于通过车载摄像机获得的拍摄图像在隔间中的显示器上显示车辆周围的周围环境图像。用户(通常为驾驶员)可以使用该图像显示系统来实时观察车辆周围的区域。例如，在与驾驶员座位相对的前挡板外部的区域可能是盲点，并且用户难于看到车辆主体与障碍物之间的间隙。与之相比，图像显示系统可被用于在隔间中的显示器上显示前挡板外部的区域的周围环境图像，该周围环境图像基于设置在车辆横侧中的车载摄像机获得的拍摄图像而生成。从而，当将车辆停靠在路边等，用户可以容易地检查车辆主体与在驾驶员座位的相对侧上的障碍物之间的间隙。另外，已知ー种图像显示系统，其标示障碍物所在的位置(例如，专利文献I)。在该图像显示系统中，对车辆周围的图像(“周围环境图像”)増加警告标示。引用列表专利文献专利文献I JP-2007-180622-A
发明内容
当图像显示系统引起注意，用户使用周围环境图像来检查障碍物在哪。然而，在上述图像显示系统中，警告标示可能掩盖周围环境图像，从而，可能难于从周围环境图像中检查是否存在障碍物。本发明的ー个目的是提供ー种图像显示系统，其使得在引起注意时可以从周围环境图像容易地确定障碍物所在的位置。提供一种安装在车辆上的图像显示系统，包括合成图像生成部件，其基于设置在车辆上的摄像机所获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境；显示部件，其在显示屏上显示合成图像和拍摄的图像；障碍物检测部件，其检测障碍物；以及标示添加部件，其在检测到障碍物时对显示屏的除合成图像和拍摄图像之外的区域、合成图像的周边区域、以及合成图像中的车辆的区域中的至少ー个区域添加用于弓I起注意的警告标示。提供了一种图像生成装置，包括合成图像生成部件，其基于拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的环境；显示部件，其在显示装置的显示屏上显示合成图像和拍摄图像；检测信号接收部件，其从用于检测障碍物的障碍物检测部件接收检测信号；以及标示添加部件，其在检测到障碍物时对显示屏的除合成图像和拍摄图像之外的区域、合成图像的周边区域、以及合成图像中的车辆的区域中的至少ー个区域添加用于引起注意的警告标示。提供了ー种图像显示方法，包括以下 步骤基于设置在车辆上的摄像机获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境；在显示屏上显示合成图像和拍摄图像；检测是否存在障碍物；以及，在检测到障碍物时，对显示屏的除合成图像和拍摄图像之外的区域、合成图像的周边区域、以及合成图像中的车辆的区域中的至少ー个区域添加用于引起注意的警告标示。根据上述图像显示系统、图像生成装置或图像显示方法，当引起注意时，可以容易地从周围环境图像确定是否存在障碍物。
通过參考附图阅读下面的详细描述，将更好地理解本发明的这些和其它特征和优点，其中图I示出本发明实施例的图像显示系统的示例结构；图2不出设置车载摄像机的位置；图3(A)和3(B)是通过图像组合部件生成的组合图像的说明图；图4主要示出了声纳系统的结构；图5示出车辆上的设置间隙声纳装置的位置；图6示出了用于生成合成图像的技术；图7示出图像显示系统的工作模式的转换；图8为添加警告标示的实例的说明图；图9为添加警告标示的另ー实例的说明图；图10为标示物的变化的说明图；图11为放大合成图像的说明图；以及图12是图像显示系统的示例处理的说明图。
具体实施例方式〈I.系统结构>图I为示出本发明实施例的图像显示系统120的结构的框图。该图像显示系统120被安装在车辆(在该实施例中为汽车)上，并且其具有拍摄车辆的周围环境并生成图像的功能以在隔间中显示图像。用户(通常为驾驶员)可以使用该图像显示系统120来基本实时地获取车辆周围的环境。如图I所示，图像显示系统120主要包括图像生成装置100,用于生成示出车辆周围的环境的周围环境图像；以及导航装置20，用于对驾驶车辆的用户显示各种信息。通过导航装置20显示通过图像生成装置100生成的周围环境图像。导航装置20为用户提供导航向导，并包括显示器21，诸如被配置有触摸板功能的液晶显示器；操纵部件22，其包括由用户操纵的硬件开关等；以及控制部件23，用于控制整个装置。导航装置20被安装在车辆的仪器面板等上，使得用户可以观察显示器21的屏吾。通过操纵部件22和作为触摸板的显示器21接收用户的各个指令。控制部件23为包括CPU、RAM、ROM等的计算机，其中CPU根据预定程序进行运算处理以实现包括导航功能的各个功能。导航装置20被可通信地连接到图像生成装置100，使得其将各个控制信号发送到图像生成装置100并从图像生成装置100接收各个控制信号，以及接收通过图像生成装置100生成的图像。在显示器21上，根据控制部件23的控制，通常，仅通过导航装置20的功能显示用于导航引导的车辆周围的地像。地像被预先存储在在导航装置20中设置的硬盘等中。另外，通过导航装置20中设置的GPS装置获得车辆的位置(纬度和经度)，并且基于车辆的位置，在显示器21上显示车辆周围的地像。通过操纵部件22，用户可以改变显示的地像的比例。 另ー方面，当改变图像显示系统120的工作模式时，在显示器21上显示通过图像生成装置100生成的车辆周围的周围环境图像。从而，导航装置20还用作显示装置，用于接收和显示通过图像生成装置100生成的周围环境图像。图像生成装置100包括主体部件10，其为具有生成图像的功能的E⑶(电子控制単元)；以及拍摄部件5，用于生成车辆周围的环境的图像。主体部件10被设置在车辆中的预定位置中，并且基于通过拍摄部件5获得的车辆周围的环境的图像，生成用于在显示器21上显示的周围环境图像。拍摄部件5被电连接到主体部件10，并且根据来自主体部件10的信号工作。拍摄部件5包括前摄像机51、侧面摄像机52、以及后摄像机53，其都为车载摄像机。车载摄像机51-53中的每个包括镜头和成像装置并电子地获得图像。多个车载摄像机51-53被设置在车辆的彼此不同的位置。图2示出车辆9中设置车载摄像机51-53的位置。如图2所示，前摄像机51被安装在用于将牌照附连到车辆9的前端的位置附近，并且前摄像机51的光轴51a被取向为车辆9的正前方向。后摄像机53被安装在用于将牌照附连到车辆9的后端的位置附近，并且后摄像机53的光轴53a被取向为与车辆9的正前方向相反的方向。期望的是，前摄像机51和后摄像机53的安装位置位于左和右方向中的中心，然而该安装位置可以在左或右方向中稍微偏离。另ー方面，侧面摄像机52被并排安装在左边和右边的侧面反射镜93上，并且侧面摄像机52的光轴52a被取向为沿车辆9的左和右方向指向车辆9的外部(垂直于正前方向的方向)。这些车载摄像机51-53使用广角镜头，诸如鱼眼镜头，以具有180°或以上的视野角度Θ。从而，车载摄像机可以拍摄在各个光轴下方和上方倾斜延伸的视场的图像。拍摄部件5使用四个车载摄像机51-53，从而使得可以对车辆的全部周围环境成像。返回到图1，图像生成装置100的主体部件10主要包括控制部件I，用于控制整个装置；输入终端49，用于从拍摄部件5的四个车载摄像机51-53输入拍摄图像；图像生成部件3，用于生成将显示的周围环境图像；以及导航通信部件42，用干与导航装置20通信。由显示器21或导航装置20的操纵部件22接收的来自用户的各个指令被导航通信部件42接收作为控制信号、并被输入到控制部件10。另外，图像生成装置100包括开关43，用于接收来自用户的指令，以改变显示的内容。还从该开关43向控制部件I输入标示用户指令的信号。从而，图像生成装置100可以响应于用户对导航装置20和开关43的操纵而工作。开关43被设置在车辆中远离主体部件10的合适位置，诸如例如方向盘或中控台上的位置，以便于用户操作。图像生成部件3是硬件电路，其可以进行各种图像处理操作，并且其处理经输入終端49从拍摄部件5输入的拍摄图像，并生成将在显示器21上显示的周围环境图像。图像生成部件3包括以下部件作为主要组件图像组合部件30、存储器31、图像调节部件32、合成图像生成部件34、图像布直部件35、以及标不添加部件36。图像组合部件30将通过拍摄部件5拍摄的拍摄图像组合到ー个组合图像中。图3(A)和3(B)是通过图像组合部件30生成的组合图像Pcn的说明图。当拍摄部件5的前摄像机51、侧面摄像机52和后摄像机53同时进行成像时，获得示出车辆9的前侧、左側、右侧以及后侧的环境的四个拍摄图像P1-P4。图像组合部件30组合这四个拍摄图像P1-P4以生成如图3(B)所示的组合图像Pen。通过图像组合部件30生成的组合图像Pcn被存储在存储器31中。图像调节部件32进行调节，从而使得通过图像组合部件30生成的组合图像Pcn可用于显示。具体是，对于在组合图像Pcn中包括的拍摄图像P1-P4，图像调节部件32进行图像处理操作，诸如畸变校正、放大和縮小，以及分割。图像调节部件32包括图像选择部件33。在对组合图像Pcn中包括的拍摄图像P1-P4进行的分割处理中，图像选择部件33选择分割区域，即，将在显示器21上显示的区域。为了配置分割设置(对分割区域的设置)、放大和缩小设置等，在附接装置(摄像机)时进行的校准(调节和配置)过程中存储用于配置的设置值和调节，并且通过使用这些值进行诸如调节操作等的图像处理操作。基于组合图像Pen，合成图像生成部件34生成合成图像，所述合成图像示出来自车辆周围的任意虚拟视点的车辆周围的环境。下面将描述合成图像生成部件34生成合成图像所采用的技木。被调节以通过图像调节部件32显示的拍摄图像和通过合成图像生成部件34生成的合成图像通过导航通信部件42被输出到导航装置20。此时，根据下面描述的图像显示系统120的工作模式，图像布置部件35在显示屏上的预定显示位置布置这些图像以生成显示图像，并将其输出给导航装置20。从而，在导航装置20的显示器21上显示包括车辆周围的环境的至少部分的周围环境图像。在本发明说明书中，术语“周围环境图像”指包括车辆周围的环境的至少一部分的图像，并且其同时包括被调节以被显示的拍摄图像和合成图像。将拍摄图像(其被调节以进行显示)处理为与各个车载摄像机51-53的镜头位置相对应的各个车载摄像机51-53的视场的周围环境图像。另外，将合成图像处理为来自在车辆周围的任意位置设置的虚拟视点的周围环境图像。标示添加部件36将标示添加到通过图像布置部件35生成的显示图像上，图像显示系统120通过所述标示对用户提供预定信息项。该标示例如可以是表示特定信息项的图标或者是诸如消息的字符信息项。另外，如下文所述，当检测到障碍物时，标示添加部件36将警告标示(标示物)添加到显示屏的除显示合成图像和拍摄图像之外的位置。当检测到、障碍物时，标示添加部件36从而用作用于加强警告标示的标示加强部件。控制部件I是包括CPU、RAM、ROM等的计算机，其中CPU根据预定程序执行运算处理以实现各个功能。图像控制部件11、显示控制部件12、区域选择部件13、优先度确定部件14、检测信号接收部件15以及接收部件16代表如上所述实现的控制部件I的ー些功能。图像控制部件11进行与通过图像生成部件3进行的图像处理相关的控制。例如，图像控制部件11指示合成图像生成部件34生成合成图像所需的各个參数等。显示控制部件12进行与在导航装置20的显示器21上显示的内容相关的控制。例如，显示控制部件12根据图像显示系统120的工作模式的改变切换在显示器21上显示的内容。
区域选择部件13从在车辆周围限定的多个周围环境区域中选择将显示给用户的周围环境区域。当存在多个将显示给用户的周围环境区域时，优先度确定部件14确定其优先度。检测信号接收部件15接收下文描述的检测信号以检测在预定区域(车辆周围)中是否存在障碍物。接收部件16接收输入，以在导航装置20的显示屏上显示放大图像，该放大图像是示出合成图像中的障碍物的放大的部分。接收部件16从而用作切换标示部件，用于示出在检测到障碍物时指示放大标示的切换图像。一旦接收部件16接收上述输入，显示控制部件12如下文所述在导航装置20的显示屏上显示上述放大图像代替合成图像。当操纵用作切换标示部件的接收部件16吋，显示控制部件12从而用作放大标示部件，用于标示检测到障碍物的区域的放大图像。图像生成装置100的主体部件10还包括非易失性存储器40、读卡部件44、以及信号输入部件41，这些部件被连接到控制部件I。非易失性存储器40是闪速存储器等，其即使在断电时也可以保持存储的内容。在非易失性存储器40中，存储视点数据4a。视点数据4a用于限定合成图像的虚拟视点。读卡部件44读取作为便携式记录介质的存储卡MC。读卡部件44包括其中存储卡MC被可拆除地附连的卡槽，并且读卡部件44读取插入到卡槽中的存储卡MC中记录的数据。通过读卡部件44读取的数据被输入到控制部件I。存储卡MC是可以存储各种数据的闪速存储器等，并且图像生成装置100可以使用存储在存储卡MC中的各种数据。例如，可以通过在存储卡MC中写入程序并读取该程序而更新用于实现控制部件I的功能的程序(固件)。另外，信号输入部件41从车辆中设置的各个装置输入信号。通过该信号输入部件41，来自图像显示系统120的外部的信号被输入到控制部件I。在该实施例中，经信号输入部件41将来自声纳系统7和变速杆传感器8的信号输入到控制部件I。如下文所述，从作为障碍物检测部件的声纳系统7，输入包括障碍物的位置和车辆与障碍物之间的距离的检查结果。从变速杆传感器8，输入车辆的变速箱的变速杆被移动至的位置，即诸如“P(停车)”、“D(行驶)”、“N(空档)”、“R(倒档)”等的档位。<2.声纳系统〉图4主要示出声纳系统7的结构。如图4所示，声纳系统7包括声纳控制部件70，用于控制整个系统；多个间隙声纳装置72 ;以及警报器71，用于在车辆中发出警告。每个间隙声纳装置72发送超声波、并接收作为由障碍物反射的超声波的反射波，以检测位于车辆周围的障碍物。另外，间隙声纳装置72可以基于从发射超声波到接收超声波的时间而测量车辆与障碍物之间的距离。间隙声纳装置72的检测结果被输入到声纳控制部件72，从而使得警报器71根据车辆与障碍物之间的距离发出警告。从而，用户可以了解在车辆周围是否存在障碍物。图5示出在车辆9上设置多个间隙声纳装置72的位置。多个间隙声纳装置72被设直在车摘9的左如端部和右如端部以及车摘9的左后端部和右后端部。每个间隙声纳装置72将超声波发送到周围环境区域A1-A4，这些区域是车辆9周围的环境的一部分。具体地，设置在车辆9的左前端的间隙声纳装置72向被限定在车辆9的左前侧(“左前区域”)的周围环境区域Al发射超声波。另外，设置在车辆9的右前端的间隙声纳装置72向被限定在车辆9的右前侧(“右前区域”)的周围环境区域A2发射超声波。另外，设置在车辆9的左后端的间隙声纳装置72向被限定在车辆9的左后侧(“左后区域”)的周围环境区域A3发射超声波。另外，设置在车辆9的右后端的间隙声纳装置72向被限定在车辆9的右后侧(“右后区域”)的周围环境区域A4发射超声波。
这四个周围环境区域A1-A4被预先固定地相对于车辆9限定。由于间隙声纳装置72的该布置，声纳系统7可以检测在四个周围环境区域A1-A4中存在的障碍物。基于检测到障碍物的间隙声纳装置72的位置，声纳系统7可以获知检测的障碍物位于周围环境区域A1-A4的哪ー个中。另外，声纳系统7可以测量车辆与障碍物之间的距离。如图4所示，经信号输入部件41将声纳系统7的检测结果从声纳控制部件70输入到图像生成部件100的控制部件1，所述检测结果包括障碍物的位置和车辆与障碍物之间的距离。然后，由控制部件I的检测信号接收部件15等使用声纳系统7的该检测結果。<3.图像合成处理〉下面将描述这样的技术，其中，图像生成部件3的合成图像生成部件34基于通过拍摄部件5获得的多个拍摄图像P1-P4，生成合成图像，该合成图像示出从任意虚拟视点观察的车辆9自身以及车辆9周围的环境。图6描述了用于生成合成图像的技木。如上所述，当拍摄部件5的如摄像机51、侧面摄像机52以及后摄像机53冋时拍摄图像，获得分别示出在车辆9的前侧、左侧、右侧以及后侧的环境的四个拍摄图像P1-P4。组合图像Pcn包括关于拍摄时车辆9周围的整体环境的信息,在所述组合图像Pcn中将通过拍摄部件5拍摄的四个拍摄图像P1-P4相互组合。下面，在虚拟三维空间中将组合图像Pcn的每个像素投影到三维曲面TS。例如，三维曲面TS具有基本半球的形状(碗状)，并且其中心(碗的底部)被定义为车辆9所在的位置。预先建立了组合图像Pcn中的每个像素的位置与该三维曲面TS中的每个像素的位置的关系。从而，可以基于该关系和在组合图像Pcn中包括的每个像素值确定三维面TS中的每个像素值。组合图像Pcn中的每个像素的位置与该三维曲面TS中的每个像素的位置的关系取决于车辆9中的四个车载摄像机51-53的布置(相互的距离、高于地平线的高度、光轴角度等)。在非易失性存储器40中预先存储表示该关系的表数据。另外，预先存储在非易失性存储器40中的指示车辆主体的形状和尺寸的数据被用于虚拟地构建示出车辆9的三维形状的多角形模型。在其中限定三维曲面TS的三维空间中，车辆9的构建模型被置于基本半圆形的中心，该中心被限定为车辆9的位置。另外，关于其中存在三维曲面TS的三维空间，控制部件I限定虚拟视点VP。通过视点位置和视场方向限定虚拟视点VP，并且其被限定为在该三维空间中与车辆9的周围环境相对应的任意视点位置并沿任意视场方向。然后，根据限定的虚拟视点VP，将三维曲面TS中的需要区域切割出作为图像。虚拟视点VP与三维曲面TS中的需要区域之间的关系被预先限定并作为表格数据被预先存储在非易失性存储器40等中。另ー方面，根据限定的虚拟视点VP提供多角形模型，并且将获得的车辆的ニ维图像叠加在切割出的图像上。从而，生成合成图像，其示出从任意虚拟视点VP观察的车辆9与其周围环境。例如，对于虚拟视点VPa，其视点位置基本恰好在车辆9的位置的中心的上方，且其视场被取向为正下方，生成这样的合成图像CPa，其示出当从车辆9的正上方基本向下观察车辆9时看到的车辆9及其周围环境。另外，如图中所示，对于虚拟视点VPb，其视点被置于车辆9的左后侧，且其视场被基本取向为车辆9的前侧，生成这样的合成图像CPb，其示出
当从车辆9的左后侧观察周围环境时看到的车辆9及其周围环境。当实际生成合成图像时，不需要确定三维曲面TS的全部像素值。而是，可以基于拍摄图像P1-P4仅确定根据限定的虚拟视点VP所需要的区域的像素值，从而可以加快处理速度。在图像显示系统120中，使用上述合成图像生成部件34的功能来生成从车辆9周围的任意视点观察的合成图像并将其显示在显示器21上。<4.工作模式〉下面，将描述图像显示系统120的工作模式。图I示出图像显示系统120的工作模式的转换。图像显示系统120具有导航模式MO和包括前模式Ml、侧面模式M2和后模式M3的三个工作模式。根据驾驶员对车辆9的处理和车辆9的行驶状态，在控制部件I的控制下，可以切换这些工作模式。导航模式MO是导航装置20的功能被用于提供导航向导的工作模式。在导航模式MO中，不使用图像生成装置100的功能，而仅通过导航装置20的功能在显示器21上显示各个标示。具体是，在显示器21上主要显示车辆9周围的地像NP。与此相比，前模式Ml、侧面模式M2和后模式M3是这样的工作模式，其中使用图像生成装置100的功能来在显示器21上显示周围环境图像，以实时对用户示出车辆周围的环境。前模式Ml是标示车辆9前侧的工作模式，其在车辆进入具有差可视性的十字路ロ等时使用。在显示器21的第二标示位置L2，显示由前摄像机51拍摄的且被调节以用于标示的拍摄图像(下文称为“前图像”)SP1。该前图像SPl是从车辆9的前侧的视点(前摄像机51的镜头位置)观察的周围环境图像。在前模式Ml中，显示图标Cl以标示正显示的周围环境图像(即，前图像)SPl是车辆9的前侧的场景。另外，在第一标示位置LI，示出合成图像CPa，其示出当从车辆9的正上方基本向下观察车辆9时看到的车辆9及其周围环境，并且其通过合成图像生成部件34生成。侧面模式M2是这样的工作模式，其标示车辆9的横向侧并在车辆被停靠到路边等时使用。在显示器21的第三标示位置L3和第四标示位置L4中，显示通过侧面摄像机52拍摄的且被调节以用于标示的拍摄图像(下文称为“侧面图像”)SP2。这些侧面图像SP2是从车辆9的横向侧的视点(前摄像机52的镜头位置)观察的周围环境图像。在该模式中，车辆正在或将要向前行驶(除了档位“R”之外)。从而，在侧面图像SP2中，从车辆的横向侧图像切割出前方的环境。侧面图像SP2包括车辆主体的部分，从而可以容易地看出车辆主体与道路(和车辆之外的物体)之间的关系。对侧面图像SP2进行图像处理(切割、旋转等)，从而车辆的行驶方向基本对应于垂直方向。在侧面模式M2中，显示图标C2以标示正在显示的周围环境图像(即侧面图像)SP2是在车辆9的横向侧中的场景。另外，后模式M3是标示车辆后侧的工作模式，其在车辆倒退时使用。在显示器21的第二标示位置L2，显示由后摄像机53拍摄的且被调节以用于标示的拍摄图像(下文称为“后图像”)SP3。该后图像SP3是从车辆9的后侧的视点(后摄像机53的镜头位置)观察的周围环境图像。在后キ旲式M3中，显不图标C3以标不正显不的周围环境图像(即，后图像)SP3是车辆9的后侧的场景。另外，在第一标示位置LI，显示合成图像CPa，其通过合成图像生成部件34生成以标示车辆9及其周围环境区域，并且在从车辆9的正上方基本向下观察车辆9时观察到。在导航模式MO中，当以预定的方式操纵导航装置20的操纵部件22 (以标示周围 环境图像)时，将导航模式MO切換到最近启用的(从而称为最后模式)前模式Ml和侧面模式M2之一。通过对开关43按压一次可以对前模式Ml和侧面模式M2相互切換。另外，在前模式Ml或侧面模式M2中，当以预定方式操纵导航装置20的操纵部件22吋，工作模式返回到导航模式MO。另ー方面，在除了后模式M3之外的任意工作模式中，当从变速杆传感器71输入“R(倒档)”档位时，工作模式被切換到后模式M3。从而，当输入“ R(倒档)”档位时，车辆9处于倒车的状态中，从而，工作模式被切換到后模式M3，其主要标示车辆9的后侧中的环境。在后模式M3中，当输入除了“R(倒档)”之外的档位时，工作模式返回到刚好被切換到后模式M3之前的工作模式。如上所述，图像显示系统120可以通过切换多个工作模式以可切換的方式从多个视点显示周围环境图像。〈5.添加警告标示〉下面，将描述图像显示系统120添加警告标示的处理。尽管在下面描述在前模式Ml中的处理，在后模式M3中也可以进行添加警告标示的类似的处理。图8是添加警告标示的实例的说明图。在图8所示的实例中，在显示器21上，在前图像SPl上方(在标示前图像SPl的区域的外部和上方的区域)，通过标示添加部件36添加消息“直接检查车辆的周围环境”。在标示车辆的周围环境图像而不管通过声纳系统7获得的障碍物的检测状态时，标示该消息。当经信号输入部件41从声纳系统7输入指示环境中存在的障碍物S的信号吋，检测信号接收部件15检测到车辆9的周围存在障碍物。此时，通过摄像机拍摄障碍物S并在合成图像CPa中示出该障碍物S。标示添加部件36还在消息(警告文本)“直接检查车辆的周围环境”的周围添加框F作为警告标示。标示添加部件36根据车辆9与障碍物S之间的距离改变框F的顔色。例如，当车辆9与障碍物S之间的距离为大于等于Ocm并小于25cm吋，以第一顔色(例如红色)着色框F ;当车辆9与障碍物S之间的距离为大于等于25cm并小于150cm吋，以第二顔色(例如黄色)着色框F ；以及当车辆9与障碍物S之间的距离为大于等于150cm吋，以第三顔色(例如緑色)着色框F。此时，不仅可以根据车辆9与障碍物S之间的距离改变框F的顔色，还可以根据车辆9与障碍物S之间的距离改变文本和背景的顔色。可以在显示器21的屏幕上的除了合成图像CPa和前图像SPl之外的任何位置标示诸如消息的文本信息和围绕该文本信息的框。在图8所示的实例中，根据障碍物S的检测状态或车辆9与障碍物S之间的距离改变作为警告标示的框F的标示状态(顔色)，从而可以直观地识别车辆9与障碍物之间的距离感以及障碍物的存在，而不掩盖合成图像CPa的周围环境图像和前图像SPI。从而在引起对障碍物的注意的同时可以容易地从合成图像CPa的周围环境图像检查障碍物的位置。另外，在不掩盖合成图像CPa的周围环境图像和前图像SPl的情况下，通过框F强调消息，从而可以识别并通过文本警告标示更好地理解在车辆9周围存在的障碍物。图9是添加警告标示的另ー实例的说明图。在图9所示的实例中，在显示器21上，在前图像SPl上方，通过标示添加部件36添加消息“直接检查车辆的周围环境”。但是可以不添加该消息。
当经信号输入部件41从声纳系统7向控制部件I输入指示检测到障碍物S的信号时，检测信号接收部件15检测到车辆9的周围存在障碍物。此时，通过摄像机拍摄障碍物S并在合成图像CPa中示出该障碍物S。标示添加部件36还在障碍物的方向在合成图像CPa的周边(图像区域外部)上的角处标示L形标示物II，并在障碍物的方向在车辆9的周边上的角处标示小的圆形等的标示物12作为警告标示。可以在显示器21的屏幕上的除了合成图像CPa和前图像SPl之外的区域和合成图像CPa中的车辆9的区域上显示这些标示物(不掩盖通过摄像机拍摄的图像)。标示添加部件36根据车辆9与障碍物S之间的距离改变标示物II、12的顔色。例如，当车辆9与障碍物S之间的距离为大于等于Ocm并小于25cm吋，以第一顔色(例如红色)着色标示物II、12 ;当车辆9与障碍物S之间的距离为大于等于25cm并小于150cm时，以第二顔色(例如黄色)着色标示物11、12;以及当车辆9与障碍物S之间的距离为大于等于150cm吋，以第三顔色(例如绿色)着色标示物II、12。在图9的实例中，已经描述了在显示器21的屏幕上的除了合成图像CPa和前图像SPl之外的区域和合成图像CPa中的车辆9的区域上添加标示物。然而，如果不掩盖对障碍物的标示，可以将标示物添加到合成图像CPa的周围。例如,如图10所示,可以将标示物ΙΓ添加到合成图像CPa的周围区域，或者可以沿着合成图像CPa的周围区域将标示物12’添加到合成图像中的区域。此外，可以将标示物添加到显示器21的屏幕上的以下区域中的至少ー个区域，即除了合成图像CPa和前图像SPl之外的区域，以及合成图像CPa中车辆9的区域。例如，当车辆9与障碍物S之间的距离为大于等于Ocm并小于25cm时，可以添加第一颜色(例如红色)的标示物II、12 ;当车辆9与障碍物S之间的距离为大于等于25cm并小于150cm吋，可以仅添加第二顔色(例如黄色)的标示物Il ;以及当车辆9与障碍物S之间的距离为大于等于150cm时，可以仅添加第三颜色(例如緑色)的标示物II。另外，如图8所示的通过框F的警告标示可以与标示物Il和标示物12的至少ー个组合使用。在图9所示的实例中，根据障碍物S的检测状态或车辆9与障碍物S之间的距离改变作为警告标示的标示物11、12的标示状态(顔色)，从而可以直观地识别车辆9与障碍物之间的距离感以及障碍物的存在，而不掩盖合成图像CPa的周围环境图像和前图像SPl。从而在引起对障碍物的注意的同时可以容易地从合成图像CPa的周围环境图像检查障碍物的位置。另外，当障碍物S位于在车辆9与障碍物S之间的距离大于等于50cm的距离吋，可以仅添加标示物II，并且当障碍物S位于在车辆9与障碍物S之间的距离小于50cm的邻近距离时，可以同时添加标示物Il和12 (表示被夹在标示物Il和标示物12之间的障碍物S的标示)，从而可以提高对障碍物S的关注。图11是合成图像的放大图的说明图。在图11所示的实例中，在显示器21上，在前图像SPl上方，通过标示添加部件36添加消息“直接检查车辆的周围环境”，并且在消息“直接检查车辆的周围环境”上，标示“检查具体内容”开关，用于允许接收部件16接收输入，以放大合成图像CPa中的障碍物S的部分，并在显示器21上将其标示为放大图像CPa’。当“检查具体内容”开关被按压吋，显示控制部件12在显示器21的屏幕上标示示出障碍物S的部分的放大图像CPa’代替合成图像CPa。从而，可以在显示器21的屏幕上显示放大图像CPa’，使得可以根据需要检查障碍物S的具体内容。在车辆9周围存在多个障 碍物的情况下，当按压开关时，标示示出离车辆9最近的障碍物的区域。如果障碍物S的标示未被掩盖，则可以在显示器21的屏幕上的任何位置示出上述“检查具体内容”开关。下面将參考图12描述图像显示系统120添加警告标示的处理。在參考图12描述的处理中，如图9和11所示,添加标示物Il和12的至少ー个,并且如图11所示示出“检查具体内容”开关。在图像显示系统120操作期间重复进行该处理。当将如图8所示的框F添加为警告标示时进行类似的处理。在操作A中，车载摄像机51-53拍摄各自的拍摄图像P1-P4。在操作B中，图像组合部件30生成其中将图像P1-P4相互组合的组合图像Pcn并将其存储在存储器31中。在操作C中，合成图像生成部件34基于组合图像Pcn生成合成图像CPa。在操作D中，根据图像显示系统120的当前操作模式，图像布置部件35选择合成图像CPa和拍摄图像SP1-SP3中的任意图像并将其布置在显示图像上以输出到导航装置20。通过图像生成装置100将待显示的图像输出至导航装置20。在操作E中，导航装置20在显示器21上标示从图像生成装置100输出的显示图像。在操作F中，声纳系统7确定是否检测到车辆9周围的障碍物。当检测到障碍物时，在操作G中，标示添加部件36将作为警告标示的标示物Il和12中的至少ー个添加到显示器21的屏幕。在操作H中，接收部件16确定“检查具体内容”开关是否被按压。当“检查具体内容”开关被按压时，在操作I中，显示控制部件12在显示器21的屏幕上标示放大的图像CPa’代替合成图像CPa。
权利要求
1.一种安装在车辆上的图像显示系统，包括 合成图像生成部件，其基于车辆上设置的摄像机所获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境； 显示部件，其在显示屏上显示所述合成图像和所述拍摄图像； 障碍物检测部件，其检测是否存在障碍物；以及 标示添加部件，其在检测到所述障碍物吋，对所述显示屏的除所述合成图像和所述拍摄图像之外的区域、以及所述合成图像的周边区域的至少ー个区域添加用于引起注意的警告标示。
2.一种安装在车辆上的图像显示系统，包括 合成图像生成部件，其基于车辆上设置的摄像机所获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境； 显示部件，其在显示屏上显示所述合成图像和所述拍摄图像； 障碍物检测部件，其检测是否存在障碍物；以及 警告标示添加部件，其在检测到所述障碍物时在所述合成图像的显示区域的外部周边上在所述障碍物的方向上添加用于引起注意的警告标示，所述警告标示具有包括角的形状。
3.根据权利要求2的图像显示系统，其中所述警告标示是被添加到以下区域的至少ー个中的标示物所述显示屏的除所述合成图像和所述拍摄图像之外的区域、所述合成图像的周边区域、以及所述合成图像中车辆的区域，其中所述标示添加部件根据车辆与障碍物之间的距离改变所述标示物的颜色。
4.一种安装在车辆上的图像显示系统，包括 合成图像生成部件，其基于车辆上设置的摄像机所获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境； 显示部件，其在显示屏上显示所述合成图像和所述拍摄图像； 障碍物检测部件，其检测是否存在障碍物； 开关标示部件，其在检测到障碍物时标示用于指示放大标示的开关图像；以及放大标示部件，其在所述开关标示部件被操纵时，显示其中检测到障碍物的区域的放大图像。
5.一种安装在车辆上的图像显示系统，包括 合成图像生成部件，其基于车辆上设置的摄像机所获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境； 显示部件，其在显示屏上显示所述合成图像和所述拍摄图像； 警告标示部件，其引起对显示的图像的直接关注； 障碍物检测部件，其检测是否存在障碍物；以及 标示强调部件，其在检测到所述障碍物时强调所述警告标示。
全文摘要
提供了一种图像显示系统，包括合成图像生成部件，其基于车辆上设置的摄像机所获得的拍摄图像生成合成图像，该合成图像示出从虚拟视点观察的车辆和车辆周围的环境；导航装置，其在显示屏上显示所述合成图像和所述拍摄图像；障碍物检测部件，其检测障碍物；以及标示添加部件，其在检测到所述障碍物时对所述显示屏的除所述合成图像之外的区域、以及所述合成图像的周边区域的至少一个区域添加用于引起注意的警告标示。
文档编号H04N7/18GK102740056SQ20121009322
公开日2012年10月17日 申请日期2012年3月31日 优先权日2011年3月31日
发明者小畠勇二郎, 春本哲, 江坂俊德, 泽田康嘉, 浅井五朗, 清幸荣, 田中健志, 里见洋平 申请人:富士通天株式会社