专利名称：图像显示系统、图像处理设备、及图像显示方法
技术领域：
本发明涉及显示图像的技术。
背景技术：
当停车时，用户(例如，驾驶员)应密切注意以避免与其他车辆碰触。此外，当启动停靠的车辆时，用户应该密切注意以避免碰触在车辆前方穿行的行人。此外，当在狭窄道路上驾车时，用户应该密切注意以避免碰触位于车辆周围的物体。然而，即使用户密切注意，用户仍可能使车辆碰触到这些物体。因此，提供了一种图像显示系统，其通过在安装在车辆上的显示器上显示指示车辆周边的周边图像来支持驾驶，从而使得用户能够注意到车辆周 围有物体的存在，从而避免与该物体碰触(见专利文献I )。专利文献I :日本专利申请公开第2002-019492号然而，即使在显示器上显示表示车辆周边的图像，由于用户不能注意到车辆周围存在的物体的方向或位置，从而有可能使车辆与该物体碰触。
发明内容
因此本发明的一个目的在于提供一种使得用户能够在表明车辆周边的图像中注意到存在于车辆周围的物体的方向和位置的技术。为了实现上述目的，根据本发明实施例的第一方面，提供了一种用于显示图像的图像显示系统，其包括获取单元，其被构造用于获取表明车辆周边的周边图像；多个检测单元，其分别布置在车辆的不同位置上，并被构造用于检测车辆周围存在的物体；叠加单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述多个检测单元中已经检测到所述物体的指定检测单元；以及显示单元，其被构造用于显示叠加有所述指示符的所述周边图像。根据本发明实施例的第二方面，提供了一种用于处理图像的图像处理设备，其包括获取单元，其被构造用于获取表明车辆周边的周边图像；指定单元，其被构造用于从分别布置在车辆的不同位置上并被构造用于检测车辆周围存在的物体的多个检测单元中指定已经检测到所述物体的指定检测单元；叠加单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述指定检测单元；以及输出单元，其被构造用于将叠加有所述指示符的所述周边图像输出至显示设备。根据本发明实施例的第三方面，提供了一种用于显示图像的图像显示方法，其包括获取表明车辆周边的周边图像；利用分别布置在车辆的不同位置上并被构造用于检测车辆周围存在的物体的多个检测单元来检测所述车辆周边存在的物体；将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述多个检测单元中已经检测到所述物体的指定检测单元；以及显示叠加有所述指示符的所述周边图像。在第一至第三方面中，所述多个检测单元布置在所述车辆的不同位置上，并被构造用于检测所述车辆周围存在的物体。如果所述多个检测单元之一检测到物体，则将该检测单元称作指定检测单元。利用以框形式表示的指示符来表明所述物体和检测到该物体的指定检测单元。由于显示了与表明车辆周边的周边图像叠加在一起的指示符，因此用户可以准确识别出该物体的方向和位置。根据本发明实施例的第四方面，提供了一种用于显示图像的图像显示系统，其包括获取单元，其被构造用于获取表明车辆周边的周边图像；检测单元，其被构造用于检测车辆周围存在的物体；叠加单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和已经检测到所述物体的所述检测单元；以及显示单元，其被构造用于显示叠加有所述指示符的所述周边图像。根据第四方面，由于以框形式表示的、且表明所述物体和已经检测到车辆周围存 在的物体的检测单元的指示符与周边图像叠加在一起，因此用户可以准确识别出所述物体的方向和位置。在第四方面中，所述检测单元被构造用于检测车辆周围存在的物体。所述物体与已经检测到所述物体的检测单元利用以框形式表示的指示符来表明。由于显示了与表明车辆周边的周边图像叠加在一起的指示符，因此用户可以准确识别出该物体的方向和位置。在所述图像显示系统中，如果存在多个已经检测到物体的指定检测单元，则叠加单元可以将以单个框的形式表示的指示符与周边图像叠加在一起，所述指示符表明所述物体和所述多个指定检测单元。利用该构造，如果所述多个检测单元中的两个或更多个检测单元检测到所述物体，则利用以单个框的形式表示的指示符表明所述物体和所述两个或更多个指定检测单元。由于显示了与周边图像叠加在一起的指示符，因此用户可以准确识别出该物体的方向和位置。在所述图像显示系统中，每个检测单元都可以构造为检测每个检测单元和所述物体之间的距离，并且所述叠加单元可以被构造为根据所述距离改变指示符的尺寸。利用该构造，由于根据所述物体和指定检测单元之间的距离来改变要显示的指示符的尺寸，因此用户可以利用这些检测单元在感官上识别出所述物体与指定检测单元之间的距离。
附图中图I是示出根据第一实施例的图像显示系统的构造的示意图；图2是示出根据第一实施例的附接至车辆的摄像机和声波定位仪的位置的示意图；图3是示出根据第一实施例的摄影机的拍摄范围和声波定位仪的物体检测范围的不意图；图4是示出根据第一实施例的由多个摄像机分别拍摄的图像示例的示意图；图5是说明根据第一实施例的对由多个摄影机拍摄的车辆周边的图像进行合成的图像合成处理的示意图；图6是示出根据第一实施例的从上方看到的车辆的示例的示意图；图7是示出根据第一实施例的映射数据的示意图；图8是示出根据第一实施例的映射数据的示意图；图9是说明根据第一实施例的用于将指示符与图像叠加在一起的方法的示意图；图10是示出根据第一实施例的与指示符叠加在一起的图像的示例的示意图；图11是示出根据第一实施例的图像显示系统的处理的流程图；图12是示出根据第二实施例的从上方看到的车辆的示例的示意图；
图13是示出根据第二实施例的映射数据的示意图；图14是示出根据第二实施例的映射数据的示意图；图15是说明根据第二实施例的用于将指示符与图像叠加在一起的方法的示意图；图16是示出根据第二实施例的图像显示系统的处理的流程图；图17是示出根据第二实施例的由后方摄影机拍摄的表明车辆后方周边的图像的示例的示意图；图18是示出根据第三实施例的停车控制系统的构造的示意图；图19是说明在以一转向角驾驶车辆的情况下预测的车辆驾驶轨迹的提取的示意图；图20是说明根据第三实施例的基于左后轮线路和右后轮线路提取梯形线路的示意图；图21是说明根据第三实施例的用于将表明驾驶轨迹的线路与表明车辆周边的图像叠加在一起的方法的示意图；图22是示出根据第三实施例的图像显示系统的处理的流程图；以及图23是示出根据第三实施例的由后方摄影机拍摄的表明车辆后方周边的图像的示例的示意图。
具体实施例方式下面将参照附图来详细描述本发明的实施例。〈I.第一实施例>图I是示出根据第一实施例的图像显示系统Sy的构造的示意图。图像显示系统Sy能够以将一个指示符与表明车辆周边的图像叠加在一起的方式来显示该指示符，其中该指示符表明车辆周围存在的物体的位置和方向。<1-1.构造〉图像显示系统Sy包括前方摄影机11、左侧摄影机12、右侧摄影机13、后方摄影机14 (下文中称作摄影机11至14)、车速传感器15、档位传感器16、图像处理设备I、物体检测设备20、和显示设备17。图像处理设备I通过电缆电连接至摄影机11至14、车速传感器15、档位传感器16、显示设备17、和物体检测设备20。此外，物体检测设备20通过电缆电连接至第一声波定位仪21、第二声波定位仪22、第三声波定位仪23、第四声波定位仪24、第五声波定位仪25、第六声波定位仪26 (下文中称作声波定位仪21至26)、和图像处理设备I。图2是示出附接至车辆Cr的摄影机11至14和声波定位仪21至26的位置的示意图。如图2所示，前方摄影机11设置在车辆Cr前端的横向中央附近，其光轴大致沿车辆Cr的前后方向并定向为朝向前进方向。左侧摄影机12设置在左侧反光镜上，其光轴大致沿车辆Cr的左右方向，并相对于前进方向定向为朝向左方。右侧摄影机13设置在右侧反光镜上，其光轴大致沿车辆Cr的左右方向，并相对于前进方向定向为朝向右方。后方摄影机14设置在车辆Cr后端的水平中央附近，其光轴大致沿车辆Cr的前后方向并定向为朝向前进方向的相反方向。优选地，前方摄影机11和后方摄影机14附接至水平中央附近，但是前方摄影机11和后方摄影机14可以附接至略微偏离该水平中央的左方或右方的位置。摄影机11至14中的每一个都具有鱼眼镜头。包括鱼眼镜头的摄影机11至14具有大于等于180°的视角。如图3所示，摄影机11至14的拍摄范围Srl至Sr4覆盖车辆 Cr的周边。利用这种摄影机11至14可以拍摄车辆Cr的整个周边。声波定位仪21至26设置在车辆Cr的不同位置处，如图2所示。第一声波定位仪21设置在车辆Cr左前角附近，其超声波输出方向朝向车辆Cr左前角的外部。第二声波定位仪22设置在车辆Cr的前方摄影机11附近，其超声波输出方向朝向车辆Cr前端的水平中央的外部。第三声波定位仪23设置在车辆Cr右前角附近，其超声波输出方向朝向车辆Cr右前角的外部。第四声波定位仪24设置在车辆Cr左后角附近，其超声波输出方向朝向车辆Cr左后角的外部。第五声波定位仪25设置在车辆Cr的后方摄影机14附近，其超声波输出方向朝向车辆Cr后端的水平中央的外部。第六声波定位仪26设置在车辆Cr右后角附近，其超声波输出方向朝向车辆Cr右后角的外部。声波定位仪21至26接收从每个声波定位仪输出、与某物体碰撞、并从该物体反射的超声波，并将关于该超声波的信号输出至物体检测设备20。如图3所示，当第一声波定位仪21、第二声波定位仪22、和第三声波定位仪23检测到物体时得到的检测范围Drl、Dr2、和Dr3覆盖车辆Cr的前方周边。另一方面，如图3所示，当第四声波定位仪24、第五声波定位仪25、和第六声波定位仪26检测到物体时得到的检测范围Dr4、Dr5、和Dr6覆盖车辆Cr的后方周边。利用这样的声波定位仪21至26，可以检测到车辆Cr的向前方向和向后方向中存在的至少一个物体。返回图1，车速传感器15是感测车辆Cr的速度并将关于车速的信号输出至图像处理设备I的传感器。档位传感器16是感测车辆Cr的档位并将关于该档位的信号输出至图像处理设备I的传感器。物体检测设备20接收来自声波定位仪21至26之一的关于超声波的信号，并基于该输入信号确定声波定位仪21至26中的哪一个声波定位仪已经检测到了物体，以及确定已经检测到物体的声波定位仪与该物体之间的距离。物体检测设备20将表明已经检测到该物体的声波定位仪的信号、以及表明已经检测到物体的声波定位仪与该物体之间的距离的信号输出至图像处理设备I。图像处理设备I包括获取单元2、图像产生单元3、控制单元4、非易失性存储单元
5、和输出单元6。获取单元2例如是与外部设备连接的接口，并获取由摄影机11至14拍摄的图像。输出单元6例如是与外部设备连接的接口，并将要显示的图像输出至外部，诸如显示设备17。图像产生单元3例如是诸如专用集成电路(ASIC)的硬件电路，并具有处理图像的功能。图像产生单元3包括合成图像产生单元7和指示符叠加单元8来作为其功能的一部分。合成图像产生单元7通过将由摄影机11至14拍摄的表明车辆Cr周边的各图像进行合成来产生合成图像。由摄影机11至14拍摄的各图像和其中合成了所述各图像的合成图像可以称作表明车辆Cr周边的周边图像。指示符叠加单元8将以框的形式表示的表明声波定位仪21至26中已经检测到车辆Cr周围存在的物体的声波定位仪和该物体的指示符与合成图像叠加在一起。所述框形成为扇形且内部透明，并且在该扇形中心角附近具有矩形部分。指示符以以下方式与周边图像叠加在一起将扇形的矩形部分放置在已经检测到周边图像中的物体的声波定位仪附近、使扇形的圆弧部分朝向在周边图像中的车辆Cr的外侧、以及将物体的至少一部分放置在扇形内。指示符以此方式与周边图像叠加在一起，使得以框形式表示的指示符可以表明已经检测到物体的声波定位仪和周边图像中的物体。即，用户可以识别 出周边图像中的物体的位置和方向。由指示符表明的范围大约对应于已经检测到物体的声波定位仪的检测范围。控制单元4是微计算机，其包括中央处理单元(CPU)、只读存储器(ROM)、和随机存取存储器(RAM)。CPU通过根据存储在ROM中的各种程序执行操作处理来实现各种功能。控制单元4包括指示符选择单元9和指定单元10作为由所述操作处理实现的功能的一部分。指示符选择单元9从存储在非易失性存储单元5中的各种指示符中选择与声波定位仪21至26中已经检测到物体的声波定位仪对应的指示符。指定单元10指定声波定位仪21至26中的哪一个已经检测到了物体，并基于表明已经检测到物体的声波定位仪的信号和表明该声波定位仪与物体之间的距离的信号来指定该距离，上述信号都是通过获取单元2从物体检测设备20获取的。例如，非易失性存储单元5是电可擦除可编程只读存储器(EEPR0M)。例如，非易失性存储单元5存储由指示符选择单元9选择的各种指示符。显示设备17包括显示器18作为其功能的一部分。显示器18例如是触摸面板显示器，并具有显示各种图像的功能和接收用户操控的功能。表明用户操控的信号通过获取单元2被输入至控制单元4。因此，图像处理设备I能够执行对应于用户指令的处理。<1-2.图像合成处理〉接下来，将说明由图像显示系统Sy进行的图像合成处理。如果车辆Cr的车速小于等于预定速度(例如，12km/h)或者如果档位为“R”，则执行该图像合成处理。具体地，从车速传感器15获取关于车速的信号，并且如果基于获取的信号确定了车速小于等于预定速度，则合成图像产生单元7执行图像合成处理。此外，从档位传感器16获取关于档位的信号，并且如果基于获取的信号确定了档位为“R”，则合成图像产生单元7执行图像合成处理。也就是说，在此情况中，图像显示系统Sy进入监控模式，以监控车辆Cr的周边，并执行图像合成处理，从而在显示器18上显示表明车辆Cr的周边的合成图像。图5是说明对摄影机11至14拍摄的车辆Cr的周边的图像进行合成的图像合成处理的示意图。首先，包括在图像处理设备I中的获取单元2从摄影机11至14获取图4所示的由摄影机11至14拍摄的图像Igl至Ig4。获取单元2将获取的图像Igl至Ig4输出至图像产生单元3。图像产生单元3将输入的图像Igl至Ig4存储到易失性存储单元(未示出)中。合成图像产生单元7将存储在易失性存储单元中的图像Igl至Ig4投影到图5所示的虚拟3维(3D)空间中的3D曲面P上。接下来，将观察点放置在车辆Cr的位置中心附近的正上方，设置具有朝下的观察方向的虚拟观察点(AGL)，并根据该虚拟观察点(VGL)剪掉3D曲面P的一部分作为图像。因此，表明车辆Cr和车辆Cr的周边区域的合成图像Ig5被形成为好像从车辆Cr的正上方看到了该车辆Cr。图像处理设备I利用合成图像产生单元7的上述功能产生从车辆Cr周围的预定观察点看到的合成图像，并将该合成图像显示在显示设备17上。因此，合成图像产生单元 7产生了虚拟从上方观看到的车辆Cr的合成图像。所产生的合成图像Ig5被剪切成具有之后可被显示在显示器18上的尺寸的图像Ig6。〈1-3 指示符叠加处理〉接下来，将说明指示符叠加处理。当声波定位仪21至26之一检测到物体时，由处于上述周边监控模式的图像显示系统Sy来执行该指示符叠加处理。图6是示出从上方看到的车辆Cr的示意图。图6中，物体Oj存在于车辆Cr左侧 的后方位置处。如果物体Oj存在于车辆Cr左侧的后方位置，则物体检测设备20基于从第四声波定位仪24获取的关于超声波的信号检测物体Oj，并将表明第四声波定位仪24的信号和表明该物体与第四声波定位仪24之间的距离(I. 5m)的信号输出至指定单元10。指定单元10指定第四声波定位仪24已经检测到物体0j，并还基于所获取的各信号来指定所指定的第四声波定位仪24和该物体之间的距离。下文中，将指定的声波定位仪称作指定声波定位仪，将指定的距离称作指定距离。指示符选择单元9基于指定声波定位仪和指定距离通过参照图7和图8所示的映射数据(map data)(存储在非易失性存储单元5中)来选择合适的指示符。具体地，如果基于指定声波定位仪(第四声波定位仪)和指定距离(I. 5m)来参照图7所示的映射数据，则提取指示符代码A6，而如果基于指示符代码A6来参照图8所示的映射数据，则选择A列第6行的框的形式。图7所示的映射数据被构造为使得选择与指定声波定位仪或指定距离对应的指示符代码。基于该指示符代码选择的图8所示的映射数据被构造为使得最终选择与指定声波定位仪或指定距离对应的框的形式。也就是说，图7和图8所示的映射数据被构造为使得选择与指定声波定位仪的安装位置对应的框的形式，以及还选择具有与指定距离对应的尺寸的框的形式。以此方式选择的指示符Id的信号被指示符选择单元9输出至指示符叠加单元8。指示符叠加单元8将由输入信号表明的指示符Id与合成图像叠加在一起。图9是说明用于将指示符Id与合成图像Ig6叠加在一起的方法的示意图。即，以以下方式将指示符Id与合成图像Ig6合成在一起(图9的右上图所示):指示符Id的矩形部分Edl (图9的左上图所示)与合成图像Ig6的车辆Cr的图像的后侧左角Cnr附近的位置(图9的上部中图所示)叠加在一起，物体的至少一部分位于以框形式表示的指示符Id内，且指示符Id的扇形的弧形部分朝向车辆Cr的外部。包括叠加在一起的合成图像Ig6和由后方摄影机14拍摄的图像Ig7的组合图像作为组合显示在显示器18上(图9的下图)。即，该组合图像被指示符叠加单元8输出至输出单元6并被输出单元6输出至显示设备17。该组合图像显示在显示设备17所包括的显示器18上。根据上述指示符叠加处理，如图10所示，如果第四声波定位仪24检测到距车辆Cr左后角相对较远(例如，I. 5m)存在物体Oj (图10左 侧上图所示)，则显示包括物体Oj的相对较大的指示符(图10右侧上图所示)。此外，如果第四声波定位仪24检测到较靠近车辆Cr左后角外侧处(例如，I. Om)存在物体Oj (图10左侧中图所示)，则显示包括物体Oj的相对较小的指示符(图10右侧中图所示)。此外，如果第四声波定位仪24检测到非常靠近车辆Cr左后角外侧处(例如，O. 5m)存在物体Oj (图10左侧下图所示)，则显示包括物体Oj的非常小的指示符(图10右侧下图所示)。如此，在显示器18上的从上方看到的车辆Cr的图像Ig7中，物体Oj清晰地显示在表明声波定位仪21至26中已经检测到指定声波定位仪和该物体并以框的形式呈现的指示符Id中。即，以内部透明的框的形式表示的指示符Id显示为围起物体0j，从而该指示符Id不与物体Oj叠加，并且用户可以在显示器18上准确识别出从上方看到的车辆Cr的图像Id7中的物体Oj，并且可以准确识别出物体Oj的位置和方向。由于指示符的尺寸可按照指定距离改变，因此用户可以在感觉上在显示器18上的从车辆Cr上方看到的图像Ig7中识别出物体与具有物体检测设备的车辆之间的距离。<1-4.控制流程〉图11是示出图像显示系统Sy的处理的流程图。图11所示的处理以周边监控模式以预定间隔(例如，以1/30秒的间隔)重复。获取单元2获取摄影机11至14拍摄的图像(步骤SA1)。这些图像示出车辆Cr的周边。合成图像产生单元7基于所获取的表明车辆Cr的周边的多个图像来执行上述合成图像产生处理(步骤SA2)。通过该处理，获取了从上方看到的车辆Cr的合成图像。声波定位仪21至26输出超声波并接收与各物体碰撞并从其反射的超声波，以及将关于接收到的超声波的信号输出至物体检测设备20。物体检测设备20基于输入的关于超声波的信号确定是否声波定位仪21至26之一已经检测到物体Oj (步骤SA3)。如果声波定位仪21至26之一已经检测到物体(步骤SA3中的是)，则指定单元10指定哪个声波定位仪已经检测到物体(步骤SA4)。即，物体检测设备20将表明已经检测到物体的声波定位仪的信号和表明已经检测到物体的声波定位仪与该物体之间的距离的信号输出至指定单元10。指定单元10基于输入的信号指定已经检测到物体的声波定位仪并指定已经检测到物体的声波定位仪与该物体之间的距离。指定单元10将表明指定声波定位仪的信号和表明指定距离的信号输出至指示符选择单元9。指示符选择单元9基于表明指定声波定位仪的信号和表明指定距离的信号选择指示符Id (步骤SA5)。即，指示符选择单元9基于表明指定声波定位仪的信号和表明指定距离的信号来参照存储在非易失性存储单元5中的映射数据选择适当的指示符Id。因此，选择了对应于指定声波定位仪的安装位置的指示符Id，并且选择了具有对应于指定距离的尺寸的指示符Id。指示符选择单元9将表明指示符Id的信号输出至指示符叠加单元8。指示符叠加单元8在适当位置将由输入信号表明的指示符Id与从合成图像产生单元7输入的合成图像叠加在一起(步骤SA6)。指示符叠加单元8将包括叠加的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合而输出至输出单元6，并且输出单元6将该图像输出至显示设备17。显示设备17在显示器18上显示输入的组合图像(步骤SA7)。因此,与指示符Id叠加在一起的表明车辆Cr周边的图像显示在显示器18上。如果声波定位仪21至26中任何一个都未检测到物体Oj (步骤SA3中的否)，则输出单元6将包括未与指示符Id叠加在一起的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合而输出至显示设备17。显示设备17在显示器18上显示输入的组合图像 (步骤SA8)。如上所述，根据本实施例的图像显示系统Sy在显示器18上的从上方看到的车辆Cr的图像Ig7中清晰地显示了指示符Id内的物体Oj,其中指示符Id以声波定位仪21至26中已经检测到该物体的指定声波定位仪附近的框的形式表示。即，以指定声波定位仪附近的框的形式表示的指示符Id被显示为围起该物体Oj,从而该物体Oj清晰地显示在以框的形式表示的指示符Id中，用户可以准确识别出显示器18上的从上方看到的车辆Cr的图像Ig7中的物体Oj，并且还可以准确识别出该物体Oj的位置和方向。因此，以使得用户可以注意到存在于车辆Cr周围的物体并且可以避免与该物体碰撞的方式支持驾驶是可能的。此外，由于与显示在显示器18上的图像叠加在一起的指示符Id的尺寸可根据指定距离改变，因此观看显示器18的用户可以凭感觉识别出物体Oj和包括声波定位仪的车辆Cr之间的距离。<2.第二实施例>下文中，将说明第二实施例。如果声波定位仪21至26之一检测到物体，则根据第一实施例的图像显示系统Sy以框的形式显示表明已经检测到该物体的声波定位仪和物体的指示符。相比较而言，如果多个声波定位仪检测到一个物体，则根据第二实施例的图像显示系统Sy显示表明该多个声波定位仪和物体的以单个框表示的指示符。由于第二实施例的图像显示系统Sy的构造和处理与第一实施例中的基本相同，因此下面将主要描述与第一实施例的不同点。<2-1.指示符叠加处理>首先，将说明指示符叠加处理。指示符叠加处理以上述周边监控模式执行，并且当声波定位仪21至26之一检测到物体Oj时由图像显示系统Sy执行。图12是示出从上方看到的车辆Cr的示意图。在图12中，物体Oj存在于车辆Cr左后方位置中心附近。如果物体Oj以此方式存在于车辆Cr左后方位置中心附近，则图像显示系统Sy利用第四声波定位仪24和第五声波定位仪25 二者来检测物体Oj。即，物体检测设备20基于关于从第四声波定位仪24获取的超声波的信号检测到物体0j，并将表明第四声波定位仪24的信号和表明该物体Oj与第四声波定位仪24之间的距离(I. 5m)的信号输出至指定单元10。此外，物体检测设备20基于关于从第五声波定位仪25获取的超声波的信号检测到物体Oj,并将表明第五声波定位仪25的信号和表明该物体Oj与第五声波定位仪25之间的距离(I. 5m)的信号输出至指定单元10。指定单元10基于所获取的上述各信号指定第四声波定位仪24和第五声波定位仪25 二者已经检测到物体Oj，并指定这些指定声波定位仪各自与物体Oj之间的距离。指示符选择单元9基于上述各指定声波定位仪和各指定距离通过参照存储在非易失性存储单元5中的图13和图14的映射数据选择合适的指示符。也就是说，如果基于各指定声波定位仪(即，第四声波定位仪24和第五声波定位仪25)和指定距离(S卩，I. 5m)而参照了图13的映射数据，则提取指定指示符代码AB6，而如果基于指定指示符代码AB6参照了图14的映射数据，则选择列AB的第6行上的框的形式。图13所示的映射数据被构造为使得选择对应于指定声波定位仪或指定距离的指定指示符代码。基于指定指示符代码选择的图14中所示的映射数据被构造为使得最终选择对应于指定声波定位仪和指定距离的框的形式。即，图13和图14所示的映射数据被构造为使得选择对应于指定声波定位仪的安装位置的框的形式并且还选择具有对应于指定距离的尺寸的框的形式。如果指定了多个声波定位仪，则基于图13和图14所示的映射数 据选择表明该多个声波定位仪和物体的以单个框的形式表示的指示符。该指示符的范围大约对应于组合了该多个指定声波定位仪的全部检测范围的整个区域。表明以此方式选择的指定指示符Id的信号被指示符选择单元9输出至指示符叠加单元8。指示符叠加单元8将由输入信号表明的指定指示符Id与合成图像叠加在一起。图15是说明用于将指定指示符Id与合成图像Ig8叠加在一起的方法的示意图。即，通过如下方式将指定指示符Id与图像IgS (图15的右上图所示)叠加在一起将指定指示符Id (图15的左上图所示)的矩形部分Ed2与合成图像IgS中的车辆Cr的图像后侧的左角Cnr附近的位置、以及与车辆Cr的图像的后端的中心Ctr的位置(图15的上部中图所示)叠加，将物体的至少一部分放置到以框的形式表示的指定指示符Id中，以及使在图像Ig8中形成表明第四声波定位仪24和第五声波定位仪25和物体的一个指定指示符Id的扇形的各部分彼此一致。包括叠加的图像Ig8和由后方摄影机14拍摄的图像Ig9的组合图像作为组合显示在显示器18上(如图15下图所示)。即，该组合图像被指示符叠加单元8输出至输出单元6并被输出单元6输出至显示设备17。该组合图像显示在显示设备17所包括的显示器18上。如果表明已经检测到该物体Oj的多个指定声波定位仪和该物体Oj的指示符Id分别与图像叠加在一起，则这些指示符Id可以彼此叠加在一起并且物体Oj还可以存在于重叠部分中。因此，用户会由于受到显示器18上的图像中重叠部分的影响而看不到物体Oj的位置和方向。然而，如第二实施例所述，表明已经检测到物体Oj的多个指定声波定位仪和物体的单个指定指示符Id与图像Ig7叠加在一起，使得物体Oj清晰地显示在该单个指定指示符Id中。因此，用户可以在显示18的图像中准确识别出物体Oj的位置和方向。<2-3.控制流程〉图16是示出图像显示系统Sy的处理的流程图。图16所示的处理以周边监控模式以预定间隔(例如，以1/30秒的间隔)重复。首先，获取单元2获取由摄影机11至14拍摄的图像(步骤SB I)。这些图像示出了车辆Cr的周边。合成图像产生单元7基于所获取的表明车辆Cr的周边的多个图像执行上述合成图像产生处理(步骤SB2)。通过该处理，获取了从上方看到的车辆Cr的图像。声波定位仪21至26输出超声波并接收与各物体碰撞并从其反射的超声波，以及将关于这些超声波的信号输出至物体检测设备20。物体检测设备20基于输入的关于超声波的信号确定是否声波定位仪21至26之一已经检测到物体Oj (步骤SB3)。如果声波定位仪21至26之一已经检测到物体Oj (步骤SB3中的是)，则指定单元10指定声波定位仪21至26中的哪个声波定位仪已经检测到物体Oj (步骤SB4)。即，物体检测设备20将表明已经检测到物体Oj的声波定位仪的信号和表明已经检测到物体Oj的声波定位仪与该物体Oj之间的距离的信号输出至指定单元10。指定单元10基于输入的这些信号指定已经检测到物体Oj的声波定位仪并指定已经检测到物体Oj的声波定位仪与该物体Oj之间的距离。指定单元10将表明指定声波定位仪的信号和表明指定距离的信号输出至指示符选择单元9。如果确定基于输入的这些信号指定了多个声波定位仪(步骤SB5中的是)，则指示符选择单元9基于输入的这些信号选择指定指示符Id (步骤SB6)。即，指示符选择单元9 基于表明所述多个指定声波定位仪的信号和表明多个指定距离的信号、通过参照存储在非易失性存储单元5中的图13和图14的映射数据来选择合适的指示符Id。因此，选择了对应于多个指定声波定位仪的安装位置的指定指示符Id,选择了表明该多个声波定位仪和物体的单个指定指示符Id，以及选择了具有对应于指定距离的尺寸的指定指示符Id。指示符选择单元9将表明该指定指示符Id的信号输出至指示符叠加单元8。指示符叠加单元8在适当位置将由输入信号表明的指定指示符Id与从合成图像产生单元7输入的合成图像叠加在一起(步骤SB7)。指示符叠加单元8将包括叠加的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合而输出至输出单元6，并且输出单元6将该组合图像输出至显示设备17。显示设备17在显示器18上显示输入的组合图像(步骤SB8)。因此，与指定指示符Id叠加在一起的表明车辆Cr周边的图像显示在显示器18上。如果声波定位仪21至26中任何一个都未检测到物体Oj (步骤SB3中的否)，则输出单元6将包括未与指定指示符Id叠加在一起的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合而输出至显示设备17。显示设备17在显示器18上显示输入的组合图像(步骤SBlO)。如果确定基于输出的信号指定了一个声波定位仪(步骤SB5中的否)，则指示符选择单元9基于输入的信号选择指示符Id (步骤SB9)。即，指示符选择单元9基于表明该一个声波定位仪的信号和表明指定距离的信号、通过参照存储在非易失性存储单元5中的图7和图8的映射数据来选择合适的指示符Id。因此，选择了对应于该指定声波定位仪的安装位置的指示符Id，以及选择了具有对应于指定距离的尺寸的指示符Id。指示符选择单元9将表明所选指示符Id的信号输出至指示符叠加单元8。如上所述，如果多个相邻声波定位仪检测到了物体0j，则由于指定指示符Id表明已经检测到物体Oj的该多个声波定位仪以及该物体、并且该指定指示符Id以具有透明内部的单个框的形式表示，因此在该单个指定指示符Id内部清晰显示了该物体0j。结果，用户可以在显示器18的图像中准确识别出物体Oj的位置和方向。在第一和第二实施例中，从上方看到的车辆Cr的合成图像通过将由摄影机11至14拍摄的表明车辆Cr周边的各图像进行合成来产生，并将指示符Id与该合成图像叠加在一起。然而，指示符Id可以与分别由摄影机11至14拍摄的表明车辆Cr周边的各图像叠加在一起，而不是与合成图像叠加在一起。例如，指示符Id可以与由后方摄影机14拍摄的表明车辆Cr的后方周边的图像叠加在一起，如图17所示。在此情况中，指示符Id的形状根据已经检测到物体Oj的指定声波定位仪的安装位置而改变，而且指示符Id的尺寸根据指定距离而改变。〈第三实施例〉下文中将描述第三实施例。在第一和第二实施例中，图像显示系统Sy与图像一起显示表明已经检测到物体Oj的声波定位仪和该物体0j、且以框的形式表示的指示符Id，从而用户可以注意到车辆Cr周围的物体Oj的位置和方向，从而可以避免与物体Oj触碰。 相比较而言，第三实施例中的图像显示系统Sy显示基于当前转向角提取的驾驶 轨迹的线路。如果转向角达到最大，该线路的长度显示为与驾驶轨迹上从前进方向一侧的端部到驾驶轨迹的延伸方向与车辆Cr的前后方向垂直处的位置的距离对应的长度，从而可以支持将车辆Cr停靠到停车位中的用户的驾驶。近来，已经提出了这样的一种图像显示系统，其通过与表明基于当前转向的转向角预测的车辆Cr的驾驶轨迹的线路一起显示表明车辆Cr周边的图像来支持将车辆Cr停靠到停车位中的用户的驾驶。然而，当用户通过操控转向而改变转向角来控制车辆Cr在所显示的线路的前进方向一侧的端部以适合停车位的宽度时，如果线路的长度较短，则会由于车辆Cr的端部和停车位的宽度之间的巨大距离而难以进行控制。另一方面，如果线路的长度较长，则由于车辆Cr的端部位于停车位的宽度之外而同样难以进行控制。结果，会出现将车辆Cr停靠到停车位中的用户的驾驶未得到适当的支持的问题。如此，下面将描述这样的一种技术，其调整驾驶轨迹的线路以使其具有使车辆Cr的端部适合停车位的宽度，从而适当地支持将车辆Cr停靠到停车位中的用户的驾驶。由于第三实施例的图像显示系统Sy的构造与第一实施例的构造基本相同，因此将主要描述与第一实施例的不同点。图18是示出根据第三实施例的图像显示系统Sy的构造的示意图。根据第三实施例的图像显示系统Sy包括驾驶轨迹叠加单元80而不包括指示符叠加单元8。此外，图像显示系统Sy包括驾驶轨迹提取单元90，而不包括指示符选择单元9。此外，图像显示系统Sy还包括转向角传感器27。图像显示系统Sy不包括指定单元
10、物体检测设备20、和声波定位仪21至26。转向角传感器27设置在转向装置的转动轴附近，用于在用户操控转向装置时感测旋转角。如果以被操控的转向装置的转向角来驾驶车辆Cr，驾驶轨迹提取单元90提取预测的轨迹(驾驶轨迹)。驾驶轨迹叠加单元80将提取的驾驶轨迹与合成图像叠加在一起。〈3-1.驾驶轨迹提取处理〉首先说明由驾驶轨迹提取单元90执行的驾驶轨迹提取处理。如果档位是“R”，则执行驾驶轨迹提取处理。具体地，从档位传感器16获取关于档位的信号，并且如果基于获取的信号确定了档位是“R”，则驾驶轨迹提取单元90执行驾驶轨迹提取处理。此外，在此情况中，合成图像产生单元7执行图像合成处理。即，在此情况中，图像显示系统Sy进入车辆Cr的停车模式，并执行驾驶轨迹提取处理和图像合成处理，从而在显示器18上显示表明车辆Cr周边的图像。
图19是说明在以当前转向角Θ I驾驶车辆Cr的情况下用于提取预测的车辆Cr的驾驶轨迹的方法。在以二维坐标定义的虚拟地图上标注(notice)该驾驶轨迹的位置，其中该二维坐标将从上方看到的车辆Cr的横向中心或纵向中心的位置看作其原点。可以以各种已知方法来提取驾驶轨迹，但是将描述这些方法之一。如果以当前转向角Θ I驾驶车辆Cr，则利用车辆Cr后方的轴Ax的横向中心的点Pl绘制圆Cl，如图19的上图所示。圆Cl是围绕位于车辆Cr后方的轴Ax的延长线上的点Cpl绘制的圆，并且如果以转向角Θ I驾驶车辆Cr，则圆Cl对应于车辆Cr的横向中心的驾驶轨迹。圆Cl的半径Rl以下面的等式(I)计算。等式(I)中的“L”表示车辆Cr的轴距长度。Rl=L/tan Θ I (I)接下来，通过从圆Cl切掉预定基准长度Ls的线路来提取中心线路Lnl。
基准长度Ls基于车辆Cr的最大转向角来确定。图19的下图是说明用于提取基准长度Ls的方法的示意图。如图19的下图所示，如果车辆Cr以最大转向角Θ2旋转，则利用轴Ax的横向中心的点Pl绘制圆C2。圆C2是围绕位于车辆Cr后方的轴Ax的延长线上的点Cp2绘制的圆，并且如果以最大转向角Θ 2驾驶车辆Cr，则圆C2对应于车辆Cr的横向中心的驾驶轨迹。圆C2的半径R2以下面的等式(2)计算。R2=L/tan Θ 2 (I)基于中心为Cp2、半径为R2的圆C2，标注与车辆Cr的轴Ax的位置相距达-90°的位置Pt (下文中称作指定位置)，即圆C2的延伸方向(切线方向)与车辆Cr的前后方向垂直的位置。该指定位置Pt是车辆Cr的驾驶轨迹的延伸方向与车辆Cr的前后方向垂直的位置。标注沿着圆C2且两端连接至车辆Cr的后端Ed3 (前进方向一侧的端部)和指定位置Pt的线路Lnlx。如果转向角达到最大，则线路Lnlx的长度表明从车辆Cr前进方向一侧的端部Ed3到驾驶轨迹的延伸方向与车辆Cr的前后方向垂直处的指定位置Pt的驾驶轨迹的距离，且该长度被确定为基准长度Ls。基于最大转向角Θ 2提取的基准长度Ls被用作基于当前转向角Θ I的中心线路Lnl的长度。预先提取所述基准长度并将其存储到控制单元4的存储器中。驾驶轨迹提取单元90通过从圆Cl切掉存储于存储器中的基准长度的线路来提取中心线路Lnl。接下来，基于中心线路Lnl提取表明驾驶轨迹的线路。具体地，如图19的上图所示，驾驶轨迹提取单元90根据中心线路Lnl分别提取表明车辆Cr的左后轮和右后轮的驾驶轨迹的左后轮线路Ln2和右后轮线路Ln3。基于左后轮线路Ln2和右后轮线路Ln3提取到梯形线路。图20是说明用于基于左后轮线路Ln2和右后轮线路Ln3提取梯形线路的方法的示意图。(图20的上图所示的)左后轮线路Ln2和右后轮线路Ln3对应于梯子的支撑部分。对应于梯子的横木(水平线路)的(图20的中间图所示的)多条线路Ln4被绘制为以等间隔(例如，沿中心线路Ln6以I. Om的间隔)横越在所述支撑部分上。在各线路Ln4之间绘制了虚线Ln5。通过使线路Ln2至Ln5中每一条线路具有预定宽度(例如，3mm)来绘制表明驾驶轨迹的(图20的下图所示的)线路Ln6。表明从车辆Cr的后端到各线路Ln4的实际距离的数字被添加至线路Ln4的附近。表明从车辆Cr的后端到各线路Ln5的实际距离的数字被添加至线路Ln5的附近。所述数字用作刻度Si。根据上述驾驶轨迹提取处理，如果转向角达到最大，则表明驾驶轨迹的线路Ln6的长度被设置为这样的长度(基准长度)即，不管当前转向角Θ I如何，该长度都对应于从车辆前进方向一侧的端部Ed3到驾驶线路Ln6的延伸方向垂直于车辆Cr前后方向处的指定位置Pt的驾驶轨迹的距离。<3-2.驾驶轨迹叠加处理〉接下来，将说明由驾驶轨迹叠加单元80执行的驾驶轨迹叠加处理。图21是说明用于将表明驾驶轨迹的线路Ln6与表明车辆Cr周边的图像叠加在一起的方法的示意图。(图21的上部左图所示的)提取的线路Ln6在适当位置与(图21的上部中图所示的)合成图像IglO叠加在一起。具体地，在从上方看到的车辆Cr的合成图像IglO中，设置了以二维坐标定义的虚拟地图，该二维坐标将车辆Cr的横向中心或纵向中心的位置看作原点。此外，如上所述标注虚拟地图上的线路Ln6的位置。即，利用虚拟地图的坐标，线路Ln6叠加到适当位置并产生(图21的上部右图所示的)合成图像IglO。 包括叠加的合成图像IglO和利用后方摄影机14拍摄的图像Igll的组合图像作为组合显示在显示器18上(如图21下图所示)。即，该组合图像被驾驶轨迹叠加单元80输出至输出单元6，并被输出单元6输出至显示设备17。该组合图像显示在显示设备17所包括的显示器18上。由于所显示的表明驾驶轨迹的线路Ln6的长度被设置为这样的长度(基准长度)即，不管当前转向角如何，该长度都对应于从车辆Cr前进方向一侧的端部到驾驶轨迹的延伸方向垂直于车辆Cr前后方向处的位置的驾驶轨迹的距离，因此如果转向角达到了最大，则可以适当地支持将车辆Cr停靠在停车位中的用户的驾驶。用户感觉最难进行的停车方法之一是停车入库。当停车入库时，例如，驾驶者必须将车辆Cr停靠到停车位Ps中，其中停车位Ps的位置基本垂直于车辆Cr在行车道路Cs上从停下位置向后移动预定距离(例如，2m)而到达的位置，如图21的下图所示。因此，如果如上所述设置了线路Ln6的长度并在车辆Cr的停车位置最大程度地操控转向装置，则车辆Cr在线路Ln6的前进一侧上的端部可以适当地适合停车位的宽度。结果，可以适当地支持将车辆Cr停靠在停车位中的用户的驾驶。此外，由于对线路Ln6添加了刻度SI，因此用户可以容易地识别出车辆Cr和停车位之间的相对距离。〈3-3.控制流程〉图22是示出图像显示系统Sy的处理的流程图。图22所示的处理在停车模式中以预定间隔(例如，1/30秒的间隔)重复。首先，获取单元2获取由摄影机11至14拍摄的图像(步骤SCI)。这些图像示出了车辆Cr的周边。合成图像产生单元7基于所获取的表明车辆Cr的周边的多个图像执行上述合成图像产生处理(步骤SC2)。通过该处理，获取了从上方看到的车辆Cr的图像。驾驶轨迹叠加单元80获取转向角数据和轴距数据(步骤SC3 )。即，驾驶轨迹叠加单元80获取基于从转向角传感器27输入的关于转向角的信号所提取的当前转向角数据，并获取从非易失性存储单元5输入的车辆Cr的轴距数据。
驾驶轨迹提取单元90基于转向角数据和轴距数据提取表明驾驶轨迹的线路Ln6(步骤SC4)。此外，不管当前转向角如何都将表明驾驶轨迹的线路Ln6的长度设置为基准长度。驾驶轨迹提取单元90将所提取的表明驾驶轨迹的线路Ln6输出至驾驶轨迹叠加单元80。接下来，驾驶轨迹叠加单元80将表明驾驶轨迹的线路Ln6与合成图像叠加在一起(步骤SC5)。驾驶轨迹叠加单元80产生包括叠加的合成图像和由后方摄影机14拍摄的图像的组合图像作为组合。驾驶轨迹叠加单元80将该组合图像输出至输出单元6，并且输出单元6将该组合图像输出至显示设备17。显示设备17在显示器18上显示该组合图像(步骤SC6)。如上所述，由于所显示的表明驾驶轨迹的线路Ln6的长度被设置为这样的长度(基准长度):即，不管当前转向角如何，该长度都对应于从车辆Cr前进方向一侧的端部到驾驶轨迹的线路的延伸方向垂直于车辆Cr前后方向处的位置的驾驶轨迹的距离，因此如果 转向角达到了最大，则可以适当地支持将车辆Cr停靠在停车位中的用户的驾驶。由于对线路Ln6添加了刻度SI，因此用户可以容易地识别出车辆Cr和停车位之间的相对距离。在第三实施例中，通过合成由摄影机11至14所拍摄的表明车辆Cr周边的多个图像而产生从上方看到的车辆Cr的合成图像，并且将表明驾驶轨迹的线路Ln6与该合成图像叠加在一起。然而，表明驾驶轨迹的线路可以与由摄影机11至14所拍摄的表明车辆Cr周边的各图像叠加在一起，而不是与合成图像叠加在一起。例如，可以将表明驾驶轨迹的线路Ln7与后方摄影机14拍摄的表明车辆Cr的后方周边的图像置加在一起，如图23所不。上述各实施例包括以下发明。(I) 一种用于显示图像的图像显示系统，其包括图像获取单元，其被构造用于获取表明车辆周边的周边图像；转向角获取单元，其被构造用于获取所述车辆的转向角；提取单元，其被构造用于提取所述车辆的基于转向角预测的驾驶轨迹；叠加单元，其被构造用于将表明驾驶轨迹的线路与所述周边图像叠加在一起；以及显示单元，其被构造用于显示叠加了所述线路的周边图像，其中，如果所述转向角达到了最大，则叠加单元将所述线路的长度设置为这样的长度即，不管当前转向角如何，该长度都对应于从车辆前进方向一侧的端部到驾驶轨迹的延伸方向垂直于车辆前后方向处的位置的驾驶轨迹的距离。因此，由于表明驾驶轨迹的线路的长度被设置为这样的长度即，不管当前转向角如何，该长度都对应于从车辆前进方向一侧的端部到驾驶轨迹的线路的延伸方向垂直于车辆前后方向处的位置的驾驶轨迹的距离，因此如果转向角达到了最大，则可以适当地支持将车辆Cr停靠在停车位中的用户的驾驶。(2)在上述(I)中所述的图像显示系统中，所述叠加单元对表明驾驶轨迹的线路添加了表明距车辆在前进方向一侧的端部的距离的刻度。因此，由于对表明驾驶轨迹的线路添加了刻度，因此用户可以容易地识别出车辆Cr和停车位之间的相对距离。
权利要求
1.一种用于显示图像的图像显示系统，其包括 获取单元，其被构造用于获取表明车辆周边的周边图像； 多个检测单元，其分别布置在所述车辆的不同位置上，并被构造用于检测所述车辆周围存在的物体； 叠加单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述多个检测单元中已经检测到所述物体的指定检测单元；以及显示单元，其被构造用于显示叠加有所述指示符的所述周边图像。
2.根据权利要求I所述的图像显示系统，其中，如果多个指定检测单元检测到了所述物体，则所述叠加单元将以单个框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述多个指定检测单元。
3.根据权利要求I所述的图像显示系统， 其中，所述多个检测单元中的每一个检测单元都被构造用于检测所述每一个检测单元与所述物体之间的距离，以及 其中，所述叠加单元被构造用于根据所述距离改变所述指示符的尺寸。
4.一种用于处理图像的图像处理设备，其包括 获取单元，其被构造用于获取表明车辆周边的周边图像； 指定单元，其被构造用于从分别布置在所述车辆的不同位置上并被构造用于检测所述车辆周围存在的物体的多个检测单元中指定已经检测到所述物体的指定检测单元； 叠加单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述指定检测单元；以及 输出单元，其被构造用于将叠加有所述指示符的所述周边图像输出至显示设备。
5.一种用于显示图像的图像显示方法，其包括 获取表明车辆周边的周边图像； 利用分别布置在所述车辆的不同位置上并被构造用于检测所述车辆周围存在的物体的多个检测单元来检测所述车辆周边存在的物体； 将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和所述多个检测单元中已经检测到所述物体的指定检测单元；以及显示叠加有所述指示符的所述周边图像。
6.一种用于显示图像的图像显示系统，其包括 获取单元，其被构造用于获取表明车辆周边的周边图像； 检测单元，其被构造用于检测所述车辆周围存在的物体； 叠加单元，其被构造用于将以框形式表示的指示符与所述周边图像叠加在一起，所述指示符表明所述物体和已经检测到所述物体的所述检测单元；以及显示单元，其被构造用于显示叠加有所述指示符的所述周边图像。
全文摘要
本发明公开了图像显示系统、图像处理设备、及图像显示方法。图像显示系统用于显示图像。获取单元被构造用于获取表明车辆周边的周边图像。多个检测单元分别布置在车辆的不同位置上，并被构造用于检测车辆周围存在的物体。如果多个检测单元中的一个检测单元检测到物体，则该检测单元被称为指定检测单元。叠加单元被构造用于将以框形式表示的指示符与所述周边图像叠加在一起。所述指示符表明所述物体和已经检测到所述物体的指定检测单元。显示单元被构造用于显示叠加有所述指示符的所述周边图像。
文档编号B60R1/00GK102795161SQ20121016477
公开日2012年11月28日 申请日期2012年5月24日 优先权日2011年5月24日
发明者山本智春, 泽田康嘉, 任顺子 申请人:富士通天株式会社