图像显示装置的制作方法

文档序号:17999280发布日期:2019-06-22 01:38阅读:157来源:国知局
图像显示装置的制作方法

本发明涉及对搭载于车辆的多个拍摄单元拍摄到的图像进行合成并能够显示合成得到的图像的图像显示装置的技术领域。



背景技术:

这样的图像显示装置的一个例子记载于专利文献1和专利文献2。具体而言,专利文献1记载有一种如下所述的图像显示装置:通过如成为从虚拟视点远望本车辆的周围后方的图像那样在本车辆的周围后方没有缝隙地将能够拍摄本车辆的后侧方区域的照相机拍摄到的后侧方图像和能够拍摄本车辆的后方区域的照相机拍摄到的后方图像合成来生成合成图像,并能够在车厢内后视镜所具有的显示装置显示所生成的合成图像。专利文献2记载有一种如下所述的图像显示装置:根据到正在本车辆的后方行驶的后方车辆的距离来裁剪能够拍摄本车辆的右后侧方区域的照相机拍摄到的右后侧方图像和能够拍摄本车辆的左后侧方区域的照相机拍摄到的左后侧方图像,并通过将裁剪后的左后侧方图像以及右后侧方图像合成来生成合成图像,且能够显示所生成的合成图像。

另外,虽然不是记载有能够显示合成图像的图像显示装置的现有技术文献,但作为与本发明相关的现有技术文献,可举出专利文献3。专利文献3中记载有一种如下所述的图像显示装置:在车辆进行从驻车的状态后退的特定动作的情况下,显示由照相机拍摄到的水平视场角宽的广角图像,在车辆不进行该特定动作的情况下,显示由照相机拍摄到的水平视场角窄的窄角图像。

专利文献1:日本特开2008-230558号公报

专利文献2:日本特开2006-338566号公报

专利文献3:日本特开2005-112267号公报

专利文献1以及2分别记载的图像显示装置在显示合成图像时,均未考虑车辆是否正在后退。因此,专利文献1以及2分别记载的图像显示装置具有在车辆后退的情况下有可能不显示对于车辆的乘员有益的合成图像这一技术问题。并且,专利文献3所记载的图像显示装置由于本身不显示合成图像,所以具有不能在车辆后退的情况下显示对于车辆的乘员有益的合成图像这一技术问题。



技术实现要素:

本发明的课题在于,提供一种对搭载于车辆的多个拍摄单元分别拍摄到的多个图像进行合成来生成合成图像的图像显示装置,该图像显示装置能够在车辆后退的情况下生成对于车辆的乘员有益的合成图像。

本发明的第一方式的图像显示装置具备:合成单元,将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由能够拍摄上述车辆的后侧方的后侧方拍摄单元拍摄到的后侧方图像合成,来生成合成图像;以及显示单元,显示上述合成图像,上述合成单元以在上述车辆正后退的情况下生成的上述合成图像中包含有相对于上述车辆没有正后退的情况下生成的上述合成图像位于车辆的下方侧的景象的方式,生成上述合成图像。

本发明的第二方式的图像显示装置具备:合成单元,将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由能够拍摄上述车辆的后侧方的后侧方拍摄单元拍摄到的后侧方图像合成,来生成合成图像;以及显示单元,显示上述合成图像,上述合成单元以上述车辆为了驻车到停车位而后退的情况下的上述合成图像的生成方法与上述车辆为了从停车位出库而后退的情况下的上述合成图像的生成方法不同的方式,生成上述合成图像。

附图说明

图1是表示本实施方式的车辆的构成的框图。

图2(a)是表示本实施方式的车辆中的后方照相机、左后侧方照相机以及右后侧方照相机各自的设置位置以及拍摄范围的俯视图,图2(b)是表示本实施方式的车辆中的后方照相机、左后侧方照相机以及右后侧方照相机各自的设置位置以及拍摄范围的侧视图。

图3是表示由本实施方式的图像合成处理生成的合成图像的俯视图。

图4是表示图像显示动作的第一具体例的流程的流程图。

图5(a)是与车辆的左侧面一起表示左后侧方照相机的实际的拍摄范围与虚拟的上方拍摄范围之间的位置关系的侧视图,图5(b)是与车辆的左侧面一起表示左后侧方照相机的实际的拍摄范围与虚拟的下方拍摄范围之间的位置关系的侧视图。

图6(a)是表示左后侧方照相机拍摄虚拟的上方拍摄范围的情况下获取到的左后侧方图像与左后侧方照相机实际拍摄到的左后侧方图像之间的位置关系的俯视图,图6(b)是表示左后侧方照相机拍摄虚拟的下方拍摄范围的情况下获取到的左后侧方图像与左后侧方照相机实际拍摄到的左后侧方图像之间的位置关系的俯视图。

图7(a)是表示车辆没有正后退的情况下生成的合成图像的俯视图,图7(b)是表示车辆正后退的情况下生成的合成图像的俯视图。

图8是表示车辆没有正后退的情况下调整后的左后侧方照相机的拍摄范围、以及车辆正后退的情况下调整后的左后侧方照相机的拍摄范围的侧视图。

图9是表示车辆没有正后退的情况下选择出的左后侧方照相机的拍摄范围、以及车辆正后退的情况下选择出的左后侧方照相机的拍摄范围的侧视图。

图10是表示图像显示动作的第二具体例的流程的流程图。

图11(a)是与上方拍摄范围一起表示侧方拍摄范围的俯视图,图11(b)是表示左后侧方照相机拍摄虚拟的侧方拍摄范围的情况下获取到的左后侧方图像与左后侧方照相机实际拍摄到的左后侧方图像之间的位置关系的俯视图,图11(c)是表示右后侧方照相机拍摄虚拟的侧方拍摄范围的情况下获取到的右后侧方图像与右后侧方照相机实际拍摄到的右后侧方图像之间的位置关系的俯视图。

图12(a)是表示车辆以向停车位驻车这一目的正后退的情况下生成的合成图像的俯视图,图12(b)是表示车辆以从停车位出库这一目的正后退的情况下生成的合成图像的俯视图。

图13是表示车辆以向停车位驻车这一目的正后退的情况下调整后的左后侧方照相机以及右后侧方照相机的拍摄范围、和车辆以从停车位出库这一目的正后退的情况下调整后的左后侧方照相机以及右后侧方照相机拍摄范围的侧视图。

图14是表示车辆以向停车位驻车这一目的正后退的情况下选择出的左后侧方照相机以及右后侧方照相机的拍摄范围、和车辆以从停车位出库这一目的正后退的情况下选择出的左后侧方照相机以及右后侧方照相机拍摄范围的侧视图。

具体实施方式

以下,参照附图对图像显示装置的实施方式进行说明。以下,使用搭载有图像显示装置的实施方式的车辆1来进行说明。

(1)车辆1的构成

首先,参照图1以及图2(a)至图2(b)对本实施方式的车辆1的构成进行说明。图1是表示本实施方式的车辆1的构成的框图。图2(a)是表示本实施方式的车辆1中的后方照相机11b、左后侧方照相机11bl以及右后侧方照相机11br的设置位置以及拍摄范围的俯视图,图2(b)是表示本实施方式的车辆1中的后方照相机11b、左后侧方照相机11bl以及右后侧方照相机11br的设置位置以及拍摄范围的侧视图。其中,在以下的说明中,右、左以及后方在没有特殊标注的情况下,分别是指相对于车辆1的行进方向的右、左以及后方。另外,在以下的说明中,根据需要,使用右侧与+y侧对应、左侧与-y侧对应、后方侧与-x侧对应、前方侧与+x侧对应、上侧与+z侧对应、并且下侧与-z侧对应的xyz坐标系来进行说明。

如图1所示,车辆1具备作为后述的附注中的“后方拍摄单元”的一个具体例的后方照相机11b、作为后述的附注中的“后侧方拍摄单元”的一个具体例的左后侧方照相机11bl、作为后述的附注中的“后侧方拍摄单元”的一个具体例的右后侧方照相机11br、挡位传感器12、ecu(electricalcontrolunit:电子控制单元)13、以及作为后述的附注中的“显示单元”的一个具体例的显示器14。

如图2(a)以及图2(b)所示,后方照相机11b是拍摄位于车辆1的后方(特别是正后方)的后方区域的拍摄设备。后方区域是包括当假设为在车辆1的车厢内设置有后视镜的情况下映入到该后视镜的区域的至少一部分的区域。换句话说,在本实施方式中,后方照相机11b构成代替设置于车辆1的车厢内的后视镜的所谓电子镜的一部分。为了拍摄车辆1的后方区域,后方照相机11b的拍摄中心位于车辆1的正后方。换句话说,后方照相机11b所具备的镜头等光学系统的光轴从车辆1朝向正后方延伸。结果,后方照相机11b的拍摄范围(或者视场角)irb被设定为包括后方区域。

如图2(a)以及图2(b)所示,左后侧方照相机11bl是拍摄位于车辆1的后方(特别是左侧方的后方(换句话说,左后侧方))的左后侧方区域的拍摄设备。左后侧方区域是包括当假设为在位于车辆1的左侧的左门设置有门镜的情况下,在左门处于关闭状态的状况下映入到设置于该左门的门镜的区域的至少一部分的区域。换句话说,在本实施方式中,左后侧方照相机11bl构成代替设置于车辆1的左门的门镜的所谓电子镜的一部分。为了拍摄车辆1的左后侧方区域,左后侧方照相机11bl的拍摄中心位于车辆1的后方向左侧。换言之,左后侧方照相机11bl的拍摄中心位于比后方照相机11b的拍摄中心靠左侧。换句话说,左后侧方照相机11bl具备的镜头等光学系统的光轴在比上述的后方照相机11b具备的光学系统的光轴靠左侧的空间中朝向后方延伸。结果,左后侧方照相机11bl的拍摄范围(或者视场角)irbl被设定为包括左后侧方区域。此外,拍摄范围irbl也可以一部分与拍摄范围irb重复。

如图2(a)以及图2(b)所示,右后侧方照相机11br是拍摄位于车辆1的后方(特别是右侧方的后方(换句话说,右后侧方))的右后侧方区域的拍摄设备。右后侧方区域是包括当假设为在位于车辆1的右侧的右门设置有门镜的情况下,在右门处于关于闭状态的状况下映入到设置于该右门的门镜的区域的至少一部分的区域。换句话说,在本实施方式中,右后侧方照相机11br构成代替设置于车辆1的右门的门镜的所谓电子镜的一部分。为了拍摄车辆1的右后侧方区域,右后侧方照相机11br的拍摄中心位于车辆1的后方向右侧。换言之,右后侧方照相机11br的拍摄中心位于比后方照相机11b的拍摄中心靠右侧。换句话说,右后侧方照相机11br具备的镜头等光学系统的光轴在比上述的后方照相机11b具备的光学系的光轴靠右侧的空间中,朝向后方延伸。结果,右后侧方照相机11br的拍摄范围(或者视场角)irbr被设定为包括右后侧方区域。此外,拍摄范围irbr也可以一部分与拍摄范围irb重复。

挡位传感器12是能够检测车辆1所具备的齿轮机构(换句话说,变速器)的排挡(gearrange)的检测装置。换句话说,挡位传感器12是能够检测齿轮机构的当前的排挡是什么的检测装置。

ecu13控制车辆1的整体的动作。在本实施方式中,特别是ecu13进行用于在显示器14显示后方照相机11b拍摄到的图像(换句话说,是表示后方区域的状况的图像,以下称为“后方图像111b”)、左后侧方照相机11bl拍摄到的图像(换句话说,是表示左后侧方区域的状况的图像,以下称为“左后侧方图像111bl”)、以及右后侧方照相机11br拍摄到的图像(表示右后侧方区域的状况的图像,以下称为“右后侧方图像111br”)的图像显示动作。为了进行图像显示动作,作为在ecu13的内部逻辑实现的处理块,ecu13具备图像获取部131和作为后述的附注中的“合成单元”的一个具体例的图像合成部132。

图像获取部131从后方照相机11b、左后侧方照相机11bl以及右后侧方照相机11br分别获取后方图像111b、左后侧方图像111bl以及右后侧方图像111br。

图像合成部132通过进行将后方图像111b、左后侧方图像111bl以及右后侧方图像111br合成的图像合成处理来生成合成图像111c。具体而言,图像合成部132通过裁剪后方图像111b,来从后方图像111b提取与后方图像111b的至少一部分的图像部分相当的后方图像112b。并且,图像合成部132通过裁剪左后侧方图像111bl,来从左后侧方图像111bl提取与左后侧方图像111bl的至少一部分的图像部分相当的左后侧方图像112bl。并且,图像合成部132通过裁剪右后侧方图像111br,来从右后侧方图像111br提取与右后侧方图像111br的至少一部分的图像部分相当的右后侧方图像112br。然后,图像合成部132生成左后侧方区域位于后方区域的左侧并且右后侧方区域位于后方区域的右侧的合成图像111c。换句话说,如图3所示,图像合成部132生成左后侧方图像112bl与后方图像112b的左侧相邻并且右后侧方图像112br与后方图像112b的右侧相邻的合成图像111c。

进而,图像合成部132控制显示器14以显示所生成的合成图像111c。其中,显示器14被设置于车辆1的车厢内,对于在车厢内的车辆1的乘员显示合成图像111c。

(2)ecu13进行的图像显示动作的具体例

接着,对ecu13进行的图像显示动作的具体例进行说明。在本实施方式中,ecu13能够进行图像显示动作的第一具体例以及图像显示动作的第二具体例的至少一方。因此,以下依次对图像显示动作的第一具体例以及图像显示动作的第二具体例进行说明。

(2-1)图像显示动作的第一具体例

(2-1-1)图像显示动作的第一具体例的流程

首先,参照图4对图像显示动作的第一具体例的流程进行说明。图4是表示图像显示动作的第一具体例的流程的流程图。

如图4所示,图像合成部132基于挡位传感器12的检测结果来判定车辆1是否正后退(步骤s11)。换句话说,图像合成部132判定齿轮机构的当前的排挡是否是r挡(换句话说,车辆1后退时使用的挡位)。

在步骤s11的判定结果是判定为车辆1没有正后退(换句话说,当前的排挡不是r挡)的情况下(步骤s11:否),图像合成部132从后方图像111b提取在后方照相机11b拍摄作为拍摄范围irb的至少一部分的虚拟的上方拍摄范围irb_u的情况下获取的图像部分作为后方图像112b(步骤s13)。并且,图像合成部132从后侧方图像111bl提取在左后侧方照相机11bl拍摄作为拍摄范围irbl的至少一部分的虚拟的上方拍摄范围irbl_u的情况下获取的图像部分作为左后侧方图像112bl(步骤s13)。并且,图像合成部132从右后侧方图像111br提取在右后侧方照相机11br拍摄作为拍摄范围irbr的至少一部分的虚拟的上方拍摄范围irbr_u的情况下获取的图像部分作为右后侧方图像112bl(步骤s13)。

另一方面,在步骤s11的判定结果是判定为车辆1正后退(换句话说,当前的排挡是r挡)的情况下(步骤s11:是),图像合成部132从后方图像111b提取在后方照相机11b拍摄作为拍摄范围irb的至少一部分的虚拟的下方拍摄范围irb_l的情况下获取的图像部分作为后方图像112b(步骤s12)。并且,图像合成部132从左后侧方图像111bl提取在左后侧方照相机11bl拍摄作为拍摄范围irbl的至少一部分的虚拟的下方拍摄范围irbl_l的情况下获取的图像部分作为左后侧方图像112bl(步骤s12)。并且,图像合成部132从右后侧方图像111br提取在右后侧方照相机11br拍摄作为拍摄范围irbr的至少一部分的虚拟的下方拍摄范围irbr_l的情况下获取的图像部分作为右后侧方图像112bl(步骤s12)。

这里,参照图5(a)至图5(b)以及图6(a)至图6(b)对上方拍摄范围irb_u、上方拍摄范围irbl_u以及上方拍摄范围irbr_u、和下方拍摄范围irb_l、下方拍摄范围irbl_l以及下方拍摄范围irbr_l进行说明。其中,为了避免附图的复杂化,在图5(a)至图5(b)以及图6(a)至图6(b)中,省略了上方拍摄范围irb_u以及上方拍摄范围irbr_u、和下方拍摄范围irb_l以及下方拍摄范围irbr_l的记载。

图5(a)是与车辆1的左侧面一起表示拍摄范围irbl与上方拍摄范围irbl_u之间的位置关系的侧视图。另一方面,图5(b)是与车辆1的左侧面一起表示拍摄范围irbl与下方拍摄范围irbl_l之间的位置关系的侧视图。如图5(a)以及图5(b)所示,上方拍摄范围irbl_u是拍摄范围irbl中的包括比下方拍摄范围irbl_l靠上方的部分的拍摄范围。下方拍摄范围irbl_l是拍摄范围irbl中的包括比上方拍摄范围irbl_u靠下方的部分的拍摄范围。图像合成部132可以根据需要来调整(换句话说,变更)拍摄范围irbl中的上方拍摄范围irbl_u以及下方拍摄范围irbl_l的至少一方的位置。

在拍摄范围irb、上方拍摄范围irb_u、以及下方拍摄范围irb_l之间,拍摄范围irbl、上方拍摄范围irbl_u、以及下方拍摄范围irbl_l之间成立的关系也同样成立。在拍摄范围irbr、上方拍摄范围irbr_u、以及下方拍摄范围irbr_l之间,拍摄范围irbl、上方拍摄范围irbl_u、以及下方拍摄范围irbl_l之间成立的关系也同样成立。

并且,优选下方拍摄范围irbl_l是在将车辆1的后轮(特别是,左后轮)的至少一部分包括在其内部的拍摄范围。该情况下,更优选下方拍摄范围irbl_l是将车辆1的后轮的附近的路面与该后轮的至少一部分一起包括在其内部的拍摄范围。并且,优选下方拍摄范围irbl_l是将车辆1的车身(例如车身的左侧面,例如左门等)的至少一部分包括在其内部的拍摄范围。该情况下,更优选下方拍摄范围irbl_l是将车辆1的车身的附近的路面与该车身的至少一部一起包括在其内部的拍摄范围。

下方拍摄范围irbr_l也与下方拍摄范围irbl_l相同,优选是将车辆1的后轮(特别是右后轮)以及车辆1的车身(例如车身的右侧面,例如右门等)的至少一部分与其附近的路面一起包含在其内部的拍摄范围。另一方面,下方拍摄范围irb_l根据其设置位置,也可以不是将车辆1的后轮以及车辆1的车身的至少一部分与其附近的路面一起包含在其内部的拍摄范围。当然,下方拍摄范围irb_l也可以是将车辆1的后轮以及车辆1的车身的至少一部分与其附近的路面一起包含在其内部的拍摄范围。

与在左后侧方照相机11bl拍摄这样的上方拍摄范围irbl_u的情况下获取到的图像部分相当的左后侧方图像112bl(以下,将该左后侧方图像112bl称为“左后侧方图像112bl_u”)和左后侧方图像111bl的关系如图6(a)所示。另一方面,与在左后侧方照相机11bl拍摄这样的下方拍摄范围irbl_l的情况下获取到的图像部分相当的左后侧方图像112bl(以下,将该左后侧方图像112bl称为“左后侧方图像112bl_l”)和左后侧方图像111bl的关系如图6(b)所示。如图6(a)以及图6(b)所示,左后侧方图像112bl_u包括比左后侧方图像112bl_l靠上方的图像部分。换言之,左后侧方图像112bl_l包括比左后侧方图像112bl_u靠下方的图像部分。换句话说,在第一具体例中,图像合成部132能够基于车辆1是否正后退的判定结果,来调整或者变更从左后侧方图像111bl提取的左后侧方图像112bl在左后侧方图像111bl内的位置(特别是,上下方向上的位置)。换言之,图像合成部132能够基于车辆1是否正后退的判定结果,来调整或者变更从左后侧方图像111bl裁剪的图像部分在左后侧方图像111bl内的位置。

在与后方照相机11b拍摄上方拍摄范围irb_u的情况下获取到的图像部分相当的后方图像112b和与后方照相机11b拍摄下方拍摄范围irb_l的情况下获取到的图像部分相当的后方图像112b之间,左后侧方图像112bl_u与左后侧方图像112bl_l之间成立的关系也同样成立。在与右后侧方照相机11br拍摄上方拍摄范围irbr_u的情况下获取到的图像部分相当的右后侧方图像112br和与右后侧方照相机11br拍摄下方拍摄范围irbr_l情况下获取到的图像部分相当的右后侧方图像112br之间,左后侧方图像112bl_u与左后侧方图像112bl_l之间成立的关系也同样成立。

再次返回到图4中,然后,图像合成部132使用在步骤s12或者s13中提取出的后方图像112b、左后侧方图像112bl以及右后侧方图像112br,生成左后侧方图像112bl与后方图像112b的左侧相邻并且右后侧方图像112br与后方图像112b的右侧相邻的合成图像111c(步骤s14)。此外,在生成合成图像111c的过程中,图像合成部132也可以进行视点转换处理、图像旋转处理、放大缩小处理以及图像形成处理的至少一个作为图像合成处理的一部分,以使后方图像112b、左后侧方图像112bl以及右后侧方图像112br在合成图像111c中无缝地连接。视点转换处理是对后方图像111b以及112b、左后侧方图像111bl以及112bl、和右后侧方图像111br以及112br的至少一个的视点进行转换的处理。图像旋转处理是使后方图像111b以及112b、左后侧方图像111bl以及112bl、和右后侧方图像111br以及112br的至少一个旋转的处理。放大缩小处理是将后方图像111b以及112b、左后侧方图像111bl以及112bl、和右后侧方图像111br以及112br的至少一个放大或者缩小的处理。图像形成处理是对后方图像111b以及112b、左后侧方图像111bl以及112bl、和右后侧方图像111br以及112br的至少一个的形状进行转换的处理。

这里,参照图7(a)以及图7(b)对在步骤s14中生成的合成图像111c更具体地进行说明。

图7(a)是表示车辆1没有正后退的情况下生成的合成图像111c的俯视图。在车辆1没有正后退的情况下,包括比下方拍摄范围irb_l靠上方的范围的上方拍摄范围irb_u被用于后方图像112b的提取,包括比下方拍摄范围irbl_l靠上方的范围的上方拍摄范围irbl_u被用于左后侧方图像112bl的提取,包括比下方拍摄范围irbr_l靠上方的范围的上方拍摄范围irbr_u被用于右后侧方图像112br的提取。因此,如图7(a)所示,合成图像111c成为映现出相对远处的景象的图像。换句话说,在合成图像111c中映现出向车辆1的后方扩展的景象中的相对靠上方的景象。

另一方面,图7(b)是表示车辆1正后退的情况下生成的合成图像111c的俯视图。在车辆1正后退的情况下,包括比上方拍摄范围irb_u靠下方的范围的下方拍摄范围irb_l被用于后方图像112b的提取,包括比上方拍摄范围irbl_u靠下方的范围的下方拍摄范围irbl_l被用于左后侧方图像112bl的提取,包括比上方拍摄范围irbr_u靠下方的范围的下方拍摄范围irbr_l被用于右后侧方图像112br的提取。因此,如图7(b)所示,在合成图像111c中映现出向车辆1的后方扩展的景象中的相对靠下方的景象。因此,在合成图像111c中包含车辆1的附近的路面的可能性相对变高。结果,在合成图像111c中包含当车辆1正后退的情况下乘员应加以注意的对象(例如,如图7(b)所示,在路面上绘制的停车划分线pl、在车辆1想要驻车的停车位的周围正驻车的其他车辆2等)的可能性相对变高。

在如上述那样下方拍摄范围irbl_l中包含有后轮以及车身的至少一部分的情况下,如图7(b)所示,在车辆1正后退的情况下提取出的左后侧方图像112bl中也包含有后轮以及车身的至少一部分。对于后方图像12b以及右后侧方图像112br也相同。因此,在该情况下生成的合成图像111c中也包含有后轮以及车身的至少一部分。

另一方面,在后方图像12b、左后侧方图像112bl以及右后侧方图像112br的至少一个中包含有后轮以及车身的至少一部分的情况下,难以生成后方图像12b、左后侧方图像112bl以及右后侧方图像112br无缝地连接的合成图像111c。因此,在难以生成后方图像12b、左后侧方图像112bl以及右后侧方图像112br无缝地连接的合成图像111c的情况下,如图7(b)所示,图像合成部132可以生成分别独立地显示后方图像12b、左后侧方图像112bl以及右后侧方图像112br(换言之,没有无缝地连接)的成图像111c。换句话说,图像合成部132可以生成后方图像12b、左后侧方图像112bl以及右后侧方图像112br简单地排列成的合成图像111c。

如图7(a)以及图7(b)所示,若考虑车辆1正后退的情况下生成的合成图像111c与车辆1没有正后退的情况下生成的合成图像111c的不同,则车辆1正后退的情况下提取与下方拍摄范围对应的图像部分的处理(换句话说,图4的步骤s12的处理)实际上与按照在车辆1正后退的情况下生成的合成图像111c中包含有比车辆没有正后退的情况下生成的合成图像111c所包含的景象靠下方的景象(换句话说,包含有相对于车辆没有正后退的情况下生成的合成图像111c所包含的景象位于车辆的下方侧的景象)的方式生成合成图像111c的处理等效。

再次返回到图4中,然后,显示器14显示在步骤s14中生成的合成图像111c(步骤s15)。

如以上说明那样,根据图像显示动作的第一具体例,在车辆1正后退的情况下,显示包括相对靠下方的景象(例如,包括车辆1的附近的路面的景象)的合成图像111c。因此,与即使是车辆1正后退的情况下也显示包括相对靠上方的景象(例如,远离车辆1的地点的景象)的合成图像111c的情况相比较,车辆1的乘员能够根据合成图像111c恰当地确认是否未产生对于车辆1的后退来说成为障碍的现象。具体而言,例如乘员能够根据合成图像111c恰当地确认在车辆1的周围是否不存在对于车辆1的后退来说成为障碍的障碍物(例如,其他的车辆、行人、设置于路面的构造物、其他任意的物体)。换言之,乘员能够恰当地确认在车辆1正后退的情况下乘员应该加以注意的对象(例如,如上述的图7(b)所示,在路面绘制的停车划分线pl或路面上驻车的其他车辆2等)。并且,乘员能够根据合成图像111c恰当地确认后退中的车辆1的状况(例如,车辆1的位置等)。因此,乘员能够一边更恰当地掌握车辆1的周围的状况,一边使车辆1恰当地后退。换句话说,图像合成部132能够生成在车辆1后退的情况下对于乘员有益的合成图像111c(例如,有助于使车辆1相对容易地后退的合成图像111c)。

并且,若在合成图像111c中包含有车辆1的后轮以及车身的至少一部分,则乘员能够相对容易地掌握映现在合成图像111c的车辆1以外的物体与车辆1的位置关系。具体而言,乘员能够相对容易地掌握车辆1正后退的情况下乘员应该加以注意的对象与车辆1的位置关系。并且,若在合成图像111c中包含有车辆1的后轮以及车身的至少一部分和路面,则乘员能够相对容易地掌握车辆1在路面上位于哪里。因此,当在合成图像111c中包含有车辆1的后轮以及车身的至少一部分(进而包含路面)的情况下,乘员能够进一步恰当地确认后退中的车辆1的状况(例如,车辆1的位置等)。其中,能够相对容易地掌握车辆1在路面上位于哪里这一技术效果在合成图像111c中包含有与后轮以及车身不同的车辆1的至少一部分的情况下也能够获得。因此,图像合成部132也可以按照合成图像111c中包含有与后轮以及车身不同的车辆1的至少一部分的方式生成合成图像111c。

(2-1-2)图像显示动作的第一具体例的变形例

在上述的说明中,在车辆1正后退的情况下,图像合成部132提取与下方拍摄范围irb_l对应的后方图像112b、与下方拍摄范围irbl_l对应的左后侧方图像112bl以及与下方拍摄范围irbr_l对应的右后侧方图像112br。然而,图像合成部132在车辆1正后退的情况下,也可以提取至少一个与下方拍摄范围对应而至少另一个与上方拍摄范围对应的后方图像112b、左后侧方图像112bl以及右后侧方图像112br。换句话说,即使在车辆1正后退的情况下,只要是合成图像111c所包含的后方图像112b、左后侧方图像112bl以及右后侧方图像112br中的至少一个与下方拍摄范围对应的图像部分,则后方图像112b、左后侧方图像112bl以及右后侧方图像112br中的至少另一个也可以是与上方拍摄范围对应的图像部分。换句话说,可以不在合成图像111c所包含的后方图像112b、左后侧方图像112bl以及右后侧方图像112br全部中映现相对靠下方的景象。该情况下,也能够相应地获得上述的技术效果。

在上述的说明中,为了在车辆1正后退的情况下生成包括相对靠下方的景象的合成图像111c,图像合成部132基于车辆1是否后退的判定结果,调整从左后侧方图像111bl提取出的左后侧方图像112bl的位置(换言之,左后侧方图像111bl的裁剪位置)。换句话说,图像合成部132通过对左后侧方图像111bl(并且,对后方图像111b以及右后侧方图像111br)实施图像处理,生成包括相对靠下方的景象的合成图像111c。然而,图像合成部132也可以使用其他的方法,生成包括相对靠下方的景象的合成图像111c。以下,对用于生成包括相对靠下方的景象的合成图像111c的其他方法的一个例子进行说明。

图像合成部132可以通过控制左后侧方照相机11bl,来生成包括相对靠下方的景象的合成图像111c。例如,图像合成部132可以通过控制左后侧方照相机11bl的光学参数以使拍摄范围irbl改变,来生成包括相对靠下方的景象的合成图像111c。作为光学参数的一个例子,可举出左后侧方照相机11bl所具备的光学系统(例如,镜头等)的焦距作为一个例子。该情况下,图像合成部132可以在车辆1没有正后退的情况下,如图8的上部所示,控制左后侧方照相机11bl以使左后侧方照相机11bl的拍摄范围irbl成为上述的上方拍摄范围irbl_u。另一方面,图像合成部132可以在车辆1正后退的情况下,如图8的下部所示,控制左后侧方照相机11bl以使左后侧方照相机11bl的拍摄范围irbl成为上述的下方拍摄范围irbl_l。此外,该情况下,图像合成部132也可以不基于车辆1是否后退的判定结果,调整从左后侧方图像111bl提取出的左后侧方图像112bl的位置(换言之,左后侧方图像111bl的裁剪位置)。另外,虽然省略详细的说明,但图像合成部132也可以通过除了左后侧方照相机11bl以外或者代替左后侧方照相机11bl,控制后方照相机11b以及右后侧方照相机11br中的至少一方,来在车辆1正后退的情况下生成包括相对靠下方的景象的合成图像111c。

或者,在车辆1具备拍摄范围irbl不同的多个左后侧方照相机11bl的情况下,图像合成部132也可以通过基于车辆1是否正后退的判定结果从多个左后侧方照相机11bl选择实际拍摄左后侧方图像111bl的一个左后侧方照相机11bl,来生成包括相对靠下方的景象的合成图像111c。具体而言,车辆1可以具备拍摄范围irbl为上述的上方拍摄范围irbl_u的左后侧方照相机11bl_u、和拍摄范围irbl为上述的下方拍摄范围irbl_l的左后侧方照相机11bl_l。该情况下,图像合成部132可以在车辆1没有正后退的情况下,如图9的上部所示,控制左后侧方照相机11bl_u以使左后侧方照相机11bl_u拍摄左后侧方图像111bl。另一方面,图像合成部132可以在车辆1正后退的情况下,如图9的下部所示,控制左后侧方照相机11bl_l以使左后侧方照相机11bl_l拍摄左后侧方图像111bl。此外,该情况下,图像合成部132也可以不基于车辆1是否后退的判定结果,调整从左后侧方图像111bl提取出的左后侧方图像112bl的位置(换言之,左后侧方图像111bl的裁剪位置)。另外,虽然省略详细的说明,但在车辆1具备拍摄范围irb不同的多个后方照相机11b的情况下,图像合成部132也可以通过基于车辆1是否后退的判定结果从多个后方照相机11b选择实际拍摄后方图像111b的一个后方照相机11b,来生成包括相对靠下方的景象的合成图像111c。在车辆1具备拍摄范围irbr不同的多个右后侧方照相机11br的情况下,图像合成部132也可以通过基于车辆1是否后退的判定结果从多个右后侧方照相机11br选择实际拍摄右后侧方图像111br的一个右后侧方照相机11br,来生成包括相对靠下方的景象的合成图像111c。

(2-2)图像显示动作的第二具体例

(2-2-1)图像显示动作的第二具体例的流程

接着,参照图10对图像显示动作的第二具体例的流程进行说明。图10是表示图像显示动作的第二具体例的流程的流程图。其中,对于与在图像显示动作的第一具体例中进行的处理相同的处理标注相同的步骤编号,省略其详细的说明。

如图10所示,在第二具体例中,也与第一具体例相同地进行步骤s11的处理。在步骤s11的判定结果是判定为车辆1没有正后退(换句话说,当前的排挡不是r挡)的情况下(步骤s11:否),在第二具体例中,也与第一具体例相同地进行步骤s13的处理。

另一方面,在步骤s11的判定结果是判定为车辆1正后退的情况下(步骤s11:是),图像合成部132确定车辆1后退的目的(步骤s21以及步骤s22)。具体而言,图像合成部132首先判定车辆1是否以驻车到停车位这一目的后退(步骤s21)。图像合成部132例如能够基于挡位传感器12的检测结果来确定车辆1后退的目的。例如,在齿轮机构的排挡从d挡(换句话说,车辆1前进时使用的挡)切换到r挡(换句话说,车辆1后退时使用的挡)的情况下,图像合成部132可以判定为车辆1正以驻车到停车位这一目的后退。

在步骤s21的判定结果是判定为车辆1正以驻车到停车位这一目的后退的情况下(步骤s21:是),进行在第一具体例中进行的步骤s12的处理。

另一方面,在步骤s21的判定结果是判定为车辆1并不是以驻车到停车位的这一目的后退的情况下(步骤s21:否),图像合成部132接着判定车辆1是否正以从停车位出库这一目的后退(步骤s22)。例如,可以在齿轮机构的排挡从p挡(换句话说,在停车位驻车中的车辆1所使用的挡)切换到r挡的情况下,图像合成部132判定为车辆1以从停车位出库这一目的后退。

在步骤s22的判定结果是判定为车辆1正以从停车位出库这一目的后退的情况下(步骤s22:是),图像合成部132从左后侧方图像111bl提取左后侧方照相机11bl拍摄作为拍摄范围irbl的至少一部分的虚拟的侧方拍摄范围irbl_s的情况下获取到的图像部分作为左后侧方图像112bl(步骤s23)。并且,图像合成部132从右后侧方图像111br提取右后侧方照相机11br拍摄作为拍摄范围irbr的至少一部分的虚拟的侧方拍摄范围irbr_s的情况下获取的图像部分作为右后侧方图像112bl(步骤s23)。另一方面,图像合成部132从后方图像111b提取后方照相机11b拍摄上述的下方拍摄范围irb_l的情况下获取的图像部分作为后方图像112b(步骤s23)。

这里,参照图11(a)至图11(c),对侧方拍摄范围irbl_s以及侧方拍摄范围irbr_s进行说明。图11(a)是将侧方拍摄范围irbl_s以及侧方拍摄范围irbr_s与下方拍摄范围irbl_l以及下方拍摄范围irbr_l一起表示的俯视图。如图11(a)所示,侧方拍摄范围irbl_s是拍摄范围irbl中的包括比下方拍摄范围irbl_l靠左方的部分的拍摄范围。优选侧方拍摄范围irbl_s是通过在拍摄范围irbl内将下方拍摄范围irbl_l向左方扩大而得到的拍摄范围。同样,侧方拍摄范围irbr_s是拍摄范围irbr中的包括比下方拍摄范围irbr_l靠右方的部分的拍摄范围。优选侧方拍摄范围irbr_s是通过在拍摄范围irbr内将下方拍摄范围irbr_l向右方扩大而得到的拍摄范围。并且,图像合成部132也可以根据需要,调整(换句话说,变更)拍摄范围irbl中的侧方拍摄范围irbl_s的位置以及拍摄范围irbr中的侧方拍摄范围irbr_s的位置的至少一方。此外,虽然为了方便说明而未图示,但侧方拍摄范围irbl_s与下方拍摄范围irbl_l相同地是拍摄范围irbl中的包括比上方拍摄范围irbl_u靠下方的部分的拍摄范围。侧方拍摄范围irbr_s与下方拍摄范围irbr_l相同地是拍摄范围irbr中的包括比上方拍摄范围irbr_u靠下方的部分的拍摄范围。

与左后侧方照相机11bl拍摄这样的侧方拍摄范围irbl_s的情况下获取到的图像部分相当的左后侧方图像112bl(以下,将该左后侧方图像112bl称为“左后侧方图像112bl_s”)和左后侧方图像111bl以及左后侧方图像112bl_l之间的关系如图11(b)所示。如图11(b)所示,左后侧方图像112bl_s包括比左后侧方图像112bl_l靠左方的图像部分。换句话说,在第二具体例中,图像合成部132能够基于车辆1后退的目的,调整或者变更从左后侧方图像111bl提取出的左后侧方图像112bl在左后侧方图像111bl内的位置(特别是左右方向上的位置)。换言之,图像合成部132能够基于车辆1后退的目的,调整或者变更从左后侧方图像111bl裁剪的图像部分在左后侧方图像111bl内的位置。

同样,与右后侧方照相机11br拍摄这样的侧方拍摄范围irbr_s的情况下获取到的图像部分相当的右后侧方图像112br(以下,将该右后侧方图像112br称为“右后侧方图像112br_s”)和右后侧方图像111br以及右后侧方图像112br_l之间的关系如图11(c)所示。如图11(c)所示,右后侧方图像112br_s包括比右后侧方图像112br_l靠右方的图像部分。换句话说,在第二具体例中,图像合成部132能够基于车辆1后退的目的,调整或者变更从右后侧方图像111br提取的右后侧方图像112br在右后侧方图像111br内的位置(特别是,左右方向上的位置)。换言之,图像合成部132能够基于车辆1后退的目的,调整或者变更从右后侧方图像111br裁剪的图像部分在右后侧方图像111br内的位置。

再次返回到图10中,然后,图像合成部132使用在步骤s12、s13或者s23中提取出的后方图像112b、左后侧方图像112bl以及右后侧方图像112br,来生成合成图像111c(步骤s14)。然后,显示器14显示在步骤s14中生成的合成图像111c(步骤s15)。

这里,参照图12(a)以及图12(b)对在步骤s14中生成的合成图像111c更具体地进行说明。图12(a)是表示车辆1以驻车到停车位这一目的后退的情况下生成的合成图像111c的俯视图。此外,该情况下生成的合成图像111c与在第一具体例中车辆1后退的情况下生成的合成图像111c相同。因此,如已经说明那样,合成图像111c中包含有车辆1正后退的情况下乘员应该加以注意的对象(特别是车辆1为了驻车到停车位而后退的情况下乘员应该加以注意的对象)的可能性相对变高。

另一方面,图12(b)是表示车辆1以从停车位出库这一目的后退的情况下生成的合成图像111c的俯视图。如图12(a)以及图12(b)所示,在车辆1以从停车位出库这一目的后退的情况下,在合成图像111c中映现出能够眺望到在车辆1的左右方向上相对远离车辆1的位置的景象。因此,在合成图像111c中包含有以接近想要出库的车辆1的方式在行驶空间行驶而来的其他车辆等的可能性相对变高。换句话说,合成图像111c中包含车辆1为了从停车位出库而后退的情况下乘员应该加以注意的对象(例如,除了在车辆1想要出库的停车位的周围驻车的其他车辆2以外,还包括以接近想要出库的车辆1的方式在行驶空间行驶而来的其他车辆等)的可能性相对变高。

如图12(a)以及图12(b)所示,若考虑车辆1以驻车到停车位这一目的后退的情况下生成的合成图像111c与车辆1以从停车位出库这一目的后退的情况下生成的合成图像111c的不同,则车辆1以从停车位出库这一目的后退的情况下提取与侧方拍摄范围对应的图像部分的处理(换句话说,图10的步骤s23的处理)实际上与以在车辆1为了从停车位出库而后退的情况下生成的合成图像111c中包含有比车辆1为了驻车到停车位而后退的情况下生成的合成图像111c所包含的景象靠侧方的景象的方式生成合成图像111c的处理等效。

其中,车辆1以从停车位出库这一目的后退的情况下提取出的左后侧方图像112bl_s以及右后侧方图像112bl_s的大小分别大于车辆1以驻车到停车位这一目的后退的情况下提取出的左后侧方图像112bl_l以及右后侧方图像112bl_l的大小。这是因为侧方拍摄范围irbl_s以及侧方拍摄范围irbr_s分别是通过将下方拍摄范围irbl_l以及下方拍摄范围irbr_l扩大而得到的拍摄范围。因此,图像合成部132可以在车辆1以从停车位出库这一目的后退的情况下,以与车辆1以驻车到停车位这一目的后退的情况相比在合成图像111c中分别显示左后侧方图像112bl以及右后侧方图像112bl的区域的比例变大的方式生成合成图像111c。并且,若在合成图像111c中分别显示左后侧方图像112bl以及右后侧方图像112bl的区域的比例变大,则在合成图像111c中显示后方图像112b的区域的比例必然变小。因此,图像合成部132可以在车辆1以从停车位出库这一目的后退的情况下,提取比车辆1以驻车到停车位这一目的后退的情况小的后方图像112b。或者,图像合成部132可以在车辆1以从停车位出库这一目的后退的情况下,提取与车辆1以驻车到停车位这一目的后退的情况相同大小的后方图像112b,并缩小该提取出的后方图像112b(典型来说,沿左右方向缩小),使用缩小后的后方图像112b来生成合成图像111c。其中,图12(b)示出使用缩小后的后方图像112b生成的合成图像111c的一个例子。

再次返回到图10中,另一方面,在步骤s22的判定结果是判定为车辆1并不是以从停车位出库这一目的后退的情况下(步骤s22:否),推断为车辆1正以与驻车到停车位这一目的以及从停车位出库这一目的不同的目的后退。此时,进行在第一具体例中进行的步骤s12的处理。

如以上说明那样,根据图像显示动作的第二具体例,可获得与通过图像显示动作的第一具体例能够获得的效果相同的效果。在第二具体例中,图像合成部132能够生成在车辆1后退的情况下对于乘员更有益的合成图像111c。以下,对其理由进行说明。首先,车辆1为了驻车到停车位而后退的情况下乘员应该加以注意的对象并不一定与车辆1为了从停车位出库而后退的情况下乘员应该加以注意的对象相同。例如,在车辆1为了驻车到停车位而后退的情况下,优选乘员对表示车辆1应该驻车的位置的停车位的框线、以及与停车位相邻地驻车的其他车辆的至少一方加以注意。另一方面,在车辆1为了从停车位出库而后退的情况下,优选乘员对与停车位相邻地驻车的其他车辆、以及在与停车位相连的行驶空间以接近车辆1的方式行驶而来的其他车辆的至少一方加以注意。因此,在第二具体例中,由于合成图像111c的内容根据车辆1后退的目的的不同而改变,所以乘员能够一边更恰当地掌握车辆1的周围的状况,一边使车辆1恰当地后退。换句话说,不管车辆1后退的目的的不同,乘员能够一边更恰当地掌握车辆1的周围的状况,一边使车辆1恰当地后退。

(2-2-2)图像显示动作的第二具体例的变形例

在上述的说明中,为了在车辆1以从停车位出库这一目的后退的情况下生成包括相对靠侧方的景象的合成图像111c,图像合成部132基于车辆1后退的目的,调整从左后侧方图像111bl提取的左后侧方图像112bl的位置以及从右后侧方图像111br提取的右后侧方图像112br的位置。换句话说,图像合成部132通过对于左后侧方图像111bl(并且,对于后方图像111b以及右后侧方图像111br)实施图像处理,来生成包括相对靠侧方的景象的合成图像111c。然而,图像合成部132也可以使用其他的方法来生成包括相对靠侧方的景象的合成图像111c。其中,作为用于生成包括相对靠侧方的景象的合成图像111c的其他方法的一个例子,也可以使用在第一具体例中说明的用于生成包括相对靠下方的景象的合成图像111c的其他方法的一个例子。

换句话说,图像合成部132可以通过控制左后侧方照相机11bl以及右后侧方照相机11br来生成包括相对靠侧方的景象的合成图像111c。具体而言,图像合成部132可以在车辆1以驻车到停车位这一目的后退的情况下,如图13的上部所示,控制左后侧方照相机11bl以及右后侧方照相机11br,以使左后侧方照相机11bl的拍摄范围irbl为下方拍摄范围irbl_l并且右后侧方照相机11br的拍摄范围irbr为下方拍摄范围irbr_l。另一方面,图像合成部132可以在车辆1以从停车位出库这一目的后退的情况下,如图13的下部所示,控制左后侧方照相机11bl以及右后侧方照相机11br,以使左后侧方照相机11bl的拍摄范围irbl为侧方拍摄范围irbl_s并且右后侧方照相机11br的拍摄范围irbr为侧方拍摄范围irbr_s。

或者,在车辆1具备拍摄范围irbl不同的多个左后侧方照相机11bl的情况下,图像合成部132可以通过基于车辆1后退的目的从多个左后侧方照相机11bl选择实际拍摄左后侧方图像111bl的一个左后侧方照相机11bl,来生成包括相对靠侧方的景象的合成图像111c。具体而言,车辆1可以具备拍摄范围irbl为下方拍摄范围irbl_l的左后侧方照相机11bl_l、拍摄范围irbl为侧方拍摄范围irbl_s的左后侧方照相机11bl_s、拍摄范围irbr为下方拍摄范围irbr_l的右后侧方照相机11br_l、以及拍摄范围irbr为侧方拍摄范围irbr_s的右后侧方照相机11br_s。该情况下,图像合成部132可以在车辆1以驻车到停车位这一目的后退的情况下,如图14的上部所示,控制左后侧方照相机11bl_l以及右后侧方照相机11br_l,以使左后侧方照相机11bl_l拍摄左后侧方图像111bl并且右后侧方照相机11br_l拍摄右后侧方图像111br。另一方面,图像合成部132可以在车辆1以从停车位出库这一目的后退的情况下,如图14的下部所示,控制左后侧方照相机11bl_s以及右后侧方照相机11br_s,以使左后侧方照相机11bl_s拍摄左后侧方图像111bl并且右后侧方照相机11br_s拍摄右后侧方图像111br。

在上述的说明中,侧方拍摄范围irbl_s以及侧方拍摄范围irbr_s分别是通过将下方拍摄范围irbl_l以及下方拍摄范围irbr_l扩大而得到的拍摄范围。因此,侧方拍摄范围irbl_s以及侧方拍摄范围irbr_s分别大于下方拍摄范围irbl_l以及下方拍摄范围irbr_l。然而,侧方拍摄范围irbl_s只要是包括比下方拍摄范围irbl_l靠左方的部分的拍摄范围即刻,可以是任何的拍摄范围。同样,侧方拍摄范围irbr_s只要是包括比下方拍摄范围irbr_l靠右方的部分的拍摄范围即刻,可以是任何的拍摄范围。

在上述的说明中,在车辆1以从停车位出库这一目的后退的情况下,使用与车辆1以驻车到停车位这一目的后退的情况下所使用的下方拍摄范围irbl_l以及下方拍摄范围irbr_l分别不同的侧方拍摄范围irbl_s以及侧方拍摄范围irbr_s。然而,即使在车辆1以从停车位出库这一目的后退的情况下,也可以按原样使用车辆1以驻车到停车位这一目的后退的情况下所使用的下方拍摄范围irbl_l以及下方拍摄范围irbr_l。但是,在该情况下,为了使合成图像111c中的左后侧方图像112bl以及右后侧方图像112br的可视性提高,优选图像合成部132将在合成图像111c中分别显示左后侧方图像112bl以及右后侧方图像112bl的区域的比例增大(参照图12(b))。换句话说,图像合成部132可以在车辆1以从停车位出库这一目的后退的情况下,提取与车辆1以驻车到停车位这一目的后退的情况相同大小的左后侧方图像112bl以及右后侧方图像112br,并拉伸该提取出的左后侧方图像112bl以及右后侧方图像112br(典型来说,沿左右方向拉伸),使用拉伸后的左后侧方图像112bl以及右后侧方图像112br来生成合成图像111c。该情况下,图像合成部132也能够生成在车辆1后退的情况下相应地对于乘员有益的合成图像111c。

(3)附注

对以上说明的实施方式进一步公开以下的附注。

(3-1)附注1

附注1所记载的图像显示装置的特征在于,具备:合成单元,将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由能够拍摄上述车辆的后侧方的后侧方拍摄单元拍摄到的后侧方图像合成,来生成合成图像;以及显示单元,显示上述合成图像,上述合成单元以在上述车辆正后退的情况下生成的上述合成图像中包含有相对于上述车辆没有正后退的情况下生成的上述合成图像位于车辆的下方侧的景象的方式,生成上述合成图像。

根据附注1所记载的图像显示装置,合成单元能够以在车辆正后退的情况下生成的合成图像中包含有比车辆没有正后退的情况下生成的合成图像所包含的景象靠下方的景象的方式,生成合成图像。结果,在车辆正后退的情况下,显示单元显示包括相对靠下方的景象(例如,包括车辆的附近的路面的景象)的合成图像。因此,与即使是车辆正后退的情况也显示包括相对靠上方的景象(例如,远离车辆的地点的景象)的合成图像的情况相比较,车辆的乘员能够恰当地确认是否未产生对于车辆的后退成为障碍的现象。并且,乘员能够恰当地确认后退中的车辆的状况(例如,车辆的位置等)。换句话说,附注1所记载的图像显示装置能够生成在车辆正后退的情况下对于乘员有益的合成图像(例如,有助于使车辆相对容易地后退的合成图像)。

(3-2)附注2

附注2所记载的图像显示装置基于附注1所记载的图像显示装置,其特征在于,上述合成单元在上述车辆正后退的情况下,以上述合成图像中包含有上述车辆的至少一部分的方式生成上述合成图像。

根据附注2所记载的图像显示装置用,乘员能够根据合成图像恰当地确认在车辆的周边是否未产生对于车辆的后退成为障碍的现象。并且,乘员能够根据合成图像中的车辆的状况(例如,位置)更恰当地确认后退中的车辆的状况。

(3-3)附注3

附注3所记载的图像显示装置基于附注2所记载的图像显示装置,其特征在于,上述合成单元在上述车辆正后退的情况下,以上述合成图像中包含有上述车辆的至少一部分和路面的方式生成上述合成图像。

根据附注3所记载的图像显示装置,乘员能够根据合成图像恰当地确认是否在车辆的周边的路面未产生对于车辆的后退成为障碍的现象。并且,乘员能够根据合成图像中的车辆的状况(特别是,路面上的车辆的位置)更恰当地确认后退中的车辆的状况。

(3-4)附注4

附注4所记载的图像显示装置基于附注2或者3所记载的图像显示装置,其特征在于,上述车辆的至少一部分包括上述车辆的后轮以及/或者上述车辆的车身的至少一部分。

根据附注4所记载的图像显示装置,乘员能够根据合成图像恰当地确认在车辆的周边是否未产生对于车辆的后退成为障碍的现象。并且,乘员能根据合成图像中的车辆的状况(例如,后轮的位置以及车身的位置的至少一方)更恰当地确认后退中的车辆的状况。

(3-5)附注5

附注5所记载的图像显示装置基于附注2至4中任一项所记载的图像显示装置,其特征在于,上述合成单元(i)在上述车辆没有正后退的情况下,以在上述后方图像与上述后侧方图像的边界处上述后方图像所包含的景象与上述后侧方图像所包含的景象无缝地连接的方式,生成上述合成图像,(ii)在上述车辆正后退的情况下,允许上述后方图像所包含的景象和上述后侧方图像所包含的景象在上述后方图像与上述后侧方图像的边界处不连续而生成上述合成图像。

在由于车辆后退而合成图像中包含后轮以及车身的至少一方的情况下,有可能难以无缝地将后方图像和后侧方图像合成。该情况下,根据附注5所记载的图像显示装置,由于允许后方图像所包含的景象和后侧方图像所包含的景象不连续,所以即使在难以无缝地将后方图像和后侧方图像合成的情况下,合成单元也不会强制地将后方图像和后侧方图像无缝地合成。

(3-6)附注6

附注6所记载的图像显示装置基于附注1至5中任一项所记载的图像显示装置,其特征在于,上述合成单元以在上述车辆为了驻车到停车位而后退的情况下的上述合成图像的生成方法与在上述车辆为了从停车位出库而后退的情况下的上述合成图像的生成方法不同的方式,生成上述合成图像。

根据附注6所记载的图像显示装置,可显示与车辆后退的目的对应的合成图像。因此,无论车辆后退的目的是驻车到停车位这一目的还是从停车位出库这一目的,乘员都能够一边恰当地掌握车辆的周围的状况,一边使车辆恰当地后退。

(3-7)附注7

附注7所记载的图像显示装置的特征在于,具备:合成单元,将由能够拍摄车辆的后方的后方拍摄单元拍摄到的后方图像和由能够拍摄上述车辆的后侧方的后侧方拍摄单元拍摄到的后侧方图像合成,来生成合成图像;以及显示单元,显示上述合成图像,上述合成单元以上述车辆为了驻车到停车位而后退的情况下的上述合成图像的生成方法与上述车辆为了从停车位出库而后退的情况下的上述合成图像的生成方法不同的方式,生成上述合成图像。

根据附注7所记载的图像显示装置,与附注6所记载的图像显示装置相同,不论车辆后退的目的是驻车到停车位这一目的还是从停车位出库这一目的,乘员都能够一边恰当地掌握车辆的周围的状况,一边使车辆恰当地后退。换句话说,附注7所记载的图像显示装置能够生成在车辆正后退的情况下对于乘员有益的合成图像(例如,根据车辆后退的目的而最佳化的合成图像)。

(3-8)附注8

附注8所记载的图像显示装置基于附注6或者7所记载的图像显示装置,其特征在于,上述合成单元在上述车辆的排挡从d挡切换到r挡之后上述车辆开始后退的情况下,判定为上述车辆为了驻车到停车位而后退,在上述车辆的排挡从p挡切换到r挡之后上述车辆开始后退的情况下,判定为上述车辆为了从停车位出库而后退。

根据附注8所记载的图像显示装置,合成单元能够恰当地判定车辆后退的目的是驻车到停车位这一第一目的还者从停车位出库这一第二目的。因此,合成单元能够根据该判定结果,与车辆后退的目的对应地改变合成图像的生成方法。

(3-9)附注9

附注9所记载的图像显示装置基于附注6至8中任一项所记载的图像显示装置,上述合成单元以在上述车辆为了从停车位出库而后退的情况下生成的上述合成图像中包含有比上述车辆为了驻车到停车位而后退的情况下生成的上述合成图像所包含的景象靠侧方的景象的方式,生成上述合成图像。

根据附注9所记载的图像显示装置,合成单元能够以在车辆为了从停车位出库而后退的情况下生成的合成图像中包含有相对于车辆为了驻车到停车位而后退的情况下生成的合成图像位于车辆的侧方侧的景象的方式,生成合成图像。因此,在车辆为了从停车位出库而后退的情况下,乘员能够更恰当地确认车辆的侧方的状况。因此,乘员能够根据合成图像恰当地对车辆为了从停车位出库而后退的情况下应该注意的对象(例如,与停车位相邻地驻车的其他车辆、以及在与停车位相连的行驶空间行驶的其他车辆的至少一方)加以注意。

(3-10)附注10

附注10所记载的图像显示装置基于附注6至9中任一项所记载的图像显示装置,其特征在于,在上述车辆为了从停车位出库而后退的情况下,上述合成单元以与上述车辆为了驻车到停车位而后退的情况相比使在上述合成图像中显示上述后侧方图像的区域的比例变大的方式,生成上述合成图像。

根据附注10所记载的图像显示装置,在车辆为了从停车位出库而后退的情况下,合成图像中的后侧方图像的可视性提高。因此,乘员能够更恰当地确认车辆的后侧方的状况。因此,乘员能够根据合成图像更恰当地对车辆为了从停车位出库而后退的情况下应该注意的对象加以注意。

(3-11)其他的附注

附注11所记载的图像显示装置基于附注1至6中任一项所记载的图像显示装置,其特征在于,上述合成单元提取作为上述后方图像中的至少一部分的后方图像部分以及作为上述后侧方图像中的至少一部分的后侧方图像部分,将上述后方图像部分与上述后侧方图像部分合成来生成上述合成图像,上述合成单元以使在上述车辆正后退的情况下提取的上述后方图像部分中包含有比在上述车辆没有正后退的情况下提取的上述后方图像部分靠下方的位置的图像部分的方式,提取上述后方图像部分。换句话说,附注11所记载的图像显示装置可以通过对后方图像实施图像处理,来生成满足第一条件的合成图像,该第一条件是指在车辆正后退的情况下生成的合成图像中包含有相对于车辆没有正后退的情况下生成的合成图像位于车辆的下方侧的景象。

附注12所记载的图像显示装置基于附注1至6以及11中任一项所记载的图像显示装置,其特征在于,上述合成单元提取作为上述后方图像中的至少一部分的后方图像部分以及作为上述后侧方图像中的至少一部分的后侧方图像部分,将上述后方图像部分和上述后侧方图像部分合成来生成上述合成图像,上述合成单元以在上述车辆正后退的情况下提取的上述后侧方图像部分中包含有比在上述车辆没有正后退的情况下提取的上述后侧方图像部分靠下方的位置的图像部分的方式,提取上述后侧方图像部分。换句话说,附注12所记载的图像显示装置可以通过对于后侧方图像实施图像处理,来生成满足上述的第一条件的合成图像。

附注13所记载的图像显示装置基于附注1至6以及11至12中任一项所记载的图像显示装置,其特征在于,上述合成单元调整上述后方拍摄单元的动作参数,以使在上述车辆后退的情况下的上述后方拍摄单元的拍摄范围中包含有比上述车辆没有正后退的情况下的上述后方拍摄单元的拍摄范围靠下方的范围。换句话说,附注13所记载的图像显示装置可以通过控制后方拍摄单元(特别是调整后方拍摄单元的拍摄范围),来生成满足上述的第一条件的合成图像。

附注14所记载的图像显示装置基于附注1至6以及11至13中任一项所记载的图像显示装置,其特征在于,上述合成单元调整上述后侧方拍摄单元的动作参数,以使在上述车辆后退的情况下的上述后侧方拍摄单元的拍摄范围中包含有比上述车辆没有正后退的情况下的上述后侧方拍摄单元的拍摄范围靠下方的范围。换句话说,附注14所记载的图像显示装置可以通过控制后侧方拍摄单元(特别是调整后侧方拍摄单元的拍摄范围),来生成满足上述的第一条件的合成图像。

附注15所记载的图像显示装置基于附注1至6以及11至14中任一项所记载的图像显示装置,其特征在于,上述车辆具备能够拍摄第一拍摄范围的第一上述后方拍摄单元和能够拍摄包括比上述第一拍摄范围靠下方的范围的第二拍摄范围的第二上述后方拍摄单元,上述合成单元(i)在上述车辆没有正后退的情况下,将由上述第一后方拍摄单元拍摄到的上述后方图像和上述后侧方图像合成来生成上述合成图像,(ii)在上述车辆正后退的情况下,将由上述第二后方拍摄单元拍摄到的上述后方图像和上述后侧方图像合成来生成上述合成图像。换句话说,附注15所记载的图像显示装置可以通过选择多个后方拍摄单元中的任意一个作为实际用于获取后方图像的一个后方拍摄单元,来生成满足上述的第一条件的合成图像。

附注16所记载的图像显示装置基于附注1至6以及11至15中任一项所记载的图像显示装置,其特征在于,上述车辆具备能够拍摄第三拍摄范围的第一上述后侧方拍摄单元和能够拍摄包括比上述第三拍摄范围靠下方的范围的第四拍摄范围的第二上述后侧方拍摄单元,上述合成单元(i)在上述车辆没有正后退的情况下,将由上述第一后侧方拍摄单元拍摄到的上述后侧方图像和上述后方图像合成来生成上述合成图像,(ii)在上述车辆正后退的情况下,将由上述第二后侧方拍摄单元拍摄到的上述后侧方图像和上述后方图像合成来生成上述合成图像。换句话说,附注16所记载的图像显示装置可以通过选择多个后侧方拍摄单元中的任意一个作为实际用于获取后侧方图像的一个后侧方拍摄单元,来生成满足上述的第一条件的合成图像。

附注17所记载的图像显示装置基于附注9所记载的图像显示装置,其特征在于,上述合成单元提取作为上述后方图像中的至少一部分的后方图像部分以及作为上述后侧方图像中的至少一部分的后侧方图像部分,将上述后方图像部分和上述后侧方图像部分合成来生成上述合成图像,上述合成单元以在上述车辆为了从停车位出库而后退的情况下提取的上述后侧方图像部分中包含有比上述车辆没有为了驻车到停车位而后退的情况下提取的上述后侧方图像部分靠侧方的位置的图像部分的方式,提取上述后侧方图像部分。换句话说,附注17所记载的图像显示装置可以通过对于后侧方图像实施图像处理,来生成满足第二条件的合成图像,该第二条件是指在车辆为了从停车位出库而后退的情况下生成的合成图像中包含有比车辆为了驻车到停车位而后退的情况下生成的合成图像所包含的景象靠侧方的景象。

附注18所记载的图像显示装置基于附注9或者17所记载的图像显示装置,其特征在于,上述合成单元调整上述后侧方拍摄单元的动作参数,以使在上述车辆正后退的情况下的上述后侧方拍摄单元的拍摄范围中包含有比上述车辆没有正后退的情况下的上述后侧方拍摄单元的拍摄范围靠侧方的范围。换句话说,附注18所记载的图像显示装置可以通过控制后侧方拍摄单元(特别是调整后侧方拍摄单元的拍摄范围),来生成满足上述的第二条件的合成图像。

附注19所记载的图像显示装置基于附注9以及17至18中任一项所记载的图像显示装置,其特征在于,上述车辆具备能够拍摄第五拍摄范围的第三上述后侧方拍摄单元和能够拍摄包括比上述第五拍摄范围靠侧方的范围的第六拍摄范围的第四上述后侧方拍摄单元,上述合成单元(i)在上述车辆为了驻车到停车位而后退的情况下,将由上述第三后侧方拍摄单元拍摄到的上述后侧方图像和上述后方图像合成来生成上述合成图像,(ii)在上述车辆为了从停车位出库而后退的情况下,将由上述第四后侧方拍摄单元拍摄到的上述后侧方图像和上述后方图像合成来生成上述合成图像。换句话说,附注19所记载的图像显示装置可以通过选择多个后侧方拍摄单元中的任意一个作为用于实际获取后侧方图像的一个后侧方拍摄单元,来生成满足上述的第二条件的合成图像。

附注20所记载的图像显示装置基于附注10所记载的图像显示装置,其特征在于,上述合成单元提取作为上述后方图像中的至少一部分的后方图像部分以及作为上述后侧方图像中的至少一部分的后侧方图像部分,将上述后方图像部分和上述后侧方图像部分合成来生成上述合成图像,上述合成单元在上述车辆为了从停车位出库而后退的情况下,提取与上述车辆为了驻车到停车位而后退的情况下提取的上述后侧方图像部分相同的位置的上述后侧方图像部分,并在将该提取出的后侧方图像部分拉伸之后与上述后方图像部分合成来生成上述合成图像。换句话说,附注20所记载的图像显示装置可以通过对于后侧方图像实施图像处理,来生成满足第三条件的合成图像,该第三条件是指在车辆为了从停车位出库而后退的情况下,与车辆为了驻车到停车位而后退的情况相比,合成图像中显示后侧方图像的区域的比例变大。

本发明能够在不违反可从技术方案以及说明书整体读取的发明的主旨或者思想的范围内恰当地变更,具有这样的变更的图像显示装置也包含于本发明的技术思想。

附图标记的说明

1...车辆;11b...后方照相机;11bl、11bl_u、11bl_l、11bl_s...左后侧方照相机;11br、11br_u、11br_s...右后侧方照相机;12...挡位传感器;13...ecu;131...图像获取部;132...图像合成部;14...显示器;111b、112b...后方图像;111bl、112bl...左后侧方图像;111br、112br...右后侧方图像;111c...合成图像;irb、irbl、irbr...拍摄范围;irb_u、irbl_u、irbr_u...上方拍摄范围;irb_l、irbl_l、irbr_l...下方拍摄范围;irb_s、irbl_s、irbr_s...侧方拍摄范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1