车辆周边监视装置以及程序的制作方法
【专利说明】车辆周边监视装置以及程序
[0001 ]关联申请的相互参照
[0002]本申请是基于2013年7月26日提出的日本专利申请2013-155662号的发明，在此通过参照引用其记载内容。
技术领域
[0003]本公开涉及通过拍摄包括本车辆的前方以及后方中的至少一方的路面的周边，并将该图像显示于车室内，从而车辆驾驶员从车室内监视路面的状态等的车辆周边监视装置以及程序。
【背景技术】
[0004]以往，这种车辆周边监视装置在车辆的后部安装设置后置相机，对后置相机拍摄到的车辆后方的原图像进行加工来生成虚拟的鸟瞰图像，并将该鸟瞰图像显示于车室内的显示装置。
[0005]在这样的车辆周边监视装置中，例如在进行从原图像向鸟瞰图像的坐标变换时，进行使用了表示后置相机的位置姿势的外部参数的坐标变换。在该情况下，若因后置相机的安装误差、车辆的摇晃，而后置相机的位置姿势变动，则有给坐标变换带来影响而不能够准确地生成鸟瞰图像之虞，所以提出了通过根据原图像检测车辆的保险杠的位置，并基于检测出的保险杠的位置计算后置相机的安装角度，来对外部参数进行修正(例如，参照专利文献I)。
[0006]本发明者对于车辆周边监视装置发现了以下情况。在以往的车辆周边监视装置中，例如有在车室内的显示装置仅映出路面的状态来作为鸟瞰图像的情况，根据这样的鸟瞰图像难以对车辆驾驶员传递车辆与路面的位置关系、高度方向的信息，从而存在给车辆驾驶员带来不协调感、压迫感之虞。
[0007]专利文献1:日本公开专利公报2004-64441号
【发明内容】
[0008]本公开的目的在于提供能够在车室内的显示图像中，进一步抑制车辆驾驶员的不协调感、压迫感的车辆周边监视装置以及程序。
[0009]根据本公开的一个例子，提供一种车辆周边监视装置，其具备:拍摄部，其被安装于本车辆，拍摄包括该本车辆的前方以及后方中的至少一方的路面的周边；图像处理部，其在由上述拍摄部拍摄到的原图像中，使用能够计算上述本车辆的端边位置以及相对于上述本车辆的地平线位置的参数，以根据上述端边位置以及上述地平线位置在上下方向划分的3个各划分区域的比例接近预先设定的目标比例的方式，实施包括规定的坐标变换的图像修正，来生成基于该原图像的虚拟的坐标变换图像；以及显示部，其将基于由上述图像处理部生成的坐标变换图像的拍摄画面在车室内显示于规定的显示区域。
[0010]而且根据本公开的一个例子，提供一种程序，该程序用于使与上述拍摄部以及上述显示部连接的计算机作为上述图像处理部发挥作用。
[0011]根据本公开所涉及的车辆周边监视装置以及程序，例如，若将坐标变换图像中的3个各划分区域分别设为比端边位置靠下侧的区域即端部区域、端边位置与地平线位置之间的区域即路面区域、比地平线位置靠上侧的区域即天空区域，则能够显示按照规定的比例平衡良好地分配了这些端部区域、路面区域、天空区域的拍摄画面。
[0012]S卩，根据本公开所涉及的车辆周边监视装置以及程序，在车室内的显示装置，作为坐标变换图像，能够不仅将路面的状态，还将本车辆的端边位置和相对于本车辆的地平线位置以容易理解的方式显示给车辆驾驶员，能够使车辆驾驶员从这样的坐标变换图像中直观地认知本车辆与路面的位置关系、高度方向的信息。
[0013]因此，根据本公开，能够在车室内的显示图像中，进一步抑制不能够直观地认知本车辆与路面的位置关系的不协调感、由不能够得到比路面高的位置的信息而引起的压迫感，即车辆驾驶员的不协调感、压迫感。
[0014]此外，上述参数包括表示拍摄部的位置姿势的外部参数，图像处理部通过使用该参数例如进行相机标定，能够根据搭载拍摄部的车辆(本车辆)的形状，预先计算原图像中的本车辆的端边位置以及相对于本车辆的地平线位置。即、即使在搭载拍摄部的车辆的种类(车种)不同的情况下，也能够预先计算与原图像中的本车辆的端边位置以及相对于本车辆的地平线位置有关的信息。
【附图说明】
[0015]通过参照附图的下述的详细的说明，有关本公开的上述以及其它目的、特征、优点变得更加明确。在附图中，
[0016]图1是例示车辆周边监视装置的整体结构的框图，
[0017]图2是例示向本车辆的相机的安装状态的说明图，
[0018]图3是在图像中例示各划分区域的说明图，
[0019]图4是例示车辆周边监视装置所进行的图像处理的内容的流程图，
[0020]图5A是例示图像处理中的模拟图像(保险杠图像)的合成的说明图，
[0021]图5B是例示图像处理中的模拟图像(天空图像)的合成的说明图。
【具体实施方式】
[0022]以下，与附图一起对本公开的实施方式进行说明。
[0023]此外，本公开不被下述的实施方式以任何方式限定以及解释。另外，只要能够解决课题，省略了下述的实施方式的一部分的方式也是本公开的实施方式。另外，在不脱离本公开的本质的限度内能够想到的所有的方式都包括于本公开的实施方式。另外，在下述的实施方式的说明中所使用的附图标记是以容易理解本公开为目的而使用的，并非意在限定本公开的技术范围。
[0024]<整体结构>
[0025]如图1所示，本实施方式的车辆周边监视装置I具备:被安装于车辆并拍摄包括该车辆(以下称为“本车辆”)的前方以及后方中的至少一方的路面的周边的相机2、在本车辆的车室内在规定的显示区域显示图像的显示部4、进行包括后述的规定的坐标变换的图像修正(以下称为“图像处理”)的控制部6、以及存储各种信息的存储部8等。
[0026]相机2相当于本公开的拍摄部(或者单元)的一个例子，显示部4相当于显示部(或者单元)的一个例子，控制部6相当于图像处理部(或者单元)的一个例子。
[0027]控制部6是以微型计算机为中心构成的公知的电子控制装置，通过该控制部6控制车辆周边监视装置I的各部。此外，控制部6可以是车辆周边监视装置I的控制专用而准备的部件，也可以是也进行车辆周边监视装置I以外的控制的通用的部件。另外，可以由单一的控制部6构成，也可以多个控制部6配合发挥作用。
[0028]相机2通过设置于本车辆的后部的多个鱼眼镜头，能够广域地拍摄包括本车辆的后方的路面、作为本车辆的后端部的保险杠、比路面高的位置的风景的车辆周边。另外，相机2具有控制装置，并且具备若从控制部6给出切出视角的指示，则以与该指示相应的视角从原图像切出原图像的一部分并提供的功能。在本实施方式中，从控制部6对相机2给出用于切出原图像中的形变较少的中央部的指示，相机2将根据该指示从原图像中切出中央部的图像(以下称为“相机图像”)提供给控制部6。
[0029]显示部4是在本车辆的车室内设置于仪表板或者其附近的中心显示器，该中心显示器显示基于通过控制部6对从相机2获取到的相机图像实施图像处理而生成的图像(对于详细内容后述)的拍摄画面。
[0030]存储部8是除了存储规定控制部6所实施的图像处理的程序、相机2固有的内部参数(即、透镜的焦距、视角、像素数等)以外，还存储表示世界坐标系中的相机2的位置姿势的外部参数(以下称为“相机2的安装参数”)等的非易失性存储器。另外，在存储部8中储存有在原图像中表示本车辆的保险杠位置以及相对于本车辆的地平线位置的信息(以下称为“保险杠及地平线位置信息”)。
[0031]换言之，也可以说地平线位置主要表示由相机2拍摄到的原图像中的天空与地面的边界，保险杠位置主要表示由相机2拍摄到的原图像中的地面与本车辆的边界。
[0032]详细而言，如图2所示，该保险杠及地平线位置信息由保险杠位置信息以及地平线位置信息构成，保险杠位置信息是用坐标表示从相机2观察而将车辆后部的保险杠中的位于最端部的边(沿车宽方向延伸的边)作为端边的情况下的、构成该端边位置(即、保险杠位置)的各点被投影到原图像的哪个位置的信息，地平线位置信息同样地是用坐标表示表示以相机2为起点的情况下的水平方向的位置(S卩、地平线位置)被投影到原图像的哪个位置的信息。
[0033]另外，相机2的安装参数包括:在世界坐标系中，对于本车辆，用三维(X，Y，Z)表示相机2的安装位置的位置信息、以及用侧偏、俯仰、偏航表示相机2的安装角度的角度信息，控制部6(或者相机2的控制装置)通过使用该相机2的安装参数(以及内部参数)，例如进行相机标定，能够预先计算出保险杠及地平线位置信息。
[0034]因此，能够根据设置相机2