专利名称：驾驶辅助显示装置的制作方法
技术领域：
本发明涉及对用车载摄像机摄像了车辆后方或前方的图像进行处理并提醒驾驶员的驾驶辅助显示装置。
背景技术：
通过将车载摄像机设置在车辆的后备箱(rear trunk)部分等或前格栅等上，提醒驾驶员用该车载摄像机摄像了的图像，从而使驾驶员知道车辆后方或前方的情况的驾驶辅助显示装置正在普及。而且，该装置的摄像显示范围被要求更宽的范围。为了实现更宽的显示范围，使用了多个车载摄像机的摄像或使用了广角镜头的摄像，然后到将摄像所得的宽范围的图像显示在受到限制的显示区域的方法是各种各样。作为表示在这样的驾驶辅助显示装置中使用了广角镜头的摄像的例子，可列举专利文献1。在上述专利文献1中，公开了图57所示的用广角镜头进行了摄像的情况下的摄像图像。作为这里所示的被摄体，101-1可以看成穿过车载摄像机的地面上的横直线，101-2 可以看成建筑物造成的距地面的垂直线。作为表示广角的摄像图像的校正处理的例子，可列举专利文献2。在上述专利文献2中，公开了图58所示的将整个四周的摄像图像按麦尔卡德尔 (Mercator)图法展开了的整个四周校正图像。将从图58截出了假设在水平方向大约相当 180°的范围的情况示于图59、图60。图59、图60所示的102-2-1可以看成建筑物造成的距地面的垂直线。此外，图59的102-2-2可以看成从车载摄像机这一侧向内方向上平行的人行横道的竖纹情况，图60的102-3-1可以看成穿过车载摄像机的地面上的横直线。作为使用了多个车载摄像机的摄像并示出该图像显示的例子，可列举专利文献3。在上述专利文献3中，如图61所示，在用三个车载摄像机摄像所得的图像中，示出了将来自对左后方进行摄像的角(angle)上安装了的车载摄像机的图像显示在左后方图像显示区域71上、将来自对右后方进行摄像的角上安装了的车载摄像机的图像显示在右后方图像显示区域72上、将来自对正后方进行摄像的角上安装了的车载摄像机的图像显示在正后方图像显示区域73上的图像。在这些图像配置中，左后方图像显示区域71及右后方图像显示区域72被设置，以被正后方图像显示区域73的上边覆盖。而且，从图61的状态3至状态5那样，横穿车辆的移动体T的位置对应于从左后方图像显示区域71移动到正后方图像显示区域73，在正后方图像显示区域73中，通过在位于连结到左后方图像显示区域71中的移动轨迹F的方向的正后方图像显示区域73的辅助图像引导轨迹F’上出现辅助图像M’，谋求隔断感的缓解和进行向正后方图像显示区域73 的目光的引导。现有技术文献
专利文献专利文献1 特开2007-22176号公报专利文献2 特开2008-5478号公报专利文献3 特开2008-258822号公报
发明内容
发明要解决的课题但是，如上述以往的专利文献1那样，在用广角镜头进行了摄像的情况下，原来为直线的101-1和101-2的被摄体，按相对镜头(lens)的光轴的角度的关系顺序，用眼观察被明显弯曲地摄像，所以在将摄像所得的图像直接显示的情况下，有难以目视识别101-1 是否为横向、101-2是否为垂直、或是否为直线的课题。作为形成容易目视识别这样的图像的图像的方案，可考虑专利文献2中公开的图像校正方法。在该校正方法中，上述垂直的被摄体如102-2-1那样，在显示图像上被显示为垂直的直线，所以垂直的被摄体的目视识别性好。但是，在地面的102-3-1中与101-1同等地弯曲，正面附近被横方向地显示，而且在左右的较远的位置以接近纵向的斜度来显示，所以102-3-1整体地为横方向，还是为直线，与上述专利文献1同样难以目视识别。此外，在辅助驾驶的用途上，为了目视识别车辆之间的位置关系，有时将保险杠等车身端部映入在图像的下侧，但该情况中也有同样的弯曲，所以也难以目视识别保险杠等的车身端部。在102-2-2中有关从人行横道的摄像位置起前后方向的情况，该情况相当于靠近摄像位置的位置，在该位置上，前后方向的直线明显地向左右外侧扩大地弯曲，所以也有难以目视识别作为辅助驾驶的自身的车宽和车辆的行进方向之间的关系的课题。另一方面，如果是通过非广角的镜头进行摄像，则不进行上述专利文献2那样的图像校正，也可以无明显弯曲地进行直线的被摄体的摄像。该情况下，如上述那样，有专利文献3那样的显示例子，但在移动体T从左后方图像显示区域71移动到正后方图像显示区域73时，需要使视线从位于左后方图像显示区域71右侧的视线移动到与左后方图像显示区域71上的移动体T的移动方向相反方向的位于正后方图像显示区域73左侧的图像出现位置Q。尽管通过辅助图像M’的显示而引导视线移动到正后方图像显示区域73，但因不是完全向图像出现位置Q的引导，向图像出现位置Q的视线的移动方向和移动宽度不改变， 所以在头脑中考虑位置关系的时间过长，有车辆操作可能迟缓的课题，并且有因在对正后方进行摄像的角上为非广角的镜头，难以将与正后方为大角度差的保险杠等的车身端部映入、显示的课题。为了解决上述课题，本发明的目的在于，在从车辆后方、或前方的前、左右及下方向的宽范围的摄像进行显示中，提供容易进行对应于目标的目视识别性好的被摄体的形状显示、提高被摄体和车辆的方向性或位置关系的目视识别性、以及对在画面上移动的被摄体的视线的移动的驾驶辅助显示装置。
用于解决课题的方案为了解决上述以往的课题，本发明的驾驶辅助显示装置包括一个或多个摄像单元，对车辆后方、或前方的前、左右及下方向的宽范围从相同位置进行摄像；图像处理单元， 将校正了由所述摄像单元摄像所得的车辆的校正图像分割配置在任意的校正图像显示区域中，将屏蔽描绘(mask scanning)在任意的显示位置上与分割配置了的所述校正图像进行合成；以及图像显示单元，显示由所述图像处理单元处理过的处理图像，所述图像处理单元生成进行校正的前方向校正图像、左方向校正图像、右方向校正图像以及下方向校正图像，在对于与水平的地面平行的车辆前后方向平行的前方向虚拟视线垂直的前方向平面上，将与所述地面水平垂直的正方形的框格进行了摄像的情况下，对其进行校正，以使所述前方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形，并且显示的正方形或长方形的大小相同，从而生成所述前方向校正图像，在对于从所述车辆前后方向向左超过0°且低于90°的左方向虚拟视线垂直的左方向平面上，将与所述地面水平垂直的正方形的框格进行了摄像的情况下，对其进行校正，以使所述左方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形，并且显示的正方形或长方形的大小相同，从而生成所述左方向校正图像，在对于从所述车辆前后方向向右超过0°且低于90°的右方向虚拟视线垂直的右方向平面上，将与所述地面水平垂直的正方形的框格进行了摄像的情况下，对其进行校正，以使所述右方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形，并且显示的正方形或长方形的大小相同，从而生成所述右方向校正图像，以及在对于从所述车辆前后方向向下垂直超过0°且在90°以内的下方向虚拟视线垂直的下方向平面上，将由平行于车辆左右方向的直线和对平行于所述车辆左右方向的直线为直角的直线构成的正方形的框格进行了摄像的情况下，对其进行校正，以使所述平行直角构成的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形，并且显示的正方形或长方形的大小相同，从而生成所述下方向校正图像，在前方向校正图像显示区域中显示所述前方向校正图像，在左方向校正图像显示区域中显示所述左方向校正图像，在右方向校正图像显示区域中显示所述右方向校正图像，在下方向校正图像显示区域中显示所述下方向校正图像，所述前方向校正图像显示区域的形状中的左边及右边在显示的图像上为垂直的直线，下边在显示的图像上为水平的直线，所述左方向校正图像显示区域的形状中的右边在显示的图像上为垂直的直线，下边为与平行于所述车辆前后方向且偏向摄像位置左侧的所述地面上的直线一致的直线，所述右方向校正图像显示区域的形状中的左边在显示的图像上为垂直的直线，下边为与平行于所述车辆前后方向且偏向摄像位置右侧的所述地面上的直线一致的直线，所述下方向校正图像显示区域的形状中的上边在显示的图像上为水平且与在摄像位置前侧平行于与所述地面上水平的车辆左右方向的所述地面上的直线一致的直线，左边为在平行于所述车辆前后方向且与偏向摄像位置左侧的所述地面上的直线一致的直线，右边为与平行于所述车辆前后方向且偏向摄像位置右侧的所述地面上的直线一致的直线，进行配置，以使所述前方向校正图像显示区域的左边和所述左方向校正图像显示区域的右边、所述前方向校正图像显示区域的右边和所述右方向校正图像显示区域的左边、所述前方向校正图像显示区域的下边和所述下方向校正图像显示区域的上边分别相互地邻接，三个邻接的边附近的彼此的显示区域中显示的摄像图像为一致的关系，根据用途，将维持了所述四个校正图像显示区域之间的关系的全体图像左右反转，将三个邻接的边上线或虚线的任意色的屏蔽描绘和所述四个校正图像显示区域以外的间隙进行以任意色填充了的屏蔽描绘。根据该结构，对于车辆后方、或前方的前、左右及下方向的宽范围的摄像图像，首先可以同时地显示整个范围。此外，可以将各个校正图像显示区域中显示的图像，校正为垂直于以车辆前后方向为基准的左方向、右方向及下方向上的平面上的变形的图像。此外，可以按与实际方向类似的关系显示各个显示区域。此外，可以将在前方向和左方向、右方向或下方向上移动的被摄体不间断而连续地显示。此外，可以将各个校正图像显示区域中显示的直线的被摄体完全直线显示。此外，可以将前、左右方向的上述地面上垂直的直线的被摄体在前方向、左方向或右方向的校正图像显示区域中以垂直的直线显示。此外，可以将前、下方向的上述地面上水平且车辆左右方向上平行的直线的被摄体在前方向、或下方向的校正图像显示区域中以水平的直线显示。此外，可以根据下方向校正图像显示区域的左边及右边、以及左方向及右方向校正图像显示区域的下边的形状，表现上述地面上的车辆前后方向。此外，可以显示邻接的各个显示区域的边界。此外，本发明的驾驶辅助显示装置，对于在与所述左方向校正图像显示区域或所述右方向校正图像显示区域的下边一致的所述车辆前后方向上平行的所述地面上的直线， 比较所述前方向校正图像显示区域中显示的图像上的斜度和所述左方向校正图像显示区域或所述右方向校正图像显示区域中显示的图像上的斜度，为了所述左方向校正图像显示区域或所述右方向校正图像显示区域中显示的斜度接近水平方向，进行左方向虚拟视线及右方向虚拟视线的角度的调节，或进行在水平方向上拉长左方向平面及右方向平面上的正方形的框格的显示形状的调节。根据该结构，可以使在左方向或右方向校正图像显示区域中显示的、摄像高度以外的车辆前后方向的直线保留被显示的图像上的斜度，并且减轻该斜度。此外，本发明的驾驶辅助显示装置，在将所述左方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述左方向校正图像显示区域中达到可目视识别程度的平缓的左下垂且相同大小的平行四边形的框格，在将所述右方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述右方向校正图像显示区域中达到可目视识别程度的平缓的右下垂且相同大小的平行四边形的框格。根据该结构，可以将前方向校正图像显示区域的地平线对于显示的图像上形成为水平，将左方向校正图像显示区域的地平线在显示的图像上形成左下垂，将右方向校正图像显示区域的地平线在显示的图像上形成右下垂。此外，本发明的驾驶辅助显示装置，为了所述左方向校正图像显示区域的下边和所述下方向校正图像显示区域的左边、所述右方向校正图像显示区域的下边和所述下方向校正图像显示区域的右边分别彼此邻接，仍然使分别彼此邻接了的两个边附近中的彼此的显示区域中显示的摄像图像为一致的关系，在分别彼此邻接了的两个边上进行线或虚线的任意色的屏蔽描绘。根据该结构，也可以将在左方向和下方向、或右方向和下方向移动的被摄体不间断而连续地显示。此外，本发明的驾驶辅助显示装置，在将所述左方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述左方向校正图像显示区域中达到可目视识别程度的平缓的左下垂且相同大小的平行四边形的框格，在将所述右方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述右方向校正图像显示区域中达到可目视识别程度的平缓的右下垂且相同大小的平行四边形的框格。根据该结构，防止下方向校正图像显示区域中的若干纵向拉长，并且对于前方向校正图像显示区域的地平线在显示的图像上为水平的情况来说，可以使左方向校正图像显示区域的地平线在显示的图像上为左下垂，右方向校正图像显示区域的地平线在显示的图像上为右下垂。此外，本发明的驾驶辅助显示装置，将平行于所述车辆前后方向的所述地面上的车辆前后方向直线和平行于所述车辆左右方向的所述地面上的车辆左右方向直线之间的交点设在以下位置，即，穿过摄像位置正下方的所述地面上的摄像原点，车辆将方向盘最大地转向了的情况下通过的所述地面上的车辆通过范围内的最内侧的圆相切的切线附近，平行于所述车辆前后方向的所述地面上的车辆前后方向直线与所述下方向校正图像显示区域的左边或右边一致，或与所述左方向校正图像显示区域或所述右方向校正图像显示区域的下边一致，平行于所述车辆左右方向的所述地面上的车辆左右方向直线与所述下方向校正图像显示区域的上边一致，或与所述前方向校正图像显示区域的下边一致。根据该结构，除了将垂直的立体物垂直地显示以外，车辆通过范围的最内侧的圆， 在与前方向校正图像显示区域和左方向校正图像显示区域、或右方向校正图像显示区域之间的关系中，主要位于左方向校正图像显示区域、或右方向校正图像显示区域，并且成为相切到前方向校正图像显示区域和左方向校正图像显示区域、或右方向校正图像显示区域的边界的位置关系。发明效果如以上那样，根据本发明的驾驶辅助显示装置，将前、左右、及下方向的宽范围无缺陷地显示，将图像整体以接近实际的视线的形状和配置来显示，而且将位于远处的水平线贯穿三个显示区域水平地显示，从最近距离到远处的范围的被摄体，如从一个位置环视了那样容易识别图像整体。此外，由于将在前后方向、或隔开了一定以上的距离的左右方向移动的被摄体无间断或无阶梯差地显示，所以在辅助驾驶上有效的左右方向或前后方向的视线的移动容
易ο此外，由于将直线的被摄体在各个显示区域内完全以直线显示，所以在容易识别方向性的基础上，由于在相当于左右环视的图像中将垂直于上述地面的直线垂直地显示， 所以在辅助驾驶上提高有效的上述地面和障碍物之间的上下关系的目视识别性，由于将在相当于上下环视了的图像中车辆的正侧面方向的直线水平地显示，所以与抑制了保险杠等的变形的车辆端部的显示相配而提高对横方向的车辆方向关系的目视识别性，而且通过与显示区域的边的形状相配，还提高在辅助驾驶上有效的车辆的前后方向的目视识别性。邻接的各个显示区域的边界部分的直线弯曲，但通过屏蔽描绘而能够识别它们的 边界，所以可以识别视线对各个不同显示区域不同的事实。此外，根据本发明的驾驶辅助显示装置，左方向及右方向校正图像显示区域中显 示的上述地面上的车辆前后方向直线，由于越远的位置，越留存靠近地平线的斜度，所以车 辆前后方向的进深的目视识别性被保持，但由于被摄体的车辆前后方向的图像的斜度也被 减轻，所以能够接近于实际视线的观察方式，提高被摄体的目视识别性。此外，根据本发明的驾驶辅助显示装置，即使在对附近没有立体物情况的什么也 没有的上述地面进行了摄像的情况，也成为在显示地平线的图像上能够识别程度的山形弧 线的显示，所以可以目视识别为前方向校正图像显示区域显示前方向，左方向校正图像显 示区域显示左方向，右方向校正图像显示区域显示右方向。此外，根据本发明的驾驶辅助显示装置，由于从左右方向到下方向都被无间断或 无阶梯差地显示，所以更容易识别显示的整体图像的位置关系，而且对画面上移动的被摄 体的视线的移动容易贯穿显示的整个图像上。此外，根据本发明的驾驶辅助显示装置，即使在下方向校正图像显示区域连上左 方向及右方向校正图像显示区域的情况下，也对下方向校正图像显示区域的目视识别性 无影响而可以目视识别为前方向校正图像显示前方向，左方向校正图像显示区域显示左方 向，右方向校正图像显示区域显示右方向。此外，根据本发明的驾驶辅助显示装置，表示左方向、或右方向的校正图像显示区 域和前方向校正图像显示区域的边界的直线的屏蔽描绘，在将方向盘最大地转向了的情况 下成为是否与立体物接触的目标线，进入车库等的车的移动和障碍物之间的位置关系的目 视识别性提高。
图1是本发明实施方式1、2、3、4、5、6中的驾驶辅助显示装置的概略结构图。图2是本发明实施方式1、2、3、4、5、6中的驾驶辅助显示装置的概略结构图。图3是本发明实施方式1、2、3、4、5、6中的驾驶辅助显示装置的概略结构图。图4是表示对本车辆的车载摄像机的详细的装载状态的图。图5是表示对本车辆的车载摄像机的详细的装载状态的图。图6是表示车载摄像机2摄像的被摄体的图。图7是表示车载摄像机2摄像的被摄体的图。图8是表示车载摄像机2摄像的被摄体的图。图9是表示车载摄像机2摄像的被摄体的图。图10是表示车载摄像机2摄像的被摄体的图。图11是表示车载摄像机2摄像的被摄体的图。图12是表示车载摄像机2摄像的被摄体的图。图13是表示车载摄像机2摄像的被摄体的图。图14是表示与车辆通过范围之间的位置关系的图。图15是摄像图像。
图16是本发明实施方式1的处理后的显示图像。图17是本发明实施方式1的处理后的显示图像。图18是本发明实施方式1的处理后的显示图像。图19是本发明实施方式1的处理后的显示图像。图20是本发明实施方式1的处理后的显示图像。图21是本发明实施方式1的处理后的显示图像。图22是本发明实施方式1的处理后的显示图像。图23是本发明实施方式1的处理后的显示图像。图M是本发明实施方式1的处理后的显示图像。图25是本发明实施方式1的处理后的显示图像。图沈是摄像图像。图27是本发明实施方式1的处理对象外的显示图像。图28是本发明实施方式1的处理对象外的显示图像。图四是本发明实施方式1的处理对象外的显示图像。图30是摄像图像。图31是本发明实施方式1的处理对象外的显示图像。图32是本发明实施方式1的处理对象外的显示图像。图33是本发明实施方式1的处理对象外的显示图像。图34是摄像图像。图35是本发明实施方式2的处理后的显示图像。图36是本发明实施方式2的处理后的显示图像。图37是本发明实施方式2的处理后的显示图像。图38是本发明实施方式2的处理后的显示图像。图39是本发明实施方式2、6的处理后的显示图像。图40是本发明实施方式3的处理后的显示图像。图41是本发明实施方式3的处理后的显示图像。图42是本发明实施方式3的处理后的显示图像。图43是本发明实施方式3的处理后的显示图像。图44是摄像图像。图45是本发明实施方式4的处理后的显示图像。图46是本发明实施方式4的处理后的显示图像。图47是本发明实施方式4的处理后的显示图像。图48是本发明实施方式4的处理后的显示图像。图49是本发明实施方式4的处理后的显示图像。图50是本发明实施方式4的处理后的显示图像。图51是本发明实施方式4的处理后的显示图像。图52是本发明实施方式5的处理后的显示图像。图53是本发明实施方式5的处理后的显示图像。图M是本发明实施方式5的处理后的显示图像。
图55是本发明实施方式5的处理后的显示图像。图56是本发明实施方式2、6的处理后的显示图像。图57是以广角镜头进行了摄像的情况下的摄像图像。图58是以麦尔卡德尔图法展开了的整个四周校正图像。图59是从整个四周校正图像中的截取出的校正图像。图60是从整个四周校正图像中的截取出的校正图像。图61是以往的显示图像。标号说明1本车辆2车载摄像机2-1 2-n车载摄像机3图像处理单元4监视器5图像处理装置6车辆原点7 光轴8地平线9 图像圈(image circle)10保险杠11长方体12-1，12-2，12-3 长方体13长方体21前方向平面上的框格21G车辆左右方向直线21L垂直线21R垂直线21-1前方向虚拟视线21-2前方向平面22-1下方向平面上的框格22-1-1下方向虚拟视线22-1-2下方向平面22-2下方向平面上的框格22-2-1下方向虚拟视线22-2-2下方向平面23-1L左方向平面上的框格23-1-1L左方向虚拟视线23-1-2L左方向平面23-1R右方向平面上的框格23-1-1R右方向虚拟视线
23-1-2R右方向平面23-2L左方向平面上的框格23-2-1L左方向虚拟视线23-2-2L左方向平面23-2R右方向平面上的框格23-2-1R右方向虚拟视线23-2-2R右方向平面23-3L左方向平面上的框格23-3-1L左方向虚拟视线
23-3-2L左方向平面23-3R右方向平面上的框格23-3-1R右方向虚拟视线23-3-2R右方向平面23-4L左方向平面上的框格23-4-1L左方向虚拟视线23-4-2L左方向平面23-4R右方向平面上的框格23-4-1R右方向虚拟视线23-4-2R右方向平面M地面上的直线24-15L车辆前后方向直线M-15R车辆前后方向直线25-1地面上的摄像原点25-2车辆通过范围圆的中心25-3车辆通过范围内侧的圆25-4车辆通过范围外侧的圆25-5 切线25-6 切点25-7图像分离基准点25-8图像分离点30摄像原点41-1前方向校正图像显示区域41-2下方向校正图像显示区域41-3L左方向校正图像显示区域41-3R右方向校正图像显示区域41-4虚线屏蔽描绘41-5L虚线屏蔽描绘41-5R虚线屏蔽描绘41-6L面屏蔽描绘
41-6R面屏蔽描绘41-7L面屏蔽描绘41-7R面屏蔽描绘42-3L左方向校正图像显示区域42-3R右方向校正图像显示区域42-5L虚线屏蔽描绘42-5R虚线屏蔽描绘42-6L面屏蔽描绘42-6R面屏蔽描绘43-3L左方向校正图像显示区域43-3R右方向校正图像显示区域43-5L虚线屏蔽描绘43-5R虚线屏蔽描绘43-6L面屏蔽描绘43-6R面屏蔽描绘43-7L面屏蔽描绘43-7R面屏蔽描绘44-3L左方向校正图像显示区域44-3R右方向校正图像显示区域44-5L虚线屏蔽描绘44-5R虚线屏蔽描绘44-6L面屏蔽描绘44-6R面屏蔽描绘44-7L面屏蔽描绘44-7R面屏蔽描绘45-3L左方向校正图像显示区域45-3R右方向校正图像显示区域45-5L虚线屏蔽描绘45-5R虚线屏蔽描绘45-6L面屏蔽描绘45-6R面屏蔽描绘45-7L面屏蔽描绘45-7R面屏蔽描绘46-2下方向校正图像显示区域46-4虚线屏蔽描绘46-8L虚线屏蔽描绘46-8R虚线屏蔽描绘47-2下方向校正图像显示区域47-3L左方向校正图像显示区域
47-3R右方向校正图像显示区域47-4虚线屏蔽描绘47-5L虚线屏蔽描绘47-5R虚线屏蔽描绘47-7L面屏蔽描绘47-7R面屏蔽描绘47-8L虚线屏蔽描绘47-8R虚线屏蔽描绘70显示装置(移动体图像显示装置)71左后方图像显示区域(第一显示区域)72右后方图像显示区域(第三显示区域)73正后方图像显示区域(第二显示区域)101-1地面上的横直线101-2距地面的垂直线102-2-1距地面的垂直线102-2-2人行横道的竖纹情况102-3-1地面上的横直线F移动轨迹F’辅助图像引导轨迹M’辅助图像Q图像出现位置T移动体XX 车由yy 轴zz 车由
具体实施例方式以下，参照
本发明的实施方式。(实施方式1)图1是本发明的实施方式1的结构图。在图1中，1是装载驾驶辅助显示装置的本车辆，2是对宽范围进行摄像的使用了广角镜头的一个车载摄像机，3是将车载摄像机2摄像所得的图像进行了校正的校正图像分割配置在任意的校正图像显示区域中，并作为在任意的显示位置进行屏蔽描绘的图像单元，被内置在车载摄像机2中。4是显示由图像处理单元3进行了处理的图像的监视器。再有，图像处理单元3可以是如图2所示那样被内置在监视器4中的结构，也可以是如图3所示那样被内置在图像处理装置5中的结构。此外，在使用未使用广角镜头的车载摄像机的情况下，如图3所示，也可以是使用了从多个车载摄像机2-1至2-n的结构。
但是，这种情况下，由于有可能在校正后的图像的连接的关系上出现差异，所以假设将车载摄像机之间相互靠近，直至在显示的图像中该差异不明显为止。图1 图3是将车载摄像机2装载在了车辆的后方的图，也可以装载在车辆的前方。在本发明的实施方式1及以后的实施方式中，假设装载在车辆后方。图4及图5表示对本车辆1的车载摄像机2的详细的装载状态。图4是从上方观察了本车辆1的图。以后假设地面是水平的，10是本车辆1后方侧的保险杠，y是表示与地面平行且为本车辆1的前后方向，并且作为本车辆1的左右方向的中心的y轴。χ是表示与地面平行且为本车辆1的左右方向，并且作为位于本车辆1最末尾的保险杠端的X轴。假设6是y轴和χ轴交叉点即车辆原点。假设将车载摄像机2配置在y轴上。图5是从侧面观察了本车辆1的图。y是与图4相同的y轴。ζ是与地面垂直且位于本车辆1最末尾的保险杠端的ζ轴，与图4同一车辆原点6 交叉。7是车载摄像机2的镜头的光轴，假设与y轴形成的角为40°。30是表示摄像位置的摄像原点，假设车载摄像机2的摄像位置距车辆原点6在y 轴方向-0. lm、ζ轴方向0. 9mο此外，假设最末尾的保险杠端的ζ轴方向为0. 6m。再有，这些角度和位置关系是一个例子，实际上因车辆的种类而各种各样地不同。图6、图7、图9及图13表示以车辆原点6为基准的车载摄像机2进行摄像的被摄体。在图6中，21-1是平行于y轴的前方向虚拟视线，21-2是垂直于前方向虚拟视线 21-1且位于y轴方向1. 2m的前方向平面，21是在前方向平面21_2上、以0. 5m的均等间隔相对于地面为平行直角的正方形的图中所示的范围的前方向平面上的框格，21G是前方向平面上的框格21中包含的地面上的车辆左右方向直线，21L是前方向平面上的框格21中包含的、距车辆原点6位于χ轴方向1.5m的垂直线，21R是前方向平面上的框格21中包含的、距车辆原点6位于χ轴方向-1. 5m的垂直线。在图7中，21G是与图6中的车辆左右方向直线21G相同的直线，22_1_1是从y轴为下90°的方向的下方向虚拟视线，22-1-2是垂直于下方向虚拟视线22-1-1且位于地面上的下方向平面，22-1是由在下方向平面22-1-2上、以0. 5m的均等间隔相对于车辆左右方向直线21G为平行直角的正方形的图中所示的范围的下方向平面上的框格、和由车辆左右方向直线21G、以及与相当于车载摄像机2的正下方的χ轴平行的地面上的直线构成的下方向平面上的框格。在图9中，21L是与图6中的垂直线21L相同的垂直线，21R是与图6中的垂直线 21R相同的垂直线，23-1-1L是从y轴为左45°的方向的左方向虚拟视线，23-1-2L是垂直于左方向虚拟视线23-1-1L且距车辆原点6在χ轴方向经过1. 5m、在y轴方向经过1. 2m的左方向平面，23-1L是在左方向平面23-1-2L上、以0. 5m的均等间隔相对于地面为平行直角的正方形、包含垂直线21L的图中所示的范围的左方向平面上的框格，23-1-1R是从y轴为右45°的方向的右方向虚拟视线，23-1-2R是垂直于右方向虚拟视线23-1-1R且距车辆原点6在χ轴方向经过-1. 5m、在y轴方向经过1. 2m的右方向平面，23-1R是在右方向平面 23-1-2R上、以0. 5m的均等间隔相对于地面为平行直角的正方形、包含垂直线21R的图中所示的范围的右方向平面上的框格。在图13中，M是由y轴方向-0. lm、以及从Om至3. 5m按0.5m间隔平行于χ轴的 9条无限长的直线和χ轴方向10m、-10m、从Om至士2. 5m按0. 5m间隔平行于y轴且y轴正方向无限长的13条直线组成的地面上的直线，24-15L是地面上的直线M中包含的、位于χ轴方向1. 5m的车辆前后方向直线，24-15R是地面上的直线M中包含的、位于χ轴方向-1.5m的车辆前后方向直线。图15是进行图像处理前的摄像图像。在图4及图5所示的装载状态中，将图6、图7及图9所示的前方向平面上的框格 21、下方向平面上的框格22-1、左方向平面上的框格23-1L以及右方向平面上的框格23-1R 和地平线8同时进行了摄像时，假设为图15那样进行摄像的图像。9是图像圈，假设为从镜头光轴至90°的方向为止进行摄像的图像。在用广角的镜头进行了摄像的情况下，图像圈内所示的各个线的那样原来直线的被摄体被各式各样地弯曲摄像。下面说明图像处理单元3的处理。图16至图25是摄像所得的图像由图像处理单元5进行相同处理，并由监视器4 显示了的显示图像。通常，车辆后方的摄像图像的显示一般为显示将图像整体左右反转了的镜像，但在本发明的实施方式1及以后的实施方式中，为了容易地说明摄像图像和显示图像的左右关系，假设以完全不进行左右反转的图像作为例子。图16是表示对监视器4的显示范围的图像处理单元3的处理后的图像配置的图。41-1是在显示范围的中央上侧配置了的前方向校正图像显示区域，41-2是在前方向校正图像显示区域41-1的下面配置了的下方向校正图像显示区域，41-3L是在前方向校正图像显示区域41-1的左边配置了的左方向校正图像显示区域，41-3R是在前方向校正图像显示区域41-1的右边配置了的右方向校正图像显示区域，41-4是虚线屏蔽描绘，以使任意色的虚线在前方向校正图像显示区域41-1和下方向校正图像显示区域41-2邻接的边的显示位置总被显示，41-5L是虚线屏蔽描绘，以使任意色的虚线在前方向校正图像显示区域41-1和左方向校正图像显示区域41-3L邻接的边的显示位置总被显示，41-5R是虚线屏蔽描绘，以使任意色的虚线在前方向校正图像显示区域41-1和右方向校正图像显示区域 41-3R邻接的边的显示位置总被显示，41-6L、41-6R、41-7L及41-7R是面屏蔽描绘，以使任意色在前方向校正图像显示区域41-1、下方向校正图像显示区域41-2、左方向校正图像显示区域41-3L及右方向校正图像显示区域41-3R以外的显示区域总被显示。图17是将图15的摄像图像以图16的配置进行了处理的图像。图17中的前方向校正图像显示区域41-1中显示的图像，在被摄体处于前方向平面上的框格21的情况下进行校正，以使其在显示上为水平垂直的正方形并且各自的正方形的大小相同。
再有，显示的框格也可以进行校正，以使其为长方形。此外，前方向校正图像显示区域41-1中的下边与车辆左右方向直线21G —致，左边与垂直线21L —致，右边与垂直线21R —致。下方向校正图像显示区域41-2中显示的图像，在被摄体处于下方向平面上的框格22-1中的正方形框格的情况下进行校正，以使其在显示上为水平垂直的正方形并且各自的正方形的大小相同。再有，显示的框格也可以进行校正，以使其为长方形。此外，下方向校正图像显示区域41-2中的上边与车辆左右方向直线21G —致，与前方向校正图像显示区域41-1的下边的配置邻接，χ轴方向的位置与前方向校正图像显示区域41-1中的下边的车辆左右方向直线21G的χ轴方向的位置一致。此外，下方向校正图像显示区域41-2中的左边与垂直线21L和χ轴方向上为同一距离的车辆前后方向直线M-15L —致。此外，下方向校正图像显示区域41-2中的右边与垂直线21R和χ轴方向上为同一距离的车辆前后方向直线M-15R —致。再有，下方向校正图像显示区域41-2中的下边与位于摄像位置的y轴方向-0. Im 一致，但在y轴方向上显示至哪里是任意的。左方向校正图像显示区域41-3L中显示的图像，在被摄体处于左方向平面上的框格23-1L的情况下进行校正，以使其在显示上为水平垂直的竖长形的长方形并且各自的竖长形的长方形的大小相同。左方向平面上的框格23-1L在左方向平面上无限地连续并且为正方形的框格的情况下进行校正，以贯穿左方向校正图像显示区域41-3L整体来显示长方形的框格。再有，显示的框格也可以进行校正，以使其为正方形、横长型的长方形。此外，左方向校正图像显示区域41-3L中的右边与垂直线21L —致，与前方向校正图像显示区域41-1的左边的配置邻接，ζ轴方向的位置与前方向校正图像显示区域41-1中的左边的垂直线21L的ζ轴方向的位置一致。此外，左方向校正图像显示区域41-3L中的下边与垂直线21L和χ轴方向上为同一距离的车辆前后方向直线M-15L —致。再有，左方向校正图像显示区域41-3L中的左上部的左下垂的边是图像圈9，在距该边的左上部中图像没有被摄像。因此，与面屏蔽描绘41-7L —起成为斜的形状，但如果根据装载状态或镜头的特性而能够摄像，则该边是不要的。此外，左方向校正图像显示区域41-3L中的左边与位于摄像位置的y轴方向-0. Im 一致，但在y轴方向上显示至哪里是任意的。右方向校正图像显示区域41-3R中显示的图像，在被摄体处于右方向平面上的框格23-1R的情况下进行校正，以使其在显示上为水平垂直的横长形的长方形并且各自的竖长形的长方形的大小相同。右方向平面上的框格23-1R在右方向平面上无限地连续并且为正方形的框格的情况下进行校正，以贯穿右方向校正图像显示区域41-3R整体来显示长方形的框格。再有， 显示的框格也可以进行校正，以使其为正方形、竖长型的长方形。此外，右方向校正图像显示区域41-3R中的左边与垂直线21R—致，与前方向校正图像显示区域41-1的右边的配置邻接，ζ轴方向的位置与前方向校正图像显示区域41-1中的右边的垂直线21R的ζ轴方向的位置一致。右方向校正图像显示区域41-3R中的下边与垂直线21R和χ轴方向上为同一距离的车辆前后方向直线M-15R —致。再有，右方向校正图像显示区域41-3R中的右上部的右下垂的边是图像圈9，在距该边的右上部中图像没有被摄像。因此，与面屏蔽描绘41-7R —起成为斜的形状，但如果根据装载状态或镜头的特性而能够摄像，则该边是不要的。此外，右方向校正图像显示区域41-3R中的右边与位于摄像位置的y轴方向-0. Im 一致，但在y轴方向上显示至哪里是任意的。通过以上那样的图像处理单元3的处理，在将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时地进行了摄像的情况下，图18那样地显示。除了地面上的直线M和地平线8及本车辆1的保险杠10以外，在将1边为1. 5m 的正六面体且地面上存在的长方体11同时地进行了摄像的情况下，长方体11位于y轴方向1. 5m、χ轴方向IOm时，图19那样地显示，长方体11位于y轴方向1. 5m、χ轴方向2. 5m 时，图20那样地显示，长方体11位于y轴方向1. 5m、χ轴方向1. Om时，图21那样地显示， 长方体11位于y轴方向3. 5m、χ轴方向2. 5m时，图22那样地显示，长方体11位于y轴方向2. 5m、χ轴方向2. 5m时，图23那样地显示，长方体11位于y轴方向0. 5m、χ轴方向2. 5m 时，图M那样地显示。除了地面上的直线M和地平线8及本车辆1的保险杠10以外，地面上存在且宽度0. 5m、进深0. lm、高度0. Im的长方体，即位于χ轴方向0. 5m和-0. 5m两个位置并位于y 轴方向1. 5m的长方体12-1、位于y轴方向1. Im的长方体12_2和位于y轴方向0. 5m的长方体12-3同时地进行了摄像的情况，图25那样地显示。比较图15和图17可知，前方向平面上的框格21、下方向平面上的框格22-1、左方向平面上的框格23-1L、右方向平面上的框格23-1R被正方形或长方形地显示，所以将作为车辆前后方向的y轴为基准，按接近0°、左右45°、正下方90°的虚拟的视线的形状来变换处理图像。而且，在与实际的视线的观察方式近似的配置关系上，有前方向校正图像显示区域41-1、下方向校正图像显示区域41-2、左方向校正图像显示区域41-3L、右方向校正图像显示区域41-3R。即使从图18至图25中显示的地面上的直线对、地平线8、保险杠10、位于各个位置的长方体11、长方体12-11至长方体12-3的显示位置或形状来观察，这些区域也是清楚的。而且，所有的直线以直线显示，在相当于进行了左右的环视的前方向校正图像显示区域41-1、左方向校正图像显示区域41-3L、右方向校正图像显示区域41-3R中，垂直于地面的直线在显示的图像上垂直地显示，在相当于进行了本车辆1的后方的上下的环视的前方向校正图像显示区域41-1、下方向校正图像显示区域41-2中，平面于地面的车辆左右方向的直线在包含各个长方体显示的图像上水平地显示。在图18中的左方向校正图像显示区域41-3L及右方向校正图像显示区域41-3R 中，能够显示地面上的直线M中的y轴方向-0. Im且平行于χ轴的无限长的直线和直至该直线和地平线8交叉的位置，所以能够进行从车载摄像机2的位置至水平方向为180°的范围为止的广角的显示。在图17中的下方向平面上的框格22-1中，能够显示y轴方向_0. Im且平行于χ 轴的直线，所以能够显示至车载摄像机2的正下方的位置。在图18中，车辆前后方向直线对_151^及车辆前后方向直线M-15R能够分别显示下方向校正图像显示区域41-2、左方向校正图像显示区域41-3L及右方向校正图像显示区域41-3R，所以可以无欠缺地显示车辆前后方向直线M-15L及车辆前后方向直线M-15R附近的摄像图像。图19至图21是与图61的移动体同样，长方体11从本车辆1的左方向移动到右方向，长方体11的显示位置从左方向校正图像显示区域41-3L向前方向校正图像显示区域 41-1移动的例子，尽管在跨越左方向校正图像显示区域41-3L和校正图像显示区域41-1的位置且在长方体11的线上发生弯曲点，但显示位置移动而没有所谓线错位的阶梯差，视线仍然继续从左向右的移动。右方向校正图像显示区域41-3R和校正图像显示区域41-1之间的关系也是同样。图22至图M是与在本车辆1的后方并且位于侧面的长方体11在车辆前后方向靠近本车辆1，或本车辆1在车辆前后方向移动到长方体11方向而靠近长方体11同样的例子，长方体11的显示位置的移动与图19至图21同样，除了显示位置无阶梯差地移动，视线仍然继续从右向左的移动以外，显示的图像的上下方向的大小与长方体11和本车辆1之间的距离靠近相配而变大，距离感的目视识别性得到保证。而且，也可以从左方向校正图像显示区域41-3L的下边的斜度容易地想象该情况下的长方体11的移动方向。图25是假设本车辆1在入车库等中后退，并靠近停车的情况的例子，长方体12-1 至长方体12-3是同时表示了与本车辆1之间的距离靠近场面的图。这种情况也与图19至图21的长方体11的移动同样，尽管线上发生弯曲点，但显示位置无所谓线错位的阶梯差地移动，视线仍然继续从上向下的移动。而且，也可以从下方向校正图像显示区域41-2的左边及右边的斜度容易地想象该情况下的长方体12-1至长方体12-3的移动方向。再有，前方向虚拟视线21-1、下方向虚拟视线22-1-1、左方向虚拟视线23-1-1L、 右方向虚拟视线23-1-1R也可以通过每个位置。此外，为了简单地图示使各个方向校正图像显示区域的边界上显示的图像一致的事实，使各个方向平面的交叉位置和各个方向校正图像显示区域的边界的位置直接一致，但如果对于前方向平面21-2、下方向平面22-1-2、左方向平面23-1-2L、右方向平面 23-1-2R，如果基于各个方向虚拟视线的角度得到保证，则也可以通过每个位置，对于前方向平面上的框格21、下方向平面上的框格22-1、左方向平面上的框格23-1L、右方向平面上的框格23-1R，只要在各个方向平面内成为正方形的框格的被摄体即可。另一方面，左方向虚拟视线23-1-1L及右方向虚拟视线23_1_1R从y轴在左或右方向上不为0°或90°。假设从y轴达到了左0°及从y轴达到了右0°的情况下，相当于图9所示的左方向平面上的框格23-1L、右方向平面上的框格23-1R的框格成为图11所示的左右方向平面的框格23-3L、右方向平面上的框格23-3R。因此，将图6、图7、图11所示的前方向平面上的框格21、下方向平面上的框格
22-1、左方向平面上的框格23-3L及右方向平面上的框格23-3R和地平线8同时地进行了摄像的情况下，图26那样摄像的相当于图16的图像配置，例如成为图27那样。图27所示的41-1、41-2、41_4与图16相同，42-3L是显示与左方向平面上的框格
23-3L对应的校正图像的左方向校正图像显示区域，42-3R是显示与右方向平面上的框格 23-3R对应的校正图像的右方向校正图像显示区域，42-5L是相当于虚线屏蔽描绘41-5L的虚线屏蔽描绘，42-5R是相当于虚线屏蔽描绘41-5R的虚线屏蔽描绘，42-6L、42-6R是相当于面屏蔽描绘41-6L、41-6R的面屏蔽描绘，图沈的摄像图像如图观那样显示。再有，左方向校正图像显示区域42-3L的左上部、右方向校正图像显示区域42-3R 的右上部为摄像的范围，所以没有相当于面屏蔽描绘41-7L及41-7R的面屏蔽描绘。将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时进行了摄像的情况如图四那样显示。特别地，左右方向180°相当于显示车辆左右方向无限长的直线，所以不可能被显
7J\ ο由此，可以说左右方向的显示范围变窄，但从图四可知，左方向及右方向的显示范围与图18比较，明显地变窄。而且，应该作为横方向的视线的图像被校正为相当于前方向的视线的图像，所以成为横方向上拉长了的不自然的形状。假设从y轴达到了左90°及从y轴达到了右90°的情况下，相当于图9所示的左方向平面上的框格23-1L、右方向平面上的框格23-1R的框格成为图12所示的左方向平面的框格23-4L、右方向平面上的框格23-4R。因此，将图6、图7、图12所示的前方向平面上的框格21、下方向平面上的框格
22-1、左方向平面上的框格23-4L及右方向平面上的框格23-4R和地平线8同时地进行了摄像的情况下，图30那样摄像的相当于图16的图像配置，例如成为图31那样。图31所示的41-1、41-2、41_4与图16相同，43-3L是显示与左方向平面上的框格
23-4L对应的校正图像的左方向校正图像显示区域，43-3R是显示与右方向平面上的框格 23-4R对应的校正图像的右方向校正图像显示区域，43-5L是相当于虚线屏蔽描绘41-5L的虚线屏蔽描绘，43-5R是相当于虚线屏蔽描绘41-5R的虚线屏蔽描绘，43-6L、43-6R、43-7L、 43-7R是相当于面屏蔽描绘41-6L、41-6R、41-7L、41-7R的面屏蔽描绘，图30的摄像图像如图32那样显示。将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时进行了摄像的情况如图33那样显示。从图33可知，左方向校正图像显示区域41-1中显示的车辆左右方向的直线、左方向校正图像显示区域43-3L及右方向校正图像显示区域43-3R中显示的车辆前后方向的直线被同时水平地显示，所以不担心前后关系和左右关系的区别。在下方向虚拟视线22-1-1中，根据与将左方向虚拟视线23-1-1L及右方向虚拟视线23-1-1R从y轴达到了上述左右0°的情况同样的原理，从y轴下方向上不为0°。如以上那样，根据本实施方式，无欠缺地显示前、左右及下方向的宽范围，以接近实际的视线和配置显示图像整体，而且位于远处的水平线贯穿三个三个显示区域而水平地显示，从最近距离至远处的范围的被摄体为止，如从一个位置环视了那样容易识别图像整体。此外，由于将在前后方向、或隔开了一定以上的距离的左右方向移动的被摄体无间断或无阶梯差地显示，所以在辅助驾驶上有效的左右方向或前后方向的视线的移动容
易ο此外，由于将直线的被摄体在各个显示区域内完全以直线显示，所以在容易识别方向性的基础上，由于在相当于左右环视的图像中将垂直于地面的直线垂直地显示，所以在辅助驾驶上提高有效的上述地面和障碍物之间的上下关系的目视识别性，由于将在相当于上下环视了的图像中车辆的正侧面方向的直线水平地显示，所以与抑制了保险杠等的变形的车辆端部的显示相配而提高对横方向的车辆关系的目视识别性，而且通过与显示区域的边的形状相配，还提高在辅助驾驶上有效的车辆的前后方向的目视识别性。邻接的各个显示区域的边界部分的直线弯曲，但通过屏蔽描绘而能够识别它的边界，所以可以识别视线对各个不同显示区域而不同的事实。(实施方式2)图37是根据本发明的实施方式1调节了左方向校正图像显示区域及右方向校正图像显示区域的本发明的实施方式2的显示图像。在图10中，23-1-1L是将图9中的左方向虚拟视线23-1-1L的从y轴左45°的方向调节到60°的左方向虚拟视线，23-2-2L是垂直于左方向虚拟视线23-2-1L且与左方向平面23-1-2L同样通过χ轴方向1.5m、y轴方向1. ^ii的左方向平面，23-2-1R是将9中的右方向虚拟视线23-1-1R的从y轴右45°的方向调节到60°的右方向虚拟视线，23-2-2R 是垂直于右方向虚拟视线23-2-1R且与右方向平面23-1-2R同样通过χ轴方向-1. 5m、y轴方向1. !的右方向平面，23-2L是在左方向平面23-2-2L上，相当于左方向平面上的框格 23-1L的图中所示范围的左方向平面上的框格，23-2R在右方向平面23-2-2R上，相当于右方向平面上的框格23-2R的图中所示范围的右方向平面上的框格。将图6、图7及图10所示的前方向平面上的框格21、下方向平面上的框格22-1、左方向平面上的框格23-2L及右方向平面上的框格23-2R和地平线8同时地进行了摄像的情况下，图34那样摄像的相当于图16的图像配置，例如成为图35那样。图35所示的41-1、41-2、41_4与图16相同，44-3L是显示与左方向平面上的框格 23-2L对应的校正图像的左方向校正图像显示区域，44-3R是显示与右方向平面上的框格 23-3R对应的校正图像的右方向校正图像显示区域，44-5L是相当于虚线屏蔽描绘41-5L的虚线屏蔽描绘，44-5R是相当于虚线屏蔽描绘41-5R的虚线屏蔽描绘，44-6L、44-6R、44-7L、 44-7R是相当于面屏蔽描绘41-6L、41-6R、41-7L、41-7R的面屏蔽描绘，图34的摄像图像如图36那样显示。将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时进行了摄像的情况如图37那样显示。与车辆前后方向直线M-15L —致的左方向校正图像显示区域44-3L的下边的斜度与左方向校正图像显示区域41-3L比较，在水平方向上是平缓的。与车辆前后方向直线M-15R—致的右方向校正图像显示区域44-3R的下边的斜度与右方向校正图像显示区域41-3R比较，在水平方向上也是平缓的。
这样，可知通过调节左方向虚拟视线及右方向虚拟视线的角度，不改变地平线8 的显示的斜度而能够将车辆前后方向直线的显示的斜度相对于前方向校正图像显示区域平缓。与本发明的实施方式1中的图M同样的摄像条件的情况如图39那样显示。对于图M中显示的长方体11的形状，图39中显示的长方体11的形状从左方向上开始了的梯形向长方形靠近，但留存车辆前后方向的斜度。再有，即使不调节左方向虚拟视线及右方向虚拟视线的角度而将左方向校正图像显示区域41-3L、右方向校正图像显示区域41-3R在横方向上拉长，如果该区域中显示的校正图像也维持平面上的框格通常相同大小的长方形并且横方向上被拉长，则可以同样地调节车辆前后方向直线的显示的斜度的关系。通过调节左方向虚拟视线及右方向虚拟视线的角度，以及拉长左方向及右方向的校正图像显示区域双方，也可以调节车辆前后方向直线的显示的斜度的关系。考虑显示区域整体和前方向及下方向的校正图像显示区域的大小之间的关系来调节它们即可。如以上那样，根据本实施方式，左方向及右方向校正图像显示区域中显示的上述地面上的车辆前后方向直线，由于越远的位置，越留存靠近地平线的斜度，所以车辆前后方向的进深的目视识别性被保持，但由于被摄体的车辆前后方向的图像的斜度也被减轻，所以能够接近于实际视线的观察方式，提高被摄体的目视识别性。(实施方式3)图42是根据本发明的实施方式2调节了左方向校正图像显示区域或右方向校正图像显示区域的本发明的实施方式3中的显示图像。图40中的41-1、41-2、41_4与图16相同，45-3L是将左方向校正图像显示区域
44-3L变形了的左方向校正图像显示区域，45-3R是将右方向校正图像显示区域44-3R变形了的右方向校正图像显示区域，45-5L是相当于虚线屏蔽描绘44-5L的虚线屏蔽描绘，
45-5R是相当于虚线屏蔽描绘44-5R的虚线屏蔽描绘，45-6L、45-6R、45-7L、45-7R是相当于面屏蔽描绘44-6L、44-6R、44-7L、44-7R的面屏蔽描绘，图34的摄像图像如图41那样显示。左方向校正图像显示区域45-3L中显示的校正图像产生变形，以使左方向平面上的框格23-2L成为以能够目视识别程度的平缓的左下垂且相同大小的平行四边形的框格， 左方向校正图像显示区域45-3L与该变形相配。右方向校正图像显示区域45-3R中显示的校正图像产生变形，以使右方向平面上的框格23-2R成为以能够目视识别程度的平缓的左下垂且相同大小的平行四边形的框格， 右方向校正图像显示区域45-3R与该变形相配。由此，将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时进行了摄像的情况如图42那样显示。前方向校正图像显示区域41-1中显示的地平线8仍然水平的显示，在与该校正图像显示区域连接的左方向校正图像显示区域45-3L上显示的地平线8成为能够目视识别程度的平缓的左下垂，右方向校正图像显示区域45-3R上显示的地平线8成为能够目视识别程度的平缓的右下垂。再有，与本发明的实施方式1中的图19同样的摄像条件的情况如图43那样显示，如果是变形前的本发明的实施方式2，则如图38那样显示。如果在与图19同样的摄像条件下的长方体11的位置，则如图38中显示的长方体 11的车辆前后方向的上边的斜度那样平缓的右下垂接近实际的视线的观察方式，而在图 43中大致水平地显示。于是，在车辆前后方向的形状中，在仅限于地平线8的上部附近的范围中实际的视线的观察方式稍稍不同，但可以说对左方向或右方向的校正图像显示区域整体的目视识别性没有影响。如以上那样，根据本实施方式，即使在对附近没有立体物情况的什么也没有的无限长的上述地面进行了摄像的情况，也成为在显示地平线的图像上能够识别程度的山形弧线的显示，所以可以目视识别为前方向校正图像显示区域显示前方向，左方向校正图像显示区域显示左方向，右方向校正图像显示区域显示右方向。(实施方式4)图47是根据本发明的实施方式1调节了下方向校正图像显示区域的本发明的实施方式4的显示图像。在图8中，22-2-1是将图7中的下方向虚拟视线22_1_1的从y轴下90°的方向调节到了 59 °的下方向虚拟视线，22-2-2是垂直于下方向虚拟视线22-2-1且与下方向平面 22-1-2同样通过y轴方向1.2m、ζ轴方向Om的下方向平面，22_2是在下方向平面22_2_2 上，相当于下方向平面上的框格22-1的图中所示的范围的下方向平面上的框格。但是，各个车辆左右方向直线以位于地面上的车辆左右方向直线21G为基准而设为0. 5m间隔。在将图6、图8及图9中所示的前方向平面上的框格21、下方向平面上的框格 22-2、左方向平面上的框格23-1L及右方向平面上的框格23-1R和地平线8同时地进行了摄像的情况下，图44那样摄像的相当于图16的图像配置，例如成为图35那样。但是，下方向平面上的框格22-2设为透过地面并能够摄像的框格。图 45 中所示的 41-1、41-3L、41-3R、41-5L、41-5R、41-7L、41-7R 与图 16 相同，46-2 是显示与下方向平面上的框格22-2对应的校正图像的下方向校正图像显示区域，46-4是相当于虚线屏蔽描绘41-4的虚线屏蔽描绘，46-8L是虚线屏蔽描绘，以使任意色的虚线总在左方向校正图像显示区域41-3L和下方向校正图像显示区域46-2邻接的边的显示位置上显示，46-8R是虚线屏蔽描绘，以使任意色的虚线总在右方向校正图像显示区域41-3R和下方向校正图像显示区域46-2邻接的边的显示位置上显示。图46是将图44的摄像图像以图45的配置进行了处理所得的图像。在图46中，下方向校正图像显示区域46-2中显示的图像，在被摄体位于下方向平面上的框格22-2的情况下进行校正，以使其在显示上为水平垂直的横长的长方形并且各个横长的长方形的大小相同。在下方向平面上的框格22-2是下方向平面上无限连续的正方形的框格的情况下进行校正，以贯穿下方向校正图像显示区域46-2整体来显示长方形的框格。再有，显示的框格也可以校正，以使其为正方形、竖长的长方形，但由前方向校正图像显示区域41-1、左方向校正图像显示区域41-3L、右方向校正图像显示区域41-3R之间的相互关系决定。
此外，下方向校正图像显示区域46-2中的上边与车辆左右方向直线21G —致，与前方向校正图像显示区域41-1的下边的配置邻接，χ轴方向的位置与前方向校正图像显示区域41-1中的下边的车辆左右方向直线21G的χ轴方向的位置一致。将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时进行了摄像的情况如图47那样显示。下方向校正图像显示区域46-2中的左边与车辆前后方向直线M-15L—致，与左方向校正图像显示区域41-3L的下边的配置邻接，y轴方向的位置与左方向校正图像显示区域41-3L中的下边的车辆前后方向直线M-15L的χ轴方向的位置一致。下方向校正图像显示区域46-2中的右边与车辆前后方向直线M-15R—致，与右方向校正图像显示区域41-3R的下边的配置邻接，y轴方向的位置与右方向校正图像显示区域41-3R中的下边的车辆前后方向直线M-15R的y轴方向的位置一致。除了地面上的直线M和地平线8及本车辆1的保险杠10以外，在将1边为Im的正六面体且地面上存在的长方体13同时地进行了摄像的情况下，长方体13位于y轴方向 0. 5m、χ轴方向an时，图49那样地显示，长方体13位于y轴方向0. 5m、χ轴方向Im时，图 50那样地显示，长方体13位于y轴方向0. 5m、χ轴方向中央时，图51那样地显示。图49至图51是长方体13在车辆前后方向上本车辆1的最近距离中从本车辆1 的左方向移动到右方向，长方体13的显示位置从左方向校正图像显示区域41-3L向下方向校正图像显示区域46-2及前方向校正图像显示区域41-1移动的例子，尽管在跨越左方向校正图像显示区域41-3L、下方向校正图像显示区域46-2及前方向校正图像显示区域41-1 的位置，在长方体13的线上发生弯曲点，但显示位置移动而没有所谓线错位的阶梯差，观察长方体13的下部的情况下的视线仍然继续从左向下的移动。右方向校正图像显示区域 47-3R和前方向校正图像显示区域41-1之间的关系也是同样。再有，在本发明的实施方式4中下方向虚拟视线不可以为从y轴下90°。下90°的情况下，如本发明的实施方式1至3那样，由于下方向校正图像显示区域的左边及右边在显示的图像上为垂直，所以不能与左方向校正图像显示区域和右方向校正图像显示区域的下边邻接。因此，下方向虚拟视线从y轴不足下90°，所以从图47的下方向校正图像显示区域46-2中显示的车辆前后方向直线可知，成为靠近前方向的视线的图像。如以上那样，根据本实施方式，下方向校正图像显示区域的视线被限定在具有向前方向的斜度的方向上，但即使从左右方向至下方向中也无间断或无阶梯差地显示，所以更容易目视识别所显示的图像整体的位置关系，而且对画面上移动的被摄体的视线的移动容易贯穿显示的图像整体。(实施方式5)图M是根据本发明的实施方式4调节了左方向校正图像显示区域、右方向校正图像显示区域、下方向校正图像显示区域的本发明的实施方式5中的显示图像。图52中的41-1与图16相同，47-3L是将左方向校正图像显示区域41-3L变形了的左方向校正图像显示区域，47-3R是将右方向校正图像显示区域41-3R变形了的右方向校正图像显示区域，47-2是将下方向校正图像显示区域46-2变形了的下方向校正图像显示区域，47-5L是相当于虚线屏蔽描绘41-5L的虚线屏蔽描绘，47-5R是相当于虚线屏蔽描绘41-5R的虚线屏蔽描绘，47-4是相当于虚线屏蔽描绘46-4的虚线屏蔽描绘，47-8L是相当于虚线屏蔽描绘46-8L的虚线屏蔽描绘。47-8R是相当于虚线屏蔽描绘46-8R的虚线屏蔽描绘，47-7L、47-7R是相当于面屏蔽描绘41_7L、41_7R的面屏蔽描绘。图44的摄像图像如图53那样显示。左方向校正图像显示区域47-3L中显示的校正图像进行变形，以使左方向平面上的框格23-1L成为能够目视识别程度的平缓的左下垂，并成为相同大小的平行四边形的框格，左方向校正图像显示区域47-3L与该变形相配。右方向校正图像显示区域47-3R中显示的校正图像进行变形，以使右方向平面上的框格23-1R成为能够目视识别程度的平缓的左下垂，并成为相同大小的平行四边形的框格，右方向校正图像显示区域47-3R与该变形相配。而且，左方向的平行四边形的框格的形状和大小与将右方向的平行四边形的框格进行了左右反转的情况相同。下方向校正图像显示区域47-2中显示的校正图像进行变形，以与左方向校正图像显示区域47-3L、右方向校正图像显示区域47-3R的变形相配而在下方向上拉长，显示下方向平面上的框格22-2的长方形的框格的垂直边比下方向校正图像显示区域46-2中显示的长方形的框格的垂直边长。由此，将图13所示的地面上的直线M和地平线8及本车辆1的保险杠10同时进行了摄像的情况如图M那样显示。尽管本发明的实施方式5中的左方向平面及右方向平面的角度与本发明的实施方式3中的左方向平面及右方向平面的角度不同，但水平线8的显示的斜度与本发明的实施方式3是同样的。与本发明的实施方式1中的图19同样的摄像条件的情况如图55那样显示，如果是变形前的本发明的实施方式4，则如图48那样显示。相同地，尽管左方向平面及右方向平面的角度与本发明的实施方式3不同，但长方体11的车辆前后方向的上边的斜度与本发明的实施方式3是同样的。另一方面，图M的下方向校正图像显示区域47-2中显示的校正图像与图47的下方向校正图像显示区域46-2中显示的校正图像进行比较，没有观察出可以目视识别程度的差。如以上那样，根据本实施方式，即使在下方向校正图像显示区域连接到左方向及右方向校正图像显示区域的情况下，也对下方向校正图像显示区域的目视识别性无影响而可获得与本发明的实施方式3同样的目视识别性。(实施方式6)图56是将前方向和左方向或右方向校正图像显示区域的边界位置基于图14的位置关系进行了调节的本发明的实施方式6中的显示图像。图14中未图示车载摄像机2，但如图4、图5那样装载在本车辆1上，25_3是表示在本车辆1将方向盘最大地转向了情况下通过的地面上的车辆通过范围的最内侧的车辆通过范围内侧的圆，25-4是表示在本车辆1将方向盘最大地转向了情况下通过的地面上的车辆通过范围的最外侧的车辆通过范围外侧的圆，车辆通过范围内侧的圆25-3和车辆通过范围外侧的圆25-4为同心圆，25-2是作为同心圆的车辆通过范围圆的中心，25-1是表示
26摄像位置正下方的上述地面上的摄像原点，25-5是与通过地面上的摄像原点25-1的车辆通过范围内侧的圆25-3相切的切线，25-6是切线25-5和车辆通过范围内侧的圆25_3之间的切点，25-7是在任意的χ轴方向为1. 5m的切线25_5上的图像分离基准点。本发明的实施方式2中没有基于图14的位置关系进行了调节，但作为基于图14 的位置关系进行了调节的结果，作为与本发明的实施方式2同样的图35、图36的处理一致的处理来说明本发明的实施方式6。图56是利用与本发明的实施方式2同样的图35、图36的处理的显示图像，除了与图37同样的被摄体以外，是在左方向校正图像显示区域44-3L中显示了车辆通过范围内侧的圆25-3的情况下的图像。但是，实际上没有将车辆通过范围内侧的圆25-3扫描的图像，而是在说明位置关系的方面图示了的图像。在图56中，25-8是表示下方向校正图像显示区域41-2、前方向校正图像显示区域 41-1、左方向校正图像显示区域44-3L的边界的图像分离点。图像分离点25-8在下方向校正图像显示区域41-2、前方向校正图像显示区域 41-1、左方向校正图像显示区域44-3L的全部区域中，χ轴方向、y轴方向、ζ轴方向的位置一致。因此，在将下方向校正图像显示区域41-2中显示比本车辆1的车宽左右宽1.5m 的情况为目的的情况下，y轴方向调节为位于图像分离基准点25-7的1. 16m附近的1. 2m。通过该调节，虚线屏蔽描绘44-5L在显示的ζ轴方向的无论什么高度中都表示距地面上的摄像原点25-1在χ轴方向1.5m、y轴方向1. ^ii的方向。因此，从图像分离基准点25-7和图像分离点25-8之间的位置关系也可知，车辆通过范围内侧的圆25-3主要显示在左方向校正图像显示区域44-3L中，并且切点25_6为在虚线屏蔽描绘44-5L附近的位置关系。从车辆通过范围内侧的圆25-3在ζ轴方向上有高度的立体物，被显示在显示上车辆通过范围内侧的圆25-3的垂直方向上。图39中的长方体11相当于在切点25-6附近有角的立体物，该角的垂直的边被显示在虚线屏蔽描绘44-5L附近。此时，在将方向盘最大地转向了的情况下，本车辆1通过长方体11的正侧面。S卩，如果预先操作本车辆1，以不将长方体11显示在前方向校正图像显示区域 41-1中而显示在左方向校正图像显示区域44-3L中，则接着在将本车辆1的方向盘最大地转向的入车库等时能够目视识别为近似于不接触到长方体11那样的位置关系。再有，通过下方向校正图像显示区域41-2可以目视识别与最近距离中的本车辆 1之间的位置关系，所以作为与比其远的范围中的障碍物之间的位置关系大致目视识别即可。如以上那样，根据本实施方式，表示左方向或右方向的校正图像显示区域和前方向校正图像显示区域之间的边界的直线的屏蔽描绘，在将方向盘最大地转向了的情况下也为是否与立体物接触的目标线，入车库等的车的移动和障碍物之间的位置关系的目视识别性提高。工业实用性
本发明的驾驶辅助显示装置，作为在从车辆后方、或前方的前、左右及下方向的宽范围的摄像进行显示中，对应于目标的目视识别性好的被摄体的形状显示、被摄体和车辆的方向性或位置关系的目视识别性提高、以及容易地进行对在画面上移动的被摄体的视线的移动的驾驶辅助显示装置，具有广泛用途。
权利要求
1.驾驶辅助显示装置，其特征在于，包括一个或多个摄像单元，对车辆后方、或前方的前、左右及下方向的宽范围从相同位置进行摄像；图像处理单元，将校正了由所述摄像单元摄像所得的图像的校正图像分割配置在任意的校正图像显示区域中，将屏蔽描绘在任意的显示位置上与分割配置了的所述校正图像进行合成；以及图像显示单元，显示由所述图像处理单元处理过的处理图像，所述图像处理单元生成进行校正的前方向校正图像、左方向校正图像、右方向校正图像以及下方向校正图像，在对于与水平的地面平行的车辆前后方向平行的前方向虚拟视线垂直的前方向平面上，将与所述地面水平垂直的正方形的框格进行了摄像的情况下，对其进行校正，以使所述前方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形，并且显示的正方形或长方形的大小相同，从而生成所述前方向校正图像，在对于从所述车辆前后方向向左超过0°且低于90°的左方向虚拟视线垂直的左方向平面上，将与所述地面水平垂直的正方形的框格进行了摄像的情况下，对其进行校正，以使所述左方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形， 并且显示的正方形或长方形的大小相同，从而生成所述左方向校正图像，在对于从所述车辆前后方向向右超过0°且低于90°的右方向虚拟视线垂直的右方向平面上，将与所述地面水平垂直的正方形的框格进行了摄像的情况下，对其进行校正，以使所述右方向平面上的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形， 并且显示的正方形或长方形的大小相同，从而生成所述右方向校正图像，以及在对于从所述车辆前后方向向下垂直超过0°且在90°以内的下方向虚拟视线垂直的下方向平面上，将由平行于车辆左右方向的直线和对平行于所述车辆左右方向的直线为直角的直线构成的正方形的框格进行了摄像的情况下，对其进行校正，以使所述平行直角构成的正方形的框格在显示图像上被显示为水平垂直的正方形或长方形，并且显示的正方形或长方形的大小相同，从而生成所述下方向校正图像，在前方向校正图像显示区域中显示所述前方向校正图像，在左方向校正图像显示区域中显示所述左方向校正图像，在右方向校正图像显示区域中显示所述右方向校正图像，在下方向校正图像显示区域中显示所述下方向校正图像，所述前方向校正图像显示区域的形状中的左边及右边在显示的图像上为垂直的直线， 下边在显示的图像上为水平的直线，所述左方向校正图像显示区域的形状中的右边在显示的图像上为垂直的直线，下边为与平行于所述车辆前后方向且偏向摄像位置左侧的所述地面上的直线一致的直线，所述右方向校正图像显示区域的形状中的左边在显示的图像上为垂直的直线，下边为与平行于所述车辆前后方向且偏向摄像位置右侧的所述地面上的直线一致的直线，所述下方向校正图像显示区域的形状中的上边在显示的图像上为水平且与在摄像位置前侧平行于与所述地面上水平的车辆左右方向的所述地面上的直线一致的直线，左边为在平行于所述车辆前后方向且与偏向摄像位置左侧的所述地面上的直线一致的直线，右边为与平行于所述车辆前后方向且偏向摄像位置右侧的所述地面上的直线一致的直线，进行配置，以使所述前方向校正图像显示区域的左边和所述左方向校正图像显示区域的右边、所述前方向校正图像显示区域的右边和所述右方向校正图像显示区域的左边、所述前方向校正图像显示区域的下边和所述下方向校正图像显示区域的上边分别相互地邻接，三个邻接的边附近的彼此的显示区域中显示的摄像图像为一致的关系， 根据用途，将维持了所述四个校正图像显示区域之间的关系的全体图像左右反转， 将三个邻接的边上的线或虚线的任意色的屏蔽描绘和所述四个校正图像显示区域以外的间隙进行以任意色填充了的屏蔽描绘。
2.如权利要求1所述的驾驶辅助显示装置，其特征在于，对于在与所述左方向校正图像显示区域或所述右方向校正图像显示区域的下边一致的平行于所述车辆前后方向的所述地面上的直线，比较所述前方向校正图像显示区域中显示的图像上的斜度和所述左方向校正图像显示区域或所述右方向校正图像显示区域中显示的图像上的斜度，为了所述左方向校正图像显示区域或所述右方向校正图像显示区域中显示的斜度接近水平方向，进行权利要求1记载的左方向虚拟视线及右方向虚拟视线的角度的调节，或进行在水平方向上拉长左方向平面及右方向平面上的正方形的框格的显示形状的调节。
3.如权利要求1或2所述的驾驶辅助显示装置，其特征在于，在将所述左方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述左方向校正图像显示区域中达到可目视识别程度的平缓的左下垂且相同大小的平行四边形的框格，在将所述右方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述右方向校正图像显示区域中达到可目视识别程度的平缓的右下垂且相同大小的平行四边形的框格。
4.如权利要求1所述的驾驶辅助显示装置，其特征在于，为了所述左方向校正图像显示区域的下边和所述下方向校正图像显示区域的左边、所述右方向校正图像显示区域的下边和所述下方向校正图像显示区域的右边分别彼此邻接， 仍然使分别彼此邻接了的两个边附近中的彼此的显示区域中显示的摄像图像为一致的关系，在分别彼此邻接了的两个边上进行线或虚线的任意色的屏蔽描绘。
5.如权利要求4所述的驾驶辅助显示装置，其特征在于，在将所述左方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述左方向校正图像显示区域中达到可目视识别程度的平缓的左下垂且相同大小的平行四边形的框格，在将所述右方向平面上的正方形的框格进行了摄像的情况下进行显示，以使该框格成为对于所述地面水平的直线在所述右方向校正图像显示区域中达到可目视识别程度的平缓的右下垂且相同大小的平行四边形的框格。
6.如权利要求1所述的驾驶辅助显示装置，其特征在于，将平行于所述车辆前后方向的所述地面上的车辆前后方向直线和平行于所述车辆左右方向的所述地面上的车辆左右方向直线之间的交点设在以下位置，即穿过摄像位置正下方的所述地面上的摄像原点，与车辆将方向盘最大地转向了的情况下通过的所述地面上的车辆通过范围内的最内侧的圆相切的切线附近，平行于所述车辆前后方向的所述地面上的车辆前后方向直线与所述下方向校正图像显示区域的左边或右边一致，或与所述左方向校正图像显示区域或所述右方向校正图像显示区域的下边一致，平行于所述车辆左右方向的所述地面上的车辆左右方向直线与所述下方向校正图像显示区域的上边一致，或与所述前方向校正图像显示区域的下边一致。
全文摘要
本发明提供驾驶辅助显示装置，在从车辆后方或前方的前、左右及下方向的宽范围的摄像的显示中，容易地显示与目标对应的目视识别性高的被摄体的形状、提高被摄体和车辆之间的方向性或位置关系的目视识别性、以及移动对画面上移动的被摄体的视线。前方向校正图像显示区域(41-1)和其他的显示区域被邻接配置，邻接附近的显示图像一致，是与垂直于水平的地面或车辆左右方向的直线一致的直线，前方向校正图像显示区域中，在分别与车辆前后方向、从车辆前后方向垂直向下的方向、水平向左的方向、水平向右的方向垂直的平面上的正方形的被摄体，在与各个方向对应的区域内被显示为相同大小的正方形或长方形。而且，左方向校正图像显示区域(41-3L)或右方向校正图像显示区域(41-3R)的下边和下方向校正图像显示区域(41-2)的左边或右边是与相同位置的车辆前后方向直线一致的直线。
文档编号B60R21/00GK102341269SQ20108001077
公开日2012年2月1日 申请日期2010年7月23日 优先权日2010年4月8日
发明者一瀬忠夫, 高桥幸司 申请人:松下电器产业株式会社