专利名称：车辆周边监视装置的制作方法
技术领域：
本发明涉及一种车辆周边监视装置，该车辆周边监视装置利用对车辆周边进行摄像的广角摄像机、和检测到检测对象物的距离的多个距离传感器，来对车辆周边进行监视。
背景技术：
专利文献I和专利文献2所揭示的装置中，以车辆为基准 来设定障碍物检测传感器所检测到的车辆周边的检测对象区域的范围，根据到该检测对象区域中检测到的障碍物的距离，来对该检测对象区域中进行摄像的摄像机图像实施视野变换，通过改变该摄像机图像的俯角大小，来使障碍物变得更容易掌握。但是，上述专利文献1、2所代表的现有技术中存在如下问题由于根据障碍物检测传感器所检测到的到障碍物的距离，来对摄像机图像进行视点变换，因此，即使在该摄像机图像内不存在障碍物的情况下，也会进行视点变换。另外，存在以下问题即，利用距离无法形成易于掌握该障碍物的适当的摄像机图像。本发明是为解决如上所述的问题而完成的，其目的在于获得一种能提供易于掌握障碍物的摄像机图像的车辆周边监视装置。先行技術文献特許文献专利文献I :日本专利特开2005 - 324593号公报专利文献2 日本专利特开2009 - 71790号公报
发明内容
本发明所涉及的车辆周边监视装置包括位置映射部，该位置映射部进行位置映射，以将检测障碍物的检测部在检测范围内的位置关系表示在以车辆周边为摄像范围的摄像机部所拍摄到的摄像机图像上的坐标上；映射变换部，该映射变换部导出进行映射变换的变换参数，其中，进行所述映射变换，使得检测部所检测到的障碍物的位置位于经位置映射部进行位置映射后的摄像机图像上的规定位置上；以及摄像机图像变换部，该摄像机图像变换部利用映射变换部所获得的变换参数，来将摄像机图像进行图像转换，使得障碍物的位置位于规定的位置上。根据本发明，进行位置映射，以将检测障碍物的检测部在检测范围内的位置关系表示在以车辆周边为摄像范围的摄像机部所拍摄到的摄像机图像上的坐标上，导出进行映射变换的变换参数，使得检测部所检测到的障碍物的位置位于进行位置映射后的摄像机图像上的规定位置，利用该变换参数，来将摄像机图像进行图像转换，使得障碍物的位置位于规定位置。由此，具有能提供易于掌握障碍物的摄像机图像的效果。
图I是简要表示本发明的实施方式I的车辆周边监视装置的结构的框图。图2是表示摄像机部的安装方式的图。图3是表示距离传感器的障碍物检测范围的一个例子的图。图4是表示摄像机部的摄像范围以及距离传感器的障碍物检测范围的一个例子的图。图5是表示图4(a)的摄像机部所拍摄到的距离传感器的障碍物检测范围的摄像机图像的图。图6是表示摄像机部的摄像范围以及距离传感器的障碍物检测范围的其它例子的图。
图7是表示图6(a)的摄像机部所拍摄到的距离传感器的障碍物检测范围的摄像机图像的图。图8是表示障碍物检测范围和摄像范围与障碍物之间的位置关系的图。图9是用于说明对摄像机图像进行放大缩小的图像变换的图。图10是用于说明摄像机图像的俯视图像变换的图。图11是用于说明对摄像机图像的基准点进行变更的图像变换的图。图12是用于说明利用失真校正的画面模式以及俯视图像变换的画面模式进行图像变换的图。图13是简要地表示本发明的实施方式2的车辆周边监视装置的结构的框图。图14是表示障碍物不存在于摄像范围内、但存在于障碍物检测范围内的情况的图。图15是表示障碍物不存在于摄像范围内情况下的通知例的图。图16是简要地表示本发明的实施方式3的车辆周边监视装置的结构的框图。图17是简要地表示本发明的实施方式4的车辆周边监视装置的结构的框图。图18是用于说明利用图像重叠部来生成重叠图像的图。图19是表示本发明的实施方式5的车辆周边监视装置的主要结构的框图。图20是用于说明利用实施方式5的图像重叠部来生成重叠画面的图。图21是表示本发明的实施方式6的车辆周边监视装置的主要结构的框图。图22是表示本发明的实施方式7的车辆周边监视装置的主要结构的框图。图23是表示由实施方式8的车辆周边监视装置所进行的摄像机图像显示的一个例子的图。图24是表示由实施方式9的车辆周边监视装置所进行的摄像机图像显示的一个例子的图。图25是表示由实施方式10的车辆周边监视装置所进行的摄像机图像显示的一个例子的图。
具体实施例方式下面，为了更详细地说明本发明，根据附图，对用于实施本发明的方式进行说明。实施方式I
本发明中，摄像机的视野(视角)在水平方向上具有180度以上的视角，利用一个采用所谓鱼眼镜头的投影方式的摄像机，根据距离传感器所获得的到障碍物的矢量信息，廉价地提供易于掌握障碍物的摄像机图像，而不需要用户进行繁杂的操作，从而有助于安全。图I是简要表示本发明的实施方式I的车辆周边监视装置的结构的框图。图I中，实施方式I的车辆周边监视装置I包括距离传感器2、摄像机部3、位置映射部4、映射变换部5、以及摄像机图像变换部6。距离传感器(检测部)2是基于对车辆周边照射检测波而从障碍物反射回来的反射信号、来测量与障碍物之间的矢量(距离和方向)的传感器。作为检测波，可以举出超声波和激光、电波等。另外，距离传感器2中，检测波能够到达并检测障碍物的范围是有限的。该范围被称为距离传感器2的障碍物检测范围(以下，只记载为障碍物检测范围)。摄像机部3具有作为对车辆周边(例如车辆后方)进彳丁拍摄的摄像部的摄像机 (未图示)，该摄像机部3将摄像机拍摄到的摄像机图像发送给位置映射部4。位置映射部4是执行位置映射的结构部，将距离传感器2的障碍物检测范围内的位置关系表示在摄像机部3拍摄到的摄像机图像(与摄像范围相对应的图像)上的坐标上。另外，在实施方式I中，摄像机部3的摄像范围比距离传感器2的障碍物检测范围要广，以摄像机图像能够包含全部障碍物检测范围的情况作为前提。映射变换部5是进行映射变换、使得位置映射部4进行位置映射所得的障碍物的位置(矢量)成为摄像机图像的规定位置的结构部。例如，映射变换部5导出图像变换的变换参数，使得摄像机图像中障碍物的位置位于摄像机图像的画面的各边或者各角附近。摄像机图像变换部6是利用映射变换部5所导出的变换参数来对摄像机图像进行图像变换、从而获得摄像机视频输出的结构部。作为图像变换可以列举放大缩小、俯视图像变换、任意方向的输出尺寸变更、基准点移动、以及图像模式变更等。下面将对它们的细节进行阐述。图2是表示摄像机部的安装方式的图，图2 (a)是侧视图，图2 (b)是俯视图。随着摄像机部3中的摄像机的朝向相对于被拍摄体的角度的变化，摄像机图像上的被拍摄体的形状会表现得不同。即，在无视摄像机镜头失真以及投影变换方法的情况下，若摄像机的朝向正对被拍摄体，则正方形的被拍摄体在摄像机图像上是正方形但是，如图2 (a)以及图2 (b)所示，将设置在车辆200后部的尾部摄像机(摄像机部3)在水平方向上的安装角度φ设置为O度，将所述尾部摄像机在垂直方向上的安装角度Θ设置为任意角度，在这种情况下，摄像机部3的摄像范围210内的路面上所存在的正方形的被拍摄体在摄像机图像上被输出为梯形(参照后述图12的画面Β2)。另外，在水平方向的安装角度为任意角度的情况下，摄像机部3的摄像范围210内的路面上所存在的正方形的被拍摄体在摄像机图像上被输出为四边形(正方形或者长方形)(参照后述图12的画面BI)。这里，为了简化说明，将水平方向的安装角度φ设为O度。图3是表示距离传感器的障碍物检测范围的一个例子的图，其示出了设置于车辆200后部的多个距离传感器2(2 — I 2 — 4)。如图3所示，距离传感器2 (2_1 2_4)的障碍物检测范围2Α(2Α-1 2Α-4)如下例如对于一个距离传感器2，从距离传感器2的检测波的照射部起，在检测波沿远离车辆200的方向呈辐射状所到达的特定的范围内进行传播扩散。准备多个这样的距离传感器2 (距离传感器2-1 2-4)，从而能够获得满足车辆宽度方向的、由从车辆200起的长度方向的所谓从车辆200到障碍物为止的距离、以及障碍物在车辆宽度方向上的位置所构成的二维空间内的障碍物的矢量(距离和方向)。图4是表示摄像机部的摄像范围以及距离传感器的障碍物检测范围的一个例子的图，图4(a)表示作为车辆200的尾部摄像机的摄像机部3的摄像范围3A的俯视图，图4(b)表示设置在车辆200后部的距离传感器2的障碍物检测范围2A的俯视图。另外，图5是表示图4(a)的摄像机部3所拍摄到的、距离传感器2的障碍物检测范围2A的摄像机图像A的图。另外，为了方便说明，在图4以及图5中，示出了对检测波的输出进行调整、使得障碍物检测范围从左右侧面或者上下面观察都成为长方形的情况。如图4以及图5所示，将设置于车辆200后部的摄像机部3设为广角尾部摄像机，在车辆200的后部设置有多个距离传感器2，在这种情况下，摄像机部3的水平视角较宽，具有包括距离传感器2在整个车辆宽方向上的障碍物检测范围2A的摄像范围3A。另外，障碍·物检测范围2A根据距离传感器2的选择而唯一决定。如图5所示，摄像范围3A的摄像机部3所拍摄到的摄像机图像所对应的障碍物检测范围2A整体表现为梯形。利用基于摄像机镜头所引起的失真、投影方式、摄像机的安装位置、以及摄像机的视角的计算，能够推导出该梯形化。由此，由于利用位置映射部4将障碍物检测范围2A位置映射成摄像机图像的坐标，因此，能将距离传感器2所获得的障碍物的位置表示在摄像画面(摄像机图像面)的相应位置的坐标上，并在摄像图像坐标上进行一维标记。图6是表示摄像机部的摄像范围以及距离传感器的障碍物检测范围的其它例子的图，图6(a)表示作为车辆200的尾部摄像机的摄像机部3的摄像范围3A1的俯视图，图6(b)表示设置在车辆200后部的距离传感器2的障碍物检测范围2A的俯视图。另外，图7是表示图6(a)的摄像机部3所拍摄到的、距离传感器2的障碍物检测范围2A的摄像机图像Al的图。另外，为了方便说明，在图6以及图7中，也示出了对检测波的输出进行调整、使得障碍物检测范围从左右侧面以及上下面观察时都呈长方形的情况。图6以及图7所示例子中，设置于车辆200后部的摄像机部3的水平视角较窄，具有不包括距离传感器2的障碍物检测范围2A在车辆宽度方向上的一部分的摄像范围3A1。另外，关于障碍物检测范围2A，与图4相同。与图5所示相同，摄像范围3A1的摄像机部3所拍摄到的摄像机图像所对应的障碍物检测范围2A如图7所示，整体表现为梯形，但其中一部分超出了摄像范围3A1。利用基于摄像机镜头所引起的失真、投影方式、摄像机的安装位置、以及摄像机的视角的计算，能够推导出该梯形化。由此，由于利用位置映射部4将障碍物检测范围2A位置映射成摄像机图像的坐标，因此，在距离传感器2所获得的障碍物的位置存在于障碍物检测范围2A的包含于摄像范围3A1的部分的情况下，将该障碍物的位置表示在摄像画面(摄像机图像面)的相应位置的坐标上，在距离传感器2所获得的障碍物的位置存在于未包含于摄像范围3A1的部分的情况下，将该障碍物的位置表示为摄像范围外。因此，能在摄像图像坐标上进行一维标记。
另外，虽然未图示，但图像变换后的图像范围与障碍物检测范围2A之间的位置映射也能够以与图4 5同样的方法来实施。障碍物检测范围和摄像范围与障碍物之间的位置关系可以从以下4点来考虑⑷摄像范围和障碍物检测范围内均不存在障碍物的情况这种情况下，由于距离传感器2以及摄像机部3两者都不能检测到障碍物，因此不能通知使用者障碍物的存在。(B)在摄像范围内存在障碍物、但在障碍物检测范围内不存在障碍物的情况这种情况下，摄像机部3提示拍摄到障碍物的摄像机图像，从而能通知使用者存在障碍物。(C)摄像范围和障碍物检测范围这两个范围内都存在障碍物的情况 如图8(a)以及图8(b)所示，例如在摄像范围A和障碍物检测范围2A内都存在障碍物100的情况下，此时，将距离传感器2所检测到的障碍物100的矢量(距离和方向)进行位置映射，以将其变换为摄像范围的坐标或图像范围的坐标，从而能够提供一种有利于通知障碍物100的图像变换方法。(D)障碍物检测范围内存在障碍物、但摄像范围内不存在障碍物的情况在这种情况(参照后述图14)下，也将距离传感器2所检测到的障碍物100的矢量(距离和方向)进行位置映射，以将其变换为摄像范围的坐标或图像范围的坐标，从而能够提供一种有利于通知障碍物100的图像变换方法。另一方面，在不使用位置映射的情况下，在上述(A)以及(B)中，无法检测到障碍物。另外，在(B)中，虽然作为摄像机图像的被拍摄体而检测到障碍物，但是无法区分障碍物检测范围内的障碍物与摄像范围内的障碍物。另外，在上述(C)以及(D)中，无法区分障碍物检测范围内的障碍物与摄像范围内的障碍物。因此，在本发明中，设置将障碍物检测范围内的障碍物的位置变换成摄像机图像的坐标的位置映射部4，从而能将障碍物作为摄像机图像的被拍摄体来进行检测，并适当地进行通知。接下来，对动作进行说明。利用距离传感器2以矢量(距离和方向)来对障碍物的位置进行测量，用摄像机部3对摄像范围进行拍摄。在位置映射部4中，预先设定有对摄像机部3的摄像范围进行确定的信息，当输入由距离传感器2所获得的障碍物的检测结果时，将距离传感器2所检测到的障碍物的位置变换成摄像机图像上的坐标位置。当输入由位置映射部4所获得的位置映射结果时，映射变换部5导出图像变换的变换参数，使得变换为摄像机图像上的坐标的障碍物的位置位于摄像机图像的规定位置(例如画面的中央部、各边或者各角的附近等)。当从摄像机部3输入摄像机图像数据、从映射变换部5输入变换参数时，摄像机图像变换部6根据该变换参数对摄像机图像进行图像变换，输出摄像机视频。这里，对摄像机图像变换进行详细说明。图9是用于说明对摄像机图像进行放大缩小的图像变换的图。在将障碍物100进行放大后显示于摄像机图像中的情况下，映射变换部5导出如图9所示的从摄像机图像A变换到摄像机图像B的变换参数(障碍物100的图像的放大)。相反，在将障碍物100进行缩小后显示于摄像机图像中的情况下，映射变换部5导出图9所示的从摄像机图像B变换到摄像机图像A的变换参数(障碍物100的图像的缩小)。作为放大缩小的变换参数，可以考虑指定能够确定包围原图像(A或者B)的障碍物的四边形区域的坐标，例如，在该四边形的对角的坐标中，指定左上的坐标(xl，yl)和右下的坐标(x3，y3)，设定进行放大(缩小)的值，根据该变换参数，将包围障碍物的四边形在图像输出的输出尺寸(X，Y)的坐标上进行放大(缩小)。图10是用于说明摄像机图像的俯视图像变换的图。作为摄像机图像变换，有如图10所示的俯视图像变换(视点变换、俯角的变更)。作为俯视图像变换的变换参数，可以考虑指定能够确定包围原图像的长方形被拍摄体(障碍物100)的四边形区域的坐标，例如， 指定四边形的顶点坐标的左上的坐标(Xl，yl)、右上的坐标(X2，y2)、右下的坐标(x3，y3)、左下的坐标(x4，y4)，将该四边形设定在图像输出的输出尺寸(X，Y)的坐标上。
根据该俯视图像变换的变换参数，对上述四边形进行变形，从而能获得如图10所示的俯视图像。另外，不只是俯视图像，也可以是为了使原图像在X方向上的大小与输出尺寸X相对应而进行变形所得到的变换图像。此外，图10还示出了将原图像A中用梯形来显示的障碍物100变形为长方形的图像变换。与视角变换图像相同，作为变换参数的，可以考虑指定能够确定包围原图像A的被拍摄体(障碍物100)的梯形区域的坐标，例如，指定梯形的顶点坐标的左上的坐标(xl，yl)、右上的坐标(x2，y2)、右下的坐标(x3，y3)、左下的坐标(x4，y4)，将该四边形设定在图像输出的输出尺寸(X，Y)的坐标上。根据该变换参数进行变形，从而能够得到如图像B那样的将四边形进行变形后的图像。图11是用于说明对摄像机图像的基准点进行变更的图像变换的图。摄像机图像变换中包括如图11所示的基准点移动。所谓基准点移动，是不伴随有视频输出范围和被拍摄体图像的变形的、对原图像移动摄像机图像显示窗口的图像变换。将原图像中的摄像机图像显示窗口的框内部分作为摄像机图像来进行视频输出。在原图像A中显示有障碍物100、但通过摄像机图像显示窗口的视频输出中未显示有障碍物100、或者只显示有一部分的情况下，对摄像机图像显示窗口的位置进行变更，对显示有障碍物100的范围进行视频输出。作为基准点移动的变换参数，可以考虑对原图像的基准点(0，0)指定显示出被拍摄体的基准点的坐标(x5，y5)，根据该变换参数来进行基准点移动，从而能获得如图像B的视频输出。另外，也可以将上述放大缩小、俯视图像变换、基准点移动进行组合，以得到变换图像。图12是用于说明利用失真校正的画面模式以及俯视图像变换的画面模式进行图像变换的图，其示出了各画面模式的变化。摄像机图像变换中包括如图12所示的画面模式的变更。作为画面模式，准备摄像图像自身的画面A、摄像机所引起失真的校正画面BI、以及俯视画面B2。S卩，使用鱼眼镜头作为摄像机部3的摄像机的镜头，从而在画面A中失真地显示障碍物100。例如将确定该画面模式的画面模式ID设为“I”。若对画面A的图像中由摄像机所引起的失真实施校正，则如画面BI所示，障碍物100的形状失真得以校正。例如将确定该画面模式的画面模式ID设为“2”。若对画面A或者画面BI进行俯视图像变化，则得到画面B2。例如将确定该画面模式的画面模式ID设为“3”。当画面模式的转换在位置映射规定的范围内的情况下，对画面模式ID进行指示并进行实施。综上所述，根据本实施方式1，进行位置映射，导出进行映射变换的变换参数，利用该变换参数，对摄像机图像进行图像变换，使得障碍物的位置位于规定的位置，其中，所述位置映射利用以车辆周边作为摄像范围的摄像机部3所拍摄到的摄像机图像上的坐标，来表现对障碍物100进行检测的距离传感器2的障碍物检测范围内的位置关系，进行所述映射变换，使得距离传感器2所检测到的障碍物的位置位于进行位置映射后的摄像机图像上的规定的位置。由此，能获得以下效果即，能提供易于掌握障碍物的摄像机图像。实施方式2·
图13是简要地表示本发明的实施方式2的车辆周边监视装置的结构的框图。在图13中，实施方式2的车辆周边监视装置IA除距离传感器2、摄像机部3、映射变换部5、以及摄像机图像变换部6以外，还包括具有位置映射部4以及位置映射外判定部8的映射部7以及障碍物引导处理部9。实施方式2中，假定存在摄像机部3的摄像范围比距离传感器2的障碍物检测范围要窄、摄像机图像中不包含障碍物检测范围的一部分的情况。映射部7的位置映射部4与上述实施方式I相同，将距离传感器2所检测到的相对于障碍物的位置(矢量)变换成摄像机图像上的坐标。位置映射外判定部8对位置映射部4的处理结果进行调查，判定障碍物的位置是否处于摄像范围内(位置映射内)。此时，当判定为摄像范围外存在障碍物的情况下，位置映射外判定部8将该情况通知障碍物引导处理部9。障碍物引导处理部9在接收到位置映射外判定部8发来的上述通知后，将摄像机图像上不存在障碍物的情况通知给使用者。该通知通过在摄像机视频的画面上显示规定的记号、或用声音来进行。因此，即使在距离传感器2所检测到的障碍物不在摄像机图像上的情况下，也能对障碍物进行通知，从而有助于安全。图14是表示障碍物不存在于摄像范围内、但存在于障碍物检测范围内的情况的图。如图14所示，在障碍物100存在于障碍物检测范围2A内、但偏离摄像范围即摄像机图像面A的情况下，位置映射外判定部8判定为摄像范围外存在障碍物100，障碍物引导处理部9将摄像机图像面A上不存在障碍物100的情况通知给使用者。图15是表示障碍物不存在于摄像范围内情况下的通知例的图，示出了提供给使用者的显示画面B。如图15所示，在障碍物存在于障碍物检测范围内、但不存在于摄像范围(画面B)内的情况下，障碍物引导处理部9进行像“有障碍物”那样的声音通知12a，或在画面B上添加表示障碍物的信息(表示障碍物位置的标记12b)。综上所述，根据该实施方式2，因为具备了 位置映射外判定部8，该位置映射外判定部8对通过位置映射部4进行位置映射所得到的摄像机图像上是否存在障碍物100进行判定；以及引导处理部9，当位置映射外判定部8判定为摄像机图像上不存在障碍物100时，该引导处理部9对摄像机图像内不存在障碍物100的情况进行引导，因此，即使在距离传感器2所检测到的障碍物不存在于摄像机图像上的情况下，也能够对障碍物进行通知，从而有助于安全。实施方式3图16是简要地表示本发明的实施方式3的车辆周边监视装置的结构的框图。在图16中，实施方式3的车辆周边监视装置IB具有与上述实施方式2同样的结构部，但不同点在于，实施方式3的车辆周边监视装置IB利用映射部7，将距离传感器2的障碍物检测范围位置映射成由摄像机图像变换部6进行图像变换后的摄像机图像上的坐标，以对图像变换后的画面内有无障碍物进行判定。与上述实施方式I相同，映射部7的位置映射部4将距离传感器2所检测到的相对于障碍物的位置(矢量)变换成来自摄像机图像变换部6的摄像机图像上的坐标。位置 映射外判定部8对位置映射部4的处理结果进行调查，判定是否存在障碍物的映射位置。此时，当判定为存在障碍物的映射位置时，映射变换部5导出对摄像机图像进行图像变换、使得障碍物的位置位于图像上的规定位置的变换参数，并将其输出至图像变换部6。因此，摄像机图像变换部6实施图像变换而在摄像机图像上将障碍物的位置设为上述规定位置，将所述摄像机图像输出至映射部7，并进行与上述相同的处理。另一方面，当判定为不存在障碍物映射位置时，在障碍物的映射位置出现之前，映射变换部5导出用于对摄像机图像实施规定的图像变换的变换参数，并将其输出至摄像机图像变换部6。由此，摄像机图像变换部6在摄像机图像上实施图像变换而将障碍物的位置设为上述规定位置，将所述摄像机图像输出至映射部7，并进行与上述相同的处理。当即使图像变换的重复次数达到规定次数(图像变换达到极限)、也未出现障碍物的映射位置的情况，位置映射外判定部8将该情况通知给障碍物引导处理部9。障碍物引导处理部9若从位置映射外判定部8接收到上述通知，则将摄像机图像上不存在障碍物这一情况通知给使用者。该通知通过在摄像机视频的画面上显示规定的记号、或用声音来进行。另外，对于在初始阶段从摄像机图像变换部6输出的摄像机视频输出，也可以直接选择摄像图像、或上次关闭电源前的变换图像。综上所述，根据该实施方式3，摄像机图像变换部6将输出返回给位置映射部4，并反复进行图像变换，使得距离传感器2所检测到的障碍物的位置位于摄像机图像上的规定位置上，当即使由摄像机图像变换部6所进行的图像变换达到规定的重复次数、摄像机图像上也未出现障碍物的情况下，引导处理部9对摄像机图像上不存在障碍物的情况进行引导。由此，对通知障碍物的图像范围进行障碍物检测，因此，能获得以下效果即，障碍物从图像范围脱离的情况下的跟随性比上述实施方式1、2的摄像范围内的检测要快。实施方式4实施方式4中，图像重叠部10在经摄像机图像变换部6变换后的摄像机图像上，根据来自映射变换部5的变换参数，将标记等图像重叠在障碍物的位置上。图17是简要地表示本发明的实施方式4的车辆周边监视装置的结构的框图，由于采用了将实施方式4的结构适用上述实施方式I的结构，因此，省略了图I中的距离传感器
2、摄像机部3、位置映射部4的记载。在图17中，映射变换部5从位置映射部4输入位置映射结果，导出图像变换的变换参数，使得变换成摄像机图像上的坐标的障碍物的位置位于摄像机图像的规定位置，并将该变换参数输出至摄像机图像变换部6以及图像重叠部10。摄像机画面变换部6从摄像机部3输入摄像机图像，将利用映射变换部5所导出的变换参数进行图像变换后的摄像机图像输出至图像重叠部10。图像重叠部10使用映射变换部5所导出的变换参数，从经摄像机图像变化部6变换得到的图像确定图像范围(障碍物的图像区域)的坐标，将预先设定于该图像范围内的重叠用图像(标记图像等)进行重置，以获得摄像机视频输出。图18是用于说明利用实施方式4的图像重叠部来生成重叠图像的图。在图18中，在变换后的摄像机图像B中，显示有障碍物100。障碍物100在图像范围 内的坐标是由位置映射所推导出的，是根据映射变换部5所导出的变换参数来指定的。图像重叠部10根据障碍物100的图像范围的坐标来确定进行重叠的标记图像110的坐标位置，以得到图像C。然后，图像重置部10将摄像机图像B和图像C进行重置，以获得作为最终的摄像机视频输出的图像D。因此，显示用标记来表示障碍物位置的图像以通知使用者，引导其在显示画面上发现障碍物。另外，虽然上述说明中示出了将实施方式4运用于上述实施方式I的结构的情况，但也可以将实施方式4运用于上述实施方式2、3的结构，使用上述实施方式2、3的映射变换部5所获得的图像范围的坐标，来确定进行重叠的标记图像110的坐标位置，以得到图像C0综上所述，根据该实施方式4，因为具备了图像重叠部10，该图像重叠部10在经摄像机图像变换部6进行图像变换后的图像上重叠表示障碍物位置的图像，因此，利用重叠有标记等图像的图像来将障碍物的位置通知给使用者，因而能够引导其在显示画面上发现障碍物。实施方式5图19是表示本发明的实施方式5的车辆周边监视装置的主要结构的框图，由于是将实施方式5的结构运用于上述实施方式I而得的结构，因此省略了图I中的距离传感器2及位置映射部4的记载。图19所示的合成部11是生成将摄像机部3所拍摄到的原图像(摄像范围)和经摄像机图像变换部6进行图像变换后的变换图像(图像范围)配置于同一画面上而形成的合成图像的结构部。例如，生成将原图像和变换图像在显示装置的画面上用两个画面进行显示的图像。另外，在实施方式5的图像重叠部10中，根据映射变换部5的变换参数，来确定原图像(摄像范围)中障碍物的图像区域的坐标、以及变换图像(图像范围)中障碍物的图像区域的坐标，将原图像和变换图像中障碍物的图像区域分别与合成部11所获得的合成画面中的摄像范围和图像范围进行重置，以获得摄像机视频输出。图20是用于说明利用实施方式5的图像重叠部来生成重叠图像的图。如图20所示，在摄像机部3所拍摄到的图像A(摄像范围)中，显示有障碍物160。图像B是利用摄像机图像变换部6、来将确定图像A中的障碍物160的图像区域进行图像变换后的图像。合成部11将摄像机部3所拍摄到的图像A和经摄像机图像变换部6进行图像变换后的变换图像(图像范围)在同一画面上进行合成，并将合成画面信息输出至图像重叠部10。
当从映射变换部5输入变换参数时，图像重叠部10根据变换参数，来确定图像A中障碍物160的图像区域的坐标、以及变换后的障碍物160的图像区域(变换图像B)的坐标，根据合成图像中变换图像(图像范围)的坐标，来确定变换后的障碍物160在图像区域(变换图像B)内的坐标位置，将其作为重叠用图像BI而重叠于合成图像E，以获得最终的摄像机视频输出。另外，虽然上述说明中示出了将实施方式5运用于实施方式I的结构的情况，但也可以将实施方式5运用于上述实施方式2、3的结构，使用上述实施方式2、3的映射变换部5所获得的图像范围的坐标来执行上述处理。综上所述，根据该实施方式5，由于包括合成部11，该合成部11生成将摄像机部3和摄像机图像变换部6两者的输出显示在同一画面上的图像；以及图像重叠部10，该图像重叠部10将摄像机部3所拍摄得到的摄像机图像和经摄像机图像变换部6进行图像变换后的图像重叠于合成部11所生成的图像，因此，将经图像变换后的障碍物160的图像区域(变换图像B)作为重叠用图像而重叠在合成画面上并进行通知，因而能够帮助使用者在空间上掌握存在障碍物160的范围。 实施方式6图21是表示本发明的实施方式6的车辆周边监视装置的主要结构的框图，是将实施方式6的结构运用于上述实施方式I而得的结构，因此省略了图I中的距离传感器2、位置映射部4、以及映射变换部5的记载。图21中，注意引起声产生部12在摄像机图像变换部6每次对摄像机图像进行图像变换时，将与图像变换相对应的引导作为注意声来进行输出。像这样对变换图像的情况进行通知，从而能够缓和相对于图像范围变化的离散性。另外，也可以将实施方式6运用于上述实施方式2、3的摄像机图像变换部6。实施方式7图22是表示本发明的实施方式7的车辆周边监视装置的主要结构的框图，是将实施方式7的结构运用于上述实施方式I而得的结构，因此省略了图I中的位置映射部4、映射变换部5以及摄像机图像变换部6的记载。图22所示的摄像机部3在距离传感器2发现障碍物时启动。由此，在障碍物较远而较为安全的情况下，不显示摄像机视频，当距离传感器2的障碍物检测范围内存在障碍物时，将障碍物作为摄像机图像来进行通知，从而有助于驾驶的安全性。另外，也可以将实施方式7运用于上述实施方式2 5的摄像机部3。实施方式8图23是表示由实施方式8的车辆周边监视装置所进行的摄像机图像显示的一个例子的图。实施方式8中，映射变换部5以及摄像机图像变换部6进行图像变换，使得障碍物100在图像上的位置位于输出图像B的左边、上边、右边附近。另外，使车辆200的车体位于图像B的下边。S卩，进行映射变换，使得距离传感器2所检测到的障碍物100在摄像机图像上的位置位于图像变换后的摄像机图像的矩形中的、除离车辆200最近的边(下边)以外的任何一条边(左边、上边、右边)附近。另外，可以将实施方式8运用于上述实施方式I 7。作为图像变换的规定方法，在将摄像机图像显示为矩形图像的情况下，设定摄像范围A上的图像变换范围a，使得障碍物100存在于变换后的图像B的右边、上边、左边附近的范围bl内，实施图像变换，从而将障碍物100始终显示在图像B的特定位置，以易于掌握其与车辆200车体的位置关系。实施方式9图24是表示由实施方式9的车辆周边监视装置所进行的摄像机图像显示的一个例子的图。实施方式9中，映射变换部5以及摄像机图像变换部6进行图像变换，使得障碍物100在图像上的位置位于输出图像B的上边中央。即，进行映射变换，使得距离传感器2所检测到的障碍物100在摄像机图像上的位置位于图像变换后的摄像机图像的矩形中的、离车辆200最远的边(上边)的中央部。另外，可以将实施方式9运用于上述实施方式I 7。作为图像变换的规定方法，在将摄像机图像显示为矩形图像的情况下，设定摄像范围A上的图像变换范围a，使得障碍物100存在于变换后的图像B的上边中央的范围b2内，实施图像变换，从而将障碍物100始终显示在图像B的一个特定的位置上，以易于对障·碍物100的发现进行掌握。实施方式10图25是表示由实施方式10的车辆周边监视装置所进行的摄像机图像显示的一个例子的图。实施方式10中，映射变换部5以及摄像机图像变换部6进行图像变换，使得障碍物100在图像上的位置位于输出图像B的画面中央。另外，可以将实施方式10运用于上述实施方式I 7。作为图像变换的规定方法，设定摄像范围A上的图像变换范围al，使得障碍物100存在于变换后的图像B的画面中央的范围b3内，实施图像变换，从而将障碍物100始终显示在图像B的一个特定的位置上，以易于对障碍物100的发现以及障碍物周边的情况进行掌握。工业上的实用性本发明所涉及的车辆周边监视装置能够提供一种易于掌握障碍物的摄像机图像，因此，适用于利用对车辆后方的停车位置进行拍摄而得到的摄像机图像来对停车进行辅助的停车辅助装置。
权利要求
1.一种车辆周边监视装置，其特征在于，包括 位置映射部，该位置映射部进行位置映射，以将检测障碍物的检测部在车辆周边的检测范围内的位置关系表示在以所述车辆周边为摄像范围的摄像机部所拍摄到的摄像机图像上的坐标上； 映射变换部，该映射变换部导出进行映射变换的变换参数，其中，进行所述映射变换，使得所述检测部所检测到的所述障碍物的位置位于经所述位置映射部进行位置映射后的所述摄像机图像上的规定位置上；以及 摄像机图像变换部，该摄像机图像变换部利用所述映射变换部所获得的变换参数，来将所述摄像机图像进行图像转换，使得所述障碍物的位置位于所述规定的位置上。
2.如权利要求I所述的车辆周边监视装置，其特征在于，包括 位置映射外判定部，该位置映射外判定部判定在经所述位置映射部进行位置映射后的所述摄像机图像上是否存在障碍物；以及 引导处理部，该引导处理部在所述位置映射外判定部判定为在所述摄像机图像内不存在所述障碍物时，对所述摄像机图像上不存在所述障碍物的情况进行引导。
3.如权利要求2所述的车辆周边监视装置，其特征在于， 所述摄像机图像变换部将输出返回给所述位置映射部，并反复进行图像变换，使得所述检测部所检测到的所述障碍物的位置位于所述摄像机图像上的规定的位置上， 当即使由所述摄像机图像变换部所进行的图像变换达到规定的重复次数、所述摄像机图像上也未出现所述障碍物的情况下，所述引导处理部对所述摄像机图像上不存在所述障碍物的情况进行引导。
4.如权利要求I所述的车辆周边监视装置，其特征在于， 所述摄像机图像变换部进行放大缩小摄像机图像的图像变换。
5.如权利要求I所述的车辆周边监视装置，其特征在于， 所述摄像机图像变换部对摄像机图像进行俯视图像变换。
6.如权利要求I所述的车辆周边监视装置，其特征在于， 所述摄像机图像变换部进行变更摄像机图像的基准点的图像变换。
7.如权利要求I所述的车辆周边监视装置，其特征在于， 所述摄像机图像变换部在校正所述摄像机图像的失真的画面模式、与对所述摄像机图像进行俯视图像变换的画面模式之间进行切换，来进行图像变换。
8.如权利要求I所述的车辆周边监视装置，其特征在于， 在将所述摄像机图像显示为矩形图像的情况下，所述映射变换部进行映射变换，使得所述检测部所检测到的障碍物的位置位于所述矩形图像中除离车辆最近的边以外的任意一条边附近的位置上。
9.如权利要求I所述的车辆周边监视装置，其特征在于， 在将所述摄像机图像显示为矩形图像的情况下，所述映射变换部进行映射变换，使得所述检测部所检测到的障碍物的位置位于所述矩形图像中离车辆最远的边的中央部。
10.如权利要求I所述的车辆周边监视装置，其特征在于， 所述映射变换部进行映射变换，使得所述检测部所检测到的障碍物的位置位于所述摄像机图像的中央部。
11.如权利要求I所述的车辆周边监视装置，其特征在于，包括 图像重叠部，该图像重叠部在经所述摄像机图像变换部进行图像变换后的图像上重叠表示障碍物位置的图像。
12.如权利要求I所述的车辆周边监视装置，其特征在于，包括 合成部，该合成部生成将所述摄像机部和所述摄像机图像变换部两者的输出显示在同一画面上的图像；以及 图像重叠部，该图像重叠部将所述摄像机部所拍摄到的摄像机图像和经所述摄像机图像变换部进行图像变换后的图像重叠于所述合成部所生成的图像。
13.如权利要求I所述的车辆周边监视装置，其特征在于，包括 注意引起声产生部，该注意引起声产生部在所述摄像机图像变换部进行图像变换时，用声音来进行对该图像变换的引导。
14.如权利要求2所述的车辆周边监视装置，其特征在于， 所述引导处理部将对所述摄像机图像上不存在所述障碍物的情况进行引导的图像重叠在经所述摄像机图像变换部进行图像变换后的图像上，以进行通知。
15.如权利要求2所述的车辆周边监视装置，其特征在于， 所述引导处理部用引导声音来对所述摄像机图像上不存在所述障碍物的情况进行通知。
16.如权利要求I所述的车辆周边监视装置，其特征在于， 所述摄像机部在所述检测部检测到障碍物时，启动摄像动作。
全文摘要
进行位置映射，以将检测障碍物(100)的距离传感器(2)在检测范围内的位置关系表示在以车辆周边为摄像范围的摄像机部(3)所拍摄到的摄像机图像上的坐标上，导出进行映射变换的变换参数，使得距离传感器(2)所检测到的障碍物的位置位于进行位置映射后的摄像机图像上的规定位置，利用该变换参数，来将摄像机图像进行图像变换，使得障碍物的位置位于规定位置。
文档编号B60R1/00GK102918833SQ20108006716
公开日2013年2月6日 申请日期2010年6月15日 优先权日2010年6月15日
发明者三次达也, 井上悟, 铃木凉太郎, 清水浩一 申请人:三菱电机株式会社