专利名称：车辆用周围监视装置的制作方法
技术领域：
本发明涉及一种，设在车辆上，用于显示拍摄车辆周围的图像的车辆用周围监视装置。尤其涉及一种，当车辆的周围有障碍物时，能够准确地显示该障碍物的存在的车辆用周围监视装置。
背景技术：
近年，一般会使用，在车辆上设置摄像机，拍摄容易成为死角的车辆周边的图像并显示给驾驶员的系统。且，如下系统也进入实用化状态，即，在车辆上设置多个摄像机，通过坐标变换来生成如从正上方俯视的俯瞰图像，并将生成的俯瞰图像彼此合成后，显示可观测车辆周围360。的图像。 其中，提出如下发明方案，例如，在合各个成俯瞰图像时，根据车辆的状态设定图像的接缝位置的发明方案(专利文献I)。现有技术文献专利文献I :日本特开2007 - 036668号公报但是，在专利文献I公开的发明中，由于对具有一定高度的物体进行向路面的投影变换而获得其图像，所以对自路面具有一定高度的物体进行变换而获得的图像中会产生变形，进而存在难以辨认立体物体的问题。另外，当由不同的摄像机拍摄的各个图像的彼此接缝位置正好竖立着细柱状物(立体物)时，如果对所拍摄的图像进行指向路面的投影变换，则该柱状物被变换为在拍摄其柱状物的摄像机的主点位置和柱状物的连接方向上，向远离摄像机的方向横向倒下的样子。因此，如果在接缝位置合成图像，则越过该接缝位置横向倒下的柱状物的变换图像会被剪切，其结果，会存在有如下问题处于图像接缝位置的柱状物的变换图像仅剩下与路面接触的部分，即，在被合成的俯瞰图像上，在该接缝处，会对于自路面具有一定高度的物体产生死角。
发明内容
鉴于上述情况，本发明的目的在于提供一种，即使在各图像的彼此接缝处，也不会产生死角，且可以无变形地准确地显示自路面具有一定高度的立体物的车辆用周围监视装置。本发明涉及的车辆用周围监视装置，其中，被安装在车辆的周围多个拍摄部中，相邻拍摄部的拍摄范围的一部分相互重叠；虚拟屏幕设置部在该重叠区域，设置沿相对于该车辆沿远近方向延伸的虚拟屏幕；虚拟屏幕投影图像生成部将由相邻的该拍摄部拍摄的各图像投影到该虚拟屏幕上并生成虚拟屏幕投影图像；第一视角变换部将虚拟屏幕投影图像坐标变换成从规定的视角位置向规定的视线方向观测的图像；图像显示部用于显示该被坐标变换后的图像。
即，本发明涉及的第一车辆用周围监视装置具有多个拍摄部，其被设置在车辆上对车辆周围进行拍摄，且相邻拍摄部的拍摄范围的一部分具有重叠区域；虚拟屏幕设置部，其在该拍摄范围的重叠区域的内部，设置沿相对于该车辆沿远近方向延伸且从路面沿垂直方向竖立的虚拟屏幕；虚拟屏幕投影图像生成部，其将与存储在相邻拍摄部拍摄的各图像的各象素中的灰度值对应的值，存储至从与该拍摄部的各主点对应的位置向被该拍摄部拍摄的图像的各象素延伸的半直线与该虚拟屏幕交叉的位置；第一视角变换部，其将由该虚拟屏幕投影图像生成部生成的图像，坐标变换成从规定的视角位置向规定的视线方向而观测到的图像并输出；图像显示部，其显示从该第一视角变换部输出的图像。在如上组成的本发明的第一车辆用周围监视装置中，虚拟屏幕设置部在相邻拍摄部的各拍摄范围的重叠区域中，设置沿相对于车辆沿远近方向延伸的虚拟屏幕；虚拟屏幕投影图像生成部，将与相邻拍摄部拍摄的各图像的灰度值对应的值投影到该虚拟屏幕上，并生成虚拟屏幕投影图像；图像显示部显示这样生成的虚拟屏幕投影图像；因此，即使在各个图像的接缝处，也不会产生死角、可无变形地准确地显示自路面具有一定高度的立体物。 另外，本发明涉及的第二车辆用周围监视装置具有多个拍摄部，其被设置在车辆上对车辆周围进行拍摄，且相邻拍摄部的拍摄范围的一部分具有重叠区域；虚拟屏幕设置部，其在该拍摄范围的重叠区域的内部，设置言沿相对于该车辆沿远近方向延伸且从路面沿垂直方向竖立的虚拟屏幕；虚拟屏幕投影图像生成部，其将与存储在由相邻拍摄部拍摄的各图像的各象素中的灰度值对应的值，存储至从与该拍摄部的各主点对应的位置向由该拍摄部拍摄的图像的各象素延伸的半直线与该虚拟屏幕交叉的位置；第一视角变换部，其将由该虚拟屏幕投影图像生成部生成的图像坐标变换成，从规定的视角位置向规定的视线方向观测的图像并输出；路面投影图像生成部，其将存储在由该多个拍摄部拍摄的各图像的各象素中的灰度值，存储至从与该拍摄部的各主点对应的位置向由该拍摄部拍摄的图像的各象素延伸的半直线与路面交叉的位置；第二视角变换部，其将由该路面投影图像生成部生成的图像坐标变换成从该规定的视角位置向该规定的视线方向观测的图像并输出；图像合成部，其将从该第一视角变换部输出的图像和从该第二视角变换部输出的图像合成为I幅图像并输出；图像显示部显示从该图像合成部输出的图像。在如上组成的本发明涉及的第二车辆用周围监视装置，虚拟屏幕设置部在相邻的拍摄部的拍摄范围的各重叠区域中，设置沿相对于车辆沿远近方向延伸的虚拟屏幕；虚拟屏幕投影图像生成部，将与相邻摄部拍摄的各图像的灰度值对应的值，投影到该虚拟屏幕上并生成虚拟屏幕投影图像；并且，路面投影图像生成部，将存储在多个拍摄部拍摄的各图像的各象素中的灰度值投影到路面上并生成路面投影图像；图像显示部，通过图像合成部将这样生成的虚拟屏幕投影图像和路面投影图像被合成I幅图像并显示，由此，不仅能够准确地显示存在于相邻的拍摄范围的边界部分的立体物，还能够准确地显示存在于车辆周围的立体物。发明的效果通过本发明涉及的车辆用周围监视装置，能够不变形地准确地显示，存在于由设置在车辆周围的多个拍摄部拍摄的图像的接缝处、且自路面具有一定高度的立体物，因此，通过显示的上述图像，得以顺畅地进行车辆的泊车或调头操作。
图I是表示本发明的实施例I涉及的车辆用周围监视装置的大致结构的框图。图2 Ca)是设置本发明的实施例I的车辆的左侧视图。(b)是设置本发明的实施例I的车辆的俯视图。图3是虚拟设定的车辆周围环境的配置图。图4 Ca)是用于说明由第一摄像机拍摄的图像投影在第一虚拟屏幕上的情况的图，图4 (b)是用于说明由第二摄像机拍摄的图像投影在第一虚拟屏幕上的情况的图，图4(c)是表示第一虚拟屏幕投影图像的图。图5是用于说明本发明的实施例I的动作的流程图。
图6 (a)是用于说明由第一摄像机拍摄的图像对路面投影的示意图，图6 (b)是用于说明由第二摄像机拍摄的图像对路面投影的示意图，图6 (c)是用于说明由第一摄像机拍摄的图像和由第二摄像机拍摄的图像分别投影到路面上并合成的示意图。图7 (a)是用于说明由第一摄像机至第四摄像机拍摄的图像分别投影到路面上并合成的示意图，图7 (b)是表示合成路面投影图像的图。图8 (a)是在车辆前进时，显示用监视器所显示的图像的例子。图8 (b)是在车辆后退时，显示用监视器所显示的图像的例子。图9是表示本发明的实施例I的其他显示形态的图。图10是表示本发明的实施例2涉及的车辆用周围监视装置的概略构成的框图。图11 (a)是设置本发明的实施例2的车辆的左侧视图，图11 (b)是设置有本发明的实施例2的车辆的俯视图。图12是用于说明本发明的实施例2的动作的流程图。图13 (a)是虚拟地设定的车辆周围环境的配置图。图13 (b)是用于说明由第一摄像机至第四摄像机拍摄的4幅图像分别变换成路面投影图像并将它们合成的情况的图。图13 (c)是表示合成路面投影图像的图。图14 (a)是在车辆前进时显示用监视器所显示的图像例。图14 (b)是在车辆后退时显示用监视器所显示的图像例。图15是表示被透过率设定部设定的透过率参数的例子的图。
具体实施例方式以下，参照
本发明涉及的车辆用周围监视装置的实施例。实施例I实施例I是适用于车辆用周围监视装置2的本发明的例子，该车辆用周围监视装置2可将设置在车辆上的多个摄像机拍摄的车辆周围图像，以容易理解的形式显示给驾驶员。图I是表示本发明的实施例I涉及的车辆用周围监视装置2的结构的框图。如图I所示，实施例I涉及的车辆用周围监视装置2包括操作检测部10，其被设置在未图示的车辆I上，用于检测驾驶员对车辆用周围监视装置2实施的启动操作和结束操作；操作开关15，其被设置在驾驶员的手所能及的范围内，用于指示车辆用周围监视装置2的启动和结束；拍摄部20，其由用于拍摄车辆周围的图像的多个摄像机构成；虚拟屏幕设置部30，其在构成拍摄部20的多个摄像机之中，相邻的摄像机的拍摄区域的重叠部分设置虚拟屏幕；虚拟屏幕投影图像生成部40，其将由该相邻的摄像机拍摄的各图像投影在由虚拟屏幕设置部30设置的虚拟屏幕上，生成虚拟屏幕投影图像；路面投影图像生成部50，其将所拍摄的车辆周围的图像在路面上投影生成路面投影图像；第一视角变换部60，其将由虚拟屏幕投影图像生成部40生成的虚拟屏幕投影图像变换成从规定的虚拟视角向规定的虚拟视线方向观测得到的图像；第二视角变换部70，其将由路面投影图像生成部50生成的路面投影图像变换成从该规定的虚拟视角向该规定的虚拟视线方向观测得到的图像；图像合成部80，其将由第一视角变换部60进行视角变换后的虚拟屏幕投影图像和由第二视角变换部70进行视角变换后的路面投影图像合成为I幅图像；图像显示部90，用于显示被图像合成部80合成的图像。详细而言，操作检测部10包括启动开关操作检测部11，其用于检测驾驶员的启动开关操作、结束开关操作检测部12，用于检测驾驶员的结束开关操作、档位检测部13，用于检测车辆的档位、以及车速检测部14，用于检测车速。
详细而言，操作开关15包括启动开关16，其指示车辆用周围监视装置2的启动、结束开关18，其指示车辆用周围监视装置2的结束。详细而言，拍摄部20包括如图2所示，被设置在车辆的周围，并以相邻的拍摄区域相互重叠的方式配置的第一摄像机22、第二摄像机24、第三摄像机26、第四摄像机28 ；以及通过AD变换将第一摄像机22的输出信号变换成数字信号的第一解码器23 ;通过AD变换将第二摄像机24的输出信号变换成数字信号的第二解码器25 ;通过AD变换将第三摄像机26的输出信号变换成数字信号的第三解码器27 ;通过AD变换将第四摄像机28的输出信号变换成数字信号的第四解码器29。详细而言，虚拟屏幕投影图像生成部40包括第一坐标变换数据存储部44和虚拟屏幕投影图像运算部42，第一坐标变换数据存储部44内存储有，为了生成虚拟屏幕投影图像，根据第一摄像机22至第四摄像机28的各设置位置和虚拟屏幕的各设置位置而预先作成的坐标变换用数据表；虚拟屏幕投影图像运算部42根据存储在第一坐标变换数据存储部44中的坐标变换用数据表生成虚拟屏幕投影图像。详细而言，路面投影图像生成部50包括第二坐标变换数据存储部56、路面投影图像运算部52以及路面投影图像合成部54，第二坐标变换数据存储部56内存储有，为了生成路面投影图像，根据第一摄像机22至第四摄像机28的各设置位置而预先作成的坐标变换用数据表；路面投影图像运算部52，其根据存储在第二坐标变换数据存储部56中的坐标变换用数据表，由各摄像机拍摄的图像生成路面投影图像；路面投影图像合成部54，其将所生成的多个路面投影图像合成为I幅图像。详细而言，第一视角变换部60包括虚拟视角位置/虚拟视线方向设定部66，其根据车辆I的行进方向和驾驶员的开关操作来设定用于生成虚拟屏幕投影图像和路面投影图像的合成图像的虚拟视角位置和虚拟视线方向；第三坐标变换数据存储部64，其内存储有用于从被虚拟视角位置/虚拟视线方向设定部66设定的虚拟视角位置向虚拟视线方向，进行虚拟屏幕投影图像的视角变换的坐标变换用数据表；第一视角变换运算部62，其根据存储在第三坐标变换数据存储部64中的坐标变换用数据表，对虚拟屏幕投影图像进行视角变换。详细而言，第二视角变换部70包括第四坐标变换数据存储部74，其内存储有用于从被虚拟视角位置/虚拟视线方向设定部66设定的虚拟视角位置向虚拟视线方向，进行路面投影图像的视角变换的坐标变换用数据表；第二视角变换运算部72，其根据被存储在第四坐标变换数据存储部74中的坐标变换用数据表，对路面投影图像进行视角变换。详细而言，图像合成部80包括透过率设定部84，其在将被第一视角变换部60视角变换后的虚拟屏幕投影图像和被第二视角变换部70视角变换后的路面投影图像合成为I幅图像时，用于设定图像重叠部分的透过率；图像合成运算部82，其利用由透过率设定部84设定的透过率，将由第一视角变换部60进行视角变换后的虚拟屏幕投影图像作为前面、且将由第二视角变换部70进行视角变换后的路面投影图像作为背面进行合成。更详细来说，图像显示部90包括编码器92，其将被图像合成部80合成的图像从数字信号变换成模拟信号；显示用监视器94，其是被设置在车内，用于显示被编码器92变换成模拟信号的图像的液晶监视器等。 以下，根据图5的流程图，对实施例I涉及的车辆用周围监视装置2的作用进行说明。实施例I涉及的车辆用周围监视装置2是，在进行车辆的泊车时或在狭窄场所调头时，将车辆周围的图像呈现给驾驶员来协助驾驶动作的装置。如图2 (a)所示，第一摄像机22被设置在车辆I的前保险杠上，第二摄像机24被设置在车辆I的左车门后视镜上，第三摄像机26被设置在车辆I的后保险杠上，图2 (a)中虽然未图示，但第四摄像机28被设置在车辆I的右车门后视镜上。另外，如图2 (b)所示，各摄像机被设置成，对各自的拍摄范围与路面由各相交线120、122、124、126相交叉的范围进行拍摄的方式。此外，如图2 (b)所示，相邻的摄像机22和24,24和26,26和28以及28和22的
各自的拍摄范围相互重叠，并以具有第一重叠区域E1、第二重叠区域E2、第三重叠区域E3、第四重叠区域E4的方式设置。首先，围绕为了泊车车辆I在前进时，对实施例I的车辆用周围监视装置2的工作进行说明。驾驶员要监视车辆周围的图像时，对设置在车内的启动开关16进行操作。然后，通过启动开关操作检测部11检测启动开关的操作(图5的S2)，向表示车辆用周围监视装置2的状态的变量P赋值I (图5的S4)。由第一摄像机22至第四摄像机28拍摄的图像分别被第一解码器23至第四解码器29标本化以及量化而变换成数字图像(图5的S6)。此外，将第一摄像机22至第四摄像机 28 拍摄的图像分别设定为 I1 (x,y)、I2 (x, y)> I3 (x, y)、I4 (x, y)。然后，通过虚拟屏幕设置部30，在相邻设置的摄像机的拍摄范围的重叠区域El、E2、E3、E4，分别设置可将各重叠区域El、E2、E3、E4的面积二等分，并沿自车辆向远近方向延伸且与路面垂直的平面状的虚拟屏幕200、210、220、230。图3仅示出了虚拟屏幕200的设置位置。虚拟屏幕200在图3中以Z XOA = Z YOA的方式设置。虽然虚拟屏幕210、220、230未图示，但以和虚拟屏幕200相同的位置关系设置。进一步，通过虚拟屏幕投影图像生成部40，在第一重叠区域El设置的第一虚拟屏幕200，投影变换图像I1 (x，y)和图像I2 (x，y);在第二重叠区域E2设置的第二虚拟屏幕210，投影变换图像I2 (x，y)和图像I3 (x，y);在第三重叠区域E3设置的第三虚拟屏幕220，投影变换I3 (x，y)和图像I4 (x，y);在第四重叠区域E4设置的第四虚拟屏幕230投影变换I4 (x，y)和图像I1 (x，y)(图5的S7)。这里，根据图3和图4，对说明向第一虚拟屏幕200进行投影变换的方法进行说明。图3示出了车辆I和在其左前方垂直于路面竖起的4根细的柱状物(第一柱状物301、第二柱状物302、第三柱状物303、第四柱状物304)的情况，该等柱状物被配置在正方形的4个顶点位置。此外，为简化说明，仅对第一摄像机22和第二摄像机24的拍摄范围进行说明，但其他摄像机的拍摄范围也是同样的。而且，各摄像机22、24沿水平方向设置，第一摄像机22拍摄Z XPX’的范围，第二摄像机24拍摄Z YQY，的范围。另外，车辆I位于水平的路面上。 这里，在将Z XOY的二等分位置，设置垂直于路面的平面状的第一虚拟屏幕200。在此，第一柱状物301和第三柱状物303为在与第一虚拟屏幕200重合的位置竖立的物体。虚拟屏幕投影图像生成部40，如图4 (a)所示，将由第一摄像机22拍摄的图像I1(x, y)的灰度值投影到第一虚拟屏幕200上，并且如图4 (b)所示，将由第二摄像机24拍摄的图像I2 (x, y)的灰度值投影到第一虚拟屏幕200上。所谓的向虚拟屏幕进行投影变换是指，假设被摄像机实际拍摄到的像是原本存在于虚拟屏幕上的物体的像，并将与所拍摄的图像的灰度值对应的值存储在虚拟屏幕上的对应的位置。该投影变换具体执行如下。在图4 (a)中，着眼于构成反映在图像I1 (x，y)上的第二柱状物302的像的象素(x0，y0)。将存储在象素(x0，y0)中的灰度值I1 (x0, y0)作为，从图4 (a)所示的第一摄像机22的主点位置P向成为正在注视的第二柱状物302的象素(X0，y0)延伸的半直线，被投影于与第一虚拟屏幕200交叉的点上投影，在其交叉的点上存储与灰度值I1 (x0，y0)对应的值。在图4 Ca)所示的情形，由于第二柱状物302的像被投影在点M和点N所夹的区间中，所以在第一虚拟屏幕200上的点M和点N所夹的区域中存储有与第二柱状物302的像的灰度值对应的值，并生成第二柱状物302的虚拟屏幕投影像302P。对图像I1 (x,y)的全部象素进行同样的处理，在第一虚拟屏幕200上分别会生成第一柱状物301的虚拟屏幕投影像301P、第三柱状物303的虚拟屏幕投影像303P、第四柱状物304的虚拟屏幕投影像304P (参照图4 (a))。如果对由第二摄像机24拍摄的图像I2 (x，y)也进行同样的处理，则在第一虚拟屏幕200上分别会生成第一柱状物301的虚拟屏幕投影像301Q、第二柱状物302的虚拟屏幕投影像302Q、第三柱状物303的虚拟屏幕投影像303Q、第四柱状物304的虚拟屏幕投影像304Q (参照图4 (b))。通过对这样生成的虚拟屏幕投影像进行加法合成，而生成图4 (c)所示的第一虚拟屏幕投影图像205。此外，如果单纯地进行加法合成，则有可能超过第一虚拟屏幕投影图像205中能够存储的与量化比特数对应的值，因此，在这里，将图像I1 (x,y)的灰度值和图像I2 (x, y)的灰度值分别取1/2倍再相加。4根柱状物301、302、303、304垂直于路面立起，第一摄像机22和第二摄像机24为简单起见而水平方向设置，因此在第一虚拟屏幕200上会形成，如图4 (c)所示的沿屏幕的上下方向的带状的各柱状物301、302、303、304的虚拟屏幕投影像。这里，4根柱状物301、302、303、304和车辆I处于图3的位置关系时，4根柱状物301、302、303、304都通过第一摄像机22以及第二摄像机24被投影到第一虚拟屏幕200上，如图4 (a)所示，生成从第一摄像机22观察的4根虚拟屏幕投影像，如图4 (b)所示，生成从第二摄像机24观察的4根虚拟屏幕投影像。如果对这些虚拟屏幕投影像进行加法合成，则发生虚拟屏幕投影像彼此的重合，从而如图4 (c)所示，生成5根虚拟屏幕投影像。图4 (c)所示的5根虚拟屏幕投影像从左侧按顺序分别与虚拟屏幕投影像304P、虚拟屏幕投影像302Q、虚拟屏幕投影像301P和301Q、虚拟屏幕投影像303P和303Q、虚拟屏幕投影像302P和304Q相对应。但是，该虚拟屏幕投影像的根数当然也取决于柱状物的起立位置和虚拟屏幕的位置关系。
虽然向虚拟屏幕进行的投影变换的程序，通过虚拟屏幕投影图像运算部42实施，但由于在图像I1 (x，y)、图像I2 (x，y)的每个象素计算出与第一虚拟屏幕200交叉的点，其计算负荷很大，因此根据第一摄像机22和第二摄像机24的配置，预先计算出投影到第一虚拟屏幕投影图像205的任意的象素的、图像I1 (x，y)和图像I2 (x，y)的坐标值，并根据该计算结果预先作成坐标变换表，并存储于第一坐标变换数据存储部44。而且，在虚拟屏幕投影图像运算部42中，通过根据存储在第一坐标变换数据存储部44中的坐标变换表来进行坐标的置换的方法，进行投影变换，借此降低计算负荷。同样的投影变换，还对设置在图2的第二重叠区域E2的第二虚拟屏幕210、设置在第三重叠区域E3的第三虚拟屏幕220、设置在第四重叠区域E4的第四虚拟屏幕230执行。借此，生成4幅虚拟屏幕投影图像(第一虚拟屏幕投影图像205、第二虚拟屏幕投影图像215、第三虚拟屏幕投影图像225、第四虚拟屏幕投影图像235)。然后,通过路面投影图像运算部52,将图像I1 (x,y)、图像I2 (x,y)、图像I3 (x,y)和图像I4 (x，y)分别投影到路面上，再变换成从车辆正上方向下观察的图像(图5的S8)。前述的虚拟屏幕投影图像是假定为存在于虚拟屏幕上的物体的像反映在由摄像机拍摄的图像中而生成的图像，而路面投影图像是假定为存在于路面上的物体的像反映在由摄像机拍摄的图像上而生成的图像。路面投影图像的生成通过路面投影图像运算部52执行，但图像I1 (x，y)是，通过求出从第一摄像机22的主点位置P向由第一摄像机22拍摄的图像I1 (x，y)的各象素延伸的半直线与路面交叉的点的方法进行。关于图像I2 (x，y)，也用同样的方法生成路面投影图像。这里，因为对于图像I1 (x，y)和图像I2 (x，y)，按其每个象素算出与路面交叉的点的坐标，其计算负荷较大，所以根据第一摄像机22和第二摄像机24的配置，预先计算出被投影到路面上的任意的点上的、图像I1 (x，y)和图像I2 (x，y)的坐标值，并根据该计算结果预先作成坐标变换表后，存储于第二坐标变换数据存储部56。在路面投影图像运算部52中，根据存储在第二坐标变换数据存储部56中的坐标变换表，通过进行坐标的置换来执行投影变换，借此降低计算负荷。在图6中示出，在图3的配置中，由第一摄像机22拍摄的图像I1 (x，y)和由第二摄像机24拍摄的图像I2 (x，y)变换成路面投影图像的状态。
如图6 (a)所示，反映在由第一摄像机22拍摄的图像I1 (x, y)中的第一柱状物301、第二柱状物302、第三柱状物303、第四柱状物304分别在路面投影图像上，被变换成沿着连结第一摄像机22的主点位置P和各柱状物的方向，从第一摄像机22向远处横倒的状态。另外，如图6 (b)所示，反映在由第二摄像机24拍摄的图像I2 (x，y)上的第一柱状物301至第四柱状物304，分别在路面投影图像上，被变换成沿着连结第二摄像机24的主点位置Q和各柱状物的方向，从第二摄像机24向远处横向倒下的状态。然后，通过路面投影图像合成部54，将从图像I1 (x，y)、图像I2 (x，y)、图像I3 (X，y)、图像I4 (x, y)分别被变换的路面投影图像合成为I幅图像。参照图6 (c)说明路面投影图像的合成方法。图像I1 (x，y)的路面投影图像和图像I2 (x,y)的路面投影图像是，将第一摄像机22的拍摄范围和第二摄像机24的拍摄范围的重叠区域进行二等分的直线AO作为边界线而合成的。S卩，在图6 (a)、(b)所表示的路·面投影图像中，跨过直线AO被投影的像没有反映在合成图像中。通过这样合成路面投影图像，第一摄像机22的路面投影图像和第二摄像机24的路面投影图像被合成如图6 (c)所不的样子。从图6 (C)可知，存在于路面投影图像的接缝即直线AO上的第一柱状物301和第三柱状物303的路面投影图像，剩下这些柱状物与路面接触的部分而完全消失。这里，假定在车辆I的左后方转角部、右后方转角部、右前方转角部，也分别与左前方转角部的情形相同，分别竖立有4根细的柱状物时，由4台摄像机拍摄的4幅图像的路面投影图像被合成为如图7 (a)所示的状态。此外，车辆I本身以及其贴近部分处于摄像机的拍摄视野以外，因此会进行例如将灰度值置换成最小值或最大值等工作，借此保存特定数值，并将信息缺失的情况通知驾驶员。从而生成图7 (b)所示的合成路面投影图像300。然后，在图5的S7生成的4幅虚拟屏幕投影图像，被第一视角变换部60变换成从规定的视角位置朝向规定的视线方向观测的图像。这里，规定的视角位置和规定的视线方向是根据被操作检测部10测出的信息由虚拟视角位置/虚拟视线方向设定部66决定的。S卩，在向表示车辆用周围监视装置2的状态的变量P赋值I时(图5的S9)，虚拟视角被设定在车辆I的后方上空，设定从其处向下观察车辆I的前方一侧的虚拟视线方向(图 5 的 S10)。在第三坐标变换数据存储部64中，存储有用于将4幅虚拟屏幕投影图像以从所设定的虚拟视角位置朝向所设定的虚拟视线方向观测的方式进行视角变换的预先作成的坐标变换表，根据该坐标变换表，通过第一视角变换运算部62进行视角变换(图5的S12)。进一步，在图5的S8中生成的合成路面投影图像300被第二视角变换部70变换成与由虚拟视角位置/虚拟视线方向设定部66所设定的相同的视角位置且朝向相同的视线方向而观测到的图像。具体的是，在第四坐标变换数据存储部74中，存储有用于将合成路面投影图像300以从所设定的虚拟视角位置朝向所设定的虚拟视线方向观测的方式进行视角变换的预先作成的坐标变换表，并根据该坐标变换表，通过第二视角变换运算部72进行视角变换(图 5 的 S13)。然后，由第一视角变换运算部62生成的4幅虚拟屏幕投影图像(第一虚拟屏幕投影图像205、第二虚拟屏幕投影图像215、第三虚拟屏幕投影图像225、第四虚拟屏幕投影图像235)和由第二视角变换运算部72生成的合成路面投影图像300，将虚拟屏幕投影图像(205、215、225、235)作为前面，将合成路面投影图像300作为背面，并由图像合成部80合成为I幅图像(图5的S14)。该图像合成根据透过率设定部84决定的透过率，由图像合成运算部82进行实施。现在，若设由第一视角变换运算部62生成的第一虚拟屏幕投影图像205为K (x,y)、由第二视角变换运算部72生成的合成路面投影图像300为L (x, y)、由图像合成部80合成的图像为M (X, y),则M (X, y)可通过式I算出。M (X，y) = a XK (x, y) + (1-a ) XL (x, y)(式 I)
这里，a是透过率参数。S卩，a是在2幅图像重合时与配置在前面的图像的透过率对应的值，取Oa I的范围。a的值被预先设定，并存储在透过率设定部84中。在实施例I的情形，设定成a = I。这是在虚拟屏幕投影图像(205、215、225、235)和合成路面投影图像300重合的情况下，将成为背面的合成路面投影图像300设定为不可视状态。此外，a的值不限定于1，可以根据最终生成的合成图像的用途和易于观看等，作出适当调整。图8 (a)给出了这样获得的合成图像的例子。这里，填充黑色的区域是相当于车辆I的存在位置及其附近的、拍摄部20的拍摄视野以外的区域、和虚拟屏幕投影图像及合成路面投影图像以外的区域。其中，在车辆I的存在位置中，如图8 (a)所示，也可以重叠显示朝后的第一车辆图标400,而更明确地表现前后的位置关系。这样获得的图8 Ca)的合成图像通过编码器92进行DA变换，显示在设置于车辆I内部的显示用监视器94上(图5的S15)。此时，通过车速检测部14经常检测车速，当测出的车速超过规定值时(图5的
S16)，将被显示的图像返回到本装置启动前的状态(图5的S20)，转移到车辆用周围监视装置2的非显示状态(图5的SI)。另外，通过结束开关操作检测部12检测到结束开关18已被操作时(图5的S18)，将被显示的图像返回到本装置启动前的状态(图5的S20)，转移到车辆用周围监视装置2的非显示状态(图5的SI)。以上，围绕车辆I前进时的动作进行了说明，但在车辆I后退时，显示车辆后方的图像。此情况下的工作流程与上述车辆前进时大致相同，因此仅简单说明不同点。当通过档位检测部13测出档位处于后退位置时(图5的S3)，马上向表示系统的状态的变量P赋值2(图5的S5)，通过虚拟视角位置/虚拟视线方向设定部66，将虚拟视角设定在车辆I的前方上空，设定从此处向下观察车辆I的后方侧的虚拟视线方向(图5的S11)。与车辆前进的情形相同，图像合成运算部82合成生成的虚拟屏幕投影图像和合成路面投影图像300，并如图8 (b)所示，将作为俯瞰车辆后方的图像显示在显示用监视器94上(图5的S15)。此时，也可以在车辆I的存在位置，重叠显示朝前的第二车辆图标410，更明确地表现前后的位置关系。
此外，此时，通过车速检测部14不断监视车速，从安全方面考虑当车速超过规定值时(图5的S16)，显示车辆周围的图像，即将所显示的图像返回到本装置启动前的状态(图5的S20)，并脱离车辆用周围监视装置2的显示状态(图5的SI)。另外，通过档位检测部13不断检测档位，当测出档位在后退位置以外的位置时(图5的S19)，将所显示的图像返回到本装置启动前的状态(图5的S20)，并脱离车辆用周围监视装置2的显示状态(图5的SI)。根据这样构成的实施例I涉及的车辆用周围监视装置2，即使是在相邻的摄像机的拍摄范围的边界部分存在立体物，也能够通过在该边界部分设置虚拟屏幕，生成对该虚拟屏幕的投影图像并显示该投影图像的方法，而能防止死角的产生，准确地显示该立体物。因此，能够准确地将车辆周围的状况向驾驶员传递，借此，能顺利地对进行泊车操作和调头操作等的车辆进行引导。
此外，在实施例I中，采用了将虚拟屏幕投影图像和合成路面投影图像加以合成后显示的结构，不过，不限定于该形式。即，也可以如图9所示，仅显示虚拟屏幕投影图像。这能够通过删除图I中的路面投影图像生成部50、第二视角变换部70和图像合成部80的结构来实现。通过根据图9的显示方法，获得，能够准确地显示易成为死角产生的，位于图像接缝处的车辆附近的障碍物的状况的效果。而且，在实施例I中，采用了将4幅虚拟屏幕投影图像和合成路面投影图像合成为I幅图像并显示的结构，但不局限于该形式。即，在车辆前进时，如图8 (a)所示，仅合成第一虚拟屏幕投影图像205、第四虚拟屏幕投影图像235、及合成路面投影图像300来显示亦可。这能够通过，在虚拟视角位置/虚拟视线方向设定部66设定了虚拟视角位置和虚拟视角方向时，对于第三坐标变换数据存储部64发出只作成第一虚拟屏幕投影图像205和第四虚拟屏幕投影图像235的指示的方式来实现。另外，在车辆后退时，在图8 (b)中，也可以仅合成第二虚拟屏幕投影图像215、第三虚拟屏幕投影图像225和合成路面投影图像300并显示。这能够通过，在由虚拟视角位置/虚拟视线方向设定部66设定了虚拟视角位置和虚拟视角方向时，对于第三坐标变换数据存储部64，发出只作成第二虚拟屏幕投影图像215和第三虚拟屏幕投影图像225的指示来实现。由此，能够进一步强调地表示车辆的行进方向的信息，从而能够进一步提高监视器所显示的图像的即时可读性。实施例2实施例2是，将由设置在车辆上的多个摄像机拍摄的车辆周围的状况，以易读形式显示给驾驶员的本发明的车辆用周围监视装置4的例子。尤其，实施例2是，在车辆周围具有障碍物检测部，根据该障碍物检测部的输出，将车辆周围的图像变换成易懂形态，并显示在设置于车内的监视器上的例子。图10是表示本发明的实施例2涉及的车辆用周围监视装置4的结构的框图。如图10所示，本发明涉及的车辆用周围监视装置4包括操作检测部10，其被设置在未图示的车辆I上，用于检测驾驶员对车辆用周围监视装置4进行的启动操作和结束操作；操作开关15，其被设置在驾驶员的手所能及的范围内，用于指示车辆用周围监视装置4的启动和结束；拍摄部20，其由用于拍摄车辆周围的图像的多个摄像机构成；虚拟屏幕设置部30，其在构成拍摄部20的多个摄像机中的，相邻的摄像机的拍摄区域的重叠部分设置虚拟屏幕；虚拟屏幕投影图像生成部40，其将由该相邻的摄像机拍摄的各图像投影到由虚拟屏幕设置部30设置的虚拟屏幕上，生成虚拟屏幕投影图像；路面投影图像生成部50，其将所拍摄的车辆周围的图像投影到路面上，生成路面投影图像；第一视角变换部60，其将由虚拟屏幕投影图像生成部40生成的虚拟屏幕投影图像变换成从规定的虚拟视角朝向规定的虚拟视线方向拍摄的图像；第二视角变换部70，其将由路面投影图像生成部50生成的路面投影图像变换成从该规定的虚拟视角朝向该规定的虚拟视线方向拍摄的图像；图像合成部80，其将被第一视角变换部60视角变换后的虚拟屏幕投影图像和被第二视角变换部70视角变换后的路面投影图像合成为I幅图像；图像显示部90，其显示由图像合成部80合成的图像；障碍物检测部100，其检测车辆I的周围的障碍物的有无，并计算出至该障碍物的距离。详细而言，操作检测部10包括启动开关操作检测部11，其检测驾驶员对车辆用周围监视装置4进行的启动操作；结束开关操作检测部12，用于检测车辆用周围监视装置4的结束操作；档位检测部13，用于检测车辆的档位；车速检测部14，用于检测车速。 详细而言，操作开关15包括启动开关16，其指示车辆用周围监视装置4的启动；结束开关18，其指示车辆用周围监视装置4的结束。详细而言，拍摄部20包括如图11所示，被设置在车辆的周围，并以相邻的拍摄区域相互重叠的方式配置的第一摄像机22、第二摄像机24、第三摄像机26、第四摄像机28、以及，对第一摄像机22的输出信号进行AD变换而变换成数字信号的第一解码器23 ;对第二摄像机24的输出信号进行AD变换而变换成数字信号的第二解码器25 ;对第三摄像机26的输出信号进行AD变换而变换成数字信号的第三解码器27 ;对第四摄像机28的输出信号进 行AD变换而变换成数字信号的第四解码器29。详细而言，虚拟屏幕投影图像生成部40包括第一坐标变换数据存储部44和虚拟屏幕投影图像运算部42，第一坐标变换数据存储部44内存储有，为生成虚拟屏幕投影图像，根据第一摄像机22至第四摄像机28的各设置位置和虚拟屏幕的各设置位置而预先作成的坐标变换用数据表；虚拟屏幕投影图像运算部42根据存储在第一坐标变换数据存储部44中的坐标变换用数据表生成虚拟屏幕投影图像。详细而言，路面投影图像生成部50包括第二坐标变换数据存储部56、路面投影图像运算部52以及路面投影图像合成部54，第二坐标变换数据存储部56内存储有，为生成路面投影图像，根据第一摄像机22至第四摄像机28的各设置位置预先作成的坐标变换用数据表；路面投影图像运算部52根据被存储在第二坐标变换数据存储部56中的坐标变换用数据表，从由各摄像机拍摄的图像生成路面投影图像；路面投影图像合成部54其将所生成的多个路面投影图像合成为I幅图像。详细而言，第一视角变换部60包括虚拟视角位置/虚拟视线方向设定部66，其根据车辆I的行进方向和驾驶员的开关操作，设定用于生成虚拟屏幕投影图像和路面投影图像的合成图像的虚拟视角位置和虚拟视线方向；第三坐标变换数据存储部64，其内存储有用于从由虚拟视角位置/虚拟视线方向设定部66设定的虚拟视角位置朝向虚拟视线方向，进行虚拟屏幕投影图像的视角变换的坐标变换用数据表；第一视角变换运算部62根据存储在第三坐标变换数据存储部64中的坐标变换用数据表对虚拟屏幕投影图像进行视角变换。
详细而言，第二视角变换部70包括第四坐标变换数据存储部74，其内存储有用于从由虚拟视角位置/虚拟视线方向设定部66设定的虚拟视角位置朝向虚拟视线方向，进行路面投影图像的视角变换的坐标变换用数据表；第二视角变换运算部72，其根据被存储在第四坐标变换数据存储部74中的坐标变换用数据表对路面投影图像进行视角变换。详细而言，图像合成部80包括透过率设定部84，其用于设定在将被第一视角变换部60视角变换后的虚拟屏幕投影图像和被第二视角变换部70视角变换后的路面投影图像合成为I幅图像时，用于设定图像重叠部分的透过率；图像合成运算部82，其根据由透过率设定部84设定的透过率，将被第一视角变换部60视角变换后的虚拟屏幕投影图像作为前面，将被第二视角变换部70视角变换后的路面投影图像作为背面进行合成。详细而言，图像显示部90包括编码器92，其将由图像合成部80合成的图像从数字信号变换成模拟信号；显示用监视器94，其显示被编码器92变换成模拟信号的图像。而且，详细而言，障碍物检测部100包括第一测距部102，其如图11所示，被设置在车辆I的周围，算出包含第一摄像机22的拍摄范围和第二摄像机24的拍摄范围的重叠 范围即第一重叠区域El在内的第一测距范围Rl内的障碍物的有无及至该障碍物的距离；第二测距部104，其算出包含第二摄像机24的拍摄范围和第三摄像机26的拍摄范围的重叠范围即第二重叠区域E2在内的第二测距范围R2内的障碍物的有无及至该障碍物的距离；第三测距部106，其算出包含第三摄像机26的拍摄范围和第四摄像机28的拍摄范围的重叠范围即第三重叠区域E3在内的第三测距范围R3内的障碍物的有无及至该障碍物的距离；第四测距部108，其算出包含第四摄像机28的拍摄范围和第一摄像机22的拍摄范围的重叠范围即第四重叠区域E4在内的第四测距范围R4内的障碍物的有无及至该障碍物的距离；距离值判定部109，其根据所测出的至该障碍物的距离值，设定图像合成时的透过率。以下，根据图12的流程图说明实施例2涉及的车辆用周围监视装置4的作用。本发明涉及的车辆用周围监视装置4是，在进行车辆的泊车时和在狭窄场所调头时等时，将车辆周边的图像呈现给驾驶员来辅助驾驶动作的装置。如图11(a)所示，第一摄像机22被设置在车辆I的前保险杠上，第二摄像机24被设置在车辆I的左车门后视镜上，第三摄像机26被设置在车辆I的后保险杠上，图11 (a)中虽然未图示，但第四摄像机28被设置在车辆I的右车门后视镜上。另外，如图11 (b)所示，第一测距部102被设置在前保险杠左角，第二测距部104被设置在后保险杠左角，第三测距部106被设置在后保险杠右角，第四测距部108被设置在前保险杠右角。这些测距部，具体由超声波传感器或光学式测距传感器构成，但只要具有测距功能，采用任何形式的测距部均可。另外，如图11 (b)所示，各摄像机被设置成，对各自的拍摄范围与路面由各交线120、122、124、126表示的相交的范围进行拍摄的方式。此外，如图11(b)所示，相邻的摄像机22和24、24和26、26和28以及28和22的
各自的拍摄范围相互重叠，并以具有第一重叠区域E1、第二重叠区域E2、第三重叠区域E3、第四重叠区域E4的方式设置。而且，第一测距部102将包含第一重叠区域El的区域作为第一测距范围R1，第二测距部104将包含第二重叠区域E2的区域作为第二测距范围R2，第三测距部106将包含第三重叠区域E3的区域作为第三测距范围R3，第四测距部108将包含第四重叠区域E4的区域作为第四测距范围R4。以下，围绕车辆I为了泊车而微速前进时，对实施例2的工作状态进行说明。驾驶员要监视车辆周围的情况时，操作设置在车内的启动开关16。然后，通过启动开关操作检测部11检测启动开关操作(图12的S2)。此时，向表示车辆用周围监视装置4的状态的变量^赋值I (图12的S4)。由第一摄像机22至第四摄像机28拍摄的图像分别通过第一解码器23至第四解码器29被标本化以及量化而变换成数字图像(图12的S6)。此外，将由第一摄像机22拍摄的图像设定为I1 (x,y),由第二摄像机24拍摄的图像设定为I2 (x,y),由第三摄像机26拍摄的图像设定为I3 (x，y)，由弟四摄像机28拍摄的图像设定为I4 (x, y)0在图像输入的同时，通过第一测距部102至第四测距部108进行车辆周围的测距，各测距部输出与存在于车辆I周围的障碍物的距离对应的值。 在此这里，为简便起见，假设实施例2工作进行动作的环境与如图13 (a)所示的情形相同。即，与在实施例I中说明的条件相同，即在车辆I的左前方的路面垂直竖立有4根柱状物(第一柱状物301、第二柱状物302、第三柱状物303、第四柱状物304)，在车辆I的右后方有4根柱状物(第五柱状物305、第六柱状物306、第七柱状物307、第八柱状物308)，该等柱状物被配置在正方形的4个顶点的位置，并分别垂直于路面立起。此外，车辆左前方的4根柱状物位于在进行泊车操作时需要唤起注意的唤起注意范围420的内部，车辆右后方的4根柱状物位于唤起注意范围420的外部。至自路面具有一定高度的物体(障碍物)的距离越近，4个测距部(102、104、106、108)输出的与距离对应的值越小。在实施例2的情形，从第一测距部102输出最小的值，从第三测距部106输出第二小的值。由于车辆I的左后方和右前方不存在障碍物，所以从第二测距部104和第四测距部108输出表示不存在障碍物的非常大的值。然后，从4个测距部(102、104、106、108)输出的值被发送到距离值判定部109，该距离值判定部109确定输出规定值以下的值的测距部的有无及其位置。在本例的情况下，指定从第一测距部102输出规定值以下的值(图12的S7)。然后，在由距离值判定部109指定的输出规定值以下的值的第一测距部102的测距范围即第一测距范围Rl覆盖的第一重叠区域E1，通过虚拟屏幕设置部30设置可将第一重叠区域El的面积二等分，并沿从车辆向远近方向延伸且垂直于路面的平面状的第一虚拟屏幕200。进而，通过虚拟屏幕投影图像生成部40在所设置的第一虚拟屏幕200上对图像I1(x，y)和图像I2 (x，y)进行投影变换，从而生成虚拟屏幕投影图像(图12的S8)。关于虚拟屏幕投影图像的生成方法，和实施例I中所说明的相同，这里省略其说明。虚拟屏幕投影图像是通过虚拟屏幕投影图像运算部42而生成的，但在图像I1 (X，y)、图像I2 (x,y)的每个象素算出与第一虚拟屏幕200交叉的点的方法，其计算负荷很大，所以根据第一摄像机22和第二摄像机24的配置，计算出被投影到第一虚拟屏幕投影图像205的任意的象素上的图像I1 (x，y)和图像I2 (x，y)的坐标值，并根据该计算结果预先作成坐标变换表后，存储在第一坐标变换数据存储部44中。另外，在虚拟屏幕投影图像运算部42中，通过根据存储在第一坐标变换数据存储部44中的坐标变换表来进行坐标的置换的方法，进行投影变换，借此降低计算负荷。通过该投影变换生成第一虚拟屏幕投影图像205。然后,通过路面投影图像运算部52,将图像I1 (X, y)、图像I2 (X, y)、图像I3 (x,y)和图像I4 (x, y)分别投影到路面上，并变换成从车辆正上方俯视的图像(图12的S9)。路面投影图像的生成方法和实施例I中说明的相同，所以这里省略其说明。路面投影图像是通过路面投影图像运算部52而生成的，但在图像I1 (x,y)的情形，通过求出从第一摄像机22的主点位置P朝向由第一摄像机22拍摄的图像I1 (x，y)的各象素延伸的半直线与路面的交叉点的方法进行。关于图像I2 (x，y)，也用同样的方法生成路面投影图像。这里，由于对图像I1 (x，y)和图像I2 (x，y)，按其每个象素计算投向路面的投影点，其计算负荷很大，因此根据第一摄像机22和第二摄像机24的配置，预先计算出投影在路面上的任意的点上的图像I1 (x，y)和图像I2 (x，y)的坐标值，并根据该计算结果预先 作成坐标变换表后，存储在第二坐标变换数据存储部56中。具体的路面投影图像的生成方法与实施例I中说明的相同，这里省略其说明。实施例2工作的环境是图13 (a)所示的情形时，由4台摄像机拍摄的4幅图像的路面投影图像被合成为如图13 (b)所示的状态。这里，由于车辆I自身及其附近部分处于摄像机的拍摄视野以外，因此会进行例如将灰度值置换成最小值或最大值等等工作，借此保存特定数值，并将信息欠缺的情况通知驾驶员。从而生成如图13 (c)所示的合成路面投影图像300。然后，在图12的S8中生成的第一虚拟屏幕投影图像205，被第一视角变换部60变换成从规定的视角位置朝向规定的视线方向观测的图像。这里，规定的视角位置和规定的视线方向是根据由操作检测部10测出的信息通过虚拟视角位置/虚拟视线方向设定部66决定的。S卩，在向表示车辆用周围监视装置4的状态的变量P赋值I的情况下(图12的S10)，虚拟视角被设定在车辆I的后方上空，并设定从此处向下观察车辆I的前方侧的虚拟视线方向(图12的Sn)。在第三坐标变换数据存储部64中，存储有用于将虚拟屏幕投影图像以从所设定的虚拟视角位置朝向所设定的虚拟视线方向观测的方式进行视角变换的预先作成的坐标变换表，根据该坐标变换表，通过第一视角变换运算部62进行视角变换(图12的S13)。而且，在图12的S9中生成的合成路面投影图像300，被第二视角变换部70变换成从与虚拟视角位置/虚拟视线方向设定部66所设定的相同的视角位置朝向相同的视线方向观测的图像。具体的是，在第四坐标变换数据存储部74中，存储有用于将合成路面投影图像300以从所设定的虚拟视角位置朝向所设定的虚拟视线方向观测的方式进行视角变换的预先作成的坐标变换表，并根据该坐标变换表，通过第二视角变换运算部72进行视角变换(图 12 的 S14)。然后，由第一视角变换运算部62生成的第一虚拟屏幕投影图像205和由第二视角变换运算部72生成的合成路面投影图像300，将第一虚拟屏幕投影图像205作为前面，将以合成路面投影图像300作为背面，并通过图像合成部80被合成为I幅图像(图12的S15)。该图像合成是根据由透过率设定部84决定的规则通过图像合成运算部82实施的。现在，若 设由第一视角变换运算部62生成的第一虚拟屏幕投影图像205为K (x,y)、由第二视角变换运算部72生成的合成路面投影图像300为L (x, y)、由图像合成部80合成的图像为M (X, y),则M (X, y)可通过前述的式I求得。这里，透过率参数a取Oa I的范围的值。在实施例2中设定成a = I。这是在虚拟屏幕投影图像(205、215、225、235)和合成路面投影图像300重叠的情况下，将在背面被合成的合成路面投影图像300设定为不可视状态。图14 (a)给出了这样获得的合成图像的例子。这里，填充黑色的区域是相当于与车辆I的存在位置极其接近的拍摄部20的拍摄视野以外的区域、和虚拟屏幕投影图像及合成路面投影图像以外的区域。这里，在车辆I的存在位置，也可以重叠显示朝后的第一车辆图标400，更明确地表现前后的位置关系。通过编码器92将这样获得的图14 (a)的合成图像进行DA变换，并显示在设置于车辆I内部的显示用监视器94上(图12的S16)。此时，通过车速检测部14不断检测车速，当测出的车速超过规定值时(图12的S17)，将所显示的图像返回本装置启动前的状态(图12的S21)，转移到车辆用周围监视装置4的非显示状态(图12的SI)。另外，在结束开关操作检测部12检测到结束开关18已被操作时(图12的S19)，将被显示的图像返回到本装置启动前的状态(图12的S21)，转移到车辆用周围监视装置4的非显示状态(图12的SI)。以上，围绕车辆I前进时的动作进行了说明，但在车辆I后退时，显示车辆后方的图像。此情况下的工作的流程与上述车辆前进时大致相同，因此仅说明不同点。当通过档位检测部13检测到档位处于后退位置时(图12的S3)，马上向表示系统的状态的变量P赋值2 (图12的S5)，通过虚拟视角位置/虚拟视线方向设定部66，将虚拟视角设定在车辆I的前方上空，设定从此处向下观察车辆I的后方侧的虚拟视线方向(图12 的 S12)。与车辆前进的情形相同，图像合成运算部82合成生成的虚拟屏幕投影图像和合成路面投影图像300，并如图14 (b)所示，将作为俯瞰车辆后方的图像显示在显示用监视器94中(图12的S16)。此时，也可以在车辆I的存在位置，重叠显示朝前的第二车辆图标410，而更明确地表现前后的位置关系。此外，通过车速检测部14不断检测车速，当检测的车速超过规定值时(图12的
S17)，将被显示的图像返回到本装置启动前的状态(图12的S21)，转移到车辆用周围监视装置4的非显示状态(图12的SI)。另外，通过档位检测部13不断检测档位，当测出档位处于后退位置以外的位置时(图12的S20)，将被显示的图像返回到本装置启动前的状态(图12的S21)，转移到车辆用周围监视装置4的非显示状态(图12的SI)。根据这样构成的实施例2涉及的车辆用周围监视装置4，只在测出障碍物的区域内设置虚拟屏幕，并对该其虚拟屏幕生成虚拟屏幕投影图像并显示，所以，只有在现有的车辆用周围监视装置中因障碍物存在于图像的接缝位置而成为死角时，才会显示虚拟屏幕投影图像，由此，能够进一步提高存在障碍物时的视觉可辨认性。此外，在实施例2中，至障碍物的距离在规定值以下时，在与测出该障碍物的区域对应的场所设置虚拟屏幕，通过透过率设定部84中将透过率参数a设定成I，借此，将与在该虚拟屏幕上投影生成的虚拟屏幕投影图像重叠的合成路面投影图像300设定为不可视状态，并生成合成图像，但不限于该形式。S卩，与由第一测距部102测定并输出的至障碍物的距离对应的值为D1、与由第二测距部104测定并输出的至障碍物的距离对应的值为D2、与由第三测距部106测定并输出的至障碍物的距离对应的值为D3、与由第四测距部108测定并输出的至障碍物的距离对应的值为D4，如透过率设定部84认为，当与各距离对应的值Di (i = 1,2,3,4)比第一距离阈值Dmax还大时，将透过率参数a设定成0，将虚拟屏幕投影图像设成不可视状态，另外，当Di比第二距离阈值Dmin还小时，将透过率参数a设定成1，将设合成路面投影图像300设为不可视状态，进一步，当Dmin < Di < Dmax时,与距离对应的值Di越小,将透过率参数a设定成不超过I的较大的值，由此，使至障碍物的距离越近，越清楚地显示虚拟屏幕投影图像。这样设定的透过率参数a的例子如图15所示。 通过如图15所示的透过率的设定方法，可将向障碍物靠近的情形，更准确地传达给驾驶员。另外，也可以采用如下显示方法，通过距离值判定部109，观测与从第一测距部102至第四测距部108分别输出的到障碍物为止的距离对应的值Dl至D4的时间变化，各Di(i = I，2，3，4)随着时间的经过而变小(近)时，判断为车辆I正在靠近障碍物，并加大a的值(在不超过I的范围内)，使虚拟屏幕投影像的背面合成的合成路面投影像不易看到，能够明确地传递靠近障碍物的情况，相反，当各Di (i = 1，2，3，4)随着时间的经过而变大(远)时，判断为车辆I正在远离障碍物，使a的值(在不小于0的范围内)变小，虚拟屏幕投影像的背面的合成路面投影像变得容易看到，能够明确地传递从障碍物远离的情况。而且，在实施例2中，在将相邻的摄像机的拍摄范围的重叠区域的面积大致二等分的位置，设置了从车辆沿远近方向延伸的垂直于路面的平面状的虚拟屏幕，但不限于该形式。即，测距部(102、104、106、108)也可以具有能够沿水平方向(车辆的周围方向)扫描测距范围并按照水平方向的角度测定距离信息的功能，并设置向获得障碍物信息的方向延伸的垂直于路面立起的平面状的虚拟屏幕，生成虚拟屏幕投影图像并使其显示在该虚拟屏幕上。根据该方法，由于在存在障碍物的方向上设置虚拟屏幕，所以虚拟屏幕投影图像的中的障碍物的像被拍摄该障碍物的相邻的2台摄像机投影到虚拟屏幕的相同位置，因此，在虚拟屏幕投影图像上，表示障碍物的像的灰度值被加算而成为较大的值，由此，得到更明确地显示障碍物，提高图像的视觉辨认性的效果。[关联申请的相互参考]本申请根据2010年3月10日向日本国专利厅提出的专利申请2010 — 052762主张优先权，本说明书通过参照援弓I其全部内容。
权利要求
1.一种车辆用周围监视装置，其特征在于，具有 多个拍摄部，被设置在车辆上对车辆周围进行拍摄，其中相邻拍摄部的拍摄范围的一部分具有重叠区域； 虚拟屏幕设置部，在该拍摄范围的重叠区域的内部设置，向相对于该车辆的远近方向延伸且沿与路面垂直的方向竖起的虚拟屏幕； 虚拟屏幕投影图像生成部，将与存储在相邻拍摄部拍摄的各图像的各象素中的灰度值对应的值，存储至从与该拍摄部的各个主点对应的位置向由该拍摄部拍摄的图像的各象素延伸的半直线与该虚拟屏幕交叉的位置； 第一视角变换部，将由该虚拟屏幕投影图像生成部生成的图像坐标变换成从规定的视角位置向规定的视线方向观测到的图像并输出；以及 图像显示部，其显示从该第一视角变换部输出的图像。
2.—种车辆用周围监视装置，其特征在于，具有 多个拍摄部，其被设置在车辆上对车辆周围进行拍摄，且相邻拍摄部的拍摄范围的一部分具有重叠区域； 虚拟屏幕设置部，其在该拍摄范围的重叠区域的内部设置，向相对于该车辆的远近方向延伸且沿与路面垂直的方向竖起的虚拟屏幕； 虚拟屏幕投影图像生成部，将与存储在相邻拍摄部拍摄的各图像的各象素中的灰度值对应的值，存储至从与该拍摄部的各个主点对应的位置向由该拍摄部拍摄的图像的各象素延伸的半直线与该虚拟屏幕交叉的位置； 第一视角变换部，其将由该虚拟屏幕投影图像生成部生成的图像坐标变换成从规定的视角位置向规定的视线方向观测到的图像并输出； 路面投影图像生成部，其将存储在由该多个拍摄部拍摄的各个图像的各象素中的灰度值，存储至从与该拍摄部的各主点对应的位置向由该拍摄部拍摄的图像的各象素延伸的半直线与路面交叉的位置； 第二视角变换部，其将由该路面投影图像生成部生成的图像，坐标变换成从该规定的视角位置向该规定的视线方向观测到的图像并输出； 图像合成部，其将从该第一视角变换部输出的图像和从该第二视角变换部输出的图像合成为I幅图像并输出；以及 图像显示部，用于显示从该图像合成部输出的图像。
3.如权利要求I该的车辆用周围监视装置，其特征在于，还具有 启动开关和用于检测该启动开关被操作的情况以及车辆的档位情况的操作检测部；该第一视角变换部根据该启动开关的操作情况和该档位情况来决定该视角位置和该视线方向。
4.如权利要求I或3该的车辆用周围监视装置，其特征在于，该虚拟屏幕设置部，在相邻拍摄部的拍摄范围的重叠区域内，在将该重叠区域的面积的大致二等分的位置设置虚拟屏幕。
5.如权利要求I该的车辆用周围监视装置，其特征在于，该虚拟屏幕设置部根据该车辆的行进方向设定该虚拟屏幕的设置位置。
6.如权利要求I该的车辆用周围监视装置，其特征在于，还具有多个障碍物检测部，测出在相邻拍摄部的拍摄范围的重叠区域中，从车辆到自该车辆所在的附近的路面具有一定高度的物体的距离； 该虚拟屏幕设置部，测出到自该路面具有一定高度的物体的距离比规定值小时，或者，测出到自该路面具有一定高度的物体的距离随时间而变小时，在与输出该检测结果的障碍物检测部的设置位置对应的该拍摄部的拍摄范围的重叠区域的内部设置该虚拟屏幕，并对于该虚拟屏幕生成该虚拟屏幕投影图像并显示。
7.如权利要求I该的车辆用周围监视装置，其特征在于，该障碍物检测部具有，在该相邻的拍摄部的拍摄范围的重叠区域，沿该车辆的周围方向的全范围内，测出至从该车辆所在附近的路面具有一定高度的物体的距离的功能，当测出的至从该路面具有一定高度的物体的距离比规定值小，或者到自该路面具有一定高度的物体的距离随时间变小时，通过该虚拟屏幕设置部，向该被检测出的物体存在的方向，设置垂直于路面竖立且向相对于该车辆的远近方向延伸的虚拟屏幕，并对该虚拟屏幕生成该虚拟屏幕投影图像并显示。
8.如权利要求2该的车辆用周围监视装置，其特征在于，具有启动开关和操作检测部，该操作检测部用于检测该启动开关已被操作的情况以及车辆的档位； 根据该启动开关的操作和该档位该第一视角变换部以及该第二视角变换部决定该视角位置和该视线方向。
9.如权利要求2或8该的车辆用周围监视装置，其特征在于，该虚拟屏幕设置部，在相邻的该拍摄部的该拍摄范围的重叠区域中，在将该重叠区域的面积的大致二等分的位置设置虚拟屏幕。
10.如权利要求2该的车辆用周围监视装置，其特征在于，该虚拟屏幕设置部是根据该车辆的行进方向来设定该虚拟屏幕的设置位置的。
11.如权利要求2该的车辆用周围监视装置，其特征在于，具有 多个障碍物检测部，其测出在相邻的拍摄部的拍摄范围的重叠区域中的、从车辆到该车辆所在附近的路面具有一定高度的物体的距离； 该虚拟屏幕设置部，其测出到自该路面具有一定高度的物体的距离比规定值小时，或者测出到自该路面具有一定高度的物体的距离随时间变小时，将该虚拟屏幕设置在与输出该检测结果的障碍物检测部的设置位置对应的该拍摄部的拍摄范围的重叠区域的内部，并对该虚拟屏幕生成该虚拟屏幕投影图像并显示。
12.如权利要求2该的车辆用周围监视装置，其特征在于， 该障碍物检测部具有，在该相邻的拍摄部的拍摄范围的重叠区域中，沿该车辆的周围方向的整个范围内，测出至从该车辆所在附近的自路面具有一定高度的物体的距离的功能，在测出至从该路面具有一定高度的物体的距离比规定值小，或者至从该路面具有一定高度的物体的距离随时间变小时，通过该虚拟屏幕设置部，向该被检测的物体存在的方向，设置垂直于路面竖立且向相对于该车辆远近方向延伸的虚拟屏幕，并对该虚拟屏幕生成该虚拟屏幕投影图像并显示。
13.如权利要求2该的车辆用周围监视装置，其特征在于，该图像合成部具有透过率设定部，用于设定相互重叠合成的图像的透过率；以及图像合成部，其根据该透过率设定部设定的透过率进行图像合成， 将被该第一视角变换部输出的图像作为前面，被该第二视角变换部输出的图像作为背面进行合成，并且通过该透过率设定部设定该透过率，使被该第二视角变换部输出的图像变成为不可视的状态。
14.如权利要求2该的车辆用周围监视装置，其特征在于，该障碍物检测部测出，至从该路面具有一定高度的物体的距离比规定值小，或者至从该路面具有一定高度的物体的距离随时间变小时，通过该透过率设定部设定，在与输出该检测结果的障碍物检测部的设置位置对应的该拍摄部的拍摄范围的重叠区域的内部设置的虚拟屏幕投影图像的透过率，使合成在该虚拟屏幕投影图像的背面上的该路面投影图像，距从该路面具有一定高度的物体的距离越近时越难以观察。
全文摘要
本发明公开一种车辆用周围监视装置，在由拍摄部(20)拍摄的图像的接缝的内部，通过虚拟屏幕设置部(30)设置垂直于路面且相对于车辆沿远近方向延伸的虚拟屏幕，并通过虚拟屏幕投影图像生成部(40)将由拍摄部(20)拍摄的图像投影变换到虚拟屏幕上，生成虚拟屏幕投影图像，通过图像显示部(90)进行显示。
文档编号G08G1/16GK102783143SQ20118001165
公开日2012年11月14日 申请日期2011年3月8日 优先权日2010年3月10日
发明者佐藤德行 申请人:歌乐牌株式会社