专利名称：车辆周围状况显示装置及影像提示系统的制作方法
技术领域：
本发明涉及一种用图像表示车辆周围状况的装置，特别是属于利用者能够容易并正确地把握车辆周围的状况，因此能够更安全地进行操作的技术领域。
背景技术：
在传统的一般的车辆周围状况显示装置中，在车辆的周围用一台或多台照相机进行拍摄，对拍摄的图像进行变换，在一个画面上显示车辆周围的状况。例如在第一传统例(特许1405462号公开)中，在汽车上设置有多台照相机，将该影像的输出变换为平面坐标，变换成以所述汽车作为中心的坐标，合成为一个影像，这样可使驾驶员对车辆的状况一目了然。
在第二传统例(特开平7-223488号公开)中，在向利用者提示车辆周围的状况时，预先检测出周围的对象物，设定表示车辆周围状况的基本图像的远近显示水准(level)，同时，对于每一个对象物，显示数据库中所储存的、如图37所示的示意图，并附加危险度强调信息。这样，利用者就能够简单地把握车辆周围的状况。
在上述车辆周围状况显示装置中，当由照相机等所获得的图像数据使用透视变换生成视点变换图像时，必须给予进行透视变换的平面。在第一传统例中，做了在车辆周围不存在具有高度成分的立体物的假定，以路面作为透视投影面。把这样的假定路面的透视变换称为路面投影。然而，当车辆周围存在具有障碍物等具有高度成分的立体物时，就与该假定产生矛盾，结果使路面投影的图像产生变形。
图38是在自己车辆1上设置了8台照相机(照相机0～7)的布置例以及由各照相机0～7所拍摄的图像的例子。图39是在图38的情况下，显示车辆周围状况的图像，图40是使用图38中所表示的8张照相机图像进行路面投影的结果的图像。并且，由于在图38的照相机图像中几乎找不出自己车辆1的影像自身，所以在图40中，为了方便起见，插入了自己车辆1的说明图(illustration)。
比较图40与图39可知，具有高度成分的物体(例如其它车辆2)的图像在与自己车辆相反的方向上发生较大的变形。这就恰似在实际上什么都不存在的路面上却看到有物体存在。这样的实际的周围状况与合成图像之间的失配(miss match)会导致利用者的误解，从而可能形成安全运行的障碍。
为了消除这样的图像变形，考虑了采用激光雷达(laser radar)等测距传感器的方法。这样，对于象周围车辆那样的具有高度成分的立体物，由测距传感器预先求出其距离数据，再对由求得的距离数据所得到的立体形状作为投影面进行透视变换。
在这样的方法中，不会发生象路面投影那样的图像变形。但是，即使在这种情况下，也会发生产生被照相机前的物体所隐蔽(occlusion区域)区域的问题。
例如在图38中，由照相机1、2的图像可知，自己车辆1的右侧方停放有轿车，但是该轿车的右半部分被左半部分的图像所隐蔽，无论哪一台照相机都不能将其拍摄到。在周围状况图像中，这一部分就相当于由照相机得不到图像数据的图像欠缺区域。因此，即使假设全部得到了周围距离的数据，而对于内该轿车还是不能合成图像欠缺区域中的右半部分的图像，而仅能表示照相机拍摄的右侧的合成图像。在这样的系统中，照相机通常是装载在车辆上，而且照相机的台数由于受到成本等的限制，因此，同样的情况会发生在车辆周围几乎所有的立体物中。
图41是车辆周围物体的距离数据全部已知的情况下的合成图像。从图41可知，关于自己车辆1周围所存在的各车辆，尽管全部知道了它们距自己车辆的距离数据，但是从自己车辆的角度来看，相反一侧的区域就成为图像欠缺区域。因此，对于各车辆，仅仅能够生成自己车辆一侧的图像。
在传统的实施例2中，为了对每一个对象物进行示意地描绘，所以尽管不是仅对图像的一部分进行表示，但所表示的图像与利用者直接用肉眼看到的物体不同，所以会形成不谐调的感觉。进而，在示意的描绘中，几乎不可能表示对象物的正确位置。
图42是从上方看到的在自己车辆1的左后方有其它车辆3存在状况的图。在图42中，为了能够安全地停车，正确认识其它车辆3相对于自己车辆1一侧区域AR1的位置是十分重要的。
图43是在图42的状况下，表示比实际车辆3小的图3A的例子。在这种情况下，不论实际上车辆3的存在与否，对于利用者来说，都会产生不能表示的区域AR2-AR4。特别是区域AR2，在停车时是自己车辆1一侧边缘的重要区域，不能表示是所不希望的。
另一方面，图44是在图42的状况下，表示比实际车辆3大的图3B的例子。在这种情况下，不论实际上车辆3的存在与否，对于利用者来说都会产生车辆3存在的表示区域AR5-AR7。特别是区域AR5与AR7，在停车时是自己车辆1一侧边缘的重要区域，这样的表示是所不希望的。
鉴于上述问题，本发明的目的在于提供一种车辆周围状况显示装置，在该装置中，使利用者能够正确认识对于驾驶操作很重要的周围障碍物的位置，而且，不会由于不能表示隐蔽(occlusion)区域的图像而引起利用者的不谐调感。
本发明的目的还在于，提供一种影像提示系统，在提示图像中，由于物体的存在而不能得到照相机的图像数据的区域，不会引起利用者的不谐调感。
发明内容
上述隐蔽区域，是照相机所不能看到的区域。但是，在进行停车等驾驶操作时，重要的是周围障碍物对于自己车辆的边缘位置。因此，关于隐蔽区域，在正确的位置表示出正确的图像并非总是必要的，可以认为表示到不给利用者带来不谐调感觉的程度已很充分。也就是说，在图42中，从自己车辆1所看到的仅仅是自己自车辆一侧的ARI区域，对于该区域以外的区域，虽然目视与照相机一样不能看到，但是这并不对驾驶操作形成障碍。
与此相对，提示不能隐蔽区域的正确位置是必要的。而且，为了使利用者能够同时利用图像与目视两方进行操作，希望所显示的图像与实际之间的差别尽量的小。
所以，本发明对“不能隐蔽区域”，利用其图像提供正确的位置，另一方面，对“隐蔽区域”，则提示不对利用者引起不谐调感觉的图像。
具体说来，本发明中作为一种车辆周围状况的显示装置，设置有拍摄车辆周围的照相机、检测所述车辆周围障碍物的障碍物检测装置、由所述照相机拍摄图像生成表示所述车辆周围状况图像的图像处理部、以及在由所述障碍物检测装置检测出障碍物时、能够在所述周围状况的图像上检测出、由于该障碍物的存在而使所述照相机得不到图像数据的图像欠缺区域的图像欠缺区域检测装置；在所述图像欠缺区域被检测出时，所述图像处理部能够对该图像欠缺区域的至少一部分填入替代图像数据。
根据本发明，当由障碍物检测装置检测出车辆周围的障碍物时，由于该障碍物的存在而使照相机得不到图像数据的图像欠缺区域就能够由图像欠缺区域检测装置检测出。而且，由图像处理部能够对该图像欠缺区域的至少一部分填入替代图像数据。因此，由图像处理部所生成的周围状况的图像，例如关于与上述“隐蔽区域”相对应的图像欠缺区域，能够由于替代图像数据而减轻对于利用者的不谐调感觉，而且，对于与“不隐蔽区域”相对应的图像欠缺区域以外的部分，可使用照相机的图像数据。这样，利用者不会感到象周围状况图像那样的不谐调感觉，而且，能够正确地认识车辆周围障碍物的位置，与传统的方法相比，能够可靠、舒适、安全的进行驾驶操作。
在所述本发明的车辆周围状况显示装置中，所述图像欠缺区域检测装置，设置有检测所述障碍物对所述车辆边缘位置的障碍物位置检测装置，利用检测出的边缘位置，对所述图像欠缺区域进行特定。
进而，所述图像处理部，最好能够利用至少包含所述障碍物对所述车辆的边缘部分的图像的边缘图像，以生成所述替代图像数据。这样，由于包含障碍物对自己车辆的边缘部分的边缘图像是用于生成插入图像欠缺区域的替代图像数据，所以能够对利用者提供对于驾驶操作重要的、障碍物对自己车辆一侧边缘位置的正确图像。
进而，所述图像处理部，最好能够在所述周围状况的图像中、与由所述障碍物位置检测装置所检测的边缘位置相吻合地配置所述边缘图像，在所述周围状况图像中，推定与所述边缘位置相吻合的所述障碍物所占的区域，对于推定的障碍物区域内的所述边缘图像以外的部分，由利用所述边缘图像的像素数据的像素插补而生成所述替代图像数据。据此，边缘图像能够配置在正确的边缘位置，而且，由利用边缘图像像素数据的像素插补，可以生成边缘图像以外的障碍物的图像，因此，能够生成对于利用者是很重要的、障碍物对自己车辆的正确的边缘位置而且不会给利用者带来不谐调感觉的周围状况图像。
进而，所述图像处理部，在所述障碍物为轴对称物体时，最好能够在所述周围状况图像中，假定所述障碍物的对称轴，将所述边缘图像对所述对称轴进行反转，作为反转边缘图像配置，由利用所述边缘图像的像素数据的像素插补生成在所述障碍物区域内的所述边缘图像与所述反转边缘图像之间的图像。据此，能够利用车辆等障碍物的轴对称性，生成没有不谐调感觉的隐蔽区域的合成图像。
另外，所述本发明的车辆周围状况显示装置，最好具有储存成为障碍物的物体的图像数据的障碍物图像数据库，所述图像处理部，能够判别检测出的障碍物的种类，从所述障碍物图像数据库中读出判别了种类的障碍物的图像数据，在所述周围状况图像中，将读出的图像数据与由所述障碍物位置检测装置检测出的边缘位置相吻合，作为所述替代图像数据进行配置。
根据本发明，由于能够将成为障碍物的物体的图像数据作为数据库，将判别了种类的障碍物的图像数据，作为替代图像数据，与边缘位置吻合配置，所以能够提供位置正确且与实际的障碍物同样的图像。
而且，所述图像处理部，最好能够基于所述照相机的图像进行对障碍物种类的判别。
另外，所述本发明中车辆周围状况显示装置的障碍物位置检测装置，最好能够在所属障碍物为其它车辆时，由所述照相机图像把所述其它车辆的轮胎与路面的接触点作为所述边缘位置而检测出。
根据本发明，在障碍物是车辆的情况下，能够利用轮胎的存在，检测出正确的边缘位置。
另外，所述本发明中车辆周围状况显示装置的障碍物位置检测装置，最好能够在所属障碍物为其它车辆时，由所述照相机图像把所述其它车辆的车号牌(number plate)所在的平面与路面的接触线作为所述边缘位置检测出。
另外，所述本发明中车辆周围状况显示装置的图像处理部，最好能够根据基于所述照相机图像而进行的假想视点变换，生成所述周围状况图像。
另外，作为本发明的影像提示系统，设置有为了取得影像的照相机、检测影像提示范围物体的检测装置、根据所述照相机拍摄的图像而生成表示所述影像提示范围状况的提示图像的图像处理部、以及当由所属检测装置检测出物体时在所述提示图像上检测出由于该物体的存在而不能用照相机得到图像数据的图像欠缺区域的图像欠缺区域检测装置；在所述图像欠缺区域被检测出时，所述图像处理部能够对该图像欠缺区域的至少一部分填入替代图像数据。
根据本发明，在检测出影像提示范围内的物体时，能够由图像欠缺区域检测装置检测出由于该物体的存在而不能由所述照相机得到图像数据的图像欠缺区域。而且，通过图像处理部能够对该图像欠缺区域的至少一部分填入替代图像数据。因此，由图像处理部所生成的提示图像，对于图像欠缺区域，能够通过替代图像数据而减轻对于利用者的不谐调感觉，而且，在图像欠缺区域以外的部分，可以利用照相机图像。这样，利用者就不有象提示图像那样的不谐调感觉，而且，能够正确认识影像提示范围的状况。
而且，所述本发明的影像提示系统的所述照相机，能够对车辆周围进行拍摄。
另外，所述本发明的影像提示系统的所述照相机，能够对建筑物的内部或周围进行拍摄。
图1是本发明的第1实施方式和第2实施方式中表示车辆周围状况显示装置基本结构的方框图。
图2是对自己车辆侧边缘的说明图。
图3是本发明的第1实施方式中合成图像的实施例1。
图4是在透视投影变换中合成图像的放大图，是第2实施方式中实施例2的说明图。
图5是本发明的第1实施方式中合成图像的实施例2。
图6是本发明的第1实施方式中合成图像的实施例2。
图7是表示在自己车辆的侧方存在成为障碍物的其它车辆状况的图。
图8是在图7的状况下由路面投影作成的图像。
图9是本发明的第2实施方式中图像处理部的、表示使用反转边缘图像进行图像合成的流程图。
图10是边缘图像生成处理的说明图。
图11是反转边缘图像的生成、合成处理的说明图。
图12是像素插补处理的说明图。
图13是本发明的第2实施方式中表示生成周围状况时的图像的示意图。
图14是求出障碍物与自己车辆的边缘为L形状的处理说明图。
图15是表示本发明的第2实施方式中所生成的周围状况图像的示意图。
图16是本发明的第2实施方式中合成图像的实施例1。
图17是表示本发明的第2实施方式中图像处理部的、使用边缘图像与像素的插补处理进行图像合成的流程图。
图18是在自己车辆的后方的周围车辆纵向排列的情况下所得到的合成图像的示意图。
图19是图18的放大图。
图20是本发明的第2实施方式中表示生成周围状况图像的示意图。
图21是本发明的第2实施方式中合成图像的实施例2。
图22是本发明的第2实施方式中合成图像的实施例3。
图23是表示本发明的第3实施方式中车辆周围状况显示装置基本结构的方框图。
图24是说明车辆的长宽比与车辆侧面形状的图。
图25是表示障碍物图像数据库中储存的车辆种类数据的例子。
图26是表示本发明的第3实施方式中图像处理部动作的流程图。
图27是判断车辆种类处理的详细流程图。
图28是对障碍物图像做配置处理的详细流程图。
图29是由路面投影制作的合成图像。
图30是图29的图像中障碍物区域的图像。
图31是与轮胎的下端一致的圆弧图案。
图32是对与图30的图像抽取边缘界限的结果。
图33是本发明的第3实施方式中所得到的合成图像的实施例1。
图34是使用车号牌检测的障碍物的边缘位置的说明图。
图35是本发明的第3实施方式中所得到的合成图像的实施例2。
图36是本发明的第3实施方式中所得到的合成图像的实施例3。
图37是在第二传统例中示意图的表示例。
图38是本发明实施例中照相机配置与各照相机的拍摄图像的例。
图39是表示图38中车辆周围状况的图。
图40是由路面投影合成图像的一例。
图41是由使用距离数据的透视投影变换而合成图像的一例。
图42是从上方看到的自己车辆的右后方有其它车辆存在情况的图。
图43是在图42的情况下比实际车辆小的表示例。
图44是在图42的情况下比实际车辆大的表示例。
图45是为了说明图像欠缺区域的图，表示了自己车辆的后方停有其它车辆的状态。
图46是表示本发明的第4实施方式中车辆周围状况显示装置的基本结构的方框图。
图47是假想障碍物形状的一例。
图48是表示本发明的第4实施方式中处理过程的流程图。
图49是检测出的障碍物区域。
图50是对假想障碍物修整的一例。
图51是向假想障碍物形状图像投影的例。
图52是对假想障碍物修整结果的概念图。
图53是对假想障碍物修整结果的概念图。
图54是室内监视系统的概念图。
图中1、11A、11B-照相机，12-障碍物检测装置，13-障碍物位置检测装置，14、14A-图像处理部，31-障碍物图像数据库，41-图像欠缺区域检测装置。
具体实施例方式
下面结合附图对本发明的实施方式进行说明。
首先对本发明中隐蔽(occlusion)区域与图像欠缺区域的关系加以说明。
图45是表示在自己车辆1的后方停放有其它车辆2时的状态的图。在自己车辆1上设置有拍摄后方的照相机11，使用该照相机11的图像，生成从假想照相机VC看到的合成图像。(a)是从侧面观察的图，(b)是从上方观察的图，RS是路面。从图45可知，由于其它车辆2的存在，在其前端的阴影中生成了隐蔽区域。
在从假想照相机VC看到的合成图像中，有必要对与该隐蔽区域相对应的部分(车辆2的发动机罩(bonnet)、前方玻璃(front glass)、棚盖的部分)的图像进行显示。然而，由照相机11却不能得到这一部分的图像，所以，就会成为图像欠缺区域。这样，在应该表示的图像上，例如由于其它车辆2那样的物体或障碍物的存在，而使照相机不能得到图像数据的区域就是图像欠缺区域。并且，本来就不能进入照相机视野范围的部分，当然由照相机也不能得到其图像数据，这也成为图像欠缺区域。
(第1实施方式)图1是表示本发明的第1实施方式中车辆周围状况显示装置基本结构的方框图。图1的车辆周围状况显示装置的基本结构包括拍摄车辆周围的照相机11、对车辆周围的障碍物进行检测的障碍物检测装置12、检测障碍物对于车辆的边缘位置的障碍物位置检测装置13、以及输入照相机11的拍摄图像、由该照相机的图像而生成表示车辆周围状况图像的图像处理部14。
照相机11典型地安装的车辆上，对车辆周围的状况进行拍摄。而且，还可以利用道路、信号器、建筑物等的基础结构(infrastructure)上安装的照相机，当自己车辆周围有其它车辆时，也可以接收这些其它车辆上所安装的照相机的图像，与自己车辆的照相机图像一起使用，或单独使用。
障碍物检测装置12对车辆周围的障碍物进行检测。作为障碍物检测的方法，有从由照相机11得到的图像进行路面色抽取的方法、使用从多个图像求出视差而利用的移动立体声系统(motion stereo)或空间立体声系统等手段抽取具有高度成分的区域、将该区域作为障碍物区域而检测的方法等。而且，雷达、超声波、红外线、微波等各种障碍物检测有效传感器(active sensor)等的使用都是可能的。
下面对使用路面色抽取的障碍物区域抽取加以说明。假设照相机不是水平方向而是面朝下方而配置，那么就可以认为占据照相机图像中最大区域的就是路面。所以，求出图像颜色的柱状图(histogram)，抽取频率最高的颜色，求出路面的代表色。一般地，对于铺装的路面，路面的颜色是沥青(asphalt)灰色，而对于未铺装的路面，路面的颜色是褐色。在照相机图像中，求出距离抽取代表色较远的颜色区域，就可以抽取路面以外的区域，即障碍物区域。
关于使用从多个图像求出并利用视差的方法，例如可以参照文献1(”Performance Analysis of a Low-Cost Solution to Vision-Based ObstacleDetection”Missimo et al，International Conference on IntelligentTransportation System，pp.350-355)中所述的方法。
障碍物位置检测装置13，根据障碍物检测装置12检测出的自己车辆的边缘，即障碍物对自己车辆最近的境界区域位置。例如，该检测可以用有效传感器对自己车辆的侧面进行水平光栅扫描(raster scan)来实现。或者是利用测距仪(range finder)，按以下步骤进行。首先，用测距仪对路面进行垂直方向的扫描。在由垂直方向扫描所得到的距离中，求出距离自己车辆最近的位置。对于检测出的障碍物，将该垂直方向的扫描变成水平方向的扇形，将与自己车辆最近位置在水平方向上的连接线作为障碍物对自己车辆侧的边缘位置。
图2是表示在自己车辆1的侧方停放有其它车辆2时的状态的图。根据作为障碍物位置检测装置13的有效传感器的扫描，可以求出其它车辆2成为自己车辆1侧的边缘的侧面形状E1。
这里，正如在背景技术中所叙述的那样，产生隐蔽区域的问题。即，不用说仅在车辆上设置照相机的情况，即使是与基础结构上安装的照相机一起使用的情况下，要对车辆周围障碍物的图像进行无隐蔽区域的拍摄，也是十分困难的。这是因为障碍物的形状有多种多样，而且其存在位置也随时间与场合而发生各种变化，所以要对其图像进行无隐蔽区域的可靠拍摄，就需要数量庞大的照相机。这从经济上讲是所不希望的。当然，在停车场等情况下，在车辆上方的建筑物上安装照相机，将其图像提供给利用者是可能的，但是，即使是在这种情况下，由于也不能保证照相机总是在车辆的正上方，所以还是会有隐蔽区域的存在。
这样，即使是使用障碍物检测装置12求出障碍物区域，由于存在有隐蔽区域，所以在向利用者提供的周围状况图像中，就成为存在图像欠缺区域，作为整体成为具有非常不谐调感觉的图像。
在本实施形式中，为了解决上述问题，在由障碍物检测装置12检测出障碍物时，由障碍物位置检测装置13检测出该障碍物的车辆侧的边缘位置。而且，图像处理部14能够利用检测出的边缘位置，对图像欠缺区域进行特别指定，并对该图像欠缺区域的至少一部分填入替代图像数据，因此能够对利用者生成无不谐调感觉的周围状况图像。由障碍物位置检测装置13和利用边缘位置对图像欠缺区域进行特别指定手段，构成图像欠缺区域检测装置。
首先，在由障碍物检测装置12检测出的障碍物区域以外的区域，生成进行了路面投影、透视投影等变换的车辆周围状况图像。然后，对由障碍物检测装置12检测出的障碍物区域的图像进行处理，合成没有不谐调感觉的哪个区域的图像，并把通过障碍物位置检测装置13检测的边缘位置以正确的表示布置在图像上，生成车辆周围状况图像。该车辆周围状况图像通过液晶显示器、头盔式显示器(haed mount display)等显示装置进行显示，并提供给利用者。
这里重要的是，在车辆周围状况图像中配置障碍物区域的图像时，必须将自己车辆的边缘配置于正确的位置。例如在车辆周围状况图像中，如果对障碍物所表示的位置远于从自己车辆看到的实际位置，则在有些情况下，就有与自己车辆相接触的可能性。因此，这里起重要作用的是障碍物位置检测装置13。
<实施例1>
在图像的一部分中显示什么都没有的区域的情况的很大问题之一就是引起利用者对该区域的注意，而忽视了本来在驾驶中必须对路面区域的注意。因此在这个例中，图像处理部14对于障碍物区域并不显示图像，而是用黑色等背景色加以涂覆。即，向利用者提供仅表示路面区域的车辆周围状况的图像。
然而在这种情况下，必须将障碍物对于自己车辆的边缘位置，与障碍物位置检测装置13所得到的位置正确地合成。这样，才能将自己车辆与障碍物接触的可能性防患于未然。另一方面，如上所述，障碍物的与自己车辆相反的一侧成为隐蔽区域，该区域对于驾驶操作来说并不那样重要，所以即使进行了涂覆也没有问题。
图3是对于图41的合成图像进行了这样的处理的例子。在图3的合成图像中，自己车辆1周围的各种障碍物区域0B1-0B5都分别涂覆成黑色。由于在图3中障碍物区域0B1-0B5的图像都未显示，所以能够对利用者促进其目视认识，从而可以回避由于变形的合成图像与实际的周围状况之间的失配而引起的问题。并且，考虑到检测时产生误差的情况，即使在比检测出的障碍物区域稍大的范围内进行涂覆也没有问题。而且，还可以不涂背景色，而是根据检测出路面外的检测精度，进行降低精度或掩蔽(masking)处理，以引起利用者的注意。
并且，在图3中，几乎没有从图38的照相机图像中求出自己车辆1的影像。但是，自己车辆1的位置对于把握与周围障碍物的位置关系是非常重要的。因此，以插图(illustration)的方式贴入的自己车辆的位置。当然，预先储存实际的自己车辆1的图像，将其粘贴也是可以的。
<实施例2>
还可以根据障碍物检测装置12检测出的障碍物的大小，并在障碍物区域合成根据该尺寸大小的单纯的矩形或箱型立体物。这样能够对利用者提醒“有障碍物”，从而促进其目视认识。
图4是图41中自己车辆1附近图像的放大图。图4中所表示的车辆周围障碍物面向自己车辆一侧的相关EDG的长度L，可以由障碍物检测装置12求得。因此，可以生成一边长度为L的矩形RTG，其一边与相关边缘EDG相一致而重合表示。此时，矩形RTG的另一边的长度W可以任意决定，这里取了L的一半长度。如上所述，这里从自己车辆看相反一侧的OAR区域，对于利用者来说并不是太重要的区域，因此可以认为周围的实际状况与合成图像之间即使产生了一些偏离，其影响也非常小。当然，长度W也可以根据由障碍物位置检测装置13所得到的障碍物侧面形状的倾斜状态来决定。这是因为，如果障碍物的侧面形状的倾斜对于长度L来说倾斜坡度小，则可认为W相对于L来说较长。
图5是对图41所示的合成图像进行该处理的例子。在图5的各障碍物区域中，生成了矩形RTG1、RTG2。
生成矩形的颜色，可以用障碍物的代表色，也可以是能够引起利用者注意的配色。而且，还可以采用正方体等立体形状来取代矩形。进而，例如当边缘EDG为曲线时，可以重叠于该曲线相切的椭圆形状。而且，在该区域内，还可以重叠插图、文字等以唤起注意。
<实施例3>
图6以矩形表示障碍物区域RTG1，而且，是将记号重叠表示的例子。在图6中，为了促使利用者的注意，用记号“！”来表示。面向各矩形的自己车辆一侧的边缘，合成在由障碍物位置检测装置13所求得的周围障碍物的正确位置上。因此，这于单纯插入插图的第二传统例不同，能够把自己车辆与周围障碍物的接触防患于未然。当然，也可以采用其它能够引起利用这注意的文字或插图来取代记号“！”。
(第2实施方式)本发明第2实施方式中的车辆周围状况显示装置，与第1实施方式同样，具有如图1所示的基本结构。即，照相机11、障碍物检测装置12、障碍物位置检测装置13、以及图像处理部14为主要构成要素。
与第1实施方式相比，其不同之处在于图像处理部14的功能。在本实施方式中，在障碍物检测装置12检测出障碍物时，图像处理部14，能够将至少包含有由障碍物位置检测装置13检测出的车辆的边缘部分的图像、即边缘图像，用于生成填入图像欠缺区域的替代图像数据，从而向利用者提供无不谐调感觉的正确位置。
这里，车辆周围的障碍物，大多是象汽车那样具有轴对称的物体。因此，下面对利用该轴对称进行合成作为替代图像数据的障碍物区域图像的一例加以说明。
图7(a)是在自己车辆1的右侧方有其它车辆2存在时，从自己车辆1的上方所看到的图像的示意图。图7(b)是在图7(a)的情况下的由安装自己车辆1上的照相机11所拍摄的其它车辆2的图像2A以及与自己车辆1的位置关系的示意图。
图8是在图7的情况下，由特願2000-613188所示的路面投影而作成的合成图像。在图8中，表示了由障碍物位置检测装置13得到的其它车辆2对于自己车辆一侧的边缘EDG。正如在背景技术中所述，路面投影是在假定图像中的物体全部都在路面上的前提下而进行的投影，因此具有高度成分的周围车辆2的图像，就发生了如图8所示的变形，而且，投影位置也与实际有很大不同。所以如何使该周围车辆2的图像与边缘EDG相吻合就成为问题。
<实施例1>
图9是表示本实施方式的实施例1中图像处理部14动作的流程图(flowchart)。
首先在步骤S11中，由障碍物检测装置12及障碍物位置检测装置13，求出障碍物对自己车辆一侧的边缘位置与长度L。这里是假定障碍物对自己车辆的边缘为直线的情况，即是从横向观察存在于自己车辆侧方的其它车辆的情况。
接着在步骤S12，障碍物的横的方向(与自己车辆的边缘垂直的方向)上的长度W可以任意决定，但这里取了自己车辆一侧边缘的长度L的一半。这主要的出于以下考虑，如上所述，由于对于障碍物来说重要的是在自己车辆一侧的边缘位置，而横向上的长度对于利用者来说并非重要，所以即使周围的实际状况与合成图像之间产生一些偏离，其影响也很小。
在下面的步骤S13中，由障碍物位置检测装置13求出所检测的障碍物的障碍物侧面形状(例如图2中的E1)，并将其作为周围障碍物的投影面。
在步骤S14中，将照相机11所得到的障碍物图像投影于该周围障碍物投影面，其后，经过进行视点变换，得到障碍物的一部分的投影图像，即边缘图像。
下面利用图10，对边缘图像生成处理S14进行详细说明。在图10中，2A是由照相机11所拍摄的图像，E1是由障碍物位置检测装置13所求得的障碍物的侧面形状。将照相机图像2A中的障碍物图像对障碍物侧面形状E1进行透视投影变换，再进一步通过从上向下看的视点变换，得到障碍物边缘图像EDI。但是，该障碍物边缘图像EDI是隐蔽(occlusion)区域，由于没有棚盖、前方侧面、后方侧面、以及与自己车辆相反的侧面的信息，所以如图10所示，仅仅包含障碍物的一部分，成为侧面象墙壁一样站立的宽度很小的图像。
接下来在步骤S15中，进行周围障碍物的反转边缘图像的生成、合成。图11(a)是配置在周围状况图像的障碍物区域的边缘图像EDI的示意图。这里，如图11(b)所示，假定周围障碍物几乎呈轴对称，使对象障碍物的宽度等于步骤S12求出的宽度W而假定对称轴AX在宽W/2的位置。相对于这样假定的对称轴AX，将边缘图像EDI反转得到的反转图像OEDI，与在障碍物区域中从自己车辆一侧看相反一侧的边缘位置(宽W的位置)进行吻合并配置。
观察图11(b)，由于在边缘图像EDI与反转图像OEDI之间存在有空白区域VAR，所以会有不谐调的感觉。因此在步骤S16中，由利用边缘图像EDI与反转图像OEDI像素的插补的方法，对空白区域VAR进行填入，生成周围障碍物的合成图像。
下面利用图12，对像素插补处理S16加以说明。图12是图11(b)的放大图。在图12中，假定障碍物对自己车辆一侧的边缘方向为x轴，与其垂直的方向为y轴。空白区域VAR的最左端和最右端处的x坐标分别是X0和X1，把边缘图像EDI与反转图像OEDI中距离空白区域VAR最近处的y坐标分别设定为Y1和Y2，则空白区域VAR内像素G(x，y)(X0＜x＜X1，Y1＜y＜Y2)可由下式求出。
图13是这样生成的周围状况图像的示意图，2B是合成的成为周围障碍物的其它车辆的图像。在空白区域VAR像素的插补中，可以使用边缘图像EDI的结构(texture)、平均亮度、代表色等。
另外，障碍物对自己车辆一侧的边缘有不是直线而是求出L形状的情况。对于这种情况的处理，利用图14进行详细说明。
如图14(a)所示，如果象车辆那样的矩形障碍物相对于照相机的视线处于倾斜的位置，则得到边缘图像EDIL为L形。在这种情况下，首先假定通过短边中央、并与长边平行的线为对称轴AX，如图14(b)所示，将边缘图像EDIL相对于对称轴AX旋转180度，作为反转边缘图像OEDIL而配置。此时，反转边缘图像OEDIL与边缘图像EDIL相重合的区域，以边缘图像EDIL为优先。这是因为边缘图像EDIL对于实际的周围状况来说是正确的图像。与上述例子相同，对称轴AX也可以基于长轴的长度来决定。
然后，设定以L形的长边方向为x轴，短边方向为y轴，进行与上述例子相同的像素插补处理。当然，x轴与y轴的设定，还可以有其它的形式，例如以短边方向为x轴，长边方向为y轴，或者以与距照相机的视线方向近的方向为x轴，还可以根据照相机的图像进行变换。
图15是按上述方法生成的周围状况图像的示意图，2C是成为障碍物的其它车辆2的合成图像。
另外，当边缘位置作为曲线而求得的情况下，可以用最小二乘法等方法将其近似为直线，将该直线方向设定为x轴，将该x轴平行移动的位置假定为假想的对称轴，可以进行与上述同样的处理。当然，也可以将曲线近似为L形，以各自边的方向分别设定为x轴和y轴，进行同样的处理。
图16是对图41的合成图像进行本实施例处理的图。在图16的各障碍物区域中，合成了使用反转边缘图像与插补生成的障碍物图像OIM1。
<实施例2>
在实施例1中，使用了假定周围障碍物几乎是呈轴对称物体的反转边缘图像，但也可以不使用反转图像，仅单纯地自障碍物对自己车辆一侧的边缘图像进行像素的插补处理，合成作为填入图像欠缺区域的替代图像数据的障碍物图像。这对于例如自己车辆与其它车辆纵向排列，照相机仅能够对周围车辆的前部或后部拍摄的情况等，不能够利用轴对称的情况下，是十分有效的。
图17是表示本实施方式的实施例2中图像处理部14的动作的流程图。步骤S21～S24的处理，与图9中所示实施例1的流程图中的步骤S11～S14相同。因此，下面结合附图对步骤S25的像素的插补处理加以说明。
图18是在自己车辆的后方有其它车辆纵向排列的情况下合成图像的示意图。在图18中，在自己车辆1的后方，合成了其它车辆的边缘图像EDI2。
图19是图18的放大。在图19中，在合成图像的相对于自己车辆的横方向上设置x轴，在深度方向上设置y轴。如前所述，由于认为在周围障碍物的深度方向上的长度W可以任意决定，也不会带来问题，所以可推定障碍物区域(x，y)为X0＜x＜X1，Y0＜y＜Y1。
把障碍物区域中不能求出合成图像的区域VAR1与边缘图像EDI2的接线f，设定为x的函数f＝Y2(x)。区域VAR1内的像素G(x，y)(X0＜x＜X1，Y2(x)＜y＜Y1)，可以由前面的式(1)求出为G(x，Y2(x))。
图20为这样生成的周围状况图像的示意图。2D为合成的成为周围障碍物的其它车辆2的图像。
图21是对图41所示合成图像实行了本例中处理的图。在图21中的各障碍物区域合成了使用边缘图像插补而生成的障碍物图像OIM2。
<插补处理的转换>
在图像处理部14中，编入有将实施例1中使用的边缘图像、反转边缘图像的方法与实施例2中使用的边缘图像与插补处理的方法进行转换的处理，所以能够对每一个障碍物实行两者处理的转换。
例如，假定周围障碍物为车辆，则可以根据求得车辆的朝向而进行处理的转换。即，当周围车辆对于自己车辆为横向排列的情况下，实行实施例1中的处理，而当为纵向排列的情况下，实行实施例2中的处理。
车辆的朝向，可以通过障碍物检测装置12所检测出的障碍物区域内的车号牌与轮胎而求出。作为从照相机图像检测出车号牌位置的方法，已知有利用车号牌的大小一定的方法，或特开平10-302074中的方法。这是从图像切出小的区域、强调边缘、放大或缩小尺寸后，输入到中枢网络(neuralnetwork)，可将该输出成为最大的小区域判定为车号牌的存在位置。另外，作为检测轮胎的方法，周知的有模板比较(template matching)和Hough变换等方法。
在能够检测到车号牌而不能检测到轮胎的情况下，可以判定周围车辆处于纵向排列的位置；而在能够检测到轮胎而不能检测到车号牌的情况下，可以判定周围车辆处于横向排列的位置；而在二者都能够检测到情况下，可以判定周围车辆处于与自己车辆呈一定角度的位置。而且，在车号牌与轮胎都能够检测到情况下，可以将包含有边缘位置轮胎的直线设为x轴，将包含有边缘位置车号牌的直线设为y轴，实行实施例2中的处理。
图22是使用了插补处理转换的合成图像的例子。在图22中，分别合成了使用实施例1中反转图像方法而得到的障碍物图像OIMA、与使用实施例2中边缘图像的插补方法而得到的障碍物图像OIMB。
在本实施方式中，虽然对作为障碍物的例子使用具有轴对称形状的车辆进行说明，但是即使是在障碍物不是轴对称物体的情况下，本实施方式也是有效的。也就是说，在本实施方式的处理中，由于必须在正确的位置合成障碍物的边缘图像，所以对于不是轴对称的障碍物，虽然不一定能够提供隐蔽区域的正确图像，但是却必然能够提示对于驾驶时非常重要的自己车辆一侧的边缘位置的正确位置。
(第3实施方式)图23是本发明的第3实施方式中表示车辆周围状况显示装置基本结构的方框图。如图23所示，本实施方式中车辆周围状况显示装置设置有照相机11、障碍物检测装置12、障碍物位置检测装置13以及图像处理部14A，再加上储存成为障碍物的物体的图像数据的障碍物图像数据库31。
图像处理部14A的动作与第1或第2实施方式中不同。即，由障碍物检测装置12判断所检测出的障碍物的种类，从障碍物图像数据库31中读出判别了种类的图像数据，并将读出的图像数据作为填入图像欠缺区域的替代图像数据，在周围状况图像中，与障碍物位置检测装置13所检测出的边缘位置相吻合并配置。
以下对障碍物种类的判别加以详细说明。
在障碍物图像数据库31中储存有例如与车辆有关的车辆的长宽比、车辆侧面形状、车辆种类数据等。
在图24中，(a)是从上方看时车辆的图，(b)是从正面看时车辆的图。“车辆的长宽比”是指，图24(a)中长度L与宽度W之比。由于车辆左右两侧轮胎之间的距离与车辆的宽度W几乎相等，所以求出该距离，就得到了车辆的宽度W。“车辆的侧面形状”是指，图24(b)中车辆侧面轮廓(silhouette)的立体形状CSF，是边缘图像的区域。
图25出示了车辆种类数据的一个例子。如图25所示，车辆种类数据包括，用于车辆种类判别的车辆种类判别用数据、表示该车辆销售时颜色的颜色数据、以及图像显示时使用的显示用数据。
“车辆种类判别数据”是二值化的图像，例如以照相机图像的边缘界限(edge)与特征点等来判断车辆种类的情况下，边缘界限或特征点存在时，像素为“1”；不存在时像素为“0”。此时，通过正规化使各二值化图像的尺寸相同。
另外，作为“颜色数据”是以储存的市场上出现的该车辆种类所有的颜色，用于利用亮度的车辆种类判断、以及后面要叙述的障碍物图像的配置处理等。这里，颜色数据以RGB各256个深浅层次来表示。即，红为(255，0，0)，绿为(0，255，0)，蓝为(0，0，255)。“显示用数据”在后面叙述的障碍物图像的配置处理中利用。
并且，由于不知道在自己车辆周围存在的车辆的朝向，所以希望车辆种类判别用数据与显示用数据，能够保持可以从任意视点变换的数据。这是靠储存的车辆三维数据来实现的。
下面，对图像处理部14A的动作加以详细说明。图像处理部14A，对由障碍物检测装置12检测出的障碍物，进行大的种类判别，分出是汽车还是二轮车，根据这个判断结果，例如如果是车辆则进行车辆种类的判断。
图26是表示本实施方式中图像处理部14A动作的流程图。首先，在由障碍物检测装置12检测出障碍物(步骤S31)时，对于该障碍物进行大的种类判别判断，即是否是汽车(步骤S32)，还是二轮车(步骤S33)。如果在步骤S32中判断了障碍物是汽车，则进入步骤S34进行其车辆种类的判别。另一方面，如果在步骤S32中判断了障碍物不是汽车(步骤S32中否)，则进入步骤S33，判断障碍物是否是二轮车。如果在步骤S33中判断了障碍物是二轮车，则进入步骤S35进行对二轮车车辆种类的判别。另一方面，如果判断了障碍物不是二轮车(步骤S33中否)，则进入例如障碍物是否是人等的判断处理。
障碍物种类判别步骤S32、S33，可以利用中枢网络等来实现。中枢网络是根据预先学习的的图案中，输出与输入数据最接的结果。因此，通过把各种汽车的大量数据作为“汽车图案”，和各种二轮车的大量的数据＝作为“二轮车图案”学习，这样能够对所检测出的障碍物图像数据判别是汽车还是二轮车。当然，也可以在障碍物物图像数据库31中储存车辆种类判别用数据与显示用数据等作为学习图案而使用。即，判别步骤S32与S33可以作为单一的处理而进行。
如果在步骤S34、S35中对车辆种类进行判别，则从障碍物物图像数据库31中读取判别了车辆种类的图像数据并在周围状况图像中将读出的图像数据，与由障碍物位置检测装置13所检测出的边缘位置相吻合地进行配置(S36)。
下面，对车辆种类的判别方法加以说明。图27是本实施方式中车辆种类判断处理的流程图。
首先，在步骤S401中，对两个变量M0、M1实施初始化，即赋予“0”值。接着在步骤S402中，对于由障碍物检测装置12所检测出的障碍物区域，抽取代表颜色、边缘界限与特征点。代表颜色可以通过对障碍物区域内全部的像素求出图像颜色的直方图(histogram)而抽取。另外，边缘界限与特征点等，则可以使用与Sobel运算子的重叠而抽取。而且，检测到边缘界限或特征点时，像素为“1”，检测不到时像素为“0”。生成边缘界限与特征点的二值化图像。
在步骤S403中，从障碍物图像数据库31所储存的图像数据中选择一种车辆种类，取出该类车辆的车辆种类判别用数据与颜色数据。在S404以后的步骤中，调查在步骤S403中选择的车辆种类与检测出的障碍物的一致性。
首先在步骤S404中，调查与所检测出的障碍物的代表色相近的颜色，是否包含在车辆种类的颜色数据中。颜色的相近程度，可以由测量代表色与该车辆种类的颜色数据之间的RGB三维距离而判定。当与代表色十分接近的颜色在颜色数据中存在时，进入步骤S405，进行边缘界限与特征点的比较。另一方面，当与代表色十分接近的颜色在颜色数据中不存在时，在步骤S403中将所检测出的障碍物判断为与所选择的车辆种类不同，并进入步骤S408，判断检测出的障碍物与在步骤S403中所选择的车辆种类的不同，进行与其它车辆种类的车种数据的比较(步骤S403)。
在步骤S405中，求出障碍物的边缘界限及特征点与在步骤S403中所选择的车种的车辆种类判别用数据之间的一致程度M1。这是通过对已经求出的障碍物的边缘界限与特征点的二值化图像与所选择的车辆种类的边缘界限与特征点的二值化图像进行比较而求得的。
也就是说，如果将障碍物的边缘界限与特征点的二值化图像按照车辆种类数据的边缘界限与特征点的二值化图像的大小而进行规则化处理的图像设为f(u，v)，而把所选择的车辆种类数据的边缘界限与特征点的二值化图像设为g(u，v)，则一致程度M1可由下式求出。
式中u、v表示车辆种类数据的边缘界限与特征点的二值化图像的大小。上式中的分子是障碍物与车辆种类数据中在同一位置的边缘界限与特征点的总数，分母是存在于障碍物与车辆种类数据中的边缘界限与特征点的总数。也就是说，M1的值越大，两个边缘界限与特征点的二值化图像越接近，M1的值越小，两个边缘界限与特征点的二值化图像相差越大。
接着在步骤S406中，比较该一致程度M1的值是否比变量M0的值要大。如果M1的值较小，则可以判断障碍物与所选择的车辆种类不同，则进入步骤S408，进行与其它车辆种类数据的比较(步骤S403)。
另一方面，当M1较大时，则在步骤S407中，将变量M0的值置换于M1，同时，将所选择的车辆种类的号码给予变量M2，保持作为车辆种类的候补。并进入步骤S408，进行与其它车辆种类数据的比较(步骤S403)。即，在变量M0中，保持着至此进行比较过的车辆种类中最确切的车辆候补的一致度的值。因此，通过与障碍物图像数据库31中储存的全部车辆种类进行比较处理，就能够判别与检测出的障碍物最为类似的车辆种类。
对于全部车辆种类的比较结束时(步骤S408中是)，进入步骤S409，判定车辆种类判别候补与障碍物是否充分类似。这是根据判断为最类似的车辆种类M2的一致程度M0，是否比规定值大来进行判定的。当M0比规定值大时，判断为障碍物与车辆种类M2充分相似，以“检测出的车辆种类为M2”作为处理的结束(S410)。另一方面，当M0比规定值小时，则判断为不充分相似，以“不能判别检测出的车辆种类”作为处理的结束(S411)。
当然，求与各车辆种类数据的一致程度的处理，也可以不实行上述的逐级处理，而是并行求出与各车辆种类数据的一致程度，从而缩短处理时间。
另外，在二轮车的车辆种类判别中，可以使用障碍物图像数据库31中储存的二轮车的车辆种类数据，进行与图27相同的处理。
当然，也可以不进行大体的种类判别，而是将障碍物图像数据库3 1中所储存的汽车车辆种类数据与二轮车车辆种类数据全部作为障碍物数据来使用，将对障碍物的判别一并进行。
而且，作为汽车车辆种类数据，可以使用轿车、大棚货车(van)、小型卡车、卡车等大体划分的数据来进行处理。
另外，障碍物图像数据库31，最好具有能够对车辆种类进行更新的手段。例如，在本车辆周围状况显示装置中，经常以最新的车辆种类数据对储存的数据库进行定期存取，更新障碍物图像数据库31的车辆种类数据即可。而且车辆种类数据的更新，还可以通过CD、DVD等存储媒介物来进行，还可以通过同具有最新车辆种类数据的其它周围状况显示装置的汽车之间的通讯进行存取，从而接收该车辆种类数据。
另外，作为使用图像识别障碍物的方法，在文献2(“一般道路影像中对象物的在线(on line)识别”，长谷川修也，第七届传感研讨会(sensingsymposium)论文集，pp221-226)中有报导。另外，作为使用图像识别车辆种类的方法，除该文献外，还有例如特开2001-101405中的报道。在该方法中，收集了大量的各车辆种类的数据，并分类，由使用此数据作为学习图像，来实现对车辆种类的判别。
而且，还可以通过与被认识为障碍物的其它的车辆之间进行的车辆间的通讯来直接得到车辆种类信息。进而，还可以通过对被认识为障碍物的其它车辆车号牌，来得到车辆种类信息。
接下来，对障碍物图像的配置处理S36加以说明。该步骤S36，将把用障碍物检测装置12所检测到的障碍物以正确的位置、且无不谐调感地提供给利用者的数据配置在周围状况图像中。
图28是表示对障碍物图像的配置处理S36的流程图。这里假定在图26的流程中，判定障碍物为汽车，在步骤S34，进行车辆种类的判别。
首先，从障碍物图像数据库31中读出判别了车辆种类的图像数据，再决定向利用者提示的周围障碍物图像(步骤S51)。这里所得到的图像，是与障碍物位置检测装置13所检测出的边缘位置相吻合地经视点变换的图像。作为周围状况图像，在向利用者提示车辆上方具有视点的图像的情况下，周围障碍物图像如图7(a)中所示，成为自上方观察的图像。该周围障碍物图像，也可以使用插图或实际车辆的图像数据。
接下来，在周围状况图像中，将读出的周围障碍物图像与由障碍物位置检测装置13所检测出的自己车辆一侧的边缘位置相吻合地配置(步骤S52)。此时，由于已经知道了障碍物为车辆，所以如后面要叙述的那样，障碍物对自己车辆一侧的边缘位置，也可以通过从图像求出的车辆的轮胎与路面的接触点而检测出。
图29是从图7(b)的图像，由特願2000-613188中所示的路面投影作成的合成图像。如在背景技术中所述，由于路面投影是在假定图像中所有的物体都在路面上而进行的投影，所以具有高度成分的周围车辆的图像，就会产生象图29所示的变形，而且投影的位置也可能与实际情况有较大的差异。但是，由于与地面相接触的轮胎区域TAR1、TAR2不具有高度成分，所以能够进行正确位置的投影。
所以，如果以该轮胎与地面的接触点位置作为基准，则可能生成位置关系正确的合成图像。下面利用附图对求得轮胎与地面的接触点位置的处理加以说明。
图30是由障碍物检测装置12所检测出的障碍物区域的图像。障碍物位置检测装置13，使用上述Sobel运算子，从该图像抽取边缘界限，从该边缘界限抽取结果，求出如图31所示的与轮胎的下端同样的圆弧图案(pattern)CP1相一致的边缘界限部分。该处理也可以采用模板比较、Hough变换等方法来实行。
图32表示了对图30中图像实行边缘界限抽取的结果。在图32中，MAR1、MAR2是与圆弧图案CP1相一致的边缘界限部分的一致区域。在车辆的情况下，轮胎必然是前后各2个成对存在。因此，该一致区域两个一并求出时，就可以作为轮胎与地面的接触点位置。即，在图32的例中，一致区域MAR1、MAR2是作为轮胎与地面的接触点位置而求出的。还有，例如，轮胎必然与非障碍物区域相接触，这也可以作为检测条件而使用。
其后，图像处理部14A，在求出的轮胎与地面的接触点位置MAR1、MAR2上，根据对从障碍物图像数据库31所读取的图像数据的合成而生成周围车辆合成图像。即，旋转读出的图像数据，使前后两个轮胎的位置落在连接两个接触点MAR1、MAR2的直线上。而且，为了使前后两个轮胎的位置与接触点位置MAR1、MAR2相吻合，扩大或缩小并合成旋转了的图像数据。图33是这样得到的合成图像。
在图29中，象自己车辆1的后方有车辆3那样，当周围的车辆对于自己车辆纵向排列时，周围车辆的轮胎被保险杠遮蔽，不能被自己车辆1的照相机所拍摄，因此在有些情况下，不能使用上述利用轮胎边缘位置的检测方法。在这种情况下，例如可以利用车号牌来检测边缘位置。下面使用图34加以说明。
在图34中，41是自己车辆、42是路面、43是自己车辆上安装的照相机、45是照相机43所拍摄的周围车辆、45a是车辆45的车号牌。如图34所示，实际世界中任意点的坐标定为(Xw、Yw、Zw)。即，平面Xw-Zw是与路面平行的平面，Zw方向是自己车辆的前后方向，Xw方向是自己车辆的左右方向，Yw与路面垂直的方向。另外，把照相机的光轴方向设为照相机坐标系(Xe、Ye、Ze)的Ze轴。照相机拍摄图像的坐标系(Xi、Yi)也定义在图34中。在这些坐标系中，具有以下的关系。
[式4]
式中，f、r为照相机43内部的参数与由设置位置所决定的常数，属于已知。
下面，检测出照相机图像中车号牌45a的位置。关于从照相机图像中检测出车号牌位置的方法，在特开平10-302074号公报中有说明。它是从图像中切出小的区域，在实行边缘界限强调与尺寸的扩缩等操作后，输入中枢网络，将输出为最大的小区域判定为车号牌的位置。
设在照相机图像中检测出的车号牌45a的4个角的坐标分别是Pi(Xi0，Yi0)，Qi(Xi1，Yi1)，Ri(Xi2，Yi2)，Si(Xi3，Yi3)，在实际世界中的坐标分别是Pw(Xw0，Yw0，Zw0)，Qw(Xw1，Yw1，Zw1)，Rw(Xw2，Yw2，Zw2)，Sw(Xw3，Yw3，Zw3)。
将车号牌的大小进行规格化，并利用车号牌与地面垂直的假定条件，得到4个角在实际世界中的坐标，具有下式的关系。
式中，a、b分别是车号牌45a的宽度与高度，属于已知。通过使用照相机图像对车号牌的位置实行的检测处理，Pi、Qi、Ri、Si就成为已知，所以将该值代入[式3]、[式4]，以[式5]作为约束条件，用最小2乘法解之，就可以求得车号牌45a在实际世界中的位置Pw、Qw、Rw、Sw。
由于认为车号牌45a位于周围车辆对自己车辆的边缘位置上，所以由车号牌45a在实际世界中的位置，可以推定自己车辆一侧的边缘位置。
在步骤S34中不能判别车辆种类的情况下，在步骤S36中障碍物图像的配置按以下方式实行。在这种情况下，虽然不能得到障碍物图像数据，但是却知道障碍物是车辆。因此，可以通过对有效传感器、轮胎、车号牌的识别等求出自己车辆一侧的边缘位置，与该位置相吻合，如在第1实施方式中所式的那样，表示出“是车”的插图、文字、或记号等。
而且，在由车与车之间的通讯直接进行周围车辆判断的情况下，在通讯的同时，接收图像数据本身也是可能的。
图35是表示本实施方式中的合成图像的例子。图35的图像，是在图38所得到的照相机图像的基础上，实行本实施方式中说明的图像合成法而得到的。
另外，图36是以矩形表示了图41的合成图像中有车辆的区域，并且重叠有文字的例。在图36中，用文字“车”提示以引起利用者的注意。矩形区域的自己车辆一侧的边缘与由障碍物位置检测装置13所检测出的周围障碍物的边缘位置相吻合。因此，这与单纯地插入插图的第二传统例不同，能够对与其它车辆的接触防患于未然。当然，合成能够引起对“有车”注意的其它文字、记号、或插图等来取代文字“车”也是可以的。
另外，这里作为障碍物虽然是以汽车于二轮车为例进行了说明，但本实施方式中的方法，对于其他形式的障碍物同样有效。
例如，在对象物是人的情况下，可以通过求出脚与地面的接触点而确定对象人物的正确位置。而且，根据预先求出并保存的人物的侧面形状，可以将对象人物区域分割为头部、上半身部、下半身部等。即，在障碍物图像数据库中，储存有包含头部数据、上半身数据、下半身数据的人物数据。头部数据可以有各种各样的发型数据，上半身数据可以有短袖、长袖等上半身服装数据，下半身数据可以有裤子、裙子等下半身服装数据，在检测出的各种区域，可以使用各自的数据，对对象人物进行做图。
利用图像检测人物部位的方法，例如在文献3(“W4Who，When，Where，WhatA Real Time System for Detecting and Tracking People”，Haritaoglu，etal，Third Face and Gesture Recognition Conference，pp.222-227)中有报道。在该方法中，使用立体法(stereo)，能够对人物的头、手、足、躯体等进行分别的识别。
(第4实施方式)图46是表示本发明的第4实施方式中车辆周围状况显示装置的基本结构的方框图。图46的车辆周围状况显示装置的基本结构包括，拍摄车辆周围的照相机11、检测车辆周围的障碍物有无的障碍物检测装置12、输入照相机11的拍摄图像、由该照相机的图像而生成表示车辆周围状况图像的图像处理部14、以及在由障碍物检测装置12检测出障碍物时，在周围状况图像上检测出由于该障碍物的存在而使照相机11不能得到图像数据的图像欠缺区域的图像欠缺区域检测装置41。
这里与第1实施方式的不同之处在于图像欠缺区域检测装置41。由障碍物检测装置12检测出障碍物时，图像欠缺区域检测装置41，能够检测出照相机11不能得到图像数据的图像欠缺区域，与上述各实施方式同样，图像处理部14至少对图像欠缺区域的一部分实行插补与合成处理，由填入替代图像数据而生成车辆周围状况图像。
图像欠缺区域检测装置41，保持有与障碍物形状大体近似的假象障碍物形状的任意三维形状模型(model)。在图47中所式的为假想障碍物形状的一例。当然，假想障碍物的形状并不限于图47中所示的形状，可以是立方体或任意多面体，或对实际的障碍物进行模型化所得的形状。而且，假想障碍物的大小也可以任意设定，例如可以假定障碍物为车辆的情况下，通常与车辆的大小相吻合。例如可以是短轴W1.7m×长轴L4.2m×高H1.4m。而且，还可以保持多个假想障碍物的形状，实行第3实施方式中所说明的障碍物种类判别处理，根据其结果选择假想障碍物的形状。
这样，在作为障碍物的认识区域内，修整(fitting)该假想障碍物形状，投影照相机图像于该形状。此时，由于可以认为假想障碍物形状中未投影的区域为图像欠缺区域，所以图像处理部14应该对该图像欠缺区域进行填充并根据使用所述插补、合成处理的图像合成，而生成周围状况图像。也就是说，通过使用假想障碍物形状，可以同时推定图像投影面与图像欠缺区域。
图48是表示本实施方式中处理过程的流程图。首先与第1实施方式一样，如图49所示，由障碍物检测装置12检测出障碍物区域，测量其长度L1(S61)。障碍物区域作为面求出。
接着，进行对求出的障碍物区域与假想障碍物形状的修整(S62)。作为假想障碍物形状，使用图47中所示的对车辆的形状、大小进行模型化的结果。然后，当测量的障碍物区域的长度L1接近于长轴L，并比起短轴W充分长时，如图50所示，假想障碍物形状的长轴与障碍物区域相吻合配置。另一方面，障碍物区域的长度L1接近于短轴W、并比起长轴L充分短时，则假想障碍物形状的短轴与障碍物区域相吻合配置。
于是，在修整的假想障碍物形状中，如图51所示，以与自己车辆接触的区域作为图像投影面，将照相机所得到的障碍物图像在该图像投影面上投影(S63)。这样，在修整处理的假想障碍物形状中，由于可以认为投影面以外的区域为图像欠缺区域(S64)，所以通过对该图像欠缺区域进行所述插补、合成处理，而生成合成图像(S65)。
图52与图53是假想障碍物修整结果的概念图。是图45中所示的自己车辆1的后方有其它车辆2存在的情况。图52是从侧面观察的图，图53是从上方观察的图。
<对车辆以外的适用例>
本发明的适用领域并不限于车辆。例如对于室内、室外的监视系统和移动机器人(robot)的视觉系统等也同样适用。
作为一例，对适用于室内监视系统的例子加以说明。在作为影像提示系统的室内监视系统中，为了扩大监视的区域，设置有多个照相机，应用假想视点合成技术，将多个照相机图像作为一张图像在显示器中显示。图54是2台照相机11A、11B在室内拍摄的监视系统的概念图。在图54中，室内放置有桌子TB与两腿的椅子CH1、CH2。这里，将2台的照相机11A、11B所拍摄的图像合成，将作为从假想照相机VC所看到的假想视点图像进行合成。
在这种情况下，桌子TB中央的区域，虽然不应该是隐蔽区域，但由于照相机11A、11B都不能对其拍摄，所以得不到图像数据。因此，该区域在假想视点图像上就成为图像欠缺区域。如果在室内不放置桌子TB的情况下，就不会产生这样的图像数据的欠缺。换言之，这情况下的图像欠缺区域不是由隐蔽所造成的，而是由于作为物体的桌子TB的存在引起的不能得到图像数据的区域。
因此，在监视范围(影像提示范围)设置有检测物体的检测装置、在由检测装置检测出物体时能够在监视图像(提示图像)上检测出图像欠缺区域的图像欠缺区域检测装置。然后，图像欠缺区域被检测出时，图像处理部就会对该图像欠缺区域，利用所述插补处理、或使用数据库图像方法等填入替代图像数据。据此，监视图像能够利用替代图像数据，减轻该图像欠缺区域对利用者所产生的不谐调感。并且，在图像欠缺区域以外的部分，利用的仍是照相机图像数据。这样，利用者不仅不会对监视图像产生不谐调的感觉，而且能够正确认识监视范围的状况。
另外最近，对利用多视点记录共同的真实空间，提示作为新的影像的研究比较盛行(例如，文献“根据多视点影像的现实画面(scene)的假想化-利用照相机间的射影关系而生成中间视点影像”，斋藤英雄，等，情报处理学会研究报告会，2002-CVIM-131.pp.53-60)，本发明的技术还可以应用于象对足球、棒球、美式足球(America football)等体育节目的转播等娱乐活动(amusement)的领域。这样的研究，是作为多个照相机图像的插补图像生成由不存在的照相机的视点的图像。但是，当视点于实际照相机的位置相差较大时，就会生成上述的隐蔽区域，从而存在图像欠缺区域。对于在这样的图像欠缺区域中生成图像，本发明也是有效的。
还有，在各实施方式中，图像合成时的假想视点位置是在车辆的上方，但对于使用除此之外的位置假想视点的情况，本发明也是适用的。而且，即使是在由假想视点变换以外的方法生成车辆周围状况图像的情况下，本发明的技术思想也是有效的。
根据以上本发明，在车辆周围状况显示装置中，能够正确地表示对于驾驶操作重要的、面对自己车辆的区域，并对不怎么要求正确程度的区域，则表示出精度不高但还有些相似的图像。所以能够避免对利用者带来不谐调的感觉，并能够提示相对位置关系正确的图像。
(发明效果)通过以上的说明可知，由本发明的车辆周围状况显示装置，利用者对周围状况图像几乎不会有不谐调的感觉，且能够正确认识车辆周围障碍物的位置，与传统的方法相比，能够可靠、舒适、安全的进行驾驶操作。
而且，由本发明的影像提示系统，利用者对提示图像几乎不会有不谐调的感觉，且能够正确地认识影像提示范围的状况。
G(x,y)=(Y2-y)G(x,Y1)+(y-Y1)G(x,Y2)Y2-Y1---(1)]]>[式2]M1=Σf(u,v)·g(u,v)Σf(u,v)+Σg(u,v)---(2)]]>[式3]Xe=-XiNef,Ye=-YiZef---(3)]]>[式4]XwYwZwI=r00r01r02r03r10r11r12r13r20r21r22r23r30r31r32r33XeYeZeI---(4)]]>[式5]Yw0＝Yw1，Yw2＝Yw3Yw2-Yw0＝b(Xw1-Xw0)2+(Zw1-Zw0)2＝(Xw3-Xw2)2+(Zw3-Zw2)2＝a2Xw1＞Xw0，Xw3＞Xw2……(5)
权利要求
1.一种车辆周围状况显示装置，其特征在于设置有拍摄车辆周围的照相机、检测所述车辆周围障碍物的障碍物检测装置、由所述照相机拍摄的图像生成表示所述车辆周围状况图像的图像处理部、以及在由所述障碍物检测装置检测出障碍物时、能够在所述周围状况的图像上、检测出由于该障碍物的存在而使所述照相机得不到图像数据的图像欠缺区域的图像欠缺区域检测装置；在所述图像欠缺区域被检测出时，所述图像处理部能够对该图像欠缺区域的至少一部分填入替代图像数据。
2.根据权利要求1所述的车辆周围状况显示装置，其特征在于所述图像欠缺区域检测装置，设置有检测所述障碍物对所述车辆一侧边缘的位置的障碍物位置检测装置，利用检测出的边缘位置，特定所述图像欠缺区域。
3.根据权利要求2所述的车辆周围状况显示装置，其特征在于所述图像处理部，是为了生成所述替代图像数据、利用所述障碍物的至少包含所述车辆一侧的边缘部分的图像的边缘图像的装置。
4.根据权利要求3所述的车辆周围状况显示装置，其特征在于所述图像处理部，在所述周围状况图像中配置与由所述障碍物位置检测装置检测出的边缘位置相吻合的所述边缘图像，在所述周围状况图像中，与所述边缘位置相吻合地推定所述障碍物所占的区域，对于推定的障碍物区域内的所述边缘图像以外的部分，根据利用所述边缘图像的像素数据进行像素插补，生成所述替代图像数据。
5.根据权利要求4所述的车辆周围状况显示装置，其特征在于所述图像处理部，在所述障碍物为轴对称物体时、在所述周围状况图像中假定所述障碍物的对称轴，将所述边缘图像对于所述对称轴反转，作为反转图像配置，由利用所述边缘图像的像素数据进行像素插补，生成所述障碍物区域内的所述边缘图像与所述反转边缘图像之间的图像。
6.根据权利要求2所述的车辆周围状况显示装置，其特征在于具有储存成为障碍物物体图像数据的障碍物图像数据库，所述图像处理部，可判别检测出的障碍物的种类，从所述障碍物图像数据库读出判别了种类的障碍物图像数据，将读出的图像数据与由所述障碍物位置检测装置检测出的边缘位置相吻合，在所述周围状况图像中，作为替代图像数据而配置。
7.根据权利要求6所述的车辆周围状况显示装置，其特征在于所述图像处理部，基于所述照相机图像，进行对障碍物种类的判别。
8.根据权利要求2所述的车辆周围状况显示装置，其特征在于所述障碍物位置检测装置，在所述障碍物为其它车辆时，由所述照相机图像、把所述其它车辆的轮胎与地面的接触点作为所述边缘位置进行检测。
9.根据权利要求2所述的车辆周围状况显示装置，其特征在于所述障碍物位置检测装置，在所述障碍物为其它车辆时，由所述照相机图像、把所述其它车辆的车号牌存在的平面和地面的接触线作为所述边缘位置进行检测。
10.根据权利要求2所述的车辆周围状况显示装置，其特征在于所述图像处理部，根据基于所述照相机图像对假想视点进行变换而生成所述周围状况图像。
11.一种影像提示系统，其特征在于设置有取得影像的照相机、检测影像提示范围内物体的检测装置、由所述照相机的拍摄图像、生成表示所述影像提示范围的状况的提示图像的图像处理部、以及在由所述检测装置检测出物体时可在所述提示图像上检测出由于该物体的存在而使所述照相机得不到图像数据的图像欠缺区域的图像欠缺区域检测装置；在所述图像欠缺区域被检测出时，所述图像处理部可对该图像欠缺区域的至少一部分填入替代图像数据。
12.根据权利要求11所述的影像提示系统，其特征在于所述照相机可对车辆的周围进行拍摄。
13.根据权利要求11所述的影像提示系统，其特征在于所述照相机可对建筑物的内部或周围进行拍摄。
全文摘要
一种车辆周围状况显示装置及影像提示系统，图像处理部(14)根据照相机(11)所拍摄的图像生成显示车辆周围状况的图像。而且，当由障碍物检测装置(12)检测出障碍物的存在时，图像处理部(14)能够利用由障碍物位置检测装置(13)所检测出的障碍物在车辆侧的边缘位置，特定图像欠缺区域、并填入替代图像数据。在这样的车辆周围状况显示装置中，能够不使利用者对显示图像产生不谐调的感觉，并且使利用者可正确认识到对驾驶操作非常重要的周围障碍物的位置。
文档编号G01S11/00GK1406790SQ0214165
公开日2003年4月2日 申请日期2002年9月9日 优先权日2001年9月7日
发明者佐藤智, 中川雅通, 冈本修作, 森村淳, 松川善彦, 登一生 申请人:松下电器产业株式会社