专利名称：图象合成装置的制作方法
技术领域：
本发明涉及图象合成装置，特别是有关将多台装在汽车上的摄像装置摄得的图象作视点变换合成为来自虚拟视点的图象，向驾驶者提示汽车周围的图象，适合于帮助驾驶者在诸如停车等行驱时所用的图象合成装置。
背景技术：
过去，作为这种图象显示装置所知道的是，根据“用于一条道路表面模型的虚拟视点图象合成原理(The Principle of virtual viewpoint imagesynthesis using a road surface model)”(第7届ITS世界会议)将摄像机的实摄图象作视点变换成恰如从虚拟视点拍摄的图象，在监视器上进行显示的装置。另外，根据第2610146号专利，可知是将与车辆的转向角传感器检测出的转向角对应的倒退预测轨迹重迭在车载摄象机图象上的装置。
但是，在以往的图象显示装置中存在如下的问题，即将倒退预测轨迹重迭在变换成如在虚拟视点拍摄的图象上并在监视器上显示时，到周围的立体物体的距离靠监视器上的图象易误解成比实际距离大。
以下，利用
之。在图30，在监视器图象中，自己的车辆的插图2401看上去和其它车辆的距离好象还相距甚远。但实际上如图31所示自己的车辆2401和其它车辆2402正相当接近，这是因根据变换成虚拟视点，如保险杠(bump)那样不在地上的物体在变换后的图象上投影到此实际位置还要远离摄象机的位置向引起的。
发明内容
本发明为解决前述以往的技术问题，提供一种图象合成装置，将辅助图象重叠在变换成如虚拟视点拍摄到的图象上，并在监视器上显示，能够提示从监视器图象容易地推断向周围物体接近的图象。
本发明的图象合成装置，包括装在车上的摄像装置，对由前述摄像装置摄得的图象作视点变换，并合成图象的视点变换图象合成装置，前述车辆的任意高度的轨迹线或垂直线中至少生成一方的车辆轨迹线生成装置，以及在由前述视点变换图象合成装置合成的图象上，描画由前述车辆轨迹线生成装置生成的轨迹线的车辆轨迹描画装置。根据该构成，生成自己车辆的任意高度的轨迹线，就能在由视点变换所得的合成图象上显示，所以能在前述合成图象上描画自己车辆的立体轨迹。因此，通过使自己车辆的轨迹和在视点变换图象合成时产生的周围立体物体的畸变一样地变形，就容易捕捉到周围与自己车的预想轨迹的三维位置关系，提高目视识别能力，能容易地进行自己车辆和周围立体物体的接触判定。
此外，本发明的图象合成装置还包括装在车上的摄像装置，对由前述摄像装置摄得的图象作视点变换合成图象的视点变换图象合成装置，从前述车辆生成任意位置的辅助线的辅助线生成装置，及在由前述视点变换图象合成装置合成的图象上，描绘由前述辅助线生成装置生成的辅助线的辅助线描绘装置。根据该构成，从自己车辆开始生成任意的辅助线，在由视点变换得到的合成图象上显示，所以在合成图象上引一根成为距离的大致标准的辅助线，就能使驾驶者在行驶时容易地掌握和后方驶近车辆的距离。
再有，本发明的图象合成装置为还包括装在车辆上的摄像装置，对由前述摄像装置摄得的图象作视点变换合成图象的视点变换图象合成装置，存储预定装置的存储装置，及在由前述视点变换图象合成装置合成的图象，根据从前述存储装置读出的数据，将规定的辅助数据重迭上的描绘装置，前述摄像装置装置成可将前述车辆的尾部收纳在其视野内，前述视点变换图象合成装置包括前述车辆的图象在内作视点变换合成。根据该构成，能向驾驶者提示自己车辆尾部图象的变换，合成结果，所以就能容易地作出自己车辆和车辆周围的立体物的接触判定。
本发明的图象显示装置包括显示由前述图象合成装置合成的图象的显示装置，以及将应显示的前述图象变换成适于前述显示装置的数据的显示数据变换控制装置。
根据该构成，能在显示装置上显示由摄像装置摄得的图象或合成图象，能供操作者易于掌握周围的状况，与汽车的位置关系等。
此外，本发明的图象取得警告装置包括探测连接车辆的连接对象物的接近状况的探测装置，前述探测装置的探测信息或前述图象合成装置合成的图象信息两者中至少根据具中之一的信息向操作者发出任意的警告信息的警告装置，根据任意设定的前述连接对象物的接近状况发出前述警告信息。
根据该构成，在向车体后部连接对象物时，与连接对象物的靠近相对应，通过与接近的状态相对应发出警告信息，从而能唤起操作者的注意。此外，在连接结束时，也能确认结束状态。
另外，本发明的自己车位辨认判别装置为在前述图象合成装置上摄像装置内至少有一个是设置在汽车后方的后方摄像装置，前述后方摄像装置具有从摄得的图象或在前述图象合成装置合成的图象检测出任意对象物图象的图象检测装置，辩认由前述图象检测装置检测出的检测图象和自己车的图象间位置关系的辨认装置，及与任意设定的条件比较判断的比较判别装置。
根据该构成，能在显示装置上显示由摄像装置摄得的图象或合成图象，能供操作者诸如掌握周围的状况，尤其是从任意设定的对象物的图象掌握对象物(包括对象显示)的位置，容易掌握与汽车的位置关系。
图1表示本发明第1实施形态的图象合成装置构成的方框图。
图2为说明由图1的图象合成装置所得的自上垂直向下所见的合成图象和轨迹线的图。
图3为说明图1中任意高度的轨迹线运算装置103B构成用的方框图。
图4为说明图1中任意高度的轨迹线运算装置103B处理流程图。
图5为详细说明图2轨迹线图。
图6为说明由图1的图象合成装置所得的后方全景合成图象和轨迹线用的图。
图7为表示本发明的第2实施形态的图象合成装置构成的方框图。
图8为用于说明图7中任意高度的轨迹线运算装置502B构成的方框图。
图9为说明由图7的图象合成装置所得的自后方垂直向下看到的合成图象和轨迹线的图。
图10为说明由图7的图象合成装置所得的自后方看到的合成图象和轨迹线的图。
图11为说明由图7的图象合成装置所得的自上垂直向下看到的合成图象和轨迹线随看时间移动立体显示自己车辆的图。
图12为表示本发明的第3实施形态的图象合成装置的构成方框图。
图13为说明由图12的图象合成装置所得后方全景合成图象和轨迹线相撞处的重点显示的图。
图14为表示本发明的第4实施形态的图象合成装置的构成方框图。
图15为说明由图14的图象合成装置所得的多画面显示图象和轨迹线的图。
图16为表示本发明的第5实施形态的图象合成装置的构成方框图。
图17为说明由图16的图象合成装置所得的多画面显示图象和辅助线的图。
图18为表示本发明的第6实施形态的图象合成、显示装置的构成方框图。
图19为本发明的第6实施形态的图象合成、显示装置的摄象单元设置20为本发明的第6实施形态的图象合成、显示装置的画面构成图。
图21为本发明的第7实施形态的图象合成、显示装置的画面构成图。
图22为本发明的第8实施形态的图象合成、显示装置的画面构成图。
图23为本发明的第9实施形态的图象合成、显示装置的画面构成图。
图24为本发明的第10实施形态的图象合成、显示装置的画面构成图。
图25为本发明的第11实施形态的图象合成、显示装置的画面构成图。
图26为本发明的第12实施形态的图象合成、显示装置的画面构成图。
图27为本发明的第13实施形态的图象合成、显示装置的画面构成图。
图28为本发明的第14实施形态的图象合成、显示装置的画面构成图。
图29为本发明的第15实施形态的图象合成、显示装置的画面构成图。
图30为以往的后方视场显示装置的画面构成图。
图31为说明以往的后方视场显示装置问题用的车辆置关系图。
具体实施例方式
下面，参照附图对本发明的实施形态进行说明。
(第1实施形态)图1为表示第1实施形态的图象合成装置的构成方框图。该图象合成装置由装在汽车上的摄像装置101、视点变换图象合成装置102、车辆直行轨迹线生成装置103、车辆轨迹线描画装置104构成。
摄像装置101由装在车辆的后部或者侧部的1台以上的摄像机构成，朝着车的后方。视点变换图象合成装置102通过输入一张以上由摄像装置101摄得的图象，输出从虚拟视点见到的图象。车辆直行轨迹线生成装置103通过输入自己车辆的大小及形状，视点变换时的摄象机参数，摄像装置101的摄象状况，输出自己车辆笔直倒退时的轨迹线。车辆直行轨迹线生成装置103具备路面上的轨迹线运算装置103A和经意高度的轨迹线运算装置103B，能输出自己车辆的任意位置的轨迹线，具备同时输出例如路面上的轨迹，车辆的保险杠端的轨迹等功能。车辆轨迹线描画装置104将由车辆直行轨迹线生成装置103输出的自己车辆轨迹线重迭在由视点变换图象合成装置102所得的合成图象上并描画。再者，车辆轨迹线描画装置104的输出能给予图中未示出的显示装置而显示。
图2为将由摄像装置101所得的图象靠视点变换图象合成装置102合成从自己车辆的后方对看自己车辆的停放路面垂直向下看的图象，由车辆直行轨迹线生成装置103在合成图象上描画由车辆轨迹线描画装置104得到的自己车辆204的路面上的轨迹线201和距路面高度50cm位置的自己车辆的轨迹线202时的图。在合成图象上因为很容易了解立体物体是如何投影的，以对路面垂直的直线203连接路面上的轨迹线201和具有高度的轨迹线202。在此，自己车204的后方有第1辆其它的车205存在，在侧面有第2辆其它的车206存在。
图3为说明图1中任意高度的轨迹线运算装置103B的构成用的方框图。任意高度的轨迹运算装置103B由三维轨迹线合成装置103B-1三维轨迹线道路路面投影装置103B-2，合成图象投影装置103B-3构成。三维轨迹线生成装置103B-1具备生成在真实空间上的车辆任意高度的三维轨迹线的功能。三维轨迹线道路路面投影装置103B-2具备从安装在车上的摄像装置将由三维轨迹线生成装置103B-1生成的三维轨将由三维轨迹线生成装置103B-1生成的三维轨迹线投影到道路路面上的功能。合成图象投影装置103B-3具备将由三维轨迹线道路路面投影装置103B-2投影在道路路面上的轨迹线投影在合成图象上的功能。
图4为说明前述任意高度的轨迹线运算装置103B处理流程用的图。首先，由三维轨迹线生成装置103B-1，在三维空间上作为自己车辆的任意部分的轨迹线生成线段105。接着线段105由三维轨迹线道路路面投影装置103B-2从安装在车上的摄像装置投影在道路路面上的线段106上。然后，线段106由合成图象投影装置103B-3投影在合成图象上的线段107上，这样所得的线段107为在合成图象上的轨迹线。
图5为详细说明图2轨迹线用的图。如图5所示设车辆的路面上的轨迹上的各点为a至h，离路面高度50cm的轨迹上的各点为A至H。
直线ab为表示自己车辆204的后端在路面上的位置的直线，直线cd为自己车辆204的后方1m的路面上的位置的直线，直线ef为表示自己车辆后方2m的路面上的位置的直线，gh为表示自己车辆后方3m的路面上的位置的直线。另外，直线AB为表示自己车辆204的后端高度50cm的直线，直线CD为表示自己车辆204后方1m的高度50cm的直线，直线EF为表示自己车辆204后方2m的高度50cm的直线，直线GH为表示自己车辆204后方3m的高度50cm的直线。因此，能认为直线Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hh表示在路面的各个位置，长度50cm的棒对看路面垂直竖立时在合成图象上的象。
一旦如上述那样定下轨迹线，例如，在合成图象上长方形ABCD内的区域只表示道路面时，则可以说至少在以自己车辆宽度到后方1m为止区域不存在高度50cm以下的物体，反之，可以说在长方形ABCD内表示路面以外的立体物体时，在以自己车辆宽度到后方1m为止区域有存在高度50cm以下的物体的可能性。
在此，图1的装置也能自由地改变描画轨迹线的颜色。例如在离自己车辆1m的范围内能用红色线段表示，在1m至2m的范围内能用黄色的线段表示，2m至3m的范围内能用兰色的线段表示。此外，路面上的轨迹aceg及bdfh也能选得既黑又粗，就以直感地，易于知道自己车辆轮胎的轨迹。
另外，图1装置也能描画自己车辆保险杠高度的轨迹。从而使其也能持有如下的特征当描画自己车辆保险杠高度的轨迹时，就会容易地判断合成图象上自己车辆的保险杠和周围物体的接触。
再有，图2描绘的轨迹线为到车后3m，也能描绘到任意距离的轨迹线。
图6为从由摄像装置101所得的图象通过视点变换图象合成装置102合成后方全景图象，在该合成图象上描有自己车辆的道路路面上的轨迹401，自己车辆保险杠端的轨迹402，和自己车辆车高的轨迹403的图象。通过描绘自己车辆的车高轨迹，从而具有易于领会与周围车辆距离感等的特点。
这样，采用本发明的第1实施形态，因能在视点变换合成图象上描画自己车辆的立体轨迹，驾驶者就能容易地进行自己车辆和周围立体物体的接触判定。
此外，通过用直线或曲线插入自己车辆路面上的轨迹线和任意高度的轨迹之间，也能在合成图象上表示对于路面垂直的线，自己车辆的轨迹线上的断面图。
例如想象用自己车上装的车厢连接器(挂钩)和货架车连接的情景，在货架车离开自己车辆的初始状态即将自己的车靠近货架车之际，根据显示出的自己车的预想轨迹，就很容易地找到如何靠近成为对象的货架车为好的方法，此外，在就要和货架车连接之前，通过视点变换，提供宛如从正上方看到的图象(平面投影)，就能正确地捕捉到彼此的挂钩间位置关系，靠以上的动作和使用方法，货架车和自己车就能方便地连接。
另外，无用多言。同样的优点在以下的情形时也是存在的，要将车停到有限的停车空间时，或要把握多条车道后方车辆的位置关系时，能够向驾驶者提供容易理解的图象。
再有，如上述的例子，若是预先知道保险杠的高度，挂钩的高度等最极限的部分的高度，就可根据驾驶者的指示描画其高度的轨迹线。
而且，通过描画保险杠的轨迹线能作出保险杠端的接触判定，通过在合成图象上描车车高的轨迹线也能直感地描画出易理解的轨迹线。
另外，通过根据离自己车辆的距离改变轨迹线的颜色，粗细来描画，能取得让驾驶者的注意力集中在自己车辆附近的效果。
本发明的第1实施形态的图象合成装置对于驾驶者能作为兼具明白地显示后方死角的安全性及在上述停车，连接时的便利性，性能优良的驾驶支援装置而被灵活利用。
(第2实施形态)图7为表示第2实施形态的图象合成装置的方框图。在该图中，对与图1相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图象合成装置的构成为取代图1的图象合成装置中车辆直行轨迹生成装置103设置车辆转向角对应轨迹线生成装置502，再附加转向角信号输出装置501，将其输出输入车辆转向角对应轨迹线生成装置502，其它的构成要素具有和图1的装置相同的构成。
转向角信息输出装置501为输出自己车辆方向盘转向角的装置，车辆转向角对庆轨际线生成装置502将方向盘转向角作为输入，输出与其方向盘转向角对应的轨迹线的装置。车辆转向角对应轨迹线生成装置502具备路面上的轨迹线的运算装置502A和任意高度的轨迹线的运算装置502B，通过输入方向盘转向角、自己车辆的大小及形状、视点变换时摄象机参数、和摄像装置101的摄像状况，具备输出与自己车辆倒退时自己车辆的任意位置的转向角对应的轨迹线的功能。
图8为说明图7中任意高以轨迹线的运算装置508B构成用的方框图。任意高度的轨迹线运算装置502B由三维形状存储装置502B-1、三维轨迹区域生成装置502B-2、和道路路面投影装置502B-3、合成图象投影装置502B-4构成。三维形状存储装置502B-1能存储自己车辆的形状、自己车辆内接的长方体、自己车辆的一部分例如保险杠、车轮等形状。三维轨迹区域生成装置502B-2由三维形状存储装置502B-1存储的自己车辆的形状生成在自己车辆移动时通过的实际空间上的区域的功能，道路路面投影装置502B-3具有将由三维轨迹区域生成装置502B-2生成的三维区域投影在道路路面上的功能，合成图象投影装置502B-4具有将由道路路面投影装置502B-3生成的三维区域投影在合成图象上的功能。而且，由三维形状存储装置502B-1存储的形状也可以是自己车辆的某部分的一点，所以也可将由三维轨迹区域生成装置502B-2生成的区域做成三维的线段。
图9为在由视点变换图象合成图象上，描出与转向角信息对应的轨迹线。在此，车辆转向角对应轨迹线生成装置502中三维形状存储装置502B-1存储位于自己车辆后方角部离道路路面50cm的一点的三维位置。如该图所示表示路面上的转向角对应轨迹线601和高度50cm的转向角对应轨迹线602。其特征在于靠这样的显示，能很容易判定车辆的方向盘转多少就会碰到周围的立体物体，停车时能容易地避免与周围的立体物体相碰。
图10为将图7的装置应用在后方全景图象上。在此，显示在自己车辆的后方有两辆其它车辆、路面上的转向角对应轨迹线701、保险杠高度的转向角对应轨迹线702、以及车高的转向角对应轨迹线703。
图11为将自己车辆后嫁时的自己车辆的轮胎、保险杠等投影在路面上的轨迹描画在合成图象上的样子。在此，三维形状存储装置502B-1存储自己车辆的保险杠和车轮的形状，靠车辆转向角对应轨迹线生成装置502投影自己车辆204的车轮的凤影图象801和保险杠端的投影图象802。该投影图象以某个周期随着时间从自己车辆204的后端向后方移动。由此，在自己的车辆开动时，能直感、方便地捕捉到与周围物体的位置关系。尤其是在使劲转动方向盘时，轮胎的轨迹与保险杠的轨迹会因转弯半径的差而异，故如图8在合成图象上描画自己车辆的立体模型是相当有效的。
这样，利用本发明的第2实施形态，通过描画转向角对应的自己车辆的立体轨迹，就能容易地判定车辆的方向盘转多少将会碰到周围的立体物体，停车时容易地避开与周围的立体物体相碰。
还有，通过在图象上沿着轨迹线描画随着时间移动的物体使得自己车辆的断面、立体模远离自己车辆的后端，就能更容易判定与本物体的接触。
(第3实施形态)图12为表示第3实施形态的图象合成装置构成的方框图。在该图中，和图7相同的构成要素或对应的要素注上与图7相同的的标号。
该图象合成装置为在图7的装置上增加与障碍物相预测装置901和与障碍物相撞物相撞重点显示装置902，其它的构成要素上人有和图7的装置同样的构成。
与障碍物相撞预测装置901为检测在自己车辆的周围存在的车辆等障碍物的装置。另外，车辆轨迹线描画装置104判定由与障碍物相撞预测装置901检测出的障碍物的位置和自己车辆的轨迹线将要相撞时，具有不描画该处的轨迹线的功能。与障碍物相撞重点显示装置902，在自己车辆的轨迹线将和障碍物相撞时，具备在合成图象上重点显示相撞部位的功能。
由这样的构成，图12的装置在预想轨迹线上有障碍物时，不会有在障碍物描画轨迹线这种不自然的感觉。在显示更易理解的预想轨迹线。
图13为由图12的装置得到的全景图象和轨迹线。在图13，存在于此障碍物更靠前的轨迹线的虚线部分1001不能描车在图象上，此外，通过如1002那样看重显示相撞部位，就能使驾驶者的注意力集中在相撞部位。
这样，采用本发明的第3实施形态，通过不在自己车辆周围的障碍物上描画轨迹线，能防止在本来就不能前进的进路上描画轨迹这种不自然现象的发生。能描画出对周围的状况更易理解的轨迹线。
此外，在预测出自己车辆将和障碍物相撞时，通过着重显示相撞部位，也能引起驾驶者的注意。
(第4实施形态)图14为表示第4实施形态的图象合成装置构成的方框图。在该图中，与图7相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图象合成装置为在图7的图象合成装置上加了多画面生成装置1101，其它的构成要素具有和图7的装置同样的构成。但摄像装置101，为取得多画面生成用的图象，装在车辆的后部及两侧。
图15为表示装在车辆后部的摄像机、以装在车辆两侧的摄像机摄得的图象为基础由图14的图象合成装置所得的合成图象、及车辆轨迹线的附图。
用2/3左右的显示区域显示装在车辆后部的摄像机拍摄的图象，用余下的1/3左右区域显示装车辆两侧摄像机拍摄到的图象。面对于各画面，描画自己车辆的后方的轨迹线1201。另外，在朝看自己车辆侧面的摄像机的图象上也能描画自己车辆的前方角部的轨迹1202。在此，通过以相同的颜色显示在不同的画面间表示相同位置的轨迹线或自己车辆的边框，即使在不同的画面上，也能方便地取得自己车辆在相同位置的轨迹的对应。
这样，采用本发明的第4实施形态，因为将自己车辆后方的轨迹描在从两个以上的不同位置摄像机摄得的图象上，所以容易理解轨迹线的三维位置，并容易判定与周围障碍物的接触。
此外，通过以相同的颜色显示在不同的画面间表示相同位置的轨迹线或自己车辆的边框，即使不同的画面也能取得自己车辆在相同位置的轨迹的对应。
而且，也能使图14的装置具有让自己车辆的边框1203随着时间移动的功能。
(第5实施形态)图16为表示第5实施形态的图象合成装置构成的方框图。在该图中，与图1相同的构成要素或对应的构成要素注上与图1相同的的标号。
该图象合成装置在图1的图象合成装置上增加多画面生成装置1101，再将轨迹线生成装置103置换成辅助线生成装置1301、将车辆轨迹线描画装置104置换成辅助线描画装置1302，其它的构成要素具有和图1的装置相同的构成。
辅助线生成装置1301为在合成图象上例如生成自己车后10m和20m的位置导线的装置。而辅助线描画装置1302将由辅助线生成装置1301输出的辅助线重迭描画在由多画面生成装置1101所得的合成图象上。
图17为由图16的图象合成装置所得的合成图象。在此，表示自己车后10m的辅助线1401及辅助线1402就容易把握与从后方接近的车辆的距离。另外，也能如垂直投影在路面上的辅助线1403那样描车自己车辆后端的线。其特征在于靠辅助线1403能很容易地判断想要超越自己车辆的其它车辆是在自己车的车尾后行驶、还是在自己车的侧面行驶，在变道时能方便地确认侧面车辆。再有，也能显示表示辅助线1401、1402、1403上的一般车辆车宽的辅助线1404。由此，从后面接近的车辆靠近某一刻度线，若该车的宽度变得大致和辅助线1403相同，就可知该车正在该辅助线附近行驶。
这样，根据本发明的第5实施形态，通过在合成车象上引距离的大致标准的辅助线，诸如在行驶时驾驶者就会容易地把握与从的玟接近的车辆的距离。
另外，通过在自己车辆的侧面摄到的图象或前述图象的合成图象上生成表示自己车辆后端位置的辅助线，就能容易了解侧面车辆的车头是在自己车尾的后面还是前面，在变道等时候相当有效。
还有，在这些辅助线上，通过描画表示一般车辆的辅助线，也能使把握与周围车辆的车距更加容易。
(第6实施形态)图18为表示第6实施形态的图象合成。显示装置构成的方框图。该图象合成，显示装置由装在汽车上的第1摄像单元1501及第2摄像单元1502、图象变换、合成单元1503、描画单元1504、存储器1505及第2摄像单元1502与图1的摄像装置101对应，图象变换合成单元1503与视点变换图象全成装置102对应。
第1摄像单元1501及第2摄像单元1502拍摄车辆的后面。第1摄像单元1501及第2摄像单元1502取得的图象在图象变换、合成单元1503变换成象是从虚拟视点拍摄到的图象。描画单元1504根据存在存储器1505中的数据，描画应重迭在输出图象上的插图、辅助线。该描画单元1504描画过的图象在显示单元1506上显示。并且，在图18假设摄像单元为2台，只要图象变换、合成单元1503能对应几台也无发妨。如图19所示第1摄像单元1501及第2摄像单元1502安装在自己车辆204的尾部使得自己车辆204的保险杠及车尾的部份车体收缩在其视野内。
对于如上构成的图象合成、显示装置利用图20说明其画面构成。该图为一作过变换图象的示例，恰似将摄像涪设置在车后离地2m的上方一样。
图中表示自己车辆204、位于后方的第1辆其它车辆205、位于后侧方的第2辆其它车辆206、及道路路面1701。打斜杠的部分1702为摄像单元视野外的路面。
另外，速显示自己车辆后部的车号牌204A、保险杠204B、及停止车灯204C。再将辅助线1703重迭在保险杠的后端及车身的尾部位置上着重显示自己车辆的尾部，这时向上实际的车尾更外的外侧引辅助线，并将辅助线加粗，也能减少相碰的危险。
另外，在仅离保险杠204B的后端一定距离处引一根与保险杠204B水平的反光镜确认线1704。该反光镜确认线1704为将显示图象分离成和自己车辆相同区域的危险区域、和自己车辆不同区域的安全区域的辅助线，靠反光镜具有促使驾驶者确认与周围物体相撞的功能。总之，在行驶中显示在车辆周围的物体与已接触到该反光镜确认线1704时通过确认反光镜，驾驶者就能以最佳的时机确认与周围物体相撞之可能性。并且，反光镜确认线1704与可为从图象中映出的车身的尾部及保险杠的后端向仅离开一定距离的外侧引线、也可如要围位车辆尾部那样的曲线。
这样，采用本发明的第6实施形态，设置摄像单元便利自己车辆的保险杠及后面车体的一部分收缩在其视野内，通过包括自己车辆在内视点变换、合成，就能容易地作出自己车辆的车辆周围立体物体的接触判定。
另外将辅助线重迭在保险杠的后端及自己车辆的尾部位置上，通过提供着重显示这些位置的图象，能容易判别自己车辆的尾部，接触壑变得更加容易。
再有，通过提示显示在仅距自己车辆保险杠一定距离的后面和保险杠水平的反光镜确认线的图象，从而能根据最佳的时机促使驾驶者依靠反光镜对周围作安全确认。
(第7实施形态)第7实施形态的图象合成、显示装置和图18相同。图21为第7实施形态的画面构成图。
在图21显示自己车辆的三维插图1801。该图1801生成得宛如变换民从设置在车后离地2m处上方的虚拟点见到的图象，重迭在显示图象中相当于自己车辆的区域。
此外，辅助线1802表示保险杠区域。在该区域也可显示将摄像单元实际摄到的图象作过变换的图象。由此，能给予驾驶者正在看实际的图象的放心感觉。这时，通过将保险杠区域的插图画得此实际的车辆位置更大，也能降低接触的危险性。
再有，辅助线1803为在自己车辆直线后退时，表示其车身一端通过的位置投影在路面上的位置在路面上的通过轨迹。另外，辅助线1804为自己车辆在直线后退时表示保险杠通过位置的保险杠通过轨迹。而辅助线1805A～C为从自己的车辆有一定距离的路面上通过轨迹上的点及保险杠通过轨迹上的点相连的立体辅助线。而且不仅是自己车辆的保险端，也可显示特有与自己车辆不同高度的保险杠、与适当的其它车辆保险杠高度相当的自己车辆车身一端的通过轨迹。
这样，采用本发明的第7实施形态，通过将自己车辆恰似由实际设置的摄像单元拍摄并变换、合成后的三维图形重迭在显示图象上提供立体显示自己车辆的图象，从而能立体地抓住自己的车辆，容易立体地掌握自己车辆和车辆周围立体物体间位置关系，其结果，使接触判定变得容易。
另外，通过将实摄图象变换、合成的图象显示在与插图和保险杠相当的区域上，能给予驾驶者看到实际图象的放心感觉。
再有，在自己车辆倒车时，通过提示表示车身一端通过的位置投影在路面上位置的路面通过轨迹、及表示保险杠端通过位置的保险杠端通过轨迹、以及它们相联显示产生立体感的立体辅助线的图象，能立体地方便地把握两根通过轨迹的位置关系。
(第8实施形态)第8实施形态的图象合成、显示装置的构成和图18相同。图22为第8实施形态的画面构成图。
图22中，插图1901为以轮廓形式表现自己车辆同时也表现轮胎的三维插图，能确认自己车辆的轮胎与路面接触的位置。该插图1901生成得恰似从设置在车后离2m左右上方的虚拟视点见到的图象，重迭在显示图象上相当于自己车辆的区域。还有，自己车辆也可用线条框形式表现。
此外，辅助线1902表示保险框区域，在该区域也可显示由摄像单元实际摄到的图象经变换后的图象。而且，辅助线1903表示从插图1901内的轮胎引出的路面通过轨迹，由此，能直感地容易领会路面上通过轨迹的意义。
这样，根据本发明的第8实施形态，以轮廓或线条框形式表现自己车辆的插图，通过提示明白地显示出轮胎位置的图象，能更加强自己车辆立体感之同时，因为能直感地理解路面上轮胎的位置，所以就能易于三维地掌握自己车辆和车辆周围的立体物体间位置关系恰似变换成从设置在车后离地2m左右上方的虚拟视点见到的图象一般，接触判定变得容易。
(第9实施形态)
第9实施形态的图象合成、显示装置的构成和图18相同。图23为第9实施形态的画面构成图。
在图23，第1墙面2001为在自己车辆的后端位置、同路面垂直与停放的车辆宽度相同的墙面的插图。该墙面2001生成得恰似变换成从设置在车后离地2m左右的虚拟视点上见到的图象一般，重迭在与显示图象的自己车辆后端位置相当的区域上。另外，第2的墙面2202为和置在比第1的墙面2001更靠近自己车辆的内侧、与自己车辆宽度相同的墙面的插图。第2的墙面2002和第1的墙面2001生成方法相同，重迭在显示图象内适当的位置上。在此，第2的墙面2002可以描绘成能见到与路面接触之处。
还有，也能在第1的墙面2001上描绘车辆后部那样的插图、在第2的墙面2002，与路面接触的部分上描绘轮胎的插图。
这样，采用本发明的第9实施形态，通过将自己车辆的后端位置，以及此该位置更靠自己车辆的内侧，和路面垂直与停放的自己车辆宽度相同宽度的两块墙面的插图重迭在显示图象上，提示以立体物体不劳而获芘哈表示自己车辆的图象，由于能立体地抓住自己的车辆，所以就易于三维玫车辆周围的立体物体间位置关系，接触判定变得容易。
(第10实施形态)图24为表示第10实施形态图象合成、显示装置构成的方框图，在该图中，和图18相同构成要素或对应的构成要素注上与图18相同的的标号。
在图24，轨迹运算单元2101根据外部输入的自己车辆方向盘的转向角信号，算出保持现有转向角不变倒车时自己车辆通过的轨迹。描画单元1504根据存在存储器1505的数据以及从轨迹运算单元2101输入的自己车辆的通过预测轨迹，在输出图象上描画须重迭的插图、辅助线等。
第10实施形态画面的构成为如图9的辅助线601、602那样根据转向角将图21画面中辅助线1803、1804、1805A～C弯曲面成。
这样，采用本发明的第10实施形态，通过提示自己车辆转向角表示自己车辆车身的一端通过的位置投影在路面上的位置的路面上通过轨迹、表示自己车辆的保险杠端通过位置的保险框端通过轨端、及显示将这此迹连接产生出立体感的立体辅助线的图象，在例车时，根据自己车辆的转向角就能立体显示实际的通过预测轨迹并易于掌握。驾驶者将显示画面作为参考，就能最佳地操纵方向盘。
再者，将这些辅助线和在第6～9实施形态(图20～23)表示的自己车辆的实际画面或插图同时显示，将路面上通过的轨迹显示成轮胎的痕迹，也可将保险杠端通过轨迹与自己车辆的实际画面或插图的保险杠端相连而显示，在显示适当的高度的车身一端的通过轨迹时，与相当于该高度的自己车辆位置相连。
另外，也可以轮廓或线条框形式显示自己车辆。这时，使路面上通过轨迹1903做成从插图内的轮胎上引出。由此，能直感地容易领会路面上通过轨迹的意义。
再有，通过将这些辅助线与自己车辆的实际画面或插图同时显示、将路面上通过轨迹显示成轮胎的痕迹、将保险杠端通过轨迹与自己车辆的实际画面或插图连接而显示，能直感地容易掌握而两根通过轨迹和自己车辆间关系。
此外，通过同时也显示反光镜确认线，驾驶者能直感地掌握好在最佳的时机并要确认哪一边。
(第11实施形态)第11实施形态的图象合成、显示装置的构成和图18相同。图25为第11实施形态的车面构成图。以下，假设自己车辆为轿车来说明之。
在图25，辅助线2201表示自己车辆笔直倒车时，自己车辆车身一端通过的位置投影在路面上位置的路面上通过轨迹。辅助线2202表示自己车辆笔直倒车时保险杠端通过位置的保杠端通过轨迹。辅助线2203表示自己车辆笔直倒车时保险杠位置与此自己车辆保险杠位置还要高的SUV等的保险杠位置相当的自己车辆车体一端通过位置的通过轨迹线。插图2204A～C为模仿自己车辆后部的车体面的插图，在自己车辆的车体后部位于各个位置时将实际摄在图象上的样子作为插图表示。还有，作为插图表示的高度假设和辅助线2203一样高，也可不一定一样高，辅助线2203的高度亦可任意定。
这样，根据本发明第11实施形态，通过同时显示笔直倒车时自己车辆的路面通过轨迹、自己车辆保险杠端通过轨迹、SUV等的保险杠端通过轨迹、同时显示模仿自己车辆的车体的插图，能直感地掌握自己车辆行进方向和自己车辆周围存在的物体间位置关系。
再者，如第7～第8实施形态，与自己车辆的插图组合，移动该插图或在画面上组合变形将自己车辆后部车体面作为模仿的插图使用，通过将路面上通过轨迹显示成轮胎痕迹，该构成能更直感地掌握自己车辆的行进方向和自己车辆周围存在物体间位置关系。
另外，也能同时显示第6实施形态中反光镜确认线，也能如第10实施形态那样根据自己车辆转向角，移动这些辅助线，显示实际倒车时通过的轨迹。还有，只正确地显示辅助线位置，模仿自己车辆后部的插图也可以预定的几种中选出重迭在适当位置上。
(第12实施形态)第12实施形态的图象合成、显示装置的构成和图18相同。图26为第12实施形态画面构成图。以下将自己车辆作为轿车说明之。
在图26，辅助线2301为表示自己车辆直线倒车时车身端通过的益投影在路面上位置直线倒车时保险杠下面的一端通过位置的保险杠下面端通过轨迹。辅助线2303为表示睦线倒车时保险杠上面的一端通过位置的保险杠上面端通过轨迹。插图2304A～C为模仿保险杠的插图，在各个位置上只有保险杠时将作为图象实际显示的样子当作插图来表示。
这样，采用本发明的第12实施形态，通过同时显示自己车辆直线倒车时的呼面通过轨迹、保险杠上面端通过轨迹、保险杠下面端通过轨迹、及模仿自己车辆保险杠的插图，能直感地掌握自己车辆的行进方向和自己车辆周围存在的物体间位置关系。
还有，如第7～第8实施形态，通过与自己车辆的插图组合，移动该插图或在车丰组合变形将自己车辆的的车体而作为模仿的插图使用，将路面上通过轨迹显示成轮胎的痕迹，该构成能更直感地掌握自己车的行进方向和自己车周围存在的物体间位置关系。
此外，同时也显示第6实施形态中的反光镜确认线，也能如实施形态10，根据自己车辆的转向角，移动这些辅助线，显示实际例车时通过的轨迹。
(第13实施形态)图27为本发明第13实施形态的图象合成、显示装置的方框图。该实施形态包括在前述实施诉说明中图内未予示出的显示装置。即，如图27所7示，设置接受车辆轨迹描画装置104的输出信号即显示数据并变换成规定形式信号的显示数据变换控制装置80、及接受显示数据变换控制装置80所得的显示数据在画面上显示的显示装置81。该显示装置81让车辆的后视镜等具有显示功能，能成为带显示功能的反光镜。
依靠这种构成，通过将图象在带显示功能的反光镜上显示，就能使操纵者容易地认识周围状况、自己车的位置。还有，作为带显示功能的反光镜的反光镜构成可为在液晶或有机电致发光(ELElectro-Luminescence)等显示装置81的显示单元表面上重叠半透明反光镜的形式，该液晶或有机EL部份可以由整体是一个显示单元，或是多个显示单元的集合体，至少是一个显示单元构成。
再有，这种构成的反光镜能切换到作为通常的反光镜工作的状态和作为图象显示画面工作的状态。该切换支作能根据车内的照度传感器一到晚上自动地切换到图象显示状态。另外还可以做成与驾驶者打开车头灯动作一致来切换，再有在雨水粘糊后窗时，或冬季积雪结冰看不清后方时，也可和接通后窗加热线开关等同时切换到图象显示状态，还能让与传动装置联动，只有在传动装置向后时切换成图象显示状态。
这样，因为能将反光镜整个面切换成通常的反光镜状态和图象显示状态，操纵者能在宽大的显示面上容易掌握汽车后面的状况安全行驶。
也能用其它构成的反光镜取代上述构成的反光镜，有将通常的反光镜和液晶或有机EL等显示单元一并设置的。这种其它的反光镜在通常的反光镜部分能大致掌握后方的状况，而一并设置的显示单元能扩大显示通常显示单元上死角的部分，能将需特别注意的对象部分扩大并显示。再者，这些显示装置81并不限于反光镜，也可是设置在车辆挡泥板上的显示单元、联接导航系统的显示器、携带式信息终端或抬头显示器。
(第14实施形态)图28为本发明第14实施形态的图象取得、警告装置的方框图。该实施形态上在前述第13实施形态的基础上增加设置了装在车辆后部的探测装置82，和与探测装置82的输出信号响应的警告装置83。探测装置82探测向着作为被连接车辆的连接对象部的野营车等车辆的异常接近，至于异常接近与否，在车辆与连接对象部间的距离小于预先规定的距离时，能判断为异常接近。
根据这样的构成，作为探测装置82利用接近传感器探测连接对象物即野营车的接近，在图象上不断确认接近状态，在汽车和野营车上互相配对的车箱连接器(挂钩)间的距离接近第1规定的距离、例如1m以内时和进一步接近第2规定的距离、例如50cm时，能以各自的报警装置83即扬声器发出警告操纵者的警报声。警报声可以有不同的声音。这样在挂车箱连接器(挂钩)时，能在图象上不断确认连接作业，根据其接近状态(根据连接作业在任意设定的距离上)恰当地发出警告，能安全可靠地进行连接作业。
还有，警告装置83使用扬声器，但并不限于此，通过如图28的虚线所示地连接、发送警告信号在图象的显示装置上显示警告用符号图象、闪烁图象等为了引起注意还可再加上适当的色彩。再有，发出警告信息的条件利用警告信号发生条件设定装置87能根据连接对象物的大小、重量、速度等任意设定。
也可为摄像装置安装在车箱连接器(挂钩)上，最后确认连接结束状态的构成。
此外，探测装置82可为超声波、电磁、光学(包括红外线)等，也可为从图象上算出直接距离发出警告的方式。
还有，将连接对象物当作野营车、当然也可以为装着游艇的拖车等其它的东西。
(第15实施形态)图29为本发明第15实施形态自己车位置辩认装置的方框图。该实施形态，在前述第1～第12实施形态的基础上增加通过处理车辆后方的图象，检测出任意对象物图象，辩认检测出的图象和车辆图象的位置关系，将辩认出的位置关系和预先设定的位置关系作比较就能检测出两者之间的偏移量。即，第15实施形态的自己车位置辩认装置具有图象检测装置84，检测由摄像装置101具有的后方摄像装置摄得的图象或来自由第1～第12实施形态的图象合成装置全成的图象的任意对象物图象、辩认装置85，辩认由图象检测装置84检测出的检测图象和车辆图象的位置、比较装置86，由辩认装置辩认的位置关系和预先设定的位置关系相比较，从这些位置关系检测出两者的偏移量。作为后方摄影装置，能使用设置在车辆后方的摄像机，由此，拍摄表示车辆后方停车空间的路面上的白线。图象检测装置84从由后方摄像装置摄得的图象、或投影在园筒面和球面组合成的三维投影模型上的图象、或由图象合成的图象检测出表示停车空间的白线。辩认装置85从图象数据运算检测出的白线和自己车的图象的位置关系并加以辩认。比较装置86将由辩认装置85辩认出的实际位置关系和自己车图象中心位于划定停车窨的左右白线中央的预先设定好的位置关系相比较，从这些位置关系检测两者间的偏移量。还能做成这样的构成，该偏移量异常尺时，若原样地向后倒车，车辆就无法停在左右白线内，于是发出警报。
利用该构成，驾驶者在图象上不断确认停车窨的白线向后倒车，能容易地掌握好使自己车和停车窨的位置关系和后方周围的位置关系一致，能更安全地行驶。
如上所述，本发明通过在来自虚拟视点的模拟图象上重迭适当的插图、辅助线、轨迹线等，驾驶者能直感地掌握自己车辆和周围立体物间三维的位置关系，其结果是能提供容易地作出恰当的接触判定、具有显著效果的图象合成装置。
权利要求
1.一种图象合成装置，其特征在于，包括装在车辆上的摄像装置，由所述摄像装置摄得的图象作视点变换合成图象的视点变换图象合成装置，所述车辆任意高度的轨迹线或垂直线中至少生成其一的车辆轨迹线生成装置，和将由所述车辆轨迹所生成装置生成的轨迹线描画在由所述视点变换图象合成装置合成的图象上的车辆轨迹线描画装置。
2.如权利要求1所述的图象合成装置，其特征在于，所述车辆轨迹线生成装置由三维轨迹线生成装置、道路路面投影装置、和合成图象投影装置构成。
3.如权利要求1所述的图象合成装置，其特征在于，所述车辆轨迹线生成装置生成所述车辆一直前进时的轨迹线。
4.如权利要求1所述的图象合成装置，其特征在于，包括输出所述车辆方向盘转向角的转向角信息输出装置，所述车辆轨迹线生成装置生成与所述转向角信息输出装置输出的转向角信息对应的轨迹线。
5.如权利要求1所述的图象合成装置，其特征在于，通过用直线或曲线插入所述车辆路面上的轨迹线和任意高度轨迹线之间，在所述合成图象上描图垂直于所述路面的线。
6.如权利要求1所述的图象合成装置，其特征在于，将所述车辆保险杠端的轨迹线或车高的轨迹线描画在所述合成图象上。
7.根据权利要求1所述的图象合成装置，其特征在于，根据离所述车辆的距离改变所述轨迹线颜色、粗细来描画。
8.如权利要求4所述的图象合成装置，其特征在于，将所述车辆的立体图象从所述车辆的后端离去似地沿着所述轨迹线、随着时间移动的线条描画在所述合成图象上。
9.如权利要求4所述的图象合成装置，其特征在于，将所述车辆的立体图象要从所述车辆后端离去似地沿着所述轨迹线着时间移动的图形描画在所述合成图象上。
10.如权利要求4所述的图象合成装置，其特征在于，所述车辆轨迹线生成装置由三维形状存储装置、三维轨迹区域生成装置、道路路面投影装置、及合成图象投影装置构成。
11.如权利要求10所述的图象合成装置，其特征在于，所述三维形状存储装置存储所述车辆的形状。
12.如权利要求10所述的图象合成装置，其特征在于，所述三维形状存储装置存储内接所述车辆的长方形形状。
13.如权利要求10所述的图象合成装置，其特征在于，所述三维形状存储装置存储所述车辆车轮的形状。
14.如权利要求10所述的图象合成装置，其特征在于，所述三维形状存储装置存储所述车辆保险杠的形状。
15.如权利要求4所述的图象合成装置，其特征在于，包括探测所述车辆周围存在的障碍物，预测所述障碍物与所述车辆相撞可能性的障碍物相撞预测装置。
16.如权利要求15所述的图象合成装置，其特征在于，所述车辆轨迹线描画装置，在靠所述障碍物相撞预测装置预测所述车辆将和所述障碍物相撞时，不描画相撞处之前的所述车辆轨迹线。
17.如权利要求15所述的图象合成装置，其特征在于，所述车辆轨迹线描画装置在靠所述障碍物相撞预测装置预测所述车辆将和所述障碍物相撞时，着重显示相撞部位。
18.如权利要求4所述的图象合成装置，其特征在于，将由所述视点变换图象合成装置合成的图象分割成多画面显示的多画面生成装置。
19.如权利要求18所述的图象合成装置，其特征在于，所述车辆轨迹线描画装置将车辆轨迹描画在由所述多画面生成装置生成的画面上。
20.如权利要求18所述的图象合成装置，其特征在于，所述摄像装置具有拍摄所述车辆后面的和拍摄所述车辆侧面的装置。
21.如权利要求18所述的图象合成装置，其特征在于，所述车辆轨迹线描画装置将所述车辆后端的轨迹线描画在拍摄所述车辆侧面的图象或所述图象作过变换的图象上。
22.如权利要求19所述的图象合成装置，其特征在于，所述车辆轨迹线描画装置在多幅画面上描画所述轨迹线时，在不同画面间用相同颜色描画表示相同位置的轨迹线或车辆外框。
23.一种图象合成装置，其特征在于，包括装在车辆上的摄像装置，将由所述摄像装置摄得的图象作视点变合成图象的视点变换图象合成装置，生成来自所述车辆任意位置的辅助线的辅助线生成装置，和将由所述辅助线生成装置生成的辅助线描画在由前述视点变换图象合成装置合成的合成图象上的辅助线描画装置。
24.如权利要求23所述的图象合成装置，其特征在于，包括将由所述视点变换图象合成装置合成的图象作多画面分割显示的多画面生成装置，所述辅助线描画装置将生成的辅助线描图在由所述多画面生成装置生成的各画面上。
25.如权利要求23所述的图象合成装置，其特征在于，所述辅助线生成装置生成表示所述车辆后端位置的辅助线。
26.如权利要求23所述的图象合成装置，其特征在于，所述辅助线生成装置生成表示离所述车辆后端一定距离的辅助线。
27.如权利要求23所述的图象合成装置，其特征在于，所述辅助线生成装置生成表示一般车辆车宽的辅助线。
28.一种图象合成装置，其特征在于，包括装在车辆上并设置成要将所述车辆的后部收纳在视野内的摄影装置，对包括由所述摄影装置拍摄的所述车辆的图象在内的图象作视点变换合成图象的视点变换图象合成装置，存储预定数据的存储装置，和将规定的辅助数据根据从所述存储装置读出的数据重迭在由所述视点变换图象合成装置合成的图象上的描画装置。
29.如权利要求28所述的图象合成装置，其特征在于，辅助线重迭在所述车辆的尾部，提示重点显示该位置的图象。
30.如权利要求28所述的图象合成的装置，其特征在于，提示以三维插图形式显示的图象，该三维插图由实际设置的摄像单元拍摄所述车辆并变换合成。
31.如权利要求28所述的图象合成装置，其特征在于，以轮廓或线条框形式表现所述车辆，提示明白地显示轮胎位置的图象。
32.如权利要求31所述的图象合成装置，其特征在于，提示所述摄像装置的实摄图象变形、合成在与插图的保险杠相当的区域上的图象。
33.如权利要求28所述的图象合成装置，其特征在于，将在所述车辆的后端位置及较该位置更靠所述车辆的内侧上与道路路面垂直设置、和所述车辆宽度相同的两块墙面的插图重迭在显示图象上，提示以立体物体形式比喻的手法表现所述车辆的图象。
34.如权利要求28所述的图象合成装置，其特征在于，提示显示在只离所述车辆杠后端一定距离的后方上和所述保险杠水平的反光镜确认线的图象。
35.如权利要求28所述的图象合成装置，其特征在于，提示在所述车辆倒车时，表示所述车辆车身的一端通过位置投影在路面上的，位置的路面上通过轨迹、以及表示所述车辆保险杠端通过位置的保险杠端通过轨迹及将它们连接显示产生立体感的立体辅助线的图象。
36.如权利要求35所述的图象合成装置，其特征在于，提示将所述路面上的通过轨迹显示成轮胎的痕迹，保险杠端通过轨迹与所述车辆的实际图象或插图的保险杠相连显示的图象。
37.如权利要求35所述的图象合成装置，其特征在于，提示将所述路面上通过轨迹从插图内注明的轮胎上引出来显示的图象。
38.如权利要求37所述的图象合成装置，其特征在于，提示在只离所述车辆保险杠后端一定距离的后方显示与所述保险杠水平的反光镜确认线的图象。
39.如权利要求35所述的图象合成装置，其特征在于，设置从外部输入的转向角信号计算预测轨迹的轨迹运算单元，提示显示与所述车辆转向角对应的路面上通过轨迹、以及与所述车辆转向角对应的保险杠端通过轨迹、以及将它们连接生成立体感的立体辅助线的图象。
40.如权利要求28所述的图象合成装置，其特征在于，在所述车辆倒车时，提示能同时显示路面上通过轨迹、保险杠端通过轨迹、表示所述车辆车体的适当高度部分通过位置的通过轨迹、以及模仿自己车辆后部的插图的图象。
41.如权利要求40所述的图象合成装置，其特征在于，将路面上通过轨迹显示成轮胎的痕迹，提示所述保险杠端通过轨迹与实际图象或插图的保险杠端连接而显示的图象。
42.如权利要求40所述的图象合成装置，其特征在于，提示从插图内注明的轮胎处引出所述路面上通过轨迹面显示的图象。
43.如权利要求42所述的图象合成装置，其特征在于，提示显示在仅离所述车辆保险杠后端一定距离的后方和前端保险杠水平的反光镜确认线的图象。
44.如权利要求40所述的图象合成装置，其特征在于，设置从外部输入的转向角信号算出预测轨迹的轨迹运算单元，提示同时显示与所述车辆转向角对应的路面上通过轨迹、与所述车辆的转向角对应的所述保险杠端通过轨迹、表示所述车辆车体的适当高度的部分通过位置的通过轨迹、及模仿所述车辆后部的插图的图象。
45.如权利要求28所述的图象合成装置，其特征在于，在所述车辆倒车时，提示同时显示路面上通过轨迹、表示所述车辆保险杠上面一端通过位置的保险杠上面通过轨迹、表示所述车辆保险杠下面一端通过位置的保险杠下面通过轨迹、及模仿所述车辆后部的插图的图象。
46.如权利要求45所述的图象合成装置，其特征在于，提示将所述路面上通过轨迹显示成轮胎的痕迹，将保险杠端通过轨迹和图象的实际图象或插图的保险杠端连接显示的图象。
47.如权利要求45所述的图象合成装置，其特征在于，提示将所述路面上通过轨迹从插图内注明的轮胎处引出来显示的图象。
48.如权利要求47所述的图象合成装置，其特征在于，提示显示在仅离所述车辆保险杠的后端一定距离的后方与所述保险杠水平的反光镜确认线的图象。
49.如权利要求45所述的图象合成装置，其特征在于，设置从外部输入的转向角信号算出预测轨迹的轨迹运算单元，提示同时显示与所述车辆转向角对应的所述路面上通过轨迹、与所述车辆转向角对应的所述保险杠上面通过轨迹、与所述车辆转向角对应的所述保险杠下面通过轨迹、及模仿所述车辆保险杠的插图的图象。
50.一种图象合成显示装置，其特征在于，包括图象合成装置，包括装在车辆上的摄像装置、对所述摄像装置摄得的图象作视点变换合成图象的视点变换图象合成装置、所述车辆任意高度的轨迹线或垂直线中至少生成一方的车辆轨迹线生成装置、将由所述车辆轨迹线生成装置生成的轨迹线描画在由所述视点变换图象合成装置合成的图象上的车辆轨迹描画装置，显示装置，显示由所述图象合成装置合成的图象，和显示数据变换装置，将须显示的所述图象变换与与所述显示装置相适应的数据。
51.一种图象合成显示装置，其特征在于，包括图象合成装置，包括装在车辆上的摄像装置、对所述摄像装置摄得的图象作视点变换合成图象的视点变换图象合成装置、从所述车辆生成任意位置辅助线的辅助线生成装置、将由所述辅助线生成装置生成的辅助线描画在由所述视点变换图象合成装置合成的图象上的辅助线描画装置，显示装置，显示由所述图象合成装置合成的图象，和显示数据变换装置，将须显示的所述图象变换成与所述显示装置相适应的数据。
52.一种图象合成显示装置，其特征在于，包括图象合成装置，包括装在车辆上并设置成要将所述车辆的后部收纳在视野内似的摄像装置、对包括所述摄像装置摄得的图象在内的图象作视点变换合成图象的视点变换图象合成装置、存储预定数据的存储装置、及根据从所述存储装置读出的数据将规定的辅助数据重迭在由所述视点变换图象合成装置合成的图象上的描画装置，显示装置，显示由所述图象合成装置合成的图象，和显示数据变换装置，将须显示的所述图象变换成与所述显示装置相适应的数据。
53.一种图象取得警告装置，其特征在于，包括探测装置，探测接近连接车辆的连接对象物的状况，图象合成装置，包括装在所述车辆和/或所述连接对象物上的摄像装置，由所述摄像装置对摄得的图象作视点变换合成图象的视点变换图象合成装置，所述车辆任意高度的轨迹线或垂直线中至少生成其一的车辆轨迹线生成装置，将由所述车辆轨迹线生成装置生成的轨迹线描画在由所述视点变换图象合成装置合成的图象上的车辆轨迹线描画装置，和警告装置，从由所述探测装置得到的所述接近状况和/或所述图象合成装置合成图象中的所述车辆和所述连接对象物的关系发出警告信号。
54.一种图象取得警告装置，其特征在于，包括探测装置，探测接近连接车辆的连接对象物的状况，图象合成装置，具备装在车辆上和/或所述连接对象物上的摄像、由所述摄像摄得的图象作视点变换图象合成的视点变换图象合成装置，从所述车辆生成任意位置的辅助线的辅助线生成装置，将由所述辅助线生成装置生成的辅助线描画在由所述视点变换图象合成装置合成的图象上的辅助线描画装置，和警告装置，从由所述探测装置得到的所述接近状况和/或由所述图象合成装置合成的图象中所述车辆和所述连接对象物的关系发出警告信号。
55.一种图象取得警告装置，其特征在于，包括探测装置，探测连接车辆的连接对象物的状况，图象合成装置，装在车辆和/或所述连接对象物上、设置成能将所述车辆的后部收纳在视野内的摄像装置，对包括由所述摄像装置拍摄的所述车辆的图象在内的图象作视点变换图象合成的视点变换图象合成装置，存储预定数据的存储装置，及根据从所述存储装置读出的数据将规定的辅助数据重迭在由所述视点变换图象合成装置合成的图象上的描画装置，和警告装置，从所述探测装置探得的所述接近状况和/和所述图象合成装置合成的图象中所述车辆与所述连接对象物的关系发出警告信号。
56.如权利要求53至55中任一项所述的图象取得警告装置，其特征在于，还包括警告信号发生条件设定装置，用于让使用者任意设定所述警告装置发出警告信号用的条件。
57.一种自己车位置辩认装置，其特征在于，还包括图象合成装置，具备装在车辆上包括拍摄所述车辆后方的后方摄像装置在内的多台摄像装置，对由所述摄像装置拍摄的图象作视点变换图象合成的视点变换图象合成装置、所述车辆任意高度的轨迹线或垂直线中至少生成其一的车辆轨迹线生成装置、及将所述车辆轨迹线生成装置生成的轨迹线描画在所述视点变换图象合成装置合成的图象上的车辆轨迹线描画装置，图象检测装置，从所述后方摄像装置摄的图象或所述图象合成装置合成的图象中检测出任意对象的图象，辩认装置，辩认所述图象检测装置检测出的图象和所述车辆的图象间的位置关系，和比较装置，将所述辩认装置辩认出的位置关系与预定的位置关系作比较，从这些位置关系检测出两者间的偏移量。
58.一种自己车位置辩认装置，其特征在于，包括图象合成装置，包括装在车上拍摄所述车辆后方的后方摄像装置在内的多台摄像装置、对所述摄像装置拍摄的图象作视点变换图象合成的视点变换图象合成装置，从所述车辆生成任意位置的辅助线的辅助线生成装置，及将所述辅助线生成装置生成的辅助线描画在所述视点变换图象合成装置合成的图象上的辅助线描画装置，图象检测装置，从所述后方摄像装置拍摄的图象或所述图象合成装置合成的图象中出任意对象物的图象，辩认装置，辩认由所述图象检测装置检测出的检测图象和所述车辆的图象间位置关系，和比较装置，将所述辩认装置辩认的所述位置关系和预定的位置关系作比较，从这些位置关系检测出两者间的偏移量。
59.一种自己车位置辩认装置，其特征在于，包括图象合成装置，具有装在车辆上胆述车辆后方的后方装置在内的多台摄像装置、设置成将所述车辆的后部收纳在视野内的摄像装置、对包括所述装置拍摄的图象作视点变换图象合成的视点变换图象合成装置、存储预定数据的存储装置、根据从前术础的数据将预定的辅助数据重迭在由所述视点变换图象合成装置合成的图象上的描画装置，图象检测装置，从所述后方摄像装置拍摄的图象或所述图象合成装置合成的图象中检测出任意对象物的图象，辩认装置，辩认所述图象检测装置检测出的检测图象和所述车辆的图象间位置关系，和比较装置，对所述辩认装置辩认出的所述位置关系和预定的位置关系进行比较，从这些位置关系中检测出偏移量。
全文摘要
本发明揭示一种图象合成装置,在变换成象在虚拟视点拍摄的图象上,通过将辅助图象重迭在监视器上显示,提示能很容易地从监视器图象类推靠近周围立体物体那样的图象。该图象合成装置包括装在车辆上的摄像装置101、对摄像装置101拍摄的图象作视点变换图象合成的视点变换图象合成装置102、生成车辆在直线行驶时车辆任意高度轨轨迹线的车辆直行轨迹线生成装置103、及将车辆直行轨迹线生成装置103生成的轨迹线描画在所述视点变换图象合成装置102合成的图象上的车辆轨迹线描画装置104。
文档编号G06T19/00GK1371079SQ0210307
公开日2002年9月25日 申请日期2002年2月8日 优先权日2001年2月9日
发明者饭田亮介, 水泽和史, 三轮道雄 申请人:松下电器产业株式会社