专利名称：周边监视装置和周边监视方法
技术领域：
本发明涉及使用由摄像机摄像的图像来生成周边图像的周边监视装置。
背景技术：
以往，有采用图像合成技术的周边监视装置，即，对由摄像机摄像的图像进行变形加工，并生成如同从假设的观测点摄像的合成图像或将由多个摄像机摄像的图像接合的合成图像。
作为这样的周边监视装置的例子，公开了以下的周边监视装置通过多台摄像机对车辆周边进行摄像，对摄像的图像进行变形加工，来合成从上方观测本车辆周边的图像(例如，参照专利文献1～3)。
图1是表示专利文献2中记载的以往的周边监视装置的构成图和合成图像的例子。在图1(a)所示的以往的周边监视装置中，图像存储器7-1～7-8暂时存储由摄像机摄像的摄像图像，利用地址计数器13-1、垂直地址查找表(LUT)13-2、水平地址LUT13-3、存储器选择器用LUT13-4的组合，生成与合成图像的各像素对应的摄像图像的图像坐标，即图像存储器中的地址，并通过存储器选择器13-5读出图像存储器的图像。使用这种周边监视装置时，可以从多个摄像机摄像的图像中，生成图1(b)那样如同从车辆的上方摄像的合成图像。在使用这样的周边监视装置观测车辆周边的情况下，由于可以在画面上确认从驾驶座位不能直接看到的死角区域，所以具有防止与周边物的碰撞、容易地进行驾驶操作的优点。特别是由上述查找表而构成的周边监视装置预先计算摄像图像和合成图像的坐标的对应关系并存储在查找表中，可以通过在执行时参照查找表来将图像合成，所以具有执行时的计算负荷小的优点。
但是，在上述以往的结构中，在以设计上的摄像机安装位置为基准形成了查找表后，在摄像机对车辆的安装位置上产生了与设计值的误差的情况下，或者在以摄像机安装后所测量的摄像机位置为基准形成了查找表后，摄像机对车辆的安装位置或车辆的姿态发生变动的情况下，会被输入摄像机位置(也包含方向)与查找表形成时的摄像机位置相比偏移了的摄像图像。其结果，合成图像中的路面或其他车辆等的周边物的位置相对查找表形成时的合成图像，产生了位置偏移，或者如合成图像的摄像机间的接合部分变得不连续等，存在如上所述的合成图像失真的课题。特别是在周边物的位置发生偏移的合成图像上，在重叠了作为本车辆的位置或距离的基准的图形的情况下，因有误解周边物和本车辆的位置关系的可能性，所以是不希望看到的。为了以后的说明，将查找表形成时的摄像机位置称为“基准摄像机位置”，将根据基准摄像机位置生成的查找表等图像合成参数称为“基准图像合成参数”，将使用基准摄像机位置上的摄像图像和基准图像合成参数所合成的图像称为“基准合成图像”。
作为对这样的摄像机的位置偏移造成的合成图像的失真进行校正的方法，已知有对摄像机安装后的摄像机的位置或内部参数等进行测量的所谓的摄像机校准方法(例如，参照非专利文献1)。
即使在摄像机的安装位置产生变动的情况下，通过使用这种摄像机校准方法来测量摄像机的安装位置，并对查找表进行再计算，也可以合成几乎不存在与基准合成图像之间的位置偏移的合成图像。
专利文献1日本特开昭58-110334号公报专利文献2日本特开平11-78692号公报专利文献3日本专利第3286306号公报非专利文献1“An Efficient and Accurate Camera calibrationTechnique for 3D M achine Vision”，Roger Y.Tsai，Proceedings ofIEEE Conference on Computer Vision and Pattern Recognition，MiamiBeach，FL，1986，pages 364-374但是，为了摄像机校准，除了需要大小已知的被摄体以外，还有用于计算摄像机位置的计算或用于查找表的再计算的计算负荷大的其他课题。
例如，在车辆的组装工厂中将摄像机安装在车辆上时，即使是相同车型的车辆，也由于选择装备的有无所形成的车辆重量之差、或轮胎的尺寸的差异等，而使车高或车辆的倾角改变。因此，在同一车型中使用了共用的基准摄像机位置和查找表的情况下，即使摄像机如设计那样被安装在车辆上，摄像机相对周边物的位置也发生偏移。因此，由于必须利用例如摄像机校正等方法对每辆车调整偏移，所以在这种调整上需要时间。
此外，除了用传感器等测量车辆的姿态变动，还有所谓再计算查找表的其他方法，但同样存在计算负荷大的其他课题。特别是使用查找表构成的以往的周边监视装置，由于具有执行时的计算负荷小的优点，所以计算负荷由于校正而增大则损失了这种优点。
此外，作为校正摄像机的位置偏移造成的合成图像的失真的其他方法，有准备多个与摄像机的位置偏移量对应的查找表，在执行时从多个查找表中选择的方法，但存在用于存储查找表的存储量庞大的其他课题。而且，因校正的方法的不同，还存在合成图像中的误差变大的其他课题。
发明内容
因此，本发明是鉴于上述情况而完成的发明，其目的在于提供一种周边监视装置和周边监视方法，在相对查找表等用于图像合成的参数计算中使用的基准摄像机位置，发生了摄像机的位置偏移的情况下，可以降低随着摄像机的位置偏移而产生的显示图像上的失真。
为了实现上述目的，本发明的周边监视装置使用由摄像机摄像的摄像图像，来生成周边图像，其特征在于，包括位置偏移信息取得单元，取得与所述摄像机的位置变动有关的信息即位置偏移信息；坐标变换参数取得单元，根据由所述位置偏移信息取得单元取得的所述位置偏移信息，取得坐标变换参数，该坐标变换参数用于校正伴随所述位置变动的所述周边图像的失真；图像合成参数取得单元，取得基准图像合成参数，该基准图像合成参数包含图像坐标的信息，该图像坐标的信息用于使用所述摄像图像生成所述周边图像，表示与所述周边图像的各像素对应的所述摄像图像上的像素位置；坐标变换单元，使用由所述坐标变换参数取得单元取得的所述坐标变换参数，对由所述图像合成参数取得单元取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为变换图像合成参数输出；以及图像合成单元，对所述摄像图像使用所述变换图像合成参数，生成并输出所述周边图像。
根据本发明的周边监视装置和周边监视方法，即使在使用了有摄像机的位置偏移的摄像图像的情况下，也可以简单地降低随着摄像机的位置偏移而产生的周边图像上的失真。
图1是表示现有技术的周边监视装置的例子的图。
图2是表示本发明的实施方式1中的周边监视装置的结构的方框图。
图3是表示本发明的实施方式1中的摄像状况的例子的图。
图4是表示本发明的实施方式1中的周边监视装置的动作的流程图。
图5是表示本发明的实施方式1中的摄像图像的例子的图。
图6是表示本发明的实施方式1中的坐标系的例子的图。
图7是表示本发明的实施方式1中的基准图像合成参数的例子的图。
图8是表示本发明的实施方式1中的合成图像的例子的图。
图9是表示本发明的实施方式1中的由图形合成单元重叠合成的图形的例子的图。
图10是表示本发明的实施方式1中的图像合成参数选择单元中的选择方法的例子的图。
图11是表示本发明的实施方式1中的坐标变换参数的计算中使用的对应点的例子的图。
图12是表示本发明的实施方式1中的坐标变换参数的例子的图。
图13是表示本发明的实施方式1中的动作过程中生成图像的例子的图。
图14是表示本发明的实施方式1中的摄像机位置偏移时的摄像图像的例子的图。
图15是表示本发明的实施方式1中的摄像机位置偏移时的合成图像的例子的图。
图16是表示本发明的实施方式1中的因坐标变换的有无所引起的合成图像的差异的例子的图。
图17是表示本发明的实施方式1中的使用基准图形的情况下的使用状况的例子的图。
图18是表示本发明的实施方式1中的使用基准图形的情况下的摄像图像的例子的图。
图19是表示本发明的实施方式1中的进行合成图像的记录处理的情况下的摄像图像的例子的图。
图20是表示本发明的实施方式2中的周边监视装置的结构的方框图。
图21是表示本发明的实施方式2中的坐标变换中使用了仿射变换的情况下的合成图像的例子的图。
图22是表示本发明的实施方式2中的摄像机位置偏移时的合成图像的例子的图。
图23是表示本发明的实施方式2中的重叠了图形的合成图像的例子的图。
图24是表示本发明的实施方式2中的使用了多个摄像机的合成图像的例子的图。
图25是表示本发明的实施方式3中的摄像图像带有透镜失真的情况下的合成图像的例子的图。
图26是表示本发明的实施方式3中的将带有透镜失真的图像进行了坐标变换的情况下的合成图像上的位置误差的曲线图。
图27是表示由计算机构成本发明的周边监视装置的情况下的结构的方框图。
标号说明101 摄像机102 A/D(模拟/数字变换器)103 帧存储器104 图像合成单元105 图形合成单元106 D/A(数字/模拟变换器)
107 显示器108 位置偏移信息取得单元109 移动体状态检测单元110、211 坐标变换参数选择单元111、212 坐标变换参数存储单元112、201 坐标变换单元113 图像合成参数选择单元114 图像合成参数存储单元120、210 坐标变换参数取得单元121 图像合成参数取得单元具体实施方式
本发明的实施方式的周边监视装置使用由摄像机摄像的摄像图像，来生成周边图像，其特征在于，包括位置偏移信息取得单元，取得与所述摄像机的位置变动有关的信息即位置偏移信息；坐标变换参数取得单元，根据由所述位置偏移信息取得单元取得的所述位置偏移信息，取得坐标变换参数，该坐标变换参数用于校正伴随所述位置变动的所述周边图像的失真；图像合成参数取得单元，取得基准图像合成参数，基准图像合成参数包含图像坐标的信息，该图像坐标的信息用于使用所述摄像图像来生成所述周边图像，表示与所述周边图像的各像素对应的所述摄像图像上的像素位置；坐标变换单元，使用由所述坐标变换参数取得单元取得的所述坐标变换参数，对由所述图像合成参数取得单元取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为变换图像合成参数输出；以及图像合成单元，对所述摄像图像使用所述变换图像合成参数，生成并输出所述周边图像。
由此，即使在使用了有摄像机的位置偏移的摄像图像的情况下，也可以简单地降低随着摄像机的位置偏移而产生的周边图像上的失真。此外，通过该周边监视装置，根据位置偏移信息，对周边图像的生成中使用的基准图像合成参数进行坐标变换，所以即使在使用了有摄像机的位置偏移的摄像图像的情况下，也可以降低随着摄像机的位置偏移而产生的周边图像上的失真。此外，由于不需要准备多个与摄像机的位置偏移量对应的基准图像合成参数的表，所以可以防止存储量庞大。
此外，所述周边监视装置还包括图形合成单元，在由所述图像合成单元生成的所述周边图像上重叠图形后输出，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的所述位置偏移信息、以及由所述图形合成单元重叠合成的所述图形，取得所述坐标变换参数。
由此，可以根据重叠合成在周边图像上的图形来进行坐标变换，可以使图形和周边图像的偏移变少。
此外，所述图像合成参数取得单元也可以包括图像合成参数存储单元，预先存储至少一个基准图像合成参数；以及图像合成参数选择单元，从至少一个的所述基准图像合成参数中选择一个基准图像合成参数。
这里，优选是，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的所述位置偏移信息、以及由所述图像合成参数选择单元选择出的所述基准图像合成参数，取得所述坐标变换参数。
由此，根据周边图像的生成中使用的基准图像合成参数，即，根据周边图像的构图被坐标变换，所以即使在使用了有摄像机的位置偏移的摄像图像的情况下，也可以降低随着摄像机的位置偏移而产生的周边图像上的失真。
此外，优选是，所述基准图像合成参数包含多个所述摄像图像的图像坐标的信息，该多个所述摄像图像的图像坐标的信息用于使用由多个摄像机摄像的多个所述摄像图像，生成所述周边图像，所述位置偏移信息取得单元取得多个与所述摄像机的位置变动有关的信息即多个位置偏移信息，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的多个所述位置偏移信息，取得多个所述坐标变换参数，所述坐标变换单元使用由所述坐标变换参数取得单元取得的多个所述坐标变换参数，对由所述图像合成参数取得单元取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为所述变换图像合成参数输出，所述图像合成单元对于多个所述摄像图像，使用由所述坐标变换参数取得单元取得的多个所述坐标变换参数，生成所述周边图像。
由此，根据周边图像的生成中使用的基准图像合成参数，即，根据周边图像的构图被坐标变换，所以即使在使用了有摄像机的位置偏移的摄像图像的情况下，也可以使周边图像上的多个摄像图像的偏移变少。
此外，优选是，所述图像合成参数取得单元取得所述基准图像合成参数，该基准图像合成参数包含所述摄像图像的范围外的图像坐标的信息。
由此，即使基准图像合成参数中包含的图像坐标在摄像图像的范围以外，由于是将该图像坐标进行坐标变换所得的图像坐标有时在摄像图像的范围内，所以作为结果，可以增加变换图像合成参数中包含的在摄像图像的范围内的图像坐标，即，可以增加周边图像上的有效的像素。
再有，本发明不仅可以作为这样的周边监视装置来实现，而且可以作为以具备这样的周边监视装置的特征部分为步骤的周边监视方法来实现，或者也可以作为使计算机执行这些步骤的程序来实现。因而，不用说，这样的程序可以通过CD-ROM等记录介质或网络等传输媒体来进行传输。
以下，对于本发明的各实施方式，分别参照附图来说明。
(实施方式1)图2是表示本发明的实施方式1的周边监视装置的结构的方框图。
周边监视装置例如被搭载在汽车等移动体上，是用于将由摄像机摄像的摄像图像进行变形加工而生成合成图像(周边图像)的装置，如图2所示，包括摄像机101、A/D变换器102、帧存储器103、图像合成单元104、图形合成单元105、D/A变换器106、显示器107、位置偏移信息取得单元108、移动体状态检测单元109、坐标变换参数取得单元120、坐标变换单元112、以及图像合成参数取得单元121。
摄像机101对周边进行摄像而输出动态图像。A/D变换器102将作为模拟信号的动态图像数字化。帧存储103暂时保存被数字化的动态图像。再有，摄像机101、A/D变换器102和帧存储器103至少一个以上即可。此外，帧存储器103是连续读入从摄像机101输出的动态图像并将至少1帧以上的图像数据暂时保存的、所谓双缓冲器结构的帧存储器。此外，帧存储器103被构成为，根据来自图像合成单元104的读出请求，可读出被保存的1帧部分的图像的任意的像素数据。
在位置偏移信息取得单108中，通过用户的开关操作来接受各摄像机的位置偏移，将接受的各摄像机的位置偏移量作为摄像机位置偏移信息输出。再有，在本实施方式1中，通过用户来接受各摄像机的位置偏移量，但不限于此。例如，也可以通过传感器等检测各摄像机的位置偏移量，将检测出的各摄像机的位置偏移量作为摄像机位置偏移信息输出。
移动体状态检测单元109对车辆速度、变速杆、舵角进行检测，并作为移动体状态输出。再有，在本实施方式1中，对车辆速度、变速杆、舵角进行检测，但不限于此。例如，移动体状态检测单元109也可以在点火开关键、变速杆、方向指示灯等用户进行操作的开关类、或对车辆的速度、移动方向进行检测的车速传感器或舵角传感器等传感器类中，将其中某一个或多个检测结果作为移动体状态输出。
坐标变换参数取得单元120包括坐标变换参数选择单元110、以及坐标变换参数存储单元111。坐标变换参数存储单元111预先存储有多个坐标变换参数。坐标变换参数选择单元110根据摄像机位置偏移信息，从坐标变换参数存储单元111中存储的多个坐标变换参数之中选择并输出一个。
图像合成参数取得单元121包括图像合成参数选择单元113、以及图像合成参数存储单元114。图像合成参数存储单114预先存储有至少一个以上的基准图像合成参数、以及至少一个以上的图形参数。图像合成参数选择单元113根据移动体状态而从图像合成参数存储单元114中存储的基准图像合成参数和图形参数之中选择并输出一个。
坐标变换单元112使用从坐标变换参数选择单元110输出的坐标变换参数，将从图像合成参数选择单元113输出的基准图像合成参数中包含的摄像图像的图像坐标进行坐标变换，并作为变换图像合成参数输出。
图像合成单元104根据从坐标变换单元112输出的变换图像合成参数，从帧存储器103中依次读出图像，从而生成并输出合成图像。图形合成单元105在从图像合成单元104输出的合成图像上重叠与从图像合成参数选择单元113输出的图形参数对应的图形，并作为带有图形的合成图像输出。D/A变换器106将带有图形的合成图像变换为模拟信号。显示器107显示已被变换为模拟信号的带有图形的合成图像。
在本实施方式1中，说明了周边监视装置被搭载在车辆A上并且摄像机101为3台的情况。图3是表示这种情况下的设置例子的图。图2中的多个摄像机101与图3中的摄像机101a～101c(摄像机1～3)对应，各摄像机被设置在车辆上，以便对车辆的周边进行摄像。此外，假设显示器107被设置在从车辆内的驾驶者可看见的位置，其他处理单元被分别设置在车辆的内部。再有，对于摄像机101的台数和其设置位置，不限于图3，对于各处理单元，同样也不限于该设置位置。
对于上述那样构成的周边监视装置，以下说明其动作。图4是表示周边监视装置的动作的流动的流程图。
首先，作为初始状态，说明了没有摄像机的位置偏移的情况下的周边监视装置的动作，接着，作为校正状态，说明产生了摄像机的位置偏移的情况下的周边监视装置的动作。
摄像机101对车辆周边进行摄像并输出影像信号，A/D变换器102输出将影像信号数字化后的图像，帧存储器103暂时地存储被数字化后的图像(步骤S101)。帧存储器103的图像的存储、更新与从摄像机101输出的影像信号同步并连续地进行。
摄像机101a～101c这三台摄像机如图3所示，被分别设置在车辆上，以便在车辆的后侧面、左侧面、右侧面分别对后方、左侧方、右侧方进行摄像。此外，在图3中，在距车辆的右斜后方的车辆后端约3m的位置，放置立方体的障碍物B。图5是表示在图3的摄像状况中由摄像机101a～101c摄像的图像的例子的图，图5(a)是表示由摄像机101a摄像后方的图像的例子的图，图5(b)是表示由摄像机101b摄像左侧方的图像的例子的图，图5(c)是表示由摄像机101c摄像右侧方的图像的例子的图。在帧存储器103中，图5所示的图像被数字化并被存储。
位置偏移信息取得单元108取得各摄像机的位置偏移，并作为摄像机位置偏移信息输出(步骤S102)。以下，说明摄像机的位置偏移的具体例。
图6是表示摄像机坐标系(Xe，Ye，Ze)、车辆坐标系(Xc，Yc，Zc)、世界坐标系(Xw，Yw，Zw)的配置的图。由于摄像机被固定在车辆上，所以车辆周边的被摄体和摄像机的位置由车辆坐标系与世界坐标系的位置、以及摄像机坐标系相对车辆坐标系的位置这两个位置关系决定，将前者称为车辆的姿态，将后者称为摄像机的设置位置。此外，摄像机的位置偏移是在将生成基准图像合成参数时的车辆姿态和摄像机的设置位置作为基准位置的情况下的、与基准位置之差，因车辆的姿态偏移和摄像机的设置位置偏移而产生。在摄像机位置偏移为E，车辆的姿态偏移为Ec，摄像机的设置位置偏移为Ee，各自以三维的旋转和平行移动的4×4矩阵表示的情况下，成立E＝Ee×Ec的关系式。
摄像机的设置位置偏移Ee可以用三维的并行移动和旋转的6个参数(ex，ey，ez，ewx，ewy，ewz)表示，第k个摄像机的设置位置偏移Eek表示为(exk，eyk，ezk，ewxk，ewyk，ewzk)。车辆相对于世界坐标系在XZ平面(路面)上的移动和Y轴中心的旋转是自由的，车辆的姿态偏移Ec用(eyc，ewxc，ewzc)这三个参数表示。将k台的摄像机的位置偏移Ek汇总并称为摄像机位置偏移信息。
再有，在本实施方式1中，为了简单地进行说明，假设摄像机的位置偏移E仅用摄像机坐标系相对车辆坐标系的Y轴旋转的偏移(ewy)这一个参数表示。
这样，位置偏移信息取得单元108通过用户的开关操作来接受各摄像机的位置偏移的值，将输入的k台摄像机的位置偏移Ek作为摄像机位置偏移信息输出。在初始状态下，假设没有用户的开关操作，作为初始值，将摄像机的位置偏移量ewyk＝0输出。
移动体状态检测单109对车辆速度、变速杆、舵角进行检测，并作为移动体状态输出(步骤S103)。这里，假设移动体状态检测单元109将“车辆停止、变速杆为倒挡(R)、舵角为中立”作为移动体状态输出。
接着，图像合成参数选择单元113根据由移动体状态检测单元109输出的移动体状态，从图像合成参数存储单元114中存储的基准图像合成参数和图形参数之中选择并输出一个(步骤S104)。以下，详细地说明图像合成参数存储单元114中存储的各参数和图像合成参数选择单元113的动作。
图7是用于说明图像合成参数存储单元114中存储的基准图像合成参数的图，(a)是表示摄像图像的例子的图，(b)是表示合成图像的例子的图，(c)是表示由摄像图像生成合成图像的情况下的基准图像合成参数的例子的图。图7(c)的基准图像合成参数可以作为与合成图像的各像素一一对应的二维数组来表现。二维数组的各元素由与合成图像的像素对应的摄像图像的摄像机编号、像素坐标(在本实施方式中为X坐标、Y坐标)构成。在图7的例子中，在基准图像合成参数的坐标(xo，yo)中，存放有“摄像机编号＝1、坐标(xi，yi)”这样的信息。这表示了合成图像的坐标(xo，yo)的像素使用了摄像机1的摄像图像的(xi，yi)的像素。通过使用该图7所示的结构的标准合成图像参数，可以记述合成图像和多个摄像图像之间的对应关系。
图8是表示使用多个基准图像合成参数而生成的多个合成图像的例子的图。这里，表示了在图3的摄像状况中摄像了图5所示的摄像图像的情况下，使用各基准图像合成参数而生成的合成图像。即使对于相同的摄像图像，通过使用摄像机编号和摄像图像坐标值有所不同的基准图像合成参数，也可以生成构图有所不同的合成图像。图8(a)是由基准图像合成参数1生成的合成图像的例子，基准图像合成参数1表示摄像机101a的摄像图像和从车辆上方观测的构图的合成图像的对应关系。图8(b)是由标准合成图像参数2生成的合成图像的例子，标准合成图像参数2表示摄像机101a的摄像图像和相同构图的合成图像的对应关系。图8(c)是使用基准图像合成参数3而生成的合成图像的例子，基准图像合成参数3表示摄像机101a～101c的摄像图像与从车辆的上方观测车辆的侧方和后方的宽范围所得的构图的合成图像的对应关系。关于形成基准图像合成参数的方法，由于在上述专利文献3等中被详细地记载，所以这里省略详细的说明。
图9是表示使用图形参数而合成的图形的例子的图。假设图形参数作为与合成图像同一大小的图像文件被存储。合成图9(a)中所示图形的图形参数1对应于基准图像合成参数1，合成图9(b)～图9(d)中所示图形的图形参数2-1～2-3对应于基准图像合成参数2，合成图9(e)中所示图形的图形参数3对应于基准图像合成参数3。此外，图9中的各虚线是表示以本车辆为基准的预先确定的特定距离的图形。例如，图9(a)、图9(c)中的虚线是由本车辆的宽度的延长线和本车辆后方3m的距离的直线围成的区域的边界，图9(b)、图9(d)中的虚线是表示由某个舵角的预测前进道路上的车辆的宽度和在行使方向上移动3m的直线所围成的区域的边界的图形。因此，由图形参数合成的图形包含与本车辆之间的距离或作为位置的基准的信息。在形成上述基准图像合成参数时，可以通过将路面平面上的位置、或摄像图像上的位置与合成图像上的位置建立对应，来预先生成这样的图形。
图10是表示图像合成参数选择单元113中的基准图像合成参数的选择方法的例子的图。图像合成参数选择单元113根据图10所示那样作为移动体状态而被输入的车辆速度、变速杆、舵角的组合，分别选择基准图像合成参数和图形参数。例如，在“车在移动、变速杆为R、舵角中立”时，选择“基准图像合成参数2、图形参数2-2”。
这里，由于移动体状态为“车辆为停止、变速杆为倒挡(R)、舵角中立”，所以此时图像合成参数选择单元113分别选择并输出基准图像合成参数1和图形参数1。
接着，坐标变换参数选择单元110根据摄像机位置偏移信息，从坐标变换参数存储单元111中存储的多个坐标变换参数之中选择并输出一个(步骤S105)。接着，坐标变换单元112使用从坐标变换参数选择单元110输出的坐标变换参数，将从图像合成参数选择单元113输出的基准图像合成参数中包含的摄像图像的图像坐标进行坐标变换，并作为变换图像合成参数输出(步骤S106)。
在本实施方式1中，假设由坐标变换单元112进行的坐标变换是投影变换，坐标变换参数存储单元111中存储的坐标变换参数是每个摄像机的投影变换的系数的组。
以下，详细地说明坐标变换参数的具体例、以及坐标变换参数选择单元110、坐标变换单元112的动作。
坐标变换单元112使用下面所示的(式1)并通过投影变换进行坐标变换。
xi′=axi+byi+cgxi+hyi+1,]]>……(式1)yi′=dxi+eyi+fgxi+hyi+1]]>在(式1)中，将投影变换的8个系数(a，b，c，d，e，f，g，h)称为坐标变换参数。(xi，yi)是基准图像合成参数中包含的摄像图像的图像坐标，(xi’，yi’)是变换图像合成参数中包含的摄像图像的图像坐标。
坐标变换参数存储单元111中存储的坐标变换参数是与摄像机位置偏移E和摄像机编号k的值对应的多个坐标变换参数P。坐标变换参数P依赖于摄像机位置偏移E和摄像机编号k，所以表示为P(E，k)。在本实施方式中，假设摄像机位置偏移E仅是摄像机的设置位置偏移ewy，该值为，将-10度～+10的范围设为在以1度间隔上取21等级的值，对每个摄像机编号预先计算并存储与各角度对应的21个坐标变换参数。
以下，对计算与第k个摄像机的摄像机位置偏移E对应的坐标变换参数P(E，k)的方法的例子进行说明。这里，假设在作为基准的摄像机位置摄像的摄像图像是图11(a)，在摄像机位置偏移为E的情况下的摄像图像是图11(b)。并且，假设没有摄像机的位置偏移的摄像图像上的点的图像坐标为(xi，yi)，有位置偏移的摄像图像上的图像坐标为(xi’，yi’)，在各个图像坐标之间有(式1)的关系。此时，通过提供图像上的4点以上的对应点，可以在式(1)中计算坐标变换参数，以使平方误差最小。关于由这样的4点以上的对应点来计算投影变换的参数的方法，由于是众所周知的方法，所以省略详细的说明。根据以上，对于作为基准的摄像机位置的摄像图像，可以使用可能出现的所有的摄像机的位置偏移为E的摄像图像，预先计算坐标变换参数P(E，k)。这里，在摄像机的位置偏移E仅是转动的情况下，或者，图像中的被摄体在一个平面上存在的情况下，所对应的点的图像坐标的关系可以用(式1)表示，上述情况被记载在“画像理解”(金谷健一著、森北出版)等中，为众所周知。因此，例如在摄像图像中大部分被路面平面占据的情况下，通过将有摄像机位置偏移的图像进行投影变换，可以变换为关于路面没有摄像机位置偏移的情况下的图像。
在坐标变换参数选择单元110中，假设根据摄像机位置偏移信息中的每个摄像机的摄像机位置偏移E，从坐标变换参数存储单元111中选择并输出坐标变换参数。图12是表示与摄像机编号k和摄像机的位置偏移E对应的坐标变换参数P(E，k)的例子的图。在初始状态下，由于摄像机位置偏移信息在全部的摄像机中是ewy＝0，所以作为与它对应的坐标变换参数P(E，k)，选择(a，b，c，d，e，f，g，h)＝(1，0，0，0，1，0，0，0)。
接着，坐标变换单元112输入基准图像合成参数和每个摄像机的坐标变换参数，对于作为基准图像合成参数的各元素的摄像机编号和摄像图像的图像坐标(xi，yi)，通过使用了与摄像机编号对应的坐标变换参数的(式1)的坐标变换，计算(xi’，yi’)。然后，坐标变换单元112输出将基准图像合成参数中的摄像图像的各图像坐标(xi，yi)用所算出的图像坐标(xi’，yi’)置换后的变换图像合成参数。
在初始状态下，由于坐标变换参数P(E，k)为(a，b，c，d，e，f，g，h)＝(1，0，0，0，1，0，0，0)，所以所输出的变换图像合成参数变成输出与基准图像合成参数1相同的变换图像合成参数。
接着，图像合成单元104使用由坐标变换选择单元112生成的变换图像合成参数，从帧存储器103中依次读出与变换图像合成参数的各元素对应的摄像图像，并作为合成图像输出(步骤S107)。
在初始状态下，作为变换图像合成参数，由于输出与基准图像合成参数1相同的变换图像合成参数，所以在摄像图像例如为图5的情况下，输出图8(a)的合成图像。
接着，图形合成单元105在由图像合成单元104生成的合成图像上，重叠绘制与由图像合成参数选择单元113选择出的图形参数对应的图形(步骤S108)。这里，由于图形参数1由图像合成参数选择单元113选择，所以图9(a)的图形被重叠在合成图像上，作为带有图形的合成图像被输出。
D/A变换器106将从移动体检测单元105输出的合成显示图像变换为影像信号后输出，显示器107将影像信号进行显示(步骤S109)。
通过上述各处理单元的动作，初始状态中的带有图形的合成图像被生成，并被显示在显示器107上。
图13是表示由初始状态中的动作生成的图像的例子的图。图13(a)是由摄像机101a摄像所得的摄像图像，图13(b)是从图像合成单元104输出的合成图像的例子，图13(c)是从图形合成单元105输出并显示在显示器107上的带有图形的合成图像的例子。在驾驶者观测到图13(c)的带有图形的合成图像的情况下，由于作为位置参照的虚线被重叠，所以可容易地掌握虚线和障碍物的位置关系。
接着，作为校正状态，说明从初始状态发生了摄像机的位置偏移的情况下的例子。
图14是表示在摄像机101a发生了位置偏移的情况下的摄像图像的例子的图。图14(a)是没有偏移的情况下的摄像图像，图14(b)是摄像机的设置位置向以垂直轴为中心的右方向旋转偏移了5度的情况下的摄像图像的例子。图15是表示以图14作为摄像图像，由上述初始状态的动作而生成的带有图形的合成图像的例子的图。图15(a)是摄像图像为图14(a)的情况下的带有图形的合成图像，图15(b)是摄像图像为图14(b)的情况下的带有图形的合成图像。如图15(a)和图15(b)所示，摄像图像中的被摄体因摄像机的位置偏移而改变了在合成图像中的位置，与此相对，由于图形的位置没有变化，所以在图形和被摄体的位置关系上产生偏移。例如，障碍物(立方体)B相对虚线的位置在图15(a)和图15(b)中有所不同。因此，在以后说明的校正状态的处理中，目的在于，即使在有摄像机的位置偏移的图14(b)的摄像图像被输入的情况下，也生成与图15(a)相同或更接近的图像。
下面，说明校正状态下的各处理单元的动作。
在本实施方式1中，说明用户以校正摄像机位置偏移为目的而向本周边监视装置输入信息的情况下的例子。
图16(a)是摄像机的设置位置向以垂直轴为中心的右方向旋转偏移了5度的情况下的摄像图像的例子，图16(b)是没有进行坐标变换的情况下的带有图形的合成图像，图16(c)是进行了坐标变换的情况下的带有图形的合成图像。
如上述那样，在摄像机发生了位置偏移的情况下，输入图16(a)的摄像图像，生成图16(b)的带有图形的合成图像并显示在显示器107上(图16(a)和图14(b)、图16(b)和图15(b)分别为相同的图像)。
这里，假设通过用户的开关操作，输入任意的摄像机位置偏移Ek，位置偏移信息取得单元108接受摄像机的位置偏移Ek。例如，作为摄像机的设置位置偏移ewyk，假设在-10度～+10的范围内按每1度间隔依次输入，在摄像状况和合成图像最一致的情况下停止开关操作。此时，在用户设定的摄像机的位置偏移和实际的摄像机位置偏移相等的情况下，变成图16(c)那样。
如以上那样，根据本实施方式1，通过用户的指示，使用对应于摄像机的位置偏移进行坐标变换后的变换图像合成参数，生成合成图像，所以即使是使用了有摄像机的位置偏移的摄像图像的情况，也具有可以降低合成图像的被摄体与图形的偏移的效果。此外，根据本实施方式1，即使是发生了摄像机的位置偏移的情况，也不需要再次计算基准图像合成参数、变换图像合成参数、图形参数等，还具有执行时的计算负荷小的效果。
再有，在本实施方式1的说明中，假设用户在图3的场景中一边观测图16那样的图像，一边输入摄像机位置偏移E。但是，在没有图3那样的作为从车辆的相对位置的基准的图形和物体等场景中，有时用户难以选择摄像机的位置偏移E。因此，例如在路面上绘制图17(a)那样的作为摄像机位置偏移的基准的简单图形，如图17(b)那样，通过将车辆停车在图形上的特定的位置后观测图像，用户可以容易地指定位置偏移E。例如，图18(a)是在没有摄像机的位置偏移的情况下，在图17(b)的摄像状况中由摄像机1摄像的图像的例子。图18(b)是由图形合成单元105合成与图17的路面上的图形相同的图形的情况下的例子，在没有摄像机的位置偏移的情况下，合成后的图形(用虚线表示)与摄像图像的路面上的图形一致。相反，在有摄像机的位置偏移的情况下，图18(c)那样的与路面上的图形合成后的图形变成偏移后的图像，通过用户观测这种图像，可以容易地掌握摄像机向右偏移的情况，其结果，用户选择摄像机位置偏移E变得容易。
但是，在上述方法中，例如在用户是车辆的购买者，对车辆购入后发生的摄像机的位置偏移进行校正的情况下，产生需要图17(a)那样的用于校正位置偏移的图形的课题。因此，取代使用位置偏移校正用的图形，图形合成单元105除了上述处理以外，也可以根据来自用户的操作，选择性地进行将从图像合成单元104输入的合成图像记录的处理、以及将所记录的合成图像重叠合成在从图像合成单元104输入的合成图像上并输出的处理。因而，用户例如在购入车辆之后，在停车场等例如将图19(a)那样的合成图像记录在图形合成单元105中。然后，在发生了摄像机的位置偏移的情况下，生成图19(b)那样的合成图像。在这样的情况下，通过将图形合成单元105中记录的合成图像重叠合成在图19(b)的合成图像上而显示图19(c)那样的图像，从而用户选择摄像机位置偏移E变得容易。
此外，在本实施方式1中，摄像机位置偏移E为了使说明简单而假设仅由摄像机的设置位置偏移中的一个参数即ewy构成，并且用户进行输入，但也可以使用摄像机设置位置偏移Ee的6参数(ex，ey，ez，ewx，ewy，ewz)、以及车辆的姿态偏移Ec的3参数(eyc，ewxc，ewzc)的全部参数，或使用其中某个组合。而且，也可以通过将对车辆的姿态进行检测的加速度传感器或角加速度传感器等组合后的检测单元等，来取得车辆的姿态偏移Ec。
此外，在本实施方式1中，用户一边将任意的摄像机位置偏移E向位置偏移信息取得单元108输入，一边通过观测合成图像来设定最合适的摄像机位置偏移E，但不限定于这种方法。例如，也可以通过进行摄像机校准而计算摄像机位置偏移，并输入该值。
此外，在本实施方式1中，坐标变换参数取得单元120包括坐标变换参数选择单元110和坐标变换参数存储单元111，坐标变换参数选择单元110根据摄像机位置偏移信息，从坐标变换参数存储单元111中存储的多个坐标变换参数之中选择一个，但不限于此。例如，坐标变换参数取得单元120也可以根据摄像机位置偏移信息来生成坐标变换参数。
此外，在本实施方式1中，坐标变换单元112采用投影变换，但没有将坐标变换的方法限定为投影变换，只要是具有校正摄像机位置偏移的效果的坐标变换，使用什么样的变换都可以。
(实施方式2)图20是表示本发明的实施方式2的周边监视装置的结构的方框图。
在本实施方式中，与实施方式1不同的方面是，坐标变换参数存储单元212中存储的坐标变换参数P的内容、以及坐标变换参数选择单元211和坐标变换单元201的动作。
以下，说明各单元的动作。
本实施方式2的坐标变换单元201使用以下所示的(式2)，并通过仿射变换，使用从坐标变换参数选择单元212输出的坐标变换参数，将从图像合成参数选择单元221输出的基准图像合成参数中包含的摄像图像的图像坐标进行坐标变换，并作为变换图像合成参数输出。
xi’＝axi+byi+c，……(式2)yi’＝dxi+eyi+f由(式2)中的6个系数(a，b，c，d，e，f)构成坐标变换参数。
坐标变换参数存储单元212中存储的坐标变换参数是根据摄像机的位置偏移E、基准图像合成参数的编号q、图形参数的编号r、摄像机编号k，预先算出的坐标变换参数P(E，q，r，k)。
坐标变换参数选择单元211选择并输出与摄像机位置偏移信息中包含的各摄像机的位置偏移E和摄像机编号k、以及由图像合成参数选择单元221选择出的基准图像合成参数的编号p和图形参数的编号r相对应的坐标变换参数P(E，q，r，k)。假设根据从移动体状态检测单元109输入的移动体状态，通过图10所示的选择方法来取得基准图像合成参数的编号p和图形参数的编号r。
以下，说明计算坐标变换参数P(E，q，r，k)的方法的例子。与在实施方式1中求出投影变换下的坐标变换参数的方法同样，根据没有位置偏移的摄像图像和某个位置偏移E的摄像图像之间的多个对应点坐标，计算坐标变换参数。与实施方式1不同的方面是，根据摄像机编号k、基准图像合成参数的编号p、图形参数的编号r，使用不同的对应点来计算坐标变换参数。
假设在作为基准的摄像机位置所摄像的摄像图像是图21(a)，在摄像机位置偏移为E的情况下的摄像图像是图21(b)。并且，假设没有摄像机的位置偏移的摄像图像上的点的图像坐标为(xi，yi)，有位置偏移的摄像图像上的图像坐标为(xi’，yi’)，在各自的图像坐标之间有(式2)的关系。此时，通过提供图像上的3点以上的对应点，可以在(式2)中计算坐标变换参数，以使平方误差最小。
图21(a)、图21(b)中的“×标记”和“○标记”分别表示4点的对应点的组，作为对图9(c)所示的图形进行合成的图形参数2-2和对图9(b)所示的图形进行合成的图形参数2-1中的处于合成图像的虚线上的摄像图像上的点来提供。并且，对各对应点的组计算坐标变换参数。
这里，“×标记”的对应点和“○标记”的对应点分别是与图形参数2-2和图形参数2-1对应的摄像图像上的点。此外，假设根据图10的选择方法来选择图形参数2-1、图形参数2-2，所以使用“×标记”的对应点所算出的坐标变换参数是“摄像机位置偏移E、基准图像合成参数2、图形参数2-2、摄像机1”的情况下的坐标变换参数P(E，2，2-2，1)，使用“○标记”的对应点所算出的坐标变换参数是“摄像机位置偏移E、基准图像合成参数2、图形参数2-1、摄像机1”的情况下的坐标变换参数P(E，2，2-2，1)。
图21(c)、图21(d)是使用图21(b)的有摄像机位置偏移的摄像图像，并使用上述两个坐标变换参数进行坐标变换所生成的合成图像的例子。在仿射变换中，只要在摄像机的位置偏移是摄像机的Z轴中心的旋转的情况下，就可以完全地校正摄像图像的偏移，但对于除此以外的包含旋转及平行移动的摄像机位置偏移，位置偏移会残留。可以期待在上述坐标变换参数的计算时使用的对应点的位置上，这种位置偏移的影响变小。即，在图21(c)、图21(d)的合成图像中，分别在“×标记”的对应点和“○标记”的对应点的位置上，形成摄像机位置偏移引起的合成图像的偏移少的图像。
使用由上述方法而生成的坐标变换参数，表示通过上述坐标变换参数选择单元211、坐标变换单201、以及各处理单元的动作而生成的图像的例子。
图22是在图2的摄像状况中移动体状态为“车辆速度为移动、变速杆为R、舵角为中立”、并且来自用户的摄像机位置偏移E的输入为初始值的ewyk＝0的带有图形的合成图像的例子。图22(a)是没有摄像机的位置偏移的情况下的带有图形的合成图像，图22(b)是有摄像机的位置偏移的情况下的带有图形的合成图像。图23(a)是通过与实施方式1同样的用户操作而输入了合适的摄像机位置偏移E的情况下，即通过上述坐标变换参数P(E，2，2-2，1)被坐标变换的带有图形的合成图像的例子。在图22(b)中，被摄体(特别是障碍物)和图形之间的位置关系偏移，与此相对，在图23(a)中偏移被降低。而且，通过用户的操作，在移动体状态为“车辆速度为移动、变速杆为R、舵角为右”的情况下，图形合成单元105中使用图形参数2，坐标变换单元112中使用坐标变换参数P(E，2，2-1，1)，生成图23(b)的带有图形的合成图像。
如上所述，在由坐标变换单元201使用仿射变换的情况下，计算坐标变换参数时使用的对应点附近的误差变小。即，在图23(a)、图23(b)的带有图形的合成图像中，分别在图形中的虚线的位置上生成坐标变换后的位置偏移为最小的合成图像。在用户观测这样的合成图像的情况下，例如，如合成图像中的障碍物和作为位置基准的虚线或本车辆的图形等那样，在位置关系重要的部位上位置偏移少，所以可掌握更正确的位置关系。
如以上那样，根据本实施方式2，通过坐标变换参数取得单元210根据由图形合成单元105重叠合成的图形而生成坐标变换参数，从而根据在合成图像上重叠合成的图形，对基准图像合成参数进行坐标变换，所以，所具有的效果为，可以显示图形和合成图像的偏移少的图像。
此外，在本实施方式2中，由于坐标变换单元201使用访射变换进行坐标变换，所以与使用投影变换的情况相比，还具有计算负荷小的效果。
再有，在本实施方式2中，说明了使用根据图形参数而有所不同的坐标变换参数的情况，但如果是摄像机的位置偏移、基准图像合成参数、图形参数、摄像机编号的组合，可以是任何组合，并且也可以使用根据基准图像合成参数而有所不同的坐标变换参数。例如，在生成图8(a)所示的合成图像的标准合成图像参数1和生成图8(b)所示的合成图像的基准图像合成参数2中，即使是使用了相同摄像机1的摄像图像的合成图像，用作合成图像的摄像图像的范围也有所不同。因此，例如，通过在求取坐标变换参数时根据摄像图像的范围来提供对应点，具有下述效果，即，可生成与基准图像合成参数的构图对应的位置偏移小的合成图像。
此外，如生成图8(c)所示的合成图像的基准图像合成参数3那样，在将三个摄像图像合成的构图中，在一个摄像机出现位置偏移时，变成图24(a)那样的合成图像中的摄像机边界部分D不连续的存在不协调感的某一图像。因此，在计算与连接了多个摄像图像的构图的基准图像合成参数对应的坐标变换参数时，使摄像机边界部分D的位置偏移小，即，作为用于计算坐标变换参数的对应点，在与合成图像的摄像机边界部分D对应的摄像图像的位置上提供对应点。使用这样求出的坐标变换参数时，可以生成如图24(b)那样摄像机边界部分D中的位置偏移小的合成图像，所具有的效果为，可生成对于用户来说不协调感更少的合成图像。
再有，在本实施方式2中，坐标变换单元201使用访射变换进行坐标变换，但没有将坐标变换的方法限定为访射变换，只要是具有校正摄像机位置偏移效果的某种坐标变换，则使用什么样的变换都可以。例如，即使是使用投影变换的情况，由摄像机摄像的摄像图像中包含透镜失真的情况或在摄像机的位置偏移中包含平行移动分量的情况下，坐标变换后的合成图像中的位置偏移仍残留。此时，由于合成图像上的位置偏移在坐标变换参数的计算中所使用的对应点的位置上变小，所以与本实施方式2同样，通过使用与图形对应的坐标变换参数，可生成合成图像上的位置偏移的影响小的合成图像。
(实施方式3)在本实施方式3中，其结构、动作与实施方式2相同，与实施方式2不同的方面是，摄像机101是输出包含有透镜失真的图像的摄像机，使用透镜失真的摄像机101，该透镜失真的摄像机101为，透镜失真的量使预先确定的摄像机位置偏移的范围和基准图像合成参数的范围中的坐标变换后的位置误差最小。
图25是表示带有透镜失真的摄像图像的例子和通过与实施方式2同样的动作所生成的合成图像的例子的图。图25(a)是摄像机101输出带有透镜失真的图像的情况下的摄像图像的例子，图25(b)是摄像机的位置出现偏移的情况下的摄像图像的例子。在本实施方式3中，与实施方式2同样，根据没有摄像机的位置偏移的摄像图像和在可取得的摄像机的位置偏移E的范围中所获得的多个有摄像机位置偏移的摄像图像，预先求出坐标变换参数，通过使用该坐标变换参数来进行坐标变换，从而生成图25(c)那样的合成图像。
此时，在坐标变换参数的计算时使用的摄像机位置偏移、基准图像合成参数、图形参数、摄像机编号为完全相同的条件下，若透镜失真的程度改变，则坐标变换后的合成图像的位置偏移的量也改变，上述情况通过本发明的发明人的实验而得到确认。图26是表示将带有透镜失真的图像进行了坐标变换的情况下的平均误差和透镜失真k之间的对应关系的图，图26(a)是使用了访射变换的情况，图26(b)是使用了投影变换的情况。其中，对于具有二次的透镜失真k1的摄像图像，以与基准图像合成参数2中的图形参数2-2的虚线上对应的摄像图像的对应点为基准，来计算坐标变换参数，并且对于坐标变换后的合成图像，计算以图形参数2-2的虚线上为基准位置的位置偏移的平均误差。
如图26所示，在投影变换的情况下，平均误差随着透镜失真的增加而增大，与此相对，在访射变换的情况下，透镜失真系数为0.4～0.5，平均误差最小。即，表示出，在作为图26的计算条件的透镜位置偏移、基准图像合成参数、图形参数、摄像机编号中，若使用透镜系数为0.4～0.5的摄像机，则坐标变换后的合成图像上的位置偏移的平均最小。因此，在可取得的摄像机位置偏移的范围中，计算出通过同样的计算而算出的合成图像的位置偏移的平均最小的透镜失真，并使用该透镜失真的摄像机，从而具有下述效果，即，可以生成合成图像的位置偏移更小的合成图像。
如以上那样，根据本实施方式3，通过使用具有透镜失真参数的摄像图像，从而具有可以生成合成图像的位置偏移更小的合成图像的效果，该透镜失真参数使根据预先确定的一个以上的基准图像合成参数和预先确定的一个以上的坐标变换参数所生成的合成图像中的误差为最小。
再有，在各实施方式中，基准图像合成参数由与合成图像的图像坐标对应的摄像图像的图像坐标值构成，但也可以设定摄像图像的范围外的图像坐标值。在基准图像合成参数中，即使是包含了摄像图像的范围外的图像坐标值的情况，在由坐标变换单元坐标变换后的变换图像合成参数中，被置换为摄像图像的范围内的坐标值，具有有时作为合成图像而显示的图像的范围宽的效果。
同样地，在如图8(c)那样使用多个摄像图像的基准图像合成参数中，也可以在合成图像上，在摄像机边界部分的附近，对于合成图像的一个图像坐标，参照两个以上的摄像图像坐标，在坐标变换单元中，坐标变换后的图像坐标作为变换图像合成参数来输出，该变换图像合成参数残留有作为摄像图像的范围的某一个图像坐标。此时，所具有的效果为，有时作为合成图像被显示的图像的范围宽。
此外，在各实施方式中，移动体状态检测单元108和图像合成参数选择单元113使用了车辆速度、变速杆、以及舵角作为移动体状态，但没有限定移动体状态的种类或参数的选择方法，如果是与合成图像的构图有对应关系的移动体状态，则使用什么样的信息都可以。例如，也可以从GPS(Global Positioning System全球定位系统)装置所取得的车辆的位置信息中取得道路状况，并根据该道路状况来推定车辆姿态，根据该车辆姿态来选择基准图像合成参数和坐标变换参数。
此外，在各实施方式中，图像合成参数选择单元113利用图10的选择方法选择基准图像合成参数，但没有限定选择方法，什么样的选择方法都可以。
此外，在各实施方式中，摄像机为三台，其设置位置和摄像范围如图3所示，但没有将摄像机台数、设置位置、摄像范围限定在该范围内。
此外，在各实施方式中，设置有多个摄像机和周边监视装置的车辆作为四轮乘用车进行了说明，但没有限制车辆的形态，也可以是两轮或三轮的车辆或机器人等移动体。而且，设置多个摄像机和周边监视装置的场所没有限于移动体，例如也可以被固定并设置在车站或建筑物等上。此外，多个摄像机和周边监视装置不需要设置在相同的移动体或场所中，也可以将摄像机和周边监视装置设置在不同的场所中。
此外，在本发明的实施方式中，说明了单独的处理单元由单独的硬件实现，但也可以收容在一个IC等中，或者也可以使用图27那样的包括了图像的输入输出单元的计算机，各处理单元通过由计算机(CPU1004，ROM1005，RAM1006等)执行的软件来实现，可以获得与本发明的实施方式同样的效果。
工业实用性本发明的周边监视装置可以校正伴随摄像机的位置偏移而产生的显示图像中的失真，作为周边监视装置是有用的，该周边监视装置作为车辆的驾驶或机器人的远程操作等移动体的操作辅助。特别是作为下述周边监视装置是有用的，即，使用由多个摄像机摄像的图像，来合成从假设的观测点摄像的图像，并进行提示。此外，还可以应用在以安全为目的的监视装置、或以影像制作为目的的图像合成装置等中。
权利要求
1.一种周边监视装置，使用由摄像机摄像的摄像图像，来生成周边图像，其特征在于，包括位置偏移信息取得单元，取得与所述摄像机的位置变动有关的信息即位置偏移信息；坐标变换参数取得单元，根据由所述位置偏移信息取得单元取得的所述位置偏移信息，取得坐标变换参数，该坐标变换参数用于校正伴随所述位置变动的所述周边图像的失真；图像合成参数取得单元，取得基准图像合成参数，该基准图像合成参数包含图像坐标的信息，该图像坐标的信息用于使用所述摄像图像来生成所述周边图像，表示与所述周边图像的各像素对应的所述摄像图像上的像素位置；坐标变换单元，使用由所述坐标变换参数取得单元取得的所述坐标变换参数，对由所述图像合成参数取得单元取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为变换图像合成参数输出；以及图像合成单元，对所述摄像图像使用所述变换图像合成参数，生成并输出所述周边图像。
2.如权利要求1所述的周边监视装置，其特征在于，所述坐标变换参数取得单元包括坐标变换参数存储单元，预先存储至少一个坐标变换参数；以及坐标变换参数选择单元，根据由所述位置偏移信息取得单元取得的所述位置偏移信息，从至少一个的所述坐标变换参数中选择一个坐标变换参数。
3.如权利要求1所述的周边监视装置，其特征在于，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的所述位置偏移信息，生成所述坐标变换参数。
4.如权利要求1所述的周边监视装置，其特征在于，所述周边监视装置还包括图形合成单元，在由所述图像合成单元生成的所述周边图像上重叠合成图形后输出，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的所述位置偏移信息、以及由所述图形合成单元重叠合成的所述图形，取得所述坐标变换参数。
5.如权利要求4所述的周边监视装置，其特征在于，所述坐标变换参数取得单元取得在由所述图形合成单元重叠合成的所述图形的规定的位置上、坐标变换后的周边图像的位置误差最小的坐标变换参数。
6.如权利要求1所述的周边监视装置，其特征在于，所述图像合成参数取得单元包括图像合成参数存储单元，预先存储至少一个基准图像合成参数；以及图像合成参数选择单元，从至少一个的所述基准图像合成参数中选择一个基准图像合成参数。
7.如权利要求6所述的周边监视装置，其特征在于，所述周边监视装置还包括状态检测单元，检测移动体的状态，该移动体的状态包含与搭载所述周边监视装置的移动体的姿态有关的信息；所述图像合成参数选择单元根据由所述状态检测单元检测出的所述移动体的状态，选择一个所述基准图像合成参数。
8.如权利要求6所述的周边监视装置，其特征在于，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的所述位置偏移信息、以及由所述图像合成参数选择单元选择出的所述基准图像合成参数，取得所述坐标变换参数。
9.如权利要求1所述的周边监视装置，其特征在于，所述基准图像合成参数包含与所述周边图像对应的所述摄像图像的一部分的图像坐标的信息，所述坐标变换参数取得单元取得在所述摄像图像的一部分的规定的位置上、坐标变换后的周边图像的位置误差最小的坐标变换参数。
10.如权利要求1所述的周边监视装置，其特征在于，所述基准图像合成参数包含多个所述摄像图像的图像坐标的信息，该多个所述摄像图像的图像坐标的信息用于使用由多个摄像机摄像的多个所述摄像图像，生成所述周边图像；所述位置偏移信息取得单元取得多个与所述摄像机的位置变动有关的信息即多个位置偏移信息；所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的多个所述位置偏移信息，取得多个所述坐标变换参数；所述坐标变换单元使用由所述坐标变换参数取得单元取得的多个所述坐标变换参数，对由所述图像合成参数取得单元取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为所述变换图像合成参数输出；所述图像合成单元对多个所述摄像图像使用由所述坐标变换参数取得单元取得的多个所述坐标变换参数，生成所述周边图像。
11.如权利要求10所述的周边监视装置，其特征在于，所述基准图像合成参数包含与所述周边图像的各像素对应的、从多个摄像图像中确定摄像图像的信息和表示该摄像图像上的像素位置的图像坐标的信息。
12.如权利要求10所述的周边监视装置，其特征在于，所述坐标变换参数取得单元取得在所述基准图像合成参数中包含的多个摄像图像的边界位置上、坐标变换后的周边图像的位置误差最小的坐标变换参数。
13.如权利要求1所述的周边监视装置，其特征在于，所述图像合成参数取得单元取得所述基准图像合成参数，所述基准图像合成参数包含所述摄像图像的范围外的图像坐标的信息。
14.如权利要求1所述的周边监视装置，其特征在于，所述图像合成参数取得单元取得所述基准图像合成参数，所述基准图像合成参数包含了对于所述周边图像的1个像素表示所述摄像图像上的2个像素以上的像素位置的图像坐标的信息，所述坐标变换单元使用由所述坐标变换参数取得单元取得的所述坐标变换参数，对由所述图像合成参数取得单元取得的所述基准图像合成参数中包含的图像坐标进行坐标变换之后，选择一个像素，并作为所述变换图像合成参数输出。
15.如权利要求1所述的周边监视装置，其特征在于，所述摄像图像是包含有透镜失真的图像，所述图像合成单元使用所述摄像图像，生成所述周边图像，所述摄像图像具有由预先确定的一个以上的所述基准图像合成参数、以及预先确定的一个以上的所述坐标变换参数所生成的所述周边图像中的误差为最小的透镜失真参数。
16.如权利要求1所述的周边监视装置，其特征在于，所述周边监视装置还包括状态检测单元，检测移动体的状态，该移动体的状态包含与搭载所述周边监视装置的移动体的姿态有关的信息，所述坐标变换参数取得单元根据由所述位置偏移信息取得单元取得的所述位置偏移信息、以及由所述状态检测单元检测出的所述移动体的状态，取得所述坐标变换参数。
17.如权利要求1所述的周边监视装置，其特征在于，所述周边监视装置还包括接受单元，从用户接受校正量；所述位置偏移信息取得单元取得由所述接受单元接受的所述校正量，来作为所述位置偏移信息。
18.如权利要求1所述的周边监视装置，其特征在于，所述周边监视装置还包括位置偏移量检测单元，检测所述摄像机的位置偏移量；所述位置偏移信息取得单元取得由所述位置偏移量检测单元检测出的所述位置偏移量，来作为所述位置偏移信息。
19.一种周边监视方法，使用由摄像机摄像的摄像图像，来生成周边图像，其特征在于，该方法包括位置偏移信息取得步骤，取得与所述摄像机的位置变动有关的信息即位置偏移信息；坐标变换参数取得步骤，根据由所述位置偏移信息取得步骤取得的所述位置偏移信息，取得坐标变换参数，该坐标变换参数用于校正伴随所述位置变动的所述周边图像的失真；图像合成参数取得步骤，取得基准图像合成参数，该基准图像合成参数包含图像坐标的信息，该图像坐标的信息用于使用所述摄像图像生成所述周边图像，表示与所述周边图像的各像素对应的所述摄像图像上的像素位置；坐标变换步骤，使用由所述坐标变换参数取得步骤取得的所述坐标变换参数，对由所述图像合成参数取得步骤取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为变换图像合成参数输出；以及图像合成步骤，对所述摄像图像使用所述变换图像合成参数，生成并输出所述周边图像。
20.一种程序，用于使用由摄像机摄像的摄像图像，来生成周边图像，其特征在于，该程序使计算机执行位置偏移信息取得步骤，取得与所述摄像机的位置变动有关的信息即位置偏移信息；坐标变换参数取得步骤，根据由所述位置偏移信息取得步骤取得的所述位置偏移信息，取得坐标变换参数，该坐标变换参数用于校正伴随所述位置变动的所述周边图像的失真；图像合成参数取得步骤，取得基准图像合成参数，该基准图像合成参数包含图像坐标的信息，该图像坐标的信息用于使用所述摄像图像生成所述周边图像，表示与所述周边图像的各像素对应的所述摄像图像上的像素位置；坐标变换步骤，使用由所述坐标变换参数取得步骤取得的所述坐标变换参数，对由所述图像合成参数取得步骤取得的所述基准图像合成参数中包含的图像坐标进行坐标变换，并作为变换图像合成参数输出；以及图像合成步骤，对所述摄像图像使用所述变换图像合成参数，生成并输出所述周边图像。
全文摘要
提供一种周边监视装置和周边监视方法，在有摄像机的位置偏移的情况下，可以降低随着摄像机的位置偏移而产生的显示图像中的失真。周边监视装置包括信息取得单元(108)，取得各摄像机的位置偏移信息，并作为摄像机位置偏移信息输出；移动体状态检测单元(109)，检测车辆速度、变速杆、舵角，并作为移动体状态输出；坐标变换参数选择单元(110)，根据摄像机位置偏移信息，选择坐标变换参数；图像合成参数选择单元(113)，根据移动体状态，选择基准图像合成参数和图形参数；坐标变换单元(112)，使用坐标变换参数，对基准图像合成参数中包含的摄像图像的图像坐标进行坐标变换，并作为变换图像合成参数输出；以及图像合成单元(104)，根据变换图像合成参数，生成并输出合成图像。
文档编号B60R21/00GK1943236SQ20068000009
公开日2007年4月4日 申请日期2006年2月13日 优先权日2005年2月15日
发明者登一生, 佐藤政喜 申请人:松下电器产业株式会社