专利名称：影像显示装置以及影像显示方法
技术领域：
本发明涉及影像显示装置以及影像显示方法，特别是涉及将来自多个照相机的影 像合成并进行显示的装置和方法。
背景技术：
在日本特开平9-114979号公报中提出了以下的照相机系统，其中该照相机系统 利用相互配置在不同位置的多个照相机对拍摄对象进行拍摄，并使用从上述多个照相机获 得的多个图像，生成从与各照相机的位置不同的视点看到的假想的摄像图像。获得各照相 机的摄像图像中的拍摄对象的三次元位置坐标，并根据该坐标再次构成从任意视点看到的 图像。然而，在日本特开平9-114979号公报的系统中，使用被固定在各个位置的多个照 相机拍摄的摄像图像来生成视点不同的假想的图像，例如在将车辆驻车于驻车空间时，当 想要生成易于驾驶操作的俯视影像等假想的影像时，则需要在驻车空间侧设置有固定位置 的多个照相机。这样就必须确保多个照相机的设置场所，因此导致设置多个照相机的费用 提高，设置多个照相机需要花费时间这样的问题。近年来，基于提高驾驶的安全性、操作性普遍使用以下装置即在车辆上搭载用于 拍摄车辆后方和侧方的照相机，例如在车辆后退时将来自该照相机的影像显示于配置在驾 驶席的显示器上。如果能够利用这样的搭载于车辆的照相机，并且在驻车空间侧只设置一个固定照 相机并生成俯视图像等，则容易且便宜地使驻车时的驾驶操作变得容易，然而伴随车辆的 移动，由于搭载于车辆的照相机与驻车空间侧的固定照相机的相对位置关系发生改变，因 此在日本特开平9-114979号公报的系统中难以生成俯视影像等。
发明内容
本发明是鉴于上述以往的问题而做出的，其目的在于提供一种即使使用相互的相 对位置关系变化的多个照相机，也能够显示规定视点下的影像的影像显示装置和影像显示 方法。本发明涉及的影像显示装置具备多个照相机，它们相互的相对位置关系变化； 相对位置计算部，其计算出多个照相机相互的相对位置关系；影像合成部，其根据由相对位 置计算部计算出的相对位置关系将来自多个照相机的影像相互合成，而制成规定视点下的 影像；显示器，其显示由影像合成部制成的影像。本发明涉及的影像显示方法如下计算出相互的相对位置关系变化的多个照相 机的相互的相对位置关系，并根据计算出的相对位置关系将来自多个照相机的影像相互合 成，而制成规定视点下的影像，并显示所制成的规定视点下的影像。根据本发明，由于通过相对位置计算部计算出多个照相机相互的相对位置关系， 并根据该相对位置关系通过影像合成部将来自多个照相机的影像相互合成，因此即使使用相互的相对位置关系发生改变的多个照相机，也能够显示规定视点下的影像。
图1是本发明的实施方式1涉及的影像显示装置的构成的框图。图2是表示实施方式1的作用的流程图。图3是表示实施方式2涉及的影像显示装置的构成的框图。图4是表示实施方式2的相对位置计算部的构成的框图。图5是表示在实施方式2中使用的标记的图。图6是表示在计算出实施方式2的移动照相机和固定照相机的相对位置关系的步 骤的作用的流程图。图7是表示实施方式3涉及的影像显示装置的构成的框图。图8是表示实施方式3的作用的流程图。图9是表示实施方式3的显示器的画面的图。图10是表示实施方式3的显示器的画面的图。图11是表示实施方式4涉及的影像显示装置的构成的框图。图12是表示实施方式4的相对位置计算部的构成的框图。图13是表示实施方式4的作用的流程图。图14是表示实施方式4涉及的影像显示装置的构成的框图。
具体实施例方式以下，基于
本发明的实施方式。实施方式1图1表示本发明的实施方式1涉及的影像显示装置的构成。预先在规定的场所设 置固定照相机A，并且在与该固定照相机A不同的场所配置移动照相机B。移动照相机B搭 载于车辆等移动体U,并且构成为能够与移动体U —起自由移动。在移动体U上连接有相对位置计算部1，相对位置计算部1用于计算移动照相机B 相对于固定照相机A的相对位置关系，在相对位置计算部1和固定照相机A以及移动照相 机B上连接有影像合成部2。此外，在影像合成部2上连接有显示器3。另外，移动体U具有未图示的传感器，该传感器用于获得自身的当前位置和方向 等位置信息，该传感器的检测信号被输入相对位置计算部1。接下来，参照图2的流程图说明实施方式1的作用。首先，在步骤Sl中，由固定照 相机A进行拍摄，接着在步骤S2中由移动照相机B进行拍摄。进而，在步骤S3中，由相对位置计算部1计算出移动照相机B相对于固定照相机A的相对位置关系。此时，来自用于获得移动体U的位置信息的传感器的检测信号被输入到 相对位置计算部1，因此相对位置计算部1能够根据所输入的检测信号来掌握移动体U的当 前位置和方向。因此，通过对该移动体U的当前位置和方向与设置固定照相机A的规定场 所进行比较，由此，相对位置计算部1计算出移动照相机B相对于固定照相机A的相对位置 关系。这样当计算出固定照相机A与移动照相机B的相对位置关系时，在步骤S4中，由影像合成部2基于该相对位置关系将固定照相机A拍摄的影像和移动照相机B拍摄的影像 合成为一个，并制成从上方向下方俯视的俯视影像作为合成影像。而且，在步骤S5中将俯视影像显示于显示器3。这里，作为固定照相机A拍摄的影像和移动照相机B拍摄的影像的合成以及俯视 影像的制成的例子，可以例举出日本特开平3-99952号公报。另外，作为用于获得移动体U的位置信息的传感器，只要是能够掌握移动体U的移 动位置和方向的传感器即可，例如，能够使用车速传感器或移动量传感器和偏航传感器，或 者GPS传感器和偏航传感器、或者向移动体U搭载的位置不同的两个GPS传感器等。相对位置传感器1、影像合成部2以及显示器3能够搭载于移动体U。此时，固定 照相机A和影像合成部2之间的连接，也能够通过有线进行连接，或者还能够通过无线进行 连接。在固定照相机A和影像合成部2之间用无线进行连接时，需要在固定照相机A和影 像合成部2上分别具备通信单元。另外，也可以不将相对位置计算部1、影像合成部2以及显示器3搭载于移动体U 而是设置于规定的场所。此时，用于获得移动体U的位置信息的传感器和相对位置计算部1 通过有线或无线进行连接，并且固定照相机A和移动照相机B与影像合成部2之间通过有 线或无线进行连接。此外，也可以在移动体U上只搭载相对位置计算部1而将影像合成部2和显示器3 设置在规定场所，或者在移动体U上搭载相对位置计算部1和影像合成部2而只将显示器 3设置在规定场所。实施方式2图3中表示本发明的实施方式2涉及的影像显示装置的构成。本实施方式2的构 成为在图1表示的实施方式1的装置中预先在规定的固定位置设置作为固定目标的标记 M，由此来代替具有用于获得移动体U位置信息的传感器，相对位置计算部1根据由移动照 相机B拍摄的标记M的图像计算出固定照相机A与移动照相机B的相对位置关系。如图4所示，相对位置计算部1包括依次与移动照相机B连接的图像处理单元4、 位置参数计算单元5以及相对位置确定单元6。另外，作为固定目标的标记M是固定设置在与固定照相机A具有规定的位置关系 的规定场所，并预先掌握标记M相对于固定照相机A的规定的位置关系的标记。作为该标 记M，例如如图5所示，可以使用四个直角等腰三角形相互抵接的具有正方形状的外形的图 形。相互邻接的直角等腰三角形用不同的颜色涂饰区分，该标记M具有由多条边的交点构 成的5个特征点Cl C5。如上所述，只要能够预先掌握标记M相对于固定照相机A的位置关系，则可以将标 记M配置在固定照相机A的视野以外。在本实施方式2中，也是按照图2表示的流程图的步骤Sl S5，将俯视影像等的 合成图像显示于显示器3，然而步骤3的固定照相机A与移动照相机B的相对位置关系的计 算方法与实施方式1不同，是按照图6的流程图表示的步骤S6 S8，并以如下方式进行相 对位置关系的计算。S卩，首先在步骤S6中，相对位置计算部1的图像处理单元4，从由移动照相机B拍摄的标记M的图像中抽出标记M的5个特征点Cl C5，且分别识别并取得图像上的这些特征点Cl C5的二次元坐标。然后，在步骤S7中，位置参数计算单元5根据由图像处理单元4识别出的特征点 Cl C5的各个二次元坐标，计算出由6个参数构成的位置参数，这6个参数是以标记M为 基准的移动照相机B的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋 转角)。在此，说明位置参数计算单元5的位置参数的计算方法。首先，以从移动体U上的规定位置相对于路面垂直向下而得到的地面上的点作为 原点0，假设水平方向设定了 χ轴和y轴、垂直方向设定了 ζ轴的路面坐标系，并且假设在由 移动照相机B拍摄的图像上设定了 X轴和Y轴的图像坐标系。图像坐标系中标记M的特征点Cl C5的坐标值Xm和Ym (m = 1 5)，是根据路 面坐标系中标记M的特征点Cl C5的6个位置参数，即坐标值xm、ym和zm以及上述倾角 (俯角)、水平角(方向角)、转向角(旋转角)的角度参数Kn(n = 1 3)，并用函数F和 G，以下列关系式来表示。Xm = F (xm, ym, zm, Kn) +DXmYm = G (xm, ym, zm, Kn) +DYm在此，DXm和DYm是用函数F和G计算出的特征点Cl C5的X坐标和Y坐标与 由图像处理单元4识别出的特征点Cl C5的坐标值Xm和Ym的偏差。即，通过分别表示5个特征点Cl C5的X坐标和Y坐标，对6个位置参数(xm， ym, zm, Kn)制成共计10个关系式。因此，求出使偏差DXm和DYm的平方和S = E (DXm2+DYm2)为最小的位置参数(xm， ym, zm, Kn) 0即，解决使S最小化的最佳化问题。公知的最佳化法例如可以用单工法、缩 减梯度法、牛顿法、准牛顿法等。这里，通过制成比要计算的位置参数(xm，ym，zm，Kn)的个数“6”更多的关系式来 决定位置参数，因此能够获得高精度的位置参数Um，ym, zm, Kn)。在本实施方式2中，虽然通过5个特征点Cl C5对6个位置参数(xm，ym, zm, Kn) 制成了 10个关系式，然而关系式的数量比要计算的位置参数(xm，ym, zm, Kn)的个数越多 越好，如果通过最少3个特征点制成6个关系式，就能够计算出6个位置参数(xm，ym, zm, Kn)。在步骤S8中，相对位置确定单元6使用这样计算出的移动照相机B的位置参数来 确定移动照相机B相对于固定照相机A的相对位置关系。即，根据使用位置参数计算单元 5计算出的位置参数，确定移动照相机B与标记M的相对位置关系，由于预先掌握了标记M 相对于固定照相机A的规定的位置关系，从而进一步确定移动照相机B与固定照相机A的 相对位置关系。如上所述，将由相对位置计算部1计算出的固定照相机A和移动照相机B的相对 位置关系发送到影像合成部2，影像合成部根据该相对位置关系将固定照相机A拍摄的影 像与移动照相机B拍摄的影像合成为一个并制成俯视影像显示于显示器3。这里，在本实施方式2中，由于计算出由6个参数构成的位置参数，S卩，以标记M为 基准的移动照相机B的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋 转角)，因此即使配置标记M的地面与移动体U当前位置的地面之间存在高低差或倾斜，也能够正确地确定标记M与移动照相机B的相对位置关系，进而正确地确定固定照相机A与移动照相机B的相对位置关系，因此能够制成高精度的俯视影像。然而，在配置标记M的地面与移动体U当前位置的地面之间不存在倾斜时，只要至 少计算出由以标记M为基准的移动照相机B的三次元坐标(X，y，ζ)和水平角(方向角)4 个参数构成的位置参数，就能够确定标记M与移动照相机B的相对位置关系。此时，只要用 标记M的最少两个特征点的二次元坐标来制成4个关系式就能够求出4个位置参数，然而， 优选地，使用更多特征点的二次元坐标并利用最小二乘法等，高精度地计算出4个位置参 数。此外，在标记M和移动体U位于同一平面上，并且配置标记M的地面与移动体U当 前位置的路面之间不存在高低差和倾斜时，只要至少计算出由以标记M为基准的移动照相 机B的二次元坐标(x，y)和水平角(方向角)3个参数构成的位置参数，就能够确定标记M 与移动照相机B的相对位置关系。此时，只要用标记M的最少两个特征点的二次元坐标来 制成4个关系式就能够求出3个位置参数，然而优选为，用更多特征点的二次元坐标并利用 最小二乘法等，高精度地计算出3个位置参数。实施方式3图7中表示本发明的实施方式3涉及的影像显示装置的构成。本实施方式3表示 了将固定照相机A固定在车库等驻车空间侧并且将移动照相机B搭载于向驻车空间进行驻 车的车辆上，并将图3表示的实施方式2的装置用于驻车辅助的例子。在驻车空间S的内部或附近配置驻车空间侧装置11，并在向驻车空间S进行驻车 的车辆上搭载有车辆侧装置12。驻车空间侧装置11具有固定照相机A，固定照相机A配置在驻车空间S的内部、用 于拍摄驻车空间S的入口附近，在固定照相机A上经由编码器13而连接有通信部14。编码 器13用于将由固定照相机A拍摄的影像压缩成适于无线传输的形式，通信部14主要用于 将由编码器13压缩的映像数据向车辆侧装置12发送。在固定照相机A和通信部14上连 接有控制部15。此外，驻车空间侧装置11具有固定设置在驻车空间S入口附近的地面的标 记M。这里，固定照相机A的内部参数(焦点距离、变形常数等)和外部参数(相对于驻 车空间S的相对位置、角度等)是预先已知的。同样，相对于固定照相机A的标记M的相对 位置也是已知的。另一方面，车辆侧装置12具有移动照相机B，移动照相机B设置在车辆的后部、用 于拍摄车辆的后方，在向驻车空间S后退驻车时，由该移动照相机B拍摄驻车空间S的标记 M。在移动照相机B上连接有相对位置计算部1。另外，车辆侧装置12具有与驻车空间侧装 置11的通信部14之间进行通信的通信部16，在该通信部16上连接有译码器17。译码器 17用于对由通信部16接收的来自驻车空间侧装置11的压缩的映像数据进行译码。影像合成部2与译码器17连接，影像选择部18与影像合成部2和移动照相机B 双方连接，并配置于该车辆驾驶席的显示器3与影像选择部18连接。另外，控制部19与移动照相机B、相对位置计算部1、通信部16以及影像选择部18 连接。移动照相机B的内部参数(焦点距离、变形常数等)以及相对于车辆的相对位置和角度等是预先已知的。如图4所示，车辆侧装置12的相对位置计算部1包括顺次连接于移动照相机B与影像合成部2之间的图像处理单元4、位置参数计算单元5、相对位置计算单元6。接下来，参照图8的流程图说明实施方式3的作用。首先，作为步骤S11，在使车辆位于驻车空间S附近且标记M进入移动照相机B的 视野内的状态下，通过车辆侧装置12的控制部19使移动照相机B动作进行标记M的拍摄。由移动照相机B拍摄的图像被输入到相对位置计算部1，然后在步骤S12中，相对 位置计算部1按照图6表示的流程图计算出移动照相机B与固定照相机A的相对位置关系。于是，控制部19根据由相对位置计算部1计算出的相对位置关系，计算出移动照 相机B相对于固定照相机A的相对距离L，并在步骤S13中将该相对距离L与规定值Lth进 行比较，在相对距离L大于规定值Lth时，在步骤S14中使影像选择部18选择移动照相机 B的映像数据。由此，如图9所示，在驾驶席的显示器3的画面上显示由移动照相机B拍摄 的车辆后方的影像。另一方面，在移动照相机B相对于固定照相机A的相对距离L小于规定值Lth时， 在步骤S15中控制部19从通信部16向驻车空间侧装置11发送映像数据的请求信号。在驻车空间侧装置11中，当由通信部14从车辆侧装置12接收到映像数据的请求 信号时，在步骤S16中，通过控制部15使固定照相机A动作，并在驻车空间S的入口附近进 行拍摄。而且，由编码器13将由固定照相机A拍摄的影像数据压缩成适于无线传输的形式 后，从通信部14向车辆侧装置12发送。在步骤S17中，当由车辆侧装置12的通信部16从驻车空间侧装置11接收到映像 数据时，该映像数据在被译码器17译码后发送到影像合成部2。在步骤S18中，影像合成部2根据固定照相机A和移动照相机B的相对位置关系， 将固定照相机A的影像和移动照相机B的影像合成为一个从而制成俯视影像。根据移动照相机B相对于固定照相机A的相对距离L小于规定值Lth的结果，在 步骤S19中，控制部19使影像选择部18选择影像合成部2的映像数据。由此，如图10所 示，在驾驶席的显示器3的画面上显示由影像合成部2制成的俯视影像。这里，在步骤S13中使用的规定值Lth为，例如假设驻车空间S的两侧部和内部被 墙面等分割的车库，并将后退驻车中的车辆V的一部分开始进入固定照相机A的视野内时 的移动照相机B与固定照相机A的相对距离设定为基准即可。只要这样设定规定值Lth，则在车辆V未进入固定照相机A的视野内时，如图9所 示，在显示器3的画面上显示由移动照相机B拍摄的车辆后方的影像，在车辆V进入到固定 照相机A的视野内之后，如图10所示，在显示器3的画面上显示俯视影像。因此，能够一边 看着显示器3上显示的俯视影像一边进行车辆V的驾驶操作，因而易于掌握车辆V与驻车 空间S的相对位置关系，从而能够使车辆V高精度地驻车于驻车空间S内。实施方式4图11中表示本发明的实施方式4涉及的影像显示装置的构成。本实施方式4的 构成为，在图3所示的实施方式2的装置中配置搭载于第一移动体Ul的第一移动照相机Bl 和搭载于第二移动体U2的第二移动照相机B2，由此来代替固定照相机A和移动照相机B， 并且在移动照相机Bl和B2上连接相对位置计算部21来代替相对位置计算部1，由上述移动照相机Bl和B2双方来拍摄共同的标记M。如图12所示，相对位置计算部21具有与第一移动照相机Bl连接的第一计算部22、与第二移动照相机B2连接的第二计算部23、与上述第一计算部22和第二计算部23连 接的第三计算部24，且第三计算部24与影像合成部2连接。接下来，参照图13的流程图说明实施方式4的作用。首先，在步骤S21中，在标记M进入第一移动照相机Bl的视野内的状态下，由第一 移动照相机Bl进行拍摄。然后，在步骤S22中，相对位置计算部21的第一计算部22，从第 一移动照相机Bl拍摄的标记M的图像中抽出标记M的5个特征点Cl C5，并在分别识别、 取得图像上的这些特征点Cl C5的二次元坐标之后，在步骤S23中，基于这些特征点Cl C5的二次元坐标计算出由6个参数构成的位置参数，这6个参数为以标记M为基准的第 一移动照相机Bl的三次元坐标(X，y，ζ)、倾角(俯角)、水平角(方向角)、转向角(旋转 角)。然后，在步骤S24中在标记M进入到第二移动照相机Β2的视野内的状态下，由第 二移动照相机Β2进行拍摄。接着，在步骤S25中，相对位置计算部21的第二计算部23，从 第二移动照相机Β2拍摄的标记M的图像中抽出标记M的5个特征点Cl C5，并在分别识 另O、取得图像上的这些特征点Cl C5的二次元坐标之后，在步骤S26中，基于这些特征点 Cl C5的二次元坐标计算出由6个参数构成的位置参数，这6个参数为以标记M为基准 的第二移动照相机B2的三次元坐标(x，y，z)、倾角(俯角)、水平角(方向角)、转向角(旋 转角)。此外，相对位置计算部21的第三计算部24，根据由第一计算部22和第二计算部 23计算出的第一移动照相机Bl和第二移动照相机B2的位置参数，在步骤S27中确定第一 移动照相机Bl和第二移动照相机B2的相对位置关系。这样，由相对位置计算部21计算出的第一移动照相机Bl与第二移动照相机B2的 相对位置关系被发送到影像合成部2，影像合成部2基于该相对位置关系，在步骤S28中，将 第一移动照相机Bl拍摄的影像和第二移动照相机B2拍摄的影像合成为一个从而制成俯视 影像，在步骤S29中，将该俯视影像显示于显示器3。实施方式5图14中表示本发明的实施方式5涉及的影像显示装置的构成。本实施方式5的 构成为，在图11所示的实施方式4的装置中，在不同的位置分别设置多个标记Ml和M2，并 由第一移动照相机Bl和第二移动照相机B2分别拍摄不同的标记，来代替由第一移动照相 机Bl和第二移动照相机B2拍摄共同的标记M。标记Ml和标记M2的相对位置关系是预先掌握的。例如，可以预先将标记Ml和标 记M2的相对位置关系存储于相对位置计算部21。或者，通过条形码等单元预先记录标记 Ml和M2各自的位置信息，以便从由各照相机拍摄的图像中识别其位置信息。或者也可以从 配置在各标记附近的无线发送机来发送标记Ml和M2各自的位置信息，并由第一移动体Ul 和第二移动体U2接收，从而识别其位置信息。在由第一移动照相机Bl拍摄标记Ml、由第二移动照相机B2拍摄标记M2时，相对 位置计算部21的第一计算部22基于由第一移动照相机Bl拍摄的标记Ml的图像，计算出 以标记Ml为基准的第一移动照相机Bl的位置参数，相对位置计算部21的第二计算部23基于由第二移动照相机B2拍摄的标记M2的图像，计算出以标记M2为基准的第二移动照相 机B2的位置参数。在此，由于预先掌握了标记Ml和标记M2的相对位置关系，因此相对位置计算部21 的第三计算部24能够根据由第一计算部22和第二计算部23分别计算出的位置参数和标 记Ml与M2之间的相对位置关系，确定第一移动照相机Bl与第二移动照相机B2的相对位
置关系。其结果是，影像合成部2能够基于该相对位置关系将由第一移动照相机Bl拍摄的 影像和由第二移动照相机B2拍摄的影像合成为一个制成俯视影像，并将该俯视影像显示 于显不器3。这里，在由各移动照相机Bi、B2拍摄的标记被确定为不是标记Ml和M2中任一个 时，或同时拍摄到两个标记Ml和M2时，为了判别所拍摄的标记是否为标记Ml和M2中的任 一个的图像，优选地，使双方的标记Ml和M2的形状、色彩等相互不同。其他实施方式在上述各实施方式中，由影像合成部2制成的合成影像不限于俯视影像，影像合 成部2能够制成与各照相机的视点不同的来自任意假想视点P的影像。另外，也不一定限 于来自与各照相机的视点不同的假想视点P的影像，影像合成部2可以制成来自多个照相 机中的任一个照相机的视点的影像。例如，在上述实施方式3中影像合成部2将驻车空间 侧的固定照相机A的影像转换成来自车载的移动照相机B的视点的影像，并与移动照相机B 的影像进行合成，由此能够获得如下的合成图像，该合成图像是对图9所示的、在仅由车载 的移动照相机B拍摄的影像中被墙壁遮挡而成为死角的驻车空间S内的区域进行透视而增 加的图像。或者，获得增加了在仅由车载的移动照相机B拍摄的影像中因在拍摄范围外而 成为死角区域的合成图像。在上述各实施方式中，虽然是将来自一台固定照相机A和一台移动照相机B、或者 来自两台移动照相机Bl和B2的影像进行合成，将来自相互的相对位置关系发生改变的三 台以上的照相机的影像进行合成，从而制成来自任意假想视点P的影像。另外，移动体U、UU U2不限于车辆等移动装置，例如也可以是拿着照相机步行的 人。实施方式2 5中所使用的标记具有使4个直角等腰三角形相互抵接的正方形状的外形，然而不限于此，也可以使用各种标记。然而优选为，对自然界存在的形状容易判别、 具备特殊的形状、色彩等，通过图像处理单元4的图像识别而容易认知其存在的标记，且容 易识别内部包含的特征点的标记。另外，为了能够基于所识别的特征点的二次坐标而高精度地计算出照相机和标记 的相对位置关系，优选设置在具有足够的大小并且照相机容易认知的场所。具体而言，能够 将照相机设置在所配置的场所的周边地面、墙面、顶面等。
权利要求
一种影像显示装置，其特征在于，具备多个照相机，它们相互的相对位置关系变化；相对位置计算部，其计算出所述多个照相机的相互的相对位置关系；影像合成部，其根据由所述相对位置计算部计算出的相对位置关系将来自所述多个照相机的影像相互合成，而制成规定视点下的影像；显示器，其显示由所述影像合成部制成的影像。
2.根据权利要求1所述的影像显示装置，其特征在于，所述多个照相机包括至少一个 移动照相机和至少一个固定照相机。
3.根据权利要求1所述的影像显示装置，其特征在于，所述多个照相机分别由移动照 相机构成。
4.根据权利要求2或3所述的影像显示装置，其特征在于，具有至少一个特征点的固定 目标预先被设置在规定的固定位置，所述相对位置计算部根据由所述移动照相机拍摄的所述固定目标的图像，计算出以所 述固定目标为基准的所述移动照相机的位置参数，并根据所计算出的位置参数计算出所述 移动照相机相对于其他照相机的相对位置关系。
5.根据权利要求4所述的影像显示装置，其特征在于，所述固定目标由规定形状的标 记构成。
6.根据权利要求1至5中任意一项所述的影像显示装置，其特征在于，所述影像合成部制成来自与所述多个照相机的视点不同的假想视点的影像，以作为规 定视点下的影像。
7.根据权利要求6所述的影像显示装置，其特征在于，所述影像合成部制成俯视影像，以作为规定视点下的影像。
8.根据权利要求1至5中任意一项所述的影像显示装置，其特征在于，所述影像合成部通过从所述多个照相机中任意一个照相机的视点观察并对死角区域 增加影像来制成影像，以作为规定视点下的影像。
9.一种影像显示方法，其特征在于，计算出相互的相对位置关系变化的多个照相机的相互的相对位置关系，根据计算出的相对位置关系将来自所述多个照相机的影像相互合成，而制成规定视点 下的影像，显示所制成的规定视点下的影像。
全文摘要
本发明提供一种影像显示装置以及影像显示方法。由固定照相机A进行拍摄并且由移动照相机B进行拍摄，由相对位置计算部1根据从用于获得移动体U的位置信息的传感器输入的检测信号来掌握移动体U的当前位置和方向，并且通过该移动体U的当前位置和方向与设置固定照相机A的规定的场所的比较，计算出移动照相机B相对于固定照相机A的相对位置关系。基于该相对位置关系，由影像合成部2将固定照相机A拍摄的影像和移动照相机B拍摄的影像合成为一个，并将来自假想的视点P的合成影响显示于显示器3。
文档编号B60R1/00GK101828394SQ20088011164
公开日2010年9月8日 申请日期2008年10月6日 优先权日2007年10月19日
发明者中岛丰, 富冈雅巳, 嶋崎和典, 木村富雄 申请人:株式会社丰田自动织机