专利名称：用于图像合成的设备及方法
技术领域：
本发明涉及一种图像合成设备，用于显示安装在车辆上的摄像机的所处理图像，以减少驾驶员的车辆的盲点，并便利驾驶操作。
背景技术：
传统地，作为用于合成从安装于车辆外围的多个摄像机获得的各个图像的图像合成设备，已经提出了一种图像合成设备，其中例如，自环绕驾驶员自己车辆的上方所见的图像被变形并合成，合成图像被显示在车辆内部的显示设备上(例如，见专利参考文件1)。也已经提出了另一种图像合成设备，其中，在图像的变形/合成中，虚拟视点(virtual viewpoint)的位置被动态地改变，以根据驾驶状况提供最佳视点图像(合成图像)(例如，见专利参考文件2)。
图3是专利参考文件2中所披露的车辆外围监视设备的示意配置的方框图。该图中所示的车辆外围监视设备包括摄像机单元101、模/数(A/D)转换单元102、帧存储器单元103、图像合成单元104、数/模(D/A)转换单元105、显示器106、变换表107和视点变化使用参数供应(viewpoint changing useparameter supplying)单元108。摄像机单元101包括多个摄像机C1到Cn。模/数转换单元102和帧存储器103也相应地包括模/数转换器AD1到ADn和帧存储器FM1到FMn，其个数等同于摄像机C1到Cn的个数。
由摄像机C1到Cn所拾取的图像被相应地存储在帧存储器FM1到FMn中。变换表107是用于失真校正的几何变换的ROM。视点变化使用参数供应单元108向图像合成单元104提供视点变化使用参数，以动态地改变视点变化。图像合成设备104由CPU或DSP(数字信号处理器)构成。图像合成设备104基于变换表107中的几何变换表来校正自摄像机C1到Cn获得的图像的失真，并基于自视点变换参数供应单元108提供的视点变换参数进行用于变换的地址计算。
在该方法中，对视点位置来说不变的、用于失真校正的变换表是预先计算的以构成该ROM。对于其变换规则是根据起始点而变化的视点变换/合成，基于从视点变换使用参数供应单元108提供的参数，连续地进行用于变换的地址计算。这样，通过动态地改变视点位置，可以根据驾驶状况，在安装于车辆内部的显示器106上显示最佳合成图像。
专利参考文件1JP-A-58(Showa)-110334专利参考文件2JP-A-2001-339716发明内容本发明所要解决的问题同时，考虑合成图像的图像质量，通过利用合成图像和输入图像之间的、非1像素对1像素而是1像素对多像素的对应关系而插补/产生合成图像，可以改善图像质量。在此情况下，如果二维地考虑输入图像，为了获得合成图像的一个像素，则需要X方向和Y方向的每个方向的两个像素，即总共四个像素。相应地，增加了存取帧存储器的数量。因为帧存储器中的存取的带宽影响生成成本，因此，重要的是如何以有限的存取带宽改善图像质量。具体地，有一种将图像质量的改善限定在合成图像的特定部分的技术，和另一种如果插补比例高的话无需插补读出一个像素的技术。但是，在这两种技术中，整个帧存储器的存取数量根据虚拟视点的位置而变化。
但是，在传统图像合成设备中，没有考虑由于虚拟视点的动态改变造成的对帧存储器的存取数量的增加或减少。因此，由于在帧存储器中存取带宽中的不足而导致的读出图像数据的失败，图像可能被丢失。另外，如果载入线存储器(line memory)，在先前线的时刻所读出的图像会被不利地显示。附带地，在NTSC(国家电视标准委员会)系统的情况下，因为在隔行扫描中的时间轴在偶数线和奇数线是不同的，例如，即使在同一图像中输出两条偶数线，对应于其间的奇数线的不同图像存在，以至于合成的图像变得不自然。
考虑到上述情况完成了本发明。本发明的一个目的是为了提供一种图像合成设备和图像合成方法，其在即使虚拟视点在动态地改变的情况下也能精确地显示合成图像。
解决问题的手段上述目的能通过下列配置和方法来实现。
(1)一种图像合成设备包括坐标变换表存储装置，用于存储表示输入图像和失真校正后图像之间的相关性的坐标变换表；虚拟视点变换数据产生装置，用于基于存储在坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；视点变换使用参数供应装置，用于向虚拟视点变换数据产生装置提供产生合成图像所需的关于虚拟视点位置的参数；存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且用帧存储器中残余的存取带宽，基于由虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来执行摄像机图像的读操作，从而产生合成图像，和用于如果由于帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，生成指示读操作失败的信息；以及虚拟视点图像变换装置，用于如果从存储器控制装置输出指示任何摄像机图像的读操作失败的信息，用另一图像数据替换由于帧存储器中存取带宽中的不足而不能被存储器控制装置读出的摄像机图像。
(2)在上述项(1)所定义的图像合成设备中，虚拟视点图像变换装置在不使用不能被存储器控制装置读出的摄像机图像的情况下产生合成图像。
(3)在上述项(1)中所定义的图像合成设备中，在产生从多个像素合成的单个合成像素的情况下，即使由于帧存储器中的存取带宽中的不足而不能从存储器控制装置读出该多个像素的部分，该虚拟视点图像变换装置也用其余的像素来产生合成图像。
(4)一种图像合成设备包括坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；虚拟视点变换数据产生装置，用于基于存储在坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生虚拟视点变换数据，其指示输入图像和从虚拟视点所见的合成图像之间的相关性；视点变换使用参数供应装置，用于向虚拟视点变换数据产生装置提供产生合成图像所需的关于虚拟视点位置的参数；帧存储器存取带宽计算装置，用于基于输入摄像机图像的数目和由虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来计算对帧存储器的存储器存取的数量；存储器存取数据控制装置，用于基于由帧存储器存取带宽计算装置所计算的存储器存取的数量，来控制虚拟视点变换数据的存储器存取数据的数量；以及存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被存储器存取数据控制装置控制的虚拟视点变换数据，执行摄像机图像的读操作，由此产生合成图像。
(5)一种图像合成方法，包括步骤准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；基于坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间的相关性的虚拟视点变换数据；执行对帧存储器的摄像机图像的写操作，并且还用帧存储器中残余的存取带宽，基于虚拟视点变换数据，来执行摄像机图像的读操作，从而产生合成图像；以及如果由于帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则用另一图像数据来替换不能从帧存储器读出的摄像机图像，从而产生合成图像。
(6)在上述项(5)中所定义的图像合成方法中，在不使用由于帧存储器中存取带宽中的不足而不能被读出的摄像机图像的情况下，产生合成图像。
(7)在上述项(5)中所定义的图像合成方法中，在产生从多个像素合成的单个合成像素的情况下，即使由于帧存储器中的存取带宽中的不足而不能从存储器控制装置读出该多个像素的部分，也用其余的像素来产生合成图像。
(8)一种图像合成方法，包括步骤准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的关于虚拟视点位置的参数；基于坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间的相关性的虚拟视点变换数据；基于如此产生的虚拟视点变换数据和输入摄像机图像的数目，计算对帧存储器的存储器存取的数量；基于如此计算的存储器存取的数量，控制虚拟视点变换数据的存储器存取数据的数量；以及执行对帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被控制的虚拟视点变换数据，来执行摄像机图像的读操作，从而产生合成图像。
本发明的优点在上述项(1)中所定义的图像合成设备中，用另一图像数据(例如，诸如位图数据的具体图像数据)来替换由于在帧存储器中存取带宽中的不足而不能被所述存储器控制装置所读出的摄像机图像，从而产生合成图像。由于该原因，即使动态地改变虚拟视点，也不会丢失该图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。
在上述项(2)中所定义的图像合成设备中，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(3)中所定义的图像合成设备中，在产生从多个像素合成的单个合成像素的情况下，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(4)中所定义的图像合成设备中，因为虚拟视点变换数据的存储器存取数据的数量被控制在不超出帧存储器中的存取带宽的范围内，所以可以省略用另一图像数据替换不能被读出的摄像机数据的处理。
在上述项(5)中所定义的图像合成方法中，用另一数据(例如，诸如位图数据的具体图像数据)来替换由于帧存储器中的存取带宽中的不足而不能被所述存储器控制装置所读出的摄像机图像，从而产生合成图像。由于这个原因，即使动态地改变虚拟视点，也不会丢失该图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。
在上述项(6)中所定义的图像合成方法中，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(7)中所定义的图像合成方法中，在产生从多个像素合成的单个合成像素的情况下，如果能从帧存储器读出至少一个摄像机图像，则实际摄像机图像的合成图像能被获得，而无需被另一图像数据(诸如位图数据的具体图像数据)替换。
在上述项(8)中所定义的图像合成方法中，因为虚拟视点变换数据的存储器存取数据的数量被控制在不超出帧存储器中的存取带宽的范围内，所以可以省略用另一图像数据替换不能被读出的摄像机数据的处理。
图1是显示根据本发明的第一个实施例的图像合成设备的示意配置的方框图。
图2是显示根据本发明的第二个实施例的图像合成设备的示意配置的方框图。
图3是传统图像合成设备的示意配置的方框图。
标记数字和符号的描述10摄像机单元11坐标变换表存储单元12虚拟视点变换数据产生单元13视点变换使用参数供应单元14存储器控制单元15帧存储器16虚拟视点图像变换单元17显示单元18帧存储器存取带宽计算单元19存储器存取数据控制单元本发明的最佳实施方式现在参考附图，将给出本发明的优选实施例的详细解释。
实施例1图1是显示根据本发明的第一个实施例的图像合成设备的示意配置的方框图。在该图中，根据本实施例的图像合成设备包括摄像机单元10、坐标变换表存储单元11、虚拟视点变换数据产生单元12、视点变换使用参数供应单元13、存储器控制单元14、帧存储器15、虚拟视点图像变换单元16和显示单元17。
如前，摄像机单元10由多个摄像机(未示出)构成，且用于拾取对象。坐标变换表存储单元11存储指示输入图像和失真校正后图像之间相关性(即变换后的图像坐标和变换前的图像坐标之间的关系)的坐标变换表。虚拟视点变换数据产生单元12连续地计算失真校正后的图像和合成图像之间的相关性，从而产生用于获得自虚拟视点所见图像的虚拟视点变换数据。该视点变换使用参数供应单元13向虚拟视点变换数据产生单元12提供用于产生合成图像所需的、关于虚拟视点位置的参数。帧存储器15存储摄像机图像。
存储器控制单元14执行对于帧存储器15的摄像机图像的写和读操作，来产生合成图像。虚拟视点图像变换单元16用诸如位图数据的另一图像数据替换由于帧存储器15中存取带宽中的不足而不能被存储器控制单元14读出的摄像机图像。在此情况下，如果至少一个摄像机图像可以从帧存储器15被读出，而无需用另一图像数据诸如位图数据替换，则可由获得实际摄像机图像的合成图像。显示单元17可视地显示从虚拟视点图像变换单元16所生成的合成后图像。
下面，将给出具有上述配置的图像合成设备的操作的解释。在虚拟视点变换数据产生单元12中，基于存储在坐标变换表存储单元11中的坐标变换表和从视点变换使用参数供应单元13提供的关于虚拟视点位置的参数，产生指示从虚拟视点所见的合成后图像和输入图像之间相关性的虚拟视点变换数据。虚拟视点变换数据的内容是对应于合成图像的XY坐标(Xo，Yo)的输入图像的XY坐标(Xi，Yi)，以及X轴插补系数Xk和Y轴插补系数Yk。(Xo，Yo)＝Xk×{Yk×(Xi，Yi)+(1-Yk)×(Xi，Yi+1)}+(1-Xk)×{Yk×(Xi+1，Yi)+(1-Yk)×(Xi+1，Yi+1)}......(1)在此情况下，合成图像的一个像素是从输入图像的四个像素(Xi，Yi)、(Xi，Yi+1)、(Xi+1，Yi)、(Xi+1，Yi+1)获得的。但是，考虑Xk＝1或Yk＝1的情况，实际所需的像素的个数根据插补系数的值在一个到四个像素的范围内变化。
存储器控制单元14执行对帧存储器15的摄像机图像的写操作，并且使用帧存储器15中残余的存取带宽，基于由虚拟视点变换数据产生单元12所产生的虚拟视点变换数据，而执行对摄像机图像的读操作，由此产生合成图像。如果由于帧存储器15中的存取带宽的不足而导致没有摄像机图像能被读出，则存储器控制单元14生成指示读操作失败的信息。在此情况下，在由于帧存储器15中的存取带宽的不足而导致没有摄像机图像能被读出的情况下，存储器控制单元14通知虚拟视点图像变换单元16该读操作的失败。在虚拟视点图像变换单元16中，基于从帧存储器15读取的摄像机图像，用上述公式(1)来计算合成后图像。该合成后图像被显示在显示单元17上。在此情况下，如果任何摄像机图像的读操作都以失败告终，则用任何位图数据替换合成后图像。
如上所述，在根据本实施例的图像合成设备中，已预备了指示输入图像和失真校正后图像之间的相关性的坐标变换表和用于产生合成图像所需的关于虚拟视点位置的参数；基于坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和虚拟视点之间相关性的虚拟视点变换数据；对帧存储器15执行摄像机图像的写操作，并且还使用帧存储器15中残余的存取带宽，执行基于虚拟视点变换数据的对摄像机图像的读操作，由此产生合成后图像；如果由于帧存储器15中存取带宽的不足而导致没有摄像机图像能被读出，则用任何位图数据来替换不能从帧存储器15读出的摄像机图像。由此，即使动态地改变虚拟视点以至于存储器控制单元14对帧存储器15的存取数量超过存取带宽，将不会丢失图像，且将不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。
当在车辆外围监视设备中使用根据本实施例的图像合成设备时，可能减少车辆驾驶员的盲点并便利驾驶操作。
附带地，在该实施例中，在虚拟视点图像变换单元16中，如果摄像机图像的读操作只以失败告终，则用任何位图数据替换有关合成图像。但是，在需要多个摄像机图像数据以计算合成图像的情况下，如果至少一个摄像机图像数据的读操作成功，则可以用该摄像机图像数据获得合成图像。
实施例2图2是显示根据本发明的第二个实施例的图像合成设备的示意配置的方框图。在该图像中，相同标记数字表示在图1中的相同的组成元件。在图2中，根据本实施例的图像合成设备包括摄像机单元10；坐标变换表存储单元11；虚拟视点变换数据产生单元12；视点变换使用参数供应单元13；帧存储器15；帧存储器存取带宽计算单元18，用于基于所输入的摄像机图像的数目和由虚拟视点变换数据产生单元12所产生的虚拟视点变换数据，计算对帧存储器15的存储器存取的数量；存储器存取数据控制单元19，用于如果由帧存储器存取带宽计算单元18计算的帧存储器15的存取数量超过帧存储器15中的存取带宽，通过控制虚拟视点变换数据的插补系数由此使Xk或Yk接近1来控制帧存储器15的存取数量；存储器控制单元14，用于执行对帧存储器15的摄像机图像的写操作，并且还使用帧存储器15中残余的存取带宽，基于其存储器存取数据的数量受存储器存取数据控制单元19控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成后图像；以及显示单元17，用于可视地显示由存储器控制单元14所产生的合成后图像。
接下来，将给出具有上述配置的图像合成设备的操作的解释。在虚拟视点变换数据产生单元12中，基于从坐标变换表存储单元11提供的坐标变换表和从坐标使用参数供应单元13提供的关于虚拟视点位置的参数，产生虚拟视点变换数据，其指示从虚拟视点所见的合成图像和输入图像之间的相关性。虚拟视点变换数据的内容，如在上述第一个实施例中一样，是对应于合成图像的XY坐标(Xo，Yo)的输入图像的XY坐标(Xi，Yi)，以及X轴插补系数Xk和Y轴插补系数Yk。帧存储器存取带宽计算单元18基于摄像机图像和虚拟视点变换数据，计算用于存取帧存储器15所需的存取的数量。如果该存取的数量超过存取后的带宽，在存储器存取数据控制单元19中，以接近于1的值的顺序，使X轴插补系数和Y轴插补系数近似到“1”，由此控制存取的数量。当存取的数量变得低于存取带宽时，完成该控制。在存储器控制单元14中，执行对帧存储器15的摄像机图像的写和读操作，以便基于如此读取的摄像机图像产生合成图像。在显示单元17上显示合成图像。
如上所述，在根据本实施例的图像合成设备中，准备指示输入图像和失真校正后的图像之间的相关性的坐标变换表和产生合成图像所需的关于虚拟视点位置的参数；基于该坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和虚拟视点之间的相关性的虚拟视点变换数据；基于所产生的虚拟视点变换数据和输入摄像机图像的个数，来计算对帧存储器15的存储器存取的数量；基于所计算的存储器存取的数量，来控制虚拟视点变换数据的存储器存取数据的数量；对帧存储器15执行摄像机数据的写操作，并且用帧存储器15的残余存取带宽，执行基于其存储器存取数据的数量被控制的虚拟视点变换数据的、摄像机图像的读操作。由此，即使动态地改变虚拟视点，以至于存储器控制单元14对帧存储器15的的存取数量超过存取带宽，也不会丢失图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示不会让驾驶员混淆的精确的合成图像。具体地，在本实施例中，因为虚拟视点变换数据的存储器存取数据的数量被控制在不超过帧存储器15的存取带宽的范围内，所以可以省略以另一图像数据替换不能被其他图像数据读出的摄像机图像的处理。
同样在车辆外围监视设备中使用根据本实施例的图像合成设备的情况下，可能监视车辆驾驶员的盲点，并便利驾驶操作。
参考具体实施例已经详细地解释了本发明。但是，对本领域技术人员来说显而易见的是，本发明可以在不脱离本发明的精神和范围的情况下以各种方式改变或修改。
本申请基于在2005年7月15日的日本专利申请(专利申请No.2005-207044)，其内容被引用附于此。
工业适应性本发明产生效果，即，即使动态地改变虚拟视点，也不会丢失图像，且不会显示在先前线时刻所读出的图像，从而允许始终显示精确的合成图像。因此，本发明能被应用于车辆外围监视设备，以显示安装在车辆上的摄像机的处理后的图像。
权利要求
1.一种图像合成设备，包括坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；虚拟视点变换数据产生装置，用于基于存储在所述坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；视点变换使用参数供应装置，用于向所述虚拟视点变换数据产生装置提供产生合成图像所需的关于所述虚拟视点位置的参数；存储器控制装置，用于执行对帧存储器的摄像机图像的写操作，并且用所述帧存储器中残余的存取带宽，基于由所述虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像，和用于如果由于所述帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则生成指示读操作失败的信息；以及虚拟视点图像变换装置，用于如果从所述存储器控制装置输出指示任何摄像机图像的读操作失败的信息，用另一图像数据替换由于帧存储器中存取带宽中的不足而不能被所述存储器控制装置读出的摄像机图像。
2.根据权利要求1所述的图像合成设备，其中，所述虚拟视点图像变换装置在不使用不能被所述存储器控制装置读出的摄像机图像的情况下产生合成图像。
3.根据权利要求1所述的图像合成设备，其中，在产生从多个像素合成的单个合成像素的情况下，即使由于所述帧存储器中的存取带宽的不足而不能从所述存储器控制装置读出所述多个像素的部分，所述虚拟视点图像变换装置也用其余的像素来产生合成图像。
4.一种图像合成设备包括坐标变换表存储装置，用于存储指示输入图像和失真校正后图像之间的相关性的坐标变换表；虚拟视点变换数据产生装置，用于基于存储在所述坐标变换表存储装置中的坐标变换表和关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；视点变换使用参数供应装置，用于向所述虚拟视点变换数据产生装置提供产生合成图像所需的关于所述虚拟视点位置的参数；帧存储器存取带宽计算装置，用于基于输入摄像机图像的数目和由所述虚拟视点变换数据产生装置所产生的虚拟视点变换数据，来计算对帧存储器的存储器存取的数量；存储器存取数据控制装置，用于基于由所述帧存储器存取带宽计算装置计算的存储器存取的数量，来控制所述虚拟视点变换数据的存储器存取数据的数量；以及存储器控制装置，用于执行对所述帧存储器的摄像机图像的写操作，并且还使用所述帧存储器中残余的存取带宽，基于其存储器存取数据的数量被存储器存取数据控制装置控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像。
5.一种图像合成方法，包括步骤准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；基于所述坐标变换表和所述关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；执行对帧存储器的摄像机图像的写操作，并且还使用所述帧存储器中残余的存取带宽，基于所述虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像；以及如果由于所述帧存储器中存取带宽中的不足而导致没有摄像机图像能被读出，则用另一图像数据来替换不能从帧存储器读出的摄像机图像，由此产生合成图像。
6.根据权利要求5所述的图像合成方法，其中，在不使用由于所述帧存储器中存取带宽中的不足而不能被读出的摄像机图像的情况下，产生合成图像。
7.根据权利要求5所述的图像合成方法。其中在产生从多个像素合成的单个合成像素的情况下，即使由于所述帧存储器中的存取带宽的不足而不能从所述存储器控制装置读出所述多个像素的部分，也用其余的像素来产生合成图像。
8.一种图像合成方法，包括步骤准备指示输入图像和失真校正后图像之间的相关性的坐标变换表和产生合成图像所需的、关于虚拟视点位置的参数；基于所述坐标变换表和所述关于虚拟视点位置的参数，产生指示输入图像和从虚拟视点所见的合成图像之间相关性的虚拟视点变换数据；基于如此产生的虚拟视点变换数据和输入摄像机图像的数目，计算对帧存储器的存储器存取的数量；基于如此计算的存储器存取的数量，控制所述虚拟视点变换数据的存储器存取数据的数量；以及执行对所述帧存储器的摄像机图像的写操作，并且还使用帧存储器中残余的存取带宽，基于其存储器存取数据的数量被控制的虚拟视点变换数据，来执行摄像机图像的读操作，由此产生合成图像。
全文摘要
一种用于合成图像的设备和方法，通过其，即使当虚拟视点被动态地改变时，也能正确显示合成图像。提供指示输入图像和失真校正后图像之间的对应关系的坐标变换表，和产生合成图像所需的关于虚拟视点位置的参数。基于该坐标变换表和关于虚拟视点位置的参数，产生表示输入图像和从虚拟视点所见的合成图像之间的对应关系的虚拟视点变换数据，在帧存储器(15)中写入摄像机图像，并通过用帧存储器(15)的残余存取带宽，基于虚拟视点变换数据读出摄像机图像，来产生合成图像，并且，当由于帧存储器(15)的不足的存取带宽而不能读出摄像机图像时，用任意位图数据替换不能从帧存储器(15)读出的摄像机图像。
文档编号G06T3/00GK101080741SQ20068000134
公开日2007年11月28日 申请日期2006年6月30日 优先权日2005年7月15日
发明者川上智之 申请人:松下电器产业株式会社