专利名称：视频合成设备及视频合成方法
技术领域：
本发明涉及视频合成设备及视频合成方法，用于接收多个视频信号并且输出多个通过以不同模式合成该被接收的视频信号而获得的视频信号。
背景技术：
在所谓的多点电视会议，其中在多个终端之间通过使用扩音器音频和摄像机视频图像进行通讯的情况下，如果各个终端简单地以全网络形式连接，在通讯和终端处理方面的负载是相当重的。因而，在通常的情况下应用一种提供MCU(多点会议单元)的技术。MCU是一种服务器，具有与终端连接、从终端接收音频信号和视频图像、合成这些信号和图像、并且把结果的合成视频图像和音频信号传输到各个终端的功能。由于有了该MCU，终端能够仅通过与MCU通讯并接收合成音频信号和合成视频图像从而从所有参与者获得音频信号和视频图像，导致通讯和终端处理方面的高效率。因而，MCU在多点电视会议中扮演了一个重要的角色，且一种视频合成技术因此而被利用。
作为视频合成技术的另一应用，在监视摄像机中存在一个屏幕分离单元。通常，在一座大楼等建筑中安装多个监视摄像机。如果这些监视摄像机使用分离的监视器观察和记录，设备会变得规模太大，导致便利性降低。因此，在通常使用的技术中都应用屏幕分离单元，且多个摄像视频图像被合成从而生成一个视频信号。该一个视频信号使用单独的监测器观看或者使用单独的视频记录器记录。
然而，大多数常规的视频合成技术仅输出单一的合成视频图像。极少有常规的技术建议输出多个合成视频图像。
例如，现在将考虑一个电视会议的情况。即使在如常规技术那样生成一种类型的合成视频图像且所有参与者观看该图像的模式中，电视会议也可以被实现。然而，为了追求更大的便利性，例如，也产生了从多个合成视频图像中所选择的一个特定视频图像被选中和显示的要求。其一个解决方案在日本专利申请公开公告号11-88854中被描述。然而，当某个视频图像被选中时，根据日本专利申请公开公告号11-88854中描述的技术，被选中的视频图像之外的其他视频图像不能被观看。如果合成的方法被改变，以及例如通过将其他被缩减比例的图像插入到一个被选中的视频图像中所获得的合成视频图像可以被显示，就可以更方便于使用。或者如果能显示通过将一个视频图像缩放到相对的一定程度而不是将其选中在整个屏幕上，并且在被选中的视频图像周围显示其他缩减比例的参与者所获得的合成视频图像，将更方便于使用。在此情况中，考虑到很自然会发生参与者要求选中不同的视频图像的情况。因此，需要为各个终端以不同的模式合成视频图像并且输出多个不同的合成视频图像。
就我们知道的而言，在日本专利申请公开公告号5-103324中仅描述了输出多个合成视频图像的一种模块。在日本专利申请公开公告号5-103324中，比例缩减电路缩减存储在视频存储器中的输入视频图像的比例，且合成电路合成经缩减比例的视频图像并且输出结果的合成视频图像。然而，如果假设这个模块被实际安装，则存在电路变得复杂的问题。具体地说，下列问题会出现。
首先，输出合成视频信号的合成电路通常以基于输出信号的标准的时序输出信号。因此，输入信号必须以这样的时序输入到合成电路，该时序使输出时序满足考虑到合成电路自身中的处理延迟的标准。(如果在输入信号和合成电路之间设置缓冲器，输入信号必须在容许的时序内被输入。)另一方面，为了使合成电路以上述时序输出信号，生成输入到合成电路的信号的比例缩减电路必须以适当的时序从视频存储器中读出数据，该时序考虑到比例缩减电路自身的处理延迟。这样，根据来自合成电路的信号的最终输出时序，必须确定比例缩减电路的考虑到合成电路的处理延迟的输出时序，并确定考虑到比例缩减电路的处理延迟的从视频存储器中读出数据的时序。
如果在上述配置中，合成电路被形成为能动态地改变合成模式且比例缩减电路被形成为能够动态地改变比例缩减因数，那么延迟时序也动态地改变。结果，应付延迟的处理不再简单，导致电路变复杂和电路规模的增加。
发明内容
根据本发明的一个方面提供一种视频合成设备，该设备包括每一个均被配置为根据比例因数调节输入视频图像的比例从而生成按比例调节的输入视频图像的I视频比例调节单元；被配置为存储按比例调节的输入视频图像的视频存储单元；被设置为分别与视频比例调节单元相关联，每一个均被配置为生成请求视频存储单元把视频比例调节单元所生成的按比例调节的输入视频图像写入视频存储单元中的预定区域内的写请求器；一个或多个被配置为基于在每个合成视频图像上规定按比例调节的输入视频图像的布局的每个J视频布局信息块发出在视频存储单元中的按比例调节的输入视频图像的读请求器；被配置为响应读请求从视频存储单元中读出按比例调节的输入视频图像的读控制器；和被设置为分别与J视频布局信息块相关联，每一个均被配置为从由读控制器对应于视频布局信息块读出的按比例调节的视频图像中生成合成视频图像中的一个图像的J合成视频图像生成器。
根据本发明的一个方面提供一种视频合成方法，该方法包括根据多个比例因数调节每个I输入视频图像的比例从而生成每个输入视频图像的多个按比例调节的输入视频图像；把每个输入视频图像生成的按比例调节的输入视频图像写入视频存储单元中的预定区域内；基于当输入视频图像被合成时规定输入视频图像的布局的视频布局信息的每个J视频布局信息块从视频存储单元中读出视频图像信号；以及从基于每个视频布局信息块从视频存储单元读出的视频图像信号中生成合成视频图像。
图1是示意性地显示根据本发明的第一实施例的视频合成设备结构的框图；图2是示意性地显示图1中所示的视频合成设备被应用到其中的电视会议系统结构的框图；图3所示的是视频布局实例的示意图；图4是示意性地显示根据本发明的第二实施例的视频合成设备结构的框图；图5所示的是具有多个请求信息生成器的视频布局信息管理器结构的示意图；图6所示的是多个视频帧如何随着时间被输出的示意图；图7所示的是具有单一请求信息生成器的视频布局信息管理器结构的示意图；图8是示意性地显示根据本发明的第四实施例的视频合成设备结构的框图；图9是示意性地显示根据本发明的第五实施例的视频合成设备结构的框图；图10是示意性地显示根据本发明的第一实施例的视频合成设备另一结构的框图。
具体实施例方式
(第一实施例)图1是示意性地显示根据本发明的第一实施例的视频合成设备结构的框图。图2是示意性地显示图1所示的视频合成设备被应用到其中的电视会议系统结构的框图。
在图2中，终端12(1)至12(4)经由没有被显示的网络连接到视频合成设备11。终端12(1)至12(4)生成视频信号(输入视频图像)13(1)至13(4)，且把它们传输到视频合成设备11。此外，终端12(1)至12(4)把将被用于视频合成设备11中的视频合成的视频布局信息14(1)至14(4)传递到视频合成设备11。每次布局被改变，终端12(1)至12(4)重新生成视频布局信息并把它们传输到视频合成设备11。视频合成设备11基于视频布局信息14(1)至14(4)合成视频信号13(1)至13(4)，为终端12(1)至12(4)生成合成视频图像，并且把合成视频信号(输出视频图像)15(1)至15(4)分别传输到终端12(1)至12(4)。换句话说，四个视频信号被输入到视频合成设备11，且视频合成设备11通过合成四个视频信号生成并输出四个合成视频信号。视频信号根据例如ITU-R(国际电信同盟-无线电通讯)BT.656中的规范作为数字信号被传输，且视频信号包含像素值信息。为了同步视频帧，同步编码以预定时序插入视频信号。同步编码是一组FF，00，00和XX。表示帧上位置的编码被放进XX。
顺便提起，实际上，压缩传输可以使用没有被说明的MPEG解码器和编码器在视频信号传输时进行。换句话说，传输视频图像的设备首先将视频信号编码为MPEG流，接收MPEG流的设备将MPEG流解码并恢复视频信号。根据前文描述，假设在这种情况下，从输入终端提供的并由视频合成设备解码的输入视频信号，以及由视频合成设备编码并提供到终端的输出视频信号是基于例如BT.656规范的视频信号。
在图1中，视频合成设备11包括分析单元21(1)至21(4)，可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)，RAM控制器23，RAM24，请求器25(1)至25(4)，生成器26(1)至26(4)，和视频布局信息管理器27。在此实施例中的可变比例缩减单元分别具有作为写请求器的功能。在此实施例中的视频布局信息管理器27具有作为比例指定单元的功能。
分析单元21(1)至21(4)分析包括在被输入其中的视频信号13(1)至13(4)中的同步编码，并且得到当前像素数据在输入视频图像上的坐标。
视频布局信息管理器27基于视频布局信息14(1)至14(4)分别管理用于终端12(1)至12(4)的合成视频图像的布局。视频布局信息管理器27基于视频布局信息14(1)至14(4)分别计算用于输入视频图像13(1)至13(4)的比例因数(在本例中为比例缩减因数)，并且通知可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)计算得到的比例缩减因数。每次视频布局信息被更新，视频布局信息管理器27基于更新的视频布局信息分别计算用于输入视频图像13(1)至13(4)的比例缩减因数，并且通知可变比例缩减单元计算得到的比例缩减因数。
可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)被配置为能够根据多个比例缩减因数分别缩减输入视频图像的比例。可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)基于视频布局信息管理器27规定的比例缩减因数缩减输入视频图像13(1)至13(4)的比例。
例如，可变比例缩减单元22(1-1)、22(1-2)、22(1-3)和22(1-4)根据视频布局信息管理器27规定的比例缩减因数缩减部署在输出视频图像15(1)至15(4)上的输入视频图像13(1)的比例。此外，可变比例缩减单元22(1-1)、22(2-1)、22(3-1)、22(1-4)(校注原文如此，但根据前面的规律似乎应该是“4-1”，请再审核)根据视频布局信息管理器27规定的比例缩减因数缩减部署在输出视频图像15(1)上的输入视频图像13(1)至13(4)的比例。
可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)基于分析单元21(1)至21(4)分析的坐标信息缩减输入视频图像13(1)至13(4)的比例，并且请求RAM控制器23把被缩减比例的视频图像(像素值信息)写入RAM24中的预定区域(用于可变比例缩减单元的帧缓冲器)中。可变比例缩减单元对应于例如视频比例调节单元。
RAM控制器23控制写入存储视频信号的RAM24以及控制从RAM24中的读取。RAM控制器23把从可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)中接收的像素值信息写入由可变比例缩减单元规定的RAM24中的区域，基于来自请求器25(1)至25(4)的读请求从RAM24中读出像素值信息，并且把像素值信息输出到生成器26(1)至26(4)。RAM控制器对应于例如写请求器和读控制器。
每个生成器26(1)至26(4)基于从RAM控制器23接收的像素值信息生成通过合成视频信号13(1)至13(4)获得的合成视频信号，并且输出已生成的合成视频信号，同时适当地插入同步信号和空位。同时，生成器26(1)至26(4)管理当前正被输出的合成视频信号的视频帧中的坐标，并且基于当前正被输出的合成视频信号通知请求器25(1)至25(4)随后将被读取的坐标信息。
请求器25(1)至25(4)基于从生成器26(1)至26(4)提供的坐标信息通过参考视频布局信息管理器27中的视频布局信息把随后将要读取的像素值信息的读请求发出到RAM控制器23。RAM控制器23从RAM24中读出被请求的像素值信息，并且把像素值信息发送到生成器26(1)至26(4)。
RAM24具有与可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)相关的帧缓冲器。换句话说，RAM24具有与这些可变比例缩减单元相关的总计4×4＝16个帧缓冲器。像素值信息以例如它的头地址开始的顺序被写入每个帧缓冲器。每次输入视频图像的帧被改变，再次从头地址开始进行重写。顺便提起，如果所谓的双缓冲器结构被采用，那么每个帧缓冲器的容量加倍。
由于RAM控制器以被请求的顺序连续进行处理，因而在一些情况中在请求和执行之间有一个时间滞差。因此，临时保存数据的缓冲器可以设置在可变比例缩减单元和RAM控制器之间，和/或在RAM控制器和生成器之间。
下文将描述由视频合成设备进行的详细处理的流程。
在图1的左侧所示的输入系统中，8位并行像素值信息以屏幕上顶部最左侧像素开始到屏幕上底部最右像素结束的顺序，根据27-MHz时钟被输入到每个分析单元21(1)至21(4)作为视频信号。在每个帧中每一行的每个开始位置和结束位置中，一个预定的同步编码被插入到视频信号中。另外，在每个帧的开始位置，表示帧开始的同步编码被插入到视频信号中。
每个分析单元21(1)至21(4)管理其中的X坐标值(例如，0至1715(包括水平空位))和Y坐标值(例如，0至524(包括垂直空位))。每次像素数据到达，每个分析单元21(1)至21(4)将X坐标值加一。如果X坐标值到达它的最大值，则每个分析单元21(1)至21(4)再一次从零计数并且将Y坐标值加一。如果上述同步编码中的一个被检测到且该同步编码表示帧的开始位置，则每个分析单元21(1)至21(4)使其中管理的X坐标值和Y坐标值复位。
如果当前坐标位置在1/1缩减比例时在空位区域中，像素值信息是无效的。因此，每个可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)丢弃像素值信息。如果当前坐标位置不在空位区域中，则可变比例缩减单元将当时的像素值信息传送到RAM控制器23。另外，可变比例缩减单元在帧缓冲器中规定一个地址用于和像素值信息的坐标相关的1/1缩减比例，作为像素值信息应被写入其中的地址。如果当前坐标位置在1/2缩减比例时不在空位区域中，则可变比例缩减单元把通过适当进行像素值信息平均以及在垂直方向和水平方向将输入视频图像比例缩减到一半所获得的信息传送到RAM控制器23。在与上述相同的方法中，可变比例缩减单元同样把要被写入的地址传送到RAM控制器23。同样在其它比例缩减因数的情况中，可变比例缩减单元把信息传送到RAM控制器23，同时适当缩减输入视频图像的比例。
例如，如果输出视频图像15(1)被请求具有如图3所示的视频布局，输入视频图像13(1)比例被缩减到1/2。因此，可变比例缩减单元22(1-1)执行1/2比例缩减。RAM控制器23把从可变比例缩减单元22(1-1)中接收的像素值信息适当写入由可变比例缩减单元22(1-1)规定的RAM24中的地址。前文的描述同样也适用于其它输入视频图像13(2)至13(4)。
另一方面，在图1右侧所示的输出系统中，每个生成器26(1)至26(4)管理X坐标值和Y坐标值，并且根据27MHz时钟以与分析单元21(1)至21(4)相同的方法依次更新该数值，从而以与输入系统相同的方法生成BT.656信号。
如果图3中所示的上述视频布局被请求，请求器25(1)基于由生成器26(1)规定的坐标值规定输入视频图像中的一个坐标地址，并且把该坐标地址发送到RAM控制器23。如果由生成器26(1)规定的坐标值表示视频布局中的左上方位置，则请求器25(1)在比例缩减到1/2的输入视频图像13(1)中规定一个坐标地址。如果由生成器26(1)规定的坐标值表示视频布局中的右上方位置，请求器25(1)在比例缩减到1/2的输入视频图像13(2)中规定一个坐标地址。如果由生成器26(1)规定的坐标值表示视频布局中的左下方位置，请求器25(1)在比例缩减到1/2的输入视频图像13(3)中规定一个坐标地址。如果由生成器26(1)规定的坐标值表示视频布局中的右下方位置，请求器25(1)在比例缩减到1/2的输入视频图像13(4)中规定一个坐标地址。RAM控制器23从请求器25(1)规定的RAM24中的地址读取像素值信息，并且把这样读取的像素值信息传送到生成器26(1)。
每个生成器26(1)至26(4)输出该被接收的像素值信息，作为根据27-MHz时钟的ITU-R BT.656信号，同时在其中适当插入空位和同步编码。
根据本实施例，如上所述，能够以四种模式构成四个输入视频图像并生成和输出四个合成视频图像。
此外，每个可变比例缩减单元与相关的输入视频图像同步进行处理，且每个请求器与相关的输出视频图像同步进行处理。换句话说，可变比例缩减单元和请求器彼此不同步，并且它们也不必彼此合作。因此，与日本专利申请公开公告号5-103324中描述的技术相比，实现一种简单的算法。因此，可以实现更简单的并具有更小电路规模的电路。
顺便提一下，如图10中所示，一个请求器25可以把对于多个输出视频图像(即，输出视频图像15(1)至15(4))的像素值信息的读请求发出到RAM控制器23a。一个要点是对于多个输出视频图像的像素值信息的读请求被发出到RAM控制器23a。
在本实施例中，已经描述了四个视频信号被输入且四个合成视频图像被生成的一个实例。然而，输入视频图像的个数不必一定是四个。被生成的合成视频图像的个数也没有被限制为四个。视频信号的个数和合成视频图像的个数可以大于或小于四个，只要个数至少是两个。该个数可以彼此不同。此外，用于输入视频信号和输出视频信号的标准可以不是ITU-R BY.656。在本实施例中，简单地平均像素值的方法被用作缩减比例处理。由于缩减比例算法自身与本实施例的本质无关，因而利用一些过滤器的方法也可以被使用。在本实施例中，每一个RAM和RAM控制器均是单一的装置。或者，每一个RAM和RAM控制器可以根据可变比例缩减单元的个数和输出个数(视频布局信息块的个数)被分解成多个元件。本发明也结合了这个情况。视频布局可以包括根据布局模式去除多个输入视频图像中的一个或多个图像，另外，也包括切除输入视频图像的一部分从而去除该被切除的输入视频图像。更进一步，视频布局可以包括让输入视频图像重叠，从而部署被重叠的输入视频图像。视频布局可以包括在视频图像没有被部署的区域中显示背景颜色。视频布局可以包括在输入视频图像周围显示一个帧。视频布局可以包括视频图像的倒转，或重叠多个视频图像并且进行透明合成。由分析单元、可变比例缩减单元、视频布局信息管理器、请求器和生成器进行的处理可以通过让计算机执行基于普通的编程技术生成的程序而实现，或者这样的处理可以利用硬件来实现。在本节中的说明也以相同方法应用到随后描述的实施例中。
(第二实施例)图4是示意性地显示根据本发明的第二实施例的视频合成设备结构的框图。
本实施例不同于第一实施例的是，如图1所示的可变比例缩减单元22(1-1)至22(1-4)，22(2-1)至22(2-4)，22(3-1)至22(3-4)和22(4-1)至22(4-4)被固定比例缩减单元28(1-1)至28(1-4)，28(2-1)至28(2-4)，28(3-1)至28(3-4)和28(4-1)至28(4-4)代替，该固定比例缩减单元根据固定因数进行比例缩减。
每个固定比例缩减单元28(1-1)至28(1-4)，28(2-1)至28(2-4)，28(3-1)至28(3-4)和28(4-1)至28(4-4)仅根据一个明确的比例缩减因数进行比例缩减，且比例缩减因数不由视频布局信息管理器27规定。不考虑动态改变视频布局信息，每个固定比例缩减单元28(1-1)至28(1-4)，28(2-1)至28(2-4)，28(3-1)至28(3-4)和28(4-1)至28(4-4)总是以相同的比例缩减因数缩减输入视频图像的比例，并且经由RAM控制器23把像素值信息写入RAM24。在本例中，给出四个固定因数1/1、1/2、1/3和1/4。在RAM24中存在总计4×4＝16个帧缓冲器。(在所谓双缓冲器的情况中，存在加倍的缓冲器)。
其余部件的结构和操作与第一实施例相同。
换句话说，请求器25(1)至25(4)基于视频布局信息管理器27中的视频布局信息和由生成器26(1)至26(4)规定的坐标信息，把来自RAM24中的帧缓冲器的像素值信息的读请求发出到RAM控制器23。RAM控制器23从RAM24中读出像素值信息，并且把该像素值信息输出到生成器26(1)至26(4)。现在假设，例如使用上述图3中的视频布局。如果由生成器26(1)至26(4)规定的坐标值表示视频布局中的左上方位置，请求器25(1)至25(4)在比例缩减到1/2的输入视频图像13(1)中规定一个坐标地址。如果由生成器26(1)至26(4)规定的坐标值表示视频布局中的右上方位置，请求器25(1)至25(4)在比例缩减到1/2的输入视频图像13(2)中规定一个坐标地址。如果由生成器26(1)至26(4)规定的坐标值表示视频布局中的左下方位置，请求器25(1)至25(4)在比例缩减到1/2的输入视频图像13(3)中规定一个坐标地址。如果由生成器26(1)至26(4)规定的坐标值表示视频布局中的右下方位置，请求器25(1)至25(4)在比例缩减到1/2的输入视频图像13(4)中规定一个坐标地址。RAM控制器23从请求器25(1)至25(4)规定的RAM24的地址中读取像素值信息，并且把这样读取的像素值信息传送到生成器26(1)至26(4)。
现在将描述与第一实施例以及常规技术相比较的本实施例的效果。
在第一和第二实施例中，输入视频图像的个数是四个。现在假设，输入视频图像的个数是N。在第二实施例中，为每一个输入视频图像设置四个分别具有比例缩减因数1/1、1/2、1/3和1/4的固定比例缩减单元。固定缩减比例的个数可以大于四个或可以小于四个，只要至少有两个。每个输入视频图像的固定缩减比例的个数由M表示。然而，1/1比例缩减单元基本不进行缩减比例处理。因此，固定比例缩减单元的总个数基本上变成(M-1)×N。另一方面，如果相同的N个输入视频图像和N个输出视频图像被实现，根据日本专利申请公开号5-103324或第一实施例，必须要有N×N个可变比例缩减单元。两者之间的比率是(M-1)/N。
考虑到在实际的电视会议中的MCU和监视摄像机中的屏幕分离单元，在大多数情况中N的数值通常为4或更大。另一方面，关于M的数值，安排在合成屏幕上的输入视频图像的个数在一个方向上最多大致为4，(换句话说，在屏幕上最多大致为4×4＝16)。因此，经常利用的比例缩减因数为1/1、1/2、1/3、1/4、2/3和3/4(比例缩减因数的总数为六个)。除了1/1以外，该个数至多大致为五个。如果N≥4且M＝6，因此，就得到(M-1)/N≤5/4≈1。固定比例缩减单元的个数至多等于可变比例缩减单元的个数。
和具有固定比例缩减因数的固定比例缩减单元不同，具有可变比例缩减因数的可变比例缩减单元必须应对每个可能存在的比例缩减因数。因此，可变比例缩减单元的电路规模远大于固定比例缩减单元。因此，如果(M-1)接近等于N，根据本实施例，可以使比例缩减单元的电路规模与第一实施例和常规技术相比总体上远小于对方。
(第三实施例)在第一和第二实施例中，已经描述了图1和4中所示的请求器通过利用视频布局信息向RAM控制器发出读请求。然而，事实上，图1和4中所示的请求器通过利用从视频布局信息中生成的请求信息向RAM控制器发出读请求。因此，为了请求器发出读请求必须先获得请求信息。这个请求信息由视频布局信息管理器27生成。因此，例如如图5所示，视频布局信息管理器27包括请求信息生成器31(1)至31(4)，它们基于视频布局信息14(1)至14(4)生成请求信息。
下面简要叙述视频布局信息和请求信息。
视频布局信息是规定输入视频图像的排列的信息。通常，很自然的是，信息具有这样的形式，“一个规定的输入视频图像被安排在输出视频图像上的一个位置。”具体地假设，一个有效部分(通过排除空位获得的部分)的坐标是X＝0至720和Y＝0至480。在图3所示的合成图像的情况中，通过将输入视频图像13(1)的比例缩减到1/2获得的视频图像被安排在以(0，0)开始的位置中，通过将输入视频图像13(2)比例缩减到1/2获得的视频图像被安排在以(360，0)开始的位置中。通过将输入视频图像13(3)比例缩减到1/2获得的视频图像被安排在以(0，240)开始的位置中，以及通过将输入视频图像13(4)比例缩减到1/2获得的视频图像被安排在以(360，240)开始的位置中。通过作为一组子集信息(输入视频个数，x坐标，y坐标，比例因数)描述这些坐标，(1，0，0，1/2)，(2，360，0，1/2)等被获得。顺便提起，输入视频号码1对应于输入视频图像13(1)，输入视频号码2对应于输入视频图像13(2)。
另一方面，请求信息被请求器用来基于从生成器接收的当前坐标确定向RAM控制器23的请求的内容。请求信息需要具有这样的形式，“输入视频图像被安排在输出视频图像的规定位置中。”换句话说，通过将输入视频图像13(1)比例缩减到1/2获得的视频图像被安排在以(0，0)开始的位置中。通过将输入视频图像13(2)比例缩减到1/2获得的视频图像被安排在以(360，0)开始的位置中。通过将输入视频图像13(3)的比例缩减到1/2所获得的视频图像被安排在以(0，240)开始的位置中。通过将输入视频图像13(4)的比例缩减到1/2所获得的视频图像被安排在以(360，240)开始的位置中。在获得这些信息时，请求器可以基于当前的坐标规定并获得将被请求的输入视频图像。更详细地，请求器为被请求的视频图像规定一个在RAM上的地址。关于RAM上的地址的对应和转换处理的描述将被省略。
这个布局实例是一个简单的实例。例如，也可以有这种情况，输入视频图像被叠加而使其彼此重叠。然而，在那种情况下，处理过程也以相同的方法进行，除了请求信息生成器分析该重叠并且在被重叠的区域中其最高层输入图像成为被安置的视频图像之外。此外，也有没有任何视频图像在其中被部署的一个区域出现的情况。如果是那样的情况，一个预定的背景颜色或背景视频图像被部署在那个区域中。在此情况中，其余的处理过程也是相同的。
在视频帧由生成器生成之前，即，在请求器向RAM控制器23发出读请求之前，请求器必须预先在其中设置请求信息(或至少一部分请求信息)。在请求器25(1)至25(4)没有工作时，即，例如在垂直空位间隔期间，如图5所示的请求信息生成器31(1)至31(4)基于视频布局信息15(1)至15(4)生成请求信息。在这个垂直空位间隔期间，请求器25(1)至25(4)从请求信息生成器31(1)至31(4)中接收在这时的视频帧中所需的请求信息，并且将其设置在其中。在请求器25(1)至25(4)没有工作的空位间隔中重复生成请求信息并且在视频帧的有效时间间隔(非空位时间间隔)中使用该请求信息。
在图5中，多个请求信息生成器31(1)至31(4)设置在视频布局信息管理器27中。或者，通过在视频布局信息管理器27中设置单一请求信息生成器51，电路规模可以进一步减小，如图7所示。请求信息生成器51以分时方式分别为请求器25(1)至25(4)生成请求信息块。后面，这将被详细描述。
图6所示的是视频帧如何沿着时间轴从生成器26(1)至26(4)中被输出的示意图。
阴影区域表示垂直空位41和水平空位42。由垂直空位41和水平空位42包围的部分是视频帧中的有效部分。生成器26(1)至26(4)被形成用来用对应于垂直空位的时间移位生成Y坐标。换句话说，视频帧在防止生成器26(1)至26(4)的垂直空位间隔彼此重叠的时间内被生成并且被输出。
由于这样交错视频帧的生成以及输出时序，在请求器25(1)至25(4)上生成请求信息的时间可以被交错。如图7中所示，请求信息可以以分时方式通过使用一个单一请求信息生成器生成。然而，这是假设生成一个请求信息块的时间比垂直空位时间间隔短。
在上文对本实施例的描述中，生成器生成视频帧，从而让垂直空位时间间隔完全不重叠。然而，这是一个实例。各个部分可以彼此重叠。因此，本发明不限于上述内容。此外，请求信息生成器可以在视频帧的有效时间间隔中生成请求信息。其实质是视频帧的生成和输出时序可以交错从而让请求信息生成器能够以分时方式生成被多个请求器使用的请求信息块。
根据本实施例，如前所述，请求信息生成器可以由多个请求器共用。电路规模可以进一步降低。
(第四实施例)在第一至第三实施例中，比例因数在图4所示的具有固定比例缩减单元的结构的情况中是离散的。即使在图1所示的可变比例缩减单元的情况中，考虑到装配成本比例因数也可以是离散的。在本实施例中，将描述这些离散的比例因数被互补的模式。
图8是示意性地显示根据本发明的第四实施例的视频合成设备结构的框图。
互补比例因数生成器61被设置在视频布局信息管理器27和请求器25(1)至25(4)之间。互补比例因数生成器相应于例如比例因数分解单元。在本例中，如图4所示的固定比例缩减单元被用作输入视频图像的比例缩减单元。然而，也可以用如图1所示的可变比例缩减单元。互补比例因数生成器可以为每个输出视频图像(为每个生成器)准备。然而，在本例中，单一的互补比例因数生成器61以分时方式为多个输出视频图像进行处理。
互补比例因数生成器61进行将由视频布局信息管理器27计算的比例因数表示为可由比例缩减单元执行的局部比例因数和互补比例因数的乘积的比例因数分解处理。
例如，假设表示输入视频图像13(1)的1/2.5缩减比例的信息从视频布局信息管理器27中给出，1/2.5可以表示为1/2.5＝1/2×4/5。因此，互补比例因数生成器61生成4/5作为互补比例因数。互补比例因数生成器61向例如请求器25(1)给出请求信息，从而请求请求器25(1)根据4/5的比率缩减已经经过1/2缩减比例的输入视频图像13(1)的比例并使用结果的视频图像。结果，比例缩减到1/2.5的视频图像被输出到生成器26(1)。或者1/2.5可以表示为1/2.5＝1/3×6/5。因此，互补比例因数生成器61可生成互补比例因数6/5并且向请求器25(1)给出请求信息，从而请求请求器25(1)部分冗余地利用已经经过1/3缩减比例的视频图像13(1)并使用合成图像，从而将已经经过1/3缩减比例的视频图像13(1)的比例提升6/5倍。
根据本实施例，可以为输入视频图像实施连续的比例因数，同时保持比例缩减单元的小尺寸。
(第五实施例)在本实施例中将描述离散的比例缩减因数被互补的另一模式。
图9是示意性地显示根据本发明的第五实施例的视频合成设备结构的框图。图9不同于图8的是，比例调节单元71(1)至71(4)被设置在RAM控制器23和生成器26(1)至26(4)之间，从而在视频图像上进行互补提升比例或缩减比例。比例调节单元相应于视频互补比例调节单元、视频互补比例缩减单元，或视频互补比例提升单元。
例如，假设表示输入视频图像13(1)的1/2.5缩减比例的信息从视频布局信息管理器27中给出，1/2.5可以表示为1/2.5＝1/2×4/5。因此，互补比例因数生成器61生成4/5作为互补比例因数。互补比例因数生成器61向例如请求器25(1)给出请求信息，从而以1/2的比率缩减输入视频图像13(1)的比例，并且命令比例调节单元71(1)进行4/5的缩减比例。结果，比例缩减到1/2.5的视频图像被输出到生成器26(1)。或者1/2.5可以表示为1/2.5＝1/3×6/5。因此，互补比例因数生成器61可以生成6/5作为互补比例因数并且命令比例调节单元71(1)至71(4)进行6/5的比例提升。
如从第一至第四实施例中的理解，在本发明的实施例中的一个主要特征是缩减比例处理和合成处理彼此分离，通过在先于RAM控制器的阶段中设置比例缩减单元从而缩减输入视频图像的比例，并且在RAM控制器后的阶段中设置请求器和生成器从而进行合成处理，结果使处理过程得到便利。从这点中看到，本第五实施例显示与这个特征相反。然而，在本实施例中设置的比例调节单元是为了对比例缩减单元的离散的比例缩减因数进行互补。因此，在比例调节单元中的比例因数接近于一，它们的变化幅度也小。因此，由每个比例调节单元中的比例因数的变化引起的处理延迟的变化很小。因此，延迟可以很容易被估计。结果，作为根据本发明的实施例的其中一个效果的通过简化处理获得的电路规模的减小不受到妨碍。
也可以将上文叙述的第五实施例与第四实施例相结合。
换句话说，互补比例因数生成器将输入图像的比例因数表示为可由比例缩减单元实施的局部比例因数和互补比例因数的乘积。
此后，如果互补比例因数例如大于一，则比例调节单元根据互补比例因数提升从RAM控制器中读出的输入视频图像的比例。如果互补比例因数小于一，则请求器请求RAM控制器读出根据互补比例因数缩减比例的输入视频图像。
或者，如果互补比例因数小于一，则比例调节单元根据互补比例因数缩减从RAM控制器中读出的输入视频图像的比例。如果互补比例因数大于一，则请求器请求RAM控制器根据互补比例因数部分冗余地读出输入视频图像并使用结果的视频图像。
在实施例中，电视会议服务器被显示为如此前描述所示的那样。然而，本发明考虑了输入多个视频图像和输出多个合成视频图像的基本合成处理过程。本发明不限于电视会议服务器。例如，本发明可以用在为了监视的目的多个监视摄像机图像被输入并且构成的应用场合中。或者本发明可以用于在办公室和家庭中构成PC屏幕，TV屏幕，游戏屏幕等屏幕的应用场合中。这样，本发明可以被用于任何应用场合。设备的应用不受到限制。输入和输出视频图像的分类/信号格式也不受到限制(在信道中它们可以不同)。
权利要求
1.一种视频合成设备，其特征在于，包括I个视频比例调节单元，其每一个均被配置为根据比例因数调节输入视频图像的比例，从而生成各个按比例调节的输入视频图像；视频存储单元，其被配置为存储各个按比例调节的输入视频图像；写请求器，其被设置为分别与各个视频比例调节单元相关联，每一个写入请求器被配置为生成写请求，从而请求视频存储单元把由视频比例调节单元生成的各个按比例调节的输入视频图像写入视频存储单元中的各个预定区域内；一个或多个读请求器，其被配置为基于J个视频布局信息块的每一个块发出对视频存储单元中的各个按比例调节的输入视频图像的各个读请求，J个视频布局信息块的每一个块规定在每一个合成视频图像上各个按比例调节的输入视频图像的布局；读控制器，其被配置为响应各个读请求从视频存储单元中读出各个按比例调节的输入视频图像；和J个合成视频图像生成器，其被设置为分别与J个视频布局信息块相关联，J个合成视频图像生成器的每一个均被配置为从由读控制器相应于该视频布局信息块读出的各个按比例调节的视频图像生成各个合成视频图像中的一个合成视频图像。
2.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例指定单元，其被配置为基于各个视频布局信息块指定多个比例因数；以及其中视频比例调节单元被配置为根据由比例指定单元所提供的比例因数调节输入视频图像的比例，从而生成按比例调节的输入视频图像。
3.如权利要求2所述的视频合成设备，其特征在于，其中视频比例调节单元包括J个比例调节单元。
4.如权利要求1所述的视频合成设备，其特征在于，其中视频比例调节单元包括多个分别具有彼此不同的固定比例因数的固定比例调节单元。
5.如权利要求1所述的视频合成设备，其特征在于，其中视频比例调节单元包括和比例因数的数量一样多的固定比例调节单元，该比例因数的数量可以由各个视频布局信息块规定。
6.如权利要求1所述的视频合成设备，其特征在于，进一步包括请求信息生成器，其被配置为生成请求信息，该请求信息是被部署在合成视频图像的各个坐标区域上的各个输入视频图像的坐标信息；以及其中读请求器开始发出各个读请求，以错开至少根据各个请求信息块被生成的次序生成所述请求信息所需的时间。
7.如权利要求6所述的视频合成设备，其特征在于，其中请求信息生成器在与每一个视频布局信息块相关联的合成视频图像的垂直消隐间隔内完成信息的生成。
8.如权利要求1所述的视频合成设备，其特征在于，其中每一个视频比例调节单元根据各个比例缩减因数缩减输入视频图像的比例，从而生成各个经缩减比例的输入视频图像。
9.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为根据可以由视频比例调节单元执行的局部比例因数和互补比例因数的乘积分解每一个比例因数；以及其中如果互补比例因数小于一，比例因数分解单元请求读请求器根据互补比例因数缩减已经按比例调节的输入视频图像的比例，以及如果互补比例因数大于一，比例因数分解单元请求读请求器根据互补比例因数部分冗余地利用已经按比例调节的输入视频图像。
10.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为根据可以由视频比例调节单元执行的局部比例因数和具有小于一的数值的互补比例缩减因数的乘积分解每一个比例因数；以及其中比例因数分解单元请求读请求器根据互补比例缩减因数缩减已经按比例调节的输入视频图像。
11.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为按照可以由视频比例调节单元执行的局部比例因数和具有大于一的数值的互补比例提升因数的乘积分解每一个比例因数，以及其中比例因数分解单元请求读请求器根据互补比例因数部分冗余地利用已经按比例调节的输入视频图像。
12.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为按照可以由视频比例调节单元执行的局部比例因数和互补比例因数的乘积分解每一个比例因数；和视频互补比例调节单元，其每一个被配置为根据互补比例因数调节由读控制器读出的已经按比例调节的输入视频图像的比例，并且把各个结果的视频图像输出到合成视频图像生成器；以及其中各个视频互补比例调节单元被设置为分别与各个合成视频图像生成器相关联。
13.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为按照可以由视频比例调节单元执行的局部比例因数和具有小于一的数值的互补比例缩减因数的乘积分解每一个比例因数；和视频互补比例缩减单元，其每一个被配置为根据互补比例缩减因数缩减由读控制器读出的已经按比例调节的输入视频图像的比例，并且把各个结果的视频图像信号输出到合成视频图像生成器；以及其中各个视频互补比例缩减单元被设置为分别与各个合成视频图像生成器相关联。
14.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为按照可以由视频比例调节单元执行的局部比例因数和具有大于一的数值的互补比例提升因数的乘积分解每一个比例因数；和视频互补比例提升单元，其每一个被配置为根据互补比例提升因数提升由读控制器读出的已经按比例调节的输入视频图像的比例，并且把各个结果的视频图像信号输出到合成视频图像生成器；以及其中各个视频互补比例提升单元被设置为分别与各个合成视频图像生成器相关。
15.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为按照可以由视频比例调节单元执行的局部比例因数和互补比例因数的乘积分解每一个比例因数；和视频互补比例提升单元，其每一个被配置为当互补比例因数大于一时根据互补比例因数提升由读控制器读出的已经按比例调节的输入视频图像的比例，并且把结果的各个视频图像信号输出到合成视频图像生成器；以及其中各个视频互补比例提升单元被设置为分别与各个合成视频图像生成器相关联，以及当互补比例因数小于一时，比例因数分解单元请求读请求器根据互补比例因数缩减已经按比例调节的输入视频图像。
16.如权利要求1所述的视频合成设备，其特征在于，进一步包括比例因数分解单元，其被配置为按照可以由视频比例调节单元执行的局部比例因数和互补比例因数的乘积分解每一个比例因数；和视频互补比例缩减单元，其每一个被配置为当互补比例因数小于一时根据互补比例因数缩减由读控制器读出的已经按比例调节的输入视频图像的比例，并且把结果的各个视频图像信号输出到合成视频图像生成器；以及其中各个视频互补比例缩减单元被设置为分别与各个合成视频图像生成器相关，以及当互补比例因数大于一时，比例因数分解单元请求读请求器根据互补比例因数部分冗余地利用已经按比例调节的输入视频图像。
17.一种视频合成方法，其特征在于，包括以多个比例因数调节I输入视频图像每一个的比例，从而生成每一个输入视频图像的多个按比例调节的输入视频图像；把每一个输入视频图像生成的各个按比例调节的输入视频图像写入视频存储单元中的各个预定区域内；基于J视频布局信息块的每一个块从视频存储单元中读出各个视频图像信号，当各个输入视频图像被合成时，视频布局信息规定各个输入视频图像的布局；以及对于每一个视频布局信息块由从视频存储单元中读出的各个视频图像信号生成合成视频图像。
全文摘要
I视频比例调节单元分别根据比例因数调节输入视频图像的比例，从而生成按比例调节的输入视频图像。视频存储单元存储按比例调节的输入视频图像。写请求器分别生成写请求，从而请求视频存储单元把由视频比例调节单元生成的按比例调节的输入视频图像写入视频存储单元中的预定区域内。一个或多个读请求器基于每个J视频布局信息块发出在视频存储单元中的按比例调节的输入视频图像的读请求，每个J视频布局信息块规定每个合成视频图像上按比例调节的输入视频图像的布局。读控制器响应读请求从视频存储单元中读出按比例调节的输入视频图像。J合成视频图像生成器分别从由读控制器相应于视频布局信息块读出的按比例调节的视频图像中生成合成视频图像中的一个图像。
文档编号H04N7/15GK1809153SQ20061000599
公开日2006年7月26日 申请日期2006年1月17日 优先权日2005年1月17日
发明者田中信吾, 镰形映二, 津田悦幸 申请人:株式会社东芝