专利名称：用于合成信息的装置、用于控制信息的装置以及计算机程序产品的制作方法
技术领域：
本发明涉及用于合成所接收的信息的装置、用于控制所接收的信息的 装置，以及计算机程序产品。
背景技术：
多点电话会议系统已经用于通过网络来相互连接多个电话会议终端， 并且在会议终端之间交换图像数据和声音数据。
这样的多点电话会议系统常常包M体合成器。在多点电话会议系统 中使用的媒体合成器的资源有限。媒体合成器的例子是合成从会议终端接 收的图像数据的图像合成器。
图像合成器从会议终端接收图像数据，解压缩所接收的图像数据，合 成被解压缩的数据，压缩所合成的数据，以及发送被压缩的数据。图像合 成器使用软件或硬件来实现这些过程。然而，可处理的图像的数目有限， 并且可以同时连接到图像合成器的会议终端的数目也是有限的。
如上所述，图像合成器可以连接到仅有限数目的会汉终端。然而，需 要将更多的会议终端连接到单个图像合成器。
JP-A H8-88842 (KOKAI)(下文的"第一文献，，)公开了一种技术， 其通过相互级联地(cascadingly )连接图像合成器(在第一文献中称为 MCU's)可以实现大型会汉。
"Operating Instructions for SONY'S Video Communication System PCS-lllP， Chap.8."Multipoint Videoconference" ;Sony Corporation;2003" (下文的"第二文献")描述了一种视频会议系统，其通过相互连接多个 图像合成器来启用处于多达十个位置的多点视频会汉，每个图像合成器都 连接到有限数目的会汉终端。
7根据第一和第二文献中所描述的技术，媒体合成器与会议终端之间的
映射以及媒体合成器之间的级联连接的映射在多点电话^H义系统中是固定 的。换言之，用户需要手动分派将要连接到每个媒体合成器的会议终端以 及媒体合成器之间的级联连接。为了通过利用媒体合成器的资源来实现多 点电话会议，需要复杂的设置工作。
发明内容
根据本发明的一个方面， 一种通信控制器，其经由多路复用通信网络 控制设备的通信，所述i殳备包括与专用线路(exclusive line)双向连接 的至少两个信息合成器，以及发送将由所述信息合成器合成的信息的至少 两个终端设备；所述通信控制器包括接收单元，其从所述信息合成器接 收第一 ID和第二 ID，所述第一 ID是双向连接到所述信息合成器中的一个 信息合成器的信息合成器的ID,并且所述第二 ID是所述信息合成器中的 所述一个信息合成器的ID;存储单元，其存储相互关联的所接收的第一ID 和所接收的第二ID;以及分派单元，当从第一信息合成器接收到的第一ID 和第二 ID这二者与从第二信息合成器接收到的笫一 ID和第二 ID都匹配 时，所述分派单元向所述第一信息合成器分派所述终端设备中的一个终端 设备，并且向所述第二信息合成器分派所述终端设备中的另一个终端设备。
根据本发明的另一方面， 一种信息合成器，其包括第一通信单元， 其经由将所述信息合成器双向连接到其它信息合成器的专用线路，接收所 述其它信息合成器的ID，向所述其它信息合成器发送所述信息合成器的 ID,以及接收待合成的第一信息；第二通信单元，其经由用于与第一终端 设备、通信控制器和所述其它信息合成器进行多路复用通信的多路复用通 信网络，将所述其它信息合成器的ID连同所述信息合成器的ID —M送 到所述通信控制器，从所述通信控制器接收所述第一终端设备的ID，以及 从所述第一终端设备接收待合成的第二信息；以及合成单元，其合成所述 第一信息和所述第二信息，以便生成合成信息。
根据本发明的又一方面， 一种计算才;^p呈序产品，其具有包括程序化指令的计算机可读介质，所述程序化指令用于经由多路复用通信网络控制设
备的通信，所述设备包括与专用线路双向连接的至少两个信息合成器，以及发送将由所述信息合成器合成的信息的至少两个终端设备，其中当通过计算机执行时，所述指令使得所述计算机实现从所述信息合成器接收第一 ID和第二 ID,所述第一 ID是双向连接到所述信息合成器中的一个信息合成器的信息合成器的ID,并且所述第二 ID是所述信息合成器中的所述一个信息合成器的ID;存储相互关联的所接收的第一 ID和所接收的第二 ID;以及当从第一信息合成器接收到的第一 ID和第二 ID这二者与从第二信息合成器接收到的第一 ID和第二 ID都匹配时，向所述第一信息合成器分派所述终端设备中的一个终端设备，并且向所述第二信息合成器分派所述终端设备中的另 一个终端设备。
根据本发明的再一方面， 一种计算扭4呈序产品，其具有包括程序化指令的计算机可读介质，所述程序化指令用于合成待合成的信息以及生成合成信息，其中当通过计算机执行时，所述指令使得所述计算机实现经由专用线#收信息合成器的ID;经由所述专用线路向所述信息合成器发送所述计算机的ID;经由多路复用通信网络将所述信息合成器的ID连同所述计算机的ID —起发送到通信控制器；经由所述多路复用通信网络从所述通信控制器接收终端设备的ID;经由所述专用线路从所述信息合成器接收第 一信息；经由所述多路复用通信网络从所述终端设备接收待合成的第二信息；经由所述专用线路向所述信息合成器发送所述第二信息；以及合成所述第 一信息和所述第二信息以生成合成信息。
图l是根据本发明的实施例的多点电话会汉系统的示意图2是图1所示的图像合成器的框图3是图1所示的会汉控制器的框图4是图3所示的资源存储单元中的管理表的例子；
图5是由图像合成器实现的注册过程的流程9图6是注册过程中消息传输的序列图；图7是向资源存储单元注册信息的过程的流程图；图8是在图3所示的注册单元注册了第一图像合成器的条目之后的管理表的例子；
图9是在注册单元注册了第二图像合成器的条目之后的管理表的例
子；
图IO是会议控制器开始和终止会议的过程的流程图；图11是当^i义开始时消息传输的序列图；图12是在会议开始之前的管理表的例子；
图13是图像合成器在与另一图像合成器群集(cluster)时其合成图像数据的流程图14A至14D是在会议期间显示在会议终端上的屏幕布局的例子；图15是图像合成器的控制单元中布局信息的数据配置的例子；图16是当图像合成器被群集时布局信息的数据配置的例子；图17是当^H义被终止时的消息传输的序列图；图18是图像合成器的硬件框图；以及图19是会议控制器的硬件框图。
具体实施例方式
参照附图，下面详细解释了本发明的示例性实施例。该解释假设根据本实施例的信息合成器被应用于图像合成器，并且根据本实施例的信息控制器被应用于^i义控制器。本发明并不限于下面所解释的实施例。所述信息合成器和所述信息控制器可以被应用于其它设备。
如图1所示，才艮据本发明实施例的多点电话会议系统包括会议终端120a至120d、图像合成器110a、 110b和110c、会议控制器100，以及将它们彼此连接的网络150。该网络是多路复用通信网络。
会议终端120a至120d被用于参与电话会汉。会汉终端120a至120d中的每一个均向图像合成器发送参与者的图像数据，从该图4象合成器接收
10其它参与者的图像数据，并且显示该图像数据。
图像合成器110a、 110b和110c从会议终端120a至120d接收图像数据，根据所接收的图像数据来合成每个会议终端的图像数据，并且向会议终端120a至120d发送该合成数据。
当会议终端120a至120d举行会议时，会议控制器100控制会议终端120a至120d与图^f象合成器110a、 110b和110c之间的连接。
尽管在图1中四个会议终端120a至120d连接到网络，然而，在电话会议中使用的会议终端的数目并不限于四个。
图像合成器110a和110b经由专用线路151而一对一的连接，从而使得它们可以经由用于所谓的双向连接的专用线路151而相互通信(下文的"群集")。图像合成器110c作为不与其它图像合成器群集的独立设备而被包括在该多点电话^i义系统中。
为了连接^i义控制器100、图像合成器110a、 110b和110c以及^i义终端120a至120d，该实施例中使用了尽力而为分组交换网络，例如因特网。连接它们的网络并不限于分组交换网络，并且可以使用任何类型的网络，而不管是无线线路还是有线线路。
如图2所示，图^f象合成器110a包括分组通信单元201、控制单元202、图像数据通信单元203、图像合成单元204、图像解压缩单元205a至205e，以及图像压缩单元206a至206e。图像合成器110b包括相同的单元，并且省略了对其的解释。
图像合成器110a基本上遵循来自会议控制器100的指令。其从在会议控制器100所指定的电话会议中使用的会议终端接收图像数据，合成所接收的图像数据，并且向其它会议终端发送所合成的数据。
图像解压缩单元205a至205e实现解压缩，并且图《象压缩单元206a至206e实现压缩。通过使用它们，图像合成器110a被连接到五个会汉终端，并且实现关于每个会议终端的图像数据的解压缩和压缩。图像解压缩单元和图像压缩单元的数目取决于图像合成器110a所要求的会议终端的最大数目，并且其不限于五个。分组通信单元201包括发送单元221和接收单元222。其通过网络ISO发送和接收与会汉终端120a至120d的各种类型的数据、会活控制信息或其它协议信息。将利用发送单元221和接收单元222来解释这些类型的数据。
分组通信单元201使用这样的通信协议，例如，通过因特网工程任务组(IETF )标准化的会话起始协议(SIP) (RFC3261: —种控制会话的起始和终止的信令协议)、实时传输协议/RTP控制协议(RTP/RTCP)(RFC3550: —种用于发送和接收诸如图像和声音数据的实时数据或用于监视与控制该实时数据的协议)、传输控制协议/用户数据报协议(TCP/UDP)(其作为传送协议信息的底层协议)、网际协议(IP)，以及以太网Ethernet (注册商标)。
分组通信单元201所使用的这些协议符合使用图像数据的会议系统的规范，并且可以使用其它协议。
发送单元221向会议控制器IOO发送用于注册图像合成器110a的注册信息、用于连接和断开会汉终端的控制数据，以及根据从其它会汉终端发送的图像数据所合成的图像数据。
该注册信息包括图像合成器110a的标识符(例如，媒体访问控制(MAC)地址)以及IP地址。如果图像合成器110a与另一图像合成器群集，则该注册信息包括所述另一图像合成器的标识符。稍后将解释该注册过程。该注册信息可以包括资源的最大数目。资源的最大数目是图像合成器110a可以操作的会汉终端的数目，并且在图像合成器110a的情况下是五个。
接收单元222接收对于开始会议的请求、用于从会议控制器100连接和断开会议终端的控制数据，以及从会汉终端120a至120d发送的图像数据。
图像解压缩单元205a至205e解压缩由接收单元222接收的图像数据。单个图像解压缩单元解压缩从对应的会议终端发送的图像数据。如果所接收的图像数据针对每个^i义终端被进行不同的编码(例如，解压缩编码方法、分辨率、帧速率、比特速率)，则图像解压缩单元205a至205e以合适的方法来解压缩每个图像数据。
控制单元202包括检测单元211，并且控制整个图像合成器110a。控制单元202指示图像数据通信单元203实现群集，并且分析由分组通信单元201所接收的分组的协议。此外，控制单元202生成用于向会议控制器100注册图l象合成器110a的注册信息，并且向分组通信单元201输出该信息。然后该注册信息由发送单元221发送。
基于来自会议控制器100的信息，控制单元202发布会话控制的指令，例如，开始和终止与其它会议终端的会议。
控制单元202控制向每个图像解压缩单元输出分组通信单元201从其它会议终端接收到的图像数据。基于对被压缩的合成图像数据被发送到的会议终端来说合适的协议，控制单元202对所述被压缩的合成图像数据进行分组化，并且将该分组输出到分组通信单元201。控制单元202控制图像合成单元204中的图像合成布置模式(arrangement pattern)。控制单元202指示图像压缩单元206a至206e以及图像解压缩单元205a至205e设置或改变各种参数、方法等。
检测单元211控制图像数据通信单元203来检测经由专用线路151所群集的图像合成器。
图像数据通信单元203与经由除了网络150以外的专用信号线路而群集的图像合成器110b交换图像数据。图像数据通信单元203发送由图像解压缩单元205a至205e解压缩的图像数据，并且接收由图像合成器110b解压缩的图像数据。
图像数据通信单元203检测所群集的图像合成器，并且经由专用信号线路与所群集的图像合成器nob交换标识符。该标识符是对图像合成器进行标识的一条唯一的信息，并且在此将MAC地址用作标识符。
用于一对一连接的信号线路被用做群集图像合成器的群集接口 ，当安装图像合成器时，该接口与线缆和连接器相连。根据该实施例，图像合成器被一对一的连接。因此，举例来说，通过图像数据通信单元203监控用
13于检测该群集的信号线路的电压，检测到这些图像合成器被群集。此外，
因为利用专用线路151来一对一地连接这些图像合成器，所以保证了图像数据通信单元203在无需授权或编码/解码的情况下与适当的设备交换信息。
除了所述实施例，诸如无线局域网(无线LAN )或蓝牙Bluetooth (注册商标)的无线接口也可以被用作群集接口。为了使用该无线接口来群集这些图像合成器，要求特定设备来确保实现与所期望的图像合成器的连接，或者与适当的图像合成器交换适当的信息。
返回该实施例的解释，在多点电话^i义系统中，相互群集的多个图像合成器可以共享从多个会议终端发送的图像数据。相比于图像合成器110a可以单独处理的会汉终端，这允许更多的会汉终端举行会汉。
基于来自控制单元202的指令，图像合成单元204使用被解压缩的图像数据，按照用于每个会议终端不同的屏幕布局来合成图像数据。稍后将解释用于每个会议终端的屏幕布局。
图像合成单元204使用从图像数据通信单元203接收的图像数据以及由图像解压缩单元205a至205e解压缩的图像数据。来自图像数据通信单元203的图像数据是由其它图像合成器110b的图像解压缩单元解压缩的。换言之，图像合成器110a合成并未经由网络150与其连接的会议终端的图像数据。
举例来说，假设图像合成器110a被连接到会议终端120a和120b，并且所群集的图像合成器110b被连接到会议终端120c和120d。图像合成器110a仅接收来自会议终端120a和120b的图像数据。然而，图像合成器110a经由专用信号线路从图像合成器110b接收会议终端120c和120d的被解压缩的图像数据。以这样的方式，图像合成器110a合成来自会议终端120a至120d的所有图像数据。
因为图像合成器110b经由专用信号线路从图像合成器110a接收^i义终端120a和120b的被解压缩的图像数据，所以图像合成器110b也合成来自会汉终端120a至120d的所有图像数据。如此，即使会议终端120a至120d被连接到不同的图像合成器，也生成参与单个会议的会议终端120a 至120d的合成图4象。
图像压缩单元206a至206e相对于被连接到图像合成器110a的每个会 议终端来压缩由图像合成单元204所合成的图像数据。图像压缩单元206a 至206e以适合争个会议终端的方法来压缩所合成的图像数据。
换言之，单个图像压缩单元被专用于压缩将要被发送到对应的会议终 端的图像数据。如此，可以以相对于每个会议终端不同的压缩编码方法或 压缩参数来压缩将要按照不同布局显示的所合成的图像数据。
例如，当会议终端120a至120d参与会议时，会议终端120a显示根据 从^i义终端120b、 120c和120d发送的图像数据所合成的图像数据，并且 ^"i义终端120b显示根据从^i义终端120a、 120c和120d发送的图像数据所 合成的图像数据。
因为每个图像压缩单元206a至206e均压缩单个会议终端的图像数据， 所以可以关于每个会议终端来设置压缩编码方法(例如，MPEG (运动图 像专家組)-2、 MPEG-4、 H.263、 H.264等)、分辨率、帧速率、比特速 率，等等。
由此，图像合成器110a生成和输出按照不同布局的图像数据或者按照 不同方法压缩的图像数据。
如图3所示，会汉控制器100包括分组通信单元301、控制单元302、 资源存储单元303、布局管理单元304,以及时钟305。会议控制器100控 制被注册到资源存储单元303的图像合成器、每个^i义终端与图像合成器 之间的连接、会H义的开始以及会汉的终止。
会议控制器100可以控制所合成的图像数据的屏幕布局。会议控制器 100的每个单元可以通过软件来实现。
时钟305测量当前时间。所测量的当前时间被用于控制会议的开始时 间等。
资源存储单元303在其中存储了可以实现图像合成过程的图像合成器 的信息。如图4所示，存储在资源存储单元303中的管理表关联于条目号、图像合成器的标识符、图像合成器的IP地址、资源的最大数目、使用的资 源数、群集标记，以及彼此群集的图像合成器的标识符。每个记录是指示 了对于图l象合成器的注册的条目。
图像合成器的标识符唯一地标识了每个图像合成器。图像合成器的标 识符可以是保证区别于其它图像合成器的标识符的任何种类的信息。在此，
被分派给图像合成器的网络接口的MAC地址被用作标识符。
图像合成器的IP地址被每个图像合成器用来基于IP进行通信。其可
以被用作自身ID (标识信息)。
资源的最大数目是在相同时间可以被连接到图像合成器的会议终端的
最大数目，在图2所示的图像合成器110a的情况下是五。基于图像合成器
的硬件配置等来确定资源的最大数目。
使用的资源数是由当前连接到图像合成器的会议终端所耗用的资源
数。通常，每个会议终端耗用一个资源。然而，如果单个务汉终端在某一
时间参与了多个会议，则可以耗用多于一个的资源。资源的最大数目和使
用的资源数之间的差是可以被使用的可允许的资源数。
通过存储可允许的资源数，当从会议终端120a至120d中的任何一个 接收到开始^i义的请求时，会议控制器100指定举行该^i义的图像合成器。 此外，根据本实施例的多点电话会议系统可以在可允许的资源数之内举行 多个会汉。
群集标记指示了图〗象合成器是否与另一图像合成器群集。 如果该图像合成器与另 一图像合成器群集，则所群集的图像合成器的 标识符是与该图傳-合成器群集的另 一图像合成器的标识符。其唯一标识了 所群集的图像合成器。该标识符被定义为与上述图像合成器的标识符相同 的信息。在此，被分派给所群集的图像合成器的网络接口的MAC地址被 用作所群集的图4象合成器的标识符。
返回到图3的解释，分组通信单元301包括发送单元321和接收单元 322。分组通信单元301发送和接收各种数据、用于控制在图像合成器 110a、 110b和110c与^i义终端120a至120d之间的会汉的开始和终止的M控制信息、用于合成图像的屏幕布局信息，以及其它协议信息。将利
用发送单元321和接收单元322来解释各种数据。
类似于图像合成器110a，分组通信单元301可以使用各种通信协议， 例如，SIP、 RTP/RTCP、 TCP/UDP、 IP和Ethernet (注册商标)。
根据本实施例，由分组通信单元301所使用的协议符合使用图像数据 的^i义系统的规范，并且可以使用其它协议。
接收单元322接收来自图像合成器110a、 110b和110c的注册信息， 并且接收来自会议终端120a至120d的对开始或终止会议的请求。
发送单元321向会议终端120a至120d发送关于该会议是否可以开始 的信息，并且向合成图像数据的图像合成器发送信息以标识与其连接的会 议终端。稍后将详细解释通过接收单元322和发送单元321实现的过程。
控制单元302包括注册单元311、设备提取单元312、确定单元313 和分派单元314,并且控制单元302控制整个会汉控制器100。
注册单元311向资源存储单元303中的管理表注册由接收单元322接 收的注册信息。换言之，注册单元311向管理表注册图像合成器的标识 符、图像合成器的IP地址、图像合成器的最大数目、使用的资源数、群集 标记，以及彼此关联的所群集的图像合成器的标识符。资源的最大数目可 以预先存储在会议控制器100中，或者其可以被从图像合成器发送。注册 单元311将使用的资源数设置为零作为初始值。稍后将描i^集标记。
如果所接收的注册信息包括所群集的图像合成器的标识符，则确定单 元313确定所群集的图像合成器是否已经存储在资源存储单元303中。
确定单元313确定在所接收的注册信息中的该图《象合成器的标识符 和所群集的图像合成器的标识符的组合是否匹配于存储在资源存储单元 303中的任何记录中的相同组合。
更具体而言，确定单元313确定在管理表中的图像合成器的标识符 的字段中是否包括所群集的图像合成器的标识符。如果包括，则确定单元 313确定在包括有该标识符的记录中，所群集的图像合成器的标识符的 字段中是否包括所接收的注册信息中的图像合成器的标识符。如果包括，则确定单元313确定所群集的图像合成器已经被注册。
如果所接收的注册信息不包括所群集的图像合成器的任何标识符，或 者如果确定单元313确定所群集的图像合成器没有被注册，则注册单元311 将群集标记设置为"否(no)"作为初始值。
如果确定单元313确定所群集的图4象合成器已经被注册到管理表，则 注册单元311将群集标记设置为"是(yes)"。在这种情况下，注册单元 311将所群集的图像合成器的记录中的群集标记更新为"是"。通过以这 种方式处理，仅当图像合成器识别出彼此群集时，群集标记才指示"是"。 通过检查群集标记，每个图像合成器标识出被识别为彼此群集的图像合成 器。群集标记并不仅仅由于图像合成器之一错误地检测到所群集的图像合 成器而指示"是，，。因此，通过检查群集标记而改进了提取彼此群集的图 《象合成器的准确度。
如果所接收到的注册信息中的图像合成器的条目已经被注册到管理 表，则注册单元311使用所接收到的注册信息来更新该管理表。因此，最 新信息被记录在该管理表中。
使用从会汉终端120a至120d中的任何一个收到的对开始会议的请求 作为触发器，设备提取单元312从管理表中提取用于开始会议的图像合成 器的标识符、IP地址等。
当设备提取单元312提取该图像合成器以开始会议时，控制单元302 进行控制以开始在会汉终端与该图像合成器之间的44义会活。
作为开始会议的触发器，可以使用其它过程而不是从会议终端120a 至120d收到对于开始会议的请求。例如，可以使用通过网站而保留的信息 来作为开始^i义的触发器。
分派单元314确定用于分派的由设备提取单元312所提取的图像合成 器，以便合成来自会议终端120a至120d的图像。
布局管理单元304管理屏幕布局信息，以便为会议中的每个^H义终端 确定图像数据的布局。布局管理单元304向发送单元321输出屏幕布局信 息，并且发送单元321将其发送到图像合成器。因此，图像合成器受布局管理单元304控制，以便使用适合每个会议终端的屏幕布局来合成图像数 据。
除了直接控制屏幕布局之外，布局管理单元304还可以基于来自^i义 中每个会汉终端的请求或来自领导该会汉的会议终端的指示来进行控制。 布局管理单元304可以根据从会汉终端检测到的话音(即，所检测到的发 言者)来改变布局。如果图像合成器110a、 110b和110c相对于每个^i义 终端发送不同的合成图像数据，则布局管理单元304可以基于来自每个会 议终端的指令来控制屏幕布局。
图5是由图像合成器110a所实现的向会议控制器100的注册过程的流 程图。尽管基于图像合成器110a给出了解释，然而，通过其它图像合成器 也实现了相同的过程，并且省略了其解释。
仅通过来自于图像合成器110a、 110b和110c的注册，会议控制器100 便识别出它们。该识别使得会议控制器100能够将所识别的图像合成器 110a、 110b和110c连接到4H义终端120a至120d,并且开始会议。
图像合成器110a的控制单元202在启动时进行初始设置(步骤S401 )。 该初始设置包括各种网络设置操作(其包括设置图像合成器110a的IP地 址)以及用于图像合成器110a的各种硬件设置操作。为了设置用于图像合 成器110a的网络(其包括IP地址和默认网关)，可以设置从动态主机配 置协议(DHCP)服务器获取的信息，或者可以基于由管理员预先手动设 置的信息来进行设置。除了网络信息之外，DHCP服务器可以向图像合成 器110a发送将要连接的^H义控制器100的信息，包括IP地址和端口号。 在该方式下，通过使用DHCP来连接在多点电话会议系统中的网络，管理 员在降低的负荷下很容易操作被连接到该系统的图像合成器。
检测单元211从图像数据通信单元203检测所群集的图像合成器(步 骤S402 )。对于群集的检测被实现为图像数据通信单元203的功能。例如， 存在这样一种方法，在该方法中，在用于群集的专用线路151中，当未连 接设备的时候电信号是低的，而当群集了设备并且专用线路151在物理上 进行传导的时候，电信号升高。然而，可以使用任何其它的方法。当检测单元211检测到所群集的图像合成器时(在步骤S402为"是")， 图像数据通信单元203向所群集的图像合成器发送图像合成器110a的标识 符(步骤S403)。
图像数据通信单元203从所群集的图像合成器接收所群集的图像合成 器的标识符(步骤S404)。
发送单元221向会议控制器100发送注册信息(步骤S405)。如果未 检测到任何所群集的图像合成器，则该注册信息包括图像合成器110a的标 识符、图像合成器110a的IP地址以及资源的最大数目。如果检测到所群 集的图^象合成器，则注册信息包括图^象合成器110a的标识符、图4象合成器 110a的IP地址、资源的最大数目以及所群集的图〗象合成器的标识符。
由此，会议控制器100将图像合成器110a注册为条目。稍后将详细解 释注册时的消息传输。
接收单元222确定是否从会议控制器100接收到作为对开始会议的请 求的消息(步骤S406)。如果没有接收到(在步骤S406为"否")，则 不实现任何特定过程。
如果接收单元222从会议控制器100接收到该消息(在步骤S406为 "是")，则实现用于该会议的过程(过程S407)。稍后将详细解释基于 开始会汉的消息而实现的用于会汉的过程。
检测单元211检测在所群集的图像合成器的配置中的任何改变(步骤 S408)。如果没有任何改变(在步骤S408为"否")，则检测单元211 确定是否接收到对于开始会议的请求。
如果检测单元211检测到在所群集的图像合成器的配置中的任何改变 (在步骤S408为"是")，则其再次确定是否存在任何群集(步骤S402 )。
在根据该实施例的多点电话^i义系统中，图像合成器110a、 110b和 110c在上述过程中被自动注册到会议控制器100。群集的存在或不存在也 在注册时祐发送。由此，会议控制器100自动识别出图像合成器110a、 110b 和110c的状态(包括群集的存在)。多点电话会议系统降低了管理员手动 注册每个图像合成器的工作负荷。根据该处理过程，如果改变了群集，则该群集立即,皮检测到，并且发
送指示该群集的改变的注册信息。会议控制器100的注册单元311利用所 接收到的注册信息来更新资源存储单元303中的管理表。因此，会议控制 器100总是识别出图像合成器的最新状态。
下面参照图6来解释用于注册图像合成器110a和110b的^H义控制器 100的消息传输。
在对该实施例的解释中，使用SIP来控制各种会话，包括在图像合成 器110a、 110b和110c与^i义控制器100之间所进行的注册、会汉的开始， 以及会汉的终止。SIP用于控制IP网络中的呼叫，并且其由因特网工程任 务组(IETF)标准化。该实施例并不限于使用SIP来控制会话，并且可以 -使用任何其它的控制方法。
图像合成器110a和110b在基于图5所示的过程启动时检测到彼此群 集，并且交换标识符(步骤S501和S502 )。
图像合成器110a向会议控制器100发送"REGISTER (注册)，，消 息(步骤S503 )。
会议控制器100通过从图像合成器110a接收该"REGISTER"消息 而检测到图像合成器110a请求注册。会议控制器100向图像合成器110a 发送指示成功的"200OK"消息(步骤S504)。
通过接收该"200OK"消息，图像合成器110a识别出该请求被接受， 并且向会议控制器100发送"SUBSCRIBE (预定)，，消息(步骤S505 )。
该"SUBSCRIBE"消息是对事件进行通知的请求。其包括注册信息， 例如图4象合成器110a的标识符(00:00:aa:00:00:01 )、图像合成器110a 的IP地址(192.168.10.10)、资源的最大数目(5)，以及所群集的图像 合成器110b的标识符(00:00:aa:00:00:02 )。
在接收到"SUBSCRIBE"消息时，会议控制器100向图像合成器110a 发送"200OK，，消息(步骤S506)。
会议控制器100在资源存储单元303中将所接收到的注册信息注册到 管理表(步骤S507 )。稍后将描述被注册到管理表的信息以及注册的过程。图像合成器110b向会汉控制器100发送"REGISTER"消息(步骤 S508)。
当^i义控制器100从图像合成器110b接收到"REGISTER"消息的 时候，会议控制器100识别出图像合成器110b请求注册。会议控制器100 向图像合成器110b发送"200OK"消息(步骤S509)。
在接收到该"200OK"消息时，图像合成器110b向^i义控制器100 发送"SUBSCRIBE"消息(步骤S510)。从图像合成器110b发送的 "SUBSCRIBE"消息包括注册信息，例如图像合成器110b的标识符 (00:00:aa:00:00:02 )、图像合成器110b的IP地址(192.168.10.il)、资 源的最大数目(5)，以及所群集的图像合成器110a的标识符 (00:00:aa:00:00:01 )。
在接收到该"SUBSCRIBE"消息时，会议控制器100向图像合成器 110b发送"200OK，，消息(步骤S511)。
会汉控制器100将所接收的注册信息注册到管理表(步骤S512 )。因 为在这种情况下已经注册了所群集的图像合成器110a，所以利用将群集标 记i殳置成"是，，等等来更新管理表。稍后将详细解释该注册过程。
通过实现上述过程，会议控制器100将图像合成器110a和110b的信 息连同关于它们被群集的信息一起注册到资源存储单元303。
在图6所示的序列图中，按照相对于每个设备的顺序来实现步骤S503 至S506以及步骤S508至S511。然而，以简单的方式表示该过程是为了便 于解释，并且可以以不同的顺序来实现该过程。例如，由图像合成器110a 和会议控制器100实现的过程以及由图像合成器110b和会汉控制器100 实现的过程可以在彼此并行的情况下独立地实现。
基于图7解释了将接收自会议控制器100的信息注册到资源存储单元 303的过程的流程图。
^H义控制器100中的接收单元322确定是否从任何一个图像合成器接 收到注册信息(步骤S701)。如果接收单元322并未接收到任何注册信息 (在步骤S701为"否")，则接收单元322重复步骤S701,直到其接收到注册信息。该接收过程对应于图6中所示的对于"SUBSCRIBE"消息 的接收。^i义控制器100发送"200OK"消息(未示出)。
如果接收单元322接收到注册信息(在步骤S701为"是")，则确定 单元313确定注册信息是否包括所群集的图像合成器的标识符(步骤 S702)。
如果注册信息包括所群集的图像合成器的标识符(在步骤S702为 "是")，则确定单元313确定所群集的图像合成器是否作为条目被注册 到管理表(步骤S703)。当确定单元313检测到这样的记录时，其确定所 群集的图像合成器作为条目被注册，其中该记录在管理表的相应字段中包 括所群集的图像合成器的标识符。
例如，在步骤S703，如果所群集的图像合成器已经被注册为条目，则 确定单元313确定该条目中的所群集的图像合成器的标识符是否匹配于其 注册信息4皮发送的图像合成器的标识符。只有在它们匹配时，它们才都识 别出彼此群集，并且该过程前进到步骤S704。
如果该注册信息并不包括所群集的图像合成器的标识符(在步骤S702 为"否")或者如果并未注册所群集的图像合成器的条目(在步骤S703 为"否")，则注册单元311注册相互关联的注册信息中的图像合成器的 标识符、图像合成器的IP地址、资源的最大数目、使用的资源数、群集标 记"否"，以及所群集的图像合成器的标识符(步骤S706)。图像合成器 的标识符、图像合成器的IP地址、资源的最大数目以及使用的资源数与在 步骤S704中使用的那些相同。如果在注册信息中包括所群集的图像合成器 的标识符，则该标识符总是被注册。
在图4所示的例子中，在步骤S703， ^i义控制器100不能够从图像合 成器的标识符的字段中检测到这样的记录，即该记录包括了来自图像合成 器110a的注册信息中的所群集的图像合成器110b的相同标识符 (00:00:aa:00:00:02 )。这意味着并未注册指示了所群集的图像合成器110b 的条目。在这样的情况下，群集标记^i殳置成"否"。
如图8所示，在注册了图像合成器110a的条目之后的管理表中，图像合成器110a的群集标记为"否"，因为图像合成器110b的条目没有被注 册。
返回图7的解释，如果所群集的图像合成器的条目被注册(在步骤S703 为"是，，)，则注册单元311注册相互关联的注册信息中的图像合成器的 标识符、图像合成器的IP地址、资源的最大数目、使用的资源数、群集标 记"是"，以及所群集的图像合成器的标识符(步骤S704)。图像合成器 的标识符、图像合成器的IP地址、所群集的图像合成器的标识符以及资源 的最大数目被包括在注册信息中。使用的资源数净皮设置成零作为初始值。
注册单元311在管理表中将所群集的图像合成器的条目的群集标记更 新成"是"(步骤S705 )。
在图8所示的例子中，在步骤S703，会议控制器100确认在图像合 成器110b的注册信息中的所群集的图像合成器110a的标识符 (OO:OO:aa:OO:OO:Ol)作为条目被注册到管理表(参见图8中所示的管理 表中的条目号2)。在这种情况下，图像合成器110b的群集标记被设置成 "是"。在这种情况下，图像合成器110a的群集标记也被更新成"是，，。
如图9所示，在注册了图像合成器110b的条目之后的管理表中，图像 合成器110b的群集标记为"是，，(参见条目号3)，这是因为图像合成器 110a的条目已经被注册。图像合成器110a的群集标记也被更新成"是" (参见条目号码2)。
使用图10来解释开始和终止会议的会议控制器100的过程的流程图。
会议控制器100中的接收单元322确定是否从会议终端接收到对于开 始会议的请求(步骤S1001)。在此，对于开始会议的请求包括开始^i义 所需要的资源数。
如果接收到该请求(在步骤S1001为"是")，则设备提取单元312 从管理表提取可以让出(spare )该请求中所需要的资源数的图像合成器(步 骤S1002 )。
如果设备提取单元312不能够提取可以让出所需要的资源数的图像合 成器(在步骤S1002为"否")，则设备提取单元312从管理表提取可以让出所需要的资源数的相互群集的多个图像合成器(步骤S1003)。换言 之，虽然不能够利用单个图像合成器来举行会议，但是设备提取单元312 确定是否可以通过组合多个图像合成器来举行会议。例如，如果相互群集 的可用图傳*合成器的资源总数大于开始会议的请求中的资源数，则这些图 <象合成器#皮提取。这些图像合成器分担开始会议的过程。
如果设备提取单元312提取了可以让出该请求中的资源数的一个或多 个图像合成器(在步骤S1002或S1003为"是")，则发送单元321向请 求开始会汉的会汉终端发送可以开始会汉的消息(步骤S1004)。然后会 议控制器100生成会话来开始该会汉(步骤S1005 )。
如果设备提取单元312不能够提取多个图像合成器(在步骤S1003为 "否，，)，则发送单元321向会议终端发送不能够举行会汉的消息(步骤
51006) 。
如果所接收的信息不是对于开始会议的请求(在步骤SIOOI为"否")， 则接收单元222确定所接收的信息是否是对于终止会议的请求(步骤
51007) 。
如果所接收的信息是对于终止会议的请求(在步骤S1007为"是，，)， 则会议控制器100进行控制来终止当前会议(步骤S1008 )。控制单元302 实现一种过程来减少管理表中用于举行会议的图像合成器的条目中由会4义 所耗用的资源数(步骤S1009)。此时，会议资源被释放。
下面参照图11和12解释当响应于来自会汉终端120a至120d的对 于开始会议的请求，图像合成器110a和110b合成图像数据的时候，通过 会汉控制器100的消息传输。
如图12所示，根据在实现图11中所示的过程之前的管理表，具有条 目号1的图像合成器110c的所有资源都被耗用。在具有条目号2的图像合 成器110a中，资源的最大数目是5，使用的资源数是3，并且因此资源的 额外数目是2。类似地，在具有条目号3的图像合成器110b中，资源的最 大数目是5，使用的资源数是3，并且因此资源的额外数目是2。图像合成 器110a和110b彼此群集。换言之，任何一个图像合成器都不能够单独举行在超过两个会议终端
之间的会议；然而，通过图像合成器110a和110b分担合成过程，可以在 高达四个的会议终端之间举行会议。在这种情况下，如果会议控制器100 从超过四个的会议终端接收到对于开始会议的请求，则其返回不能够举行 该会议的消息，因为即使通过使用群集也不能获取足够的资源。
尽管在图11所示的序列图中使用SIP作为传输控制协议，然而，该传 输控制协议并不限于SIP。
会议终端120a向会汉控制器IOO发送对于开始与会议终端120b、120c 和120d的会议的请求(步骤S1101)。会议终端120a发送"NOTIFY (通 知)，，消息，其表示传输对请求事件的通知，作为对于开始会议的请求。 可以从另外的会议终端而不是会议终端120a发送该请求。
可以使用另外的事件(而不是从会汉终端向44义控制器100发送的该 请求)作为触发器来开始该会议。例如，在预定会汉的情况下，在当前时 间达到存储在^H义控制器100中的该预定会汉的开始时间的时候，会议控 制器100可以进行控制以开始该会汉。这样的配置自然在会汉控制器100 中需要时钟305来测量当前时间。因为预先预定了该会议，所以在降低用 户负荷的情况下举行了该会汉，并且可以预先保存举行该会汉的资源。
^i义控制器100向会议终端120a发送"200OK"消息用于进行确认(步 骤S1102)。
会汉控制器100提取具有可用资源的图像合成器(步骤S1103)。例 如，在图12所示的会议资源的情况下，设备提取单元312通过将彼此群集 的图像合成器110a和110b的剩余资源进行组合，而识别出可以开始新的 会汉。如果设备提取单元312识别出新的4H义可以开始，则控制单元302 在管理表的相应记录中增加所耗用的资源数。分派单元314分派用于会议 终端120a和120b的图4象合成器110a，并且其分派用于会汉终端120c和 120d的图像合成器110b。
为了通知可以举行会议，发送单元321向会议终端120a发送指示会议 可以开始的"NOTIFY"消息(步骤S1104)。如果没有足够的资源来开始该会汉，则发送单元321发送指示会汉不能开始的"NOTIFY"消息。
在接收到该"NOTIFY"消息时，会议终端120a向会议控制器100发 送"200OK，，消息用于进行确认(步骤S1105)。
会议控制器100发送"REFER (INVITE)(参考(邀请))"消息 给图像合成器110a，以便在图像合成器110a与会议终端120a之间建立会 话(步骤S1106)。该"REFER"消息被称为第三方呼叫控制，其被^H义 控制器100用作第三方来控制在图像合成器110a与会议终端120a之间建 立和终止会话。
在接收到该"REFER (INVITE )"消息时，图像合成器110a的发送 单元221向会汉控制器100发送"202ACCEPTED (接受)"消息(步骤 S1107)。
控制单元202将"REFER (INVITE)"消息中用于合成图像的屏幕 布局信息设置给图像合成单元204 (步骤S1108)。
因为所接收的"REFER (INVITE )，，消息包括对于图像合成器110a 要连接到会议终端120a的指示，所以发送单元221向会议终端120a发送 "INVITE"消息，以便在图像合成器110a与会议终端120a之间建立M (步骤S1109)。
在接收到该"INVITE"消息时，会议终端120a向图像合成器110a 发送"200OK"消息(步骤SlllO)。会议终端120a基于RTP开始与图 像合成器110a交换图像数据(步骤Sllll)。该"INVITE"消息可以包 括图像数据的各种参数，例如，压缩编码方法、分辨率、帧速率以及比特 速率。
类似地，基于来自会议控制器100的第三方呼叫控制，在图像合成器 110a与会议终端120b之间建立会话和交换图像(步骤S1112至S1117)。
由此，图像合成器110a从4H义终端120a和120b获取图像数据。在图 像合成器110a解压缩所接收的图像数据之后，图像合成器110a的图像数 据通信单元203开始向图像合成器110b发送被解压缩的图像数据(步骤 S1118)。然而，并不是所有的被解压缩的图像数据都需要M送到图像合成器110b。例如，图像数据通信单元203可以仅发送图像合成器110b所 要求的图像数据。
会汉控制器100发送"REFER (INVITE)"消息以4更在图像合成器 110b与会汉终端120c之间建立会话(步骤S1119 )。
在接收到该"REFER (INVITE )"消息时，图像合成器110b的发送 单元221向会议控制器100发送"202ACCEPTED"消息(步骤S1120)。
图像合成器110b的控制单元202将"REFER (INVITE )"消息中用 于合成图像的屏幕布局信息设置给图像合成单元204 (步骤S1121)。
因为所接收的"REFER (INVITE)"消息包括对于要连接到会议终 端120c的指示，所以图像合成器110b的发送单元221向会议终端120c发 送"INVITE"消息，以便建立与会议终端120c的会话(步骤S1122)。
在接收到该"INVITE"消息时，会议终端120c向图像合成器110b 发送"200OK，，消息(步骤S1123)。会议终端120c基于RTP开始与图 像合成器110b交换图像数据(步骤S1125 )。
类似地，基于来自会议控制器100的第三方呼叫控制，在图像合成器 110b与会议终端120d之间建立会话和交换图像(步骤S1126至S1130 )。
由此，图像合成器110b从会议终端120c和120d获取图像数据。在图 像合成器110b解压缩所接收的图像数据之后，图像合成器110b的图像数 据通信单元203开始向图像合成器110a发送被解压缩的图像数据(步骤 S1131)。然而，并不是所有的被解压缩的图像数据都需要^Jl送到图像合 成器110a。例如，图像数据通信单元203可以仅发送图像合成器110a所 要求的图像数据。
根据上述过程，可以在会议终端120a至120d之间举行会议。会议终 端120a和120b ,皮连接到图像合成器110a，并且会汉终端120c和120d被 连接到图像合成器110b。换言之，图像合成器110a和110b经由网络150 接收不同的图像数据。然而，图像合成器110a和110b经由专用线路151 交换被解压缩的图像数据。因此，由每个图像合成器中的图像合成单元204 所合成的被发送到其它图像合成器的图像数据包括了会议终端120a至120d的所有图像。
在图11所示的序列图中，按照相对于每个设备的顺序实现步骤S1106 至Sllll、步骤S1112至S1117、步骤S1119至S1124以及步骤S1125至 S1130。然而，以简单的方式表示该过程是为了便于解释，并且可以以不同 的顺序实现该过程。更具体而言，由图像合成器110a、会汉控制器100和 对应的会议终端所实现的过程以及由图像合成器110b、会议控制器100和 对应的会议终端所实现的过程在彼此并行的情况下独立地实现。
图13是当图像合成器110a与图像合成器110b群集以分担对图像数据 的解压缩和压缩的时候，合成来自会议终端的图像数据的过程的流程图。 当图像合成器110b和110c相互群集的时候，它们可以实现相同的过程， 并且省略了其解释。
图4象合成器110a的控制单元202确定是否终止会汉(步骤S1301)。 例如，当接收单元222接收到对于终止会议的请求时，该会议终止。
如果会汉并不终止(在步骤S1301为"否")，则控制单元202确定 所接收的信息是否是来自所连接的会议终端的图像数据(步骤S1302)。
如果所接收的信息是图像数据(在步骤S1302为"是，，)，则负责该 图像数据的图像解压缩单元205a至205e之一解压缩所接收的图像数据(步 骤S1303)。
如果所群集的图像合成器110b运作相同的会议，则图像数据通信单元 203发送被解压缩的图像数据(步骤S1304)。在这种情况下，图像数据通 信单元203接收被解压缩的图像数据(步骤S1305 )。
图像合成器110a的图像合成单元204合成被解压缩的图像数据，以便 生成关于每个会议终端的单个图像数据(步骤S1306)。稍后将描述图像 布局。
图像合成器110a的每个图像压缩单元206a至206e压缩所合成的图像 数据(步骤S1307)。
发送单元221相对于每个会议终端发送被压缩的图像数据(步骤 S1308)。控制单元202确定接收单元222是否已经接收到用于合成图像的屏幕 布局(步骤S1309)。如果接收到该屏幕布局(在步骤S1309为"是")， 则控制单元202设置布局信息给图像合成单元204 (步骤S1310)。
通过如上所述的控制单元202设置来实现图14A中所示的屏幕布局。 该屏幕布局并不限于图14中所示的例子。例如，当检测到发言者的时候， 可以放大该发言者的图像。
如图14B所示，作为发言者的参与者D所使用的会议终端120d的图 像数据^^故大，并且可以在底部显示被缩小的参与者A至C的图像。
在图14C所示的例子中，参与者A至C的图傳^目比于图14B所示的 例子中的图傳^皮缩小得更多。
在图14D所示的例子中，参与者A至C的图傳4皮缩小并且被显示在 角落。如图14A至14D所示，可以根据需要改变屏幕布局。该屏幕布局并 不限于上述那些，并且可以^:用任何其它的布局。
为了设置布局，使用了布局信息。该布局信息被从会汉控制器IOO发 送，并且存储在控制单元202中。如图15所示，图像号、使用状态、缩减 比率和布置位置在关于每个会议终端的布局信息中相互关联。该信息包括
五个图像，因为图像合成器可以连接五个会汉终端。
在图15中，假设会汉终端的屏幕大小是720x 480点(dot)。将被输 入到图像合成器的图像1至4举行单个会议，并且因此，图像数据1至4 的使用状态指示"是"。该布局信息是基于图14A所示的四分布局的。该 布局信息中的布置位置包括分层信息以及作为原点的X坐标和Y坐标。该 分层信息指示了显示的优先级。其指示当图像重叠的时候哪个图像数据具 有进行显示的较高优先级。
根据该实施例，因为图像数据关于每个会议终端被合成，所以可以排 除自己的图4象数据。例如，当存在参与者A至D的时候，将发送到参与者 A的图像数据可以被合成为仅显示参与者B至D。
此外，根据该实施例，因为图像数据是基于用于每个^4义终端的布局 信息被合成的(与图像合成器无关)，所以根据用户喜好以任何布局提供该图像数据。
当图像合成器与另一图像合成器群集的时候，图16中所示的布局信息 的数据配置包括了与图15中所示的布局信息相同的字段；然而，图像数不 同。换言之，可以使用来自该图像合成器的五个图像数据以及来自所群集 的图像合成器的五个图像数据来合成该图像数据。该布局信息是基于使用 来自该图像合成器的图像数据1和2以及来自所群集的图像合成器的图像 数据l'和2'的四分布局的。
通过如此i殳置布局信息，可以按照适合每个会议终端的布局来合成图 像数据。
返回图13的解释，如果会议终止(在步骤S1301为"是，，)，则图像 合成器110a的控制单元202进行控制以停止会议(步骤S1311)。
通过实现如上所述的过程，图像合成器110a、 110b和110c基于布局 信息来合成从所连接的会议终端接收到的图像数据，并且以适合每个会i义 终端的布局发送该图像数据。当图像合成器并不与另外的图像合成器分担 对图像数据的解压缩和压缩的时候，在步骤S1304和S1305,图像数据通 信单元203并不发送或接收图像数据；然而，如上所述实现其它过程。
参照图17解释了当根据该实施例的多点电话会议系统终止会议时实 现的消息传输。
该解释假设会议终端120a向会议控制器100发送对于终止会汉终端 120a至120d之间的会汉的请求；然而，消息传输并不限于这种情况。例 如，另外的会汉终端(而不是会议终端120a )可以发送该请求。除此之外， 可以将另外的事件用作触发器来终止该^i义，而不是会汉终端120a至120d 之一向会汉控制器IOO发送该请求。例如，在当前时间达到存储在会议控 制器100等中的预定会议的终止时间的时候，会H义控制器100可以进行控 制来终止该会议。
尽管在图17所示的序列图中将SIP用作传输控制协议，但并不限于使 用SIP。
在会议期间，会议终端120a和120b与所连接的图像合成器110a交换图像数据(步骤S1401、 S1402 )。会议终端120c和120d与所连接的图傳_ 合成器110b交换图像数据(步骤S1403、 S1404)。在彼此群集的图像合 成器110a与110b之间还交换被解压缩的图像数据(步骤S1405)。
会汉终端120a向会议控制器100发送"NOTIFY"消息，其指示对于 终止会议终端120a至120d之间的会议的请求(步骤S1406 )。
会汉控制器100中的发送单元321向会议终端120a发送"200OK"消 息用于进行确认(步骤S1407 )。
发送单元321发送"REFER (BYE)(参考(再见))"消息以终止 图像合成器110a与会议终端120a之间的会话(步骤S1408 )。
在接收到该"REFER (BYE)"消息时，图像合成器110a的控制单 元202向^H义控制器100发送"202ACCEPTED"消息(步骤S1409 )。
因为该"REFER (BYE)"消息指示终止图像合成器110a与会议终 端120a之间的会话，所以图像合成器110a向会议终端120a发送"BYE" 消息以终止与会汉终端120a的会话(步骤S1410 )。
在接收到该"BYE"消息时，^i义终端120a向图《象合成器110a发送 "200OK"消息(步骤S1411)。
由此，^4义终端120a基于RTP停止与图像合成器110a交换图像数据 (步骤S1412 )。
通过实现类似于步骤S1408至S1412的过程，会议控制器100实现第 三方呼叫控制，以便终止图像合成器110a与会汉终端120b之间的会话， 并停止图像数据的传输(步骤S1413至S1416 )。
发送单元321发送"REFER (BYE)，，消息以终止图像合成器110b 与会议终端120c之间的会话(步骤S1418)。
在接收到该"REFER (BYE)"消息时，图像合成器110b的控制单 元202向^H义控制器IOO发送"202ACCEPTED"消息(步骤S1419 )。
因为所接收的"REFER (BYE)"消息指示图像合成器110b终止与 会议终端120c的会话，所以图像合成器110b向会议终端120c发送"BYE" 消息以终止该会话(步骤S1420)。在接收到该"BYE"消息时，会议终端120c向图像合成器110b发送 "200OK，，消息(步骤S1421)。
由此，会议终端120c基于RTP停止与图像合成器110b交换图像数据 (步骤S1422 )。
通过实现类似于步骤S1418至S1422的过程，会汉控制器100实现第 三方呼叫控制，以便终止图像合成器110b与会议终端120d之间的会话， 并停止图像数据的传输(步骤S1423至S1427)。
会议控制器100释放对于该会议所使用的会议资源(步骤S1428)。 例如，控制单元302分别减少图像合成器110a和110b这二者的使用资源 数。
利用上述过程，会议终端120a至120d之间的会议被终止。在图17 所示的序列图中，按照关于每个设备在步骤S1408至S1412、步骤S1413 至S1417、步骤S1418至S1422以及步骤S1423至S1427的顺序来实现该 终止过程。然而，以便于解释的顺序表示了该过程，并且可以以不同的顺 序实现该过程。例如，在图像合成器110a与^i义控制器100之间的过程以 及在图像合成器110b与会议控制器100之间的过程在彼此并行的情况下独 立地实现。
图像合成器110a、 110b和110c解压缩、合成并且压缩从多个会议终 端接收的图像数据。然而，考虑到将要处理的图像数据量以及在该过程中 实现的步骤数，通过使用单个中央处理单元(CPU)的软件难以实现该过 程。使用硬件可以实现根据该实施例的图像合成器llOa、 110b和110c的 功能。
如图18所示，图像合成器110a包括CPU 1801、随机访问存储器 (RAM) 1802、网^l"口 (网络I/F) 1803、图像压缩/解压缩电路1804 至1808、图像合成电路1809、群集接口 (群集I/F) 1810以及连接这些单 元的总线1811。
通过图像压缩/解压缩电路1804至1808来实现图像解压缩单元205a 至205e以及图像压缩单元206a至206e。可以通过分离的电路来实现图像压缩电路和图像解压缩电路。通过图像合成电路1809来实现图像合成单元 204。
分组通信单元201经由网络I/F 1803 (例如，基于100 Mbps Ethernet (注册商标)的网络接口 )控制信息的传输。图像数据通信单元203经由 群集I/F 1810控制图像数据的传输，等等。
使用CPU 1801以及由CPU 1801所使用的RAM 1802,通过软件来实 现控制单元202。
总线1811 (例如，PCI (外围组件互连))连接了 CPU 1801、图像压 缩/解压缩电路1804至1808、图像合成电路1809以及网络I/F 1803。尽管 在图18中利用单个总线连接这些单元，然而，可以经由总线桥接器以不同 的比特速率将这些单元与多个总线相连。
使用对未压缩图像数据进行交换的总线(例如，ITU-R BT.656总线)， 图像合成电路1809被连接到图像压缩/解压缩电路1804至1808。
设计指南规定了每个内部总线接口 。
群集I/F 1810是专用信号线路，其根据实时合成过程的需要来传输必 要数量的压缩图像数据。根据该实施例，群集I/F 1810是基于低电压差分 信号(LDVS)的约10 Gbps的信号线路。由此，在以约250 Mbps利用标 准定义质量解码了图像数据之后，可以在所群集的图像合成器之间传输用 于会议终端的未压缩的图像数据量。然而，该信号线路并不限于LVDS。
尽管根据该实施例使用群集I/F 1810来传输图像数据，然而，将被传 输的数据可以包括除了图像数据之外的其它数据。如上所述，相比于网络 I/F 1803，群集I/F 1810以更高的速度进行可靠的通信。例如，群集I/F 1810 可靠地传输网络I/F 1803由于比特速率不足而不能处理的未压缩的图4象数 据。
除此以外，可以通过计算机程序来实现整个图像合成器。 如图19所示，会议控制器100包括作为硬件的CPU 1901、RAM l卯3、 网络I/F 1904、硬盘驱动(HDD )1906以及总线1905。 CPU l卯l根据HDD 1906中的程序来控制会议控制器100的每个单元。RAM 1903中存储了控制会汉控制器100所需的各种数据。网络I/F 1904被连接到网络150用于 通信。HDD l卯6中存储了会4义控制程序以及各种类型的信息。总线1卯5 连接了会议控制器100中的单元。会议控制器100可以通过如上所述配置 的通用计算机来实现。
根据该实施例，由会议控制器100执行的会议控制程序以可安装或可 执行格式^^记录在计算机可读记录介质中，例如HDD、只读光盘存储器 (CD-ROM)、软盘(FD)、可读光盘(CD-R)以及数字视频盘(DVD )。
在这种情况下，当会议控制器100从记录介质读取会议控制程序并执 行它的时候，会议控制程序被加栽到主存储单元中，并且在主存储单元中 生成控制单元302。当执行^i义控制程序的时候，将资源存储单元303和 布局管理单元304存储在主存储单元中。
^i义控制程序可以被存储在连接到诸如因特网的网络的计算机中，以 便经由网络通过下载而提供。可以经由网络提供或分布会议控制程序。
根据该实施例的会汉控制程序可以被记录在将提供的ROM等中。
^i义控制程序包括上述单元的模块。当CPU从记录介质读取该^i义控 制程序并执行它的时候，这些单元被加载到主存储单元中并在其中被生成。
图l象合成器并不限于一对一地群集，并且它们可以一对n地群集。
在假设多点电话会汉系统使用图像数据的情况下描述了该实施例。当 所传输的数据与图像数据一样大的时候，通过用于群集的专用线路的通信 甚至更有效。然而，根据该实施例的多点电话^i义系统并不限于传输图像 数据，并且其可以被配置成传输各种媒体数据，例如声音数据和包括文本 聊天应用和电子表格的应用数据。
根据该实施例，会议控制器100将从图像合成器发送的注册信息存储 在资源存储单元303中。当会议控制器100从会议终端接收到对于开始会 议的请求时，其基于该注册信息分派适合该会议的图像合成器。如果已经 注册有这些图像合成器被群集，则会议控制器100自动控制所群集的图像 合成器举行^i义。如此，管理员不需要手动进行设置，这减少了实现多点 ^i义的设置的工作负荷。此外，在根据该实施例的多点电话会议系统中，在没有管理员操作的
情况下，会议控制器100注册图像合成器，并且利用图像合成器的资源来
控制举行多点电话会汉。
本发明并不限于上述实施例，并且可以按照如下所述的各种修改来实 施本发明。
根据实施例的图4象合成器110a、 110b和110c包括与资源的最大数目 相同数目的图像压缩单元206a至206e;然而，并不对包括在图像合成器 中的图像压缩单元的数目进行限制。
根据第一修改，图像合成器仅包括一个图像压缩单元。单个图像合成 器运作单个会议。如果图像合成器与另一图像合成器群集，则多个群集的 图像合成器可以运作单个会议。图像合成器按照对于连接到该图像合成器 的所有会议终端来说共用的屏幕布置、压缩编码方法、分辨率、帧速率和 比特速率来生成合成的图像数据，并且向与其连接的所有会议终端发送所 合成的图像数据。
图像合成器可以,皮配置以^f更使用分级编码(scalable coding )作为压缩 编码方法。利用分级编码，即使图像合成器仅包括一个图像压缩单元，图 像合成器也可以在不同的分辨率或比特速率的情况下从被压缩的图像数据 中提取多个图像数据，由此向每个会汉终端发送酌情处理的图像数据。
在上述实施例中，如果图像合成器110a和110b相互群集(通过从图 像合成器110a接收注册信息)，则图像合成器110a的条目被注册到会i义 控制器100中的资源存储单元303。此时，尚未注册关于这些图像合成器 被群集的事实。在从图像合成器110b接收到注册信息时，注册单元311 向资源存储单元303中图像合成器110a和110b的条目注册关于该群集的 事实。然而，该实施例并不限于如上所述的注册方法。
例如，如果图〗象合成器110a和110b相互群集，则会汉控制器100可 以被配置以便在从图像合成器110a和110b之一接收到所群集的图像合 成器的标识符时，向资源存储单元303注册关于该群集的事实。
本发明并不限于该实施例，并且可以利用在本发明范围之内修改的那些单元来实现本发明。
例如，根据实施例，会议控制器100和图4象合成器110a、 110b和110c 是独立的设备。然而，会议控制器100可以包括图像合成器的功能。如果 通过包括有图4象合成器的多个会议控制器而实现了多点电话会汉系统，则 任何一个会议控制器便集中实现用于其它图像合成器的注册过程。
可以根据需要来组合在实施例以及修改中所公开的多个单元。例如， 可以移除一些单元。此外，可以根据需要组合在实施例和修改中单独公开 的单元。
本领域的技术人员将很容易想到其它的优点和修改。因此，在其更广 的方面中，本发明并不限于文中所示出和描述的具体细节和代表性实施例。 相应地，在不背离如所附权利要求及其等同物所限定的整体创造性概念的 精神和范围的情况下，可以进行各种修改。
权利要求
1. 一种通信控制器，其经由多路复用通信网络控制设备的通信，所述设备包括与专用线路双向连接的至少两个信息合成器，以及发送将由所述信息合成器合成的信息的至少两个终端设备，所述通信控制器包括接收单元，其从所述信息合成器接收第一ID和第二ID，所述第一ID是双向连接到所述信息合成器中的一个信息合成器的信息合成器的ID，并且所述第二ID是所述信息合成器中的所述一个信息合成器的ID；存储单元，其存储相互关联的所接收的第一ID和所接收的第二ID；以及分派单元，当从第一信息合成器接收到的第一ID和第二ID这二者与从第二信息合成器接收到的第一ID和第二ID都匹配时，所述分派单元向所述第一信息合成器分派所述终端设备中的一个终端设备，并且向所述第二信息合成器分派所述终端设备中的另一个终端设备。
2. 根据权利要求l所述的通信控制器，其进一步包括发送单元，所述 发送单元经由所述多路复用通信网络向所述第 一信息合成器发送所述一个 终端设备的ID,以及向所述第二信息合成器发送所述另一个终端设备的 ID。
3. 根据权利要求1所述的通信控制器，其中所述存储单元包括就每个信息合成器而言每次能被合成的信息段的最 大数目，并且所述分派单元向所述第一信息合成器分派一定数目的终端设备，所述 数目少于所述第一信息合成器能合成的信息段的最大数目。
4. 根据权利要求l所述的通信控制器，其中当所述接收单元接收到来 自所述终端设备的请求时，所述分派单元向所述第一信息合成器分派所述 一个终端i殳备，并且向所述第二信息合成器分派所述另 一个终端设备。
5. 根据权利要求l所述的通信控制器，其进一步包括测量当前时间的 时钟，其中所述存储单元进一步存储预定时间，以便向所述第一信息合成器分派所述一个终端i殳备，以及向所述第二信息合成器分派所述另 一个终端i殳备， 并且当所述当前时间达到所述预定时间的时候，所述分派单元向所述第一 信息合成器分派所述第一终端设备，并且向所述第二信息合成器分派所述 另 一个终端设备。
6. —种信息合成器，其包括第 一通信单元，其经由将所述信息合成器双向连接到其它信息合成器 的专用线路，接收所述其它信息合成器的ID,向所述其它信息合成器发送 所述信息合成器的ID,以及接收待合成的第一信息；第二通信单元，其经由用于与第一终端设备、通信控制器和所述其它 信息合成器进行多路复用通信的多路复用通信网络，将所述其它信息合成 器的ID连同所述信息合成器的ID —M送到所述通信控制器，从所述通 信控制器接收所述第一终端设备的ID,以及从所述第一终端设备接收待合 成的第二信息；以及合成单元，其合成所述第一信息和所述第二信息，以便生成合成信息。
7. 根据权利要求6所述的信息合成器，其中所述专用线路的通信能够 快于经由所述多路复用通信网络的通信。
8. 根据权利要求6所述的信息合成器，其中 所述第 一通信单元进一 步接收第三信息；所述第二通信单元进一步从所述通信控制器接收用于所述第一终端设 备的布局信息、第二终端设备的ID和用于所述第二终端设备的布局信息， 并且经由用于进一步与所述第二终端设备进行多路复用通信的多路复用通 信网络而从所述第二终端设备接收第四信息；以及所述合成单元基于用于所述第一终端设备的布局信息来合成所述第三 信息和所述第四信息，以便生成将要发送到所述第一终端设备的第一合成 信息，并且基于用于所述第二终端设备的布局信息来合成所迷第一信息和 所述第二信息，以便生成将要发送到所述第二终端设备的第二合成信息。
9. 一种计算机程序产品，其具有包括程序化指令的计算机可读介质， 所述程序化指令用于经由多路复用通信网络控制设备的通信，所述设备包 括与专用线路双向连接的至少两个信息合成器，以及发送将由所述信息 合成器合成的信息的至少两个终端设备，其中当通过计算机执行时，所述 指令使得所述计算机实现从所述信息合成器接收第一 ID和第二 ID，所述第一 ID是双向连接到 所述信息合成器中的 一个信息合成器的信息合成器的ID ，并且所述第二 ID 是所述信息合成器中的所述一个信息合成器的ID;存储相互关联的所接收的第一ID和所接收的第二ID;以及 当从第一信息合成器接收到的第一 ID和第二 ID这二者与从第二信息 合成器接收到的笫一 ID和第二 ID都匹配时，向所述第一信息合成器分派 所述终端设备中的一个终端设备，并且向所述第二信息合成器分派所述终 端设备中的另 一个终端设备。
10. 根据权利要求9所述的计算才;i^呈序产品，其中所述指令进一步使 得所述计算机实现经由所述多路复用通信网络向所述第一信息合成器发 送所述一个终端设备的ID,以及向所述第二信息合成器发送所述另一个终 端设备的ID。
11. 根据权利要求10所述的计算才;i4呈序产品，其中所述存储包括了就每个信息合成器而言每次能被合成的信息段的最大 数目，并且所述分派向所述第一信息合成器分派一定数目的终端设备，所述数目 少于所述第一信息合成器能合成的信息段的最大数目。
12. 根据权利要求9所述的计算才;^呈序产品，其中当接收单元接收到 来自所述终端设备的请求时，所述分派向所述第一信息合成器分派所述一 个终端设备，并且向所述第二信息合成器分派所述另 一个终端设备。
13. 根据权利要求9所述的计算机程序产品，其中所述指令进一步使 得所述计算机实现对当前时间的测量，其中所述存储存储了预定时间，以便向所述第一信息合成器分派所述一个终端设备，以及向所述第二信息合成器分派所述另一个终端设备，并且当所述当前时间达到所述预定时间的时候，所述分派向所述第 一信息 合成器分派所述笫一终端设备，并且向所述第二信息合成器分派所述另一个终端i殳备。
14. 一种计算机程序产品，其具有包括程序化指令的计算机可读介 质，所述程序化指令用于合成待合成的信息以及生成合成信息，其中当通 过计算机执行时，所述指令使得所述计算机实现经由专用线M收信息合成器的ID; 经由所述专用线路向所述信息合成器发送所述计算机的ID; 经由多路复用通信网络将所述信息合成器的ID连同所述计算机的ID 一起发送到通信控制器；经由所述多路复用通信网络从所述通信控制器接收终端设备的ID;经由所述专用线路从所述信息合成器接收第一信息；经由所述多路复用通信网络从所述终端设备接收待合成的第二信息；经由所述专用线路向所述信息合成器发送所述第二信息；以及合成所述第一信息和所述第二信息以便生成合成信息。
15. 根据权利要求14所述的计算机程序产品，其中所述专用线路的 通信能够快于经由所述多路复用通信网络的通信。
16. 根据权利要求14所述的计算机程序产品，其中所述指令进一步 使得所述计算机实现接收待合成的第三信息；经由所述多路复用通信网络从所述通信控制器接收用于第 一终端设备 的布局信息、第二终端设备的ID和用于所述第二终端设备的布局信息； 以及经由所述多路复用通信网络从所述第二终端设备接收待合成的第四信 息，其中基于用于所述第一终端设备的布局信息来合成所述第三信息和所述第 四信息，以便生成将要发送到所述第一终端设备的第一合成信息，并且基于用于所述第二终端设备的布局信息来合成所述第一信息和所述第 二信息，以便生成将要发送到所述第二终端设备的第二合成信息。
全文摘要
一种通信控制器(100)，其从每个信息合成器接收指示了彼此双向连接的两个信息合成器的第一ID和第二ID；在其中存储相互关联的所述第一ID和所述第二ID；以及当来自第一信息合成器的第一信息和第二信息都匹配于来自第二信息合成器的那些信息的时候，向所述第一信息合成器分派终端设备中的一个终端设备，并且向所述第二信息合成器分派所述终端设备中的另一个终端设备。
文档编号H04N7/15GK101491091SQ200780026470
公开日2009年7月22日 申请日期2007年3月16日 优先权日2006年9月27日
发明者川村卓也, 涩谷尚久, 田中信吾, 菅沢延彦 申请人:株式会社东芝