专利名称：多点会议系统及多点会议装置的制作方法
技术领域：
本发明涉及多点间通信系统，特别涉及多点会议系统及多点会议装置。
背景技术：
在以往的多点会议系统中，作为从参加会议的多个会议终端检测发言人的方法，采用下述两种方法中的一种，即(1)由多点会议装置检测发言人的方法；(2)由会议终端向多点会议装置通知自身终端是发言人的方法。
不管在上述(1)、(2)中的何种方法中，指定发言人的多点会议装置在直接切换发言人时，由于都是在帧间编码帧(进行帧间编码的帧)的中途进入切换的状态，因此，发言人以外的会议终端在接收到帧内编码帧(进行帧间编码的帧)之前无法顺畅地切换发言人。
因此，为了切换发言人图像，对作为发言人的会议终端进行帧内编码帧的发送或重发请求。
作为以往的多点会议系统的一个例子，可以参考专利文献1中公开的由会议终端向多点会议装置通知自身终端是发言人的系统。该系统由配置于多个地点的多个会议终端和多个地点之间的通信控制装置(多点会议装置)构成。以往的多点会议系统如下操作。
(A1)当从任意的会议终端有发言人切换请求时，多点会议装置对进行请求的会议终端进行请求以发送或重发帧内编码帧，并对参加会议的其他会议终端请求冻结各个会议终端所显示的当前图像，直至接收到从多点会议装置发送的帧内编码帧为止。
(A2)然后，从多点会议装置接收了帧内编码帧发送请求的会议终端向多点会议装置发送帧内编码帧。另一方面，从多点会议装置接收了冻结请求的会议终端使正显示的当前图像冻结，直到接收帧内编码帧为止。
(A3)从作为发言人的会议终端接收了帧内编码帧的多点会议装置向其他的会议终端发送帧内编码帧，接收到帧内编码帧的发言人以外的会议终端解除图像的冻结，并通过帧内编码帧来切换图像。
这样，在以往的多点会议系统中，从多点会议装置向作为发言人的会议终端发送帧内编码帧发送请求，并从作为发言人的会议终端向多点会议装置发送帧内编码帧，由此来使多点会议装置能够进行发言人切换。
作为与多点会议系统相关的出版物，例如在后述的专利文献2中公开了下述多点会议控制装置，该多点会议控制装置从来自各个会议终端的被复用的数据中检测视频数据的图像头(picture header)，并仅提取被帧内编码的帧内编码帧视频数据，然后对提取的帧内编码帧视频数据进行合成。另外，在专利文献3中公开了可实现没有不适感的图像、声音的切换的多点视频会议控制装置。在该专利文献3中公开了如下结构，即检测影像数据的帧内编码帧并生成帧内编码帧检测信息，然后基于所生成的帧内编码帧检测信息，切换为由代表发言人选定的终端的影像数据。另外，在后述的专利文献4中还公开了能够正确辨别当前的发言人的多点间通信系统。
专利文献1日本专利申请公开公报特开平02-274084号(第3页，图1)；专利文献2日本专利申请公开公报特开平2001-69474号(第3页，图1)；专利文献3日本专利申请公开公报特开平2002-176503号(第3页，图1)；专利文献4日本专利申请公开公报特开平08-331535号(第2-3页，图1)。
发明内容
然而，上述以往的系统具有如下的问题点。
第一问题点是当会议终端使用SIP终端时无法完全切换为发言人画面。
其原因如下SIP终端是在呼叫处理中使用在IETF标准RFC3261(2543)中规定的SIP(Session Initiation Protocol，会话启动协议)，从而在IP网络上实时进行双向多媒体通信的终端，但在媒体传输中却使用支持实时传输的RTP(Real-time Transport Protocol，实时传输协议)、或不具有重发步骤的UDP(User Datagram Protocol，用户数据报协议)。
因此，不支持图像的重发请求。从而，多点会议装置无法为切换发言人而向SIP终端请求帧内编码帧，并无法接受帧内编码帧的重发，因而无法进行发言人的完全切换。
第二问题点是要顺畅地切换发言人需要较长时间。
其原因如下即便由多点会议装置进行发言人切换，也因为在从作为先前发言人的SIP终端发送的帧间编码帧的中途进入切换的状态，所以，直到由作为发言人的SIP终端发送帧内编码帧，并由发言人以外的SIP终端接收帧内编码帧为止，无法完全进行发言人切换。
因此，本发明的目的在于，提供一种在将SIP终端用作会议终端的情况下也能够完全切换为发言人画面的使用多点会议系统及多点会议装置。
本发明的另一目的在于，提供一种能够顺畅地切换发言人的多点会议系统及多点会议装置。
在本申请中公开的发明为了达到上述目的，大概如下构成。
通过将本发明应用到不支持重发请求功能的SIP(Session InitiationProtocol)终端可参加的多点会议系统中，使得在切换发言人时，在多点会议装置中对来自切换对象的SIP终端的图像数据进行处理，由此将帧内编码帧作为切换时的最开始的图像数据而发送给其他参加会议的SIP终端，从而能够顺畅地进行发言人切换，而不使在SIP终端上显示的发言人的图像切换时的图像发生紊乱。
本发明的一个方面涉及的系统是一种多点会议系统，其包括多个终端和与多个终端连接的多点会议装置，并通过接收发送图像及声音来进行会议，其中，所述多点会议装置包括媒体处理部，进行发言人的检测；存储部，保存来自参加会议的终端的图像；以及图像处理部，当在所述媒体处理部中检测到发言人时，对所述发言人的图像进行解码并对所述解码的图像进行再编码；当在所述媒体处理部中检测到发言人时，所述图像处理部向发言人切换时的图像帧发送帧内编码帧。
在发明中，所述图像处理部如下构成，其包括解码部，基于所述媒体处理部的发言人检测结果，对所述存储部中保存的发言人的图像进行解码；参照图像存储部，保存由所述解码部对所述存储部中保存的发言人的最后的图像进行解码而得的参照图像；以及编码部，所述编码部对下述图像进行再编码，其中该图像是指由所述解码部基于所述参照图像存储部中保存的参照图像对在检测到发言人以后所接收的图像进行解码而得到的图像；其中，在检测到发言人以后，将所接收的发言人的图像的至少第一个帧编码为帧内编码帧。
本发明其他方面的方法是在检测到发言人切换之后，通过发言人切换处理单元对在发言人检测之后接收的图像数据进行解码/再编码，此时将开始的图像再编码为帧内编码帧，将此后的图像再编码为帧间编码帧，然后向发言人以外的终端发送图像数据。由此，发言人以外的终端在切换发言人时可从帧内编码帧进行解码。
发明效果根据本发明，通过在切换发言人时发送帧间编码帧，可以在切换为发言人的图像时不使图像发生紊乱而顺畅地进行切换。
其原因如下在本发明中，当对发言人检测之后接收的图像数据进行解码/再编码时，将第一个图像再编码为帧内编码帧，而此后再编码为帧间编码帧，然后向发言人以外的SIP终端发送图像数据。
根据本发明，由于不依赖于会议终端(软件)，所以能够顺畅地切换为发言人的图像。
其原因如下在本发明中使用会议系统装置来进行图像切换处理的缘故。
根据本发明，即便在实时通信的情况下也能够顺畅地进行发言人图像的切换。
其原因如下在本发明中由于不请求帧内编码帧的发送，所以在检测到发言人之后能够立刻进行发言人切换处理。
图1是本发明第一实施方式的系统结构的示意图；图2是本发明第一实施方式的多点会议装置的结构的示意图；图3是用于说明本发明第一实施方式中的发言人切换处理的操作的流程图；图4是用于说明本发明第二实施方式中的发言人切换处理的操作的流程图；图5是本发明第三实施方式的系统结构的示意图；图6是本发明第三实施方式的多点会议装置的结构的示意图；图7是用于说明本发明第三实施方式中的发言人切换处理的操作的流程图。
标号说明1 多点会议装置2-a～2-c SIP终端3 SIPproxy服务器4 IP网络53 G网6-a～6-c 终端11 RTP接收部12 呼叫处理部13 存储器14 会议控制部15 媒体处理部16 RTP发送部20 图像处理部21 解码器(解码部)22 参照图像存储器
23 编码器(编码部)31 接收部32 发送部具体实施方式
下面，参照附图对本发明的优选实施方式进行详细说明。图1是本发明第一实施方式的结构示意图。
参照图1可知，本发明第一实施方式中的系统包括多点会议装置1、SIP终端2-a～2-c、SIPproxy服务器(SIP代理服务器)3、以及连接这些装置的IP网络4。在图1中，多点会议装置1进行媒体数据的接收发送和发言人切换。SIP终端2-a～2-c将自身终端的图像/声音数据发送给多点会议装置1，并将从多点会议装置1接收的发言人的图像/声音数据输出给设备。
SIPproxy服务器3中转SIP终端2-a～2-c和多点会议装置1之间的SIP协议。
图2是图1的多点会议装置1的结构示意图。多点会议装置1包括RTP接收部11、呼叫处理部12、存储器13、会议控制部14、媒体处理部15、RTP发送部16、以及图像处理部20。图像处理部20包括解码器(解码部)21、参照图像存储器22、以及编码器(编码部)23。
在图2中，RTP接收部11接收来自SIP终端2-a的RTP/UDP/IP分组，并提取RTP有效载荷部。
当提取的RTP有效载荷部为SIP协议时，将RTP有效载荷传递给呼叫处理部12，当为媒体数据时，将RTP有效载荷传递给媒体处理部15。
呼叫处理部12进行会话的呼叫处理，并向RTP发送部16通知可否进行呼叫处理的结果。
并且，向会议控制部14通知会议参加者的IP地址、媒体接收端口。
媒体处理部15对于参加会议的SIP终端2-a～2-c，混合从自身终端以外的SIP终端发送来的媒体。同时，进行发言人的检测，并将发言人检测结果通知给会议控制部14。
会议控制部14对会议参加者的IP地址、媒体接收端口等会议参加者信息进行管理。
此外，当从媒体处理部15通知了发言人检测结果时，会议控制部14向图像处理部20通知用于切换发言人的处理开始通知。
图像处理部20在从会议控制部14接收到发言人切换处理开始通知后，从存储器13复制出存储器13中存储的来自各个SIP终端的图像RTP分组数据中的、切换对象者的数据。
存储器13按照每个终端来存储来自参加会议的SIP终端2-a～2-c的图像RTP分组。
图像处理部20使用解码器21对从存储器13复制的发言人切换对象者的图像数据进行解码。
最后，将解码后的图像存储到参照图像存储器22中。
此后，解码器21从RTP接收部11直接复制发言人切换对象者的图像RTP数据，并基于参照图像存储器22中存储的参照图像来进行解码处理，并将解码图像传递给编码器23。
编码器23对在解码器21中解码的图像进行再编码，并将再编码的图像数据复制到媒体处理部15中。
媒体处理部15将从编码器23复制的再编码图像进行混合以发送给发言人以外的终端，然后复制到RTP发送部16中。
RTP发送部16将从媒体处理部15传递来的媒体数据封装为RTP/UDP/IP分组，并发送给SIP终端2-a～2-c。
此外，RTP发送部16在从呼叫处理部12接收了发送SIP协议的请求时，将SIP协议封装为RTP/UDP/IP分组，并发送给作为对象的SIP终端2-a～2-c。
图3是用于说明本实施方式的操作的流程图。接着，使用图3的流程图来对本实施方式的多点会议装置的发言人切换处理操作进行详细的说明。
首先，媒体处理部15总是检查是否检测到了新的发言人(步骤S1)。
当在媒体处理部15中没有检测到发言人时，RTP接收部11分别检查当前的、发言人以外的会议参加者的图像RTP头(步骤S2)。
对当前的、发言人以外的会议参加者的图像RTP头进行检查，当作为会议参加者的SIP终端2-a的图像RTP头不是帧内编码帧时(是帧间编码帧)，RTP接收部11将SIP终端2-a的图像RTP有效载荷复制到存储器13中(步骤S4)。
当SIP终端2-a的图像RTP头是帧内编码帧时，RTP接收部11清除为用于SIP终端2-a而复制在存储器13中的图像RTP有效载荷(步骤S3)，并将图像RTP有效载荷复制到存储器13中(步骤S4)。
当在媒体处理部15中将SIP终端2-a检测为发言人时(步骤S1的“是”分支)，图像处理部20将存储于存储器13中的SIP终端2-a的图像RTP有效载荷的数据输入到解码器21中(步骤S5)。
解码器21对输入的图像数据进行解码(步骤S6)，并将最后解码的图像帧临时保存在参照图像存储器22中(步骤S7)。
在从检测发言人开始到将参照图像保存到参照图像存储器22中的期间，RTP接收部11检查来自作为发言人的SIP终端2-a的图像RTP头(步骤S8)，并在SIP终端2-a的图像RTP头为帧内编码帧时，结束将SIP终端2-a的图像RTP有效载荷输入到解码器21的处理，并将SIP终端2-a的图像RTP有效载荷转给媒体处理部15，然后结束发言人切换处理。
当SIP终端2-a的图像RTP头不是帧内编码帧时(是帧间编码帧)，RTP接收部11将SIP终端2-a的图像RTP有效载荷输入到解码器21中(步骤S9)。
解码器21基于临时保存在参照图像存储器22中的图像帧，开始对输入的图像RTP有效载荷进行解码(步骤S10)。
解码后的图像数据被输入到编码器23中，并被再次编码(步骤S11)。
当进行再编码时，编码器23将第一个帧编码为帧内编码帧，此后编码为帧间编码帧。然后将再编码后的图像数据复制到媒体处理部15中(步骤S12)。
媒体处理部15从RTP接收部11复制会议参加者的全部的声音RTP有效载荷并进行混合。并将混合的声音RTP有效载荷和再编码图像数据复制到RTP发送部16中。RTP发送部16将从媒体处理部15传递来的图像和声音数据封装为RTP/UDP/IP分组，并发送给发言人以外的SIP终端2-b、2-c(步骤S13)。
向解码器21传递了一个图像帧的RTP接收部11对作为接下来接收到的发言人的SIP终端2-a的图像RTP头进行检查(步骤S8)。
当发言人的图像RTP头不是帧内编码帧时(是帧间编码帧)，继续进行发言人切换的处理(步骤S9～S13)，另一方面，当为帧内编码帧时，结束将SIP终端2-a的图像RTP有效载荷输入到解码器21中的处理，并将SIP终端2-a的图像RTP有效载荷传递给媒体处理部15，然后结束发言人切换处理。
接着，参考附图来对本发明第二实施方式进行详细的说明。
本发明第二实施方式的结构与上述第一实施方式的结构相同，其与上述第一实施方式的不同点在于，当媒体处理部15检测到发言人时，根据来自媒体处理部15的指示，RTP发送部16进行向作为发言人的SIP终端2-a发送SIP方法(INFO方法)的控制，该SIP方法中包含有表示帧内编码帧发送请求之意的信息。
当检测到发言人时，媒体处理部15将发言人检测结果通知给会议控制部14。同时，媒体处理部15通知RTP发送部16以向发言人发送帧内编码帧发送请求。
RTP发送部16向作为发言人的SIP终端2-a发送INFO方法，该INFO方法中包含表示帧内编码帧发送请求之意的信息。
接收了INFO方法的SIP终端2-a根据请求信息，将下一次发送的图像帧编码为帧内编码帧，并将作为帧内编码帧的图像分组发送给多点会议装置1。此以后的操作与上述第一实施方式相同。
图4是用于说明本发明第二实施方式的操作的流程图。参考图4来对本实施方式的多点会议装置1的发言人切换处理操作进行详细的说明。
图4所示流程图中的步骤S21、S22、S23、S24的操作与图3所示流程图中的步骤S1、S2、S3、S4的操作相同，因此省略其说明。
当将SIP终端2-a检测为发言人时(步骤S21)，通知RTP发送部16以向发言人发送帧内编码帧发送请求，RTP发送部16向作为发言人的SIP终端2-a发送包含帧内编码帧发送请求信息的INFO方法(步骤S25)。
将INFO方法发送给发言人SIP终端2-a之后的步骤、即步骤S26～S34的操作与上述第一实施方式的图3的步骤S5～S13的操作相同，因此省略其说明。
这样，在本实施方式中，在检测到发言人之后立刻进行帧内编码帧发送请求，因此，不用像上述第一实施方式那样要将发言人切换处理持续进行到从作为发言人的会议终端发送帧内编码帧为止，从而具有能够更流畅地切换发言人图像的作用效果。
在本实施方式中，SIP方法使用了INFO方法，但也可以使用其他的SIP方法。另外，在帧内编码帧发送请求中使用了SIP方法，但也可以使用表示帧内编码帧发送请求之意的其他的指令。
在本实施方式中，会议终端在接收帧内编码帧发送请求之后会发送帧内编码帧，但也可以不对帧内编码帧发送请求作出反应。
接着，参考附图来对本发明的第三实施方式进行详细的说明。
图5、图6是本发明第三实施方式的结构示意图。本实施方式在图1所示的上述第一实施方式的系统结构的基础上，还具有3G网5和终端6-a～6-c。另外，在图2所示的第一实施方式的多点会议装置的功能框图中，用接收部31和发送部32分别替换了RTP接收部11和RTP发送部16，在这一点上有所差别。
在图5中，终端6-a～6-c是可进行图像及声音通信的第三代电话(3G-324M)，3G网5是终端6-a～6-c所连接的网络。
多点会议装置1通过进行IP网络4和3G网5间的不同类网络连接，在终端2-a～2-c与终端6-a～6-c之间进行多点会议。
在图6中，接收部31接收来自终端6-a的数据并提取数据。当所提取的数据为呼叫连接Q.931时，将数据传递给呼叫处理部12，当为媒体数据时，将数据传递给媒体处理部15。
呼叫处理部12进行呼叫连接处理，并将呼叫处理结果通知给发送部32。
并且，向会议控制部14通知作为会议参加者的终端6-a的电话号码、用户ID等。
媒体处理部15对于参加会议的SIP终端2-a～2-c和终端6-b、6-c，混合从自身终端以外的会议终端发送来的媒体，但是，当在SIP终端2-a～2-c与终端6-a～6-c中使用的图像、声音的编解码器不同时，在媒体处理部15中先将媒体数据解码，并依照各个会议终端的编解码器进行再次编码，然后进行混合。
媒体处理部15同时进行发言人检测，并将发言人检测结果通知给会议控制部14，此后进行的由存储器13存储来自各个会议终端的操作与第一实施方式的图2的操作相同，因此省略其说明。
图像处理部20依照由作为发言人的终端使用的图像编解码器，通过解码器21来解码从存储器13中复制的发言人切换对象的图像数据。
在将最后解码的图像存储到参照图像存储器22中后进行的、将解码图像传递给编码器23的操作与上述第一实施方式的图2的操作相同，因此省略其说明。
编码器23对在解码器21中解码的图像进行再次编码，但依照发言人以外的会议终端的图像编解码器来进行再次编码，然后将再编码的图像数据复制到媒体处理部15中。媒体处理部15将从编码器23复制的依照发言人以外的会议终端的图像编解码器的再编码图像进行混合以便发送给该会议终端，并复制到发送部32中。
发送部32依照IP网络和3G网5的媒体格式而将从媒体处理部15传递的媒体数据发送给SIP终端2-a～2-c和终端6-b、6-c。并且，基于从呼叫处理12通知的呼叫处理结果，通过呼叫处理Q.931发送给对象的终端6-a～6-c。
在SIP终端2-a～2-c的情况下，由于与上述第一实施方式的操作(参考图2)相同，所以省略说明。
接着，使用图7的流程图来对本实施方式的多点会议装置1的发言人切换处理操作进行详细的说明。
首先，媒体处理部15总是检查是否检测到了新的发言人(步骤S41)。
当没有检测到发言人时，接收部31分别检查当前的、发言人以外的会议参加者的图像数据(步骤S42)。在当前时刻对发言人以外的会议参加者的每一个图像数据进行检查，当作为会议参加者的终端6-a的图像数据不是帧内编码帧时(是帧间编码帧)，将终端6-a的图像数据复制到存储器13中(步骤S44)。
当终端6-a的图像数据是帧内编码帧时，清除为用于终端6-a而复制在存储器13中的图像数据(步骤S43)，并将图像数据复制到存储器13中(步骤S44)。
当将终端6-a检测为发言人时(步骤S41)，将存储于存储器13中的终端6-a的图像数据输入到解码器21中(步骤S45)。
解码器21依照输入的图像数据的图像编解码器来进行解码(步骤S46)，并将最后解码的图像帧临时保存在参照图像存储器22中(步骤S47)。
在从检测发言人开始到将参照图像保存到参照图像存储器22中的期间，接收部31检查来自作为发言人的终端6-a的图像数据(步骤S48)，并在终端6-a的图像数据为帧内编码帧时，结束将终端6-a的图像数据输入到解码器21中的处理，并将终端6-a的图像数据传递给媒体处理部，然后结束发言人切换处理。
当终端6-a的图像数据不是帧内编码帧时(是帧间编码帧)，接收部31将终端6-a的图像数据输入到解码器21中(步骤S49)，然后，基于临时保存在参照图像存储器22中的图像帧，并依照输入到解码器21中的图像数据的图像编解码器来开始解码(步骤S50)。
解码后的图像数据被输入到编码器23中，并依照发言人以外的会议终端的图像编解码器而被再次编码(步骤S51)。
当进行再编码时，将第一个帧编码为帧内编码帧，此后编码为帧间编码帧。然后将再编码后的图像数据复制到媒体处理部15中(步骤S12)。
媒体处理部15从接收部31复制会议参加者的声音数据并解码，然后依照发言人以外的会议终端的声音编解码器来进行再编码并混合。将依照各个会议终端的编解码器而混合的声音数据和再编码图像数据复制到发送部32中。发送部32将从媒体处理部15传递来的图像和声音数据变换为可以IP网络4、3G网5发送的格式，然后发送给作为发言人以外的会议终端的SIP终端2-a～2-c和终端6-b、6-c(步骤S53)。
这样，在本实施方式中具有如下的作用效果，即通过可将IP网络4和与其不同类型的网络的3G网5彼此连接的多点会议装置1，即便在SIP终端和3G网的终端之间也能够进行多点会议。
在本实施方式中，作为与IP网络不同类型的网络，连接的是3G网，但也可以使用ISDN网、网路服务提供商网(ISP网)、公共交换电话网(PSTN)。
另外，在检测到发言人之后没有立刻进行帧内编码帧发送请求，但也可以如第二实施方式那样，在检测到发言人之后立刻进行帧内编码帧发送请求。例如，在3G网的终端的情况下，也可以通过从多点会议装置发送ITU-T标准H.245的Video Fast Update指令来请求发送帧内编码帧。
以上通过上述实施例来对本发明进行了说明，但本发明不限于上述实施例的结构，勿庸置疑还包括在本发明的范围内本技术领域的普通技术人员所能进行的各种变形、修正。
权利要求
1.一种多点会议系统，包括多个终端和与多个终端连接的多点会议装置，并通过接收发送图像及声音来进行会议，其特征在于，所述多点会议装置包括媒体处理部，进行发言人的检测；存储部，保存来自参加会议的终端的图像；以及图像处理部，当在所述媒体处理部中检测到发言人时，对所述发言人的图像进行解码并对所述解码的图像进行再编码；其中，当在所述媒体处理部中检测到发言人时，所述图像处理部向切换发言人时的图像帧发送帧内编码帧。
2.如权利要求1所述的多点会议系统，其特征在于，所述图像处理部包括解码部，基于所述媒体处理部的发言人检测结果，对所述存储部中保存的发言人的图像进行解码；参照图像存储部，保存由所述解码部对所述存储部中保存的发言人的最后的图像进行解码而得的参照图像；以及编码部，所述编码部对下述图像进行再编码，其中该图像是指由所述解码部基于所述参照图像存储部中保存的参照图像对在检测到发言人以后所接收的图像进行解码而得到的图像；其中，在检测到发言人以后，将所接收到的发言人的图像的至少第一个帧编码为帧内编码帧。
3.如权利要求1所述的多点会议系统，其特征在于，所述终端和所述多点会议装置可使用不具有重发步骤的通信协议来进行通信。
4.一种多点会议装置，与多个终端进行通信连接，其特征在于，包括媒体处理部，进行发言人的检测；存储部，保存来自参加会议的终端的图像；图像处理部，当检测到发言人时，对所述发言人的图像进行解码并对所述解码的图像进行再编码；以及发送部，当在所述媒体处理部中检测到发言人时，向发言人切换时的图像帧发送被所述图像处理部再编码的帧内编码帧。
5.一种图像处理装置，设置于多点会议装置中，用于在检测到发言人时对发言人的图像进行解码/再编码，所述多点会议装置与多个终端连接，并具有进行发言人检测的媒体处理部、以及对来自参加会议的终端的图像进行保存的存储部，所述图像处理装置的特征在于，包括解码部，基于发言人检测结果，对所述存储部中保存的发言人的图像进行解码；参照图像存储部，保存由所述解码部对所述存储部中保存的发言人的最后的图像进行解码而得的参照图像；以及编码部，所述编码部对下述图像进行再编码，其中该图像是指由所述解码部基于所述参照图像存储部中保存的参照图像对在检测到发言人以后所接收的图像进行解码而得到的图像；其中，在检测到发言人以后，将所接收的发言人的图像的至少第一个帧编码为帧内编码帧。
6.一种多点会议系统，连接第一网络和与第一网络不同类型的第二网络，其特征在于，包括媒体处理部，进行发言人的检测；存储部，保存来自参加会议的终端的图像；以及图像处理部，当在所述媒体处理部中检测到发言人时，对发言人的图像进行解码并对所述解码的图像进行再编码；其中，当在所述媒体处理部中检测到发言人时，所述图像处理部向发言人切换时的图像帧发送帧内编码帧。
7.一种图像处理装置，设置于多点会议装置中，用于在检测到发言人时对发言人的图像进行解码/再编码，所述多点会议装置与多个终端连接，并具有检测发言人的媒体处理部，所述图像处理装置的特征在于，包括存储部，根据在所述媒体处理部中对发言人进行检测的结果，依照作为发言人的终端的编解码器来存储图像；解码部，对所述存储部中保存的发言人的图像进行解码；参照图像存储部，保存由所述解码部对所述存储部中保存的发言人的最后的图像进行解码而得的参照图像；以及编码部，所述编码部对下述图像进行再编码，其中该图像是指由所述解码部基于所述参照图像存储部中保存的参照图像对在检测到发言人以后所接收的图像进行解码而得到的图像；其中，将在检测到发言人以后通过所述接收部接收的发言人的图像的至少第一个帧编码为帧内编码帧，从而从连接于不同类型的网络上的终端发送的图像数据即便存在多个也能够应对。
8.一种发言人切换方法，用于多点会议装置，其特征在于，所述多点会议装置具有检测发言人的媒体处理部，以及将在检测到发言人之后在接收部中接收到的第一个发言人的图像编码为帧内编码帧的图像处理部，从而通过向参加会议的发言人以外的终端发送帧内编码帧来切换发言人图像，所述发言人切换方法包括判定所接收的发言人的图像是否为帧内编码帧的步骤；当检测为帧内编码帧时，停止所述图像处理部中的处理，并发送所接收的发言人的帧内编码帧的步骤；以及当所述发言人的图像不是帧内编码帧时，继续进行所述图像处理部的处理的步骤。
9.一种发言人切换方法，用于与多个终端连接的多点会议装置，其特征在于，包括由所述多点会议装置在检测到发言人时向终端发送帧内编码帧发送请求的步骤；以及由从所述多点会议装置接收到了帧内编码帧发送请求的终端向所述多点会议装置发送帧内编码帧的步骤。
10.一种发言人切换方法，用于多点会议装置，其特征在于，所述多点会议装置通过由图像处理部将在检测到发言人以后在接收部中接收到的第一个发言人的图像编码为帧内编码帧，来向参加会议的发言人以外的终端发送帧内编码帧，从而控制发言人图像的切换，所述发言人切换方法包括当检测出在接收部接收的发言人的图像是帧内编码帧时，停止所述图像处理部的处理，并发送由所述接收部接收的发言人的帧内编码帧的步骤；以及当检测出发言人的图像不是帧内编码帧时，继续进行所述图像处理部的处理的步骤；从而，从连接于不同类型的网络上的终端发送的图像数据即便存在多个也能够应对。
11.一种发言人切换方法，其特征在于，包括由多点会议装置从连接于不同类型的网络上的多个终端中检测发言人的步骤；由所述多点会议装置基于所述发言人检测结果，向终端发送帧内编码帧发送请求的步骤；以及由接收了帧内编码帧发送请求的终端向所述多点会议装置输出帧内编码帧的步骤。
12.一种发言人切换方法，其特征在于，包括由与多个终端连接的多点会议装置检测发言人的切换的步骤；以及由所述多点会议装置在检测到所述发言人之后对在发言人检测之后接收的图像数据进行解码后再次进行编码，并在此时将第一个图像再编码为帧内编码帧，将此后的图像再编码为帧间编码帧，然后向发言人以外的终端发送图像数据的步骤；从而，发言人以外的所述终端在切换发言人时能够从帧内编码帧进行解码。
13.一种多点会议装置，与多个终端连接，其特征在于，包括检测部，检测发言人的切换；以及图像处理部，在检测到所述发言人之后对在发言人检测之后接收的图像数据进行解码后再次进行编码，并在此时将第一个图像再编码为帧内编码帧，将此后的图像再编码为帧间编码帧，然后向发言人以外的终端发送图像数据；从而，发言人以外的所述终端在切换发言人时能够从帧内编码帧进行解码。
14.一种多点会议装置，其特征在于，包括接收部，从通信连接的终端接收分组；发送部，对发送分组进行发送；呼叫处理部，进行呼叫处理；媒体处理部，进行发言人的检测；会议控制部，对会议参加者信息进行管理；存储部，将来自参加会议的终端的图像数据与终端对应地存储起来；以及图像处理部，包含解码部、参照图像存储部、以及编码部；其中，所述会议控制部在从所述媒体处理部接收到发言人检测结果的通知时，向所述图像处理部通知用于切换发言人的处理开始通知，所述图像处理部在从所述会议控制部接收到所述用于切换发言人的处理开始通知后，从所述存储部中复制出所述存储部中所存储的来自终端的图像数据中的、切换对象者等的存储图像数据，并在解码部中进行解码，然后将最后解码的图像作为参照图像而存储到所述参照图像存储部中，进而，从所述接收部取得切换对象者的图像数据，并且在所述图像数据不是帧内编码帧时，将所述图像数据输入到所述解码部中，然后在所述编码部中基于存储在所述参照图像存储部中的所述参照图像来进行解码处理，并在所述编码部中对所述解码的图像数据进行再编码，然后将所述再编码的图像数据传递给所述媒体处理部，所述媒体处理部将所述再编码的图像数据混合后传递给所述发送部，以发送给发言人以外的终端，所述发送部将来自所述媒体处理部的图像数据封装为分组，然后发送给所述终端。
15.如权利要求14所述的多点会议装置，其特征在于，在从所述媒体处理部进行发言人的检测开始到由所述图像处理部将所述参照图像保存到所述参照图像存储部为止的期间，所述接收部检查从发言人的终端接收的图像数据，并在所述图像数据为帧内编码帧时，结束所述图像数据向所述解码部的输入，将所述图像数据传递给所述媒体处理部，然后结束发言人切换处理。
16.一种发言人切换方法，其是基于与多个终端连接的会议装置的方法，其特征在于，包括将来自参加会议的终端的图像数据存储到存储部中的步骤；进行发言人的检测的步骤；当进行发言人检测时，对所述存储部中存储的切换对象发言人的图像数据进行解码，并将最后解码的图像作为参照图像而存储到参照图像存储部中的步骤；在发言人检测之后，判断从发言人的终端接收的图像数据是否为帧内编码帧的步骤；当不是帧内编码帧时，基于存储在所述参照图像存储部中的所述参照图像，进行所述图像数据的解码处理，并对所述解码的图像数据进行再编码，此时，将来自发言人切换时的所述发言人的终端的第一个图像数据再编码为帧内编码帧，并向发言人以外的参加会议的终端发送所述再编码的图像数据的步骤；以及当是帧内编码帧时，向发言人以外的参加会议的终端发送从所述发言人的终端接收到的帧内编码帧的步骤。
17.一种发言人切换方法，其特征在于，包括第一步骤，当进行发言人切换时，对从切换对象发言人的终端接收到的、被编码的图像数据进行解码；以及第二步骤，对所述解码的图像数据进行再编码；其中，在所述第二步骤中，当进行再编码时，将来自切换发言人时的发言人的终端的第一个图像数据编码为帧内编码帧，当进行发言人切换时，向发言人以外的参加会议的终端发送帧内编码帧。
18.一种会议系统，其特征在于，包括解码单元，当进行发言人切换时，对从切换对象发言人的终端发送过来的编码图像数据进行解码；以及编码单元，对所述解码的图像数据进行再编码；其中，所述编码单元在进行再编码时，将来自切换发言人时的发言人的终端的第一个图像数据编码为帧内编码帧，当进行发言人切换时，向发言人以外的参加会议的终端发送帧内编码帧。
全文摘要
本发明提供了一种可将SIP终端用作会议终端的多点会议系统及多点会议装置，在该系统中，当检测到发言人时，不向会议终端请求帧内编码帧的发送就能够完全且顺畅地进行发言人切换。本发明的多点会议装置先将来自参加会议的会议终端的图像数据存储在存储器(13)中，并具有图像处理部，该图像处理部在由媒体处理部(15)检测到发言人时，对存储器(13)中存储的发言人的图像数据进行解码并对所述解码的图像进行再编码。当进行发言人切换时，图像处理部将第一个图像编码为帧内编码帧，然后向发言人以外的会议终端发送图像数据，由此，发言人以外的会议终端可从帧内编码帧进行解码，从而能够完全且顺畅地进行发言人切换。
文档编号H04N7/14GK1934861SQ20058000947
公开日2007年3月21日 申请日期2005年3月22日 优先权日2004年3月25日
发明者松本晃一, 小泽一范 申请人:日本电气株式会社