专利名称：多点播放会议装置及多点播放会议程序的制作方法
技术领域：
本发明涉及电视会议装置、电视会议系统及电视会议系统的控制方法，特别涉及缩短向从途中参加会议的参加者显示会议参加者的图像的时间的电视会议装置、电视会议系统及电视会议系统的控制方法。
现有技术现在，为了在多个地点间举行的电视会议，需要使用被称作MCU(Multipoint Control Unit)的将多个地点的图像、声音进行多路传送的装置。
但是，近年随着互联网的普及，能够利用被称作多点播放的的组多重功能，通过使用了这种多点播放，不必预备MCU等特别的装置，也能够进行多地点的电子会议。
图1，图2是表示了具有代表性的采用了图像及声音的多点播放电视会议系统的结构的例子。图1表示的是与网络的连接图，图2是表示终端装置简略结构的功能框图。从各个终端装置12-1～12-x发出的声音及图像通过网络向所有其他的终端装置12-1～12-x进行多点发送，各个终端装置12-1～12-x将接收的声音和图像个别或者合成后显示出来，通过这样方式，能够使电视会议的实现成为可能。。
电视会议系统由于受到通信容量的限制，通常将声音及图像经压缩编码后传输。具有代表性的图像压缩编码方式有H.261方式，MPEG1方式等。这些方式是有选择地切换使用将像素值按原样编码的帧内编码图像和对参照帧的差分编码的帧间预测的编码图像。对于移动、变化很少的图像，因当前帧与前面帧非常相似，使用将当前帧与前面帧的差分编码的而通过帧间预测编码图像，减少了时间的冗余度。对于移动大而且显著的图像或进行图像切换时，帧间的关连性很小，使用将像素值按原样编码的帧内编码图像是有效的。而一般的电视会议，移动并没有多大，所以开始时传输帧内编码图像，而以后传输帧间预测编码图像。
第1，现有的多点播放会议装置，有如下问题中途有终端参加进来时，接收的是到那时为止的数据即帧间预测编码图像，所以从一开始就接收了帧间预测编码图像的中途参加终端，因为没有参照图像(帧内编码图像)，无法显示正常的图像，或者，到接收下次帧内编码图像为止这一段时间内无法显示图像。
第2存在下述问题参加终端的处理能力不同的情况下，必须设定无论哪一个参加终端都能够进行处理地范围以内的设定值，而由于有中途参加又存在着必须将这个设定值进行变更的问题。
发明内容
本发明就是为了解决这些问题，具备如下功能在会议举行中间有参加的终端(中途参加终端)的场合，发出其中途参加信息，而其他终端(已参加终端)接收、检测其信息，这时，已参加终端发送数据时不是帧间预测编码图像而是发送帧内编码图像(I帧)。这样，用多点播放会议装置，即使对于中途参加的终端也能够顺利进行图像显示(将会议的图像在短时间内显示)，顺利地召开多地点的电视会议。
本发明还具备如下功能保持正在参加会议及以后参加会议的终端的处理能力信息，对照它们，变更为哪个终端都能处理的编码参数。这样，即使在由于有中途参加而需要变更编码参数时，可以进行无论在哪个终端都能处理的变更。
另外，本发明的特征在于对于正在参加会议及以后参加会议的终端设置重要度附加功能，涉及重要的数据时进行编码参数的变更。由此，对各个终端可以根据重要度进行编码，具有进行会议时，对重要项目可以进行明确的讨论的优点。
本发明还具备如下功能为了避免由中途参加或终端性能差别的调整等所引起的I帧同时传输所带来的频带超出，对终端的优先度进行管理，从优先度高的终端传输I帧。这样，尽快显示优先度高的终端的图像，而其他会议参加者在其后显示等，对网络的频带不会产生压力，可以尽快显示优先度高的图像。
因此，本发明的第1目的是缩短多点播放会议装置的在中途参加终端显示接收图像的所用时间。
第2目的是即使由于有中途参加会议者，使其中一部分终端不能以到此为止所用的编码参数进行处理的情况出现时，也能进行对应。
本发明的上述目的及优点，通过参照附图进行说明的以下的实施方式会更加明了。
图1为表示现有的多点播放多地点会议系统与网络的连接图的功能框图。
图2为表示现有的多点播放多地点会议系统的终端装置简略结构的功能框图。
图3为表示本发明实施方式1所涉及的多点播放会议装置的概结构的功能框图。
图4为表示上述实施方式1中的发送源信息的数据构造图。
图5为表示上述实施方式中加入了接收通知检测装置的多点播放会议装置的简略结构的功能框图。
图6为表示上述实施方式中加入了网络误差率测定装置的多点播放会议装置的简略结构的功能框图。
图7为表示上述实施方式中使用了多点播放的中途参加通知的方法图。
图8为表示上述实施方式中使用了一点播放的中途参加通知的方法图。
图9为表示本发明中被输送的图像编码形式的图，图9(a)为表示在没有中途参加者的状态下进行多点播放会议时的图像编码形式的图，图9(b)为表示在会议进行中检测出中途参加通知的情况下，从在P画面的编码向在I画面的编码变更编码形式的状态图。
图10为表示本发明实施方式2所涉及的多点播放会议装置的简略结构的功能框图。
图11为表示上述实施方式2中重要度信息的数据构造图。
图12为表示上述实施方式2中保持图像编码信息的表的结构和处于终端中途参加、中途退出状态及这时会议所用的图像编码形式的一个例子图。
图13为表示本发明实施方式3所涉及的多点播放会议装置的简略结构的功能框图。
图14为表示本发明实施方式4所涉及的多点播放会议装置(便携式电话)的简略结构的功能框图。
实施方式以下用图3到图14对本发明的实施方式进行说明。但是，本发明并不限于这些实施方式，只要在不脱离其主旨的范围内，能够进行各种形式的实施方式。
实施方式1首先，对图像在会议中途参加终端上也能顺利地显示的结构进行说明。图3是表示本发明的多点播放多电视会议装置(以下，有时只称为终端装置)的实施方式1的简略结构的功能框图。图3中，100是终端装置，这个终端装置与图1所示系统一样，使用它与网络连接。这个终端装置100将从图像输入装置101得到的图像数据送到图像编码装置102，在图像编码装置102将被输入的图像数据压缩编码，再送到图像发送装置103，在图像发送装置103将被压缩编码图像数据发送到网络。这时图像编码装置102从中途参加终端检测装置113得到中途参加信息，变更编码方法。
同样，终端装置100，将从声音输入装置104得到的声音数据，送到声音编码装置105，在声音编码装置105将送来的声音数据进行压缩编码，再送到声音发送装置106，在声音发送装置106将被压缩编码声音数据发送到网络。另外，图像接收装置107通过网络，接收从其他终端送来的被压缩编码图像数据，送到图像解码装置108。图像解码装置108只准备相应于其他的终端装置数目的数量，将接收的被压缩编码图像数据按终端分别解码，再送到图像显示装置109，图像显示装置109也同样只准备相应于其他的终端装置数目的数量，分别显示各个终端的图像。
同样，声音接收装置110通过网络接收其他终端送来的经压缩编码的数据，然后将其送到声音解码装置111中。声音解码装置111只准备了相应于其他终端装置数目的数量，将送来的压缩编码声音数据分别按各个终端进行解码再送到声音输出装置112中。声音输出装置112也同样只准备了相应的其他终端装置数目的数量，分别输出各个终端的声音。中途参加通知装置114在终端装置中途参加时，向网络输出中途参加信息。图4表示发送的图像包中，附加了发送源信息的图像数据包的一个例子。这里，在进行中途参加通知时，作为中途参加通知的数据的一个例子，有将被通知目的地的地址信息、与中途参加终端的发送信息源并列等形式。
图5是表示加入了接收通知检测装置的简略结构的块状图。图5中，116是在中途参加终端接收了其他的会议终端送来的帧内编码图像时，发送接收通知的接收通知发送装置，115是接收中途参加终端从接收通知发送装置116发送出的接收通知的(其他)会议终端的接收通知接收装置(后面将详细叙述)。
图6是表示加入了网络误差率测定装置的简略结构的块状功能图。图6中，117是将从图像接收装置107得到的图像数据进行网络误差率测定的网络误差率测定装置(后面将详细叙述)。
图7表示了使用多点播放的中途参加通知的方法。图8表示使用一点播放的中途参加通知的方法。另外，图9(a)、图9(b)表示通过图像编码装置102将传送来的图像信号进行编码的编码形式。这里面，图9(a)为表示以往使用的且在本发明中也是在没有中途参加的状态下进行多点播放会议的情况下使用的被传送的图像信号的编码形式图。图9(b)为表示本发明所采用的，会议进行中检测有中途参加通知时，按P画面编码的图像变更为按I画面的编码方式的编码形式变更状态的图。在图9(a)、图9(b)中，I是I画面，(帧内编码图像)，P是P画面(帧之间按正向预测编码图像)。
对于如上所述构成的终端装置，下面说明它是如何动作的。通过摄像机等图像输入装置101输入的图像数据，被送到图像编码装置102，在图像编码装置102，根据中途参加终端检测装置113的信息如后面所叙述的那样变更编码形式，将图像压缩编码。经压缩编码图像数据从图像发送装置103用多点播放发送到网络。
通过麦克风等声音输出装置104输入的声音数据，被送到声音编码装置105。在声音编码装置105，将声音数据压缩编码。经压缩编码声音数据从声音发送装置106用多点播放发送到网络。从其他的终端传输来的图像数据，通过网络由图像接收装置107接收。但是，在图像接收装置107是将图像数据的发送源信息作为参考，将接收的图像数据分别发送到与其他终端装置相对应的图像解码装置108-1～n中。这里所说的发送源信息如图4所示，可以举出被埋入发送数据中发送的一例子。图像解码装置108-1～n只准备相当于了其他终端装置的数目的数量，分别将图像数据进行解码，再送到图像显示装置109-1～n中。同样，在图像显示装置109-1～n中也只准备相当于其他的终端装置的数目的数量，将被解码的图像数据显示在显示器等上。
从其他的终端装置送来的声音数据，通过网络被接收到声音接收装置110。但在声音接收装置110，和图像数据同样将声音数据的发送源信息作为参考，将接受的声音数据分别送到与其他各个终端装置对应的声音解码装置111-1～n中。声音解码装置111-1～n准备了相应的其他的终端数目的数量，分别将声音数据解码，再送到声音输出装置112-1～n中。声音输出装置112-1～n也只准备了相应的其他的终端数目，将被解码的声音数据通过扬声器输出。这个声音输出装置也可以考虑一个终端中并不采用预备多个的方法，而采用将被称为混音器的声音合成装置放在声音解码装置和声音输出装置之间，一个终端安装一个声音输出装置这样的结构。
这个终端装置在会议中途参加时，从参加通知装置114由多点播放或者一点播放，将中途参加通知其他终端。
用多点播放通知中途参加时如图7所示，向其他会议终端一起通知。用一点播放通知时，如图8所示，有两种方法可以考虑。一是事先获得正在进行会议的会议终端的地址，如图8(a)所示一个一个发送。还有一个就是如图8(b)所示，将中途参加通知任意一个正在进行会议的会议终端，再由被通知的会议终端传递式地通知给其他会议终端。
<编码的变更方法>
图像编码装置102作为变更编码形式的方法，可以如图9(a)(b)所示举例。
如图9(a)所示，在现有的传输图像编码形式中，中途有中途参加终端参加时，因为到那时为止正进行会议的终端所发送的是P画面，所以中途参加终端接收的也是P画面。接收了P画面的中途参加终端因不持有作为参照图像的I画面，所以不能解码为正常的图像。
然而，本发明中，中途有中途参加终端参加时，可以接收中途参加通知，从而变更编码方法。这样，中途参加终端在中途参加时，对于到那时为止正进行会议的终端利用中途参加终端检测装置113接收到中途参加通知，将其信息发送到图像编码装置102。于是，图像编码装置102如图9(b)所示那样，能够将到那时为止用图像帧编码的内容进行单体解码，变更为I画面编码形式。
<发送I画面期间的设定方法>
这样，作为以I画面发送的期间，有如下3三种方法。第1，按一定时间送出。将已变更了编码方法的图像数据用一个帧或者一定个数的帧发送，然后再恢复为原来的编码方法。
第2，中途参加终端接收了发自其他的会议终端的帧内编码图像后向这些会议终端发送接收通知，而收到接收通知的会议终端再恢复为原来的编码方法。这里用图5进行说明。
中途参加终端的图像接收装置107从其他会议终端接收了I画面后，将已接收到其信息送到接收通知发送装置116中。于是接收通知发送装置116，如图7所示，或用多点播放，或如图8所示用一点播放将接收通知发送到其他的会议终端。使用一点播放时，根据收到的I画面并利用图4所示的发送源信息，决定发送目的地。
在其他的会议终端，利用接收通知接收装置115得到接收通知，将已接收其信息送到图像编码装置102，图像编码装置102恢复原图像编码方式。
这样，因为其他会议终端能够从中途参加终端是否已收到了参照图像(I画面)，所以其他会议终端能够一直发送参照图像直到中途参加装置接收到为止。
第3，测定网络的误差率，只用这个误差率所对应的时间，其他的会议终端变更编码形式，发送参照图像。这里用图6进行说明。
网络误差率测定装置117，对在图像接收装置107接收的数据测定误差率，例如可以通过夹在图像数据中的顺序编号进行测定，将误差率发送到图像编码装置102，图像编码装置102对应网络误差率测定装置117送来的误差率决定参照帧的发送期间。具体就是可以认为如果误差率变为2倍，那么参照帧的发送期间也变为2倍等等。可举一例，在100个数据包中出现了一个数据包的误差的状态下，假定出现中途参加时发送的参照图像为2帧，如果误差率变化为2倍(100个数据包总有2个数据包有错误)，出现中途参加时，就要发送2倍的4个帧的参照图像。
在图像接收装置107，因为接收的图像数据是从数个会议终端发送来的，所以考虑要适合最大误差率的安装方法。这个方法，很明显中途参加终端，其他会议终端都可以使用。这样，网络误差率高时，能够送出数个作为参照图像的图像送出，带给网络的负荷减少到最小限度，而中途参加终端接收参照图像的准确率提高。通过用这样的结构，在多点播放电视会议装置中，出现中途参加终端的情况时，也可以使会议的图像在短时间内显示出来，顺利进行多地点电视会议。
实施方式2下面，为了使参加会议的所有终端都能显示图像等，对各终端的处理能力信息进行交换的结构、以及是会议的重要数据的情况下，将该数据加入重要度进行处理的结构进行说明。图10为表示本发明实施方式2所涉及的多点播放多地点会议系统的简略结构的功能框图。图10中，800是终端装置，这个终端装置与图1所示系统相同，用于与网络连接。
终端装置800，将从图像输入装置801得到的图像数据送到图像编码装置802中，图像编码装置802将送来的图像数据压缩编码，送到图像发送装置803中，在图像发送装置803将压缩编码图像数据发送到网络。这时，图像编码装置802从图像接收装置807得到中途参加信息后变更编码方法。于是，中途参加终端名，中途参加终端发送来的图像数据(编码形式，参数)保存在编码状态保持装置813中。
同样，将从声音输入装置804得到的声音数据送到声音编码装置805中，声音编码装置805将送来的声音数据压缩编码，送到声音发送装置806中，在声音发送装置806将压缩编码声音数据发送到网络。这时，从声音发送装置804，将声音电平等信息发送到重要度信息附加装置814中，另外，声音编码装置805从声音接收装置810得到声音编码形式或者声音编码参数，进行编码方法的变更。另外，图像接收装置807通过网络接收从其他终端装置发出的被压缩编码图像数据，送到图像解码装置808中，这时接收的图像信息被送到了图像编码装置802中。图像解码装置808中只准备相当于其他终端的数目的数量，将送来的压缩加编码的图像数据分别按各个终端解码，再送到图像显示装置809中。图像显示装置809也准备相当于其他终端的数目的数量，分别显示各个终端的图像。
同样，声音接收装置810通过网络接收从其他终端装置发出的被压缩编码声音数据，送到声音解码装置811中，。声音解码装置811中只预存其他终端的数目，将送来的压缩编码声音数据分别按各个终端解码送到声音输出装置812中。声音输出装置812也同样预存了其他终端的数目，分别输出各个终端的声音。
<重要度信息的附加>
图11所示的是发送的图像数据包中，被附加了重要度信息的图像数据包的一个例子。图12表示的是图10的编码状态保持装置813的保持图像编码信息的表的结构；终端处于中途参加、中途退出状态；及这时在会议中使用的图像编码形式的一个例子。
对于如以上所述构成的终端装置，下面对其是如何动作的进行说明。
通过摄像机等图像输入装置801输入的图像数据，被送到图像编码装置802，进行压缩编码。
在图像编码装置802，图像数据被压缩编码时，与实施方式1的结构一样，并不使用中途参加通知装置114等，作为图像接收装置807中的中途参加检测方法，可以考虑下述方法。
图像接收装置807如图4所示参照接收的图像数据的发送信息源信息。如果，这个发送信息源是正在进行会议以外的终端的，就被判断为中途参加终端，将出现中途参加终端其信息送到图像编码装置802。
这里是作为“正在进行会议的终端与中途参加的终端的判别方法”的一个例子，作为判别正在进行会议的终端与中途参加的终端的方法，可以考虑将正在进行会议的终端的发送源信息预先存储在各个终端的存储器中。于是，当送来的数据带着存储器中没有被存储的发送源信息数据送来是时，就可以判断出现了中途参加终端。
如这样，就检测到出现了中途参加终端，在图像编码装置802，如图9所示，变更为帧内编码图像(参照图像)的编码形式。这样，中途参加终端就可以在短时间内显示其他会议终端的图像。
被压缩编码图像数据，从图像发送装置803，使用多点播放发送到网络。在图像发送装置803向网络发送时，如图11所示能够附加重要度。这个重要度，例如发言者，表示会议中动态的重要度。当发言者的重要度上升时，从声音输入装置804中发出的声音电平送到重要信息附加装置814，可以考虑对应这个声音水平进行重要度附加。于是，对于重要度高的图像数据，在图像编码装置802中可以进行提高画质，提高帧速率，变更图像大小等。
例如，重视节约NW频带和数据处理的即时性，根据各终端的处理能力的信息交换(作为<与参加终端处理能力相匹配的参数设定>在后面论述)，预先用比具有最低性能的终端的性能值(参数)A更低的性能值(参数)B进行处理，当出现附加了重要度的数据时，关于这个数据，有不超出性能值A的范围，提高其性能值在B之上的情况。这样，可以对会议发言者等被认为是重要的从终端发出的图像的像质进行动态的变更。从结果上看，能够提高受参加者注目的图像的画质。通过麦克风等声音输入装置804输入的声音数据，被送到声音编码装置805，在声音编码装置805将其压缩编码。被压缩编码声音数据从声音发送装置806使用多点播放发送到网络。
从其他终端装置送来的图像数据，通过网络在图像接收装置807被接收，但是，在图像接收装置807，以图像数据的发送源信息为参考，将接收的图像数据分别送到与其他终端装置相对应的图像解码装置808-1～n中。图像解码装置808-1～n中。准备了相当于其他终端装置的数目的数量，分别对图像数据解码，发送到图像显示装置809-1～n中。图像显示装置809-1～n中也准备了相当于其他终端装置的数目的数量，将被解码的图像数据在显示器等上显示。
从其他终端装置送来的声音数据，通过网络在声音接收装置810被接收，但是，在声音接收装置810以声音数据的发送源信息为参考，将接收的声音数据分别送到与其他终端装置相对应的声音解码装置811-1～n中。声音解码装置811-1～n中。准备了相当于其他终端装置的数目的数量，分别对声音数据解码，发送到声音输出装置812-1～n中。声音输出装置812-1～n中也准备了相当于其他终端装置的数目的数量，将被解码的声音数据通过扬声器输出。也可以考虑这个声音输出装置，在一个终端中并不是预备多个，而是将被称为混音器的声音合成装置放在声音解码装置和声音输出装置之间，一个终端安装一个声音输出装置这样的结构。
但是，对于重要度的例子，除了根据声音的高低电平附加重要度的方法以外，还有在使用者是会议主持者时也需要提高重要度等，根据使用者附加重要度的方法，以及给移动大的终端附加高重要度的方法等。而且，在这里对图像编码装置802的变更图像编码形式的方法进行叙述。作为图像编码装置802的图像编码的形式变更方法可与以实施方式1一样以图9所示为例。
<与参加终端处理能力相匹配的参数设定>
这里作为上述附加重要度的前提，对处理能力信息的交换进行说明。中途参加终端利用与处理能力相匹配的(CPU的能力等)编码形式、参数进行编码，将其发送，接收了它的其他的会议终端就可以获得所接收的图像信息的图像大小、帧数、数据量等，变更为适合它的编码，于是就可以送出适合中途参加终端处理能力数据。
这时的编码的变更方法，用图12具体说明。首先，在图12(a)的会议的开始状态，终端A、B、C正在进行会议。在这个状态中，因终端A送出的图像编码参数是最低的，所以会议所使用的编码形式采用终端A的编码形式、即CIF、10fps、64kbps。这里，图像大小CIF是352(像素)×288(像素)，QCIF是176(像素)×144(像素)。
其次，终端D(QCIF、5fps、32kbps)是处于从中途参加状态的(b)。这里，因为终端D的处理能力最低，与先前一样，所以会议所使用的编码形式采用终端D的编码形式。下一次，终端A，终端D则处于中途退出的状态(c)。中途退出的终端A和终端D的数据从表中删除，同样通过使用留下的终端中处理能力最低的终端C的图像编码信息，留下的各会议终端就能够继续进行会议。但是，虽然这里以终端为单位的处理能力的高低是已定的，因各个编码信息的值都在其他所有终端以下，所以在终端T1的图像的大小为最小值t1，终端T2的帧速率为最小值t2，终端T3的位速率为最小值为t3的情况下，就将(t1，t2，t3)决定为参数。
如这样，作为决定各终端使用的参数的现有方法，有H.323的能力交换。这个方法是各终端在建立起对话后，互相交换能编码、解码的参数，使用相互都能使用的参数进行会议，这个方法是以1对1使用为前提的，在有3个以上终端时使用这个方法，就必须使用MCU。这时，首先各终端向MCU发送能编码、解码的参数。然后，MCU从被送来的参数中检测全部终端都能使用的参数，向各个终端发送。于是各个终端就使用该被检测的参数进行会议。
但是，本实施方式中，采用的是没有使用MCU的结构，所以这个方法不适用。本实施方式中，通过DHCP服务器取得多点播放的地址，立即发送图像、声音。于是，在接收了该图像、声音的终端这方，变更为互相都能利用的参数。如这样，各终端是根据送来的图像、声音决定参数的，所以适用于没有MCU的结构。而且，用现有的方法，在有终端中途参加的情况时，全部终端都要向MCU发送参数，再由MCU检索出全部终端都能使用的参数，发送给各个终端。而使用本实施方式的方法，可以省略这一步骤，因中途参加终端能够立即发送图像、声音，就能够缩短中途参加终端加入到会议中的时间。
对于声音数据也可以做同样的考虑。中途参加终端用与其处理能力相匹配的声音数据的编码形式、参数进行编码、发送，接收了该数据的其他终端，就得到了该声音信息的编码形式、编码参数，从而进行适合该编码的变更，能够送出适合中途参加终端处理能力的数据。
如以上所述，本实施方式通过变更编码方法使之适合接收到的编码形式(变更编码参数)，即使处理能力低的会议终端在中途参加时，也能使会议继续进行(处理能力低的终端也能显示会议数据)。另外，通过使用重要度信息，使例如发言者等重要度高的图像以更高画质显示出来。
但是，也可以考虑如下的实施方式等，即将实施方式1的中途参加终端检测装置113等与实施方式2的的编码状态保持装置813等组合在一起使用，中途参加终端检测装置113一旦接收到中途参加通知，就将现在的编码信息保持到编码状态保持装置813中，变更编码形式等。
实施方式3下面，对在发生中途参加的情况下，能够避免已经正在参加会议的终端接收到其信息后同时发送I帧造成频带拥挤的不便的结构进行说明。
图13是表示本发明的多点播放电视会议终端装置的实施方式3的简略结构的功能框图。
在图13中1100是终端装置，这个终端装置和图1所示的系统一样，用于与网络连接。终端装置1100将从图像输入装置1101得到的图像数据送到图像编码装置1102中，在图像编码装置1102中将送来的图像数据压缩编码，再送到图像发送装置1103中，在图像发送装置1103，将经压缩编码图像数据发送到网络。这时，图像编码装置1102与从优先度决定装置1114送来的优先度相对应，变更编码方法。于是，将变更前的编码信息用实施方式2相同的表的形式送到编码状态保持装置1113中保存。
同样，将从声音输入装置1104得到的声音数据送到声音编码装置1105中，在声音编码装置1105中将送来的声音数据压缩编码，再送到声音发送装置1106中，在声音发送装置1106，将经压缩编码声音数据发送到网络。另外，图像接收装置1107通过网络接收从其他终端装置发送来的已被压缩编码图像数据，再送到图像解码装置1108中。这时，接收的图像信息也被发送了到优先度决定装置1114中。图像解码装置1108中只准备了相当于其他终端的数目的数量，将送来的压缩加编码的图像数据分别按各个终端解码，再送到图像显示装置1109中。图像显示装1109也只准备了相当于其他终端的数目数量，分别显示各个终端的图像。
同样，声音接收装置1110通过网络接收从其他终端装置发出的被压缩编码声音数据，送到声音解码装置1111中。声音解码装置1111中只准备相当于其他终端的数目数量，将送来的压缩加编码的声音数据分别按各个终端解码，再送到声音输出装置1112中。声音输出装置1112也只准备其他终端的数目，分别将各个终端的声音输出。
对于如以上构成的终端装置，下面对其是如何动作的进行说明。通过摄像机等图像输入装置1101输入的图像数据，被送到图像编码装置1102，在图像编码装置1102，根据从优先度决定装置1114送来的优先度信息，变更编码形式，将图像数据进行压缩编码。
这个优先度信息是由从图像接收装置1107得到了图像数据的优先度决定装置1114完成的。例如，可采用在会议召开时，会议组织者预先就对各个终端的优先度进行分配等，会议主持者使用的终端的优先度高，而其他会议参加者的优先度低等，于是，在检测中途参加的终端时按优先度，在图像编码装置1102变更图像编码形式。图9可作为一个例子，当检测中途参加终端时，其他终端将编码形式从帧间预测编码图像变为帧内编码图像。这时，如果全部终端一起变更编码形式，网络中传输的图像数据一下子增加，对频带造成压力。因此，可以考虑采用参照优先度，从优先度高的终端按顺序变更为帧内编码图像，进行传输。这样一来，中途参加装置就可以对应优先度的顺序，显示图像。
被压缩编码图像数据，从图像发送装置1103用多点播放发送到网络。，从麦克风等声音输出装置1104输入的声音数据被送到声音编码装置1105，在声音编码装置1105被压缩编码，被压缩编码声音数据，从声音发送装置1106用多点播放发送到网络。
从其他的终端发送来的图像数据，通过网络由图像接收装置1107接收。但是，图像接收装置1107是将图像数据的发送源信息作为参考，将接收的图像数据分别发送到与其他终端装置相对应的图像解码装置1108-1～n中。图像解码装置1108-1～n只准备相当于其他终端装置的数目，分别将图像数据进行解码，再送到图像显示装置1109-1～n中。同样，图像显示装置1109-1～n中也只准备相当于其他的终端装置的数目，将被解码的图像数据显示在显示器等上。
从其他的终端装置送来的声音数据，通过网络被接收到声音接收装置1110。但在声音接收装置1110，将声音数据的发送源信息作为参考，将接受的声音数据分别送到与其他各个终端装置对应的声音解码装置1111-1～n中。声音解码装置111-1～n因为只准备相当于其他的终端数目的数量，分别将声音数据解码，再送到声音输出装置1112-1～n中。声音输出装置1112-1～n只准备相当于其他的终端数目的数量，将被解码的声音数据通过扬声器等输出。也可以考虑这个声音输出装置，在一个终端中并不是预备多个，而是将被称为混音器的声音合成装置放在声音解码装置和声音输出装置之间，一个终端安装一个声音输出装置这样的结构。
图像编码装置1102作为变更编码形式方法，可以与实施方式1一样以所示的图9为例子。但在本实施方式中，虽然与优先度有关的信息(其中一部分)是从图像接收装置1107输送到优先度决定装置1114中的，并不是一定必须这样做。例如，可以考虑(1)如果预先将与优先度有关的信息保存在优先度决定装置1114中，就不必从1107向1114输送数据。(图13中虚线的意思)。另外其他情况还有(2)从图像接收装置1107向图像编码装置1102只发送是否接收到了I帧的信息，(是否发生了中途参加的情况)，根据优先度决定装置1114的信息，对立即变更编码方法，或者错后变更等进行控制等各种形式。
如以上所述，本实施方式中通过使用这样的结构，不仅入如实施方式1能够短时间内显示会议的图像，而且通过使用优先度信息、例如迅速显示会议主持者的图像，然后显示其他的会议参加者等，就能够在对网络频带不造成压力的情况下，迅速显示优先度高的图像。
实施方式4本实施方式中，作为能够参加会议(包括中途参加)的终端装置也可以考虑使用个人电脑等台式或能够携带的电脑等以外的装置。图14为本发明的实施方式4的简略结构的功能框图。作为本实施方式中的终端装置使用的是便携式电话。图14中400是作为终端装置的是便携式电话。便携式电话400与图1所示终端装置100一样与网络连接使用。便携式电话400与图1所示终端装置100一样，具有输入图像信号的图像输入装置101、将从图像输入装置101接收的图像数据压缩编码的图像编码装置102、将被压缩编码图像数据发送的图像发送装置103、将从图像发送装置103输出的被压缩编码图像数据发送到网络的通信装置250。
另外，便携式电话400还具有输入声音信号的声音输入装置104，将从声音输入装置104接收的声音数据压缩编码的声音编码装置105，向通信装置250输出压缩编码声音数据的声音发送装置106。
而且，便携式电话400还具有通过网络，接收从其他便携式电话或终端装置送来的被压缩编码图像数据的图像接收装置107，将接收的图像数据解码的图像解码装置108。显示被解码图像的图像显示装置109。上述解码装置108只准备相当于其他的便携式电话的数目的数量，将送来的图像数据分别按各个便携式电话或终端解码，再送到图像显示装置109，图像显示装置109也同样只准备相当于其他便携式电话数目的数量，分别显示各个终端的图像。
另外，便携式电话400为了接收重放其他便携式电话或终端装置发送来的声音，还具有声音接收装置110，声音解码装置111，声音输出装置112。声音接收装置110通过网络接收其他便携式电话或终端送来的经压缩编码的数据，然后将其送到声音解码装置111中。声音解码装置111只准备相当于其他便携式电话数目的数量，将送来的压缩编码声音数据分别按各个终端进行解码再送到声音输出装置112中。声音输出装置112也同样只预备相当于其他便携式电话或终端装置数目的数量，分别输出各个终端的声音。
而且，便携式电话400与实施方式1中涉及的终端装置一样具有在本机中途参加会议时进行动作的中途参加通知装置114、检测别机中途参加会议时发送的中途参加信号的中途参加终端检测装置113。
但是通信装置250不仅具有能够进行基站与便携式电话与间的通信控制功能还具有将压缩编码图像数据及压缩编码声音数据发送到网络，或从网络接收压缩编码图像数据及压缩编码声音数据的双向功能。另外，上述通信装置250还能向网络发送中途参加通知信号，或是从网络接收中途参加通知信号。
通过给上述功能部装备便携式电话400，本实施方式涉及的便携式电话400就能够参加多点播放会议。于是，中途参加通知装置114在便携式电话400中途参加时将其中途参加的信息通过通信装置250向网络输出。另外，中途参加终端检测装置113从网络通过通信装置250接收、检测其他便携式电话送来的中途参加通知。
但是，有关向多点播放会议通知有中途参加，或检测中途参加的动作与上述实施方式1的动作是一样的。另外，对于作为如便携式电话这样的移动设备，携带终端装置等同样适用本发明。
但是，虽然各实施方式中，作为检测中途参加的信息是以帧内编码图像为检测单位的，除此以外，以图像中的帧内编码宏块为单位，根据检测的它的比例，检测中途参加的情况也有。即使用帧内编码宏块，使用MPEG-4这样的编码方式时，并不是检测帧内编码图像，而是通过检测图像中的帧内编码宏块的比例检测中途参加的。下面举出的是帧内编码宏块检测方法的一个例子。
首先，对图像中宏块的编码形式进行汇集。各宏块中储存了编码形式信息，通过参照它，就能很容易地汇集。其次，将该图像中的帧内编码宏块的比例进行计算，如果该比例，例如在半数以上就能判断有中途参加。
另外，虽然对在各实施方式中，图像解码、显示装置、声音解码、输出装置只准备相当于其他终端数目的数量(具有该功能的硬件或软件)的例子进行了说明，其他也有用一个具有该功能的硬件或软件，通过按时间分配进行处理等例子，对这些装置的数目没有限定。
还有，各实施方式中，以(1)编码方式，(2)编码形式，(3)编码信息(编码参数)表示的是，分别代表(1)H.261，H.263，MPEG等各种的模数-数模转换器(CODECCompression/DECompression)的种类，(2)帧内编码(I帧)与帧间预测编码(P帧)的差异，(3)图像的大小，帧速率，位速率。另外，(3)中编码信息和编码参数一般来说虽是同义，但也有用编码信息代表这些属性的项目，而编码参数代表这些项目的属性值(属性与这个属性的属性值的区别)，把它们区分开来使用的情况。
本发明是依据如图所示的最佳的实施方式进行说明的。很明显，如果是本行业的技术人员，只要不脱离本发明思想能够很容易地进行各种变更，改变。本发明也包括这些变更的例子。
权利要求
1.一种多点播放会议装置，其特征在于包括摄像机等的输入图像流的图像输入装置；图像编码装置，对输入的图像流进行编码处理，作成应发送的编码图像信息；图像发送装置，利用多点播放将已编码的图像信息发送到网络；图像接收装置，接收利用多点播放发送的图像信息；图像解码装置，将接收到的数据进行解码；图像显示装置，显示被解码的图像流；中途参加通知装置，进行中途参加会议的通知；中途参加终端检测装置，检测中途参加会议的终端，将其信息送到图像编码装置，图像编码装置，接收来自中途参加终端检测装置的检测信号，将编码形式变更为帧内编码形式。
2.一种多点播放会议装置，其特征在于包括摄像机等的输入图像流的图像输入装置；图像编码装置，对输入的图像流进行编码处理，作成应发送的编码图像信息；图像发送装置，利用多点播放将已编码的图像信息发送到网络；图像接收装置，接收利用多点播放发送的图像信息；图像解码装置，将接收到的数据进行解码；图像显示装置，显示被解码的图像流；参加终端信息存储装置，存储正在参加会议的终端的发送源信息，图像接收装置，一旦接收帧内编码图像，就将其通知给图像编码装置，图像编码装置接收到来自图像接收装置的通知后，就将编码形式变更为帧内编码形式。
3.权利要求2所述的多点播放会议装置，其特征在于图像接收装置，参照参加终端信息存储装置，一旦接收到参加终端信息存储装置中存储的以外的终端发送来的帧内编码图像，就将其通知给图像编码装置。
4.权利要求2所述的多点播放会议装置，其特征在于图像编码装置，参照参加终端信息存储装置，图像接收装置发送来的通知如果是参加终端信息存储装置中存储的以外的终端发送来的帧内编码图像，则变更编码形式。
5.一种多点播放会议装置，其特征在于包括摄像机等的输入图像流的图像输入装置；图像编码装置，对输入的图像流进行编码处理，作成应发送的编码图像信息；图像发送装置，利用多点播放将已编码的图像信息发送到网络；图像接收装置，接收利用多点播放发送的图像信息；图像解码装置，将接收到的数据进行解码；图像显示装置，显示被解码的图像流；编码信息存储装置，存储正在参加会议的终端、以及有新中途参加的终端时其终端的编码参数，图像编码装置，参照编码信息存储装置，变更为在所有参加会议的终端都能显示的编码参数进行编码。
6.权利要求1所述的多点播放会议装置，其特征在于包括优先度决定装置，决定、保持与会议终端的优先度有关的信息，并将其信息送到图像编码装置，图像编码装置，接收到优先度决定装置发出的信息后，变更编码形式。
7.权利要求5所述的多点播放会议装置，其特征在于包括重要度信息附加装置，决定、保持与应发送信息的会议中重要度有关的信息，并将其信息送到图像编码装置，图像编码装置，接收到重要度信息附加装置发出的信息后，变更编码参数。
8.权利要求1所述的多点播放会议装置，其特征在于中途参加通知装置，在中途参加会议时，采用多点播放向目前正在进行会议的所有终端发送中途参加的信息。
9.权利要求1所述的多点播放会议装置，其特征在于中途参加通知装置，在中途参加会议时，采用一点播放向目前正在进行会议的一部分或所有终端发送中途参加的信息。
10.权利要求1所述的多点播放会议装置，其特征在于中途参加终端检测装置，检测从中途参加装置发送的帧内编码图像。
11.权利要求1所述的多点播放会议装置，其特征在于中途参加终端检测装置，检测从中途参加装置发出的帧内编码宏块的比例。
12.权利要求1所述的多点播放会议装置，其特征在于包括网络误差率测定装置，测定网络的误差率，将与其有关的信息送到图像编码装置，上述图像编码装置，只在与网络误差率对应的时间变更编码形式。
13.权利要求2所述的多点播放会议装置，其特征在于包括接收通知发送装置，接收图像接收装置发送的帧内编码图像接收的通知，并发送帧内编码图像的接收通知；接收通知接收装置，接收上述接收通知发送装置发送来的接收通知，将其接收通知信息发送给图像编码装置，图像编码装置，在收到上述接收通知信息之前，变更编码形式。
14.权利要求1所述的多点播放会议装置，其特征在于图像编码装置，经过一定时间后将已变更的编码形式复原。
15.权利要求1所述的多点播放会议装置，其特征在于图像编码装置，根据接收到的图像的编码方式变更编码方式进行编码。
16.权利要求1所述的多点播放会议装置，其特征在于图像编码装置，变更为与接收到的图像的大小相同进行编码。
17.权利要求1所述的多点播放会议装置，其特征在于图像编码装置，根据接收到的图像的帧数变更帧数进行编码。
18.权利要求1所述的多点播放会议装置，其特征在于图像编码装置，根据接收到的图像的数据量变更数据量进行编码。
19.权利要求1所述的多点播放会议装置，其特征在于包括声音编码装置，对声音数据进行编码处理，作成应发送的编码声音信息；声音接收发送装置，接收发送已编码的声音信息；声音解码装置，对接收到的声音信息进行解码；声音输出装置，输出已解码的声音数据，声音编码装置，根据接收到的声音的编码方式变更编码方式进行编码。
20.权利要求1所述的多点播放会议装置，其特征在于包括声音编码装置，对声音数据进行编码处理，作成应发送的编码声音信息；声音接收发送装置，接收发送已编码的声音信息；声音解码装置，对接收到的声音信息进行解码；声音输出装置，输出已解码的声音数据，声音编码装置，根据接收到的声音的编码参数变更编码参数进行编码。
21.一种多点播放会议程序，用于为进行多点播放会议使计算机发挥以下功能使多点播放会议装置的摄像机等图像输入装置输入图像流；使多点播放会议装置的图像编码装置进行输入的图像流的编码处理，作成应发送的编码图像信息；使多点播放会议装置的图像发送装置将已编码的图像信息采用多点播放发送到网络；使多点播放会议装置的图像解码装置接收采用多点播放送来的图像信息；使多点播放会议装置的图像解码装置解码接收到的数据；使多点播放会议装置的图像显示装置显示已解码的图像流；当会议中有中途参加的情况时，使多点播放会议装置的中途参加通知装置进行中途参加会议的通知；当收到中途参加会议的通知时，使多点播放会议装置的中途参加终端检测装置，检测中途参加会议的终端，同时使上述图像编码装置接收来自上述中途参加终端检测装置的发送，并将编码形式变更为帧内编码的形式。
22.一种多点播放会议程序，用于为进行多点播放会议使计算机发挥以下功能使多点播放会议装置的摄像机等图像输入装置输入图像流；使多点播放会议装置的图像编码装置进行输入的图像流的编码处理，作成应发送的编码图像信息；使多点播放会议装置的图像发送装置将已编码的图像信息采用多点播放发送到网络；使多点播放会议装置的图像解码装置接收采用多点播放送来的图像信息；使多点播放会议装置的图像解码装置解码接收到的数据；使多点播放会议装置的图像显示装置显示已解码的图像流；使多点播放会议装置的参加终端信息存储装置存储正参加会议的终端的发送源信息；另外，当接收到帧内编码图像时，由图像接收装置通知给图像编码装置；而且，使上述图像编码装置接收来自上述图像接收装置的通知，将编码形式变更为帧内编码的形式。
23.一种多点播放会议程序，用于为进行多点播放会议使计算机发挥以下功能使多点播放会议装置的摄像机等图像输入装置输入图像流；使多点播放会议装置的图像编码装置进行输入的图像流的编码处理，作成应发送的编码图像信息；使多点播放会议装置的图像发送装置将已编码的图像信息采用多点播放发送到网络；使多点播放会议装置的图像解码装置接收采用多点播放送来的图像信息；使多点播放会议装置的图像解码装置解码接收到的数据；使多点播放会议装置的图像显示装置显示已解码的图像流；使多点播放会议装置的编码信息存储装置，存储正参加着会议的终端、以及有新中途参加的终端时其终端的编码参数；使图像编码装置，参照上述编码信息存储装置，变更为在参加会议的全部终端都能显示的编码参数进行编码。
24.一种便携式电话机，其特征在于包括摄像机等的输入图像流的图像输入装置；图像编码装置，对输入的图像流进行编码处理，作成应发送的编码图像信息；图像发送装置，利用多点播放将已编码的图像信息发送到网络；图像接收装置，接收利用多点播放发送的图像信息；图像解码装置，将接收到的数据进行解码；图像显示装置，显示被解码的图像流；中途参加通知装置，进行中途参加会议的通知；中途参加终端检测装置，检测中途参加会议的终端，将其信息送到图像编码装置；通信装置，在与基站之间进行通信控制，图像编码装置，接收来自中途参加终端检测装置的检测信号，将编码形式变更为帧内编码形式，另一方面，通信装置不仅在与基站之间进行通信控制，而且将压缩编码图像数据及压缩编码声音数据向网络发送，并从网络接收压缩编码图像数据及压缩编码声音数据，而且将上述中途参加通知信号向网络发送，并从网络接收中途参加通知信号。
全文摘要
提供一种在电视会议等中,即使是中途参加的终端也能顺利地显示图像的装置。为此,多点播放会议装置包括对输入图像进行编码处理的图像编码装置;将其进行多点播放发送的图像发送装置;将其进行接收的图像接收装置;将其进行解码的图像解码装置;将其进行显示的图像显示装置;对会议中的中途参加进行通知的中途参加通知装置;检测中途参加通知并向图像编码装置发送的中途参加终端检测装置,图像编码装置接收到来自中途参加终端检测装置的发送后,将编码形式变更为帧内编码的形式。
文档编号H04N7/15GK1380795SQ02105458
公开日2002年11月20日 申请日期2002年4月5日 优先权日2001年4月6日
发明者高木利匡, 井上秋野, 佐藤正树, 冈敏夫, 千贺谕 申请人:松下电器产业株式会社