专利名称：用于从多个视频信道连续接收帧并交替地向电视会议的多个参加者中每人连续发送包含 ...的制作方法
技术领域：
本发明涉及电视会议。
更具体地说，本发明涉及一种用于电视会议的方法和装置，它明显简化了电视会议设备并降低其费用，电视会议设备从两个或两个以上参加者连续接收视频信号，将视频信号组合为单个综合信号，并向各参加者重发该综合信号，使得各参加者能够与其他参加者一起在电视屏幕上同时看到自己。
在另一方面，本发明涉及一种用于电视会议的方法和装置，它从参加者接收视频帧，并根据需要改变帧中的信头和编码域数据，但不会完全或部分改变定义随帧传送的画面的像素域数据。
在另一方面，本发明涉及一种用于电视会议的方法和装置，它每次向参加者仅传送一条视频信道中的新信息。
电视会议允许两个或两个以上参加者在口头及视觉上进行交流。与通过电话实现的传统电话会议相比，允许召开电视会议的设备使用近年来仅经历了一般的增长，这是因为成本、带宽限制、兼容性问题以及面对面会议固有的有限优点等造成的。
许多商业化的电视会议系统，包括将H.320、H.323及H.324包络协议用于呼叫建立、呼叫控制加音频和视频编解码或编解码器格式(H.320是用于ISDN网络的协议，H.323是用于LAN网络的协议，以及H.324是用于标准电话或POTS连接的协议)的视频装置都只是提供点到点电视会议。多点电视会议要求使用MCU(多点控制或会议装置)。MCU可在切换出现模式或连续出现模式中工作。在切换出现模式中，只有一个视频流被选择并根据音频信号或“主席”切换控制发送给所有参加者。在连续出现模式中，MCU从电视会议的各参加者接收视频信号，将组合这些信号以产生单个混合信号，并将这个混合信号送回给各参加者。混合信号使各参加者能够在一个屏幕上采用分屏实时地查看其它参加者的画面以及他们自己的画面。MCU的复杂结构和大计算能力目前普遍要求它驻留在中央服务器上。有些MCU系统提供商宣称其MCU软件能够在台式个人计算机(PC)上运行。但是，这类MCU系统显然仅支持切换出现多点操作，或者它们产生专有格式的视频流，要求各参加者安装特殊的电视会议软件或装置。
使传统MCU系统复杂化的部分因素如下所述1.H.263编解码器格式允许连续出现模式。在连续出现模式下，MCU从参加者接收四个视频流，进行一些信头变更，并将它们回送而不进行组合。各参加者的计算机或其它装置需要解码并显示全部的四个视频流，以便查看所有参加者的画面。但是，H.261编解码器格式不允许连续出现模式。H.261是H.323视频装置的所需编解码器格式。H.263是可选的编解码器格式。另外，运行H.263的一些现有系统不支持H.263中可选的连续出现模式。
2.大多数现有电视会议系统仅提供点到点电视会议。
3.MCU系统可提供连续出现多点电视会议，只要它能够将若干输入视频信道组合为可由接收输出视频流的设备进行解码的单一输出视频流。
4.当MCU系统组合若干输入视频信道时，出现一些难题a.输入流可能采用不同的编解码器格式，如H.261或H.263。
b.即使输入流具有相同的编解码器格式，它们也可能具有不同的图像类型，如I图像或P图像。
c.即使输入流具有相同的编解码器格式以及相同的图像类型，它们也可能分别具有或采用不同的量化器。这就需要调整DCT系数，同时还引入误差。
d.各视频信道中的视频帧一般在不同时间到达。当MCU等待来自各视频信道的一帧或多帧的到达时，发生时间延迟。
e.如果MCU等待来自各视频信道的一帧或多帧的到达时，MCU的操作实际上由具有最慢帧速率的信道来控制。
f.解决上述非同步帧速率问题的一种现有技术是用先前的图像来代替较慢的信道，使较快的信道被更新，而较慢的信道则保持不变。但这种做法耗用大量存储空间来对图像进行缓冲，并且可能意味着各图像都必需完全解码和编码。
因此，非常需要提供一种改进的电视会议系统，它实质上可提供连续出现多点电视会议，同时避免部分或全部先有技术MCU系统中的各种问题。
因此，本发明的一个主要目的是提供一种改进的电视会议系统。
本发明的另一个目的是提供一种改进的方法及装置，用于提供连续出现多点电视会议系统。
本发明的又一个目的是提供一种改进的连续出现多点电视会议系统，它极大地简化现有多点电视会议系统并降低其费用。
根据以下结合附图的说明，本领域的技术人员会了解本发明的这些目的和其它更具体的目的，其中
图1是示意图，说明根据本发明构造的电视会议系统中某个参加者的画面；图2是示意图，说明当视频图像的左上象限被改变时、当视频图像的右上象限被改变时、当视频图像的左下象限被改变时以及当视频图像的右下象限被改变时，输出的H.263视频流中包含的信息；图3是示意图，说明输出H.261 CIF视频流的左上象限的输入QCIF帧并指明包含在输出H.261 CIF视频流中的信息，说明输出H.261 CIF视频流的右上象限的输入QCIF帧并指明包含在输出H.261 CIF视频流中的信息，说明输出H.261 CIF视频流的左下象限的输入QCIF帧并指明包含在输出H.261 CIF视频流中的信息，以及说明输出H.261 CIF视频流的右下象限的输入QCIF帧并指明包含在输出H.261 CIF视频流中的信息；图4是示意图，说明当结合到输出H.263 CIF图像帧时，因可能表示CIF图像中的不同宏块(MB)而应当如何调整输入H.263 QCIF图像帧的运动矢量数据(MVD)；图5说明从采用H.263编解码器格式的输入QCIF I图像和输入QCIF P图像产生的CIF视频流中包含的信息；以及图6是示意图，说明以H.261编码的QCIF帧结合到以H.261编码的输出CIF视频流中时可如何改变输入QCIF帧中的组号(GN)。
在电视会议中，视频数据在通过网络传送之前被分割为若干数据包。数据包是通过网络传送且包含一个或一部分图像帧的单个对象。各数据包的信头提供有关该数据包的信息，例如数据包是否包含帧尾。在应用中，通过这种帧尾数据包和先前的数据包，MCU获得新图像帧的全部数据。因此，MCU仅通过读取包头即可告知是否在视频信道中接收到新的帧。另外，电视会议刚开始时，在可发送任一视频数据包之前有一个呼叫建立过程，它检验各参加者的功能，例如使用哪种视频编解码器。一旦完成呼叫建立，各视频信道仅以某种标准编解码器格式、即H.261或H.263来传送视频流。
简言之，根据本发明，提供一种改进的方法，用于从至少第一和第二输入视频信道中接收帧，并且交替地在至少第一输出视频流中向接收第一视频流并从两个输入视频信道产生包含画面的视频图像的第一设备装置连续发送各帧，以及在第二输出视频流中向接收第二视频流并从两个输入视频信道产生包含画面的视频图像的第二设备装置发送各帧。该方法包括以下步骤存在可用的新帧时，将新帧的编解码器格式与至少第一设备装置的格式进行匹配；将新帧的编解码器格式与第一设备装置的格式匹配之后，通过必要时根据所选图像格式在可用帧中改变至少一个信头和编码域数据来产生修订帧；产生稳定状态数据，它指明不提供新帧的视频信道的图像中没有变化；结合所产生的修订帧以及所产生的稳定状态数据，产生第一输出视频流中的视频信号。第一设备装置接收视频信号，并产生一个视频图像，其中包含来自从修订帧中产生的信道之一的图像，以及包含来自在第一设备装置接收视频信号之前已存在的、根据视频信号中的稳定状态数据保持不变的另一个信道的图像。
在本发明的另一个实施例中，提供一种改进的装置，用于从至少第一和第二输入视频信道中接收帧，并且交替地在至少第一输出视频流中向接收第一视频流并从两个输入视频信道产生包含画面的视频图像的第一设备装置连续发送各帧，以及在第二输出视频流中向接收第二视频流并从两个输入视频信道产生包含画面的视频图像的第二设备装置发送各帧。改进的装置包括存在可用的新帧时将新帧的编解码器格式与至少第一设备装置的格式进行匹配的装置；将新帧的编解码器格式与第一设备装置的格式匹配之后、通过必要时根据所选图像格式在新帧中改变至少一个信头和编码域数据来产生修订帧的装置；产生指明不提供新帧的视频信道的图像中没有变化的稳定状态数据的装置；结合修订帧和稳定状态数据以产生第一输出视频流中的视频信号的装置。第一设备装置接收视频信号，并产生视频图像，其中包含来自从视频信号中的修订帧中产生的信道之一的图像，以及包含来自第一设备装置接收视频信号之前已存在的、根据视频信号中的稳定状态数据保持不变的另一信道的图像。
在本发明的另一个实施例中，提供一种改进的方法，用于从至少第一和第二输入视频信道中接收帧，用于交替地在至少第一输出视频流中向接收第一视频流并从两个输入视频信道产生包含画面的视频图像的第一设备装置连续发送各帧，以及在第二输出视频流中向接收第二视频流并从两个输入视频信道产生包含画面的视频图像的第二设备装置发送各帧。这个改进方法包括以下步骤存在可用的新帧时，在帧中使用编码域数据而不对编码域数据完全解码；以及必要时改变至少一个信头和编码域数据，以便产生第一输出视频流中的视频信号。第一设备装置接收视频信号并产生视频图像。视频图像包括从编码域数据中产生的信道之一的画面。
现在来看附图，它们说明本发明的目前最佳实施例，用于说明其操作及使用，而不是限制本发明的范围，附图中相同的标号在若干视图中表示相应的元件，本文中还采用以下术语及定义。
块块是视频语法中的第四层。块的数据由变换系数的码字构成。块的大小为8×8。这个术语用于H.261以及H.263编解码器格式。
色度一种色彩和等亮度的所选参考色之间的定量测量所确定的差值，参考色具有指定的彩色质量。这个术语与H.261、H.263以及其它编解码器格式配合使用。
CIFCIF表示通用中间格式。CIF是一种图像格式，对于亮度，它具有每水平线352像素和288线，对于色度，它具有每水平线176像素和144线。
CODCOD表示编码宏块指示，与H.263编解码器格式配合使用。COD是INTER图像中的宏块(MB)的信头中的一个数据位。如果该数据位设置为“1”，则不传送其它信息；换句话说，与该宏块有关且由其定义的图像不在参加者的屏幕上改变而保持不变。
编码域数据这是编码压缩数据。在本发明目前最佳实施例中，MCU接收编码域QCIF数据以及发送编码域CIF数据。这个术语与H.261、H.263以及其它编解码器格式配合使用。
CPBYCPBY表示用于亮度的编码块图案，并与H.263编解码器格式配合使用。CPBY是描述宏块中数据的宏块(MB)信头中的变长码字。
DCTDCT表示离散余弦变换。这种变换用来压缩数据以及消除不必要的信息。DCT由参加者的编码装置使用。这个术语与H.261、H.263以及其它编解码器格式配合使用。
帧帧是视频信道或其它视频流中图像的连续序列中的一个数字图像。这个术语与H.261、H.263以及其它编解码器格式配合使用。
帧速率帧速率是以每秒MCU接收的帧数来表示的速率。帧速率目前通常约为每秒三十帧。这个术语与H.261、H.263以及其它编解码器格式配合使用。
GOBGOB表示块的组。GOB是视频语法中的第二层。这个术语与H.261和H.263编解码器格式配合使用。
GNGN表示块组号。对于一组块，GN在H.261的信头中由4位构成，在H.263的信头中由5位构成。只有H.261中的GN才用于本发明的实施中。数据位指明图像中块组的位置，即左上、右上、左下、右下。
信头(或信头文件)信头是在图像、块组、宏块或信息块的开头包含的信息。信头描述跟随信头的信息。这个术语与H.261和H.263编解码器格式配合使用。
水平分量水平分量是沿水平线的像素。这个术语与H.261和H.263编解码器格式配合使用。
H.261编解码器格式对数字化视频数据进行编码和解码的标准格式。这个格式由ITU-T提供。
H.263编解码器格式对数字化视频数据进行编码和解码的标准格式。这个格式由ITU-T提供。
IDCTIDCT表示离散余弦反变换。IDCT用来对DCT进行逆运算或解码。这个术语与H.261和H.263编解码器格式配合使用。
INTRA这是I图像。INRA是没有用于预测的参考图像的图像或宏块类型。这个术语与H.263编解码器格式配合使用。
INTER这是P图像。INTER是具有临时的先前参考视频数据的图像或宏块类型。这个术语与H.263编解码器格式配合使用。
层层是视频语法中分级结构的一级，包含大量数字化数据或信息。
低层低层是视频语法中的一层，它是高层的一部分，低于图像层。这个术语与H.261和H.263编解码器格式配合使用。
亮度亮度是在给定方向上每单位投影区的表面发光强度。这个术语与H.261、H.263以及其它编解码器格式配合使用。
宏块宏块(MB)是数字数据或信息。MB包括块和信头。这个术语与H.261和H.263编解码器格式配合使用。
映射映射根据需要在视频语法中对H.261或H.263 QCIF帧修改信头和编码域数据，使QCIF帧看起来象在四分之一(或其它部分)CIF帧区域中具有QCIF数据的H.261或H.263 CIF帧。虽然映射变更或改变信头和其它信息、如编码域数据，但它一般不改变定义包含参加者的视频设备屏幕上产生的参加者图像的像素的信号部分。这个术语与H.261和H.263编解码器格式配合使用。
MBMB表示宏块，如以上定义。
MBAMBA表示宏块地址。MBA是表示一组块中MB的位置的MB信头中的变长码字。这个术语与H.261编解码器格式配合使用。
MCBPCMCBPC指明色度的宏块类型和编码块图案，由MB的信头中的变长码字构成。这个术语与H.263编解码器格式配合使用。
MCUMCU表示多点控制(或会议)装置。传统的MCU能够以切换出现格式或以连续出现格式工作。在切换出现格式中，MCU从一个以上参加者接收视频比特流，仅选择其中一个视频比特流，并将它同时发送给电视会议中的各参加者。在连续出现格式中，MCU从一个以上参加者接收视频比特流，并且同时以分屏格式将各个流发送给电视会议中的各参加者。本发明的实施中所用的MCU在任何时候仅发送一个输入视频信号的一帧加上添加到该帧的一些附加数据，以便将帧重传给电视会议中的参加者。这个术语与H.261、H.263以及其它编解码器格式配合使用。
MVDMVD表示运动矢量数据。MVD是用于水平分量的宏块的信头中的变长码字，后面接着垂直分量的变长码字。这个术语与H.263编解码器格式配合使用。
NOT CODNOT COD指COD设置为“1”。这个术语与H.263编解码器格式配合使用。
非参考图像非参考图像是一个省略图像帧，它由MCU从参加者接收并忽略，没有被MCU重传。非参考图像帧一般没有被重传，因为它与MCU上次刚刚传送的帧相同或接近相同。这个术语与H.261和H.263编解码器格式配合使用。
图像图像是视频语法中的第一层。包含在图像中的信息是信头文件加上GOB。这个术语与H.261和H.263编解码器格式配合使用。
点到点功能在点到点功能电视会议系统中，仅包含两个参加者。这种系统允许第一人的图像被发送给第二人或者反之。第一人的视频信号在发送给第二人之前没有与另一人的视频结合。
QCIFQCIF表示1/4通用中间格式。QCIF是一种图像格式，对于亮度，它具有每水平线176像素和144线，对于色度，它具有每水平线88像素和72线。
量化器量化器是指明图像数据的准确度的数据。
TR时间参考。与H.263编解码器格式结合使用时，TR包含图像层的信头中的八位数据。这个数据通过将它在时间上前一参考图像信头中的值加一、并加上自前一传送图像以来在图像时钟频率下省略或非参考图像的数量来产生。与H.261编解码器格式配合使用时，TR包含图像层的信头中的五位数据，并且该数据是通过将其在时间上前一参考图像信头中的值加一、并加上自前一传送图像以来在图像时钟频率下的省略或非参考图像的数量而产生的。
视频语法视频语法是数字化数据，描述并定义视频帧。视频语法是包含在视频帧中的信息的定义方案。信息排列在具有四层的分级结构中图像块组(GOB)宏块(MB)块各层包括一个信头文件。
在本发明目前最佳实施例的以下说明中，假定电视会议中有四名参加者，各参加者具有电视会议设备，该设备产生包含由根据本发明构造的MCU接收的视频信道的视频信号。本领域的技术人员会理解，本发明的装置及方法可用于电视会议有两名或两名以上参加者的情况。本发明的方法和装置一般用于电视会议有三名或三名以上参加者的情况。
在本发明的电视会议系统中，MCU产生输出CIF信号。MCU将输出CIF信号分成正交的象限，即左上象限、右上象限、左下象限以及右下象限。来自参加者的各输入信道包含QCIF信号。各信道分配给输出CIF信号的正交象限之一。当帧在信道之一中到达MCU时，该帧由MCU分配给为该信道保留或选择的输出CIF信号的正交象限。
大家了解，存在各种编解码器格式，它们均可结合到本发明中。但是，对于以下论述，假定电视会议中的各参加者所用的视频设备采用H.261或者H.263编解码器格式。更具体地说，假定图1中的输入信号10(来自第一参加者)为H.261编解码器格式，以及输入信号11(来自第二参加者)、12(来自第三参加者)、13(来自第四参加者)为H.263编解码器格式。这意味着MCU对第一参加者产生的输出信号14(图1)将为H.261编解码器格式，以及MCU对第二、第三以及第四参加者产生的输出信号14为H.263编解码器格式。
由于MCU在任何时刻基本上都仅更新输出CIF信号的一个象限，因此，与传统的MCU相比，本发明的MCU的结构被简化，并且操作本发明的MCU所需的计算能力也比传统MCU显著减少。另外，与传统MCU相比，由于本发明的MCU仅在重新排列的编码域数据上工作(一般不对编码域数据进行解码)，因此，本发明的MCU仅需要少量存储器。这种复杂度、计算能力以及存储器大小方面的减少使传统个人计算机(PC)能够用于本发明的实施。
如上所述，为了说明本例，假定电视会议有四名参加者。第一参加者的视频设备产生包含输入QCIF信号10的信道。第二参加者的视频设备产生包含输入QCIF信号11的信道。第三参加者的视频设备产生包含输入QCIF信号12的信道。第四参加者的视频设备产生包含输入QCIF信号13的信道。各参加者用来产生包含QCIF信号的信道的摄像机、计算机、CRT或其它显示屏以及其它视频设备是本领域众所周知的，在此不作详细说明。
MCU接收输入QCIF信号10、11、12、13，并将它们组合成输出CIF信号14。请参见图1。各QCIF信号包含数字帧或图像流。QCIF信号10中的数字帧用来更新输出CIF信号14的左上象限。QCIF信号11中的数字帧用来更新输出CIF信号14的右上象限。QCIF信号12中的数字帧用来更新输出CIF信号14的左下象限。QCIF信号13中的数字帧用来更新输出CIF信号14的右下象限。在本发明目前最佳实施例中，每次MCU产生新的CIF信号14时，新的CIF信号包含基本上仅改变CIF信号的一个象限中的图像的信息。本领域的技术人员会了解，可以根据本发明来配置MCU，使每次产生新的CIF信号14时，CIF信号的两个或两个以上象限中的图像被改变。但是，在本发明的最佳实施例中，每次由MCU产生新的CIF信号时，只有该CIF信号的一个象限中的图像被改变。
如本领域的技术人员会了解的一样，各输入信道可包含子QCIF信号，以及输出信号可以是包含各子QCIF图像的一部分的QCIF信号。众所周知，子QCIF信号不是QCIF信号大小的四分之一。通过提取各子QCIF图像的一部分，这些部分仍然可加起来成为QCIF图像。或者，各输入信道可包含CIF信号，以及输出信号可以是4CIF信号。或者，各输入信道可包含4CIF信号，以及输出信号可以是16CIF信号，等等。或者可采用其它标准化或非标准化图像格式。在H.263的连续出现模式下，可传送最多四个视频信号。这与本发明的部分可能的实施例的功能形成直接对比，例如在那些实施例中，各包含四个QCIF图像的四个CIF图像可加起来成为包含十六名参加者的图像的一个4CIF图像。另外，不同大小的图像也可适用于本发明。例如，输出的4CIF信号可在其左上及右上象限包含两个输入CIF信号，其左下和右下象限则可包含八个QCIF信号。
应当理解，一个信号10可以高于或低于信号11、12、13的速率向MCU发送新的帧或图像。这并不改变MCU的操作，因为MCU基本上根据先到先服务的原则工作。例如，一旦MCU从信号10至13接收到帧或图像，则处理该特定帧，生成CIF信号14并将它发送给各参加者的视频设备。然后，MCU处理接收的下一帧，生成CIF信号14并将它发送给各参加者的视频设备，等等。由于参加者之一的设备采用H.261编解码器格式而其余参加者的设备采用H.263编解码器格式，因此每当MCU经信号10至13之一接收并处理帧时，MCU以H.261编解码器格式生成CIF信号14并且以H.263编解码器格式生成CIF信号14。
如果输入QCIF信号10为H.261编解码器格式以及输出CIF信号为H.263格式，则当MCU以H.263编解码器格式生成输出信号14时，来自信号10的帧从H.261编解码器格式转换为H.263编解码器格式。同样，如果输入QCIF信号11至13为H.263编解码器格式以及输出CIF信号为H.261编解码器格式，则当MCU以H.261编解码器格式生成输出信号14时，来自信号11至13的帧从H.263编解码器格式转换为H.261编解码器格式。
实例部分I以H.263编解码器格式传送的CIF信号在本例的这个部分，假定MCU正处理输入信号10至13，以产生H.263编解码器格式的输出信号14，输出信号14将发送给以上标识的第二、第三及第四个参加者。
MCU监测输入信号10至13，并等待从信号10至13其中之一接收新帧。信号10是将新的QCIF帧发送给MCU的第一信号。MCU改变QCIF帧的信头和编码域数据，以便将该帧从H.261编解码器格式转变为H.263编解码器格式。改变的信头表明该帧为INTER图像(即P图像)。MCU将数字数据(即编码域数据)保存在帧中，它定义第一参加者的视频图像。虽然定义第一参加者的视频图像的数字数据可由MCU重新排列，但所产生的视频图像并没有被MCU改变或基本上未改变。
MCU准备图2所述的输出CIF信号14A。首先，生成具有CIF图像类型和INTER(P图像)的图像编码类型的CIF图像信头。然后，将适当的时间参考分配给图像。时间参考指明非传送图像的数量。使用B(双向内插)图像时，时间参考指明跳过多少图像以及如何对省略图像进行内插。使用B图像时，本发明的方法不起作用。因此，时间参考对于每个图像加1。H.263编解码器格式包括本发明的实施目前没有使用的帧省略特征。
由于从QCIF信号10接收的帧被分配给输出CIF信号14的左上象限，因此，MCU在输出CIF信号14的左上象限中插入MCU通过把经信号10接收的QCIF图像从H.261编解码器格式转换为H.263编解码器格式所产生的QCIF帧。MCU在CIF信号14A的左下象限以及右上和右下象限的MB信头中插入表示NOT COD的数字或比特“1”，如图2的CIF信号14A中所示。
由于新的QCIF帧处于左上象限中，因此QCIF帧中的各GOB数据从上至下经过必要的MVD修改，因为它可指CIF图像中不同的MVD。只有图4中标记为x的那些MB中的MVD没有改变。在各GOB经过必要的MVD修改之后，它与右上象限的十一个MB信头(其中每个被分配比特“1”以指定NOT COD)链接，成为新的CIF GOB。左下和右下象限的各MB信头被填充比特“1”，以指定NOT COD。
所产生的输出CIF信号14A如图2所示。当这个信号被发送并由参加者二、三、四接收时，这些参加者的视频设备将图14A的左上象限中所述的图像插入各参加者的CRT或其它显示屏上显示的视频图像的左上象限中。其余象限中显示在CRT上的图像保持不变。
MCU将CIF信号14A发送给参加者二、三以及四。
在发送CIF信号14A之后，MCU再次以循环方式监测输入信号10至13。检查信号11以查看它是否包含新帧。如果信号11没有包含新帧，则MCU继续移动并检查信道12是否包含新帧，依此类推。如果信号11包含新帧，则进行以下步骤。
由于该帧已经为H.263编解码器格式，因此不需要将该帧从H.261编解码器格式改变为H.263编解码器格式。
该帧为INTRA图像(I图像)。MCU将它转换为INTER或P图像。在宏块级，如果修改了量化器以及添加了COD，则MB类型设置为INRA或INTRA+Q。MCBPC从I图像的表转移到P图像的表。CBPY取其初始值的补数。必要时改变信头和编码域数据以指明INTER图像的这个步骤是本领域的技术人员熟悉的。
MCU准备图2所述的输出CIF信号14B。首先，生成具有CIF图像类型和INTER(P图像)的图像编码类型的CIF图像信头。然后，将适当的时间参考分配给图像。时间参考指明非传送图像的数量。在本发明的方法中，对于各图像，时间参考加1。H.263编解码器格式包括本发明的实施目前没有使用的帧省略特征。
由于从QCIF信号11接收的帧被分配给输出CIF信号14的右上象限，因此，MCU在输出CIF信号14B的右上象限中插入MCU通过把经信号11接收的QCIF I图像转换为均为H.263编解码器格式的QCIF P图像所产生的QCIF帧。由于QCIF帧处于右上象限中，因此QCIF帧中的各GOB数据从上至下经过必要的MVD修改，因为它表示CIF图像中不同的MVD。在各GOB经过必要的MVD修改之后，它与左上象限的十一个MB信头(其中每个被分配比特“1”以指定NOTCOD)链接，成为新的CIF GOB。左下和右下象限的各MB信头被填充比特“1”，以指定NOT COD。
所产生的输出CIF信号14B如图2所示。当这个信号被发送并由参加者二、三、四接收时，这些参加者的视频设备将图14B的右上象限中所述的图像插入各参加者的CRT或其它显示屏上显示的视频图像的右上象限中。其余象限中显示在CRT上的图像保持不变。
MCU将CIF信号14B发送给参加者二、三以及四。
MCU再次以循环方式监测新输入帧的输入信号10至13。MCU从信号12接收新帧。
由于从信号12接收的帧已经为H.263编解码器格式，因此不需要将该帧从H.261编解码器格式改变为H.263编解码器格式。
发现该帧为INTER图像(P图像)。因此，MCU不需要将它转换为P图像格式。
MCU准备图2所述的输出CIF信号14C。首先，生成具有CIF图像类型和INTER(P图像)的图像编码类型的CIF图像信头。然后，将适当的时间参考分配给图像。时间参考指明非传送图像的数量。在本发明的方法中，时间参考对于每个图像加1。H.263编解码器格式包括本发明的实施目前没有使用的帧省略特征。
输出CIF信号的左上和右上象限的十一个MB信头的每个被填充比特“1”，以指定NOT COD。然后，由于从QCIF信号12接收的帧被分配给输出CIF信号14的左下象限，因此，MCU在输出CIF信号14C的左下象限中插入MCU经信号12所接收的QCIF帧。由于QCIF帧处于左下象限中，因此QCIF帧中的各GOB数据从上至下经过必要的MVD修改，因为它表示CIF图像中不同的MVD。在各GOB经过必要的MVD修改之后，它与右下象限的十一个MB信头(其中每个被分配比特“1”以指定NOT COD)链接，成为新的CIF GOB。
所产生的输出CIF信号14C如图2所示。当这个信号被发送并由参加者二、三、四接收时，这些参加者的视频设备将图14C的左下象限中所述的图像插入各参加者的CRT或其它显示屏上显示的视频图像的左下象限中。其余象限中显示在CRT上的图像保持不变。
MCU将CIF信号14C发送给参加者二、三以及四。
MCU再次以循环方式监测新输入帧的输入信号10至13。MCU从信号13接收新帧。
由于从信号13接收的帧已经为H.263编解码器格式，因此不需要将该帧从H.261编解码器格式改变为H.263编解码器格式。
发现该帧为INTER图像(P图像)。因此，MCU不需要将它转换为P图像格式。
MCU准备图2所述的输出CIF信号14D。首先，生成具有CIF图像类型和INTER(P图像)的图像编码类型的CIF图像信头。然后，将适当的时间参考分配给图像。时间参考指明非传送图像的数量。在本发明的方法中，时间参考对于各图像加1。H.263编解码器格式包括本发明的实施目前没有使用的帧省略特征。
输出CIF信号的左上和右上象限的十一个MB信头的每个被填充比特“1”，以指定NOT COD。然后，由于从QCIF信号13接收的帧被分配给输出CIF信号14的右下象限，因此，MCU在输出CIF信号14D的右下象限中插入MCU经信号13所接收的QCIF帧。由于QCIF帧处于右下象限中，因此QCIF帧中的各GOB数据从上至下经过必要的MVD修改，因为它表示CIF图像中不同的MVD。在各GOB经过必要的MVD修改之后，它与左下象限的十一个MB信头(其中每个被分配比特“1”以指定NOT COD)链接，成为新的CIF GOB。
所产生的输出CIF信号14D如图2所示。当这个信号被发送并由参加者二、三、四接收时，这些参加者的视频设备将图14D的右下象限中所述的图像插入各参加者的CRT或其它显示屏上显示的视频图像的右下象限中。其余象限中显示在CRT上的图像保持不变。
MCU将CIF信号14D发送给参加者二、三以及四。
部分II以H.261编解码器格式传送的CIF信号在本例的这个部分，假定MCU正处理输入信号10至13，以便产生H.261编解码器格式的输出信号14，输出信号14将仅发送给以上标识的第一参加者。
MCU再次以循环方式监测新输入帧的输入信号10至13。信号10是将新帧10A发送给MCU的第一信号。由于该帧已经为H.261编解码器格式，因此不需要MCU将该帧从H.263编解码器格式改变为H.261编解码器格式。
MCU准备图3所述的输出CIF信号14E。首先，生成具有CIF的图像类型的CIF图像信头。然后，将适当的时间参考分配给图像。
由于从QCIF信号10接收的帧被分配给输出CIF信号14E的左上象限，因此，MCU在输出CIF信号14E的左上象限中插入MCU经信号10所接收的QCIF帧。必要时，QCIF帧的GN被改变，以便对应于图6所示的GN。由于H.261编解码器格式的QCIF帧具有与H.261编解码器格式的CIF帧的左上象限匹配的GN 1、3、5，因此这些GN不需要被改变。
MCU采用各包含随情况而定的正确GN 2、4或6的GOB信头来填充信号14E的右上象限。各GOB中的信头随后没有任何宏块数据。同样，MCU采用各包含随情况而定的正确GN 7、9或11的GOB信头来填充CIF信号14E的左下象限。左下象限的各GOB中的信头随后没有任何宏块数据。最后，MCU采用各包含随情况而定的正确GN8、10或12的GOB信头来填充CIF信号14E的右下象限。右下象限的各GOB中的信头随后没有任何宏块数据。当具有适当GN的GOB信头随后没有任何附加宏块数据时，表示省略MBA，它意味着该象限中的图像在参加者的视频设备接收特定CIF信号14E时没有被该设备更新。
所产生的输出CIF信号14E如图3所示。当这个信号被发送并由参加者一接收时，这个参加者的视频设备将包含在QCIF帧中的图像插入参加者的CRT或其它显示屏上显示的视频图像的左上象限中。其余象限中显示在参加者的CRT上的图像保持不变。
在发送CIF信号14E之后，MCU再次监测输入信号10至13并等待接收新的帧。MCU从信号11接收新帧11A。
由于该帧为H.263编解码器格式，因此MCU将编解码器格式改变为H.261编解码器格式。当H.263编解码器格式改变为H.261编解码器格式时，输入图像是I图像还是P图像都一样。MCU将数字数据(即编码域数据)保存在帧中，它定义第二参加者的视频图像。虽然定义第二参加者的视频图像的数字数据可由MCU重新排列，但所产生的视频图像并没有被MCU改变或基本上未改变。
MCU准备图3所示的输出CIF信号14F。首先，生成具有CIF的图像类型的CIF图像信头。然后，将适当的时间参考分配给图像。
由于从QCIF信号11A接收的帧被分配给输出CIF信号14F的右上象限，因此，MCU在输出CIF信号14F的右上象限中插入MCU通过把经信号11A接收的QCIF图像从H.263编解码器格式转换为H.261编解码器格式所产生的QCIF帧。QCIF帧的GN被改变，以便对应于图6所示的GN。由于QCIF帧具有1、3以及5的GN，因此这些数字改变为2、4以及6，因为QCIF帧被插入输出CIF信号的右上象限。CIF信号14F的右上象限的GN必须为2、4、6，如图6所示。
MCU采用各包含随情况而定的正确GN 1、3或5的GOB信头来填充信号14F的左上象限。各GOB中的信头随后没有任何宏块数据。同样，MCU采用各包含随情况而定的正确GN 7、9或11的GOB信头来填充CIF信号14F的左下象限。左下象限的各GOB中的信头随后没有任何宏块数据。最后，MCU采用各包含随情况而定的正确GN 8、10或12的GOB信头来填充CIF信号14F的右下象限。右下象限的各GOB中的信头随后没有任何宏块数据。当具有适当GN的GOB信头随后没有任何附加宏块数据时，表示省略MBA，它意味着该象限中的图像在参加者的视频设备接收特定CIF信号14F时未被该设备更新。
所产生的输出H.261编解码器格式CIF信号14F如图3所示。当这个信号被发送并由参加者一接收时，这个参加者的视频设备将包含在QCIF帧中的图像插入参加者一的CRT或其它显示屏上显示的视频图像的右上象限中。显示在参加者的CRT上其余象限中的图像保持不变。
在发送CIF信号14F之后，MCU再次监测输入信号10至13并等待接收新帧。MCU从信号12接收新帧12A。
由于该帧为H.263编解码器格式，因此MCU将编解码器格式改变为H.261。当H.263编解码器格式改变为H.261编解码器格式时，输入图像是I图像还是P图像都一样。MCU将数字数据(即编码域数据)保存在帧中，它定义第三参加者的视频图像。虽然定义第三参加者的视频图像的数字数据可由MCU重新排列，但所产生的视频图像并没有被MCU改变或基本上没有改变。
MCU准备图3所示的输出CIF信号14G。首先，生成具有CIF的图像类型的CIF图像信头。然后，将适当的时间参考分配给图像。
由于从QCIF信号12A接收的帧被分配给输出CIF信号14G的左下象限，因此，MCU在输出CIF信号14G的左下象限中插入MCU通过把经信号12A接收的QCIF图像从H.263编解码器格式转换为H.261编解码器格式所产生的QCIF帧。QCIF帧的GN被改变，以便对应于图6所示的GN。由于QCIF帧具有1、3以及5的缺省GN，因此这些数字改变为7、9以及11，因为QCIF帧被插入输出CIF信号的左下象限。CIF信号14G的左下象限的GN必须为7、9、11，如图6所示。
MCU采用各包含随情况而定的正确GN 1、3或5的GOB信头来填充信号14G的左上象限。各GOB中的信头随后没有任何宏块数据。同样，MCU采用各包含随情况而定的正确GN 2、4或6的GOB信头来填充CIF信号14G的右上象限。右上象限中的各GOB中的信头随后没有任何宏块数据。最后，MCU采用各包含随情况而定的正确GN8、10或12的GOB信头来填充CIF信号14G的右下象限。右下象限的各GOB中的信头随后没有任何宏块数据。当具有适当GN的GOB信头随后没有任何附加宏块数据时，表示省略MBA，它意味着该象限中的图像在参加者的视频设备接收特定CIF信号14G时没有被该设备更新。
所产生的输出H.261编解码器格式CIF信号14G如图3所示。当这个信号被发送并由参加者一接收时，这个参加者的视频设备将包含在QCIF帧中的图像插入参加者一的CRT或其它显示屏上显示的视频图像的左下象限中。其余象限中显示在参加者的CRT上的图像保持不变。
在发送CIF信号14G之后，MCU再次监测输入信号10至13并等待接收新帧。MCU从信号13接收新帧13A。
由于该帧为H.263编解码器格式，因此MCU将编解码器格式改变为H.261。当H.263编解码器格式改变为H.261编解码器格式时，输入图像是I图像还是P图像都一样。MCU将数字数据(即编码域数据)保存在帧中，它定义第四参加者的视频图像。虽然定义第四参加者的视频图像的数字数据可由MCU重新排列，但所产生的视频图像并没有被MCU改变或基本上没有改变。
MCU准备图3所示的输出CIF信号14H。首先，生成具有CIF的图像类型的CIF图像信头。然后，将适当的时间参考分配给图像。
由于从QCIF信号13A接收的帧被分配给输出CIF信号14H的右下象限，因此，MCU在输出CIF信号14H的右下象限中插入MCU通过把经信号13A接收的QCIF图像从H.263编解码器格式转换为H.261编解码器格式所产生的QCIF帧。QCIF帧的GN被改变，以便对应于图6所示的GN。由于QCIF帧具有1、3以及5的GN，因此这些数字改变为8、10以及12，因为QCIF帧被插入输出CIF信号的右下象限。CIF信号14H的右下象限的GN必须为8、10、12，如图6所示。
MCU采用各包含随情况而定的正确GN 1、3或5的GOB信头来填充信号14H的左上象限。各GOB中的信头随后没有任何宏块数据。同样，MCU采用各包含随情况而定的正确GN 2、4或6的GOB信头来填充CIF信号14H的右上象限。右上象限中的各GOB中的信头随后没有任何宏块数据。最后，MCU采用各包含随情况而定的正确GN7、9、11的GOB信头来填充CIF信号14H的左下象限。左下象限的各GOB中的信头随后没有任何宏块数据。当具有适当GN的GOB信头随后没有任何附加宏块数据时，表示省略MBA，它意味着该象限中的图像在参加者的视频设备接收特定CIF信号14H时没有被该设备更新。
所产生的输出H.261编解码器格式CIF信号14H如图3所示。当这个信号被发送并由参加者一接收时，这个参加者的视频设备将包含在QCIF帧中的图像插入参加者一的CRT或其它显示屏上显示的视频图像的右下象限中。显示在参加者的CRT上其余象限中的图像保持不变。
本领域的技术人员会了解，存在各种除H.263和H.261之外的编解码器格式，它们能够根据本发明用于在多个参加者之间的电视会议中从多个输入信道每次仅接收和发送一帧。
向MCU发送来自电视会议各参加者的QCIF(或其它)信号以及从MCU向电视会议的所选参加者发送CIF(或其它)信号所需的设备是众所周知的，在此不作详细说明。
若不在CIF信号14的象限中传送电视会议参加者的图像，也可传送其它信息。例如，视频剪辑、文档、电子数据表、演示均可结合到CIF信号14中，例如出现在右下象限(或其它象限)中，代替电视会议中一个参加者的图像。
已经以这样的形式对本发明进行了说明，以便本领域的技术人员可以理解、从而实施和使用本发明，还说明了目前最佳的实施例及其最佳模式，我们要求以下权益。
权利要求
1.一种方法，用于从至少第一和第二输入视频信道接收帧，以及用于交替地在至少以下各项中连续发送各帧第一输出视频流，发至第一设备装置，该装置用于接收所述第一视频流并且生成包含来自两个所述输入视频信道的画面的视频图像，第二输出视频流，发至第二设备装置，该装置用于接收所述第二视频流并且生成包含来自两个所述输入视频信道的画面的视频图像，所述方法包括以下步骤(a)确定所述第一和第二设备装置中每一个的编解码器格式；(b)确定所述输入视频信道其中之一是否具有可用的新帧；(c)当步骤(b)中存在可用的新帧时，确定所述新帧的编解码器格式；(d)将所述可用帧的所述编解码器格式与至少所述第一设备装置的编解码器格式匹配；(e)通过必要时改变所述可用帧中的信头和编码域数据来生成修订帧，以便对应于所选图像格式；(f)生成稳定状态数据，该数据表明不提供任何新帧的所述视频信道的图像没有变化；(g)组合(i)步骤(e)中产生的所述修订帧，和(ii)步骤(f)中产生的所述稳定状态数据，从而生成所述第一输出视频流中的视频信号，所述第一设备装置接收所述视频信号并产生视频图像，其中包含从所述视频信号的所述修订帧生成的所述信道之一的图像，以及在所述第一设备装置接收所述视频信号之前存在的所述另一信道的图像，该图像根据所述视频信号中的所述稳定状态数据而保持不变。
2.一种装置，用于从至少第一和第二输入视频信道接收帧，以及用于交替地在至少以下各项中连续发送各帧第一输出视频流，发至第一设备装置，该装置用于接收所述第一视频流并生成包含来自两个所述输入视频信道的画面的视频图像，第二输出视频流，发至第二设备装置，该装置用于接收所述第二视频流并生成包含来自两个所述输入视频信道的画面的视频图像，所述装置包括(a)确定所述第一和第二设备装置中每一个的所述编解码器格式的装置；(b)确定所述输入视频信道其中之一是否具有可用的新帧的装置；(c)当步骤(b)中存在可用的新帧时确定所述新帧的编解码器格式的装置；(d)将所述可用帧的所述编解码器格式与至少所述第一设备装置的编解码器格式匹配的装置；(e)通过必要时改变所述可用帧中的信头和编码域数据来生成修订帧、以便对应于所选图像格式的装置；(f)生成稳定状态数据的装置，该数据表明不提供任何新帧的所述视频信道的图像没有变化；(g)组合以下各项的装置(i)步骤(e)中产生的所述修订帧，和(ii)步骤(f)中产生的所述稳定状态数据，从而生成所述第一输出视频流中的视频信号，所述第一设备装置接收所述视频信号并产生视频图像，其中包含从所述视频信号的所述修订帧生成的所述信道之一的图像，以及在所述第一设备装置接收所述视频信号之前存在的所述另一个信道的图像，该图像根据所述视频信号中的所述稳定状态数据而保持不变。
3.一种方法，用于从至少第一和第二输入视频信道接收帧，以及用于交替地在至少以下各项中连续发送各帧第一输出视频流，发至第一设备装置，该装置用于接收所述第一视频流并生成包含来自两个所述输入视频信道的画面的视频图像，第二输出视频流，发至第二设备装置，该装置用于接收所述第二、视频流并生成包含来自两个所述输入视频信道的画面的视频图像，所述方法包括以下步骤(a)确定所述输入视频信道其中之一是否具有可用的新帧；以及(b)当步骤(a)中存在可用的新帧时，将所述编码域数据用于所述帧中而不对所述编码域数据完全解码，以便生成所述第一输出视频流中的视频信号，所述第一设备装置接收所述视频信号并产生视频图像，所述视频图像包含从所述编码域数据生成的所述信道之一的图像。
全文摘要
提供用于电视会议的一种方法及装置(14)。这种方法及装置(14)从多个视频信道连续接收帧(10－13)以及交替地向电视会议的多个参加者中每人连续发送包含涉及各视频信道的信息的各帧(14A－14D)。该方法及装置仅在任何给定时刻才发送电视会议中参加者之一的新图像数据。
文档编号H04N7/26GK1496652SQ02806532
公开日2004年5月12日 申请日期2002年7月12日 优先权日2001年7月16日
发明者杨智隆, 郭陈元 申请人:杨智隆, 郭陈元