专利名称：运动画面接收设备，发送设备及其解码和编码方法
技术领域：
本发明涉及一种用于接收和发送运动画面数据的设备、方法和程序产品。
背景技术：
诸如可视电话或移动电话之类的通信终端能够发送和接收图像(运动画面)。这种类型的通信终端发送由CCD摄像机捕获的对应终端的编码图像数据，同时接收由对应终端发送的编码图像数据，解码所接收的图像数据，并在其显示屏幕上显示与所接收的图像数据相对应的图像。为了编码图像数据，大多数通信终端使用运动画面编码算法，例如ISO/IEC国际标准14496-2(以下称为“MPEG-4视频”)或ITU-T推荐H.263(以下称为“H.263”)。
这些运动画面编码算法将运动画面作为一系列连续的静止画面(帧)处理。设计运动画面编码算法，从而通过只压缩作为两个连续帧之内差别的这种运动画面数据来压缩数据。这种类型的编码算法被称作“帧间差别编码”。除了使用“帧间差别编码”之外，MPEG-4视频和H.263还使用了通过只参考当前帧之前紧邻帧的运动补偿。将当前帧之前紧邻的帧的数据存储在帧存储器中，帧存储器设置了用于执行帧间差别编码或运动补偿的编码器或解码器。将当前帧之前紧邻的帧称为“参考帧”。
近年来，已经努力使另一种算法H.264/AVC标准化。该算法通过执行帧间差别编码和通过参考感兴趣的帧之前的多个帧的运动补偿来编码图像数据。因此，与其它运动画面编码算法相比，H.654/AVC能够执行具有更高的准确度以及更高压缩率的编码，但是该算法的使用需要在编码器或解码器的帧存储器中存储多个参考帧。
为了在两个通信终端之间发送/接收运动画面，每一个通信终端必须能够确定兼容的通信条件，包括例如运动画面编码算法、比特率、帧速率、参考帧的数量、图像数据的屏幕尺寸以及与编码和解码相关的其它相关条件。
存在能够从多个对应终端接收运动画面数据的通信终端(例如，参考日本专利待审公开No.JP7-236136A)。这种通信终端接收从多个对应终端所发送的运动画面数据，并根据所接收的运动画面数据，在显示器的不同窗口内显示运动画面。通信终端响应窗口的显示状态，通过彼此互通信息来确定可兼容的通信条件来改变每一个运动画面数据的传输率。例如，可以将前台窗口或最宽大窗口上的运动画面数据的质量改变为“高质量”。
例如，在第一和第二通信终端之间已经出现第三通信终端加入并参加运动画面通信的情况下，为了在通信终端之间发送/接收运动画面，每一个参加的通信终端需要分别从第二和第三通信终端接收两个运动画面数据序列，并解码和显示所接收的运动画面数据。
但是，在发起三向通信时，第一和第二通信终端需要改变在其双向通信起始时所确定的编码条件。这造成的问题在于，第一和第二通信终端不能同时保持彼此的通信，同时通过改变编码条件来开始与第三终端的通信，这个问题在具有较低编码/解码能力的通信终端，例如具有有限计算能力和有限存储器的移动电话中更加明显。
为了示例的目的，可假设第一通信终端的解码器具有最大可用写速度64kbps的输入缓冲器，这导致了确定编码条件，以使第一通信终端和第二通信终端之间的比特率被设置为64kbps。在这种情况下，当试图发起三向通信时，由于第一终端需要接收来自第三通信终端和第二通信终端的运动画面数据，因此第一通信终端不能将所有的所接收数据都写到缓冲器中。因此，第一通信终端不能准确地解码运动画面数据。即，将第三终端引入最初两个终端之间的通信导致比特率超出了所设置的最大比特率64kbps，因此阻碍了三向通信。
此外，在所确定的编码条件是保留第一通信终端的解码器中帧存储器的所有存储区域，用于存储参考帧以便与第二通信终端进行通信的情况下，第一通信终端不能解码来自第三通信终端的运动画面数据，这是因为它在用于存储参考帧的帧存储器中没有可用的存储区域用于与第三终端的通信。因此，第一通信终端不能执行三向通信。
此问题也存在于使用多个参考帧的H.264/AVC中。例如，在第一通信终端的解码器具有五个用于存储参考帧的帧存储器以及编码条件是保留所有五个用于存储参考帧的帧存储器，以便与第二通信终端进行通信的情况下，第一通信终端不能解码运动画面数据，这是因为第一通信终端没有帧存储器存储区域可供与第三终端的通信使用。
发明内容
本发明提供了以上问题的解决方案。为了解决问题，本发明使通信终端即使在发送运动画面数据的通信终端的数量变化的情况下，也能够接收并解码来自其它通信终端的运动画面数据。此外，本发明允许通信终端即使在接收运动画面数据的通信终端的数量变化的情况下，也能够解码并将运动画面数据发送到其它通信终端。
为了解决现有技术中的问题，本发明提供了一种运动画面接收设备，包括图像数据接收装置，用于接收已编码的图像数据；解码装置，用于解码由图像数据接收装置所接收的图像数据；输出装置，用于输出由解码装置所解码的图像数据；以及控制装置，用于通过与发送图像数据的运动画面发送设备进行通信来确定图像数据的编码条件，以及控制解码装置，使其能够根据编码条件来解码已编码的图像数据；其中，当运动画面发送设备的数量变化时，控制装置根据改变的运动画面发送设备的数量来确定编码条件。
在一个实施例中，控制装置可以根据解码装置的解码能力来确定编码条件。
在另一个实施例中，在响应数量增加的运动画面发送设备，更新了编码条件之后，控制装置通过与发送图像数据的一个或多个运动画面发送设备进行通信，根据可用于一个或多个运动画面设备中的每一个的解码能力或运动画面发送设备的数量，来确定图像数据的编码条件。
在另一个实施例中，控制装置可以控制输出装置，以输出解码的图像数据。
在另一个实施例中，输出装置可以是显示装置，用于显示根据由解码装置所解码的解码图像数据所产生的运动画面；以及控制装置可以根据显示在输出装置上的运动画面的屏幕尺寸来确定编码条件。
在另一个实施例中，运动画面接收设备还可以包括资源信息接收装置，用于接收来自每一个运动画面发送设备的资源信息，资源信息是用于确定每一个运动画面发送设备处的编码条件的信息；以及存储装置，用于存储由资源信息接收装置所接收的资源信息；其中控制装置根据存储在存储装置中的资源信息来确定编码条件。在该实施例中，运动画面接收装置还可以包括确定装置，用于根据存储在存储装置中的资源信息来确定运动画面接收设备本身是否是编码条件确定设备，编码条件确定设备是用于确定从运动画面发送设备所发送的图像数据的编码条件的设备；其中，在确定装置的确定结果是肯定的情况下，控制装置根据存储在存储装置中的资源信息来确定编码条件。可选择的是，在该实施例中，运动画面接收设备还可以包括优先级计算装置，用于根据存储在存储装置中的资源信息来计算运动画面接收设备的优先级；其中，控制装置根据由计算装置所计算的优先级以及存储在资源信息中的资源信息来确定编码条件。
本发明还提供了一种运动画面发送设备，包括输入装置，用于输入图像数据；编码装置，用于编码由输入装置所输入的图像数据；发送装置，用于发送由编码装置所编码的图像数据；以及控制装置，用于通过与运动画面接收设备进行通信来确定图像数据的编码条件，以及控制编码装置，使其能够根据编码条件来编码图像数据；其中，当运动画面接收设备的数量变化时，控制装置根据改变的运动画面接收设备的数量来确定编码条件。
在一个实施例中，控制装置可以控制编码装置，以编码图像数据。
本发明还提供了一种运动画面解码方法，包括步骤通过与作为图像数据源的运动画面发送设备进行通信来确定要接收的图像数据的编码条件；根据在确定步骤所确定的编码条件来解码并输出所接收的图像数据；当运动画面发送设备的数量变化时，根据改变的运动画面发送设备的数量来更新编码条件。
本发明还提供了一种运动画面编码方法，包括步骤通过与作为图像数据目的地的运动画面接收设备进行通信来确定图像数据的编码条件；根据在确定步骤所确定的编码条件来编码并发送图像数据；当运动画面接收设备的数量变化时，根据改变的运动画面发送设备的数量来更新编码条件。
本发明允许运动画面接收设备即使在运动画面发送设备的数量变化的情况下，也能够接收并解码来自一个或多个运动画面发送设备的图像数据。此外，本发明允许运动画面发送设备即使在运动画面接收设备的数量变化的情况下，也能够编码图像数据并将图像数据发送到一个或多个运动画面接收设备。
图1是表示根据本发明第一实施例的移动电话10的硬件结构的方框图；图2是表示编码器2结构的方框图；图3是表示解码器4结构的方框图；图4是表示双向通信和三向通信之间的切换操作的示意图；图5是表示根据本实施例的多向通信的示意图；图6(a)至(c)是表示发起运动画面的双向通信的示意图；图7是表示根据本实施例用于增加参加多向通信的终端操作的流程图；图8是表示根据本实施例用于增加参加多向通信的终端数量的操作的流程图；图9是表示根据本实施例的多向呼叫的示意图；图10是表示根据本实施例的多向呼叫的示意图；和图11是表示根据本发明的多向通信系统用于增加参加多向通信的终端数量的操作流程图。
具体实施例方式
现在参考附图，对本发明的优选实施例进行说明。在以下的说明中，如图所示，相同的号码表示相同的部件。
A.第一实施例A-1.结构A-1-1.移动通信终端的结构图1是表示根据本发明第一实施例的移动电话10的硬件结构的方框图。移动电话10是运动画面(影片)接收设备和运动画面发送设备。如图1所示，移动电话10包括成像设备1、编码器2、发送器/接收器3、解码器4、图像显示设备5、控制单元6以及非易失性存储器7。此外，移动电话10包括键盘和话音通信处理单元(图中均未示出)。键盘具有多个按键，用于将数字字符、字符指令输入到移动电话10。键盘响应由用户执行的键盘操作，将信号输出到控制单元6。话音通信处理单元具有话筒、扬声器以及话音处理单元。话音通信处理单元在控制单元6的控制下执行诸如连接/断开呼叫之类的话音通信处理。
成像设备1是，例如，CCD(电荷耦合器件)摄像机，并将所捕获图像的数据输出到编码器2。可以将移动电话10从移动通信网络或非易失性存储器7获得的图像数据(影片数据)输出到编码器2，而不是成像设备1。
编码器2根据诸如MPEG-4视频编码、H.263或H.264/AVC之类的运动画面编码算法来编码由成像设备1输出的图像数据。编码器2将已编码的图像数据输出到发送器/接收器3。
发送器/接收器3控制移动电话10和移动通信网络中的基站之间的无线通信。发送器/接收器3将从编码器2输出的运动画面数据以及发起呼叫的移动电话10(源移动电话10)的通信地址(例如，电话号码或IP(网际协议)地址)一起发送到基站。因此，将运动画面数据从源移动电话10发送到对应的移动电话10。发送器/接收器3接收来自基站的、从源移动电话10发送的运动画面数据，并将所接收的运动画面数据发送到解码器4。
发送器/接收器3经过基站，从对应的移动电话10接收/发送信息，诸如移动电话10所支持的运动画面编码算法、最大比特率或最大帧速率、参考帧的最大数量、运动画面的最大屏幕尺寸等等之类的信息。移动电话10根据所发送/所接收的信息来确定编码条件，该条件是用于当与源移动电话10进行通信时编码/解码运动画面数据的条件。对应移动电话10将与所确定的编码条件相对应的源移动电话10的标识数据(例如电话号码，IP地址，或通信ID)存储在非易失性存储器7中。
例如，编码条件限定了例如要使用的运动画面编码方法、比特率、帧速率、参考帧的数量以及屏幕尺寸。
解码器4根据由与对应移动电话10的信息交换所确定的编码条件，解码从发送器/接收器3输出的运动画面数据。解码器4将解码的运动画面数据输出到图像显示设备5。例如，图像显示设备5具有例如液晶显示器(LCD)板以及用于其的驱动器电路。图像显示设备5根据由解码器4所解码的运动画面数据，在LCD板上显示屏幕。
控制单元6与成像设备1、编码器2、发送器/接收器3、解码器4、图像显示设备5以及非易失性存储器7相连。控制单元6具有CPU、ROM以及RAM(图中均未示出)。控制单元6通过运行存储在ROM或非易失性存储器7中的程序来控制移动电话10的每一个部件。例如，非易失性存储器7还存储用于切换编码条件(后面参考图4进行说明)和用于改变编码器2和解码器4中操作参数的程序(应用软件)。
A-1-2.编码器的结构图2是表示编码器2结构的方框图。如图2所示，将帧图像D10划分为多个宏块，每一个宏块是16×16象素的图像。将所划分的帧图像D10输出到运动检测器11。
运动检测器11检测每一个宏块的图像运动。运动检测器11对宏块的图像与存储在帧存储器20中的参考帧D21的图像进行比较。然后，运动检测器11定位与宏块图像差别最小的图像区域。运动检测器11产生表示所定位图像的运动的运动矢量D11。运动检测器11将运动矢量D11输出到运动补偿器12和可变长度编码器16。运动检测器11还输出在产生运动矢量D11中所涉及的参考帧D21的信息(参考帧信息D12)。
运动检测器11可以将宏块划分为更小的图像单元，并检测每一个更小的图像单元的图像运动。在H.264/AVC的情况下，帧存储器20存储多个参考帧D21。因此，在H.264/AVC中，参考多个参考帧D21来产生运动矢量D11。
针对每一个宏块，运动补偿器12根据从运动检测器11输出的运动矢量D11和存储在帧存储器20中的参考帧D21来产生估算的图像D13。减法器13计算帧图像D10和针对每一个宏块估算的图像D13之间的差别(估算残留)，并将所计算的差别作为估算的残留图像D14输出到正交变换器14。正交变换器14对宏块中包括的每一个正交变换块的估算残留图像D14执行正交变换。由此，正交变换器14产生正交变换系数D15。量化器15通过量化正交变换系数D15来产生量化的正交变换系数D16。
可变长度编码器16将通过编码量化的正交变换系数D16而得到的编码图像数据D18、从运动检测器11输出的运动矢量D11以及参考帧信息D12输出到发送器/接收器3(图1)。
逆量化器17逆量化从量化器15输出的量化正交变换系数D16，由此产生逆量化正交变换系数D19。逆正交变换器18执行逆正交变换，由此产生局部解码残留图像D20。加法器19将局部解码残留图像D20与从运动补偿器12输出的估算图像D13相加，由此产生参考帧图像D21。将参考帧图像D21存储在帧存储器中，并将其用于帧间差别编码和运动补偿。
A-1-3.解码器的结构图3是表示解码器4结构的方框图。将由源移动电话10编码、然后由发送器/接收器3接收并输入到解码器4的编码图像数据D18存储在输入缓冲器21中。将多个编码的图像数据D19集成为操作单元，称之为编码图像数据D19。解码器4将编码图像数据D19输出到可变长度解码器22。
可变长度解码器22从每一个宏块的编码图像数据D19中解码运动矢量D11、参考帧信息D12以及量化的正交变换系数D16。这里，通过逆量化器23逆量化已量化的正交变换系数D16，由此产生正交变换系数D15。然后，由逆正交变换器24逆正交变换正交变换系数D15，由此获得估算的残留图像D14。
将由可变长度解码器22进行解码的运动矢量D11和参考帧信息D12输出到运动补偿器25。运动补偿器25根据存储在帧存储器26中的运动矢量D11、参考帧信息D12以及参考帧图像D21来产生估算图像D13。
加法器将估算图像D13和估算残留图像D14相加。由此，恢复了帧图像D12和D21，并将其输出到图像显示器5(图1)。将帧图像D21存储在帧存储器26中，并将其用于帧间差别编码和运动补偿。
A-2.操作首先，参考图1，对在两个移动电话10之间执行运动画面双向通信的操作进行说明。
当经过键盘输入了用于发起带有运动画面呼叫的指令时，或接收到用于发起带有运动画面的呼叫请求时，源移动电话10识别对应的移动电话10。然后，源移动电话10互通信息，例如对应移动电话10所支持的运动画面编码算法、最大比特率或最大帧速率、最大参考帧数量以及运动画面的最大屏幕尺寸。然后，源移动电话10和对应移动电话10确定用于运动画面通信的编码条件。
例如，源移动电话10和对应移动电话10将编码条件确定为将比特率设置为两个移动电话10之一的解码器4中输入缓冲器21的最大写速率，以及将参考帧数量设置为与两个移动电话10之一的帧存储器26的最大存储容量相对应的值，这是因为在这种情况下只存在一个对应方。因此，将编码条件设置为对于双向通信更有效。
源移动电话10与用于识别对应移动电话10的信息相对应地将所确定的编码条件存储在非易失性存储器7中。源移动电话10根据存储在非易失性存储器7中的编码条件，设置用于编码器2和解码器4的各种参数。源移动电话10的编码器2编码由成像设备1获得的图像数据，发送器/接收器3将图像数据发送到对应移动电话10。类似地，在对应移动电话10，根据所确定的编码条件编码并发送图像数据。移动电话10在发送器/接收器3中接收图像数据，在解码器4中解码数据并显示通过解码获得的图像。
因此，源移动电话10向对应移动电话10发送图像数据和从对应移动电话10接收图像数据，对应移动电话10的情况相同，在各个移动电话上解码之后，显示各自所发送/所接收的图像数据。按照这种方式，执行了电话之间的双向图像数据通信。按照相同的方式，两个移动电话10还发送/接收并处理话音数据。
接下来，将参考图4，对双向通信和三向通信之间的切换操作进行说明。在本实施例中，假设两个移动电话10处于运动画面的双向通信处理中，第三移动电话10呼叫两个移动电话10之一，以发起三向通信。
在本实施例中，将处于双向通信并接收来自第三移动电话10的新呼叫的源移动电话10称作“第一移动电话10”，而将处于与第一移动电话10的双向通信处理中的对应移动电话10称作“第二移动电话10”。图4是说明由第一移动电话10的控制单元6所执行的操作的流程图。
如图4所示，当第一移动电话10检测到(步骤S1)来自第三移动电话10的呼叫时，第一移动电话10确定(步骤S2)是否将双向通信切换到三向通信。例如，如果经过键盘输入了保持双向通信的指令，则第一移动电话10确定(步骤S2否)不将双向通信切换到三向通信。在这种情况下，将繁忙消息发送(步骤S3)到第三移动电话10，图4所示的操作结束。
在输入了将双向通信切换到三向通信的指令的情况下，第一移动电话10确定(步骤S2是)将双向通信切换到三向通信。在这种情况下，第一移动电话首先接收来自第二移动电话10的信息，例如第二移动电话10所支持的运动画面编码算法、最大比特率或最大帧速率、最大参考帧数量或图像数据的最大屏幕尺寸(步骤S4)。
然后，第一移动电话根据编码资源信息以及对应移动电话10的数量(在本例中是两个)来更新(步骤S5)与第二移动电话进行通信的编码条件，从而获得最有效的编码条件。
例如，如果将双向通信切换到具有相同比特率的三向通信，则与双向通信期间相比需要传送更多的数据。将例如比特率之类的编码条件设置为最有效的值，例如，比第一或第二移动电话10中解码器4的输入缓冲器21的写速率更高的值。因此，对于三向通信，将与第二移动电话10进行通信的比特率改变为用于双向通信的比特率的一半。
此外，对于双向通信，将参考帧数量设置为与第一或第二移动电话10中解码器4的帧存储器26的存储容量相对应的值。对于三向通信，需要多个帧存储器用于存储第三移动电话10的参考帧，以解码图像数据。因此，例如将第三移动电话10的帧存储器数量设置为帧存储器26的存储容量的一半，而将第二移动电话10的帧存储器数量改变为帧存储器26的存储容量的一半。
然后，第一移动电话10将所更新的编码条件发送(步骤S6)到第二移动电话10。当第一移动电话10接收到来自第二移动电话10的、表示接受更新编码条件的信号时，第一移动电话10将编码条件更新(步骤S7)为在上面的步骤S5中所确定的新编码条件。
当第二移动电话10接收到用于三向通信的编码条件时，第二移动电话10将编码条件更新为新编码条件。第二移动电话10响应所更新的编码条件，更新用于编码器2和解码器4的各种参数。
例如，在这种情况下，第二移动电话10通过改变用于编码器2中量化器15的量化参数，将比特率改变为双向通信的一半。此外，第二移动电话10将参考帧数量改变为用于双向通信的一半，并控制编码器2的部件，从而根据更新的参考帧数量来执行编码。
在上述步骤S7之后，第一移动电话10与第三移动电话10进行通信，并确定(步骤S8)第三移动电话10的编码条件。步骤S8中的操作基本上与双向通信的相同，区别仅在于将编码条件设置为使其能够进行三向通信。
当在步骤S8确定了用于第三移动电话10的编码条件(用于三向通信)时，第一移动电话10相应地利用用于识别第三移动电话10的信息，将编码条件数据存储在非易失性存储器中。第一移动电话10根据存储在非易失性存储器7中的、用于第二移动电话10和第三移动电话10的编码条件，设置用于编码器2和解码器4的各种参数。然后，第一移动电话10根据新编码条件发起(步骤S9)三向通信。
根据本实施例，当从双向通信切换到三向通信时，适当地改变编码条件。例如，由第二和第三移动电话10适当地共享第一移动电话10的输入缓冲器，由此可以将从第二和第三移动电话10所接收的所有图像数据均存储在第一移动电话10的解码器4中的输入缓冲器21中。此外，根据本实施例，可以在第一移动电话10的解码器4中的帧存储器26中保留用于第二和第三移动电话10的存储参考帧的存储区域。
因此，即使当移动电话的数量改变时，第一移动电话10也能够响应加入多向通信的移动电话的数量，设置最有效的编码条件。
参考图4，在本实施例中，当双向通信改变为三向通信时的操作，移动电话10响应对应移动电话10的数量，可以确定用于将三向通信改变为四向通信的编码条件，或将三向通信改变为双向通信的编码条件。在参加多向通信的所有移动电话10均具有相同规范的情况下，编码条件如下对于三向通信，比特率可以是双向通信的一半；对于四向通信，比特率可以是双向通信的三分之一；类似地，对于三向通信，参考帧数量可以是双向通信的一半；以及对于四向通信，参考帧数量可以是双向通信的三分之一。
如上所述，当参加多向通信的移动电话10的数量变化时，例如从双向通信变为三向通信，移动电话10根据参加多向通信的移动电话的变化数量，确定用于要通信的图像数据的编码条件。
关于移动电话10的图像数据接收功能，当参加多向通信的移动电话数量改变时，在与每一个对应移动电话10进行通信之后，移动电话10确定用于从对应移动电话10接收图像数据的编码条件。
类似地，关于移动电话10的图像数据发送功能，当参加多向通信的移动电话数量改变时，在与每一个对应移动电话10进行通信之后，移动电话10确定用于向对应移动电话10发送图像数据的编码条件。
此外，根据本实施例，移动电话10根据例如移动电话10所支持的运动画面编码算法、最大比特率或最大帧速率、参考帧的最大数量、运动画面的最大屏幕尺寸之类的编码资源信息来确定并改变编码条件。因此，移动电话10根据编码能力、解码能力以及参加多向通信的移动电话10的数量来确定编码条件。
另外，在参加多向通信的移动电话10的数量增加的情况下，移动电话10在将双向通信切换到三向通信之前来确定新编码条件。
因此，根据本实施例，由于在执行切换之前更新了用于三向通信的编码条件，因此能够平稳地执行从双向通信到三向通信的切换。
此外，在参加多向通信的移动电话10的数量减少的情况下，移动电话10在将三向通信切换到双向通信之后来确定新编码条件。可选择的是，在参加多向通信的移动电话10的数量减少的情况下，可以不改变编码条件，而是保持。
在本实施例中，由控制单元6中的CPU通过运行存储在控制单元6中的非易失性存储器7或ROM中的程序来执行上述的切换操作(图4)。可以经过与其它设备的通信将程序提供给移动电话10。可选择的是，可以通过存储介质来提供程序。
B.第二实施例这部分将说明本发明的第二实施例。图6示出了根据本实施例的多向通信。在该实施例中，用于决定确定编码条件的终端的方法以及用于通知编码资源信息的方法与第一实施例中的不同。在本实施例中，将给出从双向通信切换到三向通信、再回到双向通信的多向通信的说明。在本实施例中，分别将第一、第二和第三移动电话10称为移动电话10A、移动电话10B以及移动电话10C。对于编码和解码，每一个移动电话10A、10B以及10C的最大参考帧数量分别是7、8和9。因此，移动电话10A、10B以及10C的参考帧的总数量分别是14，16，和18。此外，为了简化说明，尽管也可以将例如比特率、帧速率或屏幕尺寸之类的其它参数看作是编码资源，但这里只将参考帧的数量看作是编码资源。虽然在本实施例中用于编码的参考帧数量和用于解码的参考帧数量相同，但这两个参考帧数量也可以彼此不同。
在下面的说明中，术语“参考帧数量”是指在针对编码操作给出说明时用于编码的参考数量，在针对解码操作给出说明时用于解码的参考数量。
由于与第一实施例的相同，因此省略对移动电话10的结构的说明，根据本实施例，所述移动电话10是运动画面发送设备和运动画面接收设备。第一、第二和第三移动电话10的每一个部件分别通过下标A、B和C来区分。
B-1.双向通信的发起首先，移动电话10A和10B发起与第一实施例类似的双向通信。当移动电话10A接收到发起带有运动画面的呼叫的请求时，移动电话10A将移动电话10B识别为对应方。然后，移动电话10A将其编码资源信息发送到移动电话10B。当移动电话10B接收到移动电话10A的编码资源信息时，移动电话10B的控制单元6B对所接收到的移动电话10A的编码资源信息与移动电话10B的编码资源条件进行比较。如果移动电话10B具有比移动电话10A更多的资源信息，控制单元6B利用移动电话10B的终端标识信息(例如电话号码、IP地址或终端ID)来更新条件确定终端信息。条件确定终端信息是指示确定编码条件的终端的信息。另一方面，如果移动电话10B具有比移动电话10A少的编码资源，则控制单元6B利用终端标识信息来更新条件确定终端信息。然后，移动电话10B将更新的条件确定终端信息发送到移动电话10A。
当移动电话10A接收到条件确定终端信息时，控制单元6A将所接收到的条件确定终端信息存储在非易失性存储器中。控制单元6根据条件确定终端信息来确定移动电话10A本身是否是条件确定终端。在本实施例中，由于移动电话10B具有比移动电话10A更多的编码资源，因此条件确定终端信息指示了移动电话10B。因此，移动电话10B是条件确定终端。
移动电话10B的控制单元6B确定适于具有较少编码资源的终端的编码条件。在本实施例中，由于移动电话10A和移动电话10B的最大参考帧数量分别是7和8，因此控制单元6B确定要使用的参考帧数量是7，作为编码条件。移动电话10B将所确定的编码条件发送到移动电话10A。移动电话10A的控制单元6A与移动电话10B的终端标识信息相对应地将所接收的编码条件存储在非易失性存储器7A中。因此，移动电话10A和移动电话10B根据编码条件发起运动画面的双向通信(见图6(a))。在图6中，利用指示其最大参考帧数量的数字标记了每一个移动电话10。此外，利用指示该终端处于通信的字符来标记箭头。例如，“AB”示出了移动电话10A和移动电话10B之间的通信。箭头上的数字示出了两个终端之间的通信中使用的参考帧数量。
B-2.双向通信切换到三向通信在本实施例中，当移动电话10A和移动电话10B正在执行双向通信时，移动电话10C呼叫移动电话10A。图7示出了根据本实施例用于增加参加多向通信的终端操作的流程图。当移动电话10A接收到呼叫时(步骤S21)，在经过键盘输入了用于切换到三向通信的指令的情况下(步骤S22是)，与第一实施例类似，移动电话10A的控制单元6A确定切换到三向通信。在拒绝了三向通信情况下的操作与第一当提供了用于切换到三向通信的指令时，控制单元6从非易失性存储器7A中读取条件确定终端信息。移动电话10A将条件确定终端信息发送到移动电话10C。移动电话10C的控制单元6C根据所接收到的条件确定终端信息，将移动电话10B识别为条件确定终端。控制单元6C利用与移动电话10A进行多向通信的请求，将其编码资源信息发送(步骤S23)到条件确定终端，在本例中是移动电话10B。
在本实施例中，双向通信中的条件确定终端保持与三向通信中的条件确定终端相同。就是说，移动电话10B确定(步骤S24)条件确定终端是移动电话10B本身。在另一个实施例中，可以根据参加多向通信的所有终端的编码资源信息来确定新条件确定终端。
当移动电话10B接收到多向通信的请求时，控制单元6B将利用多向通信请求所接收的编码资源信息存储在非易失性存储器7B中。作为条件确定终端的移动电话10B根据存储在非易失性存储器7B中的移动电话10A、10B和10C的资源信息以及参加多向通信的终端数量来确定(步骤S25)用于三向通信的新编码条件。就是说，条件确定终端确定具有最少编码资源的终端能够执行多向通信的编码条件。在本实施例中，确定编码条件，从而由所有参加多向通信的终端来共享最少编码资源。在移动电话10A、10B和10C中，移动电话10A具有最少的参考帧数量7。因此，控制单元6B把用于两个终端之间通信的参考帧数量是大于通过将最少参考帧数量除以n-1所获得的解的最大整数值作为新编码条件。在此，n是参加多向通信的终端的数量。然后将剩余的参考帧分配给其它终端。在本实施例中，设置三个参考帧用于移动电话10A和10B之间的通信，设置四个参考帧用于移动电话10B和10C之间的通信，并作为新编码条件。控制单元6B将所确定的编码条件存储在非易失性存储器7B中。在此，控制单元6B与移动电话10A的标识信息相对应地存储用于移动电话10A和10B之间通信的新编码信息(以下称为“A-B编码条件”)。类似地，控制单元6B与移动电话10C的标识信息相对应地存储用于移动电话10B和10C之间通信的新编码信息(以下称为“B-C编码条件”)。
控制单元6B将A-B编码条件发送(步骤S26)到移动电话10A。控制单元6A与移动电话10B的终端标识信息相对应地将所接收的A-B编码条件存储在非易失性存储器7A中。移动电话10A和10B根据新编码条件通信(步骤S27)。在本实施例中，将编码条件作为序列头标信息、帧头标信息或片段头标信息发送到其它终端。在另一个实施例中，非易失性存储器7存储了多个参数设置，每一个参数设置与诸如参加多向通信的移动电话的数量之类的连接状态相对应，移动电话10发送指示多个参数设置之一的参数设置ID。
在更新了移动电话10A和10B之间的编码条件之后，作为条件确定终端的移动电话10B将B-C编码条件发送到移动电话10C。当移动电话10C接收到B-C编码条件时，控制单元6C与移动电话10B的终端标识信息相对应地将B-C编码条件存储在非易失性存储器7C中。移动电话10B和10C根据B-C编码条件进行通信(步骤S28)。
在本实施例中，经过条件确定终端(在此情况下是移动电话10B)传送多向通信中的图像数据。即，移动电话10B将来自移动电话10C的图像数据转发到移动电话10A。在此，用于将在移动电话10C所产生的图像数据发送到移动电话10A的编码条件与B-C编码条件相同。类似地，移动电话10B将来自移动电话10A的图像数据转发到移动电话10C。移动电话10A接收来自移动电话10C的图像数据，且移动电话10C接收来自移动电话10A的图像数据。因此，执行了移动电话10A、10B和10C之间的三向通信(步骤S29，见图6(b))。
B-3.三向通信到双向通信的切换接下来，将对从三向通信切换到双向通信的操作进行说明，例如，在移动电话10B的用户在移动电话10A、10B和10C之间的三向通信期间终止呼叫的情况下。图8是表示根据本实施例用于减少参加多向通信的终端的数量的操作的流程图。
当移动电话10B的用户经过键盘输入了终止呼叫的指令时，将用于终止呼叫的信号输出到控制单元6B。控制单元6B检测该信号(步骤S31)，然后确定在终端数量减少之后会成为条件确定终端的候选终端。就是说，控制单元6B从非易失性存储器7B中读取条件确定终端信息。然后，控制单元6B确定移动电话10B本身是否是三向通信中的条件确定终端。在本实施例中，由于移动电话10B是条件确定终端，因此确定的结果是肯定的。在这种情况下，控制单元6B读取除移动电话10B之外的所有编码资源信息。然后，控制单元6提取最大编码资源。控制单元6确定除了移动电话10B外具有最大编码资源的终端是下一个条件确定终端。在这种情况下，确定移动电话10C是下一个条件确定终端。
控制单元6B将下一个条件确定终端的候选、其它终端的编码资源信息、以及其它终端的终端标识信息和用于确定条件确定终端的请求发送到移动电话10C。在本实施例中，控制单元6B将移动电话10A的编码资源信息和终端标识信息发送到移动电话10C。
当移动电话10C接收到用于确定条件确定终端的请求时，控制单元6C利用移动电话10C的终端标识信息更新条件确定终端信息。接下来，控制单元6C以与上面描述的相同方式确定(步骤S33)移动电话10A的编码条件。即，控制单元6C确定编码条件，以使用7编码条件。控制单元6C将所确定的编码条件以及指示移动电话10C是下一个条件确定终端的条件确定终端信息发送到移动电话10A(步骤S34)。
移动电话10A的控制单元6A将所接收到的编码条件和条件确定终端信息存储在非易失性存储器7A中。移动电话10A建立与作为新条件确定终端的移动电话10C的连接，并结束与移动电话10B的通信。在结束了与移动电话10B的通信之后，移动电话10A开始与移动电话10C进行通信，该通信包括图像数据的传输。此时，经过移动电话10C执行三向通信。此外，现用编码条件不是用于双向通信的新编码条件，而是用于三向通信的编码条件。在将转发终端从移动电话10B变为移动电话10C之后，控制单元6A将指示更新编码条件的准备已经完成的信号发送到移动电话10C。
当移动电话10C接收到除终止呼叫的终端之外的其它所有终端的信号时，控制单元6A将指示更新编码条件的准备已经完成的信号发送到移动电话10B。当移动电话10B接收到该信号时，移动电话10B结束与移动电话10C的通信(步骤S35)。此时，移动电话10C是移动电话10B仅有的对应方。因此，移动电话10B撤出了多向通信。
当移动电话10C的控制单元6C检测到移动电话10B进行的通信终止时，控制单元6C利用用于双向通信的编码条件更新编码条件(步骤S36)。此外，控制单元6C将指示编码条件更新的信号发送到移动电话10A。移动电话10A的控制单元6A利用用于双向通信的编码条件更新编码条件。因此，移动电话10A和10C根据新的编码条件发起了双向通信。
如果挂断多向通信的终端不是条件确定终端(即，在步骤S32的确定结果是否定)，该终端可以发送终止通信的请求。在终端终止了通信之后，在三向通信和双向通信中都是相同的条件确定终端可以确定新的编码条件。
C.第三实施例一般来说，根据本发明的操作如下。首先，参加多向呼叫的终端交换编码资源信息。接下来，终端按照可用的参考帧数量(编码资源)的升序来确定编码条件。然后，直接在所有终端之间发送图像数据。
图9和图10是表示根据本实施例的多向呼叫的示意图。在本实施例中，分别将第一、第二、第三和第四移动电话10称为移动电话10D、10E、10F和10G。移动电话10D、10E、10F和10G中的每一个用于编码和解码的最大参考帧数量分别是7、8、9和6。因此移动电话10D、10E、10F和10G的总参考帧的数量分别是14，16，18，和12。由于移动电话10的结构与第一和第二实施例中的相同，因此省略对移动电话10的结构说明。移动电话10D、10E、10F和10G的每一个部件分别通过下标D、E、F和G来区分。操作的详细说明如下。
C-1.发起双向通信首先，与第一实施例相类似，移动电话10D和10C开始双向通信。例如，当移动电话10D接收到带有运动画面的呼叫的请求时，移动电话10D的控制单元6D将移动电话10D自身的编码资源信息发送到移动电话10E。类似地，移动电话10E将移动电话10E自身的编码资源信息发送到移动电话10D。
移动电话10D和10E分别将所接收到其它终端的编码资源信息存储在非易失性存储器7D和7E中的对应方表中。控制单元6D根据存储在非易失性存储器7D中的其它终端的编码资源信息和移动电话10D的编码资源信息来确定移动电话10D自身是否具有最少编码资源。类似地，控制单元6E确定移动电话10E自身是否具有最少编码资源。在本实施例中，移动电话10D具有比移动电话10E更少的编码资源。因此，控制单元6D确定移动电话10D本身在参加多向通信的终端中具有最少编码资源。类似地，控制单元6E确定移动电话10E在参加多向通信的终端中不是具有最少的编码资源。
当控制单元6D确定移动电话10D具有最少编码资源时，控制单元6D根据移动电话10D本身的编码资源以及参加多向通信的终端数量来确定与另一个终端进行通信的编码条件。在这种情况下，控制单元6D将编码条件确定为使用移动电话10D的所有编码资源。即，控制单元6D确定使用7个参考帧作为D-E编码条件。控制单元6D将所确定的D-E编码条件发送到移动电话10E。控制单元6E接收D-E编码条件，并与移动电话10D的终端标识信息相对应地将所接收的D-E编码信息存储在非易失性存储器7E中。移动电话10D和10E根据如上所述确定的编码条件，执行运动画面的双向通信(图9(a))。
C-2.双向通信到三向通信的切换接下来，将对参加与移动电话10D和10E的多向通信的移动电话10F的操作进行说明。图11是表示根据本发明的多向通信系统用于增加参加多向通信的终端数量的操作流程图。当移动电话10D接收到多向通信的请求(步骤S41)时，在经过键盘输入了切换指令的情况下(步骤S42是)，控制单元6D确定从双向通信切换到三向通信。在不切换到三向通信指令的情况下的操作与第一和第二实施例类似。
当输入了用于切换到三向通信的指令时，控制单元6D将存储在非易失性存储器7D中的对应方表以及编码资源信息的请求发送到移动电话10F。当移动电话10F接收到请求时，移动电话10F的控制单元6F将所接收到的对应方表存储在非易失性存储器7F中，并将移动电话10D的终端标识信息添加到对应方表中。控制单元6F将移动电话10F本身的编码资源信息发送(步骤S43)到记录于对应方表中的终端(在本实施例中，移动电话10D和10E)。当移动电话10D和10E接收到移动电话10F的编码资源信息时，控制单元6D和6E将所接收的终端标识信息和编码资源信息添加到其对应方表中。
参加多向通信的每一个移动电话10的控制单元6根据记录在对应方表中的编码资源信息和其自身的资源信息来计算(步骤S44)其自身的优先级。在本实施例中，按照可用参考帧(编码资源)的升序来给出优先级。因此，控制单元6D、6E和6F分别将其自身的优先级计算为第一、第二和第三。
当控制单元6D确定移动电话10D的优先级是第一时，控制单元6D确定(步骤S45)与其它终端进行通信的编码条件，即，D-E编码条件和D-F编码条件。由于最大参考帧数量是7，则具有低于感兴趣的终端的优先级的终端(在本实施例中是移动电话10D和10E)共享7个参考帧。控制单元6D将最大参考帧数量除以对应终端数量，并将参考帧的数量分配给具有第二优先级的终端，所述数量是低于该解的最大整数值。此外，控制单元6D将剩余的参考帧分配给具有第三优先级的终端。即，控制单元6D分配三个参考帧用于与移动电话10E通信，而分配四个参考帧用于与移动电话10F通信。控制单元6D分别将所确定的D-E编码条件和D-F编码条件发送到对应终端。当移动电话10E和10F接收到来自移动电话10D的编码条件时，控制单元6E和6F将所接收到的编码条件存储在非易失性存储器7E和7F中。
当作为第二优先级终端的移动电话10E接收到来自作为第一优先级终端的移动电话10D的编码条件时(步骤S46否)，控制单元6E确定(步骤S45)与其它终端进行通信的编码条件。在本实施例中，在此阶段仍不确定E-F编码条件。这里，由于已经保留了用于与移动电话10D进行通信的三个参考帧，因此可用的参考帧数量是五个。因此，控制单元6E确定在与移动电话10E的通信中使用五个参考帧作为E-F编码条件。控制单元6E将所确定的E-F编码条件发送到移动电话10F。当移动电话10F接收到E-F编码条件时，控制单元6F将所接收到的E-F编码条件存储在非易失性存储器7F中。由此，确定了所有的编码条件(步骤S46是)。
如上所述，参加多向通信的每一个移动电话10D、10E和10F确定用于与另一个终端进行通信的编码条件。移动电话10D、10E和10F根据所确定的编码条件，在所有终端之间直接传送包括图像数据的数据(步骤S47以及图9(b))。
C-3.三向通信切换到四向通信从三向通信切换到四向通信的操作与从双向通信切换到三向通信的操作相类似。在本实施例中，最大参考帧数量是6的移动电话10G参加了多向通信。在这种情况下，在图11中的步骤S44，移动电话的优先级顺序是10G、10D、10E和10F。由此，这些终端依次确定与另一个终端进行通信的编码条件。最后，如图10所示执行四向通信。
如上所述，终端交换其自身的编码资源信息，并按照编码资源增加的顺序依次确定编码条件。此外，不经过某一终端传送包括运动画面的呼叫数据，而是在终端之间传送。因此，由于具有更多资源信息的终端能够使用更多的编码资源，所以能够更适当地传送包括运动画面的呼叫数据。
尽管只将参考帧看作是编码资源，也可以将一个或多个参数看作是编码资源。在这种情况下，根据一个参数或根据综合的参数来给出优先级。
D.修改本发明的优选实施例如上所述，但本发明并不局限于以上实施例。例如，可以做出以下修改。
D-1.第一修改在双向通信中，由于移动电话10只有一个对应方终端，因此可以将所接收的图像(运动画面)显示在移动电话10的LCD的整个屏幕上。在三向通信中，可以将屏幕分为两部分，并在每一部分上可以显示从对应方接收的图像。
优选的是，第一移动电话10可以根据屏幕尺寸以及对应方终端的数量，在步骤S5或S8确定编码条件。
例如，当从双向通信切换到三向通信时，在将屏幕划分为两部分的情况下，用于对应方移动电话10的编码条件可以确定屏幕尺寸是LCD尺寸的一半。此外，当从三向通信切换到四向通信时，在将屏幕划分为四部分的情况下，用于对应方移动电话10的编码条件可以确定屏幕尺寸是LCD尺寸的四分之一。
但是，对于改变屏幕尺寸或改变帧速率，需要改变从成像设备1发送到编码器2的图像数据，以便符合由编码条件限定的屏幕尺寸或帧速率。因此，如图5所示，移动电话10还可以包括重采样器30。重采样器30将从成像设备1输出的图像数据转换为具有由编码条件限定的不同屏幕尺寸或不同帧速率的图像数据。可以将所转换的数据提供给编码器2。除重采样器30之外的部件与以上实施例中所述的移动电话10的部件相同。
D-2.第二修改在图4所示的实施例中，通过从第三移动电话10发送多向通信请求来从双向通信切换到三向通信，然而，可以通过从第一移动电话10向第三移动电话10发送请求来切换。
D-3.第三修改根据本实施例的运动画面接收设备以及运动画面发送设备并不局限于移动电话10，而可以是可视电话设备、个人计算机或个人数据助理(PDA)。此外，由运动画面接收设备所接收的图像数据并不局限于来自例如可视电话之类的终端的呼叫数据。例如，运动画面接收设备可以接收来自多个运动画面服务器的图像数据。此外，运动画面发送设备可以将预先存储的图像数据发送到多个运动画面接收设备。此外，用于显示所接收图像数据的显示设备可以与运动画面接收设备相分离，而运动画面接收设备可以将所接收的图像数据发送到显示设备。
D-4.第四修改在第一和第二实施例中，经过某一终端(条件确定终端)传送包括运动画面的呼叫数据，而在第三实施例中直接在终端之间传送。可以将这两种通信方法向结合。就是说，当通过将根据第二实施例的A-B-C三向通信与根据第三实施例的D-E-F三向通信相结合来执行六向通信时，可以通过移动电话10B执行A-B-C之间的通信，而在终端之间直接执行D-E-F之间的通信。
权利要求
1.一种运动画面接收设备，包括图像数据接收装置，用于接收已编码的图像数据；解码装置，用于解码由图像数据接收装置所接收的图像数据；输出装置，用于输出由解码装置所解码的图像数据；和控制装置，用于通过与发送图像数据的运动画面发送设备进行通信来确定图像数据的编码条件，以及控制解码装置，使其能够根据编码条件来解码已编码的图像数据；其中，当运动画面发送设备的数量变化时，控制装置根据改变的运动画面发送设备的数量来确定编码条件。
2.根据权利要求1所述的运动画面接收设备，其中控制装置根据解码装置的解码能力来确定编码条件。
3.根据权利要求1所述的运动画面接收设备，其中在响应运动画面发送设备的数量增加而更新了编码条件之后，控制装置通过与发送图像数据的一个或多个运动画面发送设备进行通信，根据可用于一个或多个运动画面发送设备中的每一个的解码能力或运动画面发送设备的数量，来确定图像数据的编码条件。
4.根据权利要求1所述的运动画面接收设备，其中控制装置控制输出装置输出解码的图像数据。
5.根据权利要求1所述的运动画面接收设备，其中输出装置是显示装置，用于显示根据由解码装置所解码的解码图像数据所产生的运动画面；和控制装置根据显示在输出装置上的运动画面的屏幕尺寸来确定编码条件。
6.根据权利要求1所述的运动画面接收设备，进一步包括资源信息接收装置，用于接收来自每一个运动画面发送设备的资源信息，资源信息是用于确定每一个运动画面发送设备处的解码条件的信息存储装置，用于存储由资源信息接收装置所接收的资源信息；其中控制装置根据存储在存储装置中的资源信息来确定编码条件。
7.根据权利要求6所述的运动画面接收设备，进一步包括确定装置，用于根据存储在存储装置中的资源信息来确定运动画面接收设备本身是否是编码条件确定设备，编码条件确定设备是用于确定从运动画面发送设备所发送的图像数据的编码条件的设备；其中，在确定装置的确定结果是肯定的情况下，控制装置根据存储在存储装置中的资源信息来确定编码条件。
8.根据权利要求6所述的运动画面接收设备，进一步包括优先级计算装置，用于根据存储在存储装置中的资源信息来计算运动画面接收设备的优先级；其中，控制装置根据由计算装置所计算的优先级以及存储在资源信息中的资源信息来确定编码条件。
9.一种运动画面发送设备，包括输入装置，用于输入图像数据；编码装置，用于编码由输入装置所输入的图像数据；发送装置，用于发送由编码装置所编码的图像数据；和控制装置，用于通过与运动画面接收设备进行通信来确定图像数据的编码条件，以及控制所述编码装置，使其能够根据编码条件来编码图像数据；其中，当运动画面接收设备的数量变化时，控制装置根据改变的运动画面接收设备的数量来确定编码条件。
10.根据权利要求9所述的运动画面发送设备，其中控制装置控制所述编码装置，以编码图像数据。
11.一种运动画面解码，包括步骤通过与作为图像数据源的运动画面发送设备进行通信来确定图像数据的编码条件；根据在确定步骤所确定的编码条件来解码并输出所接收的图像数据；当运动画面发送设备的数量变化时，根据改变的运动画面发送设备的数量来更新编码条件。
12.一种运动画面编码方法，包括步骤通过与作为图像数据目的地的运动画面接收设备进行通信来确定图像数据的编码条件；根据在确定步骤所确定的编码条件来编码并发送图像数据；当运动画面接收设备的数量变化时，根据改变的运动画面发送设备的数量来更新编码条件。
全文摘要
本发明提供一种运动画面接收设备，包括图像数据接收装置，用于接收已编码的图像数据；解码装置，用于解码由图像数据接收装置所接收的图像数据；输出装置，用于输出由解码装置所解码的图像数据；以及控制装置，用于通过与发送图像数据的运动画面发送设备进行通信来确定图像数据的编码条件，以及控制解码装置，使其能够根据编码条件来解码已编码的图像数据；其中，当运动画面发送设备的数量变化时，控制装置根据改变的运动画面发送设备数量来确定编码条件。
文档编号H04M11/00GK1578428SQ20041006342
公开日2005年2月9日 申请日期2004年7月1日 优先权日2003年7月1日
发明者加藤祯笃, 文仲丞, 堀越力, 铃木敬 申请人:株式会社Ntt都科摩