专利名称：视频接收装置、视频发送装置和视频传输系统的制作方法
技术领域：
本发明涉及通过网络传输视频的视频传输系统。
背景技术：
通常通过如H.261或MPEG(移动图像专家组)等方法将通过传统视频传输系统传输的视频数据压缩编码成固定的比特率或更低的比特率，以使得可以通过固定的传输比特率来传输，并且一旦视频数据被编码，即使传输比特率改变，视频质量将不能被改变。这里，比特率表示传输比特率。
但是，随着近些年网络的多样化，传输路径的比特率带宽的波动变得很大，并且可以使视频在与多个比特率相匹配的质量下传输的视频数据变得很必要。为了适应这个需要，分层编码方法已被标准化，它具有分层的结构并可以处理多个比特率。在这些分层编码方法中，特别是，最近标准化的MPEG-4FGS(小粒度可扩缩性Fine Granularity Scalability)(ISO/IEC 14496-2附录22001)，是一种具有高比特率选择自由度的分层编码方法。通过MPEG-4FGS编码的视频数据包括一个基层和至少一个增强层，所述基层是一个可以独立解码的运动图像流，所述增强层是用于提高基层编码的运动图像质量的运动图像流。基层是低比特率的低图像质量的视频数据，通过增加与频带相对应的增强层，可以实现获得高图像质量的高灵活度。
在MPEG-4FGS中，可以控制要传输的增强层的总数据大小以允应用多种比特率，并且可以传输与比特率相当质量的视频。
这样，任何视频编码方法都具有如下作用，即执行压缩编码以使输入视频可以以预定比特率传输，并将视频数据比特率控制为适当值。因此，如果视频数据比特率与传输路径比特率相比要高，则视频数据不能被实时传输，并且不仅在接收装置的视频中出现延时，而且视频数据在网络中被丢失并且视频停止(出现中断)。另一方面，如果视频数据比特率低于传输路径比特率，则不会出现延时，但视频质量极度恶化。特别是在需要实时能力和高图像质量的情况下，如视频电话和实况传输，需要将视频数据比特率与传输路径比特率相匹配。
在传统的防止由比特率波动引起的视频中断的技术中，服务器根据来自接收终端的比特率变化请求，选择并传输大量事先生成的不同比特率的视频流中的一个(例如，见未审查的公开号为No.HEI 10-336626的日本专利的第1页和图1)。
图1示出了一个传统视频传输系统的结构的例子。
在服务器10中，来自接收视频流的客户端20的传输速率改变请求，被比特率切换部分11接收到，相应比特率的视频数据被从不同比特率视频数据存储部分13中选出并发送给客户端20。
在客户端20，从服务器10发送的视频数据被视频数据接收部分21接收，并被输出给数据缓冲管理部分23，接收速度被输出给播放数据管理部分25。数据缓冲管理部分23将从视频数据接收部分21输入的视频数据存储在一个内部缓冲区中，管理存储状态，将保留数据的状态输出给播放数据管理部分25，并且在来自视频解码/显示部分27的数据读取请求的事件下，从内部缓冲区中读出视频数据并将该数据输出给视频解码/显示部分27。视频解码/显示部分27输出数据读取请求给数据缓冲管理部分23，对从数据缓冲管理部分23输入的视频数据进行解码和显示。播放数据管理部分25使用从数据缓冲管理部分23输入的保留数据状态和视频数据接收部分21输入的接收速度来执行传输比特率变化判断，并将变化的比特率输出给速率改变请求部分29。播放数据管理部分25中使用的传输比特率改变的判断方法此时如下如果保留数据超过了上限值，则计算那个时刻稍前的平均接收速度，并且决定比特率降低请求；另一方面，如果保留数据小于一个下限值，则计算那个时刻稍前的平均接收速度，并且决定比特率增加请求。速率改变请求部分29使用播放数据管理部分25输入的比特率，发送比特改变请求给服务器10。
这样，利用传统技术，通过服务器10响应来自接收终端的比特率改变请求而从不同比特率的视频数据中选择合适的数据并发送该数据，接收终端(客户端20)就可以在没有中断的情况下接收视频。
但是，通过传统技术，视频数据比特率的控制是使用平均比特率来执行的，这样当传输路径的比特率由接收端的移动引起极大波动时，例如，在平均比特率和实际比特率之间会有很大的不同。当视频数据比特率高于传输比特率时，特别是，视频数据不能被实时传输时，不仅在视频中会出现延时，并且视频数据被丢失且视频停止(出现中断)。因此，希望视频传输系统即使在具有由接收终端的移动等引起的大传输比特率波动时，也可以完成无中断的视频接收。
发明内容
本发明的一个目标是提供一种视频传输系统，通过该视频传输系统即使在其中出现传输比特率波动的网络(诸如无线网络)中，存在由接收终端的移动等引起的大比特率波动时，也可以实现无中断视频传输。
根据本发明的一个方面，接收分层编码数据的视频接收装置包括发送部分，发送视频接收装置的特定信息；和接收部分，基于发送的特定信息而比特率受控，并接收分离成多个信道的分层编码数据。
根据本发明的另一个方面，视频发送装置包括接收部分，接收视频接收装置的特定信息；控制部分，控制使用接收的特定信息分割的分层编码数据的比特率；和发送部分，将所述比特率控制和分离的分层编码数据在独立信道上发送。
根据本发明的再一个方面，在一种其中分层编码数据被分割成许多，并且在独立信道上被从视频发送装置发送到视频接收装置的视频传输系统中，视频发送装置具有接收视频接收装置的特定信息的接收部分，和控制使用接收的特定信息分割的分层编码数据的比特率的控制部分，并且视频接收装置具有发送所述特定信息的发送部分。
图1是一个显示了传统视频传输系统的结构的例子的图；图2是一个显示了根据本发明的实施例1的视频传输系统的结构的图；图3A是一个显示了当使用MPEG-4FGS编码时的编码数据的结构的例子的图；图3B是一个显示了对图3A中的编码数据进行信道分割的结果的例子的图；图4是一个显示了一个视频列表的例子的图；图5是一个用于解释实施例1的概念的图；
图6是一个显示了与实施例1相对应的视频发送装置的操作的流程图；图7是一个显示了与实施例1相对应的视频接收装置的操作的流程图；图8A是一个显示了在与实施例1相对应的视频传输系统中，在终端移动过程中，主信息交换的序列图；图8B是一个显示了在与实施例1相对应的视频传输系统中，在静止状态下，主信息交换的序列图；图9是一个显示了应用实施例1的使用MPEG-4FGS的视频传输系统的例子的结构图；图10是一个显示了根据本发明的实施例2的视频传输系统的结构的图；图11是一个用于解释实施例2的概念的图；图12是一个显示了与实施例2相对应的视频发送装置的操作的流程图；图13是一个显示了根据本发明的实施例3的视频传输系统的结构的图；图14是一个用于解释实施例3的概念的图；图15是一个显示了与实施例3相对应的视频发送装置的操作的流程图；图16A是一个显示了当使用MPEG-4FGS编码时的编码数据结构的例子的图；图16B是一个显示了在静止模式下对图16A中的编码数据进行信道分割的结果的例子的图；图16C是一个显示了在移动模式下对图16A中的编码数据进行信道分割的结果的例子的图；图17是一个显示了根据本发明的实施例4的视频传输系统的结构的图；图18是一个用于解释实施例4的概念的图；图19A是一个显示了接收层信息的例子的图；图19B是一个显示了接收层信息的另一个例子的图；图20是一个显示了与实施例4相对应的视频发送装置的操作的流程图；图21是一个显示了与实施例4相对应的视频接收装置的操作的流程图；具体实施方式
本发明的主旨是，在将分层编码的视频流传输给大量终端的系统中，当分层编码数据被分割成大量层并在独立信道上传输时，用来自接收终端的信息(如切换和用户请求)来动态控制层特定的比特速率。
现在参考附图，将在下面对本发明的实施例进行详细描述。
(实施例1)在此实施例中，描述了在具有大比特率波动的环境包括无线网络中传输分层编码的视频流的视频传输系统，借此当估计出由终端移动等引起的大比特率波动时，通过将基层比特率降低至下限以实现无中断视频接收。
图2是一个显示了根据本发明的实施例1的视频传输系统的结构的图。
此视频传输系统具有发送视频的视频发送装置(以下也称为“发送终端”)100、接收视频的视频接收装置(以下也称为“接收终端”)150、和中继由视频发送装置100发送至视频接收装置150的视频的网络180。也就是说，通过网络180将从视频发送装置100发送的视频传输给视频接收装置150。
视频发送装置100具有视频输入部分102、视频编码部分104、信道分割部分106、视频发送部分108、终端信息接收部分110、和比特率计算部分112。
视频输入部分102将由外部提供的或由相关装置100生成的组成视频的图像一帧接一帧的输出给视频编码部分104。
视频编码部分104执行分层编码，以视频输入部分102输出的图像作为输入图像，并将获得的编码数据输出给信道分割部分106。
例如，当使用MPEG-4FGS编码时，视频编码部分104为输入图像生成由一个基层(BL)和一个提高图像质量的增强层(EL)组成的编码数据(例如见图3A)。此时，在此实施例中，基层比特率由比特率计算部分112提供。
在此情况下，图像质量可以通过在基层中增加增强层来提高。对于增强层，从下层的数据分割是可能的，图像质量提高的程度可以根据加入到基层中的增强层的数据量来控制。
信道分割部分106将视频编码部分104输出的编码数据分割成大量组，并将分割的数据和视频列表一起输出给视频发送部分108。此时，在此实施例中，增强层的分割比特率由比特率计算部分112给定。信道分割结果的一个例子显示在图3B中。详细的处理过程在下文中随后给出。
视频列表的一个例子显示在图4中。视频列表显示了信道号码、层名称和接收每一层所需的比特率。视频列表并不限于图4中所示的，可以是任何类型的，只要它显示了对每一信道的比特率。
视频发送部分108将信道分割部分106输出的分割数据和视频列表在不同信道上发送至网络180。特别是，例如，分割并被分配至独立信道的编码数据(基层和增强层)在独立信道上被多播发送至网络180，并且显示每一层的比特率和信道号码的视频列表也被多播发送。当执行多播发送时，例如信道号码由一个多播地址表示。这里，多播发送是一种通过它，对于发送终端发送数据的信道，数据仅被传输给一个选择接收数据的终端的方法。因为即使在多个接收终端同时执行数据接收时在相同的传输路径中传输的数据没有复制，所以多播发送获得了更高的传输吞吐率。
视频流发送方法当然并不限于多播发送，也可以通过单播或广播发送来实施。
终端信息接收部分110接收发送自接收终端(视频接收装置150)的终端信息，并将此信息输出给比特率计算部分112。这里，终端信息是指示接收终端正在移动或开始移动的信息(终端移动信息)。
使用终端信息接收部分110输出的终端信息，比特率计算部分112计算基层比特率和增强层分割比特率，并将前者(基层比特率)输出给视频编码部分104，将后者(增强层分割比特率)输出给信道分割部分106。
此时，在此实施例中，当输入终端移动信息时，比特率计算部分112降低基层比特率(比特率)至下限，并设置了一个极低的比特率(见图5)。作为结果，无中断视频接收成为可能。此时，由附加的增强层提供图像质量提高。详细的处理过程在下文中随后给出。
同样，视频接收装置150具有终端信息发送部分152、视频接收部分154、视频解码部分156和视频显示部分158。
当确定出终端正在移动或开始移动时，终端信息发送部分152将终端移动信息发送给视频发送装置100，同时也将此信息输出给视频接收部分154。
视频接收部分154接收发送自视频发送装置100的视频列表，选择视频列表中的大量可接收视频数据并接收这些数据，并将接收到的数据输出给视频解码部分156。
特别是，视频接收部分154接收发送自视频发送装置100的视频列表，将视频列表中显示的比特率与当前接收比特率进行比较，并以由底向上的信道号码顺序确定大量可接收信道号码。在此实施例中，当终端移动信息由终端信息发送部分152输入时，至少接收基层信道。然后，视频接收部分154接收确定的信道号码的视频数据，将接收的视频数据输出给视频解码部分156，并从接收的视频数据量中测量当前接收比特率。
视频解码部分156将视频接收部分154输出的视频数据(编码数据)进行解码，并将解码得到的视频输出给视频显示部分158。
视频显示部分158将视频解码部分156输出的视频显示在屏幕上。此视频显示部分158包括一个显示设备。
下面将结合图6的流程图描述具有上述结构的视频发送装置100的操作过程。图6所示的流程图作为一个控制程序被存储在图中未示出的视频发送装置100的存储设备中(如ROM或闪存)，并由CPU(未示出)来执行。
首先，在步骤S1000，视频输入部分102一帧接一帧地向视频编码部分104输出构成视频的图像。
然后，在步骤S1100，确定是否终端信息接收部分110已经从接收终端(视频接收装置150)接收到终端移动信息。如果确定的结果是终端移动信息还未收到(S1100否)，则处理流程进行到步骤S1200，如果确定的结果是终端移动信息已经收到(S1100是)，则处理流程进行到步骤S1300。
在步骤S1200，比特率计算部分112执行静态模式比特率计算处理。具体地说，由于这是未从接收终端接收到终端移动信息的情况，因此使用之前设置的基层比特率B1_BL和增强层分比特率(enhancement layer division bitrate)B1_EL(1)至B1_EL(i)(其中i是预定的分层数)，基层比特率被输出至视频编码部分104，增强层分比特率被输出至信道分割部分106。处理流程然后进行到步骤S1400。
在步骤S1300，另一方面，比特率计算部分112执行移动模式比特率计算处理。具体地说，由于这是从接收终端接收到终端移动信息的情况，因此计算基层比特率B1_BL和增强层分比特率B1_EL(1)至B1_EL(i)(其中i是预定的分层数)，基层比特率被输出至视频编码部分104，增强层分比特率被输出至信道分割部分106。处理流程然后进行到步骤S1400。
这里，基层比特率B-BL例如采用以下表达式(1)进行计算。
B_BL＝B1_BL/N 表达式(1)B_BL是计算后的基层比特率，B1_EL是静态模式基层比特率，N是用于相应于终端移动来降低基层比特率的比特率减小参数。例如，如果N为10，则基层比特率(比特率)根据终端的移动被降低到1/10。N被设置为一个值，该值能够确保即使在由于终端的移动而产生主要比特率波动的情况下也能够无中断的接收视频的最小比特率。
增强层分比特率例如可与移动模式下的相同。
在步骤S1400，视频编码部分104执行视频编码处理。具体地说，视频编码部分104对来自视频输入部分102的输入图像执行分层编码，产生由一个基层和增强层构成的编码数据(见图3A)，并输出该编码数据至信道分割部分106。此时，基层编码是通过使用从比特率计算部分112输出的比特率B_BL而执行的。
然后，在步骤S1500，信道分割部分106执行信道分割处理。具体地说，增强层通过使用从视频编码部分104输出的编码数据和从比特率计算部分112输出的增强层分比特率B_EL(1)至B_EL(i)被分割为多个信道，包括基层的分割后的数据与视频列表一起被输出至视频发送部分108(见图4)。
例如，以具有图3A所示的结构的编码数据为例描述该过程，基层作为一个信道(BL)，增强层(EL)根据预定的数据量被分为多个独立的信道。
举例说明，如果编码数据被分为4层，增强层(EL)被分为3层-EL_1，EL_2，EL_3-这样，信道的比特率被设置为比特率B_BL，B_EL(1)，B_EL(2)，B_EL(3)(见图3B)。当然，分层的数量并不限于4层。
然后在步骤S1600，视频发送部分108执行视频发送处理。具体地说，视频发送部分108在各个相应的信道上将从信道分割部分106(一个基层和多个分割的增强层见图3B)输出的分割后的数据多播发送至网络180，另外还对示出了每层的信道数和比特率的视频列表进行多播传送(见图4)。
现在将结合图7示出的流程图描述具有上述结构的视频接收装置150的操作过程。图7示出的流程图作为控制程序被存储在图中未示出的视频接收装置150的存储设备中(如ROM或闪存)，并由CPU(未示出)来执行。
首先，在步骤S2000，确定终端自身是否在移动，并且更具体地说，确定终端自身是否正在移动或开始移动。该确定过程例如使用终端中的无线电波的信息或跨无线电接入点的切换状态信息来执行。另一种可能的方法是，让用户明确地指示终端的移动。如果确定的结果是终端正在移动(S2000是)，该处理流程进行到步骤S2100，如果确定的结果是终端没有在移动(S2000否)，该处理流程直接转到步骤S2200。
在步骤S2100，终端信息发送部分152执行终端移动信息的发送处理。具体地说，如果终端正在移动，则终端移动信息被发送至视频发送装置100，并输出至视频接收部分154。该过程然后进行到步骤S2200。
在步骤S2200，视频接收部分154执行视频接收处理。具体地说，视频接收部分154接收从视频发送装置100发送的视频列表，比较该视频列表中示出的比特率和当前的接收比特率，并以自底向上的信道号的顺序确定多个可接收的信道号。如上所述，当终端移动信息从终端信息发送部分152输入时，至少基层信道被接收。然后视频接收部分154接收所确定的信道号的视频数据，向视频解码部分156输出接收到的视频数据，并根据接收到的视频数据量测量当前的接收比特率。
接下来，在步骤S2300，视频解码部分156执行视频解码处理。具体地说，视频解码部分156解码从视频接收部分154输出的视频数据(编码数据)，并输出通过解码获得的视频至视频显示部分158。
接下来，在步骤S2400，视频显示部分158执行视频显示处理。具体地说，将从视频解码部分156输出的视频显示在屏幕上。
下面将结合图8A和图8B中的序列图表描述具有上述结构的视频传输系统中的主要的信号交换。这里，图8A应用于一个移动终端，图8B应用于一个静态终端。
首先，结合图8A描述移动终端的情况。
在移到终端的情况下(包括终端开始移动的情况)，接收终端150通过网络180向发送终端100发送终端信息(更具体地说是终端移动信息)((1))。
然后，当从接收终端150接收到终端移动信息时，发送终端100进行比特率计算，并且更具体地说，降低基层比特率至下限并设置一个超低的比特率((2))，并通过网络180向接收终端150发送视频列表((3))。
然后，当从发送终端100接收到视频列表时，接收终端150利用该接收到的视频列表执行接收信道确定((4))。
发送终端100然后对该输入视频一帧接一帧的进行视频编码和信道分割，并在分割后通过网络180在各个信道上将编码数据发送到接收终端150((5))。
视频接收装置150然后在上述接收信道中从发送终端100接收编码视频数据，解码该数据后，并将其显示在屏幕上((6))。
接下来将结合图8B描述静态终端的情形。
在静态终端的情况下，发送终端100不从接收终端150接收终端移动信息，但是执行比特率计算，具体地说，设置基层比特率(比特率)为一个预定的静态模式比特率((1))，然后通过网络180向接收终端150发送视频列表。下面的过程与图8A示出的移动终端的情况下相同(图8A中相应的参考数字均比图8B中的大1)，因此这里省略其中的描述。
因此根据该实施例，当接收终端150正在移动时，分层编码数据的基层比特率被降至下限，从而移动的接收终端能够通过至少仅接收基层而执行无中断的视频接收。
图9是示出了该实施例所应用的利用MPEG-4FGS的视频传输系统的例子的结构框图。
视频服务器100发送包括一个基层和多个(N)增强层的视频流至一个视频网络及各个终端150a、150b、150c。例如终端150a是一个高比特率终端(如高端个人计算机或数字电视设备)，终端150b是一个中比特率终端(如中级个人计算机)，终端150c是一个低比特率终端(如移动电话或PDA)。高比特率终端150a被连接至一个高比特率LAN 180a，中比特率终端150b被连接至中比特率因特网180b，低比特率终端150c被连接至一个低比特率移动网络180c。
此时，分别被连接至高比特率LAN 180a、中比特率因特网180b、和低比特率移动网络180c的终端150a、150b、150c，根据它们自己的接收比特率选择要接收的流，并能接收符合各自的比特率质量的视频。例如，高比特率终端150a接收基层和增强层1至N，并能获得高质量的视频。中比特率终端150b接收基层和两个增强层1和2，并能获得中质量的视频。低比特率终端150c接收基层和一个增强层1，并能获得低质量的视频。
而且，此时如果低比特率终端150c正在移动，视频发送装置100降低基层比特率至下限，从而低比特率终端150c能够通过接收至少基层来无中断的接收视频。
(实施例2)在该实施例中，描述了一个视频传输系统，该包括无线网络的系统在具有大比特率波动的环境中发送分层编码视频流，当因为终端移动等原因发生预计的大比特率波动时，通过降低基层比特率至下限，以及增加最低增强层(即改善基层质量所比需的增强层)的比特率，不仅能够获得无中断的视频接收，而且能防止由于基层比特率的变化而导致的质量下降。
图10示出了根据本发明的第2实施例的视频传输系统的结构图。该视频传输系统中的视频发送装置200具有类似于图2所示的视频传输系统中的视频发送装置100的结构，因此相同的结构元件具有与图2中相同的附图标记，并在此省略对其的描述。另外，视频接收装置150与图2中的完全相同，因此其描述也省略。
该实施例的一个特征是，实施例1中在终端移动的时侯仅基层比特率被降低至下限，但是在这里，在终端移动的时侯，除基层比特率被降低至下限，另外，最低增强层的比特率被增加，以补偿图像质量(见图11)。为此，视频发送装置200具有比特率计算部分202。
以与图2中的比特率计算部分112相同的方式，比特率计算部分202使用从终端信息接收部分110输出的终端信息来计算基层比特率和增强层分比特率，并输出前者(基层比特率)至视频编码部分104，输出后者(增强层分比特率)至信道分割部分106。然而，在该实施例中，当终端移动信息被输入时，比特率计算部分202降低基层比特率的同时增加最低增强层的比特率。这样能够抑制降低基层比特率对另一终端造成的影响。详细的过程将在后面给出。
下面将结合图12的流程图描述具有上述结构的视频发送装置200的操作。图12所示的流程图作为控制程序被存储在图中未示出的视频发送装置200的存储设备中(如ROM或闪存)，并由CPU(未示出)来执行。
在该实施例中，如图12所示，步骤S1320插在图6的流程中，步骤S3100被从中删去。
从步骤S1000到步骤S1200与图6所示的流程图中的相应步骤相同，因此其中的描述省略。
在步骤S1320中，比特率计算部分202执行移动模式比特率计算处理。具体地说，由于这是从接收终端接收到终端移动信息的情况，因此计算基层比特率B_BL和增强层分比特率B_EL(1)到B_EL(i)(其中i是预定的分层数)，基层比特率被输出至视频编码部分104，增强层分比特率被输出至信道分割部分106。处理流程然后进行到步骤S1400。
这里，利用上面给出的表达式(1)，基层比特率计算方法与实施例1中相同。
另一方面，增强层分比特率B_EL(1)例如采用下面的表达式(2)进行计算。
B_EL(1)＝B1_EL(1)+(B1_BL-B_BL)表达式(2)B_EL(1)是最低增强层的比特率，B1_EL(1)是移动模式下最低增强层的比特率，B_BL是移动模式下基层比特率。增强层除最低层外其他层的比特率B_EL(2)至B_EL(i)与静态模式相同。
通过以这种方式相应于基层比特率的降低改善最低增强层的比特率，可能防止质量的降低。
步骤S1400至步骤S1600与图6所示的流程图中的相应步骤相同，因此省略对其的描述。
因此根据该实施例，当接收终端150正在移动时，分层编码数据的基层比特率被降低至下限，最低增强层的比特率被提高，这样不仅移动的接收终端能够通过接收至少基层来进行无中断的视频接收，而且其他终端也能防止由于基层比特率的降低而导致的接收到的视频质量的下降。
(实施例3)在该实施例中，描述了一种包括无线网络的视频传输系统，该系统在具有大比特率波动的环境中发送分层编码的视频流，当因为终端移动等原因发生预计的大比特率波动时，通过降低基层比特率至下限，以及精确的分割最低增强层(即改善基础质量所必需的增强层)的比特率，不仅能够获得无中断的视频接收，而且能在比特率波动时最大程度的改善接收的视频的质量。
图13示出了根据本发明第3实施例的视频传输系统的结构。该视频传输系统中的视频发送装置300具有类似于图2所示的视频传输系统中的视频发送装置100的基本结构，因此相同的结构元件被分配与图2相同的附图标记，并且在此省略对其的描述。另外，视频接收装置150与图2中的完全相同，因此其描述也省略。
该实施例的特征在于，实施例1中在终端移动的时侯仅降低基层比特率至下限，这里在终端移动时，除基层比特率被降低至下限外，另外，最低增强层的比特率被增加，并然后被精确地分割，以改善比特率波动时其作为比特率的适合度。为此，视频发送装置300具有一个比特率计算部分302。
以与图2中的比特率计算部分112相同的方式，比特率计算部分302使用从终端信息接收部分110输出的终端信息来计算基层比特率和增强层分比特率，并输出前者(基层比特率)至视频编码部分104，输出后者(增强层分比特率)至信道分割部分106。在该实施例中，当终端移动信息被输入，比特率计算部分302在降低基层比特率的同时增加并精确地分割最低增强层的比特率。这样能够抑制降低基层比特率对其他终端造成的影响，而且能够改善比特率波动时其作为比特率的适合度。详细的过程将在后面给出。
下面将结合图15的流程图描述具有上述结构的视频发送装置300的操作。图15所示的流程图作为控制程序被存储在图中未示出的视频发送装置300的存储设备中(如ROM或闪存)，并由CPU(未示出)来执行。
在该实施例中，如图15所示，步骤S1340插在图6的流程中，步骤S1300被从中删去。
步骤S1000到步骤S1200与图6所示的流程图中的相应步骤相同，因此其中的描述省略。
在步骤S1340中，比特率计算部分302执行移动模式比特率计算处理。具体地说，由于这是从接收终端接收到终端移动信息的情况，因此计算基层比特率B_BL和增强层分比特率B_EL(1)到B_EL(i)(其中i是预定的分层数)，基层比特率被输出至视频编码部分104，增强层分比特率被输出至信道分割部分106。处理流程然后进行到步骤S1400。
这里，利用上面给出的表达式(1)，基层比特率计算方法与实施例1中相同。
另一方面，增强层分比特率B_EL(j)例如采用下面的表达式(3)进行计算。
B_EL(j)＝B1_EL(j-M) (j＞M) 表达式(3)B_EL(j)是当最低增强层为层1时，增强层的第j层的比特率，B1_EL(1)是移动模式下最低增强层的比特率，B_BL是移动模式下基层比特率。M是最低增强层的分割数目。
当M＝3时移动模式下的比特率分割的结果的例子示于图16C。图16A示出了编码数据的结构，图16B示出了静态模式下信道分割的结果的例子。图16A和图16B分别对应于图3A和图3B。
通过相应于基层比特率的降低，改善最低增强层的比特率，并然后对其进行精确地分割，以这种方式，通过在具有大比特率波动的环境下，使每一终端从一个视频列表选择可接收的信道，可能在细微的单元内适应接收到的视频质量。
步骤S1400至步骤S1600与图6所示的流程图中的相应步骤相同，因此省略对其的描述。
因此，根据该实施例，当接收终端150移动时，基层的分层编码数据比特率被降低至下限，最低增强层的比特率被增加并被精确地分割，增加了信道的数目，这样该移动的接收终端能够不仅执行无中断的视频接收，而且通过选择性地接收可接收的除基层外的分割后的增强层，从而能够以一种精确的适应于传输比特率的质量执行视频接收。
(实施例4)在该实施例中，描述了一种包括无线网络的视频传输系统，该系统在具有大比特率波动的环境中发送分层编码的视频流，通过根据接收终端层的接收状态计算增强层的结构，可改善视频接收效率。
图17示出了根据本发明第4实施例的视频传输系统的结构。该视频传输系统中的视频发送装置400和视频接收装置450具有类似于图2所示的视频传输系统中的视频发送装置100和视频接收装置150的基本结构，因此相同的结构元件被分配与图2中相同的附图标记，并在此省略对其的描述。
该实施例的特征在于每一增强层的比特率利用接收层信息(更具体地说是关于由一个接收终端所接收的层的信息)来确定。例如，对于接收终端的数目很小的增强层被进一步分割(见图18中的(1))，在所有接收终端共同被接收的多个增强层被合并为一层(见图18中的(2))。为此，视频发送装置400具有视频发送部分402、接收状态接收部分404、和比特率计算部分406，视频接收装置450具有接收状态发送部分452。
以与图2中的视频发送部分108相同的方式，视频发送部分402在单独的信道发送从信道分割部分106输出的分割后的数据和视频列表至网络180。而且，在该实施例中，从比特率计算部分406输出的视频列表也被发送至网络180。从信道分割部分106输出的视频列表和从比特率计算部分406输出的视频列表类型相同。(见图4)接收状态接收部分404接收从多个接收终端(视频接收装置450)发送的接收状态，产生概括了各接收终端的接收状态的接收层信息，并输出该接收层信息至比特率计算部分406。这里，一个接收状态是示出了当前正被每一接收终端所接收的层的名字的信息，接收层信息是示出了每一层的接收终端的总数目的信息。
接收层信息的例子示于图19A和图19B。这里，CLIENT_NUM表示接收终端的总数目，BL＝x和EL_I＝y分别表示接收基层的终端的数目是x和接收增强层EL_I(其中I是增强层的数目)的终端的数目是y。
比特率计算部分406利用从接收状态接收部分404输出的接收层信息来计算增强层分比特率，并输出该计算的增强层分比特率至信道分割部分106。比特率计算部分406还输出预设的基层比特率至视频编码部分104。
接收状态发送部分452将由相关的视频接收装置450当前使用的层的信息作为接收状态发送至发送装置(视频发送装置400)。此时，关于当前被接收的层的信息由视频接收部分154a提供。
下面将结合图20的流程图描述具有上述结构的视频发送装置400的操作。图20所示的流程图作为控制程序被存储在图中未示出的视频发送装置400的存储设备中(如ROM或闪存)，并由CPU(未示出)来执行。
在该实施例中，如图20所示，步骤S1120，步骤S1140，步骤S1160和步骤S1180被插在图6的流程中，步骤S1100，步骤S1200和步骤S1300被从中删去。
步骤S1000与图6所示的流程图中的相应步骤相同，因此其中的描述省略。
在步骤S1120中，接收状态接收部分404执行接收状态接收处理。具体地说，接收状态接收部分404接收从多个接收终端(视频接收装置450)发送的接收状态，产生接收层信息(见图19A和图19B)，并输出该信息至比特率计算部分406。
然后，在步骤S1140，比特率计算部分406执行增强层结构计算处理。具体地说，比特率计算部分406输出预设的基层比特率至视频编码部分104，另外还使用从接收状态接收部分404输出的接收层信息计算增强层结构-即分割层-，并输出所获得的增强层分比特率至信道分割部分106。
这里例如采用表达式(4)和表达式(5)进行增强层分割。
B_EL(1)′=B_EL(1)+ΣK=2mB_EL(k)]]>B_EL(i)′＝B_EL(i+m-1) (i≥2)表达式(4)
B_EL(i)′=B_EL(1)M(i≤M)]]>B_EL(i)′＝B_EL(i-M+1)(i＞M)表达式(5)也就是说，当由所有的接收终端接收的增强层的总数目是1或更大时，使用表达式(4)。在表达式(4)中，B_EL(i)′是比特率计算后的增强层i的比特率，B_EL(i)是之前的增强层i的比特率，m是由所有的接收终端接收的增强层的总数目。例如在图19A的实施例中，由于终端的总数目是3，接收终端的数目是3，因此对EL_1和EL_2，m＝2。
因此，当使用表达式(4)时，合并由所有终端接收的增强层为1能使得开销如(首标信息)减少并改善传输效率(见图18的(2))。
如果由所有终端接收的增强层的总数目是0并且满足下面的表达式(6)的条件，使用表达式(5)。
如果((CLIENT_NUM/k)＞N(EL_1))表达式(6)也就是说，当只有很少的接收终端的时侯，最低增强层被分割。在表达式(5)中，M是一个比特率分割参数，一个用于均等地分割增强层EL_1比特率的参数。在表达式(6)中，K是一个终端分割参数，CLIENT_NUM是接收终端的总数，N(EL_1)是接收增强层EL_1的终端的数目。
参考图19B，例如假定K＝2，M＝3，如果总的终端的半数没有接收EL_1，增强层EL_1可使用表达式(5)分割为3层，从而易于更多的终端接收增强层。
如果由所有的终端接收的增强层的总数是0并满足表达式(6)的条件时，使用之前的比特率。
然后，在步骤S1160，比特率计算部分406确定作为步骤S1140的处理的结果层结构是否已经改变。该确定是根据增强层分比特率是否不同于之前计算的比特率而作出的。如果确定的结果是增强层结构已经改变(S1160是)，则产生一个视频列表(见图4)，并将其输出至视频发送部分402，处理流程进行到步骤S1180。如果另一方面，增强层结构没有改变(S1160否)，则处理流程转到步骤S1400。
在步骤S1180，视频发送部分402执行视频列表发送处理。具体地说，从比特率计算部分406输出的视频列表被发送至网络180。处理流程然后进行到步骤S1400。
步骤S1400至步骤S1600与图6所示的流程图中的相应步骤相同，因此省略对其的描述。
下面将结合图21的流程图描述具有上述结构的视频接收装置450的操作。图21所示的流程图作为控制程序被存储在图中未示出的视频接收装置450的存储设备中(如ROM或闪存)，并由CPU(未示出)来执行。
在该实施例中，如图21所示，步骤S2250插在图7的流程中，步骤S2000和步骤S2100被从中删去。
步骤S2000与图7所示的流程图中的相应步骤相同，因此其中的描述省略。在该实施例中，视频接收部分154a输出关于当前被接收的层的信息至接收状态发送部分452。
在步骤S2250，接收状态发送部分452执行接收状态发送处理。具体地说，接收状态发送部分452将指示当前由相关的视频接收装置450接收的层的名字的信息作为接收状态发送至发送终端(视频发送装置400)。
在该实施例中，接收状态的发送是在每次视频接收处理执行的时侯进行的，但并不局限于此，也可以以一个固定的间隔发送以避免发送路径阻塞。
步骤S2300和步骤S2400与图7所示的流程图中的相应步骤相同，因此省略对其的描述。
因此，根据本实施例，通过使得多个被共同接收的增强层成为一个增强层，能够改善传输效率，或者通过在当接收终端的数目较少时进一步将最低增强层分割可以由多个终端接收到更高质量的视频。
如上所述，根据本发明，在如传输比特率发生波动的无线网络这样的网络中，即使当由于接收终端移动等导致大比特率波动时，也能够获得无中断的视频传输。
本申请是基于日本专利申请NO.2003-053779，该申请的申请日为2003年2月28日，其全部内容在此引入作为参考。
工业应用性本发明在如传输比特率发生波动的无线网络这样的网络中即使在由于接收终端移动等导致大比特率波动的情况下，也能够获得无中断的视频传输。并能够应用于通过网络发送视频的视频传输系统以及用于该系统的视频接收装置和视频发送装置。
(按照条约第19条的修改)1.一种接收分层编码数据的视频接收装置，所述视频接收装置包括发送指示所述视频接收装置正在移动或所述视频接收装置开始移动的特定信息的发送部分；接收分割的分层编码数据的接收部分，已基于接收的特定信息降低该分割的分层编码数据的基层比特率。
2.如权利要求1所述的视频接收装置，其中所述接收部分接收一个最低增强层，在其比特率已被降低的基层的比特率被接收时，所述最低增强层的比特率已被增加。
3.如权利要求1所述的视频接收装置，其中所述接收部分接收一个最低增强层，在其比特率已被降低的基层的比特率被接收时，所述最低增强层的比特率已被分割。
4.如权利要求1所述的视频接收装置，其中所述发送部分发送指示所述视频接收装置的层接收状态的信息；所述接收部分接收分割的分层编码数据，该分割的分层编码数据的增强层比特率被根据所述视频接收装置的层接收状态而确定。
5.如权利要求4所述的视频接收装置，其中所述接收部分接收一个最低增强层，当由所述视频接收装置的层接收状态所指示的接收终端的数目小于或等于一个预定值时，该最低增强层的比特率被分割。
6.如权利要求4所述的视频接收装置，其中当在由所述视频接收装置的层接收状态所指示的增强层接收状态中存在共同接收的大量增强层时，所述接收部分接收其共同增强层被合并成一层的增强层。
7.一种视频发送装置，包括接收指示所述视频接收装置正在移动或所述视频接收装置开始移动的特定信息的接收部分；降低使用接收的特定信息分割的分层编码数据的基层比特率的控制部分；发送其比特率被降低的分层编码数据的发送部分。
8.如权利要求7所述的视频发送装置，其中当降低基层比特率时所述控制部分提高最低增强层的比特率。
9.如权利要求7所述的视频发送装置，其中当降低基层比特率时所述控制部分分割最低增强层的比特率。
10.如权利要求7所述的视频发送装置，其中所述接收部分接收指示所述视频接收装置的层接收状态的信息；所述控制部分使用指示所述视频接收装置的层接收状态的信息在分割的分层编码数据中确定增强层的比特率。
11.如权利要求10所述的视频发送装置，其中所述控制部分使用指示所述视频接收装置的层接收状态的信息，并且当接收终端的数目小于或等于一个预定值时，进一步分割最低增强层的比特率。
12.如权利要求10所述的视频发送装置，其中所述控制部分使用指示所述视频接收装置的接收状态的信息，并且当存在共同接收的增强层时，将那些共同增强层合并成一层。
13.一种视频传输系统，通过该视频传输系统，分割的分层编码数据通过网络被从视频发送装置发送到视频接收装置，其中所述视频发送装置包括接收指示所述视频接收装置正在移动或所述视频接收装置开始移动的特定信息的接收部分；降低使用接收的特定信息分割的分层编码数据的基层比特率的控制部分；并且所述视频接收装置包括发送所述特定信息的发送部分。
权利要求
1.一种接收分层编码数据的视频接收装置，所述视频接收装置包括发送所述视频接收装置的特定信息的发送部分；基于发送的特定信息的比特率受控的接收部分，该部分还接收分割成多个信道的分层编码数据。
2.如权利要求1所述的视频接收装置，其中所述特定信息是指示所述视频接收装置正在移动或者接收终端开始移动的信息；所述接收部分接收分割的分层编码数据，该数据的基层比特率被根据指示所述视频接收装置正在移动或接收终端开始移动的信息而降低。
3.如权利要求2所述的视频接收装置，其中所述接收部分接收一个最低增强层，当接收到其比特率已被降低的基层比特率时，该增强层的比特率被增加。
4.如权利要求2所述的视频接收装置，其中所述接收部分接收一个最低增强层，当接收到其比特率已被降低的基层比特率时，该增强层的比特率被分割。
5.如权利要求1所述的视频接收装置，其中所述特定信息是指示所述视频接收装置的层接收状态的信息；所述接收部分接收分割的分层编码数据，该数据的增强层比特率已根据所述视频接收装置的层接收状态而被确定。
6.如权利要求5所述的视频接收装置，其中所述接收部分接收一个最低增强层，当由所述视频接收装置的层接收状态所指示的接收终端的数目小于或等于一个预定值时，该增强层的比特率被分割。
7.如权利要求5所述的视频接收装置，其中当在由所述视频接收装置的层接收状态所指示的增强层接收状态中存在共同接收的大量增强层时，所述接收部分接收其共同增强层被合并成一层的增强层。
8.一种视频发送装置，包括接收视频接收装置的特定信息的接收部分；控制使用接收的特定信息被分割的分层编码数据的比特率的控制部分；将所述比特率控制和分割的分层编码数据在独立信道上发送的发送部分。
9.如权利要求8所述的视频发送装置，其中所述特定信息是指示所述视频接收装置正在移动的信息；所述控制部分根据指示所述视频接收装置正在移动的信息将在分割的分层编码数据中基层的比特率降低。
10.如权利要求9所述的视频发送装置，其中当降低基层比特率时所述控制部分提高最低增强层的比特率。
11.如权利要求9所述的视频发送装置，其中当降低基层比特率时所述控制部分分割最低增强层的比特率。
12.如权利要求8所述的视频发送装置，其中所述特定信息是指示所述视频接收装置的接收状态的信息；所述控制部分使用指示所述视频接收装置的接收状态的信息在分割的分层编码数据中确定增强层的比特率。
13.如权利要求12所述的视频发送装置，其中所述控制部分使用指示所述视频接收装置的接收状态的信息，并且当接收终端的数目小于或等于一个预定值时，进一步分割最低增强层的比特率。
14.如权利要求12所述的视频发送装置，其中所述控制部分使用指示所述视频接收装置的接收状态的信息，并且当存在共同接收的增强层时，将那些共同增强层合并成一层。
15.一种视频传输系统，通过该视频传输系统，分层编码数据被分割成大量组，并且经由网络在独立信道上被从视频发送装置发送到视频接收装置，其中所述视频发送装置包括接收所述视频接收装置的特定信息的接收部分；控制使用接收的特定信息被分割的分层编码数据的比特率的控制部分；并且所述视频接收部分包括发送所述特定信息的发送部分。
全文摘要
提供了一种视频接收装置、一种视频发送装置、及一种视频传输系统，其即使在由于网络中的接收终端移动而造成的频带大幅度变化的情况下也能够实现无缝视频传输，其中所述网络包括其传输频带是可变的无线电网络。在该系统中，当该视频接收装置(接收终端150)移动时，该视频发送装置(发送终端100)最大限度地降低分层编码数据(hierarchical encoding data)的基层频带。当该基层的频带以这种方式被降低时，最低扩展层的频带被增加以抑制由于降低基层对另一终端的接收图像质量所带来的影响，或者最低扩展层被分割为多个小部分以增加频带变化期间频带的可调性。
文档编号H04L29/08GK1698382SQ20048000028
公开日2005年11月16日 申请日期2004年2月20日 优先权日2003年2月28日
发明者本田义雅, 上野山努 申请人:松下电器产业株式会社