专利名称：压缩图像数据从发送端传输到接收端的视频数据收发系统的制作方法
技术领域：
本发明涉及一种视频数据发送/接收系统，该系统包括发送端和接收端，其中发送端将利用运动位移补偿帧间预报(motioncompensation interframe prediction)压缩的图像数据发送到接收端，接收端解码和显示该视频数据。
背景技术：
近年来，随着宽带网络如ADSL、FTTH等的普及，通过互联网向用户提供视频数据的服务越来越普遍。该视频数据以压缩形式提供，以减少数据量。一种普遍采用的压缩方法是MPEG-4。该方法中，通过利用帧内/帧间编码和运动位移预报相结合的编码来压缩数据量。
这种提供视频数据的服务的形式之一是一种广播型服务(其中发送端装置按照预定的时间表在相同的时间将相同的视频数据分布(广播视频数据)给多个用户终端)。广播型服务中的数据提供是通过称为一对多通讯的广播或多点传送来执行的。因为在该方法中，不必对不同的用户进行单独处理，所以，被提供数据的用户终端数可以增加，而不会增加发送端装置的负担。
但是，服务的种类越来越多，一种这样的多样化是随选型(on-demand-type)数据分布，其中，除了单方面从发送端装置简单地分布广播视频数据外，不同的视频数据还响应个别用户终端的请求而发送到该个别用户终端(随选数据分布)。
该种服务的一个例子是，如果被发送的广播视频数据为体育节目，则响应来自一个特定用户终端的请求，将与特定比赛者有关的过去的数据发送到该用户终端。
当发送广播视频数据的同时向特定用户终端发送随选视频数据时，有多种方法可以用来处理广播视频数据。
一种方法是在发送随选视频数据的同时，继续向该用户终端发送广播视频数据。利用该方法，用户终端的负担较重，因为该用户终端除了要求充分的通讯频带同时接收两种视频数据外，还必须有额外的处理来解码接收到的视频数据，如选择解码和播放。因此，通常采用一种方法，通过该方法，在发送随选视频数据时，中断向该用户终端发送广播视频数据，只发送随选视频数据。
但是，当由于发送随选视频数据而中断发送广播视频数据时，在恢复发送广播视频数据后立即会出现下列问题。具体地，因为用户终端不能解码在恢复发送后立即发送的广播视频数据，所以存在一段时间，其中没有视频显示。其原因在于视频数据补偿方法(运动位移补偿帧间预报)。下面参考
为什么会出现该问题。
图1简化示出在广播视频数据的传输中断，而随选视频数据发送的情况下，视频数据如何被用户终端在互联网中接收。此处，广播视频数据111的接收在时间t0中断，代之以接收随选视频数据112，直到时间t1。然后在时间t1恢复接收广播视频数据。广播视频数据111根据一种方法压缩，从而30帧/秒视频的I帧(帧内压缩帧)每5秒提供一次。相应地，一个单元(GOP画面组)包含150帧，其中一帧为I帧。与数字广播(每秒两个30帧/秒视频的I帧)相比，在互联网广播中的I帧的比率较低。
图1中，GOP1110是在包括时间t1的一段时间内接收到的广播视频数据111中的GOP。GOP1110中包括一个I帧和多个P和B帧，其它GOP也一样。每个GOP被帧间编码，使得每个P帧采用一个最近的在前I或P帧作为参考帧，每个B帧采用在前和在后的I或P帧作为参考帧。
因为GOP1110中的最上面3帧，包括I帧，的发送与随选视频数据的发送重合，所以用户终端不接收该3个帧。因此，第四帧，即利用头I帧作为参考帧编码的P帧，不能被解码。此外，该第四帧之后的P和B帧也不能被解码，因为它们参考第四帧。结果，对应于从第四帧开始的P和B帧的视频不能正确显示。如果利用一种方法对广播视频数据进行了编码，其中一个30帧/秒广播视频数据的I帧每5秒提供一次，则这种情况持续相当于149帧广播视频数据(略小于5秒)(在视频数据按每秒两个I帧编码的情况下，显示停止相当于14帧(略小于0.5秒))。
防止该问题的可能的方法包括(1)在随选视频数据发送过程中，继续广播视频数据的发送，并在用户终端中并行解码两种视频数据；和(2)使发送装置只错开向特定用户终端发送广播视频数据，并重组或重新编码GOP，使其包括一个I帧作为恢复后的第一帧，从而在发送恢复后总是首先接收到I帧。但是，在(1)中描述的方法要求较宽的频带和增加用户终端的处理负担，而(2)中描述的方法增加发送端装置的负担，因为该装置必须执行额外的处理来处理与其它用户终端不一样地接收随选视频数据的用户终端。随着同时接收随选视频的用户终端数增加，该负担也增加。这样潜在地导致一个问题，即限制了可以同时接收到广播的用户数量。
发明内容
鉴于上述问题，本发明的目的是提供一种视频数据发送/接收系统，其中当使用运动补偿方法编码的视频数据由于上述原因必须在一个GOP的中间解码时，接收端用户终端能够正确解码和显示紧接着发送恢复之后的那部分广播视频数据(GOP中的中间)，而不会显著增加发送端或接收端的处理负担。
为了实现上述目的，本发明的视频数据发送/接收系统包括一个发送端装置和多个接收终端，发送端装置发送利用运动位移补偿帧间预报压缩的视频数据，接收终端接收该视频数据并解码接收到的视频数据，其中发送端装置包括第一编码单元，其可以操作对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码单元，其可以操作，与第一编码单元的编码处理并行对一帧运动图像数据应用帧内编码处理，以产生替换的I帧数据；和一个发送单元，向多个接收终端发送所述视频数据和替换I帧数据，其中在临时中断向一个接收终端发送视频数据后，当发送单元要恢复向该接收终端发送视频数据时，发送单元在恢复发送视频数据前，向该接收终端发送至少相当于一帧的替换I帧数据，并且当发送单元要恢复临时中断的视频数据发送时，接收终端接收所发送的替换I帧数据，并解码接收到的I帧数据，将该解码的替换I帧数据作为参考帧解码恢复发送后接收的视频数据。
在该视频数据发送/接收系统中，当恢复向临时停止接收的接收终端发送视频数据时，如果紧接着恢复之后的数据帧为帧间编码帧(P帧或B帧)，则通过帧内编码同一帧而独立产生的替换I帧数据发送到用户终端。用户终端首先解码该替换I帧数据，然后利用解码的I帧数据作为参考帧数据来解码随后的数据帧。因此，解码可以在恢复(GOP中间)之后立即正确执行，从而视频数据显示不被中断。此外，用户终端的处理负担没有增加，发送端装置的负担增加仅仅是产生替换I帧数据和存储相当于几帧的替换I帧数据。即使在视频数据频繁停止和恢复的系统中，可以同时广播的用户数也不会因为所述停止和恢复的处理负担而受到限制。
注意，上述效果可以在该系统中的发送端装置中实现，换句话说，只能在视频数据发送装置中实现。
上述发送装置还可以包括任选数据发送单元，其可以操作与视频数据的发送并行向接收终端发送任选视频数据，其中向接收终端发送视频数据的中断是由任选视频数据的发送而引起的。
根据所述结构，所述效果可以在一种视频数据发送/接收系统中实现，在该系统中，执行一种服务，向多个接收终端同时发送相同的视频数据作为广播，同时用单独视频数据(任选视频数据)的发送中断向特定接收终端发送该视频数据。注意，任选视频数据的例子包括随选视频数据和商业视频数据。
此外，任选数据发送单元可以包括一个信息收集子单元，其可以从一个或多个接收终端中的每一个收集关于该接收终端的用户偏爱的信息，并根据所收集的信息，选择要发送的随选数据。
根据所述结构，所述效果可以在一种视频数据发送/接收系统中实现，在该系统中，提供视频数据的一方的结构掌握发送随选视频数据的主动权。
此外，可以采用一种结构，其中发送单元包括一个可以操作向多个发送目标广播相同数据的广播发送子单元，和可以操作向单个发送目标发送单独数据的单独发送子单元，并利用广播发送子单元发送视频数据，利用单独发送子单元发送替换I帧数据，任选数据发送单元以单独发送方式发送任选视频数据。在该情况下，因为相同的视频数据被广播，所以即使接收终端数增加，也不会增加发送端装置的处理负担。此外，如果发送单元包括一个切换子单元，其可以操作，将正在向其发送替换I帧数据或任选视频数据的接收终端从广播发送子单元的视频数据发送目标中除去，则该接收终端就不会同时接收广播视频数据和任选视频数据或替换I帧数据。因此，可以避免网络负担和接收终端处理负担的显著增加。此外，还可以采用一种结构，其中任选数据发送单元包括一个插入子单元，其可操作在任选数据中间发送二次任选数据；还包括一个第三编码子单元，其可以操作，在二次任选数据的发送结束之后，任选数据恢复之前，产生任选数据替换I帧数据，其对应于从发送恢复后的第一帧开始的至少一帧任选数据，其中当二次任选数据的发送结束后要恢复发送任选数据时，任选数据发送单元在任选数据的发送恢复前，向接收终端发送任选数据替换I帧数据。如果采用该结构，则任选视频数据可以被插入其它任选视频数据，而不是任选数据插入视频数据，并可以实现所述效果，即，在发送恢复后二次任选视频数据可以立即显示。
此外，第一编码单元和第二编码单元可以实现为独立的编码器。
根据所述结构，不需要专门的编码器来与所有帧的帧内编码处理并行来根据运动位移补偿帧间预报执行普通的编码处理。相反，通过提供两个分别执行前述类型的编码处理的常规编码器，所述效果可以用常规编码器实现。
注意，为了实现上述效果，以准确确定发送相当于多少帧的替换I帧，可以使用一种结构，其中，发送单元根据视频数据的GOP结构确定在恢复视频数据发送前，向接收终端发送多少帧替换I帧数据，特别是根据具有I属性或P属性的帧出现的频率。
此外，根据另一种向多个接收终端发送利用运动位移补偿帧间预报压缩的视频数据的视频数据发送装置也可以实现相同的效果，该装置包括第一编码单元，可以对一帧运动图像数据应用帧内编码处理，以产生帧内编码的视频数据；第二编码单元，可以对一帧运动图像数据应用帧间编码处理，以产生帧间编码的视频数据；视频数据发生单元，可以从所述帧内编码的视频数据和帧间编码的视频数据产生视频数据；和发送单元，可以向多个接收装置发送视频数据；其中，当临时中断向一个接收终端发送视频数据后，发送单元要恢复向该接收终端发送视频数据时，发送单元在恢复视频数据的发送之前，向接收终端发送相当于至少一帧帧内编码的视频数据作为替换I帧数据。在该情况下，由第一编码单元产生的帧间编码数据用作替换I帧数据。
此外，本发明的视频数据发送/接收系统可以利用包括多个视频数据提供装置、多个接收终端、和一个分布服务器的视频数据发送/接收系统实现，视频数据提供装置发送利用运动位移补偿帧间预报压缩的视频数据，每个接收终端从任一个视频数据提供装置接收视频数据，并解码接收到的视频数据，分布服务器在视频数据提供装置和接收终端之间传输视频数据，其中每个视频数据提供装置包括第一编码单元，可以对多个运动图像数据帧中的每一帧应用帧内编码处理或帧间编码处理，以产生视频数据；和第二编码单元，可以与第一编码单元应用的编码处理并行对多个运动图像数据帧中的每一帧应用帧内编码处理，以产生替换I帧数据。分布服务器包括切换请求接收单元，可以从一个接收终端接收一个请求，将该接收终端接收的视频数据切换为不同的视频数据；和切换发送单元，可以在切换接收单元接收到请求时，停止正在向发送请求的用户终端发送的视频数据，从提供不同视频数据的视频数据提供装置获得替换I帧数据，发送获得的替换I帧数据到该用户终端，并发送不同的视频数据到该用户终端。
根据该视频数据发送/接收系统，其中执行一种同时发送可以由多个接收终端选择的多个广播数据作为广播的服务，即使在紧接着从其它广播数据切换后(GOP的中间)，接收终端的装置也能够正确解码广播视频数据。此外，发送端装置和接收端装置都不会显著增加处理负担。
此外，根据利用运动位移补偿帧间预报压缩运动图像数据的编码器，包括第一编码单元，可以对多个运动图像数据帧中的每一帧应用帧内编码处理或帧间编码处理，以产生视频数据；和第二编码单元，可以与第一编码单元应用的编码处理并行对多个运动图像数据帧中的每一帧应用帧内编码处理，以产生替换I帧数据，如果作为参考帧的编码I帧数据没有正确发送到执行解码的一端的装置，则该替换I帧数据可以用来代替没有正确发送的I帧数据，因此，I帧和随后使用该I帧作为参考帧的帧可以被正确解码。如果该编码器应用于一种系统，该系统中视频数据是作为广播来发送/接收的，则可以实现上述效果。
此外，上述效果还可以通过一种利用运动位移补偿帧间预报压缩运动图像数据的编码器实现，该编码器包括第一编码单元，可以对一帧运动图像数据应用帧内编码处理，以产生帧内编码的视频数据；第二编码单元，可以对一帧运动图像数据应用帧间编码处理，以产生帧间编码的视频数据；编码视频数据发生单元，可以从所述帧内编码视频数据和帧间编码视频数据产生编码视频数据；和替换数据发生单元，可以从帧内编码视频数据产生替换I帧数据。
此外，上述效果还可以由具有上述结构的系统执行的视频数据发送/接收方法实现，或由在计算机中执行的一段程序实现，该程序的操作对应于具有上述结构的装置。
附图简述通过下面结合示出本发明具体实施例的附图所进行的说明，本发明的这些和其它目的、优点和特征将更加清楚。
图1是表示现有技术中各种数据的接收状态的简化图；图2是本发明的视频数据发送/接收系统的一个实施例的结构图；图3是表示该实施例中各种数据的接收状态的简化图；图4是表示该实施例中的一个编码器结构的框图；图5是表示本实施例中的内容选择装置、分布服务器、和用户终端详细结构的框图；图6是表示本实施例中替换必要性判断处理流程的流程图；图7是表示本实施例中视频数据发送/接收处理流程的时序图；图8A和8B示出对应于使用路由器时的实施例的结构；图9示出对应于当执行随选视频数据的发送/接收，且发送端为从属的时本实施例的结构；图10是表示本实施例的更改例子的结构的框图；图11是表示更改例子中视频数据发送/接收处理流程的时序图；和图12是表示本实施例另一更改例子中的视频数据发送/接收系统中的内容选择装置结构的框图。
优选实施方式下面参考
本发明的视频数据发送/接收系统的一个实施例。
<概述>
图2示出本实施例的视频数据发送/接收系统1的结构。在视频数据发送/接收系统1中，视频数据以广播形式通过互联网N从视频数据发送源发送到希望接收该视频数据的用户终端18。以广播形式发送表示根据事先已经通知用户的时间表，同时向希望接收视频数据的多个用户终端发送相同的视频数据。下面，以广播形式发送的视频数据称为“广播视频数据”。也就是说，此处，广播视频数据中的“广播”不是表示使用广播波发送/接收。
此外，除了广播视频数据外，在视频数据发送/接收系统1中发送和接收的视频数据还包括只有当特定用户终端发出请求时，发送给该用户终端的视频数据。该视频数据称为“随选视频数据”。在发送随选视频数据时，中断向该特定用户终端发送广播视频数据(但广播视频数据继续向其它用户终端发送)。当随选视频数据的发送/接收完成时，恢复向该特定用户终端发送广播视频数据。
视频数据发送/接收系统1使用户终端1能够在发送恢复后，从上述广播视频数据的发送恢复的点开始立即正确解码和播放广播视频数据。为此，视频数据发送/接收系统1的特征在于利用从同样的帧(替换I帧)进行独立帧内编码的I帧数据替换在恢复之后立即出现的P帧或B帧的数据。
下面参考附图描述发送和接收包括替换I帧数据的视频数据的一个具体例子。
图3中，用户终端在跨越组成视频数据20的两个GOP21和22的部分的时间段内接收随选视频数据23。随选视频数据23的最后一帧与GOP22的第二帧222重叠。帧223和224是广播视频数据20中恢复后立即出现的帧。帧223是B帧，其解码的参考帧是GOP22的顶端帧的I帧221，和随后的P帧224。此外，P帧224的解码参考帧是I帧221。
当解码帧223和224时必须参考I帧221，且如果帧224不能正确解码的话，后面的帧(从帧225起)将不能被解码。但是，用户终端18不接收I帧221。为解决这一问题，在恢复向用户终端18发送广播视频数据20时，内容选择装置15不发送不能正确解码的两个顶部帧223和224，而发送对应的I帧数据231和232。
用户终端18解码对应于帧223和224的替换I帧数据231和232。通过参考解码帧232产生的数据，从帧225开始的帧可以被正确解码，因此，不必要用替换I帧数据代替。
<每个组件的结构>
下面描述执行所述处理的视频数据发送/接收系统1的结构。
如图2所示，视频数据发送/接收系统1包括多个用户终端18，用户终端18构成接收端，并通过互联网N连接到发送端。发送端包括摄像机11、编辑/广播内容服务器12、切换器13、编码器14、内容选择装置15、随选内容服务器16、和分布服务器17。
摄像机11提供转播的视频数据，这是视频数据的一种。摄像机11是一种装置，其将入射到光学透镜的光学图像转换为电信号。视频数据可以是压缩的或未压缩的格式，如DVCPRO或消费者DVD，并通过信号线如SDI和SDTI或IEEE1394将视频数据输出到切换器13。
编辑/广播内容服务器12提供在一个广播站编辑的一个“节目”的视频数据，作为一种广播视频数据。除了已经被编辑的节目外，编辑/广播内容服务器12还保持用作内容的视频数据和音频数据。这些数据被存储在硬盘、磁带等上，并在需要时输出到切换器13。
切换器13位于广播中央，编辑从摄像机11和编辑/广播内容服务器12获得的视频数据以产生广播数据，并输出该广播数据到编码器14，根据预定的时间表广播。
编码器14通过将来自切换器13的广播数据压缩为适合通过互联网传播的格式(如，MPEG-4)，以产生广播视频数据，并将该广播视频数据输出到内容选择装置15。注意，广播数据在被切换器13输出时可能已经被编码。当广播数据不能输入编码器14时，其被解码器(未示出)解码，然后输入编码器14。此外，编码器14分别帧内编码每个帧，并输出编码结果数据到内容选择装置15作为替换I帧数据。
具体地，编码器14对输入的广播数据个别地应用两种不同的编码处理，并分别将每种处理产生的数据输出作为广播视频数据和替换I帧数据。
编码器14的结构示于图4。编码器14与普通编码器的不同在于它具有两个电路，每个电路结合一个DCT处理单元和一个量化处理单元。第一个电路中的DCT单元141和量化单元142对输入广播数据中的全部帧进行帧内编码，并将结果数据输出作为替换I帧数据。第二个电路中的DCT单元143和量化单元144对输入的广播进行帧内编码或帧间编码，并输出编码数据作为广播视频数据。换句话说，DCT单元143和量化单元144执行与普通编码器中的DCT单元和量化单元相同的处理。来自第一电路和第二电路的相应编码数据被输出到内容选择装置15，其中的帧互相同步。
随选内容服务器16保持其响应用户请求提供给内容选择装置15的随选视频数据。随选视频数据被存储和以与广播视频数据相同的方式压缩为MPEG-4格式。
内容选择装置15从编码器14接收广播视频数据和替换I帧数据，从随选内容服务器16接收随选视频数据，并将接收的数据发送到分布服务器17。此处，只有必要的替换I帧数据的帧根据要求被输出。下面将会更详细描述由内容选择装置15执行的关于替换I帧数据的处理。
分布服务器17通过互联网N将三种数据(广播视频数据、随选视频数据、和替换I帧数据)发送到用户终端18。
此处，分布服务器17根据时间表同时向作为“广播目标”的全部用户终端发送广播视频数据。作为“广播目标”的用户终端是向分布服务器17发出请求发送广播视频数据的用户终端。
从内容选择装置15接收到随选视频数据后，内容分布服务器17中断向发出随选视频数据请求的用户终端发送广播视频数据，而向该用户终端发送随选视频数据。
当完成随选视频数据的发送时，分布服务器17向发出随选视频数据请求的用户终端发送替换I帧数据。然后，完成发送替换I帧数据后，分布服务器17恢复向该用户终端发送广播视频数据。
用户终端18向服务器17发送一个用户请求，并响应该请求解码和显示从分布服务器17发送的视频数据。特别地，当接收随选视频数据后恢复接收广播视频数据时，用户终端18接收替换I帧数据，解码和显示该替换I帧数据，并使用该解码的替换I帧数据作为参考帧数据来解码随后收到的广播视频数据。
<主要组成元件的说明>
下面进一步详细描述上述视频数据发送/接收系统1的主要组成元件(内容选择装置15、分布服务器17、和用户终端18)。
<详细结构>
下面参考附图进一步详细描述本实施例的上述视频数据发送/接收系统1的三个主要组成元件。说明主要集中在关于替换I帧数据的处理上。
图5是表示该三个主要组成元件的结构的框图。
<分布服务器17>
分布服务器17包括请求接收单元171、用户管理单元172、视频请求单元173、视频接收单元174、和视频发送单元175。下面说明每个组件的处理内容。
请求接收单元171通过互联网N从用户终端18接收关于视频数据发送(广播视频数据发送开始/停止请求或随选视频数据发送请求)的请求，并将该请求输出到用户管理单元172。该请求包括发出请求的用户终端识别信息(IP地址等)和被请求的视频数据的识别信息。
用户管理单元172管理关于视频数据发送目标用户终端的信息。用户管理单元172持有管理信息，该信息表明关于要向其发送数据的用户终端的识别信息，和关于要发送到每个用户终端的数据的类型和识别信息(在随选视频数据的情况下)。用户管理单元172根据通过请求接收单元171从用户发来的请求的内容更新管理信息。此外，用户管理单元172将每个接收到的随选视频数据发送请求的内容输出到视频请求单元173。
视频请求单元173在接收到来自用户管理单元172的关于随选视频数据的发送请求后，指示内容选择装置15读取随选视频数据。
视频接收单元174从内容选择装置15接收各种视频数据，并将该视频数据发送到视频发送单元175。注意，从内容选择装置15发送的视频数据的随选视频数据和替换I帧数据上已经附加了包括在请求中的与发送请求的用户终端有关的信息。
在用户管理单元172保持的管理信息之后，视频发送单元175将从视频接收单元174发送的各种视频数据发送到用户终端18。当随选视频数据和替换I帧数据的发送完成后，视频发送单元175将发送目标用户终端识别信息发送到用户管理单元172，用户管理单元172将该用户终端的管理信息从表示“随选视频发送”更新为“广播视频发送”。
<内容选择装置15>
内容选择装置15包括发送/接收单元151、内容判断单元152、替换I帧缓冲器153、帧判断单元154、和随选数据读取单元155。
发送/接收单元151从分布服务器17接收关于随选视频数据的信息，并将请求的内容(视频数据识别信息和发出请求的用户终端识别信息)输出到内容判断单元152。此外，发送/接收单元151还向分布服务器17发送通过内容判断单元152输出的各种视频数据。
随选视频数据读取单元155从随选内容服务器16读取随选视频数据，并输出读取的随选视频数据到内容判断单元152。此外，当输出最后一帧随选视频数据时，随选视频数据读取单元155加上表示该帧是最后一帧的信息。
帧判断单元154从编码器14接收广播视频数据，并输出接收到的广播视频数据到内容判断单元152。此处，帧判断单元154分析构成视频数据的每段帧数据的属性，以获得帧类型(I、P、或B)和帧序列号(表示该帧在整个视频数据中的位置或该帧在其所属的GOP中的位置)，并将该信息与对应段帧数据一起输出到内容判断单元152。该信息用于判断是否有必要输出替换I帧数据(该判断在后面说明)，并用来指定要输出的替换I帧。注意，可以使帧判断单元154自己计算帧序列号。
替换I帧缓冲器153保持由编码器14输出的相当于几帧的替换I帧数据。此外，替换I帧缓冲器153具有一个计数器，计算替换I帧数据的序列号，并将该序列号附加在每段数据上(使用一种方法，对应于由帧判断单元154获得的序列号)。从内容判断单元152接收到一个替换I帧数据输出请求后，替换I帧缓冲器153输出对应于该请求上附加的序列号的替换I帧数据。注意，当替换I帧缓冲器153中的替换I帧数据的段数超出预定值时，替换I帧缓冲器153删除最早的替换I帧数据段。
内容判断单元152获得广播视频数据、随选视频数据、和替换I帧数据，输出该数据到发送/接收单元151，从而使该数据发送到分布服务器17。下面参考
在随选视频数据发送期间和当随选视频数据的发送完成后，恢复广播视频数据时，内容判断单元152的处理。
图6是表示内容服务器152的处理流程的流程图。
当发送随选视频数据时，内容判断单元152从随选数据读取单元155接收到请求的随选视频数据后，将接收的随选视频数据与广播视频数据并行输出到分布服务器17(S501)。
从随选数据读取单元155接收到最后一帧随选视频数据后(S502是)，内容判断单元152获得关于在最后一帧随选视频数据后要发送的预定数量的广播视频数据帧的序列号、属性信息等(S503)，并根据获得的信息判断是否用替换I帧数据替换广播视频数据帧。编码广播视频数据时的帧结构决定该判断要执行相当于多少个帧的数据。如图3所示，由当前的系统1采用的广播视频数据结构中，I或P帧每3帧出现一次，所以内容判断单元152判断3帧的替换必要性。可选地，内容判断单元152判断所有的帧，直到下一个I帧出现(下一个GOP的开始)。如果帧结构(参考关系)不规则，内容判断单元152可以重复判断，直到下一个GOP中的I帧出现。
如果被判断的帧的类型是“I”(S504是)，则不必用替换I帧数据代替该帧，因为该帧和随后的帧可以由用户终端18正确解码。因此，内容判断单元152通知分布服务器17不必替换，并使分布服务器17向用户终端18发送广播视频数据(S508)。然后，内容判断单元152停止判断用替换I帧代替帧的必要性。
当被判断的帧是P或B帧时(S504否)，内容判断单元152检查该帧的参考帧是否已经发送给用户终端18(在B帧的情况下，两个参考帧的第一个)(S505)。具体地，内容判断单元152比较该帧的序列号与对应于随选视频数据最后一帧的广播视频数据的序列号，如果前者大于后者，则意味着参考帧已经到达用户终端18。如果参考帧已经被用户终端18接收到(S505是)，则可以解码广播视频数据帧，因此，内容判断单元152指示分布服务器17向用户终端18发送数据帧，而不用替换I帧数据代替该数据帧(S507)。
注意，参考帧序列号可以从正被判断的帧的序列号和广播视频数据的帧结构找到。在当前的具有图3所示帧结构的广播视频数据的例子中，P帧的参考帧是I或P帧，其序列号是P帧自己的序列号之前3帧。序列号为3的倍数的B帧的参考帧(图3中的帧233)是序列号为减2的I或P帧(图3中的帧221)和序列号为加1的P帧(图3中为帧224)。对于序列号为“3的倍数减1”的B帧，参考帧是序列号减1的I或P帧(图3中的帧221)和序列号为加2的P帧(图3中的帧224)。
当参考帧没有被发送时(S505否)，广播视频数据将不能被用户终端18解码，所以内容判断单元152从替换I帧缓冲器153读取对应的替换I帧数据(具有相同的序列号)，并发送读取的替换I帧数据到服务器17，并使服务器17发送该替换I帧数据到用户终端18(S506)。注意，因为向用户终端18发送替换I帧数据的同时，必须向其它用户终端发送广播视频数据，所以广播数据与替换I帧数据并行从内容选择装置15发送到分布服务器17。
内容判断单元152重复步骤S503-S507的处理，直到在恢复后对预定数目的帧执行了判断，或直到下一个GOP的I帧数据出现(S509)。当图6所示处理完成后，无条件发送经受检查的帧后面的广播视频数据。
注意，在前述说明中，内容判断单元152在假设广播视频数据和随选视频数据并行一次一帧输出到分布服务器17的前提下，一次一帧判断是否用替换I帧数据代替广播视频数据。但是，也可以在随选视频数据的发送开始时，根据诸如编码时的帧结构和随选视频数据中帧的数量等信息，先判断是否替换、替换的帧的数量以及序列号。具体地，在开始发送随选视频数据时，可以获得对应于第一帧随选视频数据的广播视频数据帧的序列号，并通过将随选视频数据的帧数加在该获得的序列号上来计算恢复发送后发送的帧的序列号。当实现将广播视频数据的帧结构确定为如图3所示时，序列号为3n+1(n是大于等于0的整数)的帧如前所述为I帧或P帧(该帧是I帧还是P帧由GOP中的帧数确定)，而序列号为其它的帧为B帧。因此，如果恢复发送时出现的帧的序列号已知，则很容易判断广播视频数据的帧类型。
注意，如果可以用该方法预报要用替换I帧数据替换的帧的序列号，则可以只产生预计会被替换的帧的替换I帧数据(而不用向上面所述的产生全部帧的替换I帧数据)。则可以减轻产生替换I帧数据的处理负担，在随选视频数据的发送请求不频繁的系统中特别有效。
此外，也可以在恢复后立即无条件(不用判断处理)替换n个帧(n是I或P帧出现的频率)。这样做省略了判断是否替换的负担。如图3所示，本实施例中的广播视频数据的帧结构中，I或P帧每3帧出现一次(I或P帧的出现频率＝3)，每个P帧的参考帧是紧接前面的I或P帧，而每个B帧的参考帧是在前和在后的I或P帧。换句话说，不管恢复之后紧接着的广播视频数据帧的类型如何，如果最多3个帧(＝I或P帧出现的频率)被替换为替换I帧，则随后的帧一定可以被解码。
此外，如果不考虑I或P帧出现的频率，恢复之后的所有帧都用替换I帧数据替换，直到P帧出现，则可以减轻判断处理负担，因为是否替换的判断只需要检查帧类型。换句话说，如果紧接着恢复之后的帧是P帧，则只有该P帧用替换I帧替换。如果紧接着恢复之后的帧是B帧，该B帧和随后的帧用替换I帧替换，直到下一个P帧。
<用户终端18>
用户终端18从分布服务器17接收各种视频数据，并解码和显示接收的数据。用户终端18包括接收用户请求的请求接收单元181、向分布服务器17发送请求的请求发送单元182、接收分布服务器17响应请求发送的视频数据的视频接收单元183、解码视频数据的解码器184、和显示解码结果的视频的视频显示单元185。
<视频数据发送/接收处理的流程>
下面说明本发明的视频数据发送/接收系统1中的视频数据发送/接收处理中，所述主要组成元件之间各种数据的交换和每个组件的处理流程。
图7是表示当用户终端18中断接收广播视频数据以接收随选视频数据，然后恢复接收广播视频数据时，本实施例的视频数据发送/接收系统1中的特定用户终端18、分布服务器17、和内容选择装置15之间数据交换和处理流程的时序图。
首先，当正在接收广播视频数据的用户终端18向分布服务器17发送一个随选视频数据发送请求时，处理开始(S601)。注意，此处尽管未示出，但分布服务器17也向其它用户终端发送广播视频数据。
分布服务器17进一步发送请求到内容选择装置15。
内容选择装置15通过分布服务器17接收到请求后，从随选视频服务器16读取对应于该请求的随选视频数据，并把读取的随选视频数据发送到分布服务器17。分布服务器17中断向用户终端18发送广播视频数据，并向用户终端18发送随选视频数据(S602)。注意，此处分布服务器17继续向其它用户终端发送广播视频数据。检测到随选视频数据结束后(S603)，内容选择装置15检查当前正被发送到其它用户终端的广播视频数据中，在随选视频数据的发送完成后立即要发送到用户终端18的几帧广播视频数据的属性和参考帧，并判断是否有必要发送替换I帧数据(S604)。当帧类型是P或B时，该帧的参考帧与随选视频数据重叠，因此没有被用户终端18接收到，内容选择装置15从保持的替换I帧中选择对应于该帧的替换I帧数据，并将选择的替换I帧发送到分布服务器17。分布服务器17在发送最后一帧随选视频数据后，立即发送该替换I帧到用户终端18(S605)。
用户终端18解码和显示该替换I帧数据(S606)。
发送替换I帧后(或不必发送替换I帧时)，分布服务器17恢复向用户终端18发送广播视频数据(S607)。用户终端18开始解码恢复后立即发送的广播视频数据，使用该解码的替换I帧数据作为参考帧数据(S608)。
<结论>
如上所述，在本实施例的视频数据发送/接收系统1中，当随选视频数据的发送中断了从发送端装置向用户终端发送广播视频数据时，发送端装置在随选视频数据的发送完成后，恢复广播视频数据的发送前，向用户终端发送替换I帧数据。用户终端首先解码该替换I帧数据，显示所得的视频数据，然后使用解码的替换I帧作为参考帧来解码恢复后立即出现的几帧广播视频数据，并显示解码的广播视频数据。
相应地，用户终端能够在随选视频数据结束后，立即正确解码和显示广播视频数据。
注意，尽管在本实施例中，描述了内容选择装置15和分布服务器17为分开的，但本发明也可以实现为该两个装置被合成为一个装置。
此外，本发明不限于使用具有本实施例中描述的和图3中所示的结构和参考规则的编码数据的例子，其中I或P帧的出现频率为3，P帧的参考帧是紧接着前面的I或P帧，而B帧的参考帧是在前和在后的I或P帧。本发明的效果可以获得，而与结构和参考规则无关，只要可以判断发送恢复时是否替换帧，只要每帧广播视频数据的参考帧可以指定。
此外，尽管本实施例的编码器14是一种具有两电路DCT-量化处理结构的特殊编码器，其中一个电路执行常规处理(帧内编码和帧间编码的混合)，而另一电路只执行帧间处理，但该系统的结构也可以具有两个常规编码器，一个产生替换I帧数据，另一个产生广播视频数据。这样做增加了结构的大小，因为要求两个编码器，但可以使本发明只用常规编码器实现。
此外，数据不限于按照上述方法产生，其中本实施例的编码器划分为第一和第二电路，它们具有各自的DCT单元和量化单元，并通过分别产生替换I帧数据和广播视频数据来分担数据的产生。例如，由第一电路产生的替换I帧数据的一部分也可以用作广播视频数据，而第二电路只产生P和B帧数据。即，GOP的顶部帧由第一电路进行帧内编码，不用第二电路处理，从第一电路帧内编码的数据输出到内容选择装置，不仅作为该帧的替换I帧数据，还作为广播视频数据的一部分。此外，该帧内编码的数据还输出到一个逆量化单元，用作随后的帧的参考帧。其它帧被相应的电路以与本实施例相同的方式编码。在该情况下，为了从第一电路输出编码数据作为广播视频数据，要求对I帧进行SW中的新的处理。该方法减轻了处理负担，因为省去了分别在两个电路中对GOP的顶部帧进行双重帧内编码的处理。
下面是一个数据发送方法的例子，其可以用来代替简单地通过互联网从分布服务器向用户终端发送数据，如本实施例中所示。
图8A和8B示出视频数据发送系统的例子，其中视频数据从路由器17通过路由器发送到用户终端18(其共同表示端子718a、718b、718c、和718d)。此处，路由器701-703是多点传送器。
图8A示出广播数据(由黑色箭头表示)正从分布服务器717发送到用户终端718的状态。图8B示出的状态中，终端718a请求发送随选数据，随选数据响应该请求正从分布服务器17发送到用户终端718a。随选数据的发送完成后，替换I帧数据(由白箭头表示)通过与随选视频数据相同的路径发送到用户终端718a，然后广播视频数据再次如8B所示发送到用户终端718a。
注意，在本系统中，关于替换I帧数据发送的由内容选择装置15、分布服务器17等执行的处理与本实施例中的系统1中的处理相同。
此外，本实施例是一个视频数据发送、接收系统，其中随选视频数据的发送中断广播视频数据的发送，但本发明的系统结构和系统中的视频数据的类型不限于本实施例所示的。本发明可以应用于一种系统，这种系统中利用帧间运动位移补偿预报压缩的主要视频数据从发送端装置发送到接收端装置，并且在这种系统中，存在接收端装置接收主要图像数据的过程被中断的情况。但是，本发明不是用于简单的中断接收，而是应用于保留在接收端装置的解码单元中的参考帧由于中断接收而不再对应于恢复发送后立即发送的主要视频数据帧的内容。
该中断可能发生在如本实施例中所述用其它数据替换主要视频数据的替换部分时，或可能由于另一种模式，如，其它被发送的数据插入主要视频数据中，或主要视频数据的一部分(具体地是I帧)由于通讯故障而没有接收到。
此外，当中断发生在图像数据按照一个时间表作为广播数据发送的一个系统中时，广播数据的发送不是从中断发生的位置恢复，而是跳过对应于中断长度的帧。在该情况下，即使接收端装置在中断过程中不解码其它数据，参考帧的内容和主要视频数据在恢复时也将不对应。此处，中断的原因可能是通讯故障，和发送/接收其它数据(如，字符数据或静止图像数据)，而不是视频数据。
此外，本实施例的系统描述为其中随选视频数据响应用户终端的请求而从分布服务器发送到用户终端，从而中断广播视频数据。但是，该系统也可以是一种视频数据发送/接收系统，其中发送端是从属的，其它视频数据插入广播视频数据中。
图9所示系统是视频数据发送/接收系统8，其中发送端是从属的，其它视频数据插入广播视频数据中。在向用户终端18发送广播视频数据的过程中，分布服务器817适当地向单个用户终端18发送其它视频数据(如，商业图像数据，以适应个别用户地兴趣和偏好)。为此，系统8包括一个分布内容选择装置801，选择适合单个用户偏好的商业视频数据。分布内容选择装置801借助于调查表等通过互联网N从用户终端获得关于该用户的兴趣和品味的信息(如，用户的年龄和性别，以及他/她感兴趣的产品)。该信息用作选取商业视频数据的基础。
分布内容选择装置801可以根据作为广播发送的付费观看广播视频数据的提供者与发起者之间的契约向内容选择装置815输出商业视频数据，并请求内容选择装置815向用户终端发送该商业数据。作为响应，内容选择装置815商业发送目标的用户终端输出该商业视频数据，并使用户终端18接收该商业视频数据。然后，当检测到商业视频数据的结束时，内容选择装置815执行第一实施例中所示的处理，使必要的替换I帧数据被发送到用户终端18，并使广播视频数据的发送恢复。
这样，本实施例的系统1的效果可以在广播视频数据的发送的中断和恢复是利用发送端装置的主动性执行的系统中获得。注意，由发送端装置发送的视频数据不限于商业视频数据，而可以是任意视频内容。
<修改举例>
上述实施例中的系统1使得当发生由随选视频数据大发送引起的广播视频的发送中断/恢复时，广播视频数据能够被正确解码。相反，下面的修改例子解决能够接收多种广播视频数据的用户终端中产生的问题。该问题是，当从一种广播视频数据切换为另一种时，根据切换后立即接收的广播视频数据的帧类型，用户终端在切换后直到下一个GOP之前可能不能正确解码广播视频数据。
下面说明本修改例子的系统。该系统结构与上述实施例的系统有很多相同，因此，下面的说明集中在不同点上。
在图10的系统9中，多种广播视频数据从多个广播视频数据提供装置91a和91b(每个装置包括一个摄像机和/或内容服务器、切换器、和编码器以及内容选择装置)提供给向用户终端发送视频数据的分布服务器917。该两个提供装置按照预定时间表分别提供不同的广播视频数据到分布服务器917。分布服务器917响应用户终端的请求将一种广播数据发送该该用户终端。换句话说，广播视频数据提供装置各自对应于一个不同频道，用户在两种广播视频数据之间切换，就像切换频道一样。当切换频道(广播视频数据类型)时，在开始发送切换后的广播时，先将替换I帧数据发送到用户终端。这意味着在切换后广播视频数据可以立即正确播放和显示。
<结构>
系统9中，切换广播视频数据时关于替换I帧数据发送的处理由分布服务器917和第一和第二视频数据提供装置91a和91b中的内容选择装置915a和915b执行。下面描述这些组件的处理，省略与系统1相同的处理。
分布服务器917从第一和第二视频数据提供装置91a和91b接收广播视频数据，并将相应的广播视频数据发送到期望接收该种广播视频数据的用户终端。分布服务器917从接收由第一视频数据提供装置91a提供的视频数据的用户终端918接收广播视频数据切换请求，并通知将要在切换后提供广播视频数据的第二视频数据提供装置91b的内容选择装置915b。如果内容选择装置915b输出替换I帧，则分布服务器917在停止向用户终端918发送第一视频数据后，向用户终端918发送替换I帧数据，然后开始向该用户终端918发送第二视频数据。另一方面，如果从内容选择装置915b接收到不必要替换I帧数据的通知，则分布服务器917停止向用户终端918发送第一视频数据，而开始向其发送第二广播视频数据。
接收到切换请求后，内容选择装置915检测当在该点切换时，紧接着切换后将由用户终端918接收的帧。检测到该帧之后的处理与系统1中相同。具体地，内容选择装置915b判断是否有必要用替换I帧数据替换检测到的帧和其后的若干帧，如果有必要，就从I帧缓冲器读取该替换I帧数据，并输出这些帧和帧序列号到分布服务器917。当不必要用替换I帧数据替换检测到的帧时，内容选择装置915b向分布服务器917发送该结果的通知。在该情况下，内容选择装置915b向分布服务器917发送帧序列号，并使该分布服务器向用户终端发送从对应于该序列号的帧开始的第二广播数据。此外，分布服务器917使用与内容选择装置915a和915b相同的方式跟踪帧序列号。
<处理流程>
下面利用表示主要组成元件之间的控制转换和数据流动的参考附图，描述本视频数据发送/接收系统9中，广播视频数据发送切换处理的流程。
图11是表示广播视频数据发送切换处理中，两个广播视频数据提供装置91a和91b、分布服务器917、和用户终端918之间的控制转换和数据流动的时序图。该时序图示出被发送/接收的视频数据从第一广播视频数据切换到第二广播视频数据的情况。
首先，在用户终端918通过分布服务器917从第一提供装置915a接收第一广播视频数据的过程中(S1001)，用户终端918接收到用户指令后，向分布服务器917发送切换到第二广播视频的请求(S1002)。
响应该切换请求，分布服务器917通知提供第二广播视频数据的第二视频数据提供装置91b有一个切换请求。作为响应，第二广播视频数据提供装置91b判断是否有必要用替换I帧数据替换用户终端918在切换后将立即接收的帧(S1003)，当判断出有必要替换时，向分布服务器917发送替换I帧数据(S1004)。分布服务器917停止向用户终端918发送第一广播视频数据，并向用户终端918发送接收到的替换I帧数据。用户终端918接收、解码并显示该替换I帧数据(S1005)。然后，分布服务器917从不需要用替换I帧数据替换的部分开始向用户终端918发送第二广播视频数据。用户终端918利用在不受S1005解码的替换I帧数据开始解码第二广播视频数据(S1006)。
这样，在系统9中，多个视频数据提供装置91a和91b连接到服务器917，提供不同的广播视频数据。当有来自用户终端918的视频数据切换请求时，替换I帧数据提供到用户终端918，用于切换后立即出现的一帧视频数据。这样使得用户终端能够在切换广播制品数据后不必中断解码和显示视频数据。
注意，接收随选视频数据的结构不包括在图10所示的修改例子中，但通过组合图2所示实施例的系统和本修改例子，可以实现一种系统，其中或者在随选视频数据的发送/接收之后，或者当切换视频数据时，发送/接收替换I帧数据。
<修改举例2>
一种可能的服务是其中在发送特定随选数据(第一随选数据)的过程中，另一随选数据(第二随选数据)的发送中断第一随选数据的发送，然后第一随选数据的发送恢复。在该情况下，紧接着从第二随选数据切换到第一随选数据后会发生与上述实施例中相同的问题。本修改是解决该问题的一种系统。
图12示出本修改中的视频数据发送/接收中的内容选择装置15A。本修改的特征组成元件是内容选择装置15A中的随选数据读取单元155A。除了切换输出到特定终端的随选视频数据外，该随选数据读取单元155A还在切换回第一随选视频数据之前和从第二随选视频数据切换之后，输出替换I帧数据。
可以事先产生全部随选数据的替换I帧数据，并在随选内容服务器16中存储该替换I帧数据，但这对于大量数据来说不切实际。此处，该问题是通过在恢复输出第一随选数据前，从恢复后将立即输出的第一随选数据产生若干个替换I帧数据，并输出产生的替换I帧数据来解决的。
实现此的随选数据读取单元155A中的结构是切换单元1551、辅助解码器1552、和辅助编码器1553。因为随选数据读取单元155A执行与随选数据读取单元155相同的操作，在此省略其说明。
切换单元1551根据切换点的帧序列号和第二随选数据中的帧总数判断发送恢复后立即要发送的第一随选数据的帧的序列号和帧类型。根据帧类型，切换单元1551判断是否有必要产生替换I帧数据(对于I帧不需要，而对于其它帧类型则有必要)。如果有必要产生，则切换单元1551找出要用替换I帧数据替换的帧的数目，向辅助解码器1552发送关于第一随选数据的信息，指示该辅助解码器执行解码处理。此处，关于随选数据的信息包括识别信息、恢复发送后立即出现的帧的序列号、和上述帧的数目。判断是否有必要用替换I帧数据替换的程序与上述实施例中的内容判断单元152所执行的相同。
切换单元1551输出替换I帧数据，代替发送恢复后紧接着的第一随选数据帧，该替换I帧数据是辅助解码器1552和辅助编码器1553响应上述指令进行处理所获得的。
从切换单元1551接收到指令后，辅助解码器1552根据帧序列号信息判断解码第一随选数据中的哪个GOP(包括恢复发送后紧接着出现的帧的GOP)，并从随选内容服务器16中只读取该GOP(此时参考识别信息)。进行该判断的一种方式是用一个GOP中的帧的数目去除帧序列号值，并舍入到最接近的整数来得出商。如果该商为n，辅助解码器1552得出从第一随选视频数据顶部起第n个GOP。
此外，辅助解码器1552解码并读取从顶部帧到恢复后要发送的帧的GOP，将序列号附加在解码的帧上，并将其输出到辅助编码器1553。辅助解码器1552还指示辅助编码器1553从这些帧产生替换I帧。
辅助编码器1553对从辅助解码器1552接收的全部3个帧执行帧内编码，并将带有相应帧序列号的结果输出到切换单元1551。
<附加陈述>
注意，尽管在上述实施例和修改例子中给出互联网作为当由编码器编码的视频数据通过ISP(互联网服务提供者)或类似的分布服务器传播时所使用的通讯路径的例子，但用于本发明的发送/接收路径不限于此，也可以使用其它通讯路径，如广播波或CATV。例如，主要广播节目数据可以通过广播波发送/接收，可选的随选数据通过通讯线如互联网发送/接收。
此外，尽管在上述实施例和修改例子中本发明是视频数据发送/接收系统，但本发明也可以通过在计算机中执行一段程序而实现。在该情况下，程序可以记录在记录介质上。
此外，尽管在上述实施例和修改例子中，压缩视频数据的规范为MPEG-4，但对于使用帧间编码和运动位移补偿帧间预报编码的所有类型数据，本发明的优点都可以实现。例如，本发明可以用于使用另一种压缩方法如MPEG-2压缩的视频数据。
此外，尽管在上述实施例和修改例子中随选视频数据被描述为一直发送完毕，也可以有随选数据的发送被用户的请求在半中间中断的情形。本发明可以处理这种情形。具体地，当检测到随选数据的终点时执行处理可以替换为当接收端装置发出请求在半中间停止随选数据时执行。
尽管以上通过举例，参考附图对本发明进行了全面的说明，但应当注意，对于本领域的技术人员来说，各种变化也是显然的。因此，除非这样的变化不在本发明的范围内，它们应当被认为包括在其中。
权利要求
1.一种视频数据发送/接收系统，包括一个发送端装置和多个接收终端，发送端装置发送用运动位移补偿帧间预报压缩的视频数据，接收终端接收视频数据并解码接收到的数据，其中发送端装置包括第一编码单元，其可以操作对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码单元，其可以操作，与第一编码单元的编码处理并行对一帧运动图像数据应用帧内编码处理，以产生替换的I帧数据；和一个发送单元，向所述多个接收终端发送所述视频数据和替换I帧数据；其中在临时中断向一个接收终端发送视频数据后，当发送单元要恢复向该接收终端发送视频数据时，发送单元在恢复发送视频数据前，向该接收终端发送至少相当于一帧的替换I帧数据，并且当发送单元要恢复临时中断的视频数据发送时，接收终端接收所发送的替换I帧数据，并解码接收到的I帧数据，将该解码的替换I帧数据作为参考帧数据解码恢复发送后接收的视频数据。
2.一种向多个接收终端发送利用运动位移补偿帧间预报压缩的视频数据的视频数据发送装置，包括第一编码单元，其可以操作对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码单元，其可以操作，与第一编码单元的编码处理并行对一帧运动图像数据应用帧内编码处理，以产生替换的I帧数据；和发送单元，可以向多个接收终端发送视频数据和替换I帧数据，且当临时中断向一个接收终端发送视频数据后，发送单元要恢复向该接收终端发送视频数据时，发送单元在恢复视频数据的发送之前，向接收终端发送相当于至少一帧的替换I帧数据。
3.根据权利要求2的视频数据发送装置，进一步包括任选数据发送单元，其可以与视频数据的发送并行向接收终端发送任选视频数据；其中，向接收终端发送视频数据的中断是由所述任选视频数据的发送引起的。
4.根据权利要求3的视频数据发送装置，其中所述任选数据发送单元包括一个信息收集子单元，其可以从一个或多个接收终端中的每一个收集关于给接收终端用户的偏好的信息，和根据收集的信息，选择要发送的任选数据的内容。
5.根据权利要求3的视频数据发送装置，其中所述发送单元包括广播发送子单元，其可以向多个发送目标广播同一数据；个别发送子单元，其可以向个别发送目标发送个别数据；和利用广播发送子单元发送视频数据，利用个别发送子单元发送替换I帧数据；且任选数据发送单元按照个别发送方式发送任选视频数据。
6.根据权利要求5的视频数据发送装置，其中所述发送单元包括切换子单元，其可以将正在向其发送替换I帧数据或任选视频数据的接收终端从广播发送子单元的视频数据发送目标中除去。
7.根据权利要求3的视频数据发送装置，其中所述任选数据发送单元包括插入子单元，其可以在发送任选数据的中间发送二次任选数据；和第三编码子单元，其可以在二次任选数据的发送结束后和任选数据的发送恢复前，产生对应于从发送恢复后的第一帧开始至少一帧任选数据的任选数据替换I帧数据；其中，当任选数据的发送在二次任选数据的发送结束后要恢复时，任选数据发送单元在任选数据的发送恢复前，向接收终端发送任选数据替换I帧数据。
8.根据权利要求2的视频数据发送装置，其中第一编码单元和第二编码单元实现为独立的编码器。
9.根据权利要求3的视频数据发送装置，其中发送单元根据视频数据的GOP结构，特别是根据具有I属性或P属性的帧的出现频率，确定在视频数据的发送恢复前向接收终端发送多少帧替换I帧数据。
10.一种视频数据发送装置，用于向多个接收终端发送利用运动位移补偿帧间预报压缩的视频数据，包括第一编码单元，可以对一帧运动图像数据应用帧内编码处理，以产生帧内编码的视频数据；第二编码单元，可以对一帧运动图像数据应用帧间编码处理，以产生帧间编码的视频数据；视频数据发生单元，可以从所述帧内编码的视频数据和帧间编码的视频数据产生视频数据；和发送单元，可以向多个接收装置发送视频数据；其中，当临时中断向一个接收终端发送视频数据后，发送单元要恢复向该接收终端发送视频数据时，发送单元在恢复视频数据的发送之前，向接收终端发送相当于至少一帧帧内编码的视频数据作为替换I帧数据。
11.一种视频数据发送/接收系统，包括多个视频数据提供装置、多个接收终端、和一个分布服务器，视频数据提供装置发送利用运动位移补偿帧间预报压缩的视频数据，每个接收终端从任何一个视频提供装置接收视频数据并解码接收到的视频数据，分布服务器在视频数据提供装置与接收终端之间传递视频数据，其中每个视频数据提供装置包括第一编码单元，其可以操作对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码单元，其可以操作，与第一编码单元的编码处理并行对多帧运动图像数据中的每一帧应用帧内编码处理，以产生替换I帧数据；和分布服务器包括切换请求接收单元，可以从一个接收终端接收一个请求，将该接收终端接收的视频数据切换为不同的视频数据；和切换发送单元，可以在切换接收单元接收到请求时，停止正在向发送请求的用户终端发送的视频数据，从提供不同视频数据的视频数据提供装置获得替换I帧数据，发送获得的替换I帧数据到该用户终端，并发送不同的视频数据到该用户终端。
12.视频数据发送/接收系统中的分布服务器，该视频数据发送/接收系统进一步包括多个视频数据提供装置和多个接收终端，该视频数据提供装置发送利用运动位移补偿帧间预报压缩的视频数据，每个接收终端从任何一个视频提供装置接收视频数据并解码接收到的视频数据，分布服务器在视频数据提供装置与接收终端之间传递视频数据，该分布服务器包括切换请求接收单元，可以从一个接收终端接收一个请求，将该接收终端接收的视频数据切换为不同的视频数据；和切换发送单元，可以在切换接收单元接收到请求时，停止正在向发送请求的用户终端发送的视频数据，从提供不同视频数据的视频数据提供装置获得替换I帧数据，发送获得的替换I帧数据到该用户终端，并发送不同的视频数据到该用户终端。
13.视频数据发送/接收系统中的视频数据提供装置，该视频数据发送/接收系统包括多个视频数据提供装置、多个接收终端，和一个分布服务器，该视频数据提供装置发送利用运动位移补偿帧间预报压缩的视频数据，每个接收终端从任何一个视频提供装置接收视频数据并解码接收到的视频数据，分布服务器在视频数据提供装置与接收终端之间传递视频数据，该视频数据提供装置包括第一编码单元，其可以操作对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码单元，其可以操作，与第一编码单元的编码处理并行对多帧运动图像数据中的每一帧应用帧内编码处理，以产生替换I帧数据；和发送单元，其可以操作向分布服务器发送视频数据，和当一个接收终端请求将正在接收的视频数据切换为发送单元正在发送的视频数据时，在切换之前，通过分布服务器向该接收终端发送至少一帧替换I帧数据。
14.一种编码器，利用运动位移补偿帧间预报压缩运动图像数据，包括第一编码单元，其可以操作对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；和第二编码单元，其可以操作，与第一编码单元的编码处理并行对多帧运动图像数据中的每一帧应用帧内编码处理，以产生替换I帧数据。
15.一种编码器，利用运动位移补偿帧间预报压缩运动图像数据，包括第一编码单元，可以对一帧运动图像数据应用帧内编码处理，以产生帧内编码的视频数据；第二编码单元，可以对一帧运动图像数据应用帧间编码处理，以产生帧间编码的视频数据；编码视频数据发生单元，可以从所述帧内编码的视频数据和帧间编码的视频数据产生编码视频数据；和替换数据发生单元，可以从帧内编码视频数据产生替换I帧数据。
16.一种视频数据发送/接收方法，用于一种视频数据发送/接收系统中的发送端装置和多个接收终端中的一个，在该系统中，发送端装置发送用运动位移补偿帧间预报压缩的视频数据，多个接收终端接收视频数据并解码接收到的数据，该方法包括第一编码步骤，在所述发送端装置中，对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码步骤，在所述发送端装置中，与第一编码步骤并行对多帧运动图像数据中的每一帧应用帧内编码处理，以产生替换I帧数据；视频数据发送步骤，在所述发送端装置中，向接收端装置发送视频数据；发送中断步骤，在所述发送端装置中，中断向接收端装置发送视频数据；替换数据发送步骤，在所述发送端装置中，向接收终端发送相当于至少一帧的替换I帧数据；替换数据解码步骤，在所述接收端装置中，解码替换I帧数据；视频数据再发送步骤，在所述发送端装置中，恢复向接收端装置发送视频数据；和视频数据解码步骤，在所述接收终端中，解码恢复发送后接收到的视频数据，利用执行替换数据解码步骤所得到的数据作为参考帧数据。
17.在计算机中执行的程序，用于实现一种方法，该方法用于视频数据发送/接收系统中的发送端装置，该视频数据发送/接收系统中，发送端装置发送用运动位移补偿帧间预报压缩的视频数据，多个接收终端接收视频数据并解码接收到的数据，该方法包括第一编码步骤，对多帧运动图像数据的每一帧应用帧内编码处理或帧间编码处理，以产生所述视频数据；第二编码步骤，与第一编码步骤并行对多帧运动图像数据中的每一帧应用帧内编码处理，以产生替换I帧数据；视频数据发送步骤，向接收端装置发送视频数据；发送中断步骤，中断向接收端装置发送视频数据；替换数据发送步骤，向接收终端发送相当于至少一帧的替换I帧数据；和视频数据再发送步骤，恢复向接收端装置发送视频数据。
全文摘要
当随选视频数据的发送中断广播视频数据从分布服务器17向用户终端18的发送时，分布服务器17在随选视频数据发送完成之后和恢复广播视频数据的发送之前，向终端18发送替换I帧数据。用户终端18解码和显示替换I帧数据，然后利用解码的替换I帧数据作为参考帧来解码和显示在恢复发送后立即接收到的头几帧广播视频数据。
文档编号H04N7/173GK1476248SQ0317863
公开日2004年2月18日 申请日期2003年7月17日 优先权日2002年7月17日
发明者仓内伸和 申请人:松下电器产业株式会社