Fec编码方法、fec解码方法和fec解码设备的制作方法

专利名称：Fec编码方法、fec解码方法和fec解码设备的制作方法
技术领域：
本发明涉及用于恢复在以分组形式传输流信息时出现的分组损 失的FEC编码方法、FEC解码方法和FEC解码i殳备，例如适用于其 中分组的供给密度随着时间变化的情况下的FEC编码方法、FEC解 码方法和FEC解码设备。
背景技术：
FEC(前向纠错)通常用作在接收端恢复在产生用来在网络上传输 流数据例如视频和音频的分组(媒体分組)传输期间的局部损失的技术。
例如，在采用FEC进行信息传输中，为一组媒体分组设定损失 恢复规范，从而采用这组媒体分组的信息来进行FEC操作以针对该损 失恢复能力产生出相应数量的FEC分组。更具体地说，例如在编码端 上对于100个々某体分組产生出20个FEC分组，并且将两种分组输出 给网络。
上述FEC分组的生成没有完全结束，直到提供了规定数量(在上 述实施例中为IOO)的媒体分组。因此，这些分组不能输出给网络，直 到提供了对于FEC操作所需的媒体分组，这会造成延迟。此外，如果 以随着时间不变的密度提供媒体分组，则给网络的输出也以固定的速 度，但是如果媒体分组的提供密度随着时间变化，则密度越低则延迟
增大，从而在给网络的输出之间的间隔可能变得不规则，大于在原始 媒体分组之间的间隔，从而导致以突发形式(块形式)的分组输出。
随着时间变化的媒体分组的提供密度的具体示例包括以VBR(可 变位速率)编码的视频和音频流的情况以及其中在网络上重新传输数 字广播软件中忽略了数据的冗余部分以降低在网络上的负载的情况 (例如在MPEG2-TS中没有零(null)的情况中)。
上述两种情况存在抑制在网络上的平均带宽(band)的作用，但 是趋向于在采用上述FEC时在緩冲存储器中造成溢出或下溢，因为采 用突发形式的分组在接收端上被接收。如杲出现溢出或下溢，则视频 和音频中断。为了防止该中断，可想到的方法在于增大緩冲存储器的 容量，但是该方案增加了到达真实再现的时间周期，从而导致有问题 的延迟和可操作性。
要指出的是，与本发明相关的现有技术包括在以下专利文献l和 2中所述的那些技术。这些文献的公开内容没有描述检测自从媒体分 组的有效负载已经开始存储到緩沖存储器中开始的时间段是否到达一 定时间或者检测在检测时刻的状态中的任意处理的性能。 JP-A 2005-136546(KOKAI)
[专利文献2j JP-A 2001-86153(KOKAI)

发明内容
本发明的目的在于提供用于恢复在以分组形式传输流信息时出 现的分组损失的FEC编码方法、FEC解码方法和FEC解码设备，它 们即使在其中分组的供给密度随着时间变化时也能够避免以突发形式 输出。
作为本发明一个方面的FEC编码方法包括将包括在顺序提供 的媒体分组中的每个有效负载顺序存储到緩冲存储器中；检测存储到 緩冲存储器中的有效负载数量是否达到规定数量，或者检测自从有效 负载已经能够开始存储到緩冲存储器中开始的时间段是否达到一定时 间段；在检测到存储到緩冲存储器中的有效负载数量达到规定数量时，
采用存储到緩沖存储器中的规定有效负栽数量进行FEC操作以产生 出用于FEC的第一信息；在检测到自从有效负载已经能够开始存储到 緩冲存储器中开始的时间段达到一定时间段时，采用存储到緩冲存储 器中的有效负载进行FEC操作以产生出用于FEC的第二信息；将第 一信息与对应于该第 一信息的媒体分组一起输出；并且将第二信息与 对应于该第二信息的媒体分组一起输出。
换句话说，在FEC编码方法中，提供了用于FEC操作的规定数 量媒体分组，从而产生出用于FEC的第一信息，并且另外可以进行随 后的处理。更具体地说，在自从媒体分组的有效负栽已经能够开始存 储到緩冲存储器中开始的时间段达到一定时间段时，采用所存储的有 效负载进行FEC操作，直到产生出用于FEC的第二信息。然后，将 第一信息与对应于该第一信息的媒体分组一起输出，并且将第二信息 与对应于该第二信息的媒体分組一起输出。
因此，即使在将规定数量的有效负栽存储到緩冲存储器中之前的 一定时间段内也可以进行FEC操作，并且作为操作结果的第二信息可 以和与之对应的媒体分组一起顺序输出。因此，即使在原始媒体分组
的供应密度随着时间变化的情况下，也能够避免出现以突发形式的输 出。
另外，作为本发明另一个方面的FEC编码方法包括将包括在
顺序接收的媒体分組中的每个有效负载顺序存储在緩沖存储器中的第 一位置处；将所接收的要附加于一组媒体分组的用于FEC的信息顺序 存储在緩冲存储器中与第一位置不同的第二位置处；从存储到緩冲存 储器中的第二位置处的用于FEC的信息中检测这组媒体分组的分组 数量；在将与所检测的分组数量对应的有效负载数量存储在緩冲存储 器中的第一位置处时，检测在要存储在緩冲存储器中第一位置处的一
部分有效负载中是否出现损失；并且当在要存储在緩冲存储器中第一 位置处的一部分有效负载中出现了损失时，采用存储到緩冲存储器中 第一位置处的现有有效负栽和存储到緩冲存储器中第二位置处的用于
FEC的信息进行FEC操作，以恢复该损失。 该FEC解码方法为与上述FEC编码方法对应的解码方法。更具 体地说，从存储在緩冲存储器中的第二位置处的用于FEC的信息中检 测出在一组中的媒体分组数量。当将与所检测出的分組数量对应的相
应有效负载数量存储在緩沖存储器中时，检测在要存储在緩冲存储器 中的第一位置处的一部分有效负载中是否出现了损失。另外，在存在
损失时，采用存储在緩冲存储器中的第一位置处的现有有效负载和存 储在第二位置处的用于FEC的信息进行FEC操作，以便恢复该损失。 根据该方法，与上述FEC编码方法对应，即使对于其中已经采用少于 规定数量的有效负载产生出用于FEC的信息的情况，也顺序进行FEC 编码。
另外，作为本发明再一个方面的FEC解码设备包括緩冲存储 器；第一控制单元，被配置为将包括在顺序接收的媒体分组中的每个 有效负栽顺序存储在緩冲存储器中的第一位置处；第二控制单元，被 配置为将所接收的要附加于一组媒体分组的用于FEC的信息存储在 緩冲存储器中与第一位置不同的第二位置处；第三控制单元，被配置 为从存储在緩沖存储器中第二位置处的用于FEC的信息中检测这组 媒体分组的分组数量；第四控制单元，被配置为在将与所检测的分组 数量对应的有效负载数量存储在緩冲存储器中的第一位置处时，检测
在要存储到緩沖存储器中第一位置处的一部分有效负载中是否出现损 失；以及第五控制单元，被配置为当在要存储到緩沖存储器中第一位 置处的一部分有效负载中出现了损失时，采用存储到緩冲存储器中第 一位置处的现有有效负载和存储在緩冲存储器中第二位置处的用于 FEC的信息进行FEC操作，以恢复该损失。
FEC解码设备位包括緩冲存储器和控制单元以实现上述FEC解 码方法的设备。
根据本发明，可以提供用于恢复在以分组形式传输流信息时出现 的分组损失的FEC编码方法、FEC解码方法和FEC解码设备，它们 即使在其中分组的供给密度随着时间变化的情况下也能够避免以突发
形式进行输出。


围l为一方框图，显示出根据一个实施方案用于实施FEC编码 方法和FEC解码方法的设备。
图2为一说明图，显示出产生出FEC分组的示例(在提供规定数 量媒体分组的情况中)。
图3A和3B为结构图，显示出媒体分组和FEC分组的内部数据 结构示例。
图4为一说明图，显示出产生出FEC分组的示例(在没有提供规 定数量的媒体分组的情况中)。
图5为一流程图，显示出在图1中所示的FEC设备(编码端)的操 作流程。
图6为一流程图，显示出在图1中所示的FEC设备(解码端)的操 作流程。
图7为一说明图，显示出产生出FEC分组的另一个示例(在提供 规定数量的媒体分组的情况中)。
图8为一说明图，显示出产生出FEC分组的另一个示例(在没有 提供规定数量的媒体分组的情况中)。
图9为一说明图，显示出产生出FEC分组的再一个示例(在提供 规定数量的媒体分组的情况中)。
图IO为一说明图，显示出产生出FEC分组的再一个示例(包括 没有提供规定数量的媒体分组的情况)。
图11为一说明图，显示出产生出包括FEC冗余数据的媒体分组 的示例(在提供规定数量的媒体分组的情况中)。
图12为一结构图，显示出包括FEC冗余数据的媒体分组的内部 数据结构示例。
图13为一说明图，显示出产生出包括FEC冗余数据的媒体分組 的示例(在没有提供规定数量的媒体分组的情况中)。
图14为一流程图，显示出与图11和13对应的在图1中所示的FEC设备(编码端)的操作流程。
图15为一流程图，显示出与图11和13对应的在图1中所示的 FEC设备(解码端)的操作流程。
具体实施方式
(实施方案的说明)
下面将参照这些附图对本发明的实施方案进行说明，这些实施方 案只是用于举例说明并且决不是对本发明进行限定。
本发明的一种形式(FEC编码方法)能够如此构成，从而将关于用 在FEC操作中的存储到緩沖存储器中的有效负栽数量的信息进一步加 入到第二信息中。根据该形式，在解码端上能够很容易检测出在编码
外)的数量。
另外， 一种形式能够如此构成，从而另外将表示第二信息与第一 信息不同的信息加入到第二信息。根据该形式，可以很容易在解码端 上检测出没有使用规定数量的有效负载来进行在编码端上的FEC操作。
另外， 一种形式能够如此构成，从而采用存储到緩沖存储器中的 有效负栽和所填补的哑有效负载通过FEC操作进行第二信息的生成。 这是这样一种形式，其中将哑有效负载填补在緩沖存储器中以允许如 通常一样进行FEC操作。
这里还可能的是，在生成第二信息的FEC操作能够只是采用哑有 效负载进行时，不进行FEC操作，从而通过FEC操作获得的第二信息 没有产生出。这使得能够更有效地生成用于FEC的第二信息。
另外， 一种形式能够如此构成，从而第一和第二信息两者都生成 作为与媒体分組独立的FEC分组。这是这样一种形式，其中将由FEC 操作获得的第一和第二信息作为分组发送。
另外， 一种形式还能够这样构成，从而将第一和第二信息两者都 加入到分别与第 一和第二信息对应的媒体分组中。这是这样一种形式，
其中将由FEC操作获得的第 一和第二信息加入到媒体分组中。
本发明的一种形式(FEC解码设备)能够如此构成，从而第五控制 单元将哑有效负栽填补在緩冲存储器中的笫一位置处，在那里没有出 现损失并且还没有存储任何有效负载，并且进行FEC操作。这是这样 一种形式，其中与在编码端上填补哑有效负栽对应地进行FEC操作。 根据上面，下面将参照这些附图对本发明的实施方案进行说明。 图1为一方框图，显示出根据一个实施方案用于实施FEC编码方法和 FEC解码方法的设备的结构。信息从视频流服务器IO顺序送给FEC 设备(编码端20)、网络30、 FEC设备(解码端)40和视频流接收装置 50，由此从发送端将信息例如视频发送给接收端。
视频流服务器IO产生出包含有信息例如视频的媒体分组(其结构 将在后面描述)，并且将它们顺序提供给FEC设备(编码端)20。 FEC 设备(编码端)20存储有多个所提供的媒体分组，采用所存储的媒体分 组的有效负栽部分进行FEC操作(编码操作)，并且采用操作结果作为 FEC分组的有效负载部分产生出FEC分组。通过网络30将媒体分组 和所产生出的FEC分组发送给FEC设备(解码端)40侧和视频流接收 装置50。要指出的是，FEC设备(编码端)20可以结合在视频流服务器 10中。
网络30为没有保证的信息发送路径，例如因特网。从FEC设备 (编码端)20输出的媒体分组和FEC分组根据情况在网络30上发送期
间可能部分损失。
FEC设备(解码端)40顺序存储通过网络30发送的媒体分组和 FEC分組，从而如果在一部分4某体分组中存在损失，则该设备通过使 用剩余媒体分组的有效负载部分和FEC分组的有效负载部分进行 FEC操作(解码操作)来使该损失恢复。将通过恢复获得的媒体分组和 所存储的媒体分组提供给视频流接收装置50。视频流接收装置50从
所提供的媒体分組中再现视频信号和音频信号以便显示或音频输出。 要指出的是，FEC设备(解码端)40也能够结合在视频流接收装置50中。
FEC设备(编码端):JO具有接口 21、控制单元22、緩沖存储器23 和接口 24。
接口 21为用未接收从视频流服务器IO提供的媒体分组升且将它 们发送给控制单元22的接口。控制单元22用来采用緩冲存储器23 作为緩冲区域来进行FEC操作(编码操作)。更具体地说，控制单元22 进行以下处理，顺序保持通过接口 21发送的媒体分组、将在顺序保持 的媒体分组中的有效负载部分顺序存储在緩冲存储器23中的预定位 置处、使用存储在预定位置处的有效负载进行FEC操作以产生出用于 FEC分组的有效负载并且产生出包括用于FEC分组的所生成有效负 载的FEC分组。緩冲存储器23具有能够存储至少对于上述FEC操作 所需的所有有效负载的存储容量。
元22输出给接口 24。接口 24为用于从控制单元22将媒体分组和FEC 分组输出给网络30的接口。
FEC设备(解码端)40具有接口 41、控制单元42、緩沖存储器43 和接口 44。
接口 41为用来从网络30接收媒体分组和FEC分组并且将它们 提供给控制单元42的接口 。控制单元42用来采用緩冲存储器43作为 緩冲区域来进行FEC操作(解码操作)。
更具体地说，控制单元44进行以下处理，顺序保持通过接口 41 发送的媒体分组和FEC分组、将在顺序保持的媒体分组中的有效负载 部分顺序存储在緩冲存储器43中的第 一预定位置处、将在顺序保持的 FEC分组中的有效负载部分顺序存储在緩冲存储器43中的第二预定 位置处、并且当在媒体分组的所存储有效负载中存在损失时，通过使 用剩余有效负栽和存储在第二位置处的FEC分组的有效负载进行 FEC操作(解码操作)来恢复损失的有效负载。緩沖存储器43具有能够 存储至少对于上述FEC採作所需的所有有效负载的存储容量。
包括含有通过恢复获得的有效负载的分组的在控制单元42中的 :煤体分组从控制单元42输出给接口 44。接口 44为用来从控制单元42
将媒体分组提供给视频流接收装置50的接口 。
接下来将参照图2对在控制单元22中产生出FEC分组的实施例 进行说明。闺2为一说明图，显示出生成FEC分组的示例(在提供规 定数量的媒体分组的情况中)。
如图2所示，在该实施例中，媒体分组的有效负载部分如此存储 到緩冲存储器"中，从而十个有效负载按照其序列号的顺序安排在辟 度和经度方向的每一个中。更具体地说，在FEC操作中的规定数为 100。采用在每一行或每一列中的十个媒体分组的有效负载将FEC分 组的有效负载部分计算作为每一个FEC有效负载(rl至r10， cl至 c10)。在此说明书中，对于100个々某体分组加入20个FEC分组。
在该情况中，即使在由在每一行或每一列中的有效负载和加入到 其上的每个FEC有效负载构成的每11个有效负载的任一个中存在一 个损失时，在解码端上能够使用包括FEC有效负载的剩余有效负载恢 复这一个损失。因此，例如在某一行中存在两个或多个损失时，不能 一次恢复这些损失。
但是，在其中按每一列通过FEC操作(解码操作)恢复两个或多个 损失从而在该行中只有一个损失的状态中，如果再次进行每一行的 FEC操作(解码操作)，则能够恢复这一个损失。更具体地说，与这种 FEC操作(编码操作)对应的解码包括按照每一行、每一列和每一行(或 每一列、每一行和每一列)的顺序包括三个FEC操作(解码操作)。要指 出的是，由于用于这些操作的几个模式是公知的并且能够使用，所以 将省略这些FEC操作(编码操作和解码操作)的说明。
图3A和3B为结构图，显示出媒体分组和FEC分组的内部数据 结构示例。如图3A所示，媒体分组60由报头部分和有效负载部分构 成，并且报头部分由例如IP报头61、 UDP报头62和RTP报头63 构成。有效负载部分为RTP有效负载64。 RTP有效负载64用来产生 用于FEC分组的有效负载。
另外，如图3B所示，FEC分组70由报头部分和有效负载部分 构成，并且报头部分由例如IP报头71、 UDP报头72、 RTP报头73
和FEC才艮头74构成。有效负栽部分为FEC有效负栽75。通过使用 媒体分组(图3A)的多个(在图2中的该实施例中为10个)RTP有效负栽 64进行的搮作生成FEC有效负载75。 FEC报头74如后面所迷一样 保持着有关FEC操作(编码操作)的预定属性的信息。
接下来参照图4，将在其中没有提供规定数量的媒体分组的情况 中对在控制单元22中产生出FEC分组的实施例进行说明。图4为一 说明图，显示出产生FEC分组的示例(在没有提供规定数量的媒体分 组的情况中)。
如参照图2所述的一样，在该实施例中用来产生FEC分组的媒 体分组的规定数量为100。但是，如后面所述一样，如果在划分的一 定时间内没有给控制单元22提供规定数量的媒体分组，则使用直到目 前为止所存储的媒体分组的有效负载产生出FEC有效负载。
如图4所示，例如当现在将例如少于规定数量的27个媒体分组 提供给控制单元22直到预定时刻并且将其有效负载存储时，将哑有效 负载加入(填补)到如所示一样的剩余存储区域中，从而所填补的有效 负载也用来进行生成FEC有效负载的操作。在所示的序列号31和之 后的每一行中的FEC有效负载的生成这里可以省略。因为只是使用哑 有效负载进行操作，所以确定了该结果，并且当然不必发送包括其生 成被忽略的FEC有效负载的FEC分组。在该情况中，为27个媒体分 組将加入13个FEC分組(rl至r3和cl至c10)。
通过这种处理生成FEC有效负栽具有以下优点。这些FEC分组 在划分的时间段中生成，并且将媒体分组输出给网络30,从而即使在 原始媒体分组在时间方面的提供密度较低时，也能够根据该低密度顺 序输出这些媒体分组。因此，解决了在更低密度情况下进行发送中的 延迟增大的问题，并且基本上消除了所输出的分组形成突发的可能性。
另外，不能发送使用所填补的哑有效负载生成的分组和只使用哑 有效负载生成的FEC分組，以便使在网络30上的平均带宽的增大最 小。而且，如果使用少于规定数量的媒体分组生成FEC分组，则改善 了恢复媒体分组的损失的基本能力。这是因为，在确定所要填补的有 效负栽信息时，根据还能够进行哪个FEC操作(解码操作)在无需恢复 该损失的情况下能够在解码端上补足该损失。
要指出的是，虽然在前面摘迷了哑有效负载的填补，但是作为一 变化实施例，可以用哑有效负载填补有效负栽的存储区域作为其初始 状态。在该情况中，不必在每次提供媒体分组时用媒体分组的有效负 载重写存储区域。此外，也可以将通过包括只使用哑有效负载进行操 作而生成的FEC有效负载的FEC分组发送给网路30，其决不会妨碍 解码处理，因为它只需在解码端上丢弃它们，但是在网络30上的平均 带宽稍微增加。
图5为一流程图，显示出在图1中所示的FEC设备(编码端)20 的操作流程。该操作流程将再次随着时间进行说明，但是与上面的说 明有些重复。
首先，重置计时器(步骤SIOI)。该计时器例如设置在控制单元22 中。然后，在控制单元22的控制下，从自视频流服务器IO通过接口 21提供的并且存储到緩沖存储器23中的媒体分组提取有效负载部分 (步骤S102)。原始媒体分组也被保持。
在控制单元22的控制下检测出所存储的有效负载的数量是否达 到规定数量L或者从计时器重置开始是否已经经过了预定的时间段 (步骤S103)。如果都不能检测出(在步骤S103中为No),则该流程返 回到步骤S102，其中将从视频流服务器10提供的媒体分组的有效负 载部分连续存储到緩冲存储器23中。
在所存储的有效负载的数量达到规定数量L时(在步骤S103中的 "规定数量")，则采用存储到緩冲存储器23中的有效负载进行FEC操 作(编码操作)以生成FEC有效负载和FEC分组(步骤107;参见图2)。 将所生成的FEC分组和与之对应的Jf某体分组一起发送给接口 24侧。 另外，该流程返回到步骤IOI，并且重复上述处理步骤。
此外，在从计时器重置开始已经经过了一定时间段(在步骤103 中"已经经过了一定时间段")时，将在那时所存储的有效负载的数量保 持为N(步骤104)，并且将哑有效负载填补在緩冲存储器23中直到该
数量达到规定数量L(步骤S105)。如上面所述一样可以提前进行该填补。
然后，使用存储到緩沖存储器23中的有效负栽和哑有效负载进 行FEC操作(编码操作)以产生出FEC有效负载和FEC分组(步骤106: 参见图4)。更优选的是，FEC分组的所生成的FEC报头包括上述N 和表示已经进行了填补处理的信息(步骤S106)。如果在FEC报头中包 括有那些信息，则在解码端上能够很容易检测出它们。要指出的是， 即使在FEC报头中没有总是包括这种信息的情况下，也能够在解码端 上例如通过根据包括在每个分组的每个报头中的信息区分作为组发送 的分组并且获得在该组中的分组的总数来确定N。
将所生成的FEC分组和与之对应的々某体分组一起发送给接口 24 侧(步骤108)。另外，该流程返回到步骤101,并且重复上述处理步骤。
图6为一流程图，显示出在图1中所示的FEC设备(解码端)的操 作流程。该流程将再次随着时间进行说明，但是也在一定程度上与上 面的说明重复。
首先，在控制单元42的控制下，将顺序接收到的媒体分组和FEC 分组这两个分组的有效负载部分存储到緩冲存储器"中(步骤201)。 将媒体分組的有效负栽部分存储在用于它们的存储区域(第一位置) 中，并且将FEC分组的有效负载部分存储在用于它们的存储区域(第
二位置)中。
在那时的存储一直进行到媒体分組的数量达到规定数量L，或者 媒体分组的数量达到N，该N作为当在FEC报头中同样包括填补处 理的信息时其信息记录在FEC报头中的数量。但是，即使在这种信息 没有包括在FEC报头中的情况下，也能够例如通过根据包括在每个分 组的每个报头中的信息区分作为组发送的分组并且获得在该组中的分 组的总数来确定N。
然后，在该存储一直进行到媒体分组的数量在緩冲存储器43中 达到N的情况中，在緩冲存储器43中的剩余存储区域中将哑有效负 载填补到规定数量L上(步骤202)。如在编码中一样该填补可以提前
进行。
然后采用存储到緩沖存储器43中的有效负载(任选包括填补的那 些)进行FEC操作(解码操作)，由此恢复所损失的媒体分组(步骤203)。 包括其损失已经恢复的媒体分组的媒体分组通过接口 44发送给视频 流接收装置50(步骤204)。另外，该流程返回到步骤201并且重复上 述解码处理步骤。
接下来将参照图7对在控制单元22中生成FEC分组的另一个示 例进行说明。图7为一说明图，显示出生成FEC分组的另一个示例(在 提供了规定数量媒体分组的情况中)。
在该示例中，通过使用在每一行或每一列中的媒体分组的十个有 效负载进行操作将FEC分组的每个有效负载部分计算作为两个FEC 有效负载。在此说明书中，对于100个媒体分组加入40个FEC分组， 因此恢复分组损失的能力高于参照图2所述的能力。更具体地说，即 使在由在每一行或每一列中的有效负载和加入在其上的FEC有效负 栽构成的12个有效负载中存在任意两个损失时，也能够使用包括FEC 有效负载的剩余有效负载恢复这些损失。同样，在改善恢复分组损失 的能力的另 一种可能的方案中，使用在每一行或每一列中的十个有效 负载进行操作以计算出两个以上FEC有效负载，由此产生出FEC分 组。
图8为一说明图，显示出产生出FEC分组的另一个实施例(在没 有提供规定数量媒体分组的情况中)。这是在其中进行如图7所示的 FEC分组生成但是没有提供规定数量的媒体分组的情况中在控制单 元22中生成FEC分组的实施例。
参照图4和7，它们具体显示出图8。也就是说，哑有效负载的 填补、只是按哑有效负载省略FEC有效负载的生成以及省略发送这些 FEC分组如上面所述一样。另外，这些效果例如消除所输出分组形成 突发的可能性、减小在网络30上平均带宽增大的能力以及改善在使用 少于规定数量的媒体分组生成FEC分组时恢复媒体分组损失的基本 能力方面也如上述一样。 另外，参照图6的说明等能够^艮容易理解与其中进行如图7和8 所示的FEC操作(编码操作)的情况对应的在解码端上的FEC操作。
接下来，将参照图9对在控制羊元22中生成FEC分组的另一个 实施例进行说明。图9为一说明图，显示出生成FEC分组的再一个实 施例(在提供了规定数量的媒体分組的情况中)。在该实施例中，将媒 体分组的有效负载部分存储到緩沖存储器23中，从而按照其序列号的 顺序布置十个有效负栽。也就是说，在FEC操作中的规定数量为10。 采用十个媒体分组的有效负载将FEC分组的有效负载部分计算成一 个FEC有效负载。
在该情况中，即使在由十个媒体分组的有效负载和加入到其上的 FEC有效负栽构成的11个有效负载的任一个中存在一个损失，则也 能够使用包括FEC有效负载的剩余有效负载恢复该一个损失。因此， 在这ll个有效负载中存在两个或多个损失时，不能够恢复这些损失。 在这个意义上，在该实施例中恢复损失的能力小于在如图2中所示的 在綷度和经度上生成FEC有效负载的方法中的能力。但是，緩沖存储 器23(类似于在解码端上的緩冲存储器43)能够具有较小的存储容量， 并且可以应用在简单设备中。
图IO为一说明图，显示出生成FEC分組的再一个实施例(包括 没有提供规定数量媒体分组的情况)。这是在其中进行如图9所示的 FEC分组生成但是没有提供规定数量媒体分组的情况中在控制单元 22中生成FEC分组的实施例。
在图10中，针对图9的说明适用于前十个媒体分组和下面十个 媒体分组的有效负载部分。对于它们之后的十个媒体分组的有效负载 部分，没有提供规定数量的媒体分组，但是在该情况中提供了 7个媒 体分组。其它说明通过参照图9和图4充分说明。也就是说，哑有效 负栽的填补如上面所述的一样。另外，其效果例如消除所输出分组形 成突发的可能性、减小在网络30上平均带宽增大的能力以及改善在使 用少于规定数量的媒体分組生成FEC分组时恢复媒体分组损失的基 本能力方面也如上述一样。
另外，参照针对图6的说明也能够很容易理解与其中已经进行如 图9和10所示的FEC操作(编码操作)的情况对应的在解码端上的FEC 捧作。即使对于其中已经在发送端上进行了如图2和图4所示的绵度 和经度FEC操作(编码操作)的情况，也可以将在该情况中在解码端上 的FEC操作用作简单的处理。
接下来，图ll为一说明图，显示出生成包括FEC冗余数据的媒 体分组的实施例(在提供了规定数量的媒体分组的情况中)。在上述实 施例中，用来进行FEC的信息以独立FEC分组形式生成。该情况釆 用了这样一种形式，其中用来进行FEC的信息加入到每个媒体分组 上。
如图ll所示，例如在概念上，将如图2所示的FEC有效负栽的 计算结果当作过程中数据，并且将它划分以形成加入到用于计算的有 效负载的每一个上的冗余数据。将这些数据作为编码结果发送给网络， 从而能够将所加入的FEC冗余数据收集在解码端上以再现这些FEC 有效负栽。在再现之后的处理与前面所述的一样。
图12为一结构图，显示出包括这种FEC冗余数据的媒体分组的 内部结构示例。如图12所示，加入有FEC冗余数据的媒体分组80 由报头部分、有效负载部分和一部分FEC冗余数据81构成，并且报 头部分由例如IP报头61、 UDF报头62和RTP报头63构成。有效负 载部分为RTP有效负载64。有效负载64用来产生出那部分FEC冗 余数据81。
图13为一说明图，显示出生成包括FEC冗余数据的媒体分组的 实施例(在没有提供规定数量媒体分组的情况中)。这是在其中进行如 图11所示的FEC冗余数据添加但是没有提供规定数量媒体分组的情 况中生成分组的实施例。如图13所示，这是这样一个实施例，其中例 如现在将少于规定数量的27个媒体分组提供给控制单元27直到预定 时刻，并且存储其有效负栽。
在该情况中，如图所示，采用所存储的有效负载，针对添加FEC 冗余数据产生出过程中数据。这样做的原因在于，可以将有效负载填 补到满足规定数量所需的部分上，从而所填补的有效负栽也可以用来 产生出过程中数据，但是在该情况中通过填补产生出的有效负载不是
发送对象，从而不能加入FEC冗余数据。更具体地说，只使用所存储 的有效负载来计算出更小的过程中数据，并且将所计算出的过程中数 据划分并且加入到所存储的有效负载上。
通过这种处理生成媒体分组(加入有FEC冗余数据)还包括以下 优点。也就是说，在划分的时间段中产生出FEC冗余数据，并且将媒 体分组(添加有FEC冗余数据)输出给网络30,从而即使在原始媒体分 组在时间方面的提供密度较低时，也能够根据该低密度顺序输出媒体 分组(添加有FEC冗余数据)。因此，解决了在更低密度情况下进行发 送中延迟增大的问题，并且基本上消除了所输出的分组形成突发的可 能性。还可能使在网络30上的平均带宽增大最小。
图14为一流程图，显示出与图11和图13对应的在图1中所示 的FEC设备(编码端)的操作流程。该操作流程将还是随着时间进行说 明，但是在一定程度上与针对图11和图13的说明重叠。此外，在图 5中已经提及的在图14中的处理方框给予相同的标号和符号。它们的 说明可以省略。
步骤IOI、 102、 103和104与在图5的说明中的那些相同。在步 骤103中，在所存储的有效负载数量达到规定数量L(在步骤103中的 "规定数量")时，采用存储到緩冲存储器23中的有效负栽进行FEC操 作(编码操作)以产生出媒体分组(加入有FEC冗余数据)(步骤307:参 见图11)。将所生成的媒体分组(加入有FEC冗余数据)发送给接口 24 側(步骤308)。另外，该流程返回到步骤101，并且重复上迷处理步骤。
此外，在从计时器重置开始已经经过了一定时间段(在步骤103 中"已经经过了一定时间段")时，将在那时所存储的有效负载的数量保 持为N(步骤104),并且生成FEC冗余数据并将它加入到每个媒体分 组中(步骤305:参见图13)。更优选的是，所加入的FEC冗余分组括 上述N和已经进行了先前移动处理的信息(步骤305)。如果那些信息 包括在FEC冗余数据中，则很容易在解码端上检测出它们。要指出的
是，即使在不必包括这种信息的情况下，也可以在解码端上例如通过 根据包括在每个分组的每个报头中的信息区分作为组发送的分组并且
获得在该組中的分組的总数来确定N 。
将加入有FEC冗余数据的媒体分组发送给接口 24侧(步骤308)。 另外，该流程返回到步骤101，并且重复上述处理步骤。
图15为一流程图，显示出与图11和图13对应的在图1中所示 的FEC设备(解码端)的操作流程。该操作流程将还是随着时间进行说 明，但是在一定程度上与针对图11和图13的说明重叠。此外，在图 6中已经提及的在图14中的处理方框给予相同的标号和符号。它们的 说明可以省略。
首先，在控制单元42的控制下，将顺序接收到的媒体分组(加入 有FEC冗余数据)的有效负载部分和FEC冗余数据部分存储到緩沖存 储器中(步骤401)。将有效负载部分存储在用于它们的存储区域中(第 一位置)，并且将FEC冗余数据部分存储在用于它们的存储区域(第二 位置)中。
在那时的存储一直进行到媒体分組的数量达到规定数量L，或者 直到媒体分组的数量达到N,该N作为当在FEC冗余数据中同样包 括先前移动处理的信息时其信息记录在FEC冗余数据中的数量。但 是，即使在这种信息没有包括在FEC冗余数据中的情况下，也能够例 如通过根据包括在每个分组的每个报头中的信息区分作为组发送的分 组并且获得在该组中的分组的总数来确定N 。
然后，使用存储到緩沖存储器43中的数据来进行FEC操作(解 码操作)以恢复损失的有效负载，由此恢复所损失的媒体分组(步骤 402)。通过接口 44将包括其损失已经恢复的媒体分组的媒体分组发送 给视频流接收装置50(步骤204)。另外，该流程返回到步骤401并且 重复解码处理的上述步骤。
下面对本发明的实施方案进行补充说明。对于接收分組、FEC操 作和在FEC设备(编码端)20和FEC设备(解码端)40中分組发送的功 能而言，可以分别设置多条通道，从而它们能够并行处理。另外，能
够例如根据恢复分组损失的能力的技术规范来确定规定数量L，并且 例如考虑在视频流接收装置50中可允许的信息延迟时间和网络30的 质量来确定上述"一定时间段"。
本发明不限于在这里例举说明的那些具体形式，要理解的是，在 其中包括了没有脱离以下权利要求的范围的情况下的所有变化和变 型。
权利要求
1.一种FEC编码方法，包括将包括在顺序提供的媒体分组中的每个有效负载顺序存储到缓冲存储器中；检测存储到缓冲存储器中的有效负载数量是否达到规定数量，或者检测自从有效负载已经能够开始存储到缓冲存储器中开始的时间段是否达到一定时间段；在检测到存储到缓冲存储器中的有效负载数量达到规定数量时，采用存储到缓冲存储器中的规定有效负载数量进行FEC操作以产生出用于FEC的第一信息；在检测到自从有效负载已经能够开始存储到缓冲存储器中开始的时间段达到一定时间段时，采用存储到缓冲存储器中的有效负载进行FEC操作以产生出用于FEC的第二信息；将第一信息与对应于该第一信息的媒体分组一起输出；并且将第二信息与对应于该第二信息的媒体分组一起输出。
2. 如权利要求1所述的方法，还包括向第二信息加入有关存储到緩沖存储器中的有效负载的数量的 信息，所述有效负载在FEC操作中用来产生出第二信息。
3. 如权利要求1所述的方法，还包括向第二信息加入有关第二信息与第 一信息不同的信息。
4. 如权利要求1所述的方法，其中由使用存储到緩冲存储器中的 有效负载以及填补的哑有效负载的FEC操作引起第二信息的生成，直 到到达规定数量为止。
5. 如权利要求1所述的方法，其中第一信息和第二信息两者生成 作为与所提供的々某体分组独立的FEC分组。
6. 如权利要求1所迷的方法，其中第一信息和第二信息两者分别 加入到与之对应的所提供的媒体分组上。
7. —种FEC编码方法，包括 将包括在顺序接收的媒体分组中的每个有效负载顺序存储在緩冲存储器中的第一位置处；将所接收的要附加于一组媒体分组的用于FEC的信息顺序存储 在緩冲存储器中与第 一位置不同的第二位置处；从存储到緩冲存储器中的第二位置处的用于FEC的信息中检测 这组媒体分组的分组数量；在将与所检测的分组数量对应的有效负栽数量存储在緩冲存储 器中的第一位置处时，检测在要存储在緩冲存储器中第一位置处的一 部分有效负载中是否出现损失；并且当在要存储在緩沖存储器中第一位置处的一部分有效负载中出 现了损失时，采用存储到緩冲存储器中第一位置处的现有有效负载和 存储到緩冲存储器中第二位置处的用于FEC的信息进行FEC操作， 以恢复该损失。
8. —种FEC解码设备，包括 緩冲存储器；第一控制单元，被配置为将包括在顺序接收的媒体分组中的每个 有效负载顺序存储在緩冲存储器中的第一位置处；第二控制单元，被配置为将所接收的要附加于一组媒体分组的用于FEC的信息存储在緩冲存储器中与第一位置不同的第二位置处； 第三控制单元，被配置为从存储在緩冲存储器中第二位置处的用于FEC的信息中检测这组媒体分组的分组数量；第四控制单元，被配置为在将与所检测的分组数量对应的有效负载数量存储在緩沖存储器中的第一位置处时，检测在要存储到緩冲存储器中第一位置处的一部分有效负载中是否出现损失；以及第五控制单元，被配置为当在要存储到緩冲存储器中第一位置处的一部分有效负载中出现了损失时，采用存储到緩冲存储器中第一位置处的现有有效负载和存储在緩冲存储器中第二位置处的用于FEC 的信息进行FEC操作，以恢复该损失。
9. 如权利要求8所述的设备，其中所述第五控制单元被配置为将 哑有效负栽填补到在緩冲存储器中还没有出现损失并且还没有存储任 何有效负栽的第 一位置处，并且使用现有的有效负载以及哑有效负载和用于FEC的信息进行FEC操作。
全文摘要
披露了一种FEC编码方法，它包括将包括在顺序提供的媒体分组中的每个有效负载顺序存储到缓冲存储器中；检测存储到缓冲存储器中的有效负载数量是否达到规定数量，或者检测自从有效负载已经能够开始存储到缓冲存储器中开始的时间段是否达到一定时间段；在检测到存储到缓冲存储器中的有效负载数量达到规定数量时，采用存储到缓冲存储器中的规定有效负载数量进行FEC操作以产生出用于FEC的第一信息；在检测到自从有效负载已经能够开始存储到缓冲存储器中开始的时间段达到一定时间段时，采用存储到缓冲存储器中的有效负载进行FEC操作以产生出用于FEC的第二信息；并且将第一和第二信息和与之对应的媒体分组一起输出。
文档编号H04L12/56GK101098209SQ20061016858
公开日2008年1月2日 申请日期2006年12月21日 优先权日2006年6月28日
发明者坂本典哉, 川田宏, 春山秀朗 申请人:株式会社东芝