用于在广播和通信系统中发送和接收分组的方法和装置与流程

本发明涉及一种用于在广播和通信系统中使用应用层前向纠错方案发送和接收分组的方法和装置。

背景技术：

通信系统中的各种内容的多样化和高容量内容(诸如高清晰度(HD)内容和超高清晰度(UHD)内容)的增长越来越加剧了数据拥塞。这种情况使得从发送方(例如，主机A)发送的内容被异常地递送到接收方(例如，主机B)，并且内容中的一些在路由上丢失。

通常，数据以分组发送，并且因此内容丢失以分组发生。该分组由用于传输(有效载荷)、地址信息(例如，发送方地址、目的地地址)和控制信息(例如，报头)的数据的块组成。相应地，如果在网络中发生分组丢失，则接收器可能不能够接收到丢失的分组，并且从而可能不知道在丢失的分组中的数据和控制信息。这给用户带来各种不便，诸如音频质量的恶化、视频质量的恶化或屏幕冻结、字幕遗漏、文件丢失等。

由于这个原因，为了修复已经在网络中发生的数据丢失，需要应用层前向纠错(AL-FEC)，并且为此，需要重建和发送或接收FEC分组的方法。

同时，随着广播和通信的融合推进，通过各种媒体的多媒体服务正变得常见。换句话说，使用诸如陆地、卫星、电缆等之类的现有广播媒体的服务是数字多样化的，并且同时，诸如数字多媒体广播(DMB)、手持数字视频广播(DVB-H)和高级电视系统委员会-移动/手持(ATSC-M/H)等之类的移动广播服务以及像互联网协议TV(IPTV)和智能TV的融合服务正在出现。此外，最近讨论准备ATSC 3.0标准，并且存在对在广播网络和互联网的混合网络环境中提供适应各种终端和变化的信道状态的最佳服务的技术的需求。

技术实现要素：

技术问题

本发明的目的是提供一种用于当使用在混合网络系统中的多个网络发送分组时在短时间内有效地发送分组的方法和装置。

本发明另一目的是提供一种用于当使用在混合网络系统中的多个网络发送AL-FEC分组时减少传输延迟并可靠地发送分组的方法和装置。

本发明又一目的是提供一种用于促进使用在混合网络系统中的多个网络发送的接收的AL-FEC分组的快速再现的方法和装置。

技术方案

根据本发明一方面，提供一种用于在广播和通信系统中发送分组的方法。该方法包括：通过用纠错码编码源分组而生成修复分组，以及通过第一网络发送源分组并且通过第二网络发送修复分组，其中，根据第一网络的最大传输延迟确定修复分组的数量。

根据本发明另一方面，提供一种用于在广播和通信系统中接收分组的方法。该方法包括：接收服务信令，通过第一网络接收源分组并且通过第二网络接收修复分组，以及使用修复分组恢复和解码源分组，其中，根据第一网络的最大传输延迟确定修复分组的数量。

根据本发明另一方面，提供一种用于在广播和通信系统中发送分组的装置。该装置包括：用于通过用纠错码编码源分组而生成修复分组的纠错编码器，用于通过第一网络发送源分组并且通过第二网络发送修复分组的收发器，以及用于控制纠错编码器和收发器的控制器，其中，根据第一网络的最大传输延迟确定修复分组的数量。

根据本发明另一方面，提供一种用于在广播和通信系统中接收分组的装置。该装置包括：用于接收服务信令、通过第一网络接收源分组并且通过第二网络接收修复分组的收发器，用于使用修复分组恢复和解码源分组的纠错解码器，其中，根据第一网络的最大传输延迟确定修复分组的数量。

附图说明

图1A和1B示出网络拓扑和数据流；

图2示出根据本发明一实施例的MPEG媒体传输(MMT)系统配置；

图3示出根据本发明一实施例的MMT系统中的应用层FEC(AL-FEC)架构；

图4A至4E是根据本公开一实施例的混合网络环境的示范性协议栈；

图5示出根据本发明一实施例的在混合网络环境中使用两个网络发送FEC分组的示例；

图6A和6B示出在混合网络环境中的假设的接收器缓冲器模型(Hypothetical Receiver Buffer Model,HRBM)的示范性操作；

图7A至图7C示出根据本公开实施例的用于分组保护的修复分组格式；

图8示出根据本公开一实施例的在发送器端的分组发送过程；

图9示出根据本公开一实施例的在接收器端的分组接收过程；

图10是根据本公开一实施例的发送设备的示意性框图；以及

图11是根据本公开一实施例的接收设备的示意性框图。

具体实施方式

现在将参考附图详细描述本发明的实施例以便由本领域普通技术人员容易地实施。然而，本发明可以以许多不同的形式实现，并且不限于将在此讨论的实施例。

在图中，为了清楚起见，省略与描述无关的部件，并且相同的附图标记在整个说明书中指相同的元件。

术语“包括(或正包括)”或“包含(或正包括)”是包括性的或开放式的，并且不排除附加的未记载的元件或方法步骤。

此外，稍后将提到的术语通过考虑本发明的功能性来定义，但是可取决于用户或操作者的某些实践或意图而不同。相应地，在整个本说明书中应当基于描述进行术语的定义。

虽然为了便于解释，将在说明书中描述使用用于传输的MMT协议以及应用协议，但是本发明不限于此，而是甚至在使用其它协议(诸如TCP/IP、UDP/IP、HTTP等)时也可被应用。

在下表1中总结如在此使用的术语。

表1

在下面的描述中，术语“奇偶校验”和“修复”将可互换地使用。

图1A和1B示出网络拓扑和数据流。

参考图1A，网络拓扑包括作为发送器操作的主机A 102和作为接收器操作的主机B(108)，并且主机A 102和主机B 108经由一个或多个路由器104、106连接。主机A 102和主机B 108通过以太网118、122与路由器104、106连接，并且路由器104、106可通过光纤、卫星通信或其它可能的手段120彼此连接。主机A 102和主机B 108之间的数据流通过链路层116、互联网层114、传输层112和应用层110进行。

参考图1B，应用层130应用AL-FEC以创建用于传输的数据130。数据130可以是基于实时协议(RTP)而从在音频/视频(AV)编解码器中压缩的数据划分而来的RTP分组数据，或者基于MMT协议的MMT分组数据。数据130被传输层112转换成例如具有插入的用户数据报协议(UDP)报头的UDP分组132。互联网层114通过将IP报头附连到UDP分组132而生成IP分组134，并且链路层116通过将帧报头136并且如果需要的话将帧脚注附连到IP分组134而产生用于传输的帧116。

图2示出根据本发明一实施例的MPEG媒体传输(MMT)系统配置。

在图2的左边表示MMT系统配置，而在右边表示递送功能的详细结构。

媒体编码层205压缩并将音频和/或视频数据发送到封装功能层(E.层)210。

封装功能层210以类似于文件格式的形式对压缩的音频/视频数据进行分组，并且将其递送到递送功能层220。

递送功能层220或D.层使得来自封装功能层210的输出为MMT有效载荷格式，并且然后通过添加MMT传输分组报头而将其以MMT传输分组格式递送到传输协议层230。替代地，递送功能层220使用RTP协议而将来自封装功能层210的输出以RTP分组形式递送到传输协议层230。此后，传输协议层230将其转换成用户数据报协议(UDP)和传输控制协议(TCP)之中的传输协议，并将结果发送到IP层240。最后，IP层240将来自传输协议层230的输出转换成IP分组，并且使用IP协议发送IP分组。

控制功能层200或C.层管理呈现会话和递送会话。

同时，可应用FEC技术以帮助接收器恢复在网络中丢失的数据。具体地，源分组块由某个数量的具有不同长度的被称为源分组的数据分组组成，并且诸如奇偶校验数据或修复分组之类的修复信息可通过FEC编码而被添加到源分组块。如果在接收器中存在数据丢失，则可使用修复信息来执行解码。

图3示出根据本发明一实施例的MMT系统中的应用层FEC(AL-FEC)架构。

MMT应用310确定具有AL-FEC保护的MMT资产，并将其输入到MMT协议320。此外，MMT应用310将AL-FEC相关配置信息(FEC配置信息)输入到MMT FEC方案330。MMT协议320将输入的资源分组成MMT有效载荷(MMTP)，通过添加MMT分组报头而生成源分组，并且以具有预定数量的源分组的源分组块单元将它们输入到MMT FEC方案340。MMT FEC方案340根据给定的源码元块生成方法、基于从MMT应用310输入的FEC配置信息而从输入源分组块中的每一个生成源码元块。在这种情况下，根据本发明一实施例的源码元块生成方法是在FEC配置信息中给出的，并且如果根据本发明一实施例的源码元块生成方法在FEC配置信息中是显性的(explicit)，则MMT FEC方案330根据本发明的实施例生成源码元块。生成源码元块的MMT FEC方案330将其输入到FEC码340，FEC码340继而从输入源码元块生成奇偶校验(修复)码元块，并将奇偶校验(修复)码元块输入到MMT FEC方案330。MMT FEC方案330为源码元块和奇偶校验(修复)码元块生成FEC有效载荷ID，并将从FEC码340接收的奇偶校验(修复)码元输入到MMT协议320。使用输入的奇偶校验(修复)码元和FEC有效载荷ID，MMT协议320通过将源FEC有效载荷ID添加到源分组而生成FEC源分组，并且通过将修复FEC有效载荷ID以及进一步将MMT有效载荷报头和MMT分组报头添加到奇偶校验(修复)码元而生成FEC修复分组，并且然后经由诸如用户数据报协议(UDP)之类的传输层350而将分组发送到IP 360。为了便于解释，迄今为止已经描述了在源分组块中生成FEC源分组和FEC奇偶校验(修复)分组，但是在实际网络环境中，MMT协议320将生成的源分组输入到MMT FEC方案330，并且如果需要的话，分配源FEC有效载荷ID以直接生成和发送FEC源分组，并且一接收用于源分组块的最终源分组，MMT FEC方案330就将源分组存储在其内部存储器中并且从源分组块生成源码元块，并且FEC码340生成奇偶校验码元块并将生成的奇偶校验码元块输入到具有FEC有效载荷ID的MMT协议320，以生成并发送FEC奇偶校验(修复)分组。

在本发明的实施例中，当将在混合网络环境中发送FEC分组时，方案通过经由不同网络发送源分组和修复分组而提高传输效率和解码效率。

图4A至4E是根据本公开一实施例的混合网络环境的示范性协议栈。

在图4A中，401表示基于UDP/IP传送协议而通过广播网络发送MMT协议和AL-FEC所应用到的分组的路径，402表示基于TCP/IP传送协议而通过宽带网络以推形式发送MMT协议和AL-FEC所应用到的分组的路径，并且403表示基于TCP/IP传送协议而通过宽带网络以拉形式发送HTTP分组的路径。

在图4B中，411表示基于UDP/IP传送协议而通过广播网络发送MMT协议和AL-FEC所应用到的分组的路径，412表示基于UDP/IP传送协议而通过宽带网络发送MMT协议和AL-FEC所应用到的分组的路径，并且413表示基于TCP/IP传送协议而通过宽带网络以推形式发送MMT协议和AL-FEC所应用到的分组的路径，并且414表示基于TCP/IP传送协议而通过宽带网络以拉形式发送被应用AL-FEC的HTTP分组的路径。

图4C与图4B相同，除了AL-FEC被应用到MMT有效载荷格式而不是MMT协议。

图4D与图4C相同，除了AL-FEC被应用到MPU而不是MMT有效载荷格式。

图4E与图4D相同，除了HTTP被应用在路径441中发送的分组中而不是MMT有效载荷格式。

图5示出根据本发明一实施例的在混合网络环境中使用两个网络发送FEC分组的示例。

在图5中，假设当服务视频1、音频1和音频2时，从广播发送塔通过广播网络服务视频1和音频1，并且通过宽带网络从宽带服务器服务音频2。然而，本发明不限于此，并且数据可通过广播网络和宽带网络中的任何一个(这可被预先确定或者预先通知给终端)来发送。此外，在图5中，假设AL-FEC被应用到音频2。相应地，在发送器端生成用于音频2的源分组和修复分组。

同时，广播网络与宽带网络相比具有相对小的延迟和小的数据丢失率，而宽带网络具有相对大的延迟和大的数据丢失率。相应地，在本公开一实施例中，在发送用于音频2的分组的情况下，在用户请求时通过宽带网络发送源分组，同时通过不同于通过其发送源分组的网络的广播网络发送修复分组。

例如，如果宽带网络中的最大传输延迟是5秒，并且广播网络的最大传输延迟是2秒，则接收器在是宽带网络的最大传输延迟的5秒内接收源分组，并且使用通过广播网络接收的修复分组恢复在5秒内没有接收到的源分组。由于在通过其发送修复分组的广播网络的最大传输延迟是2秒，所以在接收所有源分组之前修复分组已经完全被接收到。相应地，接收器可能不等待是宽带网络的最大传输延迟的5秒，但是认为直到修复分组接收的完成还未被接收到的源分组丢失，并且使用接收的修复分组恢复丢失的源分组。

例如，在发送音频2的数据占1秒的情况下，如果90％的数据在从传输开始的2秒内到达并且剩余的10％在从传输开始的2到5秒内到达，则当用于音频2的最大传输延迟被设置为等于广播网络的最大传输延迟的2秒，并且用于音频2的修复分组将被生成时，关于恢复还未到达的10％的源分组的尽可能多的修复分组可被产生并通过广播网络来发送。接收器然后通过宽带网络接收90％的源分组达2秒，并且通过广播网络接收所有修复分组。在经过2秒之后还未接收的10％的源分组可使用已经接收的修复分组来恢复，并且从而数据可在2秒之后被解码和播放。这样，如果修复分组和源分组通过不同网络来发送，则需要通过考虑网络环境而适当地设置修复分组的数量和源分组的最大传输延迟。

现在将详细描述在发送器端设置宽带网络中的最大传输延迟和修复分组数量的示范性方法和操作。

在将通过宽带网络发送由1000个分组组成的音频2的10秒数据和由100个分组组成的音频2的1秒数据的情况下，如果在从1秒100个分组的传输开始的2秒内到达的分组的数量平均为80，并且在3秒内到达的分组的数量平均为90并且至少为80，则在HRBM消息中音频2的最大传输延迟被设置为2秒，并且在AL-FEC消息中音频2的FEC保护窗口时间被设置为1。此外，假定1秒100个分组被视为源分组，为了纠正少数的20个分组(即，在3秒内未到达的源分组的最大数量等于最大传输延迟+FEC保护窗口)，基于给定的纠错码来确定修复分组的数量，并且生成修复分组。然后发送HRBM消息、源分组和修复分组。

如果给定的纠错码是像RS码的最佳码，则可从100个源分组生成20个修复分组。如果除了最佳码之外的其它码(例如，LDPC、RaptorQ等)用于纠错码，则需要生成多于20个修复分组。假定由于物理层中的纠错码，广播网络在应用层中不是有损的，如果在广播网络的应用层中发生丢失，则应当考虑当将通过广播网络发送修复分组时的丢失率而生成更多的修复分组。

此外，涉及应用到音频2的AL-FEC的配置信息包括在AL-FEC消息中并且通过广播网络来发送，并且用于音频2的源分组和修复分组的最大传输延迟信息(max_transmission_delay)可在假设的接收器缓冲器模型(HRBM)消息中发送。HRBM消息用作发送关于发送器和接收器端之间的传输延迟以及用于广播环境中的有效操作的对接收器端的存储器要求的信息。

图6A和6B示出混合网络环境中的假设的接收器缓冲器模型(HRBM)的示范性操作。

参考图6A，发送器端的MMT层在时间t1内通过广播网络和宽带网络发送分组。由于广播网络和宽带网络的网络延迟(对于广播网络是x，对于宽带网络是a，并且x和a对于每个分组可能不同)，各个分组然后在时间t1+x，t1+a内到达各个接收器端的AL-FEC缓冲器。在各个接收器端的AL-FEC缓冲器中，执行FEC解码以在时间t1+x+y、t1+a+b内向各个去抖动缓冲器输出分组，并且在时间t1+x+y+z、t1+a+b+c内通过各个去抖动缓冲器消除抖动。这里，z表示在广播网络的去抖动缓冲器中的等待时间，并且c表示在宽带网络的去抖动缓冲器中的等待时间，其中z和c对于每个分组可能不同。x+y+z是通过将FEC保护窗口值与用于广播网络的HRBM消息的最大传输延迟相加而获得的值，并且a+b+c是通过将FEC保护窗口值与用于宽带网络的HRBM消息的最大传输延迟相加而获得的值。在图6A中，仅当x+y+z＝a+b+c时，可同步通过宽带网络发送的分组和通过广播网络发送的分组。

参考图6B，在时间t1内分别通过宽带网络和广播网络发送修复分组和源分组。由于广播网络和宽带网络的网络延迟(对于广播网络是x，对于宽带网络是a，并且x和a对于每个分组可能不同)，修复分组和源分组然后分别在时间t1+x、t1+a内到达各个接收器端的AL-FEC缓冲器。接收器端的AL-FEC缓冲器在通过考虑源分组的最大传输延迟(HRBM消息的最大传输延迟)确定的时间段以及根据本公开实施例确定的FEC保护窗口时间内接收到源分组和修复分组，并且恢复源分组，并通过去抖动缓冲器消除抖动。

图7A至7C示出根据本公开一实施例的用于分组保护的修复分组格式。

参考图7A，源分组(＝MMTP分组)包括MMT分组报头、MMT有效载荷报头、有效载荷(数据)。通过将可能的填充添加到源分组而生成源码元，在这种情况下，添加与在AL-FEC消息中给出的一样多或者与预定尺寸的修复码元不同的填充数据(全部是00H)。FEC修复分组包括MMT分组报头、FEC修复有效载荷ID以及通过从源码元块FEC编码生成的修复码元。

参考图7B，源有效载荷(＝MMT有效载荷)包括MMT有效载荷报头和有效载荷(数据)。通过将可能的填充添加到源有效载荷而生成源码元，在这种情况下，添加与在AL-FEC消息中给出的一样多或者与预定尺寸的修复码元不同的填充数据(全部是00H)。FEC修复分组包括MMT分组报头、FEC修复有效载荷ID以及通过从源码元块FEC编码生成的修复码元。

参考图7C，源有效载荷(＝MMT有效载荷)包括有效载荷(数据)。通过将可能的填充添加到源有效载荷而生成源码元，在这种情况下，添加与在AL-FEC消息中给出的一样多或者与预定尺寸的修复码元不同的填充数据(全部是00H)。FEC修复分组包括MMT分组报头、FEC修复有效载荷ID以及通过从源码元块FEC编码生成的修复码元。

图8示出根据本公开一实施例的在发送器端的分组发送过程。

参考图8，在810中，发送端首先基于将通过其发送分组的网络的条件而确定用于传输的数据的源分组和修复分组的最大传输延迟以及修复分组的数量，并且在820中将包括确定的信息的AL FEC消息和HRBM消息发送到接收器端。其然后生成用于传输的数据的源分组和修复分组，并且分别通过宽带网络和广播网络发送它们。

图9示出根据本公开一实施例的在接收器端的分组接收过程。

参考图9，在910中，接收器端接收服务信令或通告，并且识别出从发送器端通过服务信令或通告服务视频1、音频1和音频2。在920中，其还可接收AL-FEC消息和HRBM消息，并且获得用于视频1、音频1和音频2的FEC配置信息和最大传输延迟信息。在930中，接收器端通过宽带网络接收和缓冲音频2的源分组，并且同时通过广播网络接收和缓冲音频2的修复分组。基于用于预先通过HRBM消息获得的视频2的源分组和修复分组的最大传输延迟，接收器端接收源分组和修复分组达相应的时间段，并且认为在对应时间段内还未接收的源分组丢失。在940中，使用已经完全接收的修复分组，其恢复丢失的源分组并且然后解码恢复的音频2分组。

现在将更详细地描述解码过程。接收端从HRBM消息识别出音频2的最大传输延迟被设置为2秒，并且从AL-FEC消息识别出音频2的FEC保护窗口被设置为1秒，并且在FEC缓冲器中存储通过宽带网络接收的源分组。其还通过广播网络接收修复分组并将它们存储在FEC缓冲器中。如果接收的分组的总数是100或更多，其使用通过广播网络接收的修复分组来执行解码，以恢复还未接收的源分组。接收端输出在从各个源分组的传输开始的3秒之前接收的源分组。由于FEC保护窗口是1秒并且音频2的最大传输延迟是2秒，所以在3秒内接收至少80个源分组并且接收通过广播网络发送的20个或更多个修复分组中的大多数。相应地，接收总共100个或更多个分组使得能够解码。这可使得能够恢复还未接收的源分组(在3秒之后到达)。

图10是根据本公开一实施例的发送设备的示意性框图。

参考图10，发送设备1000包括收发器1010、FEC编码器1020和控制器1030。控制器1030基于将通过其发送分组的网络的条件而确定用于传输的数据的源分组和修复分组的最大传输延迟以及修复分组的数量，并且将包括确定的信息的AL FEC消息和HRBM消息发送到收发器1010。其然后生成用于传输的数据的源分组和修复分组，并且通过收发器1010、分别通过宽带网络和广播网络发送它们。FEC编码器1020为FEC编码所应用到的分组应用FEC编码。

图11是根据本公开一实施例的接收设备的示意性框图。

参考图11，接收设备1100包括收发器1110、FEC解码器1120和控制器1130。控制器1130通过收发器1110接收服务信令或通知，并且识别出从发送器端服务视频1、音频1和音频2。其可基于AL-FEC消息和HRBM消息而获得用于视频1、音频1和音频2的FEC配置信息和最大传输延迟信息。控制器1130缓冲通过宽带网络接收的音频2的源分组，并且同时缓冲通过收发器1110、通过广播网络接收的音频2的修复分组。基于用于通过HRBM消息预先获得的音频2的源分组和修复分组的最大传输延迟，控制器1130接收源分组和修复分组达相应的时间段，并且认为在对应时间段内还未接收的源分组丢失。使用已经完全接收的修复分组，FEC解码器1130恢复丢失的源分组，并且然后解码恢复的音频2分组。

从而将理解：可以进行各种修改而不脱离本发明的范围。从而，将对于本领域普通技术人员显而易见的是：该公开不限于所描述的实施例，而是可以不仅包括所附权利要求书，而且包括等同物。虽然已经参照本发明的某些示范性实施例示出和描述了该发明，但是将由本领域技术人员理解的是：可在其中进行形式和细节上的各种改变而不脱离如由所附权利要求及其等同物限定的本发明的精神和范围。