一种跨节点控制的在线视频流选择性重传方法

专利名称：一种跨节点控制的在线视频流选择性重传方法
技术领域：
本发明涉及图像通信领域，特别是涉及一种跨节点控制的在线视频流选择性重传 方法。
背景技术：
随着图像通信与宽带蜂窝通信技术(如演进中的B3G/4G蜂窝通信)的发展，基于 网络互连协议(Internet Protocol，简称“IP”)的蜂窝视频流应用正在逐渐兴起。不同于 基于离线视频编码的点播流式传输，蜂窝视频流的在线应用模式(简称“在线视频流”)是 在单个用户可以接受的启动延迟限制下，发送端一边在线编码单一视频，接收端一边予以 限时回放。高级视频编码与新一代宽带无线移动通信的发展为此类新型应用提供了可能， 但其差错控制面临更大的技术挑战。对于允许重传的双向蜂窝通信网络，整个系统可以分 为无线接入网和有线核心网两大部分，无线链路层需要将IP包进一步划分为更小的无线 链路单元。对于在线视频流，流基元是各通信节点之间可独立重传的最小传输单元，具体来 说，IP包是有线核心网的流基元，无线链路单元是无线接入网的流基元。伴随着视频编码中 日益复杂的空时预测技术，视频流对于不同流基元损失的敏感程度差异较大，从而造成不 同程度的视频降质。在蜂窝通信系统中，无线接入网部分是视频流可靠传输的瓶颈，因为它 比有线核心网具有更低的带宽和更高的误码率。视频流通过无线接入网后常出现突发的无 线链路单元损失，往往造成重建视频质量的严重下降。因此，在线视频流的差错控制是必须 解决的关键技术问题。众所周知，自动重传请求(Automatic Repeat Request，简称“ARQ”) 和前向纠错(Forward Error Correction，简称“FEC”)是两种基本的差错控制方式。在蜂 窝通信系统中，FEC适合于物理层的差错控制，目前常见的有RS码、LDPC码、Turbo码。在 物理层FEC提供基本的差错控制能力之后，ARQ方式可以在数据链路层或网络层灵活地增 强在线视频流的差错控制性能。对于允许一定延时的在线视频流而言，选择性重传技术是提高其差错控制性能的 一种有效措施，它需要将有限的传输资源，根据每个流基元的容错重要性差异，进行有效的 分配以取得重建质量的整体优化。视频流通常需要引入图像组(Group Of Pictures，简称 “G0P”)结构以便允许随机访问、差错控制和多媒体同步。在GOP级重要性分类中，I帧、P 帧和B帧通常具有递减的传输优先级，进一步地，可分级视频编码器根据预测关系可以产 生更多层次的传输优先级。但是，已有的优先级划分方法并没有考虑传输失真，无法实现无 线链路单元的重要性分类。因此，根据香农信源信道分离的相关理论，进行选择性重传的关 键则是有效地估计GOP级传输失真，以评估当前流基元在一个基本对象中的容错重要性。 一个流基元的GOP级传输失真可以采用重新编解码的分析_合成技术进行离线计算，但由 于计算量与实时性等限制因素，这种分析_合成技术难以应用于在线视频流。现有的选择 性重传仅能提供非常有限的容错重要性类型，如何在线地估计每个流基元的GOP级传输失 真，以实现无线链路单元精度的重要性划分和选择性重传，目前并未见到相关的技术文献。 作为典型的ARQ机制，混合自动请求重传(Hybrid-ARQ，简称“HARQ”)技术已用于3G高速分组接入(High-Speed Packet Access，简称“HSPA”)网络对无线链路单元的差错控制，但是 HARQ的数据链路层机制并没有考虑视频内容的差异性，无法区分不同无线链路单元的容错
重要性。 经过对同类现有技术的检索后发现，专利“使用单层编码和优先级区分流的无线 视频流”(公开号CN101073268 ；分类号H04N7)提出为每个编码视频帧分配一个优先级层 次，同时提出基于带宽限制将一些或全部视频帧根据它们的层次进行选择性的发送。该专 利仅给出了一种应用层的优先级划分与传输方法，无法应用到网络层或数据链路层的选择 性重传，所述优先级层次仅取决于一个GOP中的帧数量，无法应用于无线链路单元等较小 的流基元；该专利仅考虑了 GOP内前后帧之间的解码依赖关系，没有考虑重建视频的传输 失真，视频内容的非平稳特性导致上述方法并不能准确反映编码帧的实际优先级。近年来的研究表明，面向无线视频的跨层(Cross-layer)设计在一定程度上打破 了通信协议栈各层间的隔离，对各层的参数、状态信息等进行提取分析和信息共享，结合视 频内容进行优化判决和策略调整，实现资源的最优化配置及对信道波动的自适应，从而达 到全局性能最优。现有的跨层重传技术仍然局限于通信网络的两个节点之间进行，并没有 考虑更多通信节点之间的联合优化机制，难以适应单一视频流中非平稳的视频内容和突发 错误的信道状况。在多用户共享的蜂窝网络中，基站往往需要对多个视频流进行同时处理， 因此对于单一视频流仅支持低复杂度的重要性划分和选择性重传，基站希望发送端能够提 供某种协作处理机制来协助其降低计算量。因此在蜂窝通信系统中，需要针对在线视频流 提供一种结合信源和信道特性的优先级重传方法，以提高接收视频的重建质量。

发明内容
本发明所要解决的技术问题是提供一种跨节点控制的在线视频流选择性重传方 法，能够增强直播视频流的差错控制性能，从而有效提高接收视频的重建质量。本发明解决其技术问题所采用的技术方案是提供一种跨节点控制的在线视频流 选择性重传方法，包括以下步骤(1)根据启动及传输延时限制，发送端将在线编码的单一视频流划分为一个接一 个的延时约束帧集合(Delay-sensitive Frame Set，简称“DFS”)作为选择性重传的基本 对象；(2)发送端作为第一通信节点，首先执行基于容错重要性的包调度来为DFS提供 IP包的选择性重传；(3)基于IP包的重要性等级，基站作为第二通信节点，执行优先级递减的自动重 传请求方式来为DFS提供无线链路单元的选择性重传。所述的DFS是为单一视频流选择重传而划分出的视频帧分段，其中，每个延时约 束帧集合内包含有相等数量的视频帧；在发送端，每个视频帧被编码成P个IP包，P^l; 在基站，每个IP包被进一步封装成K个具有固定长度的无线链路单元，K^ I0所述的步骤(2)中的基于容错重要性的包调度包括以下步骤获取并储存边带信息；所述的边带信息包括打包方式、错误补偿方式、DFS长度和 即时编码结果；将来自于同一 DFS的IP包按编码顺序集合成一个编码队列Q ；
根据容错重要性测度确定各个IP包在所属编码队列Q中的相对重要性，并赋予每个IP包一个唯一的重要性等级；按照重要性等级递减的顺序对编码队列Q中的所有IP包进行重新排序，由此得到 一个新的重排队列Q'；将递增的实时传输协议序列号按重要性等级递减顺序依次分配给重排队列中的 IP包，并在同一调度时隙内按实时传输协议序列号递增的顺序将重排队列Q'发送出去。所述的步骤(3)中的基站包括网络层代理和链路层代理；所述的优先级递减的自 动重传请求方式中包括以下步骤通过所述的网络层代理接收重排队列Q'，并根据实时传输协议序列号恢复IP包 重排后的顺序，当重排队列Q'接收完成或调度时限达到时，所述的网络层代理通知所述的 链路层代理开始对重排队列Q'进行优先级递减的自动重传请求传输；链路层代理根据两步优先级判决规则将重排队列Q'进一步划分为具有不同优先 级的无线链路单元，并按照优先级递减的顺序依次对无线链路单元进行尝试性的发送；链路层代理在尝试发送一个无线链路单元前，将根据该无线链路单元的传输次数 上限决定是否予以发送。所述的容错重要性测度的计算方法如下如果根据边带信息能够计算GOP级传输 失真，那么GOP级传输失真越大的IP包的重要性等级越高；否则依据缺省顺序，I帧类型的 IP包、P帧类型的IP包和B帧类型的IP包分别对应高、中、低三种重要性等级，并且在同一 类型内先编码的IP包具有更高的重要性；所述的GOP级传输失真是IP包损失导致的已编 码帧的传输失真和未编码帧的传输失真相加后除以该IP包长度。所述的已编码帧的传输失真是IP包内所有像素在已编码帧中的像素级传输失真 之和；所述的像素级传输失真是像素补偿错误和错误扩散计数的乘积；所述的像素补偿错 误是发送端重建像素值与前一帧同一位置的重建像素值的绝对误差；所述的像素错误扩散 计数是在已编码帧中直接或间接参考该像素的总像素数，通过在已编码帧中迭代地累计该 像素所在预测链路上的像素数得到。所述的未编码帧的传输失真是IP包损失在未编码帧中错误扩散估计，通过分段 线性衰减模型或帧间宏块比例衰减模型得到；在所述的分段线性衰减模型中，从IP包所在 帧到后续运动补偿关联帧的帧级传输失真随时间呈现逐帧线性递减的衰减特性，其递减步 长通过对IP包之后已编码帧的帧级传输失真进行线性拟合得到；在所述的帧间宏块比例 衰减模型中，从IP包所在帧到后续运动补偿关联帧的帧级传输失真随时间呈现比例递减 的衰减特性，其递减比例因子通过统计最近已编码帧的帧间宏块比例得到；所述的运动补 偿关联帧是与该IP包所在帧具有直接或间接运动补偿预测关系的视频帧。所述的两步优先级判决规则用于为DFS中每个无线链路单元分配唯一的优先级， 包括以下两个规则规则一，属于更高重要性等级IP包的无线链路单元具有更高的优先 级；规则二，同一 IP包内的无线链路单元按编码顺序具有递减的优先级。所述的传输次数上限是该无线链路单元的最大允许传输次数；如果该无线链路单 元的实际传输次数小于所述的传输次数上限，则发送该无线链路单元；否则，停止发送当前 DFS的无线链路单元，转而准备发送下一个DFS的无线链路单元。有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效 果在该方法中，在线视频流的主要通信节点能够分工协作，共同为不同通信层次的流基元 提供选择性重传机制，实现了无线链路单元级别的优先级传输。此外，容错重要性测度可用 于在线评估不同IP包在各种延时约束下的容错重要性，能够适应非平稳的视频内容。相比 于现有的选择性传输方案，本发明能够将单一视频流的传输失真转移到每个DFS中相对不 重要的部分，从而保护了同一 DFS中相对重要的部分，在延时和带宽限制下有效地改进了 在线视频流的整体重建质量


图1是本发明方法的在线视频流系统架构及其主要通信节点示意图；图2是本发明的DFS结构示意图；图3是本发明的基于容错重要性的包调度的功能块示意图；图4是本发明的重要性归类模块所采用的GOP级传输失真的示意图；图5是本发明中优先级递减的ARQ的工作流程图；图6是本发明方法的应用示意图。
具体实施例方式下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明 而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人 员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定 的范围。本发明涉及一种跨节点控制的在线视频流选择性重传方法，能够增强在线视频流 的差错控制性能，包括以下步骤在线编码的单一视频流首先进入发送端，编码帧序列根据 启动及传输延时限制被划分为一个接一个的DFS，作为选择性重传的基本对象；发送端根 据容错重要性测度来确定DFS中不同IP包的重要性等级，并且通过基于容错重要性的包 调度来提供IP包的选择性重传；进一步地，基站根据两步优先级判决规则确定DFS中不同 无线链路单元的优先级，并且通过优先级递减的ARQ方式来提供无线链路单元的选择性重 传。图1是适用本发明方法的在线视频流系统架构及其主要通信节点，跨节点的选择 性重传由发送端和基站这两个通信节点共同完成。在线视频流来自于H. 264/AVC或MPEG-4 等采用运动补偿预测的编码器，发送端执行基于容错重要性的包调度来提供IP包的选择 性重传，在此基础上，基站执行优先级递减的ARQ来提供无线链路单元的选择性重传。图2是图1中DFS的结构示意图，DFS是为在线视频流选择性重传而划分出的一 个视频帧分段，以作为跨节点选择性重传的基本对象。为了表述简洁，图2、图4和图6中 视频流GOP的具体实现方式均不包括B帧类型。随着蜂窝网络带宽的增加，单一视频流的 整个传输延时大约几百毫秒乃至更低，随着处理器性能的提升，一个视频帧的实际编码时 间或解码时间越发低于33毫秒。单一视频流应用通常允许有大约几秒的启动延时，而在线 编码的视频帧间隔大约在33毫秒到100毫秒之间，因此每个DFS可以根据延时约束含有 若干视频帧，延时约束应当小于启动延时和传输延时之差。在给定的延时约束下，每个DFS含有相等数量的视频帧。在发送端，每一帧被编码成若干IP包；在基站，每个IP包被进一 步封装成若干无线链路单元。DFS与GOP为两个不同的概念。为了便于描述，DFS的长度 “N/ (Nd彡1)表示每个DFS的帧数量，图2中Nd等于3 ；“Ne”表示每个GOP的帧数量，其典 型值有12，24，15和30。Nd值可以大于Ne，这样一个DFS就包括多个GOP的帧。视频帧和 图像片按照编码顺序进行编号，“η” (η ^ 1)表示按照编码顺序递增的帧序号，视频帧η被 分割为“Mn” (Mn ^ 1)个图像片，“Pn,m”表示第η个视频帧的第“m” (1 ^ m ^ Mn)个图像片 所对应的IP包，“Sn,m”表示Pn,m包长度的字节数。在无线接入网中，Pn,m被分割为若干个具 有固定长度的无线链路单元，“Kn,m”表示Pn,m所含无线链路单元的个数，其值等于IP包长度 与无线链路单元长度的比值。 图3是图1中基于容错重要性的包调度的功能块示意图。对于在线视频流，编码器 与发送端是两个松耦合的通信节点。发送端利用边带信息提取模块获取并存储边带信息。 其中，边带信息包括打包方式、错误补偿方式、DFS长度和即时编码结果，这些信息将提供给 重要性归类模块。具体地，打包方式按照RFC 3894的分包规则，错误补偿方式采用前帧复制 的方式，DFS长度Nd根据当前应用所允许的延时约束来确定。编码器输出的IP包首先输入 到帧集合调度模块，该模块按照编码顺序将某一视频流划分为一个接一个的DFS，将来自同 一 DFS的IP包按照编码顺序集合成一个编码队列&{d4，2;…Pp,Mp ；……^ τ &ιt) (ρ彡η < “p+ND”)”。为了确定当前DFS中每个IP包的相对重要性，重要性归类模块需要 计算Pn,m的GOP级传输失真。“GTD(n，m) ”表示IP包Pn,m单独损失导致的GOP级传输失真， 即从第η帧到该GOP最后一帧的传输失真之和。图4是图3中重要性归类模块所采用的GOP级传输失真的示意图，一个IP包的损 失将导致传输错误在重建视频中扩散，直到该IP包所在GOP的最后一帧为止。如图4所示， 帧2中黑色矩形区域导致的错误能够在重建视频的时间和空间方向上进行扩散，直到出现 一个I帧消除这种影响为止。为了描述方便，“N。”表示当前DFS最后一个已编码帧的帧序 号，“Ng”表示Pn,m所在GOP的最后一帧的帧序号，Pn,m所在GOP可能全是已编码帧。帧N。之 前(包括帧N。)的传输失真需要分析边带信息提取模块提供的即时编码结果，帧N。之后的 传输失真则需要通过一定的预测模型估计得到。“GTDe(n，m) ”(η ^ Nc)表示IP包Pn,m损失 导致的已编码帧的传输失真，"GTDf (n, m)，，(n > Nc)表示IP包Pn,m损失导致的未编码帧的
传输失真。“、/’表示？吣中的一个像素，“^；’表示in,m在发送端的重建像素值，可从编码 器的编码环节中得到。绝对误差均值(简称“MAD”)是视频编码中常用的度量准则，其值越 小，表示性能越好。若N。小于Ng，表明GTD(n，m)包含已编码帧的传输失真和未编码帧的传 输失真；否则，GTD (n，m)仅包含已编码帧的传输失真。具体地，重要性归类模块根据式(1) 计算GTD (n，m)的值。
GTDin, m) + GTDin, m) ~^^——^^ (代 < Ng、
GTD{n,m>\γ(1)
(辦)
n,m进一步地，GTDe(n，m)是Pn,m内所有像素在已编码帧中的像素级传输失真之和。像素级传输失真是像素补偿错误与错误扩散计数的乘积像素补偿错误是发送端重建像素值 与前一帧同一位置的重建像素值的绝对误差；某一像素的错误扩散计数是在已编码帧中直 接或间接参考该像素的总像素数(包括该像素本身)，即通过跟踪已编码帧中最终指向该 像素的运动矢量信息，迭代地累计指向该像素的所有预测链路上的像素总数。“|1， -乙一” 表示像素in,m的补偿错误，"SRCk(in,ffl) ”表示in,m损失所导致的从帧η到帧k的错误扩散计 数，可通过迭代累积in,m所在运动补偿预测路径上的像素个数得到，两者都属于边带信息。 由于像素级传输失真在一个IP包内是可累加的，重要性归类模块根据式(2)计算GTDe(n， m)的值。
权利要求
一种跨节点控制的在线视频流选择性重传方法，其特征在于，包括以下步骤(1)根据启动及传输延时限制，发送端将在线编码的单一视频流划分为一个接一个的延时约束帧集合作为选择性重传的基本对象；(2)发送端作为第一通信节点，首先执行基于容错重要性的包调度来为延时约束帧集合提供IP包的选择性重传；(3)基于IP包的重要性等级，基站作为第二通信节点，执行优先级递减的自动重传请求方式来为延时约束帧集合提供无线链路单元的选择性重传。
2.根据权利要求1所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的延时约束帧集合是为单一视频流选择重传而划分出的视频帧分段，其中，每个延时约 束帧集合内包含有相等数量的视频帧；在发送端，每个视频帧被编码成P个IP包，P^l; 在基站，每个IP包被进一步封装成K个具有固定长度的无线链路单元，K^ I0
3.根据权利要求1所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的步骤(2)中的基于容错重要性的包调度包括以下步骤获取并储存边带信息；所述的边带信息包括打包方式、错误补偿方式和延时约束帧集 合长度和即时编码结果；将来自于同一延时约束帧集合的IP包按编码顺序集合成一个编码队列Q ；根据容错重要性测度来确定各个IP包在所属编码队列Q中的相对重要性，并赋予每个 IP包一个唯一的重要性等级；按照重要性等级递减的顺序对编码队列Q中的所有IP包进行重新排序，由此得到一个 新的重排队列Q'；将递增的实时传输协议序列号按重要性等级递减顺序依次分配给重排队列中的IP 包，并在同一调度时隙内按实时传输协议序列号递增的顺序将重排队列Q'发送出去。
4.根据权利要求1所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的步骤(3)中的基站包括网络层代理和链路层代理；所述的优先级递减的自动重传请求 方式中包括以下步骤通过所述的网络层代理接收重排队列Q'，并根据实时传输协议序列号恢复IP包重排 后的顺序，当重排队列Q'接收完成或调度时限达到时，所述的网络层代理通知所述的链路 层代理开始对重排队列Q'进行优先级递减的自动重传请求传输；链路层代理根据两步优先级判决规则将重排队列Q'进一步划分为具有不同优先级的 无线链路单元，并按照优先级递减的顺序依次对无线链路单元进行尝试性的发送；链路层代理在尝试发送一个无线链路单元前，将根据该无线链路单元的传输次数上限 决定是否予以发送。
5.根据权利要求3所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的容错重要性测度的计算方法如下如果根据边带信息能够计算图像组级传输失真，那么图像组级传输失真越大的IP包 的重要性等级越高；否则依据缺省顺序，I帧类型的IP包、P帧类型的IP包和B帧类型的 IP包分别对应高、中、低三种重要性等级，并且在同一类型内先编码的IP包具有更高的重 要性；所述的图像组级传输失真是IP包损失导致的已编码帧的传输失真和未编码帧的传 输失真相加后除以该IP包长度。
6.根据权利要求5所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的已编码帧的传输失真是IP包内所有像素在已编码帧中的像素级传输失真之和；所述 的像素级传输失真是像素补偿错误和错误扩散计数的乘积；所述的像素补偿错误是发送端 重建像素值与前一帧同一位置的重建像素值的绝对误差；所述的像素错误扩散计数是在已 编码帧中直接或间接参考该像素的总像素数，通过在已编码帧中迭代地累计该像素所在预 测链路上的像素数得到。
7.根据权利要求5所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的未编码帧的传输失真是IP包损失在未编码帧中错误扩散估计，通过分段线性衰减模 型或帧间宏块比例衰减模型得到；在所述的分段线性衰减模型中，从IP包所在帧到后续运 动补偿关联帧的帧级传输失真随时间呈现逐帧线性递减的衰减特性，其递减步长通过对IP 包之后已编码帧的帧级传输失真进行线性拟合得到；在所述的帧间宏块比例衰减模型中， 从IP包所在帧到后续运动补偿关联帧的帧级传输失真随时间呈现比例递减的衰减特性， 其递减比例因子通过统计最近已编码帧的帧 间宏块比例得到；所述的运动补偿关联帧是与 该IP包所在帧具有直接或间接运动补偿预测关系的视频帧。
8.根据权利要求4所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的两步优先级判决规则用于为延时约束帧集合中每个无线链路单元分配唯一的优先级， 包括以下两个规则规则一，属于更高重要性等级IP包的无线链路单元具有更高的优先 级；规则二，同一 IP包内的无线链路单元按编码顺序具有递减的优先级。
9.根据权利要求4所述的跨节点控制的在线视频流选择性重传方法，其特征在于，所 述的传输次数上限是该无线链路单元的最大允许传输次数；如果该无线链路单元的实际传 输次数小于所述的传输次数上限，则发送该无线链路单元；否则，停止发送当前延时约束帧 集合的无线链路单元，转而准备发送下一个延时约束帧集合的无线链路单元。
全文摘要
本发明涉及一种跨节点控制的在线视频流选择性重传方法，包括以下步骤在线编码的单一视频流进入发送端，并根据启动及传输延时限制被划分为一个接一个的DFS，作为选择性重传的基本对象；发送端作为第一通信节点，根据容错重要性测度来确定DFS中IP包的重要性等级，并通过基于容错重要性的包调度来提供IP包的选择性重传；基于IP包的重要性等级，基站作为第二通信节点，通过优先级递减的ARQ方式来提供无线链路单元的选择性重传。在延时和带宽条件限制下，本发明有机地结合了主要通信节点之间的优先级传输机制，实现了无线链路单元级别的重要性划分和选择性重传，能够增强在线视频流的差错控制性能，有效提高接收视频的重建质量。
文档编号H04N7/24GK101938341SQ201010284648
公开日2011年1月5日 申请日期2010年9月17日 优先权日2010年9月17日
发明者刘浩, 徐海芹, 赵曙光, 钱剑敏 申请人:东华大学