一种支持QoE最大化的可用带宽自适应视频分片请求方法与流程

文档序号:16130963发布日期:2018-12-01 00:18阅读:365来源:国知局

本发明涉及视频自适应传输技术领域,更具体的是涉及一种支持qoe最大化的可用带宽自适应视频分片请求方法。

背景技术

随着无线通信技术的高速发展,视频业务已成为互联网中的一种主流业务,在实际应用中,受到用户位置移动、信道衰减以及无线干扰等因素的影响,移动网络带宽具有时变特性,这种波动会直接影响视频传输,进而影响播放效果;另外,多种终端间的设备性能和分辨率存在差异,由于上述原因,用户的观看体验会受到网络带宽和终端性能的影响,因此,为了提高用户体验质量(qoe,qualityofexperience),需要自适应地传输不同比特率的视频。

http自适应流技术(has,httpadaptivestreaming)是一种被广泛应用的视频分发技术,该技术中,视频被编码为不同的码率版本,每一被编码后的视频又被分为多个等长的分片,客户端在视频播放过程中根据当前的网络状态及缓存水平来自适应请求最符合当前情况的下一分片,与传统方案相比,http自适应流技术能有效减少播放卡顿现象,大幅提高网络带宽利用率。

目前在视频分发过程中,已有的自适应请求策略,通常是通过网络带宽或缓存水平的变化情况进行决策,确定请求下一分片的码率大小,这些方法从一定程度上提高了性能和观看体验,但也存在一定的局限性,那就是现有的方法没有从用户体验质量的角度考虑如何实现分片请求与网络带宽和缓存水平的匹配,因此难以为用户提供最佳的体验质量。



技术实现要素:

本发明的目的在于:为了解决现有的视频分片方法没有从用户体验质量的角度考虑如何实现分片请求与网络带宽和缓存水平的匹配,导致难以为用户提供最佳的体验质量的问题,本发明提供一种支持qoe最大化的可用带宽自适应视频分片请求方法,在准确估计带宽的变化的基础上,将分片请求与网络环境、缓存情况自适应匹配,以客户端qoe最大化为目标,优化用户观看效果。

本发明为了实现上述目的具体采用以下技术方案:

一种支持qoe最大化的可用带宽自适应视频分片请求方法,包括可用带宽估计和分片码率选择,所述可用带宽估计根据带宽幅度变化的剧烈程度,将带宽波动分为轻微波动和剧烈波动,针对轻微波动和剧烈波动采用不同的历史加权方法估计下一分片传输时的可用带宽;所述分片码率选择根据缓存的限制以及所估计的可用带宽,设置避免缓存下溢、缓存上溢以及无效下载的约束条件对比特率进行筛选,将分片码率选择表示为qoe函数,在筛选后的比特率中请求能使qoe函数最大化的视频分片。

进一步的,所述可用带宽估计包括如下步骤:

步骤1:设当前请求传输的视频分片为n,比特率为rn,则计算第n-1个视频分片传输时的真实带宽bw(n-1),公式为:

其中,s(n-1)表示第n-1个视频分片的数据量,△t(n-1)表示第n-1个视频分片的下载时间;

步骤2:利用公式①计算得到第n-2个视频分片的真实带宽bw(n-2),利用公式②或公式③计算得到第n-2个视频分片的带宽估计值根据真实带宽bw(n-2)和带宽估计值判断带宽幅度变化的剧烈程度,

若为轻微波动,则采用公式②计算得到第n-1个视频分片的带宽估计值

若为剧烈波动,则采用公式③计算得到第n-1个视频分片的带宽估计值

步骤3:根据步骤2得到的带宽估计值判断其是否服从真实带宽bw(n-1)的期望为μ,标准差值为σ的正态分布,即采用(μ-σ,μ+σ)区间作为预测区间,判断带宽幅度变化的剧烈程度,

若带宽估计值在(μ-σ,μ+σ)区间内,则判断当前带宽为轻微波动;否则,判断为剧烈波动;

步骤4:根据步骤3得到的判断结果,对于轻微波动,采用加权移动平均方法计算第n个视频分片传输时的带宽估计值公式为:

其中,yi为历史带宽的影响权重值,且

对于剧烈波动,采用当前视频分片的真实带宽bw(n-1)估计下一视频分片的带宽估计值公式为:

即得到所估计的可用带宽。

进一步的,所述避免缓存下溢的约束条件为:

其中,tn-1为传输完第n-1个视频分片的时长;q(tn-1)为第n-1个视频分片在时刻tn-1到达缓存区时,缓存区的占用量;bmin为缓存下溢阈值;为第n个视频分片传输时的带宽估计值;t为视频分片的时长,单位为秒。

进一步的,所述避免缓存上溢的约束条件为:

q(tn)=q(tn-1)+t-(tn-tn-1)≤bmax④

tn-tn-1≤q(tn-1)-bmin⑤

其中,q(tn)为传输完第n个视频分片后的客户端缓存长度;q(tn-1)为传输完第n-1个视频分片后客户端缓存长度;t为视频分片的时长,单位为秒;tn为传输完第n个视频分片的时长;tn-1为传输完第n-1个视频分片的时长;bmax为缓存上溢阈值;bmin为缓存下溢阈值;

由公式④和公式⑤求得tn的范围,从tn-1到tn这段时间内,根据估计带宽下能够传输的累积数据量,便可以计算出分片比特率rn的范围,具体公式为:

其中,为第n个视频分片传输时的带宽估计值。

进一步的,所述避免无效下载的约束条件为:t-(tn-tn-1)≤b-bmax;

其中,t为每个视频分片的时长,单位为秒;tn为传输完第n个视频分片的时长;tn-1为传输完第n-1个视频分片的时长;b为客户端总的缓存时长;bmax为缓存上溢阈值。

进一步的,所述将分片码率选择表示为qoe函数,具体为:对于第n个视频分片,其比特率为rn,将比特率收益和切换损耗的共同作用表示为qoe函数,公式为:

max[qoe]n=p1g1(rn)+p2g2(rn)

其中,g1(rn)为比特率收益函数,g2(rn)为切换损耗函数,p1和p2分别为比特率收益函数和切换损耗函数的权重系数,且p1+p2=1,p1,p2∈(0,1)。

进一步的,所述比特率收益函数g1(rn)为线性函数,采用μn对比特率为rn的视频分片带来的质量收益进行标准化表示,具体公式为:

其中,rmax为所有可选视频分片中的最大比特率,μn∈(0,1]。

进一步的,采用指数函数λ′n来模拟切换幅度和造成损失之间的关系,具体为:

其中,a为比特率向上切换的系数,b为比特率向下切换的系数,且a+b=1,a,b∈(0,1);

然后对λ′n进行min-max标准化处理,得到λn,使λn∈(0,1),则切换损耗函数g2(rn)的公式为:

其中,minλ′n为λ′n的最小值,maxλ′n为λ′n的最大值。

进一步的,设在时刻t的时间强度函数为f(t),第i个视频分片的播放时间为(i-1)t到it,则第i个视频分片的分片强度fi的公式为:

则第i个视频分片对qoe函数的影响权重wi的公式为:

考虑所有分片对比特率收益部分的影响,则比特率收益函数g1(rn)为:

考虑所有分片对切换损耗部分的影响,则切换损耗函数g2(rn)为:

则qoe函数表示为:

即比特率为rn的第n个视频分片,使qoe函数最大化。

本发明的有益效果如下:

1、本发明依据可用带宽的变化幅度判断带宽波动的剧烈程度,分别采取不同的历史加权方法估计下一分片传输时的可用带宽,提高了带宽估计的准确性。

2、本发明在不发生缓存上溢、缓存下溢、无效下载的前提下,实现了分片请求与网络带宽和缓存水平的自适应匹配,提高了平均比特率,减少了客户端视频播放中断次数,减少了码率切换次数,提高了缓存水平,极大提高了用户体验质量。

附图说明

图1是本发明http自适应流技术系统结构示意图。

图2是本发明客户端缓存区示意图。

图3是本发明自适应视频分片请求方法流程图。

图4是本发明可用带宽估计流程图。

图5是本发明分片码率选择流程图。

具体实施方式

为了本技术领域的人员更好的理解本发明,下面结合附图和以下实施例对本发明作进一步详细描述。

本实施例提供一种支持qoe最大化的可用带宽自适应视频分片请求方法,包括可用带宽估计和分片码率选择,所述可用带宽估计根据带宽幅度变化的剧烈程度,将带宽波动分为轻微波动和剧烈波动,针对轻微波动和剧烈波动采用不同的历史加权方法估计下一分片传输时的可用带宽;所述分片码率选择根据缓存的限制以及所估计的可用带宽,设置避免缓存下溢、缓存上溢以及无效下载的约束条件,将分片码率选择表示为qoe函数,请求能使qoe函数最大化的视频分片;

如图1所示,在http自适应流技术中,视频在服务器端有m个不同码率等级的版本,其比特率从小到大依次为r1,r2,…,rm,每一比特率的视频均被分为n个等时长的视频分片,每个分片时长为t秒,比特率越高的视频分片分辨率越大,数据量也越大;

如图2所示,客户端总的缓存时长为b,bmin和bmax分别是缓存下溢阈值和缓存上溢阈值,设第n-1个视频分片是时刻tn-1到达缓存区,此时缓存区占用量为q(tn-1);

如图3所示,为本实施例在视频传输播放过程中,自适应视频分片请求方法流程图:

步骤1:在视频传输播放过程中,客户端首先向服务器发起httpget请求,请求需要播放的视频所对应的mpd(mediapresentationdescription)文件;

步骤2:服务器在收到请求后,将所请求视频的mpd文件发送到客户端;

步骤3:客户端在收到该mpd文件后,解析mpd文件,得到这一视频的相关信息,包括,分片时长t、数据量、可选择的比特率(r1,r2,…,rm)等;

步骤4:客户端依据自适应视频分片请求方法,向服务器请求所有可选视频分片中能使qoe最大化的第n个视频分片,其比特率为rn;

具体来说,在成功传送第n-1个视频分片之后,客户端将请求比特率为rn的第n个视频分片,为实现最佳的用户体验质量,首先根据可用带宽的波动幅度采用不同的历史加权方法对下一视频分片传输时的可用带宽进行估计,然后再在可用带宽和缓存长度的限制下,将分片选择码率表示为qoe函数,请求能使qoe函数最大化的视频分片,具体为:

步骤4.1:计算第n-1个视频分片传输时的真实带宽bw(n-1);

具体来说,可用带宽可以用分片传输过程中的吞吐量表示,令bw(n-1)表示第n-1个视频分片传输时的真实带宽值,s(n-1)表示第n-1个视频分片的数据量,△t(n-1)表示第n-1个视频分片的下载时间,则第n-1个视频分片传输时的真实带宽bw(n-1)的计算公式为:

步骤4.2:依据带宽幅度变化的剧烈程度,将带宽变化分为轻微波动和剧烈波动两类;

具体来说,要最大化qoe函数,视频分片的比特率要与可用带宽相匹配,因此需要尽可能准确地估计时变带宽,在实际应用中,端到端链路的带宽波动可以分为轻微波动和剧烈波动,利用公式①计算得到第n-2个视频分片的真实带宽bw(n-2),利用公式②或公式③计算得到第n-2个视频分片的带宽估计值根据真实带宽bw(n-2)和带宽估计值判断带宽幅度变化的剧烈程度,

若为轻微波动,则采用公式②计算得到第n-1个视频分片的带宽估计值

若为剧烈波动,则采用公式③计算得到第n-1个视频分片的带宽估计值

步骤4.3:如图4所示,在实际应用中,可将带宽波动的幅度看作一个随机过程,它服从期望为μ,标准差为σ的正态分布,在正态曲线下,距期望左右σ之内的面积占正态曲线总面积的68%,因此选择(μ-σ,μ+σ)区间作为预测区间来判断带宽波动的严重程度;

如果步骤4.2得到的带宽估计值在(μ-σ,μ+σ)区间内,则认为实际测量的带宽在期望μ附近轻微抖动,说明网络状况较为平稳,没有带宽突变发生,则判断当前带宽为轻微波动;

否则,若带宽估计值不在(μ-σ,μ+σ)区间内,则认为估计带宽和真实带宽出现较大偏差,说明带宽波动较为剧烈,发生了大幅变化,判断为剧烈波动;

步骤4.4:根据步骤4.3得到的判断结果,对于轻微波动,采用加权移动平均方法计算第n个视频分片传输时的带宽估计值如果分片到达缓存的时间距离当前越近,它的权重值也就越大;反之,如果分片到达缓存的时间距离当前越远,它的权重值越小;考虑到距离当前时间过于久远的历史视频分片不能有效地反映当前网络带宽的变化趋势,参考价值较小,因此将其忽略,在可用带宽估计中只考虑两个距离当前最近的视频分片,能够有效平滑轻微的带宽波动,具体公式为:

其中,yi为历史带宽的影响权重值,且

对于剧烈波动,当带宽波动明显时,不再考虑更多的历史带宽,仅用当前视频分片的可用带宽估计下一视频分片的带宽估计值具体公式为:

即得到所估计的可用带宽,这一方法可以有效反映真实带宽的瞬时波动趋势,提高带宽估计的准确性;

步骤4.5:如图5所示,请求比特率为rn的第n个视频分片时,需要避免发生缓存下溢、缓存上溢、无效下载,通过设置约束条件对比特率进行筛选;

具体来说,如图2所示,视频缓存下溢指的是第n个视频分片传输完成后,缓存水平q(tn)低于bmin;视频缓存上溢指的是第n个视频分片传输完成后,缓存水平q(tn)高于bmax;无效下载指的是由于带宽估计存在误差,导致第n个视频分片传输完成后缓存水平q(tn)大于b,由于没有足够的以时间为度量的存放空间,需要重新下载这一视频分片;

客户端应该请求比特率与当前可用带宽相匹配的视频分片,但实际上由于缓存有限,如果仅考虑带宽限制而忽视缓存占用情况可能会导致缓存上溢或下溢发生,缓存下溢会导致播放中断,缓存上溢会浪费带宽,都会严重影响qoe,因此,除了当前的可用带宽之外,自适应请求方法还需考虑缓存区占用情况;

避免缓存下溢:

客户端的缓存水平会随着视频的播放逐渐减小,一旦已缓存的所有视频分片都播放完毕,将会发生缓存下溢,导致播放中断,为了确保流畅播放,第n个视频分片需要在缓存水平低于bmin之前完全传输到缓存区,随着视频的播放,缓存水平从q(tn-1)降低到bmin的时间内,在估计带宽下能够传输的累积数据量应该比所选择的比特率为rn的视频分片的数据量大,因此所述避免缓存下溢的约束条件为:

其中,tn-1为传输完第n-1个视频分片的时长;q(tn-1)为第n-1个视频分片在时刻tn-1到达缓存区时,缓存区的占用量;bmin为缓存下溢阈值;为第n个视频分片传输时的带宽估计值;t为视频分片的时长,单位为秒;

避免缓存上溢:

在分片请求时还需要防止缓存上溢发生,避免浪费带宽,传输完第n个视频分片后的时间为tn,此时的客户端缓存长度为q(tn),与q(tn-1)相比,q(tn)增加了第n个视频分片的时长t,与此同时减少了在传输这一视频分片的时间内所播放的时长tn-tn-1,在第n个视频分片完全传输到缓存时,q(tn)应小于bmax,具体公式为:

q(tn)=q(tn-1)+t-(tn-tn-1)≤bmax④

同时,为了避免在传输第n个视频分片时缓存下溢,第n个视频分片需要在缓存水平q(tn-1)低于bmin之前完全传输到客户端,即第n个视频分片的传输时间tn-tn-1需要小于q(tn-1)-bmin,即

tn-tn-1≤q(tn-1)-bmin⑤

公式④减去公式⑤,便可以得到tn的范围,从tn-1到tn这段时间内,根据估计带宽下能够传输的累积数据量,便可以计算出分片比特率rn的范围,具体公式为:

其中,tn-1为传输完第n-1个视频分片的时长;tn为传输完第n个视频分片的时长;为第n个视频分片传输时的带宽估计值;t为视频分片的时长,单位为秒;

避免无效下载:

在视频传输过程中,虽然q(tn-1)小于bmax,但是由于带宽估计存在一定的误差,在传输完第n个视频分片后,客户端缓存长度q(tn)可能会超出设定的上溢阈值bmax,此时,如果第n个视频分片的数据量比{b-q(tn-1)-t+(tn-tn-1)}rn大,就会发生无效下载,因此为了避免无效下载,q(tn)需要小于客户端总的缓存时长b,即:

q(tn-1)≤bmax⑥

bmax≤q(tn-1)+t-(tn-tn-1)≤b⑦

公式⑦减去公式⑥,便得到避免无效下载的约束条件为:t-(tn-tn-1)≤b-bmax;

其中,t为每个视频分片的时长,单位为秒;tn为传输完第n个视频分片的时长;tn-1为传输完第n-1个视频分片的时长;bmax为缓存上溢阈值;

步骤4.6:将分片码率选择表示为qoe函数,将比特率收益和切换损耗的共同作用表示为qoe函数,通过这一函数来体现用户观看体验;

具体来说,在视频播放过程中,分片的比特率和分片比特率在不同质量间的切换对用户观看体验有较大影响,通常情况下,分片比特率越高、不同分片间的比特率切换的幅度越小,能够带来越好的观看效果,根据这两部分定义qoe函数,请求能使qoe函数最大的视频分片,对于第n个视频分片,其比特率为rn,qoe函数可表示为:

max[qoe]n=p1g1(rn)+p2g2(rn)

其中,g1(rn)为比特率收益函数,g2(rn)为切换损耗函数,p1和p2分别为比特率收益函数和切换损耗函数的权重系数,且p1+p2=1,p1,p2∈(0,1)。

所述比特率收益函数g1(rn)为线性函数,由于最大和最小比特率之间存在较大的差距,因此采用μn对比特率为rn的视频分片带来的质量收益进行标准化表示,具体公式为:

其中,rmax为所有可选视频分片中的最大比特率,μn∈(0,1]。

在切换损耗部分,比特率的切换幅度越大对观看感受的影响越大,采用指数函数λ′n来模拟切换幅度和造成损失之间的关系,另外,在切换等级间隔相同的情况下,向下切换(rn<rn-1)比向上切换(rn>rn-1)对观看感受的影响更大,用户不希望发生视频比特率降低的现象,因此对向上切换和向下切换赋予不同的系数a和b,且a+b=1,a,b∈(0,1),比特率切换带来的影响具体表示为:

不同比特率之间的切换在数值上会存在较大的差别,为了减小这一差距,对λ′n进行min-max标准化处理来压缩数值,得到λn,使λn∈(0,1),则切换损耗函数g2(rn)的公式为:

其中,minλ′n为λ′n的最小值,maxλ′n为λ′n的最大值;

步骤4.7:根据心理学“首因效应”和“近时效应”,将视频中已下载的历史分片对qoe的影响赋予不同的影响权重;

具体来说,在心理学中,短期记忆存在记忆衰退现象,人们通常会对事件的起始阶段和结束阶段有更深的印象,而对中间部分的印象略少,这在心理学上被称为“首因效应”和“近时效应”,根据这一现象,视频中不同时间的分片会对qoe产生不同的影响,设在时刻t的时间强度函数为f(t),第i个视频分片的播放时间为(i-1)t到it,则第i个视频分片的分片强度fi的公式为:

视频中的每个分片都会计算得到一个分片强度,且共同影响qoe,则第i个视频分片对qoe函数的影响权重wi的公式可表示为:

考虑所有分片对比特率收益部分的影响,则比特率收益函数g1(rn)为:

考虑所有分片对切换损耗部分的影响,则切换损耗函数g2(rn)为:

步骤4.8:自适应请求方法可表示为在估计带宽和缓存水平限制下的qoe函数,客户端将向服务器请求能使qoe最大化的视频分片,该视频分片的比特率为rn,则qoe函数表示为:

在所有可选择的分片码率r1,r2,…,rm中,将经过步骤4.5筛选后不发生缓存上溢、缓存下溢以及无效下载的视频分片码率rj,其中j∈[1,2,…,m],代入qoe函数中进行计算,并将计算结果存入数组array[]中,在数组array[]中选择最大值,最大值所对应的码率为rn,即比特率为rn的第n个视频分片,使qoe函数最大化;

步骤5:若视频分片没有全部下载完毕,则跳转到步骤4,继续确定并请求下一视频分片,否则退出循环过程,结束请求。

以上所述,仅为本发明的较佳实施例,并不用以限制本发明,本发明的专利保护范围以权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1