一种基于主观质量评估的编码器自适应调整方法
【专利摘要】本发明涉及一种基于主观质量评估的编码器自适应调整方法，包括：步骤A：通过分析编码参数和配置条件对视频流码率的影响，建立HEVC编码器参数模型；步骤B：用终端用户对接收视频质量的主观感知，建立一个综合考虑编码器设置和网络损失因素的主观QoE模型；步骤C：基于建立的主观QoE模型，对多用户的视频业务，在有限的信道容量下构建最大化所有用户的总QoE的自适应调节算法。与现有技术相比，本发明大幅提高了多用户情况下的用户总满意度，同时支持根据用户优先级分配资源，对提高系统性能，优化网络资源分配具有重要意义。
【专利说明】
-种基于主观质量评估的编码器自适应调整方法
技术领域
[0001] 本发明设及无线通信技术领域，尤其是设及一种基于主观质量评估的编码器自适 应调整方法。
【背景技术】
[0002] 随着网络传输技术和视频压缩技术的发展，终端用户期望得到更高质量的视频业 务。为了得到更高的用户满意度，体验质量(如ality of Experience,QoE)在2012年被mj-T提出，用来描述终端用户感知到的业务质量，逐渐取代客观服务质量（Quality Of Service, QoS)指标，被用于网络的资源分配和性能优化。一般来说，QoE同时受到应用层参 数(AQoS)和网络层参数(NQoS)因素的共同影响。
[0003] 视频业务是下一代网络业务中最主要的业务之一。高效视频编码化EVC)作为最新 的视频编码标准，相比与H.264可W在几乎不损失视频质量的前提下节省50%带宽，更有利 于在带宽受限的网络中进行视频传输。但也导致皿VC编码的视频流对网络丢包率更加敏 感。因此，建立一个综合考虑编码器设置和网络损失因素的主观QoE模型是非常具有必要性 的。同时，基于该主观QoE模型，可W对编码器进行自适应的调节，使其在有限的带宽资源下 使得所有用户的总QoE最大，对提高系统性能，优化网络资源分配具有重要意义。
[0004] 目前的研究工作存在有两大问题，一是QoE同时受到应用层参数(AQoS)和网络层 参数(NQoS)因素的共同影响。但目前对于视频业务的QoE建模工作，大部分只单独考察了应 用层参数、网络参数对于视频应用的影响，没有给出一个综合考虑的模型。二是基于QoE的 网络优化工作，也大多利用的是客观QoE,仅通过调整信源的发送速率，而没有考虑编码器 参数的影响。L.Anegek址于2015年在IE趾 IYansaction on Multimedia(TMM)上发表了 ('Content-Based Video Quality Prediction for HEVC Encoded Video Streamed Over 化Cket Networks"(《分组网络中基于内容的皿VC编码视频流质量预测方法》），提出了一种 基于视频内容的质量评估方案，给出了一个比较完整可靠的视频质量评价指标。然而，运个 指标并没有用于网络优化和资源分配，因此基于QoE网络优化和自适应算法还有很大研究 空间。
【发明内容】
[0005] 本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于主观质量 评估的编码器自适应调整方法，大幅提高了多用户情况下的用户总满意度，同时支持根据 用户优先级分配资源，对提高系统性能，优化网络资源分配具有重要意义。
[0006] 本发明的目的可W通过W下技术方案来实现：
[0007] -种基于主观质量评估的编码器自适应调整方法，其特征在于，包括：
[000引步骤A:通过分析编码参数和配置条件对视频流码率的影响，建立皿VC编码器参数 模型；
[0009]步骤B:用终端用户对接收视频质量的主观感知，建立一个综合考虑编码器设置和 网络损失因素的主观QoE模型；
[0010] 步骤C:基于建立的主观QoE模型，对多用户的视频业务，在有限的信道容量下构建 最大化所有用户的总QoE的自适应调节算法。
[0011] 所述的影响视频码流率的编码器参数包括序列的固有参数、量化参数QP和配置文 件决定的配置参数，其中固有参数包括帖速率、分辨率，所述的肥VC编码器参数模型对输出 流比特率BR与QP、W及视频流质量PSNR与QP的关系模型化。
[0012] 所述的步骤A具体为：
[0013] 步骤Al:为了分析编码器参数模型，利用肥VC的官方参考软件歷16.0对不同的视 频序列进行编码，其中测试序列包括四种分辨率，分别为1600p、1080p、832x480和416x240; 配置文件包括S类:All Inha(AI)、Low Delay(XD)和Random Access(RA);量化参数被设 置为{1，2，7，12，22，27，32，37，42，47，51};输入视频格式是YUV420，视频质量损失是由Y，U， V分量的PSNR的加权和来计算；
[0014] 步骤A2:根据训练结果，通过比较拟合优度R2用指数关系来近似表达输出流比特 率BR与量化参数QP、W及视频流质量PSNR与量化参数QP的关系，公式如下：
[0015]
[0016]
[0017]其中ai，02，&，&是与编码器的配置文件、输入现聯序列有关的参数，即：
[001 引（ai，0i，a2，&) = f(FR，W，H，Config.)
[0019] 步骤A3:确定参数ai，〇2，&，防，Qi视为不经过量化的输出流比特率，与输入序列的分 辨率和帖速率成正比，与编码配置文件对应的压缩率成反比，故
其中H X W为视频的高和宽，FR为帖速率，O为压缩率，与帖间预测、帖内预巧U、输入序列的内 容和运动特征有关，通过训练获得，帖间预测的压缩率要高于帖内预测的压缩率，其中帖间 预测包括LD和RA配置文件，帖内预测包括AI配置文件;02视为不经过量化的输出流重建后 的视频质量PSNR，主要与编码配置文件有关;&，&视为训练得到的常数参数。
[0020] 所述的步骤B具体为：
[0021] 步骤BI:主观用户打分统计，主观QoE模型既与应用层视频业务的发送速率、信源 端压缩质量有关，又与传输网络的丢包率有关;利用终端用户对重建视频的平均意见得分 MOS值，综合考虑应用层网络层参数的影响，建立Q主观QoE模型，其中MOS区间为[1，5]，由 mj-T P.800，P.910和P.920定义；
[0022] 步骤B2:将编码器参数对视频流的影响模型化，根据主观实验结果，视频质量损失 是影响MOS的主要因素，其次，对于相同分辨率的序列，大的视频流比特率会带来更高的MOS 值，故编码器的影响被建模为：
[0023]
[0024] 其中Bo是一个与输入序列的分辨率相关的常数，BR是视频流比特率;S是由视频质 量损失PSNR决定的变量，计算如下：
[0025]
[0026] 步骤B3:对网络损失对视频流的影响模型化，考虑由于信道丢包率化R造成的传输 损失，丢包率被设置为0 %，1 %，3 %，5 %，10 % W得到不同丢包率与用户MOS值的关系近似 用指数关系拟合，公式如下所示：
[0027]
[0028] 步骤B4:由于编码器参数和网络损失会共同影响主观视频质量评估的预测，故MOS值可U戸加1下/入井袖:軒化》1.
[0029]
[0030] 其中Bo、Do是建模中通过拟合结果得到的常数参数。
[0031] 所述的步骤C具体为：
[0032] 步骤Cl:根据步骤A和B获取的主观视频质量评价指标，设计编码器自适应调整算 法，考虑一个资源受限的网络，存在多个视频业务的用户，通过反馈信息调节用户编码器参 数，使得码率更适应于网络条件，达到提高用户满意度的目的；
[0033] 优化间颗舰连趙责.
[0034]
[0035]
[0036]
[0037]
[00；3 引
[0039]
[0040] 其中ru(QPi)为第i个用户编码参数为QPi时对应的视频质量MOS值，由QoE模型计算 获得;化为信道为用户提供可用的比特率，BRi和PSNRi为第i个用户对应的编码器端的输出 流比特率和视频流质量，量化参数的调节范围在QPiE [1，51]; Vf € iV闭区间内，由于所有用 户在同样无线网络链路状况下，假设信道丢包率化R对于所有的用户都是相同的，则用丫表 示所有用户的信道丢包率；
[0041] 步骤C2:根据上述OPT问题的描述，求得最优化问题的解
得到每个用户最适合的编码器参数。
[0042] 与现有技术相比，本发明实现了对视频业务质量的主观评价，同时基于该指标对 编码器的设置进行了实时的调节，在网络资源有限的情况下大幅提高了多用户情况下的用 户总满意度，而且支持根据用户优先级分配资源，对提高系统性能，优化网络资源分配具有 重要意义，在视频业务中具有广阔的应用前景。
【附图说明】
[0043 ]图1为本发明的工作流程图。
[0044] 图2为本发明多用户视频业务编码器自适应调整算法示意图。
【具体实施方式】
[0045] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实 施例，都应属于本发明保护的范围。
[0046] 如图1所示，本发明包括W下步骤：
[0047] 步骤A:皿VC编码器参数模型。影响视频码流的编码器参数包括序列的固有参数 (比如帖速率、分辨率等）、量化参数QP和配置文件决定的配置参数。其中量化是编码器中造 成有损编码的主要原因，故该步骤主要是对输出流比特率BR和视频流质量PSNR与QP的关系 模型化。
[0048] 步骤B:主观视频质量评估模型。QoE既与应用层视频业务的发送速率、信源端压缩 质量有关，又与传输网络的丢包率有关。利用终端用户对重建视频的平均意见得分MOS值， 综合考虑应用层网络层参数的影响，建立QoE预测模型。
[0049] 步骤C:基于主观QoE的皿VC编码器自适应调整算法。针对网络资源受限下多个视 频业务的用户，通过反馈信息调节用户编码器参数，使得码率更适应于网络条件，达到提高 用户满意度的目的。
[0050] 在多用户视频业务的情况下，编码器自适应调整算法的应用场景示意图如图2所 示。考虑6个视频业务用户，视频序列分别为BQTerrace，Basketbal IDrive，Traf f ic， Kimono，PartyScene 和 Blowin 浊 ubbles，对应的日1 分别为 IM，640K，540K，270K，160K，40K。口2， Pi，&分别被设置为60.0，0.13和0.018。
[0051] 设定化=40肺PS，对步骤C中的优化问题求解，得到的结果如表1所示。
[0化2] 表1
[0化3]
[0054] 由表1可见，自适应编码器调整的方法可W比固定编码器参数的方法提高MOS。
[0055] W上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明掲露的技术范围内，可轻易想到各种等效的修改或替 换，运些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应W权利 要求的保护范围为准。
【主权项】
1. 一种基于主观质量评估的编码器自适应调整方法，其特征在于，包括： 步骤A:通过分析编码参数和配置条件对视频流码率的影响，建立HEVC编码器参数模 型； 步骤B:用终端用户对接收视频质量的主观感知，建立一个综合考虑编码器设置和网络 损失因素的主观Q〇E模型； 步骤C:基于建立的主观QoE模型，对多用户的视频业务，在有限的信道容量下构建最大 化所有用户的总Q〇E的自适应调节算法。2. 根据权利要求1所述的一种基于主观质量评估的编码器自适应调整方法，其特征在 于，所述的影响视频码流率的编码器参数包括序列的固有参数、量化参数QP和配置文件决 定的配置参数，其中固有参数包括帧速率、分辨率，所述的HEVC编码器参数模型对输出流比 特率BR与QP、以及视频流质量PSNR与QP的关系模型化。3. 根据权利要求2所述的一种基于主观质量评估的编码器自适应调整方法，其特征在 于，所述的步骤A具体为： 步骤A1:为了分析编码器参数模型，利用HEVC的官方参考软件HM 16.0对不同的视频序 列进行编码，其中测试序列包括四种分辨率，分别为1600p、1080p、832x480和416x240;配置 文件包括三类:A11 Intra(AI)、Low Delay(LD)和RandomAccess(RA);量化参数被设置为 {1，2，7，12，22，27，32，37，42，47，51};输入视频格式是YUV420，视频质量损失是由Y，U，V分 量的PSNR的加权和来计算； 步骤A2:根据训练结果，通过比较拟合优度R2用指数关系来近似表达输出流比特率BR与 量化参数QP、以及视频流质量PSNR与量化参数QP的关系，公式如下：其中^，<12，&，&是与编码器的配置文件、输入测试序列有关的参数，即： (αι,βι,α2,β2) =f (FR,ff,H,Config.)步骤A3:确定参数w，α2，β:，β2，αι视为不经过量化的输出流比特率，与输入序列的分辨 率和帧速率成正比，与编码配置文件对应的压缩率成反比 中Η X W为视频的高和宽，FR为帧速率，σ为压缩率，与帧间预测、帧内预测、输入序列的内容 和运动特征有关，通过训练获得，帧间预测的压缩率要高于帧内预测的压缩率，其中帧间预 测包括LD和RA配置文件，帧内预测包括ΑΙ配置文件;α 2视为不经过量化的输出流重建后的 视频质量PSNR，主要与编码配置文件有关;，β2视为训练得到的常数参数。4. 根据权利要求3所述的一种基于主观质量评估的编码器自适应调整方法，其特征在 于，所述的步骤Β具体为： 步骤Β1:主观用户打分统计，主观QoE模型既与应用层视频业务的发送速率、信源端压 缩质量有关，又与传输网络的丢包率有关；利用终端用户对重建视频的平均意见得分M0S 值，综合考虑应用层网络层参数的影响，建立Q主观QoE模型，其中M0S区间为[1，5]; 步骤B2:将编码器参数对视频流的影响模型化，根据主观实验结果，视频质量损失是影 响M0S的主要因素，其次，对于相同分辨率的序列，大的视频流比特率会带来更高的M0S值， 故编码器的影响被建模为：其中Bo是一个与输入序列的分辨率相关的常数，BR是视频流比特率;δ是由视频质量损 失PSNR决定的变量，计算如下：步骤Β3:对网络损失对视频流的影响模型化，考虑由于信道丢包率PLR造成的传输损 失，丢包率被设置为0%，1%，3%，5%，10%以得到不同丢包率与用户M0S值的关系近似用 指数关系拟合，公式如下所示：步骤M:由于编码器参数和网络损失会共同影响主观视频质量评估的预测，故M0S值可 以用如下公式进行估测：其中B〇、D〇是建模中通过拟合结果得到的常数参数。5.根据权利要求4述的一种基于主观质量评估的编码器自适应调整方法，其特征在于， 所述的步骤C具体为： 步骤C1:根据步骤A和B获取的主观视频质量评价指标，设计编码器自适应调整算法，考 虑一个资源受限的网络，存在多个视频业务的用户，通过反馈信息调节用户编码器参数，使 得码率更适应于网络条件，达到提高用户满意度的目的； 优化问题被建模为： 1 <QPi<51其中ni(QPi)为第i个用户编码参数为QPi时对应的视频质量M0S值，由QoE模型计算获 得;Rb为信道为用户提供可用的比特率，BRdPPSNh为第i个用户对应的编码器端的输出流 比特率和视频流质量，量化参数的调节范围在ρ/丨闭区间内，由于所有用户 在同样无线网络链路状况下，假设信道丢包率PLR对于所有的用户都是相同的，则用γ表示 所有用户的信道丢包率；步骤C2:根据上述OPT问题的描述，求得最优化问题的解 得到每个用户最适合的编码器参数。
【文档编号】H04N19/134GK105828069SQ201610211260
【公开日】2016年8月3日
【申请日】2016年4月6日
【发明人】程正雪, 黄巍, 丁良辉, 杨峰, 钱良
【申请人】上海交通大学