低延迟视频编码中时域率失真优化方法
【专利摘要】本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。本发明采用循环的图像组(group of picture，GOP)结构，每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ωa和全局拉格朗日乘子λg。最后，本发明根据传播因子ωa，仅通过对全局拉格朗日乘子λg的调整实现时域率失真优化。
【专利说明】
低延迟视频编码中时域率失真优化方法
技术领域
[0001] 本发明属于视频编码技术领域，尤其设及低延迟视频编码中基于时域依赖性的率 失真优化方法。
【背景技术】
[0002] 为了顺应视频高清化的趋势，新一代视频编码标准皿VC于2013年初制定完成，较 前一代标准H.264/AVC性能提升了近1倍。许多新的技术被皿VC接受，其中包括四叉树块分 害d，更多的帖内模式，合并模式，层次编码结构。其中，层次编码结构是一种配合编码质量调 整的参考帖管理方法，W实时编解码为目标，尽可能的降低时延。
[0003] 率失真优化技术致力于在目标码率限制下最小化编码失真，在传统视频编解码框 架下通常采用拉格朗日乘子法解上述问题，即，where J =化+λΚι，其中，1?1表示一个 当前编码单元的码率，Di表示当前编码单元的失真。该方法对每一个编码单元进行独立编 码优化，将各个单元最优编码结果作为整个视频序列的最优结果，忽视了各编码单元之间 的相关性。文南犬('E . Η . Yang and X. Yu, "Rate Distortion Optimization for H.264Interframe Coding: A General Framework and Algorithms''，IEEE Trans . Image Processing, vol. 16,no. 7 ,pp. 1774-1784 July. 2007"考虑各编码单元相关性，采用动态规 划方法联合所有编码单元进行全局率失真优化，复杂度高，无法实时实现，但该方法从侧面 证明全局率失真优化可W提升编码性能。
[0004] 文献"T.W.Yang,C.Zhu and X.J.Fan,Q.Peng, "Source distortion temporal propagation model for motion compensated video coding optimizationIEEE International Conference on Multimedia and Expo(ICME 2012).Melbourne , Australia，化1.2012，pp. 85-90 /'，考虑非层次编码中时域依赖关系，如H. 264/AVC中编码 结构，其中单参考帖的使用具有绝对优势，探索全局率失真优化实现方法。具体来说，获得 一组视频编码参数，使得在一定的码率限制下最小化整个序列的编码失真，归纳为
其中，〇1表示第i个编码单元的编码参数，如 编码模式，运动矢量，参考帖索引，量化参数，量化后的变换系数等，N代表在整个序列中具 有时域依赖性的编码单元个数（假设每帖一个），Ag为全局拉格朗日乘子，并简化为
Μ戈表该编码模式为假设可W得到最优编码参数。在新 一代标准肥VC中，采用层次编码结构，如在低延迟编码中的编码结构，极大的提升了编码效 率，其中多参考帖的使用占绝对优势，使得时域中多个编码单元之间存在依赖关系，因此相 对非层次编码结构，层次编码结构的依赖关系更复杂。而且低延迟编码结构仅仅给出了固 定的层次编码结构，并没有根据动态变化的时域依赖性进行率失真优化，需要重新探索适 用于新一代标准肥VC，在低延迟视频编码中基于时域依赖性的率失真优化方法。
【发明内容】
[0005] 本发明根据时域依赖性的动态变化特性，提出了一种在低延迟视频编码中时域率 失真优化方法。
[0006] 本发明的技术方案为：
[0007] 在肥VC延迟视频编码默认配置中，采用循环的图像组(group of pic化re,G0P)结 构，每4帖为一个GOP,将所述GOP内的帖分别分配到不同的层，相同层的帖遵循相似的参考 帖及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依 赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子 ω。和全局拉格朗日乘子Ag。最后，本发明根据传播因子ω。，仅通过对全局拉格朗日乘子Ag 的调整实现时域率失真优化。
[0008] 为了方便对本发明进行描述，现在对肥VC中低延迟视频编码结构进行介绍：
[0009] 肥VC中低延迟视频编码结构为：
[0010] 每4帖为一个G0P，将所述G0P内的帖分别分配到不同的层，相同层的帖遵循一定的 参考帖管理规则及QP分配规则，每帖的P0C代表该帖在整个编码序列中的绝对播放顺序号， 每帖的巧0C代表该帖在所属G0P中的相对播放顺序号，如图1，每个G0P的第一帖的巧0C= 1， 具有相同巧0C的帖具有相同的参考帖管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代 表第一/二/Ξ/四个参考帖，所述量化参数（quantization parameter，QP)分配规则具体 为:分配给第1层中的编码单元最小的QP补偿值，因此拥有最低的QP，随着层数增加 QP也增 加，第1层的视频帖称作关键帖，即key帖，获得相对较高的视频质量，为在其他层中的视频 帖提供更好的参考帖，在整个视频范围内获得更好的编码质量，所述一定的参考帖管理规 则为:每帖有四个参考帖，所述四个参考帖分别为前一帖和前向最近的Ξ个k巧帖(在低延 迟视频编码中编码顺序和解码顺序一致，只考虑前向参考，所述前向参考为前向参考帖的 图像播放顺序(pic化re order count，P0C)小于当前帖的P0C，本发明通过统计实验得到各 参考帖被参考比例，如表2所示:rP0C=l的帖W前一帖为参考帖的比例最大，rP0C = 2、3、4 的帖W前一帖及前向最近的key帖为参考帖的参考比例相对最大。
[0011] 低延迟视频编码中时域率失真优化方法，具体步骤如下：
[0012] S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链 具有如下特性:低延迟视频编码中每个G0P中第一帖，即rP0C= 1的帖仅考虑前一帖对其的 影响，每个G0P内的其他Ξ帖，即rP0C = 2、3、4的帖仅考虑前一帖及前向最近的key帖对其的 影响，如图2所示；
[0013] S 2、建立当前编码单元U 1的时域率失真优化目标方程
:其中，i = 1，2，3，. . .，N，N表示低延迟视频编码的总 帖数，A代表一帖中所有的编码单元，巧〇/(。,心，...，。>为&的期望失真，〇1表示第i个编码单 元的编码参数，Ri(oi)表示第i个编码单元的码率，Di为当前编码单元的失真，，·…?：) 表示第j个受到当前编码单元化影响的后续编码单元的失真，λκ为全局拉格朗日乘子戈表 编码模式为可W得到的最优编码参数，定义当前编码单元化为帖fi中第a个编码单元，j = i+ 1,...,Ν，过一1,2,3,...,Α;
[0014] S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元化影响的后续编 码单元的期望失真Σ巧〇>,，。:4，...，。>具体为沖0〔=1的帖中的编码单元1]1+4"+1的期望失 户针1. 真为E(Di+4m+l)，rP0C = 2的帖中的编码单元Ui+4m+2的期望失真为E(Di+4m+2)，rP0C = 3的帖中的编码单元Ui+4m+3的期望失真为E(Di+4m+3)，rP0C = 4的帖中的编码单元 Ui+4m+4的期望失真为E(Di+4m+4),其中，巧化4,.,+t) =巧+細,!'+細+1 .公,+4,,!+|(。,,〇,+1'.'.'〇-4,,!'巧+41?，1)'牛我.，4?+1.， Ki + 4m+l为常数，Pi+4m, i + 4m+l代表在帖f i + 4m+l中W f i + 4m为参考帖的块的比例， 巧相+2) - ^+4mTU+4讯'凸"4?1+2(〇1，0计1，·…〇i+4?,+P口，干4m干：)+ "^一m'W/i"；! 干2(口1，〇;+1，···，〇"4,ι，口户4?户2) + f"4w+2，其 中，Ki + 4m+2 为常数，Pi+4m + l,i+4m + 2 代表在帖 fi + 4m + 2 中 Wfi + 4m+l 为 参考帖的块的比例，Pi + 4m,i + 4m + 2代表在帖fi + 4m"中Wfi + 4m为参考帖的块的比例， 左(公Wm+J ) - . Α*4·;一，如物+;，〇,一) + 吃4? …4。,一 ' 0,+4?+3(〇, …，。，一m，〇,一》1一）+ f,+4?,3， 其中，Ki + 4m + 3为常数，Pi + 4m + 2,i + 4m + 3代表在帖fi + 4m + 3中Wfi + 4m + 2为参考 帖的块的比例，Px + 4m, i + 4m+3代表在帖f i + 4m + 3中Wf i + 4m为参考帖的块的比例， 巧 D"4'》-+4')=巧+'4r。'切+4,?+4 ''巧+4'm+4 (。1. ""P.。;+4讯.-4 )+ 吃山'1 '公MmW'.的 Ki+4m+4为1?数,Pi+4m+3, i+4m+4代表在帖f i+4m+4中W f i+4m+3为参考帖的块的比例,Pi+4m, i+4m+4代表 在帖。+4m+4中Wfi+4m为参考帖的块的比例，m = 0，l，2, . . .，M表示第m个G0P，共有Μ个GOP，〇1 上标"Γ表示前一帖为参考帖，〇2上标"2"表示前向最近k巧帖为参考帖；
[0015] S4、将所述S3中的受到当前编码单元Ui影响的后续编码单元的期望失真
代入S2所述当前编码单元化的时域率失真优化目标方程，并删除所有 常数项K*，进行简化，具体简化为：
[0016] 当前编码单元化属于k巧帖(rP0C = 4)时，则简化为：
[0017]
[001引当前编码单元化所在非k巧帖的巧0C分别为1、2、3时，则简化为：
[0019]
[0020] S5、求S4中所述目标方程中的当前编码单元化及后续编码单元的失真，具体步骤 为：
[0021]
表示编码单元 U i + 4 m 对 Ui + 4m+l 的影响枉度的经验值，0i + 4m，i + 4in+l - 〇 · F (目 i + 4m，i + 4in+l)，且
F(e)为经验值，原始编码单元Ui + 4m与 &+41Π +1的运动补偿误差，α为常数，
[0022] 0,十 4。,一的，。,+4。,+2)-公"4。!心心,+ 2 .(丘(9- 指+1) +針 l-W+4;#i+2)，.0i+4in+l，i+4m+2 表不编 码单兀Ui+4m+l对Ui + 4m+2的影响程度的经验值，0i+4m+l，i+4m+2 二α · F(目i+4m+l，i+4m+2)，且
原始编码单元Ui+4m+l与Ui+4m+2的运 动补偿误差，
[002引 0,+4ffW ，。,+1，'.'.。!+4?,，。!+4?!+2) _ 戍4。1.1+4。1+].(巧〇!+4m ) + A+4m-W+4m+]) ' 0i+4m, i+4m+2表不编码单 兀 U i + 4m 对 Ui + 4m+2的影响程度的经验值，0i + 4m,i + 4m + 2 二〇 · F(目 i + 4m,i + 4m+2),且
礎思一+W;原始编码单元Ui+4m与Ui+4m+2的运动补偿 误差，
[0024] D,一+4,11+2，。1+4?1+；!)==片+4·,?+：3.ι+·1?ι+3 '(巧〇,'+}?+:) + 〇;+4m"中一+4。,+ )) '0i+4m+2, i+4m+3表不 编码单元Ui+4m+2对Ui+4m+3的影响程度的经验值，βi+4m+2,i+4m+3 = α·F(目i+4m+2,i+4m+3)，且
贿洗一一》4原始编码单元Ui+4m+2与Ui+4m+3的运动 补偿误差，
[002引马+.4,,,+i(。,，。,+1，''.，。,+4?1，。;+.4?+3.)=底4。脚4。1+3 '巧(0Wm) + A+4m - Wm + i) ,0i + 4m, i+4m+3 表不编码单兀 U i + 4 m 对 Ui + 4m + 3 的影响程度的经验值，0i + 4m,i + 4m + 3 二 0 · F (目 i + 4m,i + 4m + 3),且
原始编码单元Ui+4m与Ui+4m+3的运动补偿 误差，
[0026] 〇,,4?一（〇,.一》1+3'。"4?,一）- 一'户4?,一 .（巧〇片4?,一）+ 一-…4?,一），0i+4m+3, i+4m+4表不编 码单元Ui + 4m+3对Ui+4m + 4 的影响程度的经验值，0i + 4m + 3, i + 4m + 4 = a · F(目i + 4m+3, i + 4m + 4)，且
品一+.4?m4原始编码单兀Ui+4m+3与Ui+4m+4的担动 补偿误差，
[0027 ] 〇,一(。|，〇。1，-.'，。<+4?!，。<+4。1一）-/^?4/?"4/?+4.(色(凸!一/)1) + 凸|一(》-："1+4/)^4),扣+4111,1 + 4111+4表不编码单兀 U i + 4 m 对 Ui + 4m + 4的影响程度的经验值，0i + 4m,i + 4m + 4 二 〇 · F (目 i + 4m,i + 4m + 4),且
.原始编码单元Ui+4m与Ui+4m+4的运动补偿 误差；
[0028] S6、将S5中所述当前编码单元化及后续编码单元的失真代入S4中所述当前编码单 元化的时域率失真优化目标方程，得到呼1),+(4/(1 +巧,))'*,，所述《3为传播因子，具体为：
[0029] 当前编码单元化属于k巧帖时，
[0030]
[0031 ]当前编码单元化属于非key帖时，
[0032]
[0033] ，其中，β = α . F(目），i
，m=l，2,3，...，M，M为一个测试序 列的GOP总数；
[0034] S7、将全局拉格朗日乘子Ag和S6所述传播因子ω a代入m"in A +(4/(1 +辟))'巧进行时 域率失真优化，初始化当前帖的Ag为λΗΜ,λπΜ为标准肥VC中设定的当前帖的拉格朗日乘子；
[0035] S8、依次对当前帖中A个编码单元，进行步骤S2-S7的所述的率失真优化处理；
[0036] S9、对S7所述全局拉格朗日乘子Ag进行更新，更新得到
其中，A代表一帖中所有的编码单元，巧为化的时域累积失真；
[0037] S10、对S1所述低延迟视频编码中其他帖进行步骤S2-S9的所述率失真优化处理。 [003引进一步地，S5所述α为0.94 ±0.3。
[0039] 进一步地，S5所述F(9)的取值范围为(〇，1]。
[0040] 本发明的有益效果是：
[0041] 与高复杂度的全局率失真优化方案不同，本发明提出了一种可操作的、高效的时 域率失真优化方案，并在新一代视频编码标准皿VC中低延迟层次结构下实现，在皿VC的低 延迟P帖及B帖测试条件下，包括16个测试序列，4种不同分辨率（108化，720p，WVGA，WQVGA)， 分别获得平均增益2.9%、2.8%，其中背景不变序列叩〇11巧6〇916"获得编码增益为7.2%， 本方案适用于背景不变或者运动缓慢的序列，如新闻、视频会议、监控视频等。
【附图说明】
[0042] 图1低延迟层次编码结构。
[0043 ]图2低延迟视频编码中时域传播链。
[0044] 图3在时域中具有依赖性的编码块的确定。
[0045] 图4序列化山乎eople在Low-delay P下率失真曲线图。
[0046] 图5为本发明的流程图。
【具体实施方式】
[0047] 下面结合实施例和附图，详细说明本发明的技术方案。
[004引实施例采用开发环境为Visual Studio2008,实施例基于皿VC的参考软件歷13.0 进行实现。
[0049] 如图5所示：
[0050] S1、分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性 建立时域传播链，即第i个编码单元化在k巧帖fi中，所述化的后向受影响编码单元为化+1， 化+2,...，考虑第第i个编码单元化在非k巧帖fV中，所述化的后向受影响编码单元为化+1， Ui+2,..·。
[0051 ] Ui+1的确定：W化为起点，在下一帖fi+1中进行运动估计捜索得到化+1。
[0052] Ui+2的确定化为起点，在下一帖fi+2中进行运动估计捜索得到U"1+2，W化+ 1为起 点，在下一帖fi+2中进行运动估计捜索得到1/ 1+2,1/ 1+2与1/ 1+2的中间位置为化+2，
[0053] 其中，i = l，2,3，...，N，N代表在整个编码序列中的帖数，Ul为当前编码单元，所述 化的后向受影响编码单元的确定具体方式如图3所示，其中，所述层次结构具体为:每4帖为 一个G0P，将所述G0P内的帖分别分配到不同的层，相同层的帖遵循一定的参考帖管理规则 及QP分配规则，每帖的P0C代表该帖在整个编码序列中的绝对播放顺序号，每帖的巧0C代表 该帖在所属G0P中的相对播放顺序号，如图1所示，每个G0P的第一帖的巧0C=1，具有相同 巧0C的帖具有相同的参考帖管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代表第一/ 二/Ξ/四个参考帖，所述量化参数(quantization parameter，QP)分配规则具体为：分配给 第1层中的编码单元最小的QP补偿值，因此拥有最低的QP，随着层数增加 QP也增加，第1层的 视频帖称作关键帖，即key帖，获得相对较高的视频质量，为在其他层中的视频帖提供更好 的参考帖，在整个视频范围内获得更好的编码质量，所述一定的参考帖管理规则为:每帖有 四个参考帖，所述四个参考帖分别为前一帖和前向最近的Ξ个k巧帖(在低延迟视频编码中 编码顺序和解码顺序一致，只考虑前向参考，所述前向参考为前向参考帖的图像播放顺序 (pic1:ure order count,P0C)小于当前帖的P0C)。
[0054] 表1低延迟视频编码中参考帖集合及量化参数设置
[0化5]
[0056]通过统计实验可W得到各参考帖被参考比例，如表2所示，rP0C=l的帖仅考虑前 一帖对其的影响，rP0C = 2、3、4的帖仅考虑前一帖及前向最近key帖对其的影响，连接时域 传播链，如图2所示。
[0化7] 表2参考比例表
[0化引
[0059] S2、建立第i个编码单元Ui在key帖fi中时域率失真优化目标方程
其中，i = 1，2，3，. . .，N，N表示低延迟视频编码的总 帖数，A代表一帖中所有的编码单元，巧〇,(〇,，也,，...，〇;))为&的期望失真，〇1表示第i个编码单 元的编码参数，Ri(oi)表示第i个编码单元的码率，Di为当前编码单元的失真，吗(。,，。,'+,.....?：) 表示第j个受到当前编码单元化影响的后续编码单元的失真，λκ为全局拉格朗日乘子戈表 编码模式为可W得到的最优编码参数，定义当前编码单元化为帖fi中第a个编码单元，j = i+ 1，. . .，N，a=l，2,3, . . .，A，气戈表编码模式为可W得到的最优编码参数，所述编码参数包括 编码模式，运动矢量，参考帖索引，量化参数和量化后的变换系数；
[0060] S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元化影响的后续编 码单元的期望失真
[oow] 具体为：
[00创 rP0C=l的帖中的编码单元Ui + 4m + i的期望失真为E(Di + 4m + i)，rP0C = 2 的帖中的编码单元Ui + 4m + 2的期望失真为E (Di + 4m + 2 )，rPOC = 3的帖中的编 码单元Ui + 4m + 3的期望失真为E(Di + 4m + 3)，rP0C = 4的帖中的编码单元Ui + 4m + 4的 期望失真为 E ( Di+4m+4 ),其中，巧凸 1一,,1一）= A.4m.,+4?1+1 ' 0,+4?1+1 ，。1+1 一》1,1) +、一,,1-1 ' Ki+4m+l为 常数，P i + 4 m , i + 4 m + 1代表在帖f i + 4 m + 1中W f i + 4 m为参考帖的块的比例， 巧口i.+4，，： j = 4邮|'+4齡2. '0*4哗2.的:'也1 杆4地《'，巧响這）+ 巧+4?!,i.+4*.+l ^ 中，Ki+4m+2 为常数，Pi + 4m + l,i + 4m + 2 代表在帖 fi + 4m + 2 中 Wfi + 4m+l 为参考 帖的块的比例，Pi + 4m, i + 4m+2代表在帖f i + 4m + 2中Wfi + 4m为参考帖的块的比例， 巧凸,'+4ms-3)-巧+4,1+2,1+4?,+3 ' 0η4,?"(Α …口Η 柏r4m" ) + "^+4?…4m* j 公"4mW(0i'0''中…'。'一讯'口Wm+J) + '，其 中，Ki + 4m+3为常数，Pi + 4m+2 , i + 4m+3代表在帖f i + 4m+3中W f i + 4m + 2为参考帖的块的比 例，P i + 4 m , i + 4 m + 3代表在帖f i + 4 m + 3中W f i + 4 m为参考帖的块的比例， ΑΑ4Β,+4)-^4?,-3'"4?ι+4'0?Μη"4(0,,0ι"，~，0,Μ?"_;,0Η4ηι,4)+·^?4?>,"4?Η4'ΑΗ????4(0,.0Η?，'''，0"4?ι，0"4?"4) + Κ,Μ?ι+4， Ki+4m+4为常数，Pi+4m+3, i+4m+4代表在帖f i+4m+4中Wf i+4m+3为参考帖的块的比例，Pi+4m, i+4m+4代 表在帖fi+4m+冲Wfi+4m为参考帖的块的比例，m=0，l，2,. . .，M表示第m个GOP,共有Μ个GOP，01 上标"Γ表示前一帖为参考帖，ο2上标"2"表示前向最近k巧帖为参考帖；
[0063] S4、将所述S3中的受到当前编码单元Ui影响的后续编码单元的期望失真
代入S2所述当前编码单元化的时域率失真优化目标方程，并删除所有 常数项K*，进行简化，具体简化为：
[0064] 当前编码单元化属于key帖(rP0C = 4)时，则简化为：
[00 化]
[0066]当前编码单元化所在非k巧帖的巧0C分别为1、2、3时，则简化为：
[0067]
[0068] S5、求S4中所述目标方程中的当前编码单元化及后续编码单元的失真，具体步骤 为：
[0069]
，化+4m,i+4mU表示编码单元 U i + 4 m 对 Ui + 4m + l 的影响程度的经验值，0i + 4m,i + 4m+l 二 〇 · F (目 i + 4m,i + 4m+l),且
F( Θ )为经验值，巧:己w,".l原始编码单元Ui+4m与 化+4m+l的运动补偿误差，α为常数，
[0070] 9+4,11+2 (。!，〇|+1，.'',。1+4,*0+1，〇1+4,*0+2)=々+4m,U一》1+2 .(正(〇i,4m+l ) +〇。4?"1一+4,*0+2) '0i + 4m+l , i+4m+2表不编 码单元山+ 41114对山+4111 + 2的影响程度的经验值，0i + 4m+l, i + 4m + 2 = a · F(目i + 4m+l, i + 4m + 2)，且
，媒'思以i+4w+2.原始编码单兀U i+4m+1与U i+4m+2的担动 补偿误差，
[0071 ] D,.+4m+: (ο,，〇w，:'.'，.,.0i+4?.，〇H-4：M。）-爲+4m,<'+4m冉 '(怎(马+4m) + …4>?W)，0i+4m, i+4m+2表不编码单兀 U i + 4 m 对 Ui + 4m + 2 的影响程度的经验值，0i + 4m,i + 4m + 2 二 〇 · F (目 i + 4m,i + 4m + 2),且
，逆':己原始编码单元Ui+4m与Ui+4m+2的运动补偿 误差，
[007^ 化4。1"(0;-。,+1，'..，0,*4。1-:，0,一》"3)==々*4。1-:."山,+3.(巧0,+4?,^、+ 化4冊 + 2--,+4。"3)'01 + 4111 + 2,1+4111+3表不 编码单元Ui + 4m+2对Ui + 4m+3的景多日向程度的经验值，0i + 4m+2,i + 4m+3 =曰· F(目i + 4m+2,i + 4m+3)，且
，巧:器-W44W3原始编码单元Ui+4m+2与Ui+4m+3的运动 补偿误差，
[0073] 〇,+4(|"3(〇,，〇^1，-，〇!一(》，〇"4?片3)-角一《,1':+4?+3'(正(公>'+4?1')+〇"4"-,,44"+3)，化+4111,1+4111+3表巧编码单兀 U i + 4 m 对 Ui + 4m + 3 的影响程度的经验值，0i + 4m,i + 4m + 3 二 〇 · F (目 i + 4m,i + 4m + 3),且
媒W3;原始编码单兀U i+4m与U i+4m+ 3的运动补偿 误差，
[0074] 巧*4,|1一（〇1.。!+1'.''，〇1+指+3'〇1一《+4)一''爲+核啤+4?+4'化（打，4?|+3)+公,+4?"3一+4?+4.)'扣+4111+3,1 + 4111+4表不编 码单兀Ui + 4m+3 对Ui+4m + 4的影响程度的经验值，0i + 4m + 3,i + 4m + 4 = a*F(9i + 4m+3,i + 4m + 4),且
，城?茂…4。,一原始编码单元Ui+4m+3与Ui+4m+4的运动 补偿误差，
[0075] C+4?,+4 (〇?，〇i+l'.'.'〇i+4m'〇/44m+4 )-片+4,ι.?+4,"4 ' (正(公?+4,1) + 〇?+4"--f+4m+4)，Pi+4m, i+4m+4表习^编石马单兀 U i + 4 m 对 Ui + 4m + 4的影响程度的经验值，0i + 4m,i + 4m + 4 二 〇 · F (目 i + 4m,i + 4m + 4),且
Κ:己,+4,,+4原始编码单元Ui+4m与Ui+4m+4的运动补偿 误差。
[0076] S6、将S5中所述当前编码单元化及后续编码单元的失真代入S4中所述当前编码单 元化的时域率失真优化目标方程，得到玲+(屯/(1+%))?馬，所述ω a为传播因子，具体为：
[0077]当前编码单元化属于k巧帖时，
[0081 ]，其中，β = α · F(目），且
：，皿=1，2,3，...，1，1为一个测试序 列的G0P总数。
[0082] S7、将全局拉格朗日乘子Ag和S6所述传播因子ω a代入呼1勾+化/(1 +巧进行时 域率失真优化，初始化当前帖的Ag为λΗΜ,λπΜ为标准肥VC中设定的当前帖的拉格朗日乘子。
[0083] S8、依次对当前帖中A个编码单元，进行步骤S2-S7的所述的率失真优化处理。
[0084] S9、对S7所述全局拉格朗日乘子Ag进行更新，更新得离
其中，A代表一帖中所有的编码单元，马为化的时域累积失真。
[0085] S10、对S1所述低延迟视频编码中其他帖进行步骤S2-S9的所述率失真优化处理。
[0086] 例1、
[0087] 如图2所示，将当前原始帖分成不重叠的16x16大小的编码单元，每个编码单元在 下一原始帖中进行运动估计，得到最佳匹配单元，差值记作原始帖的运动补偿误差D<*P。依 次得到每个编码单元的D<*P，具体的如巧若;D,弓貫+2。同理获得整个序列所有帖中各个 编码单元的〇胃。同时，对key帖中的编码单元，仍需要在下一G0P中的立帖(巧0C为2、3、4) 中寻找最佳匹配单元，并获得原始帖的运动补偿误差，如巧:畏，货;。
[0088] 如图3所示，在帖fi中实线框代表当前编码单元化，根据上述原始帖域运动估计，得 到与其相关性最强的编码单元化+1，也即受编码化影响最大的块。W化+1为起点，使用与其重 合最大的块(如虚线块)的运动矢量，在帖fi+2中寻找最匹配的块IT 1+2(如实线块）。同时，当 前编码单元化，可W直接在帖f 1+2中寻找最佳匹配块U" 1 + 2 (如斜线块）。取块护1+2和块U" 1+2坐 标平均值得到全黑块化+2。W此类推，可W确定时域中具有依赖关系的后续编码单元。
[0089] 根据S6可知，为了求得传播因子ω。，需要获得参考比例P及β。低延迟编码中层次 编码结构的定义如表1所示，具有相同巧0C的帖遵循相同的规律，如每个测试序列帖(帖 内编码)开始，四帖组成一个G0P，每个G0P中第一帖的巧0C为1，其参考帖集合中有4个参考 帖，表2列出了参考帖与该帖的POC之差，W及该帖所使用的QP偏移值，并将该QP偏移值与I 帖的QP之和作为该帖的QP。相应的通过大量实验，求得平均参考比列，也即当前帖中编码单 元将参考帖集合中某帖选为最佳参考帖的平均比例。如巧0C为1的当前帖中选择第一个参 考帖（即前一帖，因为当前帖与第一个参考帖P0C差值为-1)的编码单元比例为0.89。
[0090] 如前所述，β = α . D/DMCp，且D = DMCp . ρ(θ)，因此0 = α . F(目），
[0091] 首先考虑当前编码单元化在k巧帖中，估计化(Οι)。先根据
在当前帖的前一帖找到影响编码化的单元化-1，进而得到Di-I和逆其中α = 0.94,求得
其中量化步长Q与量化参数QP的关系是0 = 2"'^气。通过θι查表F(0) 得質
[0092] 估计0i,i+i=a · F(目i,i+i)，其牛
前一步中已经求出 Di(oi)，巧三可根据时域传播链获得。由于
，计 算量大，单元化+1所在帖的巧0C为1，根据表2及所建时域传播链，其期望失真仅与第一项具 有较强相关性，因此使用经验值占(化。)=〇,化，",|_1)二公,,_1.(〇,(",') +与"";.';')代替6化+1)。
[0093] 估计0i + ii + 2 = α · F(目i + ii + 2)，且
，进而得到 凸w(o,，o,:…o,U)=心,一 ·(￡(化,）牛公品";+:)，其中E ( Di + i)使用经验值吾俾+,)。同理扣,w = 曰· F(0i,i+2)，且
，进而得到化2脚，请2)。爲。(。,.) +化資）。 对于编码单元所在帖巧0C为2、3、4时，其期望失真仅与前一帖及最近的k巧帖具有强相关 性，因此E(Di+2)的经验值为
[0094] 同理，可W迭代求取β，最终求得传播因子ω a，求得
[00巧]通过(毛傅+巧，求化的最佳编码参数oi。
[0096] 肥VC中基本编码单元CU尺寸为64x64,根据本发明求出每个CU的16个16x16块的传 播因子ω 1，求均值巧，结合所求的Ag，对该CU进行编码。
[0097] 实验低延迟P/B测试条件，其中标准测试序列如表3所示，标准测试条件为使用低 延迟下推荐测试结构，QP采用27，32，37，42，16个测试序列，四种分别率(1080P，720P，WVGA， WQVGA)，相对比较结果为肥VC的参考软件歷13.0。
[0098] 表3在低延迟测试条件下亮度码率节省
[0099]
[0100] 测试结果如表3所示。从表3中可w看出采用该方法后可获得抓平均码率节省分别 为2.9%、2.8%，且对于部分测试序列，可节省抓码率达7.2 %。其中测试序列化urfeople在 Low-delay P下率失真曲线图如图4所示。由图4可W看出本方法的性能表现优于原始的 肥VC参考软件歷13.0的性能。表4给出了本发明测试时间比较，与丽13.0相比编码时间仅平 均增长了 0.6%。
[0101] 表4低延迟B帖测试条件下本发明测试时间比较(单位为秒）
[0102]
【主权项】
1.低延迟视频编码中时域率失真优化方法，其特征在于，包括如下步骤： S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有 如下特性:低延迟视频编码中每个GOP中第一帧，即rPOC= 1的帧仅考虑前一帧对其的影响， 每个GOP内的其他三帧，即rP0C = 2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响， 如图2所示； S 2、建立当前编码单元U i的时域率失真优化目标方程中，i = l，2,3，...，N，N表示低延迟视频编码的 总帧数，A代表一帧中所有的编码单元，￡〇>,(~心<))为1^的期望失真，〇1表示第i个编码 单元的编码参数，Μ 〇1)表示第i个编码单元的码率，D,为当前编码单元的失真， 巧也'，…，<)表示第j个受到当前编码单元山影响的后续编码单元的失真，A g为全局拉格朗 日乘子/代表编码模式为可以得到的最优编码参数，定义当前编码单元山为帧h中第a个编 码单元，j = i+l，...，18 = 1,2,3,...35 53、 根据S2所述时域率失真优化目标方程，求受到当前编码单元仏影响的后续编 码单元的期望失真?￡(β,(~心具体为：rPOC=l的帧中的编码单元Ui+4m+i的期 ./=/+1 望失真为E(Di + 4m + l)，rP0C = 2的帧中的编码单兀Ui + 4m + 2的期望失真为E(Di + 4m + 2)， rP0C = 3的帧中的编码单元Ui+4m+3的期望失真为E(Di+4m+3)，rP0C = 4的帧中的编码单元 Ui + 4m+4的期望失真为E(Di+4m+4)，其中，…+ ^ Ki + 4m + i为常数，Pi + 4m，i + 4m + i代表在帧fi + 4m+i中以fi + ^为参考帧的块的比例， ^(A+4,>；4 2 ^ = ^>t+4m+l^+4m 1 1 1 Mm Η 1 Am _ ^ ^+4m,n4m+2 ' ^i+Am+2^°t ^ι + Ι^'°,+4m 4m+l) ? ^ 中，Ki + 4m + 2 为常数，Pi + 4m + l，i+4m + 2 代表在帧 fi+4m + 2 中以 fi+4m + l 为 参考帧的块的比例，Pi + 4m，i + 4m + 2代表在帧fi + 4m + 2中以fi + ^为参考帧的块的比例， - ^i+^m+ZJ+Am+'S t4n< 4ιη+?· )十 4_爾3-為漏3(%4，.·.,<4 中，Ki+4m+3为常数，Pi+4m+2，i+4m+3代表在帧 fi+4m+3中以 fi+4m+2为 参考帧的块的比例，Pi + 4m，i + 4m + 3代表在帧fi + 4m + 3中以fi + ^为参考帧的块的比例， +4M.+4) - '^+.4,??.+3;?'+.4?η.+4 ''^?4??^4 (^; ^.?+1^^ ^>:4^;+3-?-^±4^-4^+:4>ir;i：+4mt4 4〇1，。,2十――rt) +爲+4耐4， Ki+4m+4为常数，Pi+4m+3,i+4m+4代表在帧fi+4m+4中以fi+4m+3为参考帧的块的比例，Pi+4m,i+4m+4代表在 帧fi+4m+4中以fi+4m为参考帧的块的比例，m=0，l，2,. . .，M表示第m个G0P，共有Μ个GOP，。1上标 "Γ表示前一帧为参考帧，〇2上标"2"表示前向最近key帧为参考帧； 54、 将所述S3中的受到当前编码单元心影响的后续编码单元的期望失真 t 心^，Ο)，代入S2所述当前编码单元山的时域率失真优化目标方程，并删除所有 /:-/.+.1 常数项K*，进行简化，具体简化为： 当前编码单元Ui属于key帧(rP0C = 4)时，贝lj简化为：? 当前编码单元Ui所在非key帧的rPOC分别为1、2、3时，则简化为：S5、求S4中所述目标方程中的当前编码单元仏及后续编码单元的失真，具体步骤为： 4?Π )+ .Ζ^4.":->-/+4:·ι )'. ·β? + 4ιη，i + 4m+l 表 /Jn 编码 单元 U i + 4m对Ui + 4m+l 的影响程度的经验值，0i + 4m，i + 4m+l = α · F ( Θ i + 4m，i + 4m+l )，且 1奴;+4心=你/Va.(€(A+4J + AS匕一丨），F( θ )为经验值，原始编码单元Ui+^与 Ui+4m+l的运动补偿误差，α为常数， ^iT-4m+2 C^j 5 ^j+1 ^' "5 ^/τ-4；?/?τ^1.5 βi+4m+l'n;-：h4:m+2 )+ AH W2 )，β i+4m+1，i+4m+2 表;^ 编码单 兀 U i + 4 m + 1 对 U i + 4 m + 2 的 响矛王度的经验值，0i+4m+l，i+4m+2 - Q · F(0i + 4m + l,i+4m+2)?且 =你/V…成+ ，把原始编码单元Ui+4m+1与Ui+4m+2的运动 补偿误差， ^ι+4η?τ2 (°? " °ι+\ °ι+4ηι1 °H 4m+2 ) - Pi^nui*-\m ' ( -:Mm ) + ' 爲 i + 4 m，i + 4 m + 2 表示编码单元 Ui+4m 对 Ui + 4m+2 的影响程度的经验值，_3i + 4m，i+4m + 2 = a · F(Qi + 4m，i + 4m + 2)，且 U =伽扣.(明J十D=一』原始编码单元Ui+4^Ui+4 m+2的运动补偿 误差， 十4m-+J. (A, A+1." '·，十2 , 〇H~4m-r-3 ) 4-4 w+ 2,；·-ι·4m +-3 你(Aw…) + Z>=!：i_w+4；^；3)4i + 4m+2，i + 4m+3 表亦编码 单兀 U i + 4m + 2 对 U i + 4m + 3 的 响矛王度的经验值，0i+4m+2，i+4m+3 - Q · F(0i + 4m + 2,i + 4m + 3)?且 ^?+4αι~^2.?+4ιη-ι-2 SQi (!：{!- ^?+4?κ+2 ) ^i+4.n+2-f-i+4in+? ) ? ?2->-?+4.?+'3 原始编码单元Ui+4m+2与Ui+4m+3的运动 补偿误差， Of+4/fr+3 (〇,,〇 1+\ ·>-·> °,+4m -< °i^4m+} )= ^+心，十3)，0i+4m，i+4m+3表编码单兀Ui+4m 对 Ui + 4m + 3 的影响程度的经验值，0i + 4m，i + 4m + 3 = a · F(Qi + 4m，i + 4m + 3)，且 ^+4；,?+4,+3 - Sq/ a·{E(D^4m) + D^i+4m+,):二+4m+3 原始编码单元Ui+4gUi+4m+3的运动补偿 误差， ^1+4m+4"> ^?·Λ-\ ' ·*·^ ^i+AmVi ^ ) - 'β'?^Αιη^?(^(-^.+4^+3 )+砲4_)，Pi+4m+3, i+4m+4表亦编码单 兀 U i + 4 m + 3 对 U i + 4 m + 4 的 响矛王度的经验值，0i+4m+3，i+4m + 4 - Q · F(0i + 4m + 3,i+4m + 4)?且 _ A ·(網扁)+ IS-w+4)，把原始编码单元Ui+4m+3与Ui+4m+4的运动 补偿误差， 乃卜4m + 4 (Hi 卞4w卞4/?卞4 X-·(邵+4m-^/+4m +4.) 'β?+4ιη，i+4m+4表编码单兀Ui+4m 对 Ui + 4m + 4 的影响程度的经验值，_3i + 4m，i + 4m + 4 = a · F(Qi + 4m，i + 4m + 4)，且 t4,,,.,+4",+4=Λ?)/^/^^J：? ：^Im：^C,_原始编码单元Ui+4m与Ui+4 m+4的运动补偿 误差； 56、 将S5中所述当前编码单元U及后续编码单元的失真代入S4中所述当前编码单元仏 的时域率失真优化目标方程，得到，A+^/(l + fi〇)?尺，所述c〇a为传播因子，具体为： 当前编码单元Ui属于key帧时，当前编码单元Ui属于非key帧时，其中，β = α · F(9)，且 0 (￡(!)> +W)，m=l, 2,3, · · ·，M，M为一个测试序列的 GOP总数； 57、 将全局拉格朗日乘子Ajpse所述传播因子c〇a代入，Α + (4/(1 + ?0)4进行时域率 失真优化，初始化当前帧的λ8*λΗΜ，λΗΜ为标准HEVC中设定的当前帧的拉格朗日乘子； 58、 依次对当前帧中Α个编码单元，进行步骤S2-S7的所述的率失真优化处理： 59、 对S7所述全局拉格朗日乘子18进行更新，更新得到>其中， A代表一帧中所有的编码单元，尾为U的时域累积失真； S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。2. 根据权利要求1所述低延迟视频编码中时域率失真优化方法，其特征在于：S5所述α 为 0.94±0.3。3. 根据权利要求1所述低延迟视频编码中时域率失真优化方法，其特征在于：S5所述F (Θ)的取值范围为(0，1]。
【文档编号】H04N19/147GK105872544SQ201610242849
【公开日】2016年8月17日
【申请日】2016年4月19日
【发明人】朱策, 高艳博, 李帅, 彭强, 周益民, 段昶
【申请人】电子科技大学