专利名称：一种用于图像编码的图像亮度补偿方法
技术领域：
本发明涉及一种用于图像编码的图像亮度补偿方法，属于图像处理领域。
背景技术：
由于视频获取技术和视频显示技术的进步，三维视频以其特有的优势逐渐为消费 者所接受。通过三维视频技术人们可以交互的选择视点，从而能够以人们喜欢的角度去观 察现实世界的场景。通常，三维视频通过多视点来表示，每个视点为一个传统的通过摄像机 得到的二维视频序列。多视点视频编码技术(MVC)是采用多视点表示的三维视频传输系统 中的关键技术，可以有效的降低传输带宽和解码端的计算复杂度。 在多视点视频编码系统中，由于相机参数的影响以及相机位置和角度的变化，同 一目标物体在不同视点中的亮度值会发生变化。在进行多视点视频编码的视间预测时，这 些变化会引起差异估计过程中匹配的不准确，造成编码效率的下降。人们采用亮度补偿技 术可以在编解码层面上解决差异估计匹配不准确的问题，即在差异估计过程中去除不同视 点间的亮度差异。这个亮度差异被称为局部亮度变化。在解码端，根据差异预测值，残差值 以及亮度变化值之和对进行了亮度补偿的块进行重构
I(i， j) = R(i， j)+r(i+x， j+y)+C， 其中I(i， j)表示重构块，R(i， j)为残差信号，r(i+x， j+y)是参考块，C是该块的 亮度变化值。 多视点视频编码中存在的不同视点间的亮度差异对编码造成了影B向，目前，对多 视点视频编码的图像进行亮度补偿的算法过于复杂，速度慢，压縮效率低。
发明内容
本发明目的是为了解决目前对多视点视频编码的图像进行亮度补偿的算法过于
复杂，速度慢，压縮效率低的问题，提供了一种用于图像编码的图像亮度补偿方法。 本发明的方法包括以下步骤 定义当前帧图像的某一宏块为当前块P。，在当前帧中与所述当前块P。相邻的L形 邻域为当前块模板X。，当前块模板亮度值矩阵为X。，当前块模板亮度值矩阵为X。的转置矩 阵为X。T， 定义前一帧图像与当前块P。处于同一位置的宏块为参考块Ps，在前一帧图像中与 所述参考块Ps相邻的L形邻域为参考块模板Xs，参考块Ps的亮度值矩阵为Ps，参考块模板 亮度值矩阵为Xs，参考块模板亮度值矩阵Xs的转置矩阵为XST， 步骤一、将参考块模板Xs中所有像素点与参考块Ps的相关性归一化形成一系列候 选权值矩阵B。
<formula>formula see original document page 3</formula>
参考块模板Xs中共m个像素点，每个像素点在角度a方向上对参考块&的相关
性分别表示为la,。、la,P……、la,m—P 其中，a为参考块模板Xs中的像素点与参考块Ps相交的角度，是离散变化的值， a的离散变化量为5。 20° ，0°《a《180° ， 步骤二、获取参考块&的权值矩阵B二Bj，其中，参数j由下式确定 乂 二 arg min I Ps — BaX/E I
a 步骤三、根据B (X。T-XST) E获得当前块P。与参考块Ps之间的亮度差值，对当前块P。 进行亮度补偿，其中E为值均为1的全1矩阵，且其阶数与参考块Ps的亮度值矩阵为Ps的 阶数相同。 本发明的优点根据视频图像中相邻区域的亮度相关性，利用相邻区域的亮度变 化推导出当前块与参考块之间的亮度变化，从而实现对当前块的亮度补偿，本发明算法简 单，运行速度快，提高了多视点视频编码压縮效率。
图1是本发明方法流程图，图2是当前帧图像分配结构图，图3是前一帧图像分配 结构图，图4是前一帧图像中参考块模板中像素点与参考块的相关性示意图，图5是利用 Racel序列进行仿真的实验结果图。
具体实施例方式
具体实施方式
一 下面结合图1至图5说明本实施方式，本实施方式包括以下步 骤 定义当前帧图像的某一宏块为当前块P。，在当前帧中与所述当前块P。相邻的L形 邻域为当前块模板X。，当前块模板亮度值矩阵为X。，当前块模板亮度值矩阵为X。的转置矩 阵为X。T， 定义前一帧图像与当前块P。处于同一位置的宏块为参考块&，在前一帧图像中与 所述参考块Ps相邻的L形邻域为参考块模板Xs，参考块Ps的亮度值矩阵为Ps，参考块模板 亮度值矩阵为Xs，参考块模板亮度值矩阵Xs的转置矩阵为XST， 步骤一、将参考块模板Xs中所有像素点与参考块Ps的相关性归一化形成一系列候
选权值矩阵B。
，/ ，/ ，/
/=0 ,=0 /=0 参考块模板Xs中共m个像素点，每个像素点在角度a方向上对参考块Ps的相关
性分别表示为la,。、la,P……、la,m—P 其中，a为参考块模板Xs中的像素点与参考块Ps相交的角度，是离散变化的值， a的离散变化量为5。 20° ，0°《a《180° ， 步骤二、获取参考块&的权值矩阵B二Bj，其中，参数j由下式确定
4
<formula>formula see original document page 5</formula> 步骤三、根据B (X。T-XST) E获得当前块P。与参考块Ps之间的亮度差值，对当前块P。 进行亮度补偿，其中E为值均为1的全1矩阵，且其阶数与参考块Ps的亮度值矩阵为Ps的 阶数相同。 根据视频图像中相邻区域像素亮度值的连续性，如图2所示，我们定义当前块P。 的L形邻域X。为当前块模板，并且当前块模板X。的亮度值与当前块P。的亮度值之间存在 较强的相关性。 同样的，参考块Ps与参考块模板Xs之间也存在较强的相关性。 因此，本发明的方法就是通过比较当前块模板X。与参考块模板Xs之间的亮度差异
来确定当前块P。与参考块Ps之间的亮度差异。即有公式(3)的成立。 Diff (P0， Ps) " Diff (X0， Xs) (3) 其中P。、PS、X。和Xs为亮度值矩阵。在计算亮度差异时，我们认为块内的亮度差异
值基本一致，而对模板内的亮度值取加权求和。即 P0 " Ps+ (AX0T_BXST) E (4) 其中AX。T-BXST为根据模板估计得到的两个块之间的亮度差，E为值均为1的全1 矩阵，当前块P。的权值矩阵A和参考块Ps的权值矩阵B根据各个像素的方向特征得到。这 样，在差异估计和差异补偿过程中，可以构建一个补偿了亮度变化的参考块，参考块Ps补偿 亮度后形成的矩阵为 Ps' = Ps+(AX0T_BXST) E (5) 提高视间预测的编码效率，提高了多视点视频编码压縮效率。 进一步，当前块P。与参考块Ps的方向特征一致，公式(5)中的A和B的值在理论 上基本相等A二B，因此，我们只需要求出参考块Ps的权值矩阵B即可，并将公式(5)简化 为 Ps' = Ps+B (X0T_XST) E (6)
Ps'作为补偿后当前块P。的亮度值矩阵P。，即
p。 = ps+B(X。T—XST)E (7)
下面结合图4介绍其计算过程 亮度补偿的关键在于亮度差计算是否正确，而当前块模板X。与参考块模板&确定 时，亮度差由亮度补偿权值决定。本发明提出了一种根据方向确定模板的候选权值，并且根 据参考块Ps中的方向特征推导出当前块P。的方向特征。 对于参考块模板Xs内的某个像素点p，定义其坐标为(x， y)，如图4所示，点p发 出的射线与参考块Ps可能相交的有好多条，对应射线不同的方向特征a ，其在块内映射的 长度为1，则定义点P在方向a上对参考块Ps的相关性为l。,p，参考块模板Xs中有m个像
素点(从0至m)，它们与参考块Ps的相关性分别为la,。、1^........L,^，在a方向上，
将所有参考块模板Xs中m个像素点的相关性归一化得到各个点在a方向上对应的候选权 值矩阵B—卩"，0 "，1 a，m_l ) H
,=0 ,=0 ,=0 a为参考块模板Xs中的像素点能与参考块Ps相交的角度，是离散变化的值，a的 离散变化量为5。 20° ，0°《a《180° ， 这样，就求得一系列候选权值矩阵Ba ，我们根据公式(2)来选择最优的权值矩阵， 能使|Ps_BaXsTE|最小的a赋值给参数j，再将Bj赋值给参考块Ps的权值矩阵B，这样，就 能根据B(X。T-XST)E求出当前块模板X。与参考块模板Xs之间的亮度差值，并作为当前块P。 和参考块Ps之间的亮度差值，用于亮度补偿。 当前块模板亮度值矩阵X。、参考块模板亮度值矩阵为Xs与参考块Ps的权值矩阵 B都是1行m列的矩阵，当前块模板亮度值矩阵的转置矩阵为X。T为m行1列的矩阵，则 B(X。T-XST)是一个数，与矩阵E相乘，获得阶数与参考块Ps相同的矩阵，以便按公式(7)对参 考块Ps相加进行亮度补偿。 本发明适用于视频压縮系统，包括但不限于H. 264/AVC、AVS、 VC-1等。
具体实施方式
二 本实施方式与实施方式一的不同之处在于，角度a相邻两个离
散点之间的相隔为IO。 18° ，其它与实施方式一相同。 图5给出了 Racel序列上的率失真比较结果，其中横轴表示平均每帧的
比特数，纵轴表示平均每帧的峰值信噪比(PSNR)。 MVC为不加亮度补偿下的结果，
MVC+ICT (Illumination Compensation Template)为加了基于模板的亮度补偿的结果。从
图中可以看出，本发明对提高多视点视频编码的压縮效率具有明显的效果。
具体实施方式
三本实施方式与实施方式一的不同之处在于，角度a相邻两个离
散点之间的相隔为15。，其它与实施方式一相同。 本实施方式给出一个具体的实施例，角度a相邻两个离散点之间的相隔为15° ， 则角度a取值为0、15、30、45、60、75、90、105、120、135、150、165，根据这些离散的数值，求
得12个候选权值矩阵Ba值以供使用。
具体实施方式
四本实施方式与实施方式一的不同之处在于，角度a相邻两个离 散点之间的相隔为18。，其它与实施方式一相同。 本实施方式给出一个具体的实施例，角度a相邻两个离散点之间的相隔为18° ， 则角度a取值为0、18、36、54、72、90、108、126、144、162，根据这些离散的数值，求得10个候
选权值矩阵B。值以供使用。
权利要求
一种用于图像编码的图像亮度补偿方法，其特征在于，该方法包括以下步骤定义当前帧图像的某一宏块为当前块P0，在当前帧中与所述当前块P0相邻的L形邻域为当前块模板X0，当前块模板亮度值矩阵为X0，当前块模板亮度值矩阵为X0的转置矩阵为X0T，定义前一帧图像与当前块P0处于同一位置的宏块为参考块PS，在前一帧图像中与所述参考块PS相邻的L形邻域为参考块模板XS，参考块PS的亮度值矩阵为PS，参考块模板亮度值矩阵为XS，参考块模板亮度值矩阵XS的转置矩阵为XST，步骤一、将参考块模板XS中所有像素点与参考块PS的相关性归一化形成一系列候选权值矩阵Bα <mrow><msub> <mi>B</mi> <mi>α</mi></msub><mo>=</mo><mrow> <mo>(</mo> <mfrac><msub> <mi>l</mi> <mrow><mi>α</mi><mo>,</mo><mn>0</mn> </mrow></msub><mrow> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn></mrow><mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn></mrow> </munderover> <msub><mi>l</mi><mrow> <mi>α</mi> <mo>,</mo> <mi>i</mi></mrow> </msub></mrow> </mfrac> <mo>,</mo> <mfrac><msub> <mi>l</mi> <mrow><mi>α</mi><mo>,</mo><mn>1</mn> </mrow></msub><mrow> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn></mrow><mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn></mrow> </munderover> <msub><mi>l</mi><mrow> <mi>α</mi> <mo>,</mo> <mi>i</mi></mrow> </msub></mrow> </mfrac> <mo>,</mo> <mo>.</mo> <mo>.</mo> <mo>.</mo> <mo>,</mo> <mfrac><msub> <mi>l</mi> <mrow><mi>α</mi><mo>,</mo><mi>m</mi><mo>-</mo><mn>1</mn> </mrow></msub><mrow> <munderover><mi>Σ</mi><mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn></mrow><mrow> <mi>m</mi> <mo>-</mo> <mn>1</mn></mrow> </munderover> <msub><mi>l</mi><mrow> <mi>α</mi> <mo>,</mo> <mi>i</mi></mrow> </msub></mrow> </mfrac> <mo>)</mo></mrow> </mrow>参考块模板XS中共m个像素点，每个像素点在角度α方向上对参考块PS的相关性分别表示为lα，0、lα，1、……、lα，m-1，m为大于1的自然数，其中，α为参考块模板XS中的像素点能与参考块PS相交的角度，是离散变化的值，α的离散变化量为5°～20°，0°≤α≤180°，步骤二、获取参考块PS的权值矩阵B＝Bj，其中，参数j由下式确定 <mrow><mi>j</mi><mo>=</mo><mi>arg</mi><munder> <mi>min</mi> <mi>α</mi></munder><mo>|</mo><msub> <mi>P</mi> <mi>S</mi></msub><mo>-</mo><msub> <mi>B</mi> <mi>α</mi></msub><msup> <msub><mi>X</mi><mi>S</mi> </msub> <mi>T</mi></msup><mi>E</mi><mo>|</mo><mo>,</mo> </mrow>步骤三、根据B(X0T-XST)E获得当前块P0与参考块PS之间的亮度差值，对当前块P0进行亮度补偿，其中E为值均为1的全1矩阵，且其阶数与参考块PS的亮度值矩阵为PS的阶数相同。
2. 根据权利要求1所述的一种用于图像编码的图像亮度补偿方法，其特征在于，当前块P。进行亮度补偿，补偿后当前块P。的亮度值矩阵P。为<formula>formula see original document page 2</formula>
3. 根据权利要求1所述的一种用于图像编码的图像亮度补偿方法，其特征在于，角度a相邻两个离散点之间的相隔为10° 18° 。
4. 根据权利要求1所述的一种用于图像编码的图像亮度补偿方法，其特征在于，角度a相邻两个离散点之间的相隔为15° 。
5. 根据权利要求1所述的一种用于图像编码的图像亮度补偿方法，其特征在于，角度a相邻两个离散点之间的相隔为18° 。
全文摘要
一种用于图像编码的图像亮度补偿方法，属于图像处理领域，本发明为解决目前对多视点视频编码的图像进行亮度补偿的算法过于复杂，速度慢，压缩效率低的问题。本发明通过比较当前块模板X0与参考块模板XS之间的亮度差异来确定当前块P0与参考块PS之间的亮度差异，从而实现对当前块的亮度补偿，利用求出一系列候选权值矩阵Bα，根据公式求出最优的Bj并赋值给参考块PS的权值矩阵B，这样就可以通过B(X0T-XST)E求出当前块模板X0与参考块模板XS之间的亮度差值，并作为当前块P0和参考块PS之间的亮度差值，用于亮度补偿。
文档编号H04N7/32GK101710985SQ20091007339
公开日2010年5月19日 申请日期2009年12月11日 优先权日2009年12月11日
发明者刘绍辉, 姜峰, 李晓明, 赵德斌 申请人:哈尔滨工业大学