专利名称：一种视频编解码的图像视觉效果提升方法
一种视频编解码的图像视觉效果提升方法
技术领域：
本发明涉及一种视频编码方法，具体涉及一种用于视频编码的视频编解码的图像 视觉效果提升方法。
背景技术：
从人的视觉系统看，色彩可用亮度、色调和饱和度来描述，通常把色调和饱和度通 称为色度，用来表示颜色的类别与深浅程度。视频编码处理中，对于不同的帧，人们关心的 区域在动态变化，这就需要算法能根据编码源图像的变化，动态调整变换函数，以使得在各 种场景下，图像的亮度值分布能按需求方向得到改善。亮度值变换中，通过大量统计实验取 得固定变化函数及其参数集，一般情况下，可以达到加强的目的。但在某些特殊场景(如整 体很暗的场景)，若按一般场景处理，将会致使图像视觉质量下降。对于物体的色彩信息，人们总是希望色彩越丰富越好。由此在视觉舒适度要求下， 变换强度越大越能提升色度信息不足的图像的色彩。而人类的肤色介于黄、红之间，若对于 全局区域采用同一模式，取大的调整值，会产生肤色视觉区域不舒适感，取小的值会制约其 他色彩域的物体要求彩色信息增强的目的。若将算法依赖于肤色区域的检测，一则增加计 算量，二则没有一种准确率100%肤色区域检测算法、而且会产生由离散点域错判带来的平 衡过渡问题等。虽然人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，但有时视 频编码器所处理的图像序列携带的色度信息不足，如摄像头获得的图像，从而需要利用前 处理技术，增强图像的色彩。目前的色彩处理手段多为基于RGB、HSV色彩模型，而编码源格 式采取亮度信息与色度信息的分离表示模式即YUV。虽然通过色彩空间转换技术可以实现 各种模型之间的转换，但由此变换与反变换而带来的计算量也是很大的。图像信息源经过压缩编解码后，质量会有不同程度的下降。基于方块的编解码策 略带来的方块效应、高频信息的削弱与丢失等问题存在于解码端图像序列中。为了在保护 边界高频信息不丢失的情况下消除方块问题，同时，考虑到基于方块的编解码策略的特点， 方块效应多出现在块与块的交界处，所以采用基于方块的边界自适应增强法。
发明内容为了提高编码端图像源的视觉效果，本发明提供了一种视频编解码的图像视觉效 果提升方法。该方法采用了边界信息增强技术，提升图像的高频信息含量，同时分别提出亮 度与色度的自适应增强技术来改善图像亮度信息分布、增强图像色度信息。本发明方法在编码端包括以下步骤S11 提取图像边界信息，增强边界信息操作，步骤为S111 提取图像f (x，y)边界信息h(x，y)h(x, y) = Y (f (x, y))S112 对提取的边界信息h(x，y)再作变换，获取边界增强图像g(x，y)g(x, y) = (t (f(x, y), h(x, y))
其中f(x，y)为编码端原始图像亮度值，、(x)为边界信息提取函数， (f(x,y), h(x, y))为针对原始图像与边界信息特点所选用的变换函数；S12 自适应亮度变换，改善图像的亮度值分布g，(x, y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中g’ (x,y)为变换后亮度值，￥(x, a (k) | k = 1，2， ，K)为变换函数，其中 a (k)为变换函数￥(x，a (k) |k= 1，2，...，K)的参数集，K为参数个数；S13 色度信息自适应增强，在UV色度空间作色度信息自适应增强， 其中识(11(\7)，"1^,>0, ,%，/ ，代)为变换函数，《为权重函数，由％、％确定而 色度偏差位置，0u、决定色度调节步长。图像信息源经过压缩编解码后，质量会有不同程度的下降，基于方块的编解码策 略带来的方块效应、高频信息的削弱与丢失等问题存在于解码端图像序列中，同时考虑到 提升解码端图像的视觉效果的需要，本发明提供了一种视频编解码的图像视觉效果提升方 法。本发明方法在解码端包括以下步骤在解码端包括S21 根据方块统计特性，选择处理模式 if (t_0 > Thres_l)mode =平坦区域处理法elsemode =复杂区域处理法由确定的处理模式，进行去除块效应与增强边界信息操作；其中f (X，y)为解码端原始图像值，t_0为统计区域的统计特性变量名，n… =0,1,2)为统计特征函数，为与、相应的统计区域，Thres_l为判断当前处理区域是 平坦区域还是复杂区域的阈值；S22 自适应亮度变换，改善图像的亮度值分布g(x，y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中f (x，y)为解码端原始图像亮度值，g(x, y)为变换后亮度值，V (x, a (k) k =1，2，...，K)为变换函数，其中a (k)为变换函数V(x，a (k) |k= 1，2，...，K)的参数 集，K为参数个数；S23 色度信息自适应增强，在UV色度空间作色度信息自适应增强， 其中识(11^，丫)，”(^), ，％，/ ,双)为变换函数，《为权重函数，由a u、a v确定UV
色度偏差位置，0u、决定色度调节步长。通过上述方法，可以自适应调整去除方块效应、增强图像亮度、色度信息，达到提 升编解码后图像的客观效果与主观效果的目的。而在解码端采用本发明的自适应边界信 息增强技术，可以在提升处理速度的同时保持分离法在增强边界信息与去除方块效应的效 果，可以非常显著地提高图像的客观效果与主观效果。
图1是本发明方法在编码端的流程示意图；图2是图1所示的边界信息增强的流程示意意图；图3是图1所示的自适应亮度变换的流程示意意图；图4是图1所示的色度信息自适应增强的流程示意图；图5是本发明方法在解码端的流程示意图；图6是测试源格式_WMV原始解码端图像的原始解码图像、采用现有技术分离法以 及采用自适应边界增强图像处理的对比图；图7是测试源格式_WMV原始解码端图像与采用本发明处理后图像的效果的对比 图。
具体实施方式参见图1，图1是本发明的视频编解码的图像视觉效果提升方法在编码端的流程 示意图。该方法在编码端包括以下步骤1.本步骤进行边界信息增强处理，如图2所示进一步包括以下步骤al 提取图像f(x，y)边界信息h(x，y)h(x, y) = Y (f (x, y))bl 对提取的边界信息h(x，y)再作变换，获取边界增强图像g(x，y)g (x，y) = (t (f (x，y)，h (x，y))其中f(x，y)为编码端原始图像亮度值，ct(f(x,y),h(x, y))为针对原始图像与 边界信息特点所选用的变换函数，Y (x)边界信息提取函数，根据不同应用要求可取不同方 法，就导数法而言，可取一阶导数、二阶等，如梯度模提取法 2.视频编码处理中，对于不同的帧，人们关心的区域在动态变化，这就需要算法能 根据编码源图像的变化，动态调整变换函数，以使得在各种场景下，图像的亮度值分布能按 需求方向得到改善，亮度值变换中，通过大量统计实验取得固定变化函数及其参数集，一般 情况下，可以达到加强的目的，但在某些特殊场景(如整体很暗的场景)，若按一般场景处 理，将会致使图像视觉质量下降。本步骤进行自适应亮度变换，改善图像的亮度值分布，自适应亮度值变换的原理 就是，根据变换前图像亮度值的统计特性，自适应更新变换函数的参数集，从而使得变换函 数随着不同的图像特性，动态的调整变换函数，来优化处理方法g(x，y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中f (x，y)为解码端原始图像亮度值，g(x, y)为变换后亮度值，V (x, a (k) k =1，2，...，K)为变换函数，其中a (k)为变换函数V(x，a (k) |k= 1，2，...，K)的参数 集，K为参数个数；如图3所示，步骤2进一步包括以下步骤
a2 设当前帧图像的特征空间为f = Y。^ Ij统计亮度信息获 取图像整体统计特性，for (k = 0 ;k < M ；k++) i f (f (x, y) G I k)计算 I k 统计特性外(/(太，力)最后，获得该帧图像统计特性他(/江力)I k = 1，2，...,M}.其中I k，灼(/(U)),分别为图像特征子空间、I k的统计特性；b2:根据视觉特点结合区域统计特性调整阈值，将图像划分为不同的区域
N
" = 由全局与区域统计关系n(x，①” o2, ...，oN)，调整统计特性门限阈值 t=i ， P' H = ratio* (PH，，①2， ，①N)其中叱为Q k的统计特性 PH、P' 别为整体统计信息获取的阈值与调整后的阈值，ratio为不同图像帧采 用的局部信息调整因子；c2 由统计特性得到变换函数参数值a (k) = nk(P' H)k = 1，2，.Knk(x)为变换函数V (x，a (k) |k = 1，2， ，K)的参数a (k)的调节函数。d2 利用亮度变换函数￥(f(x, y)，a (k) |k = 1,2, ... , K)，进行亮度变换，改善 图像亮度信息的分布。其中f (x，y)为解码端原始图像亮度值，g(x, y)为变换后亮度值，V (x, a (k) k =1，2，...，K)为变换函数，其中a (k)为变换函数V(x，a (k) |k= 1，2，...，K)的参数 集，K为参数个数。3.色度信息自适应增强，在UV色度空间作色度信息自适应增强， 其中<Ku(x,y),v(x，力,a ,orv,/ ，/ v)为变换函数，w为权重函数，由a u、a v确定UV
色度偏差位置，0U、决定色度调节步长。如图4所示，进一步包括以下步骤a3 通过统计当前图像帧UV特性，获取UV空间饱和度信息k ；b3 由色彩饱和度信息计算调节参数au= Yu(k)Yu(k)av= Yv(k)Yv(k)c3 由UV空间模型下的统计实验，获取肤色分布经验值区间，确定权重函数w = n(e)，e为肤色经验值区间e g
。w= n (0)，n (0)为只有一个最小值点的连续函数且wmin = n ((e 1+ e 2) /2)。d3 :利用色度变函数
进行色度变换，增强图像的色度信息。其中
为变换函数，《为权重函数，由a u、a v确定UV
色度偏差位置，0u、决定色度调节步长。虽然通过色彩空间转换技术可以实现各种模型之间的转换，但由此变换与反变换 而带来的计算量也是很大的，考虑到编码器所处理的文件格式，减少格式转换时间。本发明 直接在UV色度空间作色彩信息处理。参见图5，图5是本发明的视频编解码的图像视觉效果提升方法在解码端的流程 示意图。该方法在解码端包括以下步骤10.根据方块统计特性，选择处理模式 if (t_0 > Thres_l)mode =平坦区域处理法elsemode =复杂区域处理法由确定的处理模式，自适应边界信息增强，同时进行去除块效应与增强边界信息 操作；对于平坦区域处理if (t_lj > Thres_2)加权低通滤波else保护边界信息其中t_lj为第j个平坦区域Wy的统计特性变量名，Thres_2为当前处理的平坦 区域选取不同处理方法的阈值，对于复杂区域处理 if (t_2j > Thres_2)f (xM, yN (xm, yn) G block』，m = 1，2， ，M，n = 1，2， ，N) - = k ；f (Xl, yj (xm, yn) G blockJ+1, m = 1，2， ，M，n = 1，2， ，N) + = k ；else增强边界信息。其中f (X，y)为解码端原始图像值，t_0为统计区域的统计特性变量名，、(j =0,1,2)为统计特征函数，为与、相应的统计区域，Thres_l为判断当前处理区域是 平坦区域还是复杂区域的阈值；t_2j为第j个复杂区域的统计特性变量名，Thres_3为 当前处理的复杂区域选取不同处理方法的阈值。下表为本步骤自适应边界信息增强处理与现有技术中分离法处理比较实验，实验 条件采用图像源尺寸为320x240，使用相同的解码器，客观效果比较如下 由上表可以看出，采用本发明的自适应边界信息增强方法可以大幅度的提高处理 速度。图6是测试源格式_WMV原始解码端图像的原始解码图像、采用现有技术分离法以 及采用自适应边界增强图像处理的对比图，主观效果比较，采用本步骤的自适应边界增强 图像处理可以显著提高图像的主观质量。20.自适应亮度变换，改善图像的亮度值分布，自适应亮度值变换的原理就是，根 据变换前图像亮度值的统计特性，自适应更新变换函数的参数集，从而使得变换函数随着 不同的图像特性，动态的调整变换函数，来优化处理方法g(x，y) = ￥ (f(x, y), a (k) | k = 1，2， ，K)，其中:f(x, y)为解码端原始图像亮度值，g(x, y)为变换后亮度值，￥ (x, a (k) k =1，2，...，K)为变换函数，其中a (k)为变换函数V(x，a (k) |k= 1，2，...，K)的参数 集，K为参数个数；30.色度信息自适应增强，在UV色度空间作色度信息自适应增强，
(w' (x，y), v' (x, = w*(u(x，y), v(x, y), au ,av,Pu,fiv)其中
为变换函数，《为权重函数，由a u、a v确定UV
色度偏差位置，0U、决定色度调节步长。图7是测试源格式_WMV原始解码端图像与采用本发明处理后图像的效果的对比 图，通过上述方法的步骤10、步骤20以及步骤30后，可以自适应调整去除方块效应、增强图 像亮度、色度信息，达到提升编解码后图像的客观效果与主观效果的目的。在上述实施例中，仅对本发明进行了示范性描述，但是本领域技术人员在不脱离 本发明所保护的范围和精神的情况下，可根据不同的实际需要设计出各种实施方式。
10
权利要求
一种视频编解码的图像视觉效果提升方法，所述方法在编码端包括以下步骤S11提取图像边界信息，增强边界信息操作，具体步骤为S111提取图像f(x，y)边界信息h(x，y)h(x，y)＝γ(f(x，y))S112对提取的边界信息h(x，y)再作变换，获取边界增强图像g(x，y)g(x，y)＝φ(f(x，y)，h(x，y))其中f(x，y)为编码端原始图像亮度值，γ(x)为边界信息提取函数，φ(f(x，y)，h(x，y))为针对原始图像与边界信息特点所选用的变换函数；S12自适应亮度变换，改善图像的亮度值分布g’(x，y)＝ψ(f(x，y)，α(k)|k＝1，2，...，K)，其中g’(x，y)为变换后亮度值，ψ(x，α(k)|k＝1，2，...，K)为变换函数，其中α(k)为变换函数ψ(x，α(k)|k＝1，2，...，K)的参数集，K为参数个数；S13色度信息自适应增强，在UV色度空间作色度信息自适应增强，其中为变换函数，w为权重函数，由αu、αv确定UV色度偏差位置，βu、βv决定色度调节步长。F2009101064724C0000011.tif,F2009101064724C0000012.tif
2.根据权利要求1所述所述视频编解码的图像视觉效果提升方法，其特征在于所述 步骤S12进一步包括以下步骤 S121:设当前帧图像的特征空间为《^ I、= (Ki兴j统计亮度信息获取 图像整体统计特性，for (k = 0 ;k < M ；k++) if (f (x, y) G I k)计算 I k 统计特性外(/(太，力) 最后，获得该帧图像统计特性他(/0，力)I k = ^-M). 其中i.Mfi^y))，分别为图像特征子空间、Ik的统计特性； 5122根据视觉特点结合区域统计特性调整阈值，将图像划分为不同的区域QzY^tk=l ,由全局与区域统计关系n(x，①”oN)，调整统计特性门限阈值HP' H = ratio* n (PH，％，①2， ， 其中叱为~的统计特性PH、P' 别为整体统计信息获取的阈值与调整后的阈值，ratio为不同图像帧采用的 局部信息调整因子；5123由统计特性得到变换函数参数值 nk(x)为变换函数￥ (x，a (k) |k =1,2,..., K)的参数a (k)的调节函数。5124利用亮度变换函数V(f(x，y)，a (k) |k= 1,2, ... , K)，进行亮度变换，改善图 像亮度信息的分布。
3.根据权利要求1所述的所述视频编解码的图像视觉效果提升方法，其特征在于步骤S13进一步包括5131通过建立 UV 色度空间模型 mod(u(x，y)，v(x,y)) = ^u(x,y)2+v(x,y)20 =统计当前图像帧UV特性，获取UV空间饱和度信息K .5132由色彩饱和度信息计算调节参数au = Yu(k )^u = Yu(k )a v = YV(K )Y v = YV(K )S133:由UV空间模型下的统计实验，获取肤色分布经验值区间e G [e17 e2]，确定权 重函数w= n(e)，n(e)为只有一个最小值点的连续函数且Wmin = n ((e 1+e 2)/2)，由 w控制平缓向其他色彩带过渡；s 134 利用色度变函数(“’(A力，V’(X,y)) = w*<p(u(x,y),v(x,力,，av，总,代)，进行色度变换，增强图像的色度信息。
4.根据权利要求1所述的视频编解码的图像视觉效果提升方法，其特征在于步骤 S111中、(x)为边界信息提取函数，可采用梯度模提取法
5.一种视频编解码的图像视觉效果提升方法，所述方法在解码端包括以下步骤521根据方块统计特性，选择处理模式/-Q= 2>oC/^，>0)if (t_0 > Thres_l)mode =平坦区域处理法elsemode =复杂区域处理法由确定的处理模式，进行自适应边界增强处理，同时进行去除块效应与增强边界信息 处理；其中f(x，y)为解码端原始图像值，t_0为统计区域的统计特性变量名，n」(j = 0， 1,2)为统计特征函数，为与、相应的统计区域，Thres_l为判断当前处理区域是平坦区 域还是复杂区域的阈值；522自适应亮度变换，改善图像的亮度值分布；523色度信息自适应增强，在UV色度空间作色度信息处理。
6.根据权利要求5所述视频编解码的图像视觉效果提升方法，其特征在于在所述步 骤S21中，所述进行去除块效应与增强边界的方法为对于平坦区域处理if (t_lj > Thres_2)加权低通滤波else保护边界信息其中t_lj为第j个平坦区域Wy的统计特性变量名，Thres_2为当前处理的平坦区域 选取不同处理方法的阈值， 对于复杂区域处理3if (t_2j > Thres_3)f (xM, yN (xm, yn) G blockj, m = 1, 2, , M, n = 1, 2, , N) - = k ； f (xj, yj | (xm, yn) G blockJ+1, m = 1, 2, , M, n = 1, 2, , N) + = k ； else 增强边界信息其中t_2j为第j个复杂区域Wy的统计特性变量名，Thres_3为当前处理的复杂区域 选取不同处理方法的阈值。
全文摘要
本发明涉及一种视频编解码的图像视觉效果提升方法，该方法在编码端包括以下步骤图像边界信息增强处理；自适应亮度变换处理；色度信息的自适应增强处理。该方法在解码端则包括以下步骤基于块统计特性的边界信息自适应增强；自适应亮度变换处理；色度信息的自适应增强处理。本发明根据编解码端图像源的特点，一方面利用亮度空间处理技术去除方块效应、增强高频信息、改善亮度信息分布，来增强图像的亮度信息；另一方面利用色度空间处理技术，增强图像的色彩效果，最终达到图像的视觉效果提升的目的。
文档编号H04N9/68GK101854536SQ20091010647
公开日2010年10月6日 申请日期2009年4月1日 优先权日2009年4月1日
发明者舒倩 申请人:深圳市融创天下科技发展有限公司