专利名称：一种前景背景区域划分方法、系统的制作方法
技术领域：
本发明涉及图像检测领域，尤其涉及一种前景背景区域划分方法、系统。
背景技术：
目前的流媒体技术在低比特率的情况下，由于总码率不够，压缩后的图像质量不 好；尤其是在纹理复杂运动剧烈的场景中，这个矛盾更为突出。并且目前的人脸检测技术一 般分为肤色确定与五官定位两个步骤，在肤色区确定上则多采用单色彩模型，这使得判定 不具有对光线变化的鲁棒性；而五官定位技术一般计算量比较大，当把这项技术应用到编 码上作为一种编码辅助信息，其计算量与效果的性价比较差；且目前的前景背景检测技术 没有结合各类区域在编码压缩中的特点进行划分，所以对编码策略的调整其指导性较差， 尤其是在低比特率的情况下，这种技术会导致压缩后的图像质量不高。因此，目前迫切需要一种能够在低码率的情况下，提供一种合理的利用图像区域 信息，结合各区域在编码压缩中的特点进行划分，并能够调整编码策略，从而提高压缩图像 质量的方法。
发明内容
本发明实施例的目的在于提出一种合理的利用图像区域信息，结合各区域在编码 压缩中的特点进行划分，并能够调整编码策略，从而提高压缩图像质量的方法。为解决上述问题，本发明提出一种前景背景区域划分方法，该方法具体为 步骤101 将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别； 步骤102 基于所述的第二图像，确定第二图像的每一个宏块的图像类别；
步骤103 根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图 像区域划分；
步骤104 结合最终的图像区域划分，调节编码策略，获取新的编解码图像。本发明还提供了一种前景背景区域划分系统，所述的前景背景区域划分系统包括 处理装置、类别确定装置、区域联通装置、编码调整装置；
处理装置，用于将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别； 类别确定装置，用于基于所述的第二图像，确定第二图像的每一个宏块的图像类别； 区域联通装置，用于根据确定后的每一个宏块的图像类别，做区域联通处理，获取最终 的图像区域划分；
编码调整装置，用于结合最终的图像区域划分，调节编码策略，获取新的编解码图像。本发明提供了一种前景背景区域划分方法、系统。该方法与系统是基于图像不同 的区域在编码中的特点而进行的，所以该方法更适合于编码器；并且本发明提供人脸及背 景区域划分方法，一方面在低码率下保护人的视觉重点区域，另一方面可以利用图像的区 域划分信息调整编码策略，从而达到整体效果的提升。
图1是实施例1前景背景区域划分的方法流程图2是实施例1中确定第二图像的每一个宏块的图像类别为人脸的方法流程图； 图3是实施例1中确定第二图像的每一个宏块的图像类别为运动宏块的方法流程图； 图4是实施例1中确定第二图像的每一个宏块的图像类别为字幕的方法流程图； 图5是实施例1中确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块的 方法流程图6是实施例2是前景背景区域划分系统结构图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对 本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理 解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。本发明提供了一种前景背景区域划分的方法。实施例1，参见图1，本发明提供的前景背景区域划分的方法具体为
步骤101 将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别； 步骤102 基于所述的第二图像，确定第二图像的每一个宏块的图像类别； 步骤103 根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图 像区域划分；
步骤104 结合最终的图像区域划分，调节编码策略，获取新的编解码图像。上述步骤101中所述的预先设定需要划分的图像类别可以包括人脸、运动宏块、 字幕和平坦或极度可压缩宏块，这几个类别都是根据人的视觉重点所设定的，其他类别并 不对本发明构成限制；相应的步骤102中所述的确定第二图像的每一个宏块的图像类别包 括人脸、运动宏块、字幕和平坦或极度可压缩宏块。上述第一图像可以是视频图像中任意一帧图像，第二图像为将任意一帧图像下采 样后的图像。一、由于需要划分的图像类别可以是人脸、运动宏块、字幕和平坦宏块、嫉妒可压 缩宏块，那么划分不同的类别就有不同的方法，本发明实施例1提供的划分类别可以是其 中一种或任意种组合，下面将分别介绍确定每个宏块不同类别的具体方法。1、参见图2，步骤102所述的确定第二图像的每一个宏块的图像类别为人脸的方 法具体为
步骤1021 将所述的第二图像划分为三个区域第一人脸判定区域、第二人脸判 定区域、第三人脸判定区域；即划分第二图像为3个区域，其中第三人脸判定区域在 步骤1030中直接判定为非人脸区域，而第一和第二人脸判定区域为实际判定区域即 Re gion ^e = Re gion恤A u Re gionfB￡g2, Re gionMA η Re 如 = 0 , 0 为空集；分别进入
1022步骤对第一人脸判定区域进行判定，进入步骤10 对第二人脸判定区域进行判定；进 入步骤1030设置第三人脸判定区域；
步骤1022 对第一人脸判定区域中每个宏块求取复杂度 -Mb说·=j ι (u)e u ；其中 “ _Mbt’m,=stdm j ι α j) ^ υ 为第二 图像的 第m行η列宏块的复杂度；Std为求均方差；JiftJ)为第二图像第i行第j列像素的亮度值； 碰冰·为第t帧图像的第m行η列宏块；
步骤1023 判断所述复杂度是否满足判定条件Thres^1 <si —Mb一 <Ihres^ ，若是 则进入步骤1024，若否则所述宏块类别为非人脸；
其中ITimjw为预置的第十四阈值为预置的第十五阈值； 步骤IOM 将宏块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如 果满足则该宏块肤色像素点个数加1 ；
步骤1025 如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸； 步骤10 对第二人脸判定区域中每个宏块求取复杂度； —Mh；· = sid[ft(i, j IQJ) € Mbt譯、Λ ；其中 —Mkmtt = st_J, j I (i，f) 6 U 为第二 图像的
第m行η列宏块的复杂度；std为求均方差；M J)为第二图像第i行第j列像素的亮度值； 膽说·为第t帧图像的第m行η列宏块；
步骤1027 判断所述复杂度是否满足判定条件<si —Mht:m.· <Diresjtoj ，若是 则进入步骤10 ，若否则所述宏块类别为非人脸；
其中为预置的第十四阈值、Dmjtaa为预置的第十五阈值； 步骤10 以宏块为单位，用宏块内所有像素点相应分量的均值作为各色彩模型分量 的值，即将一个宏块作为一个肤色判定点；
步骤10 对所述肤色判定点做肤色判定，如果该肤色判定点位肤色则判定该宏块为 人脸，否则该宏块判定为非人脸；
步骤1030 设置第三人脸判定区域为非人脸区域。
在确定宏块类别为人脸方法的步骤10M、1029中所述的对肤色判定点做肤色判 定方法具体为
步骤111 使用色彩模型1 归一 RGB模型
門H
g = σ /(Λ + σ + 5),获得分量值色彩均衡参数Wr、绿色分量上界模型Gup、绿色分 量下界模型Gdown ；
该步骤中，获取色彩均衡参数具体为基于归一 RGB模型，求取色彩均衡性参数 Wr=(r-\i3)2 + (g- V 3)2 , r、g、b 为归一化 RGB 色彩分量；
获取绿色分量上界模型具体为构建绿色分量上界模型G· = ^/+^^+^ ,其中
、力S为模型参数；
获取绿色分量下界模型具体为构建绿色分量下界模型GWo胃=^^2 + ^ + 胃
；其中 纖A續而顯为模型参数。步骤112 使用色彩模型YUV模型
7] Γ 0.257 0.504 0.098 TRl Γ β" Lr = -0.148 -0.291 0.439 G + 128 V 0.439 —0.368 -0.071 B 128
获得分量值色彩能量CTergyaf = Λ/( -128)2 +(Π28)2 ；Y为亮度分量，U、V分别代表
YUV模型两个色度分量；
步骤113 使用色彩模型3 =YCoCg模型
步骤114 基于步骤111至113中获取的分量值进行判定，若同时满足下列6个条件， 则确定肤色判定点为肤色；
要求 1; Tkrssl <b-g < TSres 2
jg-Jc 2 Tkres3 <r- g < litres A* Wr
要求 3 ； Oup < g < Qdown
要求 4 : TnresS < Wr
要求 5 ThresS <Co < Thmsl
要求 6 17tres2 < mer^ MV < ThrssS & 8m*ThresW < ν & *Htresl 1 > ν 或者 TkresYl <§mrgym <TkresYi
r^resj , j e[l,13]分别为第一至第十三阈值；r、g、b为归一化RGB色彩分量为绿色
分量上界模型、为绿色分量下界模型、Π>为色彩均衡性参数、·为色彩能量、 为YCgCo模型色彩分量、u，ν为YUV模型两个色度分量。2、参见图3，步骤102所述的确定第二图像的每一个宏块的图像类别为运动宏块 的方法具体为
步骤201 提取宏块运动复杂度； 提取宏块运动复杂度具体为
α-描=^d[ft(j, j\(i,j)€ MblmJ - Jl1Q, j I C；, f) € U，其中 η — Mw 为宏块运动复 杂度；腦为第t帧图像第i行第j列像素的亮度值，勵为第t-Ι帧图像第i行第j列 像素的亮度值；std为求均方差描…为第t帧图像的第m行η列宏块。步骤202 基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息； VisJi _Mbt‘-.· = weighty * _Μ\·‘Λ ,、“ 一“ 一職凡,,为视觉宏块运动复杂度信息、weighty为宏
块啤抑的视觉权重；I... 为宏块运动复杂度；
步骤203 若视觉宏块运动复杂度信息大于预置的第十七阈值，则确定宏块为运动宏块。
5 G L获取分量值Co为YCgCo模型色彩分量；
3、参见图4，步骤102所述的确定第二图像的每一个宏块的图像类别为字幕的方 法具体为
步骤301 确定字幕检测区域；
步骤302 提取字幕检测区域中的宏块的纹理复杂度； d-Mb— = Stdj KUH施洲)],mi)为第t帧图像第i行第j列像素的亮度值、Mw 为第t帧图像的第m行η列宏块、Std为求均方差；
步骤303 若所述的宏块的纹理复杂度在预置的第十八阈值和第十九阈值之间，则所 述宏块为字幕。4、参见图5，步骤102所述的确定第二图像的每一个宏块的图像类别为平坦或极 度可压缩宏块的方法具体为
步骤401 确定平坦区域及极度可压缩检测区域Re；
步骤402 对于Re g 舞中的宏块，提取宏块亮度纹理复杂度和色度复杂度； si _ = std [Yt(i, j I ( ，j ) e MbK ■.·)] , rman _ 励 Λ· = mem[ ft(j, j | ( , f) e Mlme ] . -Mh-.. = ^td[Ut(ij IQJ)^ MbtimJ , memu= rmm[Ut(i, j \QJ) e；
紹ν—Mbf = std[VtQ, j \(j7j)€ AU , YrnrnwJsibt^m = γηβαηψ , j€ M ,具,].
其中，収力为第t帧图像第i行第j列像素的亮度值，^f(U)为第t帧图像第i行第j 列像素的色度υ分量值，mj)为第t帧图像第i行第j列像素的色度V分量值， 求 均值，谢求均方差；
步骤403 通过所述的宏块亮度纹理复杂度和色度复杂度，获取平坦宏块及极度可压 缩宏块的划分若宏块亮度纹理复杂度和色度复杂度满足下列条件 if (sr _ MX < Thres购 & &ThrssM 胸 < mean —Mbtjujt siu _ Mbmjl < Thresfklliv & M7Hresm -氣 < meanu — Mhtmji < Tnresm-师奶 & & s^ - 脚 < .忍腦鄉& SLTkms^K < meanv_Mhmjl < Thresm
则宏块属于极度可压缩区域，
若宏块亮度纹理复杂度满足条件Bj^U-则宏块属于平坦区域；
其中，第二十一阈值、ThreSmM第二十二阈值、Thresx^第二十三阈 值为相应亮度分量的判定阈值；第二十四阈值、Thr 第二十五阈值、
JMrf第二十六阈值为相应色度分量的判定阈值。二、下面再详细说明步骤103所述的做区域联通处理，获取最终的图像区域划分 的方法具体为
若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其 邻接宏块的具有最大相同类别量的宏块类别；
若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置 为周围邻接宏块的类别；若当前宏块不属于上述两种情况，则不对宏块做处理。实施例2，参见图，6，对应于实施例1提供的前景背景区域划分方法，本发明还提 供了一种前景背景区域划分系统；该系统包括处理装置、类别确定装置、区域联通装置、编 码调整装置；
处理装置，用于将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别； 类别确定装置，用于基于所述的第二图像，确定第二图像的每一个宏块的图像类别； 区域联通装置，用于根据确定后的每一个宏块的图像类别，做区域联通处理，获取最终 的图像区域划分；
编码调整装置，用于结合最终的图像区域划分，调节编码策略，获取新的编解码图像。上述处理装置中所述的预先设定需要划分的图像类别可以包括人脸、运动宏块、 字幕和平坦或极度可压缩宏块，这几个类别都是根据人的视觉重点所设定的，其他类别并 不对本发明构成限制；相应的类别确定装置中所述的确定第二图像的每一个宏块的图像类 别包括人脸、运动宏块、字幕和平坦宏块或极度可压缩宏块，相应的类别确定装置可以包 括人脸确定单元、运动宏块确定单元、字幕确定单元、平坦或极度可压缩宏块确定单元；
上述第一图像可以是视频图像中任意一帧图像，第二图像为将任意一帧图像下采样后 的图像。一、由于需要划分的图像类别可以是人脸、运动宏块、字幕和平坦宏块、嫉妒可压 缩宏块，那么划分不同的类别就有不同的方法，本发明实施例2提供的划分类别可以是其 中一种或任意种组合，下面将分别介绍类别确定装置确定每个宏块不同类别的具体方法
1、类别确定装置确定第二图像的每一个宏块的图像类别为人脸时，该装置包括人脸 确定单元，人脸确定单元包括划分单元、第一类别单元、第二类别单元；
划分单元，用于将所述的第二图像划分为三个区域第一人脸判定区域、第二人脸判定 区域、第三人脸判定区域，其中第三人脸判定区域直接判定为非人脸区域，不进入人脸判定 处理流程；
第一类别单元，用于对第一人脸判定区域中每个宏块求取复杂度 —施说· =JI ( U ；其中 S/ _Mh,mx = StdlM JI <J J)e 鳩,,_)]为第二图
像的第m行η列宏块的复杂度；std为求均方差；M I)为第二图像第i行第j列像素 的亮度值描…为第t帧图像的第m行η列宏块；判断所述复杂度是否满足判定条件 Thres^1 <si_MbtM,e <mms_^ ,若否则所述宏块类别为非人脸，；若是则将宏块内每个像素 点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足则该宏块肤色像素点个数加 1，如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸；其中D^jm 为预置的第十四阈值、Bresjtai为预置的第十五阈值；
第二类别单元，用于对第二人脸判定区域中每个宏块求取复杂度； “_描《. = sfrft/Xt j I (i J)e U]；其中 s/= stdlM JI J)e Mbt,精.Jl 为第二图
像的第m行η列宏块的复杂度；std为求均方差；細为第二图像第i行第j列像素 的亮度值；碰w为第t帧图像的第m行η列宏块；判断所述复杂度是否满足判定条件
权利要求
1.一种前景背景区域划分的方法，其特征在于，所述的方法包括步骤101 将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别； 步骤102 基于所述的第二图像，确定第二图像的每一个宏块的图像类别； 步骤103 根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图 像区域划分；步骤104 结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
2.根据权利要求1所述的前景背景区域划分的方法，其特征在于，步骤101中所述的预 先设定需要划分的图像类别包括人脸、运动宏块、字幕和平坦宏块、嫉妒可压缩宏块；步骤102中所述的确定第二图像的每一个宏块的图像类别包括人脸、运动宏块、字幕 和平坦或极度可压缩宏块。
3.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第 二图像的每一个宏块的图像类别为人脸的方法为步骤1021 将所述的第二图像划分为三个区域第一人脸判定区域、第二人脸判定区 域、第三人脸判定区域，分别进入1022步骤对第一人脸判定区域进行判定，进入步骤10 对第二人脸判定区域进行判定；进入步骤1030设置第三人脸判定区域；步骤1022 对第一人脸判定区域中每个宏块求取复杂度 _m‘·.·=^[/Xtm,ma)}；其中“_Μ Λβ=std[Mji(ij)€Μ ,,—)]为第二图像的第m行η列宏块的复杂度；std为求均方差；Z(U)为第二图像第i行第j列像素的亮度值； 她…为第t帧图像的第m行η列宏块；步骤1023 判断所述复杂度是否满足判定条件Thrmf^l <si<IhresJ1^ ，若是 则进入步骤1024，若否则所述宏块类别为非人脸；其中为预置的第十四阈值、Jfemjfcl9为预置的第十五阈值；步骤IOM 将宏块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如 果满足则该宏块肤色像素点个数加1 ；步骤1025 如果宏块内肤色像素点个数大于第十六阈值，则判定为所述宏块为人脸； 步骤10 对第二人脸判定区域中每个宏块求取复杂度； a -Mhf =谢[/Xi, j IQJ) e Mu,)]；其中 s/ _Mbt,m· = _M JI (J J) e U 为第二 图像的第m行η列宏块的复杂度；std为求均方差；Z(U)为第二图像第i行第j列像素的亮度值； 她一为第t帧图像的第m行η列宏块；步骤1027 判断所述复杂度是否满足判定条件Thrmj^1 <H· <Ihms^ ，若是 则进入步骤10 ，若否则所述宏块类别为非人脸；其中Ito^M为预置的第十四阈值、Ito^jfcri为预置的第十五阈值； 步骤10 以宏块为单位，用宏块内所有像素点相应分量的均值作为各色彩模型分量 的值，即将一个宏块作为一个肤色判定点；步骤10 对所述肤色判定点做肤色判定，如果该肤色判定点位肤色则判定该宏块为 人脸，否则该宏块判定为非人脸；步骤1030 设置第三人脸判定区域为非人脸区域。
4.根据权利要求3所述的前景背景区域划分方法，其特征在于，所述的步骤1024、1029 中所述的对肤色判定点做肤色判定具体为 步骤111 使用色彩模型1 归一 RGB模型關i(R + G + B),获得分量值色彩均衡参数Wr、绿色分量上界模型Gup、绿色分量下界模型Gdown ；步骤112 使用色彩模型YUV模型0.257 0.504- CU48 -0.291 0,433 -0,3680.098' 0.439 -0.071「if"16G+128Ia 128获得分量值色彩能量= ^(U-l2Sf+(F-i2Ef ；Y代表YUV模型亮度分量，U、V分别代表YUV模型两个色度分量； 步骤113 使用色彩模型3 =YCoCg模型0.25 0,5 0,25 Ti !-0.25 0.5 -0.25 σ，获取分量值C0色彩分量； 0.5 0 -0.5 JL^J步骤114 基于步骤111至113中获取的分量值进行判定，若同时满足下列6个条件， 则确定肤色判定点为肤色；要求 1 ； Tkresl <h - g < Thms2要求 2 :Thres2<r-g <Thr&s4^Wr要求 3 Gup < g < Gdawn要求 4 Thres5 < Wr要求 5 7hr&s6 < Co < Thresl要求 6 Threε2 < energyMV < 7 Γθε9 & &u "4lThresiO <v& &u ^Tkresl 1 > ν 或者 Tkresll Kmergyliv <ThresV3^resj , j e[l,13]分别为第一至第十三阈值；r、g、b为归一化RGB色彩分量 冲Ψ为绿色分量上界模型、为绿色分量下界模型、Π>为色彩均衡性参数、为色彩能量、 (’“为YCgCo模型色彩分量、u，ν为YUV模型两个色度分量。
5.根据权利要求4所述的前景背景区域划分方法，其特征在于，所述的步骤111中，获 得分量值色彩均衡参数、绿色分量上界模型、绿色分量下界模型具体为获取色彩均衡参数基于归一 RGB模型，求取色彩均衡性参数 Wr = (r-1/3)2 + (g-1/3)2 , r、g 为为归一化 RGB 色彩分量；
6.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第 二图像的每一个宏块的图像类别为运动宏块的方法为步骤201 提取宏块运动复杂度；
7.根据权利要求6所述的前景背景区域划分方法，其特征在于，步骤201中所述的提取 宏块运动复杂度具体为
8.根据权利要求6所述的前景背景区域划分方法，其特征在于，步骤202中 所述的基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度信息具体为
9.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定第 二图像的每一个宏块的图像类别为字幕的方法为步骤301 确定字幕检测区域；步骤302 提取字幕检测区域中的宏块的纹理复杂度； 幼=_f,aj \(j，r)_j , mj>为第t帧图像第i行第j列像素的亮度值、 为第t帧图像的第m行η列宏块、Std为求均方差；
10.根据权利要求2所述的前景背景区域划分方法，其特征在于，步骤102所述的确定 第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块的方法为步骤401 确定平坦区域及极度可压缩检测区域Re；步骤402 对于Reg30^to中的宏块,提取宏块亮度纹理复杂度和色度复杂度； Si _嫩\·,· = S^KCt j IQ J) e Μ\·,·Λ , mean _MbKmi = msanlM j|( J)G
11.根据权利要求1所述的前景背景区域划分方法，其特征在于，步骤103所述的做区 域联通处理，获取最终的图像区域划分具体为若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其 邻接宏块的具有最大相同类别量的宏块类别；若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置 为周围邻接宏块的类别；若当前宏块不属于上述两种情况，则不对宏块做处理。
12.—种前景背景区域划分系统，其特征在于，所述的前景背景区域划分系统包括处理 装置、类别确定装置、区域联通装置、编码调整装置；处理装置，用于将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；类别确定装置，用于基于所述的第二图像，确定第二图像的每一个宏块的图像类别；区域联通装置，用于根据确定后的每一个宏块的图像类别，做区域联通处理，获取最终 的图像区域划分；编码调整装置，用于结合最终的图像区域划分，调节编码策略，获取新的编解码图像。
13.根据权利要求12所述的前景背景区域划分系统，其特征在于，所述的处理装置预 先设定需要划分的图像类别包括人脸、运动宏块、字幕和平坦宏块、嫉妒可压缩宏块；所述的类别确定装置确定第二图像的每一个宏块的图像类别包括人脸、运动宏块、字 幕和平坦宏块、极度可压缩宏块；该装置包括人脸确定单元、运动宏块确定单元、字幕确定 单元、平坦或极度可压缩宏块确定单元。
14.根据权利要求13所述的前景背景区域划分系统，其特征在于，所述的类别确定装 置确定第二图像的每一个宏块的图像类别为人脸时，该装置包括人脸确定单元，所述人脸 确定单元包括划分单元、第一类别单元、第二类别单元；划分单元，用于将所述的第二图像划分为三个区域第一人脸判定区域、第二人脸判定区域、第三人脸判定区域；其中所述的第三人脸判定区域预置为非人脸区域；第一类别单元，用于对第一人脸判定区域中每个宏块求取复杂度
15.根据权利要求14所述的前景背景区域划分系统，其特征在于，第一类别单元和第 二类别单元中所述的对肤色判定点做肤色判定具体为 步骤111 使用色彩模型1 归一 RGB模型01KR + G + B),获得分量值色彩均衡参数Wr、绿色分量上界模型Gup、绿色分量下界模型Gdown，r、g、b为归一化RGB色彩分量； 步骤112 使用色彩模型YUV模型
16.根据权利要求15所述的前景背景区域划分系统，其特征在于，第一类别单元和第 二类别单元中所述的获得分量值色彩均衡参数、绿色分量上界模型、绿色分量下界模型具 体为获取色彩均衡参数基于归一 RGB模型，求取色彩均衡性参数 Wr = (r-1/3)2 + (g -1/3.)2 , r、g、b 为归一化 RGB 色彩分量；获取绿色分量上界模型构建绿色分量上界模型(^ = /2+ /+^-,其中^，‘，^为模型参数；获取绿色分量下界模型构建绿色分量下界模SOdfow^^^P + ^^r + b胃；其中ad_， 鎖，ci_为模型参数。
17.根据权利要求13所述的前景背景区域划分系统，其特征在于，所述的类别确定装 置确定第二图像的每一个宏块的图像类别为运动宏块时，该装置包括运动宏块确定单元， 所述运动宏块确定单元包括提取单元、复杂度信息获取单元、确定单元；提取单元，用于提取宏块运动复杂度；复杂度信息获取单元、用于基于视觉特性、宏块运动复杂度获取视觉宏块运动复杂度 fn息；确定单元，用于若视觉宏块运动复杂度信息大于预置的第十七阈值，则确定宏块为运 动宏块。
18.根据权利要求17所述的前景背景区域划分系统，其特征在于，提取单元所述的用 于提取宏块运动复杂度具体为 —_‘.-.·=淑[Λαυ - Mt J 丨(U) e AU],其中 i、. Mh,,,为宏块运动复杂度；MJ)为第t帧图像第i行第j列像素的亮度值，勵为第t-i帧图像第i行第j列像素的亮度值；std为求均方差職,..为第t帧图像的第m行n列宏块。
19.根据权利要求17所述的前景背景区域划分系统，其特征在于，复杂度信息获 取单元所述的获取视觉宏块运动复杂度信息具体为*— —Μ ^,^ = Wdgttiw,JtM^11,、《_"为视觉宏块运动复杂度信息、为宏块的视觉权重；H,:为 宏块运动复杂度。
20.根据权利要求13所述的前景背景区域划分系统，其特征在于所述的类别确定装置 确定第二图像的每一个宏块的图像类别为字幕时，该装置包括字幕确定单元，所述字幕确 定单元包括字幕检测单元、字幕纹理复杂度单元、字幕确定单元；字幕检测单元，用于确定字幕检测区域；字幕纹理复杂度单元，用于提取字幕检测区域中的宏块的纹理复杂度； si ^M,m = SidifXlj I (iJ)eM>,mJ],腦为第t帧图像第i行第j列像素的亮度值、 为第t帧图像的第m行η列宏块、std为求均方差；字幕确定单元，用于若所述的宏块的纹理复杂度在预置的第十八阈值和第十九阈值之 间，则所述宏块为字幕。
21.根据权利要求13所述的前景背景区域划分系统，其特征在于，所述的类别确定装 置确定第二图像的每一个宏块的图像类别为平坦或极度可压缩宏块时，该装置包括平坦或 极度可压缩宏块确定单元，该单元包括平坦或可压缩区域检测单元、纹理及色度复杂度提 取单元、平坦或可压缩区域确认单元；平坦或可压缩区域检测单元，用于确定平坦区域及极度可压缩检测区域Regio^te ；纹理及色度复杂度提取单元、用于对于Regia气_中的宏块，提取宏块亮度纹理复杂度 和色度复杂度；-MK., = S^KCi JIQ J)e, mean_Mbt.·.· =j|(ij)€ Mh.m·]；血―馳一.· = StdlUtQ1 j I (i,f)€ Μ>,._‘·] , msmu —Mht,-,· = msm[U/J, j \(i,j)e.Siv-Mbt," = std[VtQ, j\(j,j)€ M^mJ , meanv= rmm[V/J j |(ij) € MbmJ ；其中，K(U)为第t帧图像第i行第j列像素的亮度值，IZi(U)为第t帧图像第i行第j 列像素的色度U分量值，K(U)为第t帧图像第i行第j列像素的色度V分量值，m_ 求 均值，如求均方差；平坦或可压缩区域确认单元；用于通过所述的宏块亮度纹理复杂度和色度复杂度，获 取平坦宏块及极度可压缩宏块的划分若宏块亮度纹理复杂度和色度复杂度满足下列条件 if (β — Mbmx < Thresflsty & MJiress < mean — Mbmji < Thres7ti —师 & & 腿—Mhmjt < 'Thresmm &. Mhrssm < meanu — Mbmjs < Ihress _ ^m1iiv & & 彻―施！爾 < Thres&<meanv—Mbtmjl < Tnrssm_则宏块属于极度可压缩区域，若宏块亮度纹理复杂度满足条件I —具拟Thresftm,,则宏块属于平坦区域；其中，Thms_第二十一阈值、ThmsMM第二十二阈值、1hrrnm_mq第二十三阈 值为相应亮度分量的判定阈值；办腦购第二十四阈值、Ihresm 第二十五阈值、Im^s第二十六阈值为相应色度分量的判定阈值。
22.根据权利要求12所述的前景背景区域划分系统，其特征在于，所述的区域联通装 置做区域联通处理，获取最终的图像区域划分具体为若当前宏块的邻接宏块为同一类别的数量大于第二十七阈值，则当前宏块也判定为其 邻接宏块的具有最大相同类别量的宏块类别；若当前宏块的类别与其周围邻接宏块的类别均不相同，则将当前宏块的类别重新设置 为周围邻接宏块的类别；若当前宏块不属于上述两种情况，则不对宏块做处理。
全文摘要
本发明提出一种前景背景区域划分的方法，其特征在于，所述的方法包括将第一图像下采样，得到第二图像，并预先设定需要划分的图像类别；基于所述的第二图像，确定第二图像的每一个宏块的图像类别；根据确定后的每一个宏块的图像类别情况，做区域联通处理，获取最终的图像区域划分；结合最终的图像区域划分，调节编码策略，获取新的编解码图像。本发明还提供了一种前景背景区域划分的系统。该方法与系统是基于图像不同的区域在编码中的特点而进行的，所以该方法更适合于编码器；并且本发明提供人脸及背景区域划分方法，在低码率下保护人的视觉重点区域，利用图像的区域划分信息调整编码策略，从而达到整体效果的提升。
文档编号H04N7/26GK102129682SQ20111005614
公开日2011年7月20日 申请日期2011年3月9日 优先权日2011年3月9日
发明者张智雄, 舒倩 申请人:深圳市融创天下科技发展有限公司