专利名称：一种图像区域划分/编码方法、装置及系统的制作方法
技术领域：
本发明涉及视频编码领域，尤其涉及一种图像区域划分/编码方法、装置及系统。
背景技术：
面对一个复杂的场景，人类视觉注意系统(HVS，human visual system)能够迅速 将注意力集中在少数几个显著的视觉对象上，对其进行优先处理，该过程被称为视觉注意， 显著的视觉对象被称为感兴趣区域(region of interest，R0I)。在该机制的作用下，HVS对 有限的信息加工资源进行了合理分配，使视觉感知过程具备了选择能力。由此可见，并非整 个图像的所有区域在图像的主观质量都有同等重要的地位，图像的主观质量是更多的由图 象中的感兴趣区域的质量决定的。ROI检测对众多图像分析都具有较大的应用价值，其中较 为突出的几个应用方向包括图像质量评估、图像压缩与编码、图像检索、场景渲染、目标检 测。目前，最常用的衡量图像、视频质量的标准是峰值信号与噪声之比(PSNR， PowerSignal-to-NoiseRatio，信噪功率比)PSNRtffi = IOiog10 (2n-i) 2/mse (ι)其中，MSE为原始图像和编码后图像之间的均方误差，(2η-1)2为图像中最大可能 的信号值平方，η为表示每个象素的比特数。然而，PSNR并不能完全反应图像、视频的主观质量。如图1所示(注PSNR是人 们衡量两幅图像相似程度的最常用的指标，该值越高，我们通常认为两幅图像越相似)，虽 然图1(b)的PSNR值最高，但人们往往会认为图1(d)和原图更相似，图像质量更高。这是 因为在图1(d)中视觉感兴趣区域(如人脸、眼镜等区域)比图(b) (c)更为清晰，即使该图 1(d)在视觉不感兴趣的区域(女孩身后的地板、小提琴)显得比图(b) (c)模糊。以至即使 图(d)整体的PSNR比图(b)低将近3个db (即图像整体客观质量相差较大)，我们依然会 主观的人为图1(d)中的图像更清晰。由此可见，图像中不同区域在人们的主观评价中具有不同的重要性，图像的主观 质量是更多的由图象中的感兴趣区域的质量决定的。现有技术的图像编码压缩方法没有对 前景和背景进行精确划分，在码率一定的情况下，不能将有限的比特更合理的有机的分配 到人类视觉感兴趣的区域上，不能提供人类主观感觉更清晰的图像效果。
发明内容
本发明实施例的目的在于提出一种图像区域划分方法，旨在解决现有技术不能精 确划分图形的前景和背景问题。本发明实施例是这样实现的，一种图像区域划分方法，所述方法包括以下步骤提取视频序列中每帧图像各宏块的运动向量；对当前帧的运动向量进行统计，计算相同的运动向量的数量；标注并提取当前帧中宏块运动向量相对复杂的区域，划分感兴趣和非感兴趣区域。本发明实施例的另一目的在于提出一种图像区域划分装置，所述装置包括宏块运动向量提取模块，用于提取视频序列中每帧图像各宏块的运动向量；宏块运动向量统计模块，用于对当前帧的运动向量进行统计，计算相同的MV的数 量；宏块运动向量复杂区域处理模块，用于标注并提取当前帧中宏块运动向量相对复 杂的区域，对划分区域后的图像根据宏块的空间相关性及时间相关性进行进一步精确判 断，划分其感兴趣区和非感兴趣区。本发明实施例的另一目的在于提出一种图像区域编码方法，，所述方法包括以下 步骤根据图像宏块的运动向量的复杂度判断划分感兴趣区域或非感兴趣区域，运动向 量复杂度高的区域为感兴趣区域，运动向量复杂度低的区域为非感兴趣区域；对于图像感兴趣区域降低编码量化参数以提高该区域的图象质量，对图像非感兴 趣区域则提高编码量化参数以保持整体的编码比特不变。本发明实施例的另一目的在于提出一种图像区域编码系统，所述系统包括宏块运动向量提取模块，用于提取视频序列中每帧图像各宏块的运动向量；宏块运动向量统计模块，用于对当前帧的运动向量进行统计，计算相同的MV的数 量；宏块运动向量复杂区域处理模块，用于标注并提取当前帧中宏块运动向量相对复 杂的区域，对划分区域后的图像根据宏块的空间相关性及时间相关性进行进一步精确判 断，划分其感兴趣区和非感兴趣区。视频编码模块，用于根据所述图像区域划分装置划分出的感兴趣区域和非感兴趣 区域，进行不同质量的视频编码。本发明的有益效果本发明根据图像中宏块运动向量的复杂度判断图像为感兴趣 区域或非感兴趣区域，从而对图像进行感兴趣区域和非感兴趣区域划分。对感兴趣区域采 用较小的量化参数以提高视频的质量，相应的，对非感兴趣区域采用较高的量化参数，以平 衡总体的比特消耗不变，最终达到提高视频主观质量的效果。
图1为现有技术中的原图与不同PSNR的对比图；图2为本发明实施例的一种图像区域划分方法流程图；图3为本发明实施例网球比赛中某一帧的图像及标注了该帧图像中各宏块运动 向量的图；图4为图3中的图像划分成前景和背景区域后的图；图5为对图4中的图像划分区域进行进一步优化后的图；图6为本发明实施例的一种图像区域划分装置结构具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对
6本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理 解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。本发明实施例通过提取视频序列中每一帧图像各宏块的运动向量，对当前帧的运 动向量进行统计，计算相同的运动向量的数量，根据运动向量的复杂度判断图像为感兴趣 区域或非感兴趣区域，从而对图像进行感兴趣区域和非感兴趣区域划分。对感兴趣区域采 用较小的量化参数以提高视频的质量，相应的，对非感兴趣区域采用较高的量化参数，以平 衡总体的比特消耗不变，最终达到提高视频主观质量的效果。实施例一图2是本发明实施例的一种图像区域划分方法流程图，所述方法包括以下步骤S101，提取视频序列中每帧图像各宏块的运动向量。具体方法如下对图像的宏块进行空间上连续性的分析，根据运动预测SATD(Sum of Absolute Transform Difference)变换后绝对差值和计算得出当前宏块的运动向量 (MVX, MVY)，并存储下来。S102，对当前帧的运动向量进行统计，计算相同的运动向量的数量。具体方法如下将步骤SlOl中X轴方向的运动搜索范围为[_h，h)，Y轴方向的运 动搜索范围为[_v，v)。设矩阵M为2hX2v的运动向量统计矩阵 其中(MVXi, j, MVYi, j)表示第i行第j列的宏块的运动向量，Mi, j表示当前帧中运 动向量(MVXiij，MVYiij)等于(i-h，j-v)的宏块数目。S103，标注并提取当前帧中宏块运动向量相对复杂的区域，划分感兴趣和非感兴 趣区域。一般情况下，每帧图像的背景的运动趋势都是相对近似的，而前景区域的运动向 量则相对复杂。如图3所示为本发明实施例网球比赛中某一帧的图像及标注了该帧图像中 各宏块运动向量的图。由此可见，将运动向量相对复杂的区域加以区分，即可将图像的前景，即人们感兴 趣的区域提取出来。具体方法如下将步骤S102中的矩阵M按从小到大的方式排序，存入数组M_Coimt中 其中M_Coimtn的值表示具有η个相同运动向量的宏块的数目。在该数组中，η值 越少的元素代表着越罕见的宏块运动，同时亦意味着这些宏块越有可能是前景。因此， CoimtnW累加值在域值D以下时，认为这些宏块为前景，反之为背景。方法原理如下
，该区域被认为是前景，该区域被认为是背景(4)其中，域值D = k · width/16 · height/16 ；width指视频序列的宽度；height指视 频序列的高度；width/16 AeighVie指一帧图像中所含宏块的总量；k为比例系数，表明在运动向量较为罕见宏块数的与全图总宏块数之比为k，此处，k的值设定为0. 384。为确定上式(4)中比例系数k的值，此处引用了黄金分割的法则黄金分割又称 黄金律，是指事物各部分间一定的数学比例关系，即将整体一分为二，较大部分与较小部分 之比等于整体与较大部分之比，其比值为1 0.618或0.618 0.384，即长段为全段的 0.618。0.618被公认为最具有审美意义的比例数字。上述比例是最能引起人的美感的比 例，因此被称为黄金分割。根据人类的视觉特点，将总和为1的图像全景分割为0. 384的背 景和0. 618的背景更能符合人类的审美观。因此，我们将k的值设定为0. 384。根据上述法则，能将图3中的图像划分成前景及背景区域，图4所示为对图3中的 图像划分成前景和背景区域后的图。S104，对视频序列中每帧图像的前景作进一步判断。虽然图4已将所述帧图像的前景背景做出了初步分离，但图中仍有部分被误判的 区域。由于视频序列在空间上和时间上都有较强的连续性，因此在判断当前宏块是否图像 的前景时，可将空间上和时间上临近的区域也作为考虑因素，加强判断的准确性。视频序列 空间上区域的连续性考虑如下例如当前宏块被判断为前景，但与当前宏块接邻的上、下、 左、右宏块都被判断为背景，那当前宏块是前景的可能性就大为降低了 ；同理，若当前宏块 被判断为背景，但与当前宏块接邻的上、下、左、右宏块都被判断为前景，那当前宏块是背景 的可能性也很低。视频序列时间上的连续性考虑如下若当前宏块所在区域在前一帧图像中为前 景，则当前帧中该区域也是前景的几率就会大大增加；反之，若当前宏块所在区域在前一帧 图像中为背景，则前帧中该区域则更可能是背景而非前景。为使对图像前景背景区域判断更准确，可对步骤S103中区分出来的区域进行进 一步的筛选、优化，使结果更准确。其具体方法如下1)将步骤S103中前景背景的判定方法进行优化。 其中，level表示当前宏块以运动的稀有性来判断得出是前景的可能性。该值越 高表明当前宏块越可能是前景。2)根据当前宏块的空间相关性及时间相关性确定当前宏块是否为前景。设当前宏块的level值为levely，结合当前宏块的空间相关性，得到当前宏块为 前景的空间可能性为Lf0re^ntlWoreij J>n = Ievelijj^a · (Ieveli^lj j+leveli+lj j+level^ ^+Ievelij J+1) (6)其中i，j为当前宏块所处的行、列，η为当前宏块所在的帧的序号，α为时间相关 性系数，取值为W，l]。对处于边界区域的宏块，令临近的宏块超出边界部分的level值取 0，例若i_l < 1，即当前宏块位于图像最左边，则令Ievel^1 = 0
结合当前宏块的时间相关性，得到当前宏块为前景的综合可能性为Lvi,“。Lvijjjn = L_foreijJ,n+A · Lforeijj,^ (7)其中i，j为当前宏块所处的行、列，η为当前宏块所在的帧的序号，λ为时间相关 性系数，取值为
。3)选择域值，判定当前宏块是否为前景。方法如下对式(6)中α取0.6，对式(J)中λ取.05，对式(8)中threshold取10，对图3 进行前景区域提取，可得如图5所示为对图4中的图像划分区域进行进一步优化后的图。本发明实施例通过提取视频序列中每一帧图像各宏块的运动向量，对当前帧的运 动向量进行统计，计算相同的运动向量的数量，根据运动向量的复杂度判断图像为感兴趣 区域或非感兴趣区域，并对划分区域后的图像根据宏块的空间相关性及时间相关性进行进 一步精确判断，从而对图像进行前景和背景区域的精确划分。实施例二如图6所示为本发明实施例的一种图像区域划分装置结构图。所述装置包括以下 部分宏块运动向量提取模块，用于提取视频序列中每帧图像各宏块的运动向量；宏块运动向量统计模块，用于对当前帧的运动向量进行统计，计算相同的MV的数 量；宏块运动向量复杂区域处理模块，用于标注并提取当前帧中宏块运动向量相对复 杂的区域，对划分区域后的图像根据宏块的空间相关性及时间相关性进行进一步精确判 断，划分其感兴趣区和非感兴趣区。所述宏块运动向量复杂区域处理模块包括初步处理模 块和优化处理模块，所述初步处理模块用于用于标注并提取当前帧中宏块运动向量相对复 杂的区域；所述优化处理模块用于根据当前宏块的空间相关性及时间相关性对分区域后的 图像进行进一步精确判断，划分其感兴趣区和非感兴趣区；本发明实施例通过提取视频序列中图像的运动向量，根据运动向量的复杂度判断 图像为感兴趣区域或非感兴趣区域，并对划分区域后的图像根据宏块的空间相关性及时间 相关性进行进一步精确判断，从而对图像进行前景和背景区域精确划分。实施例三本发明实施例还提供一种图像区域编码方法，所述方法包括实施例一的方法包括 的步骤外，还包括步骤根据最终划分出的前景和背景，进行不同质量的视频编码，对感兴 趣区域采用较小的量化参数编码以提高视频的质量，对非感兴趣区域采用较高的量化参数 编码，以平衡总体的比特消耗不变。本发明实施例通过提取视频序列中图像的运动向量，根据运动向量的复杂度判断 图像为感兴趣区域或非感兴趣区域，并对划分区域后的图像根据宏块的空间相关性及时间 相关性进行进一步精确判断，从而对图像进行前景和背景区域精确划分。对感兴趣区域采 用较小的量化参数以提高视频的质量，对非感兴趣区域采用较高的量化参数，以平衡总体
9的比特消耗不变，最终达到提高视频主观质量的效果。实施例四本发明实施例还提供一种图像区域编码系统，所述系统包括宏块运动向量提取模块，用于提取视频序列中每帧图像各宏块的运动向量；宏块运动向量统计模块，用于对当前帧的运动向量进行统计，计算相同的MV的数 量；宏块运动向量复杂区域处理模块，用于标注并提取当前帧中宏块运动向量相对复 杂的区域，对划分区域后的图像根据宏块的空间相关性及时间相关性进行进一步精确判 断，划分其感兴趣区和非感兴趣区。所述宏块运动向量复杂区域处理模块包括初步处理模 块和优化处理模块，所述初步处理模块用于用于标注并提取当前帧中宏块运动向量相对复 杂的区域；所述优化处理模块用于根据当前宏块的空间相关性及时间相关性对分区域后的 图像进行进一步精确判断，划分其感兴趣区和非感兴趣区；视频编码模块，用于根据最终划分出的感兴趣区域和非感兴趣区域，进行不同质 量的视频编码。本发明实施例通过提取视频序列中图像的运动向量，根据运动向量的复杂度判断 图像为感兴趣区域或非感兴趣区域，并对划分区域后的图像根据宏块的空间相关性及时间 相关性进行进一步精确判断，从而对图像进行前景和背景区域精确划分。对感兴趣区域采 用较小的量化参数以提高视频的质量，对非感兴趣区域采用较高的量化参数，以平衡总体 的比特消耗不变，最终达到提高视频主观质量的效果。本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可 以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中， 所述的存储介质可以为ROM、RAM、磁盘、光盘等。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
权利要求
一种图像区域划分方法，其特征在于，所述方法包括以下步骤提取视频序列中每帧图像各宏块的运动向量；对当前帧的运动向量进行统计，计算相同的运动向量的数量；标注并提取当前帧中宏块运动向量相对复杂的区域，划分感兴趣和非感兴趣区域。
2.如权利要求1所述的图像感兴趣和非感兴趣区域划分方法，其特征在于，所述方法 还包括以下步骤对划分感兴趣和非感兴趣区域后的图像根据宏块空间和时间的相关性进行进一步判断。
3.如权利要求1所述的图像区域划分方法，其特征在于，所述“提取视频序列中每帧图 像各宏块的运动向量”包括对图像的宏块进行空间上连续性的分析，根据运动预测SATD (Sum ofAbsolute Transform Difference)变换后绝对差值和计算得出当前宏块的运动向量(MVX，MVY)，并存 储下来。
4.如权利要求1所述的图像区域划分方法，其特征在于，所述“对当前帧的运动向量进 行统计，计算相同的运动向量的数量”包括将所述宏块的运动向量中X轴方向的运动搜索范围为[_h，h)，Y轴方向的运动搜索范 围为[-ν，ν)，设矩阵M为2hX2v的运动向量统计矩阵m=h-\,n=v~lMu = Σ (MVXmn, MVYmn) = (/ -Kj- ν)τη=-Λ，《=-ν 2 )其中(MVXi, j, MVYi, j)表示第i行第j列的宏块的运动向量，Mi, j表示当前帧中运动向 量(MVXiij，MVYiij)等于(i-h，j-v)的宏块数目。
5.如权利要求1所述的图像区域划分方法，其特征在于，所述“标注并提取当前帧中宏 块运动向量相对复杂的区域，划分感兴趣和非感兴趣区域”包括将所述矩阵M按从小到大的方式排序，存入数组M_Coimt中i=2h-\J=2v-\M _ Countn = ^jMij == ηW=O ‘(3)其中M_Coimtn的值表示具有η个相同运动向量的宏块的数目，η值越少的元素代表着 越罕见的宏块运动，其为前景的可能性就越大，当M_Coimtn的累加值在域值D以下时，认为 这些宏块为前景，反之为背景。方法原理如下ΛΓ< \^-M_countx<D，该区域被认为是前景/ else，该区域被认为是背景(4)其中，域值D = k · width/16 · height/16 ；width指视频序列的宽度；height指视频序 列的高度；width/16 AeighVie指一帧图像中所含宏块的总量；k为比例系数，表明在运动 向量较为罕见宏块数的与全图总宏块数之比为k，此处，k的值设定为0. 384。
6.如权利要求2所述的图像区域划分方法，其特征在于，所述“对划分感兴趣和非感兴 趣区域后的图像根据宏块空间和时间的相关性进行进一步判断”还包括以下步骤A)将公式(4)中前景背景的判定方法进行优化， 其中，level表示当前宏块以运动的稀有性来判断得出是前景的可能性，该值越高表明 当前宏块越可能是前景；B)根据当前宏块的空间相关性及时间相关性确定当前宏块是否为前景，设当前宏块的level值为levely，结合当前宏块的空间相关性，得到当前宏块为前景 的空间可能性为Lfore^n，Woreij J>n = Ievelij j+α · (Ieveli^lj j+leveli+lj j+level^ ^+Ievelij J+1) (6)其中i，j为当前宏块所处的行、列，η为当前宏块所在的帧的序号，α为时间相关性系 数，取值为W，1]，对处于边界区域的宏块，令临近的宏块超出边界部分的level值取0，例 若i-Ι < 1，即当前宏块位于图像最左边，则令levels」= ，结合当前宏块的时间相关性，得到当前宏块为前景的综合可能性为Lv^n，Lvijjjn = Lforei, j,η+λ · Lforei, j,η (7)其中i，j为当前宏块所处的行、列，η为当前宏块所在的帧的序号，λ为时间相关性系 数，取值为
；C)选择域值，判定当前宏块是否为前景 方法如下 对式(6)中α取0.6，对式(8)中λ取.05，对式(9)中threshold取10，对图像前景 区域提取，对所述图像进行进一步优化划分。
7.一种图像区域划分装置，其特征在于，所述装置包括宏块运动向量提取模块，用于提取视频序列中每帧图像各宏块的运动向量；宏块运动向量统计模块，用于对当前帧的运动向量进行统计，计算相同的MV的数量；宏块运动向量复杂区域处理模块，用于标注并提取当前帧中宏块运动向量相对复杂的 区域，对划分区域后的图像根据宏块的空间相关性及时间相关性进行进一步精确判断，划 分其感兴趣区和非感兴趣区。
8.如权利要求7所述的图像区域划分装置，其特征在于，所述宏块运动向量复杂区域 处理模块包括初步处理模块，用于用于标注并提取当前帧中宏块运动向量相对复杂的区域；优化处理模块，用于根据当前宏块的空间相关性及时间相关性对分区域后的图像进行 进一步精确判断，划分其感兴趣区和非感兴趣区。
9.一种图像区域编码方法，其特征在于，所述方法包括以下步骤根据图像宏块的运动向量的复杂度判断划分感兴趣区域或非感兴趣区域，运动向量复杂度高的区域为感兴趣区域，运动向量复杂度低的区域为非感兴趣区域；对于图像感兴趣区域降低编码量化参数以提高该区域的图象质量，对图像非感兴趣区 域则提高编码量化参数以保持整体的编码比特不变。
10. 一种图像区域编码系统，其特征在于，所述系统包括 如权利要求7所述的图像区域划分装置；视频编码模块，用于根据所述图像区域划分装置划分出的感兴趣区域和非感兴趣区 域，进行不同质量的视频编码。
全文摘要
本发明公开一种图像区域划分/编码方法、装置及系统，通过提取视频序列中图像的运动向量，根据运动向量的复杂度判断图像为感兴趣区域或非感兴趣区域，并对划分区域后的图像根据宏块的空间相关性及时间相关性进行进一步精确判断，从而对图像进行前景和背景区域精确划分。对感兴趣区域采用较小的量化参数以提高视频的质量，对非感兴趣区域采用较高的量化参数，以平衡总体的比特消耗不变，最终达到提高视频主观质量的效果。
文档编号G06T7/20GK101882316SQ20101019379
公开日2010年11月10日 申请日期2010年6月7日 优先权日2010年6月7日
发明者张智雄 申请人:深圳市融创天下科技发展有限公司