专利名称：综合颜色和局部不变特征匹配的动画场景自动标注方法
技术领域：
本发明涉及多媒体信息处理技术领域关于基于图像匹配的图像标注方法，其实 质是一种通过比较图像相似度得到匹配对象，然后将匹配对象的标注信息进行合并，并 将聚类结果作为目标对象的标注信息的方法，是一种综合考虑了图像颜色信息以及图像 基于颜色不变量的局部不变特征信息来进行动画场景图像的匹配从而实现图像标注的方 法。
背景技术：
传统的动画片从制作到生产主要是靠人工来完成的，制作过程中产生了大量的 动画场景图像，由于这些图像没有任何的标注信息，往往导致了大量场景素材的浪费， 如果能对动画场景图像进行自动标注，就可以通过检索标注信息来得到所需的场景图 片，进一步完善动画场景图像库的规范管理，从而大大加速动画的制作时间与效率，对 于实际的动画生产行业将具有重大的实际应用价值。对场景图像进行自动标注的方法主要可以分为基于分类的图像标注以及基于匹 配的图像标注两种方法。基于分类的图像标注是利用支持向量机等机器学习技术对图像 进行训练分类，从而判定待标注图像的类别，并将该类别信息作为待标注图像的标注信 息。这类方法虽然能够减少对人工标注的需求，但是它们通常是根据图像中视觉特征出 现的总体情况来进行场景分类，因此该类方法往往适用于具有共同特征分布的图像(例 如自然场景图像)，而动画场景图像的颜色分布千差万别，不具有明显的共同颜色分布 特征，它往往会取决于绘制者的绘制风格，因此这类方法不适用于动画场景图像。而基 于匹配的图像标注是基于相似度检索从图像数据库中检索到最相似的一组图像，然后再 对这些相似图像的标注信息进行文本合并处理从而得到最终的标注信息。其中，图像匹 配指的是通过计算两幅图像之间的特征相似度来判断两幅图像是否相似，它是图像检索 领域近年来的一项主要研究。基于匹配的图像标注主要分为图像匹配与图像标注两个阶段，其中图像匹配结 果的好坏直接影响到标注信息的准确度。目前关于图像匹配算法，许多相关的研究工作 都集中在如何定义特征的描述子上，特征描述子可分为全局特征描述子与局部特征描述 子，全局特征的鲁棒性较强，传统的全局颜色特征包含颜色，纹理，形状等，多数基于 全局特征的匹配算法是将彩色图像转化为灰度图像，仅利用亮度信息进行配准，没有充 分利用图像的色彩信息，如果受到干扰可能会造成误匹配。与其他的全局视觉特征相 比，颜色特征作为一种全局颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从 而具有较高的鲁棒性。尤其是在动画场景图像中，颜色信息常常占有很高的比重。通 常采用HSV颜色空间或者HSI颜色空间，然而不同的颜色空间对动画场景图像的匹配 效果有着明显的不同。通过对200幅以上的素材进行统计，发现大部分动画场景素材和 自然场景素材在颜色空间的分布上有着明显的差别。为符合色彩心理学，在动画场景素 材里运用的色彩种类不宜过多。同时，在素材的色调饱和度上，通常自然场景中的色调饱和度都较小，而动画场景里饱和度均勻分布在整个区间内。在动画片的图像绘制中 常常利用鲜艳的色彩来吸引观众，所以动画场景图像中的色彩饱和度值常常较高，其色 调饱和度的分布范围比自然场景色调饱和度分布的范围要大很多。全局颜色特征无法 描述具有光照变化，旋转变化等的图像特征。在这方面局部特征相对而言具有更好的优 势，但局部特征的处理速度往往较慢，因而不适合用于实时的工程应用，仅仅用来进行 理论研究。在图像匹配中的局部不变特征上，SIFT尺度不变特征转换(ScaleInvariant Feature Transform,见[D.G.Lowe.Distinctive image features from scale invariant keypoints. International Journal of Computer Vision, 2004，60(2) 90-110])作为一种鲁棒的特征描 述方法，在提取灰度图像特征时取得了令人满意的效果，但在处理彩色图像时，则表现 出局限性。为使SIFT能更好地用于彩色图像处理，一些研究者做了不同的改进，如部分 研究者提出将RGB分量的强度归一化后再用SIFT方法来处理彩色图像，此算法虽具有 部分光照不变和几何不变性，但描述色彩不变特征时仍有局限性；部分研究者在提取和 识别彩色图像时，先用Bayses颜色分类器标注图像的不同区域，在不同区域进行SIFT描 述，并在同种颜色标注的区域之间进行匹配，此方法效果虽好，但必须进行色彩训练， 使得该算法的应用受到限制。为此，提出了一种基于颜色不变量的CSIFT特征(Colored invariant feature transform)的彩色图像局部特征描述方法，求出彩色图像各个位置处的颜 色不变量，以颜色不变量作为输入图像，再提取特征点并描述特征点周围的信息，通过 最近邻匹配法求出图像间的匹配对，最后利用匹配的特征求取图像间的变换参数及配准 后图像。相关实验结果表明，对彩色图像进行已知参数值变换时，该算法能得到精度 高、误差小的计算结果；对变换关系未知的彩色图像，也能准确地求出图像间的映射关 系；且多数情况下运行速度较SIFT快。目前在图像的匹配中还缺乏既准确又快速的描述 特征，既缺乏融合全局特征和局部特征的快速图像匹配方法。在图像匹配阶段得到匹配 图像结果之后，将匹配结果(即相似图像)的标注信息进行文本上的合并处理，将合并的 结果作为目标图像的标注信息，从而实现基于图像匹配的动画场景图像自动标注。传统 的文本处理技术主要包括关键词的统计与分类。
发明内容
本发明要解决的技术问题是提供一种基于图像匹配的动画场景自动标注方法， 综合利用全局颜色特征与基于颜色不变量的局部不变特征，在图像的标注过程中通过综 合利用动画场景图像的颜色特征与局部不变特征，其中颜色特征为全局颜色直方图，并 考虑了在自然场景中常常忽略掉的饱和度因素，局部不变特征采用了 CSIFT特征，由于 这些特征更适用于动画场景图像，因此本发明提高了动画场景标注的准确性和速度，满 足动画图像管理和检索的实用需求。本发明的技术方案如下
第一步，对目标图像(即待标注图像)进行预处理，即利用现有的数字图像处理技术 中的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰 度值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩 小，这样能更加突出图像的灰度细节信息。由于图像的大小将直接影响后续匹配阶段的 速度，因此若图像的宽度大于900像素，将图像的宽度缩小至900像素，宽高比保持原图像宽高比，若宽度小于900像素，则不做变化。 第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度， 进行颜色特征过滤。动画场景图像素材库是已经具有标注信息的动画场景图像集，该素 材库包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天 空、桥、河流、山以及森林；其场景的标注规范为类别标签；景别标签；时间标签； 其中类别标签为上述12种类别信息中的任意几种类别组合，景别标签可为远景或近景， 时间标签可以是白天、傍晚或者晚上；例如对某一幅同时包括天空和桥的图像，其场景 标注可能为“天空；桥；室外；远景；白天”，前面三类是类别标签，后面的分别是 景别标签和时间标签。颜色特征过滤的方法是
2.1、分别提取目标图像与素材库中所有图像的Mi/颜色特征(见[Smith,A.R.color gamut transform pairs, computer graphics,vol. 12,no.3,pp. 12-19]),其中—(hue,色调)、 (saturation,饱和度)、1 (intensity,强度)是三个颜色分量的值，计算方法如下
丑={細-5若LG其中[(及—汤2+([収G—灼严)⑴
3
Σ =\--[mm(i , G7B)](2)
R + G+B
J = -(i +G+ B)(3)
3
其中角度“是像素点在/￡ /空间中与红色轴之间的夹角，RGB分别表示图像的红 (Red)、绿(Green)、蓝(Blue)三个颜色分量，计算时值已归一化到范围
。在 得到图像中所有像素的Zi、S、/三个分量之后，对这三个分量的分布情况分别进行统 计，将所有像素Zf值的分布范围分为1个区间，分别统计在約个分布区间的像素个数 从而得到啊个数值，将这％个数值组成一啊维向量作为图像的A向量；将所有像素 S值的分布范围分为《2个区间，分别统计在个分布区间的像素个数从而得到个数 值，将这个数值组成一维向量作为图像的S向量；将所有像素/值的分布范围分 为《3个区间，分别统计在《3个分布区间的像素个数从而得到个数值，将这个数值 组成一約维向量作为图像的的/向量。因此得到图像/的分布为祐 ,S = i ,Si2,…}和Ii ={4,4,-/^> ,则图像7的全局颜色特征为 Ai= {mx +m2 +稱3)维的向量Cfi = (Hil, Hi2,...,Himi,^il,Si2 ,...,Sixh Jii Ji2^--JimJ。 上
、均为正整数，可取約取值为6，《2取值为6， 取值为12，之所以这么选择各个
分量的维数是通过反复比较各种维数分配情况得到的最优分配结果；
2.2、计算目标图像与动画场景图像素材库中图像的颜色相似度，利用欧式距离计算 I维颜色向量之间的距离值，计算方法如下
8式中J表示波长，χ为二维矢量，表示观测位置，；(.τ)表示光谱强度，PfiA表示 处的Fteanel反射系数，ΛJ足^表示材料反射率，为观测处的反射谱；对; 分别 求一阶导数得到尾，对i求二阶导数得到知。根据CIE1964XYZ的标准条件，彩色图 像的分量和(反民，的关系近似为公式(6),因此可以根据图像的值得至IJ (尾民，D的值,将图像转换至空间并得到i 、G、S三个分量的值，根据公式 (6)计算(
权利要求
1.1. 一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于包括以 下步骤第一步，对目标图像即待标注图像进行预处理，即利用现有的数字图像处理技术中 的图像灰度分段先行变换函数对目标图像进行预处理，计算目标图像中所有像素的灰度 值，将其中灰度值高于100的像素灰度值放大，同时将灰度值低于30的像素灰度值缩第二步，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行 颜色特征过滤，动画场景图像素材库是已经具有标注信息的动画场景图像集，该素材库 包含12类动画场景图像，分别为马路、高楼、房屋、室内、室外、冰山、树木、天空、 桥、河流、山以及森林；其场景的标注规范为类别标签；景别标签；时间标签；其 中类别标签为上述12种类别信息中的任意几种类别组合，景别标签为远景或近景，时间 标签是白天、傍晚或者晚上；颜色特征过滤的方法是
2.1、分别提取目标图像与素材库中所有图像的搬颜色 特征，其中//、S、/是三个颜色分量的值，计算方法如下J
3.3.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方法，其特征在于i取值为6，取值为6，‘取值为12。
4.4.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方 法，其特征在于Ci 取值为30。
5.5.如权利要求1所述的一种综合颜色和局部不变特征匹配的动画场景自动标注方 法，其特征在于为最大程度找出准确的匹配对，采用RANSAC法消除误匹配。
全文摘要
本发明公开了一种综合颜色和局部不变特征匹配的动画场景自动标注方法，目的是综合利用全局颜色特征与基于颜色不变量的局部不变特征，提高动画场景标注的准确性和速度。技术方案是先对目标图像即待标注图像进行预处理，计算目标图像与动画场景图像素材库中图像之间的全局颜色相似度，进行颜色特征过滤；提取颜色特征过滤后的匹配图像结果与目标图像的CSIFT特征，计算它们之间的全局颜色特征相似度和局部特征相似度；将颜色相似度和局部特征相似度进行融合，得到最后的总相似度；对匹配结果图像的标注信息进行文本处理并合并，得到目标图像的最终标注信息。采用本发明能提高动画图像匹配的准确度和匹配速度。
文档编号G06T7/00GK102012939SQ20101058380
公开日2011年4月13日 申请日期2010年12月13日 优先权日2010年12月13日
发明者吴玲达, 杨征, 蒋杰, 谢毓湘, 邓莉琼, 魏迎梅, 黄紫藤 申请人:中国人民解放军国防科学技术大学