专利名称：一种基于语义和内容的半自动图像标注方法
技术领域：
本发明涉及一种计算机图像搜索和图像标注方法，尤其是一种基于语义和内 容的半自动图像标注方法。
背景技术：
近十多年来，随着计算机网络技术的迅速发展、普及应用以及数据存储代价 的大幅度下滑，多媒体数据库的使用变得越来越普遍。以图像、音乐、视频形式 展现的多媒体信息无论在商业还是娱乐中都显现出了日益重要的作用。如何对如 此大量的数据进行有效地管理和组织，并从中搜索出用户所需要的信息就成为非 常重要的问题。对于多媒体数据，尤其是图像数据的浏览、搜索以及索引技术的 研究已经有了很长时间的历史。如今，有关图像数据库和视觉信息搜索的话题已 经变成了研究领域中最为活跃的一部分。
一个典型的图像搜索过程通常由一个初始查询和其后的一串相关反馈构成， 通过这些反馈，用户对检索得到的内容做出评价。 一个用户查询首先向系统提供 了一组对于想要图像的描述。对于一个被标注了关键字的图像数据库来说，这些 描述可以是一组关键字查询；对于一个被抽取了诸如全局亮度、像素点颜色百分 比等量化特征向量的图像数据库来说，这些描述可以是一张案例图像。前一种的 方式被称作为基于语义的图像搜索，后一种被称作为基于内容的图像搜索。对于 一个基于语义的图像搜索系统，我们一般可通过人为标注或者机器标注的方法给 数据库中的图像进行标注。人为标注精确度高，但效率低；机器标注效率高，但 精确度低。对于一个基于内容的图像搜索系统，用户一般很难去定义这些描述， 同时计算机程序也很难理解这些描述。此外，即使用户提供了一个比较不错的初
始査询，如何让之后的反馈信息作用于系统也是一个很大的问题。
因此使用了人工标注的基于语义的图像搜索，使用了机器标注的基于语义的
图像搜索以及基于内容的图像搜索这三种方式各有利弊，目前还没有一种能够结
合上述三者优点的图像标注索引系统。
发明内容
本发明所要解决的技术问题是提供一种效率高、精确度高、交互方式友好的 基于语义和内容的半自动图像标注方法。本发明解决上述问题所采用的技术方案是该标注方法包括以下步骤-
(1) 建立基于语义和内容的反馈图像检索系统，该系统的模型用三元组表 示为(F,込i (人,厶))，其中F是由数据库中所有图像的语义特征向量和内容特征
向量/构成的集合，g是用户所表达的图像语义和内容信息需求的特征集， 及(入,^))式是计算/g e g ，厶e F得到的相似度，并按照其相似度大小从大到
小排列的排列函数；
(2) 用户提交基于关键词的査询，系统将关键词序列转换为一组语义特征
向量<，每个关键词的对应权值与其出现在査询序列中的位置成反比，系统使 用排列函数及(入,厶))对数据库中的所有图像做基于语义的査询，将查询结果
按照排序的高低返回给用户；
(3) 用户从查询结果中选择比较满意的图像并反馈给系统，系统再次使用
排列函数i (入，/,))对数据库中的所有图像做基于语义或者基于内容或者综合语
义和内容的査询，找出所有与用户认为比较满意的图像相似的图像，并将査询结 果按照排序的高低返回给用户，同时对每张图像相对应的标注信息的权值进行调整。
本发明所述的内容特征向量使用颜色特征向量和纹理特征向量。
本发明在步骤(3)做综合语义和内容的査询时，将颜色特征向量和纹理特 征向量按一定的混合比结合，然后得到一个最终的相似度，该混合比可以是用户 随自己的需求进行设定，也可以使用系统默认的混合比。
本发明在数据库中，每张图像与其对应的一组标注构成语义网络，在每张图 片与标注值的链路上都赋有一个用于表示图片和标注值间的相干度的权值。
本发明所述权值采用tf-idf权值，tf-idf的向量R为 r 、 IDI IDI Pl
其中，lDl是系统中所有图i的个数，ti是^第i个标注所关联图像的个数; 对权值进行调整的具体方法为在每次系统开始查询之前，进行一次重新计
算，得到一个新的语义权值向量wr-R、w^，将这个新的权值向量加到图像原 来的语义权值向量上其中，swMW,t表示第i张图像经过调整后新的语义权值@量，sw td;i表示
第i张图像未调整前的语义权值向量。
本发明所述相似度比较算法使用卡方检验、JD分离和欧几里德这三种方法。 本发明与现有技术相比，具有以下有益效果(1)该标注方法利用混合比将 多个内容特征向量结合在了一起，在搜索相似的反馈图像时，系统可以将颜色特 征向量与纹理特征向量以一定的混合比相结合，得到最终的相似值；(2)该标注 方法所采用的半自动标注过程比其他反馈系统更为"自动"，传统的反馈标注系 统通常要求用户标出所有相关或者不相关的图像，然后再对这些标出图像的特征 向量作一定的调整，在该系统中，用户只需选出那张他认为最为近似的图像，然 后特征向量的调整便会在与该反馈图像相似的图像间自动进行；(3)传统的反馈 标注系统往往将反馈作用于图像的内容特征向量上，但事实上在对图像进行反馈 时，其图像内容并没有发生任何改变，该标注方法在传统的特征向量之上又加了 一层语义层，并将反馈作用于其上，起到了优化其语义向量，使图像对应的语义 特征向量能够更好的表达出图像的作用。
图l为本发明的语义网络图。
具体实施例方式
本实施例的具体步骤如下
(1) 建立一个基于语义和内容的反馈图像检索系统，该系统的模型用三元 组表示为(F,2，i (入,乂,))，其中F是由数据库中所有图像的语义特征向量和内
容特征向量/构成的集合，g是用户所表达的图像语义和内容信息需求的特征 集，W(A,力))式是计算^e2， ^eF得到的相似度，并按照其相似度大小从
大到小排列的排列函数；其中的内容特征向量使用颜色特征向量和纹理特征向 量，即颜色一致性向量(CCV)与Gabor滤波向量。其中相似度比较算法使用卡方 检验、JD分离和欧几里德这三种方法。
(2) 用户提交基于关键词的査询，如"pizza tower, sky, grass"，即 表示用户想要得到一张以蓝天草地为背景的比萨铁塔的全景图，系统自动将关键词序列转换为一组语义特征向量^，其每个关键词的对应权值与其出现在查询 序列中的位置成反比，即由上述关键字序列得到的语义特征向量 。(((pizza tower, 1.0)， (sky, 0.6)， (grass, 0.3))
针对上述语义特征向量，系统使用排列函数i c/;,厶))对数据库中的所有
图像做基于语义的査询，将査询结果按照排序的高低输出至界面以返回给用户； (3)用户从査询结果中选择出最符合搜索目标的图像并反馈给系统，系统
再次使用i (y;,力))排列函数对数据库中的所有图像做基于语义或者基于内容
或者综合语义和内容的査询，找出所有与用户认为比较满意的图像相似的图像， 并将査询结果按照排序的高低返回给用户，同时将语义特征向量
((pizza tower, 1.0)， (sky， 0.6)， (grass, 0.3))加载至査询结果，
以对每张图像相对应的标注信息的权值进行调整。其中参数w与该图像和反馈
Similarity G隱.械 图像的相似度成正比，其公式为"、,她一—
其中，M表示所有查询得到的图像数量，i表示按相似度高低排序得到的第 i张图像。
同时参见图l，在数据库中，每张图像与其对应的一组标注构成语义网络， 在每张图像与标注值的链路上都赋有一个用于表示图片和标注值间相干度的权值。
从上述过程可以看到，随着关键字的不断调整，越来越多关键字被加入其中， 系统的关键字词表不断得到了扩充，但同时由于个别关键字的多次重复查询，有 些图像与关键字间的权值将会变得很大，例如说，每一次输入查询"grass"， 系统都会为每一个相关的图片增加"grass"的权重，从而使得系统中所有其相 关的图片都拥有一个很大的"grass"权重值，从而破坏了 "grass"关键字与其 它关键字之间的平衡，影响到下一次查询的精度。考虑到每一个权值都应当最恰 当最客观的表达出图像与关键字间的相干度，所以每过一定的时间需要对关键字 的权值作一定的调整。
本实施例中的权值采用tf-idf权值。tf-idf权值是一个为了评估某一关键 字对文集中某一文档重要性的统计测量方法。关键字的重要性与其出现在该文档中的频次(tf一term frequency)成正比，与其出现在文集中其他文档的频次(idf —inverse document frequency)成反比。因此，这里可以把tf看作为上面计算
得到的叫，idf看作为系统中与某一标注相关联图像的个数。
这里就得到tf-idf的向量R为
<formula>formula see original document page 8</formula>
其中，iDl是系统中所有图像的个i^是与第i个标注所关联图像的个数;
R是一个全局的向量，是一个统计量，少数标注值的改变并不能对其精准度产生 较大的影响，因此对权值进行调整的具体方法为在每次系统开始查询之前，进行 一次重新计算，得到一个新的语义权值向量胃'-艮'.w，将这个新的权值向量 加到图像原来的语义权值向量上
其中，sw^w表示第i张图像经过调整后新的语义权值向量，sw。w,t表示
第i张图像未调整前的语义权值向量。
在步骤(3)做综合语义和内容的查询时，将颜色特征向量和纹理特征向量 按一定的混合比结合，然后得到一个最终的相似度，该混合比可以是用户随自己 的需求进行设定，也可以使用系统默认的混合比。
在求这个系统默认的混合比之前假设处于同一目录下的所有图像在语义上 是相互密切关联的。因此一个目录下的所有图像应当拥有相同的内容权重向量。 举例来说，位于'comic'目录下的所有图像应当对颜色较为敏感，因此对于颜 色特征向量他们应当拥有一个较小的权值，而对于'flower'目录下的所有图像 应当对纹理较为敏感，因此对于纹理特征向量他们应当拥有一个较小的权值。这 里又如果位于同一目录下的所有图像对于某一特征拥有一个较为相似的值，那么 就认为该向量可以很好的表达出图像的语义信息；反之，如果位于同一目录下的 所有图像对于某一特征出入较大，那么认为该向量不能很好地表达出图像的语义 信息。在该标注方法中，使用一个"标方差"的概念来恒量该"相似度"，在标 注系统启动之前，将系统中的目录图片作为训练集，逐一求得该混合比。
当需要在数据库中增加新图片时，不但需要将该新增图片的特征向量提取出 来放入专门的特征向量数据库中，还需要对每张新增的图像作自动标注，这是由 于在该系统使用关键字来表示每张图片的语义信息。最初始的情况下，所有的图片被分为257个类别，每一个类别的名称被初始 的标注给类别中的所有图片，例如"house"目录下的所有图片在最初始的情况 下都有且仅有一个"house"的标注，其权重为1。新加入图片自动添加标注的 过程为
(a) 对于系统中的每一个目录，计算该目录的代表特征向量，在本系统中， 取的是该目录下所有特征向量的几何平均值。
(b) 对于系统中的每一个目录，计算该目录的一组代表关键字。在本系统 中，对于一个系统下的所有图片，将其标注向量相加，取权值最大的三个关键字。
(c) 使用从新增图片上抽取得到的特征值，然后与每个目录的代表特征向 量求相似度，然后将最为相似的那个目录的代表关键字赋值给新增图片，并将新 增图片放置于该目录下。
图像特征向量抽取的算法选择颜色一致性特征向量抽取算法和Gabor滤波 的特征向量抽取算法。
其中，颜色一致性向量的实现过程如下
(a) 对图像作模糊化，即使用相邻像素点的平均值代替该像素原本的颜色 值。这样做的目的是为了消除一些随机的噪音。
(b) 对图像的颜色空间作离散化，这样使得一副图像中具有n种不同的颜色矩。
(c) 对每个像素点根据它的一致或者非一致性，将它放置于对应的颜色矩 中。 一个一致的像素点是一大组具有同样颜色像素区域的一部份，反之，则是非 一致的像素点。使用计算图像连通组件(connected component)的方法来决定 上述的像素区域。 一个连通组件C可以被定义为使具有下面特征像素点的最大 集合，对于任意的两个像素点/7，；/eC ，在C中必有一条连接p与的
路径，换句话说，就是说有一串像素点AA,iV..A,P'，来使得其中的每个P,， 都是相邻的。这里把"相邻"定义为是八个与该点最为相近的像素点，也
就是说这里的"相邻"还包括了对角线上的4个相邻点。这里只对某一颜色矩 中的颜色进行连通组件的计算。
(d) 当上述过程完成之后，图像中的每一像素点都将属于某一确定的连通组件中。然后根据这些连通区域的大小来决定这些像素点是一致的还是非一致 的，给定一个阈值r，如果该像素所属的连通组件的像素点个数大于这个值，则 认为该点是一致的，反之，则认为是非一致的。
对于一个给定的离散颜色值，有一些该颜色的像素为一致的，另一些则是非
一致的。把对于第j个颜色矩的一致的像素点个数称作为Oj,把非一致的像素 点个数称作为g 。很清楚的可以看到某一颜色矩的像素点个数的总合就是 Oj+pj,则一张图片的灰度直方图就可以被描述为是
对于每一种不同的颜色，计算得到如下的组对
把上述的组对称作为第j个颜色的一致性对。那么颜色一致性向量则可以 以以下的形式表示
Gabor特征向量抽取的实现如下
(a) 对图像作模糊化，即使用相邻像素点的平均值代替该像素点原本的颜 色值。这样做的目的是为了消除一些随机的噪音。
(b) 对图像的颜色空间作离散化，这样使得一副图像中具有n种不同的 颜色矩。
(c) 建立Gabor滤波核 <formula>formula see original document page 10</formula>
x = xcos8 + ysin8 y = —xsin6 + ycos6 上述的Gabor函数将根据不同的特定参数波长A，方向0，相位位移牵，展 弦比y和频宽o来计算得到不同的Gabor滤波核。在Image Annotationl. 0系统 中，经过大量的实验之后，我们把Gabor滤波核的窗口大小取为9*9，将方向8分别取做为O，〗，〗，，，将频宽c分别取做为0.3， 0.4， 0.5，将波长A取作为频宽
4 2 4'
的倒数，将相位移固定。最后得到12个不同的Gabor滤波核。
(d) 使用上述计算得到的12个9 * 9的Gabor滤波窗口分别对图像做巻积 运算，生成12张新的经过Gabor滤波过后的图像。
(e) 对上述12张新图像作求n维灰度直方图，对于每一张输入图像最后输 出一个12 * n维的特征向量。
特征向量相似度比较算法的实现采用卡方检验和JD分离和欧几里德这三种 方法。
其中，卡方检验算法实现过程如下
卡方检验是用途很广的一种假设检验方法，主要是比较两个及两个以上样本 率以及两个分类变量的关联性分析。其根本思想就是在于比较理论期望值和实际 检验值之间的吻合程度或者说是拟合优度问题。其应用包括有检验两个样本之间 差别的显著性；检验多个样本或构比之间差比的显著性；检验两个双向无序分类 变量是否存在关联。
对于输入特征向量^,v:，卡方检验的计算可分为以下几个步骤
(a)计算向量v间的理论期望值，这里我们将这两个向量间的几何中点作 为它们的理论期望值，即
(b)计算向量v间的卡方统计值，即
(oteerved — expected)2 — Cv鄉- vemp)2 (v鄉- v，)2 — f fi 平- v3i)2 e邻erted— vesp —vesp vexpt
JD分离的实现过程如下
Kullback-Leibler(KL)分离测量的是如果将其中的一个向量作为编码簿， 令一个向量使用该编码后的压縮程度。对于两个特征向量v》、，它们的Kullback-Leibler (KL)分离计算公式如下所示
恥、,&) =、、10§7=丄、麵[
其中，= pSn'k22.'"'ife性)
Jeffery(JD)分离是对Kullback-Leibler(KL)分离的一种改进，与KL相比， 它是对称的，并且更加稳定。对于两个特征向量VpV2，它们的Jeffery(JD)分离 计算公式如下所示
其中，& = (kii'kw…kn)
a f广广 广、 L +1，2 ，u k12 +! 22k工n"h kscK
v = (k工''"'k J = = (~1~' ^~—' ~1^)
在Image Annotationl. 0中就使用了 JD分离，对于输入特征向量^,&，其 计算可以分为以下几个步骤
(a) 计算向量^,v:间几何中点,
(b) 根据上述公式求得向量、'^2间的JD距离DO,, v2) 欧几里德距离实现过程如下
欧几里德距离计算中所使用的特征向量并不是上述计算中的图像特征向量， 而是各特征向量的平均值与标方差值。它不仅记录了两输入图像的颜色平均信 息，还记录两张图片的颜色变化信息。对于输入特征向量v,，V2，其计算可以分
为以下几个步骤
(a)对特征向量v,，^ ，分别计算它们的几何平均值<formula>formula see original document page 13</formula>
(b)对特征向量巧,V2，分别计算它们的标方差
<formula>formula see original document page 13</formula>
(c)对特征向量巧,^的欧几里德距离
权利要求
1、一种基于语义和内容的半自动图像标注方法，其特征是包括以下步骤(1)建立基于语义和内容的反馈图像检索系统，该系统的模型用三元组表示为(F，Q，R(fq，fd))，其中F是由数据库中所有图像的语义特征向量和内容特征向量f构成的集合，Q是用户所表达的图像语义和内容信息需求的特征集，R(fq，fd))式是计算fq∈Q，fd∈F得到的相似度，并按照其相似度大小从大到小排列的排列函数；(2)用户提交基于关键词的查询，系统将关键词序列转换为一组语义特征向量ωi，每个关键词的对应权值与其出现在查询序列中的位置成反比，系统使用排列函数R(fq，fd))对数据库中的所有图像做基于语义的查询，将查询结果按照排序的高低返回给用户；(3)用户从查询结果中选择比较满意的图像并反馈给系统，系统再次使用排列函数R(fq，fd))对数据库中的所有图像做基于语义或者基于内容或者综合语义和内容的查询，找出所有与用户认为比较满意的图像相似的图像，并将查询结果按照排序的高低返回给用户，同时对每张图像相对应的标注信息的权值进行调整。
2、 根据权利要求1所述的基于语义和内容的半自动图像标注方法，其特征是所述的内容特征向量使用颜色特征向量和纹理特征向量。
3、 根据权利要求1或2所述的基于语义和内容的半自动图像标注方法，其 特征是在步骤(3)做综合语义和内容的查询时，将颜色特征向量和纹理特征向量按一定的混合比结合，然后得到一个最终的相似度，该混合比可以是用户随 自己的需求进行设定，也可以使用系统默认的混合比。
4、 根据权利要求1所述的基于语义和内容的半自动图像标注方法，其特征 是在数据库中，每张图像与其对应的一组标注构成语义网络，在每张图片与标 注值的链路上都赋有一个用于表示图片和标注值间的相干度的权值。
5、 根据权利要求1或4所述的基于语义和内容的半自动图像标注方法，其特征是所述权值采用tf-idf权值，tf-idf的向量R为:IDIiai p:i其中，lDl是系统中所有图像的个数，ti是与第i个标注所关联图像的个数;对权值进行调整的具体方法为在每次系统开始査询之前，进行一次重新计 算，得到一个新的语义权值向量W-R'.Wt'，将这个新的权值向量加到图像原 来的语义权值向量上其中，sw^，,i表示第i张图像经过调整后新的语义权值向量，sw。llU表示第i张图像未调整前的语义权值向量。
6、根据权利要求l所述的基于语义和内容的半自动图像标注方法，其特征 是所述相似度比较算法使用卡方检验、JD分离和欧几里德这三种方法。
全文摘要
本发明公开了一种基于语义和内容的半自动图像标注方法。该标注方法包括以下步骤建立基于语义和内容的反馈图像检索系统，该系统的模型用三元组表示为(F，Q，R(f<sub>q</sub>，f<sub>d</sub>))；用户提交基于关键词的查询，系统将关键词序列转换为一组语义特征向量ω<sub>i</sub>′，系统使用排列函数R(f<sub>q</sub>，f<sub>d</sub>))对数据库中的所有图像做基于语义的查询，将查询结果按照排序的高低返回给用户；用户从查询结果中选择比较满意的图像并反馈给系统，系统再次使用排列函数R(f<sub>q</sub>，f<sub>d</sub>))对数据库中的所有图像做基于语义或者基于内容或者综合语义和内容的查询，找出所有与用户认为比较满意的图像相似的图像，同时对每张图像相对应的标注信息的权值进行调整。本发明具有效率高、精确度高、交互方式友好的优点。
文档编号G06F17/30GK101419606SQ20081012224
公开日2009年4月29日 申请日期2008年11月13日 优先权日2008年11月13日
发明者丁艳春, 吴朝晖, 姜晓红, 郑清照 申请人:浙江大学