基于空间依赖性度量的数字图像多语义标注方法
【专利摘要】本发明属于数字图像多语义标注方法，其特征在于依次包括如下步骤:（1）输入语义已知的若干数字图像以及待标注的所有数字图像至计算机；（2）通过特征提取，得到所有图像的特征向量集；（2）构造已标注图像的标签向量和所有图像最终标签向量集；（3）计算特征向量集的Gram矩阵；（4）利用空间依赖性度量方法得到特征向量集和标签向量集之间依赖性程度的度量值；（6）迭代过程中逐步提高依赖性度量值至最大，得到待标注图像属于各语义类的置信值；（7）设定阈值，判断待标注图像语义。本发明具有如下优点：1）可利用大量未语义标注图像提高标注效果；2）适用于多语义标注情况；3）较快的运算速度。
【专利说明】基于空间依赖性度量的数字图像多语义标注方法
【技术领域】
[0001] 本发明涉及一种基于空间依赖性度量的数字图像半监督多语义标注方法，属于电 子信息【技术领域】。
【背景技术】
[0002] 图像语义标注旨在使用语义关键词来表示一幅图像的语义内容，它对于图像分析 理解和图像检索都具有非常重要的意义。早期的图像语义标注需要专业人员根据每幅图像 的语义人工标出关键词，费时且具有主观性。为了克服人工标注的这些缺陷，研究者在近年 提出了许多自动标注图像语义内容的方法，包括基于生成模型的翻译模型，跨媒体相关模 型等方法，以及基于判别模型的非对称支持向量机和层次分类等方法。一般地，这些方法本 质上都可以看成是机器学习的过程：在已标注图像组成的样本数据集上学习并构造出一个 统计分类模型，并利用该模型得到待标注图像的语义类别。
[0003] 尽管众多自动语义标注技术的提出为海量图像数据的分析和理解提供了一个有 益的基础和前提，但是该技术仍存在着不少瓶颈问题亟需解决。其中，图像多语义和已标注 图像过于稀少这两类问题日益引起了研究者的广泛关注。图像多语义指一副图像通常具 有多个不同语义，比如在风景图中，一幅图像可以同时拥有"天空"、"白云"、"草原"等主题； 在医学图像中，一张医学图像可同时包含与"肿瘤"、"结石"等疾病相关的信息。传统机器 学习方法，包括近邻法、决策树、神经网络和支持向量机等，多属于单标签学习方法，不能直 接用于多语义情况下的图像语义标注。这种单样本拥有多类属的情况在机器学习领域称 为多标签学习。目前，多标签学习问题有Binary Relevance，Classifier Chains，MLKNN和 Rank-SVM等解决方法。这些方法是单标签方法通过问题转换或算法改进得到，在实际应用 中各有优劣。
[0004] 除多语义问题之外，自动语义标注技术还存在着已标注图像过于稀少的问题。造 成这一问题的主要原因是因为已标注图像的获得通常都需要耗费大量的人力和物力。尤其 是多语义情况下，随着语义类别的增加，各类已标注图像数目相对减少，这一问题就显得尤 其尖锐。已标注样本过于稀少会导致分类模型泛化性能的下降，进而影响语义标注的准确 率。解决这一问题的一个有效途径就是发展半监督语义标注方法。目前，尽管半监督学习 方法已有很大发展，提出了包括TSVM，图半监督学习等多种方法，但是可应用于多语义（多 标签）学习问题的半监督学习方法仍比较罕见。
[0005] 针对上述两个问题，本发明公布了一种基于空间依赖性度量的数字图像半监督多 语义标注方法。它的理论基础是空间依赖性度量，利用所有样本，包括已标注和未标注样 本，对特征集和语义类别集的依赖性进行估计，并将已标注图像样本作为边界约束，最后通 过迭代技术逐步提高该估计值至最大，从而得到待标注图像的所有语义类别。本发明具有 良好的技术效果。首先，本发明以基于统计理论的依赖性作为基础，可以通过增加样本数 目，包括未标注样本数目提高依赖性估计的准确性，因此它首先是一种可利用未标注图像 提高标注准确率的半监督标注方法；其次，无论图像同时具有多少个语义类别，本发明都将 该图像的语义组合看做语义集合中一个点并映射至再生核希尔伯特空间，所以它同时也是 多语义图像标注方法；最后本发明在可行方向法的基础上通过迭代完成图像标注，取得了 与现有技术可比的计算速度。
【发明内容】
[0006] 本发明的目的是提供一种准确高效的数字图像半监督多语义标注方法。
[0007] 本发明的技术方案是：接收语义已知的若干数字图像以及待标注的所有数字图 像并提取图像特征得到特征向量集，构造已标注图像的标签向量和所有图像最终标签向量 集，计算特征向量集的Gram矩阵并根据空间依赖性度量得到图像属于各语义类置信值以 及图像最终语义，具体由以下步骤组成： 步骤1，输入若干语义已知的数字图像以及需要进行语义标注的所有数字图像至计算 机；将所有图像格式统一为RGB格式，并对所有图像进行尺寸归一化； 步骤2,利用Gist描述符提取图像的全局纹理特征，将上述所有数字图像 均转换成向量，一幅图对应一个列向量，并将这些特征向量组成向量集，记为 if=[Ixy+1.1.,],其中a(1ASv)对应已标注图像，其余对应待标注图像； 步骤3，令《为样本可能的语义类别总数，构造初始状态下已标注图像々(ISMv)的 标签向量为分，分是,@维列向量，其中：
【权利要求】
1. 一种基于空间依赖性度量的数字图像多语义标注方法，其特征在于依次包括以下步 骤： 步骤1，输入若干语义已知的数字图像以及需要进行语义标注的所有数字图像至计算 机；将所有图像格式统一为RGB格式，并对所有图像进行尺寸归一化； 步骤2,利用Gist描述符提取图像的全局纹理特征，将上述所有数字图像 均转换成向量，一幅图对应一个列向量，并将这些特征向量组成向量集，记为 if = [4 為,Av+1?s ],其中;T; (1 ☆ S V)对应已标注图像，其余对应待标注图像； 步骤3,令《为样本可能的语义类别总数，构造初始状态下已标注图像力(1力SV)的 标签向量为）f ,乂是.呢维列向量，其中：
令《维列向量乃表示图像的最终标签向量，构造标签向量集 步骤4,选定特征向量集Z上的核函数为，通过核函数计算出Z的Gram矩阵， 记为K ; 步骤5,利用空间依赖性度量方法得到特征向量集和标签向量集之间依赖性程度的度 量值如下：
? = v+a表示图像样本总数； 步骤6,保证7满足条件4 = [>^...，乂]以及的情况下，利用迭代技术更新 4的值，逐步提高^〇〇至最大，从而得到待标注图像属于各语义类的置信值A ;其中， r 4和4分别是7的前v列和后u列，分别对应于语义已知和未知部分，111^是 Frobenius范数，T>0是预先给定比较小的常数，用于避免4尺度过大减弱A对于依赖性 程度的贡献率； 步骤7,对任意一副待标注图像力(v+ISjSv + 4,设定该图像的置信阈值力为该图 像所有语义置信值的平均值，即：
对任意待标注图像待标注图像~卜+ 1€』$￥ + 4以及任意给定的语义类别 1(1 A ，如果4(1 J) > 5,则判断样本具有第i个语义类别，否则判断样本不具有第i 语义。
2. 根据权利要求1所述的基于空间依赖性度量的数字图像多语义标注方法，其特征在 于：所述步骤3中的核函数包括径向基核，线性核，多项式核，sigmoid核。
3. 根据权利要求1所述的基于空间依赖性度量的数字图像多语义标注方法，其特征在 于：所述步骤6的具体步骤包括： 步骤6. 1,记A=HKH ,将A和H按照已标注和待标注划分成四部分：
其中，Ay和对应图像中的已标注部分，Ap?和Hjj?则对应图像中待标注部分，且 Atv = Ayjj , 11抓=;令
将迹比值扒7)转换成关于A的函数/( IV )/g(心）； 步骤6. 2，给定阈值f > 〇为很小的数；随机初始化}，使得Tr (拉)1 = T，令 炉=/(拉)/g(拉）； 步骤6. 3,令- fgjjp，求解得到新的.
步骤 6. 4，令，=# , f = /(拉)/ g(ll); 步骤6.5,当Y# <r，输出A =瑢，rtr中每一列(J = u# )的第i个数 表示第J个样本属于第i类的置信度；否则跳转至步骤6. 3,继续循环执行步骤6. 3 至步骤6. 5。
4. 根据权利要求3所述的基于空间依赖性度量的数字图像多语义标注方法，其特征在 于：所述步骤6. 3的具体步骤包括： 步骤6. 3. 1，指定阈值5 > 0为很小的数，令 N = 27F(AWf-^Hrer) 构造 max||ytf|k 这一优化问题的同解问题如下： m?ax FiY^ = Tr[ l^MY^ ]+Tr [NI^ ] s-t- 步骤6.丄2,令(』C=-，妒；如果p|fF且歹(拉）<i?( 7X即为最优解，输出 <为新的拉；否则，最优解在边界上，此时转入下一步； 步骤6. 3. 3,初始化点g作为新的计算起点；如果I拉! = r，令；^ =拉；否则，随机初 始化拉，使得埒满足Tr] = r ; 步骤6. 3. 4,初始化w2为给定常数，令Wl = -w2 / 2 ;其中，w3用于表示下一可行方向的 Frobenius 范数； 步骤6. 3. 5,计算当前点埒的可行方向如下：
步骤6. 3. 6,令M , w2 = , a < 1是给定正常数； 步骤6. 3. 7,当乏-5 ,令埒=埒;否则跳转至步骤6. 3. 5,继续循环执 行6. 3. 5至步骤6. 3. 7 ; 步骤6. 3. 8,当Tr[W^(坨)刃< 5 ,输出埒为新的拎；否则跳转至步骤6. 3. 4,继续循环 执行步骤6. 3. 4至步骤6. 3. 8。
【文档编号】G06F17/30GK104346456SQ201410599268
【公开日】2015年2月11日 申请日期:2014年10月31日 优先权日:2014年10月31日
【发明者】张晨光, 张燕 申请人:海南大学