图像多尺度自动标注方法与流程

本发明涉及机器学习技术领域，特别是涉及一种图像的自动标注技术。

背景技术：

图像自动标注技术是机器学习和计算机视觉中的研究热点之一，图像自动标注就是以单词、词汇的形式，自动地给图像赋予语义信息。图像的自动标注在多个领域都有巨大的应用价值，其基本的思想在于利用已有标注的图像训练一个模型，然后将模型应用在无标注的待标注图像上，进而推理出待标注图像的语义。

图像的语义可分为局部语义和全局语义两种尺度，其中局部语义指图像中某一部分呈现的语义，它能够与图像中某些位置的像素建立映射；全局语义是指图像整体反映出的语义，它很难与具体的像素建立联系，而往往是图像中多个特征联合表达出的语义。

在现有的技术中，对图像局部语义的自动标注，语义分割是一种有效的方法，它通过给图像中每个像素一个语义标签，实现了局部语义的标注，与不建立像素和语义对应关系的普通图像标注技术相比，语义分割能够更精确的实现局部语义标注，但是无法实现全局语义的标注。目前还缺乏在语义分割基础上进行多尺度语义标注的方法研究。

技术实现要素：

本发明所要解决的技术问题是，克服现有技术的上述缺点，提供一种图像多尺度自动标注方法，在语义分割实现精确局部语义标注的基础上，进一步实现全局语义标注。

为了解决以上技术问题，本发明提供的图像多尺度自动标注方法，其特征在于，包括以下步骤：

第1步、在训练集中寻找待标注图像的k近邻图像，所述训练集包含n个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注；

第2步、每个全局标注在k近邻图像中出现的频率作为该全局标注的第一权重；

第3步、对待标注图像和每个k近邻图像建立逐像素的密集匹配，选择匹配度最高的m个k近邻图像加入候选集；

第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重；

第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值；

第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。

本发明方法实现了图像的局部语义(局部标注)与全局语义(全局标注)的多尺度标注。在进行全局标注时，利用了每个全局标注在k近邻图像中出现的频率、在候选集中图像中出现的频率以及局部标注与全局标注间的关联度信息、提高了全局标注的准确性(全局标注排序更准确)。相对于传统互相孤立的局部标注方法和全局标注方法，本发明将两者结合在一起，通过建立一个统一的模型，实现局部标注和全局标注的一步实现，提高了图像标注效率。

附图说明

下面结合附图对本发明作进一步的说明。

图1本发明图像多尺度自动标注方法的流程图。

具体实施方式

如图1所示，本实施例图像多尺度自动标注方法，其特征在于，包括以下步骤：

第1步、在训练集中寻找待标注图像的k近邻图像，所述训练集包含n个图像，每个图像对应若干全局标注，每个图像的每个像素对应一个局部标注。

本步骤中，提取待标注图像和训练集中所有图像的gist特征向量，计算待标注图像的gist特征向量与训练集中所有图像的gist特征向量之间的欧氏距离，选取欧氏距离最小的k个图像，作为待标注图像的k近邻图像。本实施例提取gist特征向量，除此之外，还可以是hog特征向量或视觉词包特征向量。

第2步、每个全局标注在k近邻图像中出现的频率作为该全局标注的第一权重。使用计算机来进行自动处理时，借助对k近邻图像建立关于全局标注的索引，对索引进行统计，来计算所述的频率，当然也不排除使用其他的统计方式。具体的，本实施例中，全局标注的第一权重计算方法如下：

设训练集图像的全局标注全集为{y1,y2,...,yl}，l为训练集图像的全局标注种类数；对k近邻图像集合中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的l维向量yi，yi∈{0,1}^l，向量yi的第l维个元素yi(l)＝1，则表示第i个训练集图像含有全局标注yl，向量yi的第l维个元素yi(l)＝0，则表示第i个训练集图像不含有全局标注yl，对于待标注图像的k近邻图像集合{x1,x2,...,xk}，建立其全局标注的索引，用{y1,y2,...,yk}进行表示，令为k近邻图像集中的全局标注的总数，令为k近邻图像集合中第l个全局标注yl的总数，则第l个全局标注的第一权重为

第3步、对待标注图像和每个k近邻图像建立逐像素的密集匹配，选择匹配度最高的m个k近邻图像加入候选集。

本步骤使用sift流方法，通过最小化两图间sift流能量，对待标注图像和每个k近邻图像之间建立逐像素的密集匹配。选择sift流能量最小的m个k近邻图像组成候选集。两幅图像之间，sift流能量越小，代表匹配度越高。

本步骤中的sift流方法为现有成熟算法，参见论文《siftflow:densecorrespondenceacrossscenesanditsapplications》。

第4步、计算候选集中图像的每个全局标注出现的频率，与对应全局标注的第一权重加权求和得到该全局标注的第二权重。使用计算机来进行自动处理时，借助对候选集图像建立关于全局标注的索引，对索引进行统计，来计算所述的频率。本步骤方法与第2步原理相同。具体的，本实施例中，全局标注的第二权重计算方法如下：

对候选集中每个图像的全局标注进行提取和排列并建立索引，获得与所述训练集图像的全局标注全集对应的l维向量zi，zi∈{0,1}^l，向量zi的第l维个元素zi(l)＝1，则表示第i个候选集图像含有全局标注yl，向量zi的第l维个元素zi(l)＝0，则表示第i个候选集图像不含有全局标注yl，对于待标注图像的候选集{x1,x2,...,xm}，建立其全局标注的索引，用{z1,z2,...,zm}进行表示，令为候选集中所有图像的全局标注的总数，令为第l个全局标注在候选集中的总数，则第l个全局标注的第二权重α∈(0,1)，权重参数α的取值建议为0.8,取值可用验证集图像进行验证，一般应取大于0.5的值。

第5步、利用候选集图像的局部标注信息对待标注图像进行逐像素的局部标注赋值。本步骤为现有成熟方法。本实施例中选用的是labeltransfer方法，参见论文《nonparametricsceneparsingvialabeltransfer》。除此之外，还可以采用全卷积神经网络、二阶池化、图模型等方法来进行逐像素标注。

本实施例所采用的局部标注方法，简要来说，建立markov随机场模型，根据待标注图像与候选集图像的匹配信息，计算待标注图像所有的像素点的每种局部标注的后验概率，取后验概率最大的局部标注作为对应像素的局部标注。

第6步、计算待标注图像的每个局部标注在训练集图像中与训练集图像的所有全局标注的平均相关度系数，与对应全局标注的第一权重和第二权重加权求和得到对应全局标注的第三权重，训练集图像的全局标注根据第三权重从大到小进行排序，取前t个全局标注作为待标注图像的全局标注。

本实施例中，相关度系数使用余弦相似度进行计算，当然也可以使用其他算法来获得相似度。相似度系数越大，代表相关性越高，对第三权重的贡献则越大。具体的，本步骤中全局标注的第三权重的计算方法如下：

设训练集图像的局部标注全集为ly＝{ly1,ly2,...,lyp}，p为训练集图像的局部标注种类数；对训练集中每个图像的局部标注进行提取、去重和排列并建立索引，获得与所述局部标注全集对应的p维向量lyi，lyi∈{0,1}^p，向量lyi的第p维个元素lyi(p)＝1，则表示第i个训练集图像含有局部标注lyp，向量lyi的第p维个元素lyi(p)＝0，则表示第i个训练集图像不含有局部标注lyp，用{ly1,ly2,...,lyn}表示训练集图像局部标注的索引，计算训练集图像的局部标注索引{ly1,ly2,...,lyn}和训练集图像的全局标注索引{y1,y2,...,yn}的关联矩阵w，wij表示第i个局部标注lyi和第j个全局标注yj在训练集中的相关度系数，相关度系数使用余弦相似度计算，关联矩阵w中第i行第j列的元素其中，lyⁱ为矩阵[ly1,ly2,...,lyn]中第i行的行向量，y^j为矩阵[y1,y2,...,yn]中第j行的行向量；

对待测图像的局部标注进行提取、去重和排列并建立索引，获得与所述局部标注全集对应的p维向量ly，ly∈{0,1}^p，向量ly的第p维个元素ly(p)＝1，则表示待测图像含有局部标注lyp，向量ly的第p维个元素ly(p)＝0，则表示待测图像不含有局部标注lyp，则l个全局标注的第三权重其中，v∈{v|ly(v)＝1}，|ly|表示待测图像的局部标注的种类数，α1+α2+α3＝1。权重参数α1、α2、α3的取值一般建议为0.6,0.35,0.05，取值可用验证集图像进行验证，一般应取α1>α2>α3。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。