一种数据驱动的迭代式图像在线标注方法
【专利摘要】本发明公开了一种数据驱动的迭代式图像在线标注方法，包括以下步骤：步骤1，数据准备与回收，用户逐次将待标注样本送入样本缓冲池，对样本缓冲池进行规模检测，经过特征抽取后将待标注样本送入循环标注模块；步骤2，循环标注，每轮循环过程开始，通过在线相似度度量模型计算特征的相似度矩阵，然后通过约束传播优化相似度矩阵，再使用谱聚类算法对相似度矩阵数据聚类，选择出显著类别推送给用户进行标注，不断循环直到剩余样本不足以继续标注，退出循环过程，最终得到用户对输入图像区域的个性化标签。通过本发明的技术，可以实现对图像的快速准确的标注，提升了标注效率且能够适应用户个性化的标注体系。
【专利说明】
-种数据驱动的迭代式图像在线标注方法
技术领域
[0001] 本发明设及一种图像标注方法，属于图像处理技术领域，具体地说是一种数据驱 动的迭代式图像在线标注方法。
【背景技术】
[0002] 近些年来，随着互联网技术、多媒体影像W及存储设备的飞速发展，用户接触到的 图像数量呈爆炸性增长。如何快速有效地将大量的用户图像数据分类组织，W满足用户的 其他应用需求，是一个重要的研究方向。传统图像标注W分类、检索为应用目标，关屯、图像 整体或局部的场景、对象及对象间关系等信息。因此，在用户图像数据不断增长的背景下， 图像的标注要更为灵活，标注体系多样，W适应不同用户的不同应用，同时保持较低的用户 标注负担。
[0003] 事实上，图像标注技术一直是计算机视觉领域的热点课题，并已产生了大量的技 术和方法。典型的图像标注方法都是采用模型驱动方式来实现，即从已标注图像集中学习 出特征空间和关键词空间之间的关系模型，并利用该模型对待标注图像进行标注。如:专利 《一种图像自动标注算法》（2013105149427)，通过选择信息含量丰富的图像集训练回归模 型，再对未标注图像逐一分类标注；专利《一种基于词间相关性的图像自动标注方法》 (20 1 4 10008553 1 )和《一种基于秩最小化的多标签图像标注结果融合方法》 (201310375976.2)则通过建立不同的概率模型，对未标注图像逐一进行标签预测或多标签 融合。运类方法的性能和效果很大程度上依赖于所选定假设模型和标注训练集，除需要选 择合适的分类模型外，更需要大量人工标注训练数据，且其标注体系在模型训练完成后难 W改变。为此，研究者随后提出了许多新的解决方法，一方面，针对人工标注训练数据负担 大的问题，提出了半监督学习的图像标注方法，如：专利《一种基于多视图和半监督学习机 制的图像标注方法》(2014101080605)，其主要思想是只对训练数据集中的少量数据进行标 注，然后将数据集中大量的未标注的数据加入到模型的训练中，通过挖掘图像之间存在的 特征空间上的近邻关系来实现对图像的有效标注，从而大大减少了人工标注训练数据集的 负担;另一方面，针对标注体系的多样性问题，提出了采用主动学习的图像标注方法，如:文 南犬l:P.Jain and A.Kapoor.Active learning for large multi-class problems.In Proceedings of Computer Vision and Pattern 民ecognition,pages 762 - 769. IEEE， 2009,2:A.Kapoor,K.Grauman,民.Urtasun,and T.Darrell.Active learning with gaussian processes for object categorization.In Proceedings of International Conference on Computer Vision，pages 1-8.IE邸，2007。^及专利《一种基于主动学习的 图像标注方法K201410106864.1)和《基于主动学习和多标签多示例学习的场景图像标注 方法K201510473322.2)，它们通过主动地从训练数据集中挑选出部分代表性或信息含量 较大的样本数据供用户标注，减少了部分人工标注的工作量，同时一定程度上增加了标注 体系的多样性。
[0004] 针对模型驱动方法存在的对数据集先验假设和人工标注训练样本的依赖性、标注 体系难W变化更新等问题，数据驱动的图像标注成为近年来图像标注领域的新趋势。一种 是采用深度思想，如：专利《一种基于多模态深度学习的图像标注方法》（201510198325.X) 和专利《一种基于深度学习与典型相关分析的图像自动标注方法》（201410843484.6)采用 神经网络得到图像的高层特征表示，然后通过高层特征建立分类器模型，对未标注图像逐 一进行判别标注;而另一种趋势是针对具有一定相似性的数据，利用他们之间的关系，采用 组别标注的方式，对其类别发现的一组数据进行标注，如：文献3: Y.J. Lee and K.Grauman.Object-graphs for context-aware visual category discovery. IEEE Transactions on Pattern Analysis and Machine Intelligence,34(2):346-358,2012, 文南犬4:D.Dai,M.Prasad,C丄eistner,and L.Van Gool.Ensemble partitioning for unsupervised image c曰tegoriz曰tion. In Proceedings of European Conference on Computer Vision,pages 483-496.Springer,2012,文南犬5:D.Liu and T.Chen.Unsupervised image categorization and object localization using topic models and correspondences between images. In Proceedings of International Conference on Computer Vision,pages 1-7.IE邸，2007,与逐一标注的方式相比，运种W 组为形式的标注有效地提高了运类数据的标注效率。但是运类方法同样需要事先确立标注 类别，且仅能通过调整聚类数来影响标注体系。与运类方法相比，文献6 :M. Wigness, B.A.Draper and J.R.Beveride.Selectively guiding visual concept discovery.WACV 2014, pp. 247-254.文献 7: C. Gal Iegui I los,B. McFee and G.R. G 丄 anckriet. Iterative category discovery via multiple kernel metric learning.Springer IJCV 2014,108 (1-2)，pp. 115-132.能够帮助用户在标注过程中发现潜在的新的标注类别，并能在循环过 程中，逐步定义标注体系，使得标注结果更加个性化，多样化。
[0005] 综合上述的图像标注方法，模型驱动的标注方法存在依赖假设模型、依赖大量人 工标注训练数据、标注体系缺乏灵活性等缺点，使其不适用于大规模的用户图像的标注工 作;而已有的数据驱动方法，也存在对标注数据先验知识的依赖问题，且没有针对图像进行 特征表示的优化，对图像的表征能力差。所W，上述图像标注方法都不能完全满足图像标注 的应用需求。
【发明内容】
[0006] 发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种数据驱 动的迭代式图像在线标注方法，用于支持图像区域的标注。
[0007] 为了解决上述技术问题，本发明公开一种数据驱动的迭代式图像在线标注方法， 包括W下步骤：
[0008] 步骤1，数据准备与特征提取:将需要进入循环标注的图像区域集合即样本集合送 入样本缓冲池，并进行特征提取，；
[0009] 步骤2,循环标注:通过在线相似度度量模型对提取的特征进行相似度计算，使用 约束传播优化的聚类算法对未标注图像区域数据进行聚类，选择出显著类别，即最聚类优 簇推送给用户进行标注，并将标注结果用于约束传播和相似度度量模型的学习更新，最终 循环标注得到用户对输入图像区域的个性化标签；
[0010] 步骤3,回收从循环标注中返回的未标注图像区域数据:在循环标注过程结束后， 回收未被标注的样本集合到样本缓冲池。
[OOW 其中，步骤1包括W下步骤：
[001^ 步骤1-1，将初始化的图像区域集合即样本集合{印省.，…，皆}送入样本缓冲池 Bp (下标P表示集合B为样本准备的缓冲池），時表示第C个图像区域，上标+表示b为样本区域图 像，下标C表示该样本图像区域在集合中的序列位置，样本缓冲池 Bp包含当前所有待标注的 图像区域，当样本缓冲池样本数量I Bp I大于阔值T(阔值通常取200)，则将样本缓冲池中样 本送入循环标注过程；
[0013] 步骤1-2,提取从样本缓冲池中准备载入循环标注过程的所有样本特征，包括颜色 直方图特征（RGB/HSV histogram)、冷暖色调特征（warmcold)和位置上下文 (Iocationcontexts)D
[0014] 步骤2包括W下步骤：
[0015] 步骤2-1，对步骤1-2中得到的样本特征进行相似度计算与更新:通过如下公式获 得进入循环标注过程的第i个图像区域If与第j个图像区域(下标i，j表示任意两个图像 区域的序列位置)之间的特征相似度Si, ;
[0016]
[0017] 其中W表示度量参数矩阵，i和j的取值范围为1~C，然后得到特征相似度度量矩阵
，其中N为本轮循环中图像区域的数量；
[0018] 步骤2-2,约束传播过程：图像区域数据之间包括必须连接和不能连接两种关系， 即表示图像区域必须是同一组的或是必须不能在同一组，将所有的图像区域连接关系YY = {Yij}nxn初始化为两个约束集合衣f和仿Yu表示第i个图像区域占/与第j个图像区域皆之间的 连接关系，当'
否则Yu = O,即（砖，6/)不属 于上面任意一个约束集合；
[0019] 通过W下公式将已标注的样本之间的关系传播得到未标注图像区域数据之间的 关系约束F*:
[0020]
[0021]
[0022]其中a是值域（〇，1)的参数，./；表示矩阵第i行第j列的数据，I为单位矩阵；
其中由特征相似度度量矩阵
得到矩阵H，D为对角矩阵， 其中对角元素(i，i)等于矩阵H第i行数据之和；
[002；3] 当皆(/单0是第i个图像区域咕的k最近邻时
否则出j = 〇，Si康示 相似度度量矩阵M第i行、第j列的相似度数据，Sii表示相似度度量矩阵M第i行、第i列的相似 度数据，Sw表示相似度度量矩阵M第j行、第j列的相似度数据，然后计算H=化+hT)/2W保证 H是对称矩阵；
[0024]步骤2-3,约束聚类:将步骤2-2中得到的关系约弟
用来调整特征相 似度度量矩阵M，得到约束相似适
，如下公式所示：
[0025]
，
[00%]其中出J在步骤2-2中计算得到，然后对约束调整后的相似度M进行谱聚类，将图像 区域聚类为NC个种类；
[0027]步骤2-4,显著类别发现:通过W下公式计算每个聚类簇C的平均类内距：
[002引
[0029] 其中(/(咕,V)表示第i个图像区域砖与第j个图像区域皆6补/在谱聚类空间中的 距离，将平均类内距最小的聚类簇(3巧^为最优聚类簇，即本次循环中发现的显著类别；
[0030] 步骤2-5,类别成员选择：用户根据步骤2-4得到的显著类别对其中的类别成员做 选择或剔除操作，根据用户的操作得当正样本和负样本：当用户认同显著类别中大多数图 像区域属于同一类，则剔除不属于运类的个别样本，并确认提交类别，此时，负样本为用户 剔除的样本，正样本为显著类别中剩余的样本；
[0031] 当用户不认同显著类别中大多数的图像区域属于同一类，则选择属于同一类的样 本确认提交，此时正样本为用户选择的样本，负样本为显著类别中剩余的样本；
[0032] 正样本在用户确认提交后，被标注为用户选定的一个标签，而后被送入已标注样 本集中，同时正样本的成员关系被步骤2-3用作约束传播的依据，负样本和聚类结果中最优 簇外的其他聚类簇样本则被送回到训练数据集中，等待下一轮循环；
[0033] 步骤2-6，在线多核相似度学习：相似度度量学习的目标是优化步骤2-1中度量参 数矩阵W，使得在循环标注的过程中，符合用户意图的样本数据在度量空间上的距离更近， 朴素距离相比，学习得到的度量能使得聚类簇更大，纯度更高，即用户更易认同显著类别发 现的结果，使得标注负担降低，由于相似度度量模型需要在循环过程中迭代更新，使用 OASIS算法实现在线多核相似度度量学习；对于一个S元组(x，x+，xl，其中X表示任意一个 样本，X+表示必须与X属于同一类别的样本，X頂IJ表示必须与X分属不同类别的样本，通过 OASIS算法优化度量参数矩阵W使得特征相似度满足細^，^+)〉5^^，〇+1，即要求；元组约 束属于同类的样本之间的特征相似度，必须大于=元组约束分属不同类别的样本之间的相 似度加 l，Sw(x，x+)表示样本x与样本x+之间的特征相似度，Sw(x，0表示样本x与样本x^之间 的特征相似度，度量参数矩阵的更新方程如下：
[0034] wt=ft-i+TV，
[0035] 其申
，lw为转移损失，t表示循环次数，Wt表示t 次循环后得到的度量参数矩阵，表示t-1次循环后得到的度量参数矩阵，Cp是平衡参数， 通常取值0.1，学习得到的度量参数矩阵W用于步骤2-1的特征相似度计算与更新中；步骤2- 6中，（x,x+,x-) =max(0, l-Sw(x,x+)+Sw(x,x-))，V = x(x+,x-)T。
[0036] 步骤2-7,循环标注终止判断:对进入循环标注过程的图像进行规模判断，当剩余 待标注图像区域集合中样本数量小于聚类数N別寸，或是连续多次推送给用户标注的显著类 别样本数量过少，用户标注负担过高，此时判定剩余的未标注样本已不足W发现新出显著 类别送给用户标注，循环标注过程终止，训练数据集(训练数据集中包含从样本缓冲池中经 过数据载入后进入循环过程的数据）中的图像区域在步骤1-1中被回收到样本缓冲池中，等 待规模足够后开启下次循环标注过程;否则，当数据规模足够，即大于阔值T，则转入步骤2- Io
[0037]步骤2-7中，所述连续多次推送给用户标注的显著类别样本数量过少是指连续5次 推送给用户标注的显著类别样本数量少于或等于3。
[003引步骤3包括:在循环标注过程结束后，回收未被标注的样本集合 即共有m个未被标注的样本到样本缓冲池 Bp,也可W向样本缓冲池 Bp放入增量图像区域 {祐,:，运祐…，坂n}即n个新样本。
[0039] 有益效果:本发明具有W下优点：首先，本发明可W渐进地标注图像区域，不需要 一次性提交所有的标注数据，且使用专口的特征组合来表征图像区域。其次，本发明可W得 到满足用户意图的多样性的标注结果，更符合图像区域标注的特点。最后，本发明采用成组 的标注形式，标注效率较高，且随着用户分标注图像的增加，本发明可W越来越准确的得到 用户的标注意图，减少用户交互负担。
【附图说明】
[0040] 下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述 和/或其他方面的优点将会变得更加清楚。
[0041 ]图1是本发明的处理流程示意图。
[0042] 图2为一幅抽样艺术区域图像。
[0043] 图3a为用户交互界面显著类别成员选择示例图。
[0044] 图3b为用户交互界面显著类别成员选择后类别标注示例图。
【具体实施方式】
[0045] 如图1所示，本发明公开一种数据驱动的迭代式图像在线标注方法，具体包括W下 步骤：
[0046] 步骤1，数据准备与特征提取:将需要进入循环标注的图像区域集合即样本集合送 入样本缓冲池，并进行特征提取；
[0047] 步骤2，循环标注:对进入循环标注过程的图像进行规模判断，规模足够后，通过在 线相似度度量模型对提取的特征进行相似度计算，使用约束传播优化的聚类算法对未标注 图像数据进行聚类，选择出显著类别，即最聚类优簇推送给用户进行标注，并将标注结果用 于约束传播和相似度度量模型的学习更新，最终循环标注得到用户对输入图像区域的个性 化标签；
[004引步骤3，回收从循环标注中返回的未标注图像数据。
[0049] 下面介绍各个步骤的具体流程：
[0050] 其中，步骤1包括W下步骤：
[0化1]步骤1-1，将初始化的图像区域集合?[奸，与，(巧表示某个图像区域，+为上 标，表示b为区域图像，C此处为下标，表示该图像区域在集合中的序列位置)送入样本缓冲 池 Bp(下标P表示集合B为样本准备的缓冲池），Bp包含当前所有待标注的图像区域，当样本缓 冲池样本数量I Bp I大于阔值T(阔值通常取200)，则将样本缓冲池中样本送入循环标注过 程；
[0052] 步骤1-2,提取从样本缓冲池中准备载入循环标注过程的所有样本特征，由于一般 的图像格式必须是矩形形状，使用r〇i(region of interest)来选定需要提取特征的任意 形状的图像区域，运里提取的特征包括文献8 : Porebski ,A . ,N. Vandenbroucke , and D.Hamad. ('LBP histo-gram selection for supervised color texture classification /' Interna-tional Conference on Image Processing(ICIP), IEEE, pp. 3239-3243，2013.中所述由颜色直方图特征（RGB/HSV histogram),冷暖色调特征 (warmcold)、位置上下文（location contexts)组成。
[0053] 步骤2包括W下步骤：
[0054] 步骤2-1，对步骤1-2中得到的样本特征进行相似度计算与更新:通过如下公式获 得进入循环标注过程的图像区域f与下标i，j表示任意两个图像区域的序列位置)之间 的特征相似度Sjj:
[0化5]
[0化6]其中W表示度量参数矩阵，得到特征相似度距离矩阵^
其中N为 本轮循环中图像区域的数量；
[0057]步骤2-2,约束传播过程:样本数据之间存在必须连接和不能连接，即表示样本必 须是同一组的或是必须不能在同一组，将所有的样本连接关系Y= {Yu}nxn(Yu为任意两样 本矿，皆之间的连接关系）初始化为两个约束集合纖和島当（
，当
，否则Yu = 0，即（矿，鮮坏属于上面任意一个约束集合； L0058J通过W下公式将已标注的样本之间的关系传播得到未标注图像数据之间的关系 约束F*:
[0化9]
[0060]
[0061] 其中Cl是值域(〇，1)的参数，I为单位矩阵；痒中H由特征相似度度 量矩阵M二祝'似，6;)}化W得到，
[0062] 至
的k最近邻时：
否则出尸0,位康示相似度度量 矩阵M第i行，第巧揃相似度数据，同理于Sii和站）
[0063] 然后计算H=化+HT)/2W保证H是对称矩阵，D则是对角矩阵，其中对角元素 Q，i) 等于H第i行数据之和；
[0064] 本申请使用文献9:Lu,Z. ,and Ip,H.H.S. , "Constrained Spectral Clustering via Exhaustive and Efficient Constraint Propagation.''Computer Vi-sion-ECCV, Springer Berlin Heide化erg,pp. 1-14,2010 .所述的利用k最近邻图的高效约束传播算 法，得到关系约束；
[00化]步骤2-3,约束聚类:将步骤2-2中得到的约束
用来调整特征相似度 矩阵r式所示：
[0066]
[0067] 其中Hu在步骤2-2中计算得到，然后本申请使用文献10: Von Luxburg U/'A tutorial on spectral clustering."Statistics and computing,2007,17(4):395-416. 中的谱聚类算法(spectral clustering)对约束调整后的相似度疫进行聚类，将图像区域 聚类为NCXnumber of clusters)个种类；
[0068] 步骤2-4,显著类别发现:聚类后，通过W下公式计算每个聚类簇C的平均类内距：
[0069]
[0070] 其中.Zp/)表示样本与样本皆在谱聚类空间中的距离，将平均类内距最小 的聚类簇(3巧^为最优聚类簇，即本次循环中发现的显著类别；
[0071] 步骤2-5,类别成员选择：用户根据步骤2-4得到的显著类别对其中的类别成员做 选择或剔除操作：当用户认同显著类别中大多数图像区域属于同一类，则剔除不属于运类 的个别样本，并确认提交类别，此时，负样本为用户剔除的样本，正样本为显著类别中剩余 的样本；
[0072] 当用户不认同显著类别中大多数的图像区域属于同一类，则选择属于同一类的样 本确认提交，此时正样本为用户选择的样本，负样本为显著类别中剩余的样本；
[0073] 正样本在用户确认提交后，被标注为用户选定的某个标签，而后被送入已标注样 本集中，同时正样本的成员关系被步骤2-3用作约束传播的依据，负样本和聚类结果中最优 簇外的其他聚类簇样本则被送回到训练数据集中，等待下一轮循环；
[0074] 步骤2-6，在线多核相似度学习：相似度度量学习的目标是优化步骤2-1中度量参 数矩阵W，使得在循环标注的过程中，符合用户意图的样本数据在度量空间上的距离更近， 朴素距离相比，学习得到的度量能使得聚类簇更大，纯度更高，即用户更易认同显著类别发 现的结果，使得标注负担降低，由于相似度度量模型需要在循环过程中迭代更新，本申请使 用文南犬 11: Chechik,G. , Sharma ,V. ,Shalit,U. ,Ben 邑 io,S. , "Large scale online Iesrning of image simil曰rity through r曰nking.''The Journ曰I of M曰chine Lesrning Research I Ipp. 1109-1135，2010.中的OASIS算法实现在线多核相似度度量学习；对于一个 S元组(x，x+，xl，其中X表示任意一个样本，X+表示必须与X属于同一类别的样本，xlW表示 必须与X分属不同类别的样本，通过OASIS算法优化度量参数矩阵W使得特征相似度满足Sw (义，义+)乂1^，义-)+ 1，即要求=元组约束属于同类的样本之间的特征相似度，必须大于=元 组约束分属不同类别的样本之间的相似度加1，其更新方程如下：
[0075]
[0076] 其牛
Iw为转移损失，t表示循环次数，
[0077] (x,x^,x^)=max(0,1-Sw(x,x^)+Sw(x,x^)),
[0078] Cp是平衡参数，V = x(x+，xlT，学习得到的度量参数矩阵W用于步骤2-1的特征相似 度计算与更新中；
[0079] 步骤2-7,循环标注终止判断:对进入循环标注过程的图像进行规模判断，当剩余 待标注样本集中样本数量小于聚类数NC时，或是连续多次(通常设为5次)推送给用户标注 的显著类别样本数量过少(少于或等于3)，用户标注负担过高，此时判定剩余的未标注样本 已不足W发现新出显著类别送给用户标注，循环标注过程终止，训练数据集中的图像区域 在步骤1-1中被回收到样本缓冲池中，等待规模足够后开启下次循环标注过程;否则，当数 据规模足够(即大于阔值T)，则转入步骤2-1。
[0080]本申请使用文献 12:Galleguillos，C.，McFee，B. ,and Lanckriet，G.R.G.， ('Iterative category discovery via multiple kernel metric learning." Internation-al Journal of Computer Vision, Springer Berlin Heidelberg, Vol. 108.1-2，PP. : 115-132，2014.中的类别发现框架作为循环标注流程框架。
[0081 ]实施例
[0082] 本实施例中，如图2为一幅抽样图像，其中黑色框内为待标注的图像目标区域，图 3a为用户交互界面显著类别成员选择示例图，左侧布局为展示每次循环中推送给用户的显 著类别，用户选定的图像会有黑色边框出现在图像周围，W显示确认效果，鼠标浮动在待选 图像上方时会呈现放大效果，W便用户细致观察图像细节，右侧布局为类别标签页，用户点 击灰色框即会生成出一个新的类别标签，图3b为用户交互界面显著类别成员选择后类别标 注示例图，即用户在选定完显著类别的成员后，选定右侧的标签类别，然后使用正向 (positive)或反向（negative)提交标注结果完成本次循环的标注。
[0083] 具体实施过程如下：
[0084] 步骤一中，准备待标注的图像区域样本数据。将待标注的图像区域样本放入指定 文件夹中，然后执行特征提取过程，或是增量添加的图像区域数据，一样放入指定文件夹 中。
[0085] 步骤二中，在循环过程中，基于用户的交互，完成对送入循环标注过程的图像区域 数据的标注工作。首先对特征数据进行相似度计算，然后根据类别约束对相似度进行调整， 之后对调整完的距离度量进行谱聚类，并推送显著类别（最优聚类簇)给用户进行标注，如 图3曰，当用户认同显著类别中大多数图像区域属于同一类，则只需选定要剔除个别样本，然 后选定交互界面的右侧类别标签(选定后会有绿色边框作为选定提示），使用界面左侧上方 的negative提交按钮反向提交标注结果，此时，未被选定的图像区域将被放入用户指定的 右侧标签集内；否则，当用户不认同显著类别中大多数的图像属于同一类，则选定属于同一 类的样本，然后选定交互界面的右侧类别标签(选定后会有黑色边框作为选定提示），使用 界面左侧上方的positive提交按钮正向提交标注结果，此时，选定的图像区域将被放入用 户指定的右侧标签集内。负样本和聚类结果中最优簇外的其他聚类簇样本将被送回训练数 据集，正样本先被用作约束传播更新，然后进入已标注样本集，接着被用作在线多核相似度 度量模型的训练更新。
[0086] 经过一定次数的循环过后，剩余样本不足W发现新的类别，此次循环标注过程即 为结束。
[0087] 本发明提供了一种数据驱动的迭代式图像在线标注方法，具体实现该技术方案的方 法和途径很多，W上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技 术人员来说，在不脱离本发明原理的前提下，还可W做出若干改进和润饰，运些改进和润饰 也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加 W实现。
【主权项】
1. 一种数据驱动的迭代式图像在线标注方法，其特征在于，包括以下步骤： 步骤1，数据准备与特征提取:将需要进入循环标注的图像区域集合即样本集合送入样 本缓冲池，并进行特征提取； 步骤2，循环标注:通过在线相似度度量模型对提取的特征进行相似度计算，使用约束 传播优化的聚类算法对未标注图像区域数据进行聚类，选择出显著类别，即最聚类优簇推 送给用户进行标注，并将标注结果用于约束传播和相似度度量模型的学习更新，最终循环 标注得到用户对输入图像区域的个性化标签； 步骤3,回收从循环标注中返回的未标注图像区域数据:在循环标注过程结束后，回收 未被标注的样本集合到样本缓冲池。2. 根据权利要求1所述的方法，其特征在于，步骤1包括以下步骤： 步骤卜1，将初始化的图像区域集合即样本集合·^為送入样本缓冲池 BP，^表 示第c个图像区域，下标c表示该样本图像区域在集合中的序列位置，样本缓冲池 Bp包含当 前所有待标注的图像区域，当样本缓冲池中样本数量I Bp I大于阈值T，则将样本缓冲池中样 本送入循环标注过程； 步骤1-2，提取从样本缓冲池中准备载入循环标注过程的所有样本特征，包括颜色直方 图特征、冷暖色调特征和位置上下文。3. 根据权利要求2所述的方法，其特征在于，步骤2包括以下步骤： 步骤2-1，对步骤1-2中得到的样本特征进行相似度计算与更新:通过如下公式获得进 入循环标注过程的第i个图像区域 < 与第j个图像区域￥之间的特征相似度&决+:其中W表示度量参数矩阵，i和j的取值范围为1~c，然后得到特征相似度度量矩阵 M 其中N为本轮循环中图像区域的数量； 步骤2-2,约束传播过程：图像区域数据之间包括必须连接和不能连接两种关系，即表 示图像区域必须是同一组的或是必须不能在同一组，将所有的图像区域连接关系Y初始化 为两个约束集合和^表示第i个图像区域^与第j个图像区域￥之间的 连接关系，当?』/)￡3€时￥。= 1;当(46/*")￡(?时￥。= -1;否则￥。= 〇,8口（61+<)不属 于上面任意一个约束集合； 通过以下公式将已标注的样本之间的关系传播得到未标注图像区域数据之间的关系 约束F*:其中α是值域（0, 1)的参数，/;表示矩阵第i行第j列的数据，I为单位矩阵； X = 其中由特征相似度度量矩阵M二供JOpU导到矩阵H，D为对角矩阵， 其中对角元素(i，i)等于矩阵H第i行数据之和； 当矽(/羊i)是第i个图像区域#的k最近邻时，％ = <%/#函7,否则Hlj = OJlj表示相似 度度量矩阵M第i行、第j列的相似度数据，S11表示相似度度量矩阵M第i行、第i列的相似度数 据，表示相似度度量矩阵M第j行、第j列的相似度数据， 然后计算H= (H+HT)/2W= (W+WT)/2以保证Hff是对称矩阵是对称矩阵； 步骤2-3，约束聚类:将步骤2-2中得到的关系约束= [Zpivxiv用来调整特征相似度度 量矩阵M，得到约束相似度M = {5V决，如下公式所示：其中HljWlj在步骤2-2中计算得到，然后对约束调整后的相似度#进行谱聚类，将图像区 域聚类为NC个种类； 步骤2-4，显著类别发现:通过以下公式计算每个聚类簇c的平均类内距：其中表示第i个图像区域 < 与第j个图像区域在谱聚类空间中的距离，将平 均类内距最小的聚类簇f选为最优聚类簇，即本次循环中发现的显著类别； 步骤2-5,类别成员选择：用户根据步骤2-4得到的显著类别对其中的类别成员做选择 或剔除操作，根据用户的操作得当正样本和负样本，正样本在用户确认提交后，被标注为用 户选定的一个标签，而后被送入已标注样本集中，同时正样本的成员关系被步骤2-3用作约 束传播的依据，负样本和聚类结果中最优簇外的其他聚类簇样本则被送回到训练数据集 中，等待下一轮循环； 步骤2-6，在线多核相似度学习：对于一个三元组(X，X+，xl，其中X表示任意一个样本，X +表示必须与X属于同一类别的样本，厂则表示必须与X分属不同类别的样本，通过OASIS算法 优化度量参数矩阵W使得特征相似度满足以&^+)>51&，厂)+ 1，即要求三元组约束属于同 类的样本之间的特征相似度，必须大于三元组约束分属不同类别的样本之间的相似度加1， Sw(x，x+)表示样本X与样本X+之间的特征相似度，Sw(x，x1表示样本X与样本f之间的特征相 似度，度量参数矩阵的更新方程如下： Wt=Wt-^iV, 其中τ = min(Cp, 丨I2Mw为转移损失，t表示循环次数，Wt表示t次循 环后得到的度量参数矩阵，Wt^1表示t-Ι次循环后得到的度量参数矩阵，Cp是平衡参数，学习 得到的度量参数矩阵W用于步骤2-1的特征相似度计算与更新中； 步骤2-7，循环标注终止判断：对进入循环标注过程的图像进行规模判断，当剩余待标 注图像区域集合中样本数量小于聚类数NC时，或是连续多次推送给用户标注的显著类别样 本数量过少，用户标注负担过高，此时判定剩余的未标注样本已不足以发现新出显著类别 送给用户标注，循环标注过程终止，训练数据集中的图像区域在步骤1-1中被回收到样本缓 冲池中，等待规模足够后开启下次循环标注过程;否则，当数据规模足够，即大于阈值T时， 则转入步骤2-1。4. 根据权利要求3所述的方法，其特征在于，步骤2-6中，（X，X+，xl = max(0，1-Sw(x，X+) + Sw(x，x-)) 〇5. 根据权利要求4所述的方法，其特征在于，步骤2-6中，V = x (x+，xlT，。
【文档编号】G06F17/30GK106021406SQ201610317638
【公开日】2016年10月12日
【申请日】2016年5月12日
【发明人】孙正兴, 李博, 胡佳高, 杨崴
【申请人】南京大学