一种主动选择多示例多标记数字图像的相关反馈方法
【专利摘要】本发明公开了一种主动选择多示例多标记数字图像的相关反馈方法。多示例多标记学习是近年来提出的一种新的机器学习框架，已在许多实际问题中得到成功应用，基于多示例多标记输入表示的图像自动标注技术能够很好地应用于现实任务。但是随着其表达能力的增强，图像自动标注方法对标记好的训练样本的需求量随着表示空间的变大而急剧增大。本发明通过结合机器学习中的多示例多标记学习和主动学习技术，在不增加用户标注代价的前提下，每一次相关反馈的过程中获得更加精细丰富的标记信息，从而更大程度的提升系统标注精度，有效地减少了用户的参与代价。
【专利说明】
-种主动选择多示例多标巧数字图像的相关反馈方法
技术领域
[0001] 本发明属于数字图像自动标注技术领域，具体设及一种主动选择多示例多标记数 字图像的相关反馈方法。
【背景技术】
[0002] 随着数码产品的普及W及各类社交网站的流行，数字图像成为越来越多互联网内 容的载体。为了高效利用运些数字图像数据，一个最核屯、也是最困难的任务是让计算机理 解图像的语义，而自动图像标注则是其中的关键技术。目前的自动图像标注技术往往将图 像表示成单一的示例，且仅关注图像与单个语义类别的相关性。但是图像往往具有复杂的 语义，包含多个对象实体，运样单示例单标记的表示会造成信息损失，无法准确描述图像的 语义，从而无法准确预测图像标记。更有效方法是基于多示例多标记机器学习（简称MIMU 的框架，用多个特征示例组成的集合来表示一幅图像，并同时预测图像与多个语义标记之 间的相关性。目前有少数基于MIML输入表示的图像自动标注技术，但是它们对标记好的训 练样本的需求量随着表示空间的变大而急剧增大，而现实任务中的已标记数据往往非常有 限，导致运些技术难W被广泛应用。一个解决方案是引入相关反馈技术，让人类用户在自动 标注过程中提供一些有用的标记信息从而提高系统标注精度。机器学习中的主动学习方法 能够选择出最有价值的样本向用户查询标记，从而能尽可能减少用户的参与代价。现有的 基于主动学习的相关反馈机制选择出最有价值的图像并向用户询问该图像与某个语义类 别是否相关。运种反馈方式获得的信息非常有限，不能适应于多示例多标记表示下的图像 自动标注问题。
【发明内容】
[0003] 发明目的：为了克服现有技术中存在的不足，本发明提供一种主动选择多示例多 标记数字图像的相关反馈方法，
[0004] 技术方案:为实现上述目的，本发明采用的技术方案为：
[0005] -种主动选择多示例多标记数字图像的相关反馈方法，包括W下步骤：
[0006] ( - )计算数据库中每张图像对标注模型的价值评分，并选择评分最大的图像作为 候选图像X*;
[0007] (二)计算当前标注模型对于步骤(一）中所选图像上的所有未被反馈的标记的掌 握程度，并选择最小值对应的标记作为候选标记y%
[000引（S)将步骤(一）（二）中所选的所述候选图像X*和候选标记y*提供给用户，让用户 提供相关性反馈；
[0009] (四）针对该所述候选图像沪及候选标记根据包括是否相关、最相关示例在内的 用户反馈结果进行梯度下降更新标注模型；
[0010] (五)返回步骤(一)或结束并输出标注模型。
[0011] 进一步的，所述步骤(一)图像对标注模型的价值评分的具体方法为：
[001^ 假设总共有K类标记，用Yi=[yii，. . .，yiK]嗦示第i幅图像Xi的标记向量，如果本 图像与第k个标记相关，则y化=1，否则y化=-1;
[0013] 按照公式计算未经用户反馈的图像集合U中每张图像Xi对标注模型的价值评分Cl (Xi),所述公式为：
[0014]
[0015] 其中，P记录图像Xi的预测向量耗中1的个数，
[0016]
自a为真时I [a] = 1,否则I [a] =0,
[0017] card( ?)表示一个集合中元素的个数，
[001 引 CG(0，l)。
[0019] 进一步的，所述步骤(二)选择候选标记/的具体方法为：
[0020] 按照公式计算标注模型对未经用户反馈的标记集合U(X^中标记y的掌握程度C2 (X*，y)，所述公式为：
[0021] AC2(X*,y)= |fy(X*)-fy〇(X*)
[0022] 其中，fy(X)=maxj=l,..,mf(Xj)表示图像X与标记y的相关程度，
[0023] yo为虚拟标记，即按照fy(X*)值从大到小的顺序对U(X*)中标记排序，位于图像X*的 相关标记和不相关标记之间的标记即为7〇;掌握程度〔2^^7)最小值所对应的标记，用7^表 /J、- O
[0024] 进一步的，所述步骤(四）用户反馈结果的具体方法为：
[002引首先，用户判断X*与y*是否相关:若用户判断X*与y*相关，则需指出图像X*中与标记 最相关的示例，记为经数次反馈，图像沪的相关标记集合记为r，不相关标记集合记为 Y-，将y*添加到Y+，之后将标记y*从X*的未反馈标记集合U(X*)中移出；若用户判断X*与y*不相 关，则将y*添加到厂，将标记y*从X*的未反馈标记集合U(X*)中移出；
[0026] 然后，判断U皆）中元素个数是否为零:如果是，则将沪从未标记图像集合U移入已 标记集合L，进行更新标注模型;否则直接进行更新标注模型。
[0027] 进一步的，所述步骤(四）中更新标注模型的具体方法为：
[0028] 步骤151:开始程序；
[0029] 步骤152:初始化中间变量r = 0，S ^ 0, i = 1，其中r记录图像沪与标记y*是否相关， 当且仅当r=l时表示相关，S记录图像沪中与y请相关的示例，i记录进行不放回采样图像沪 的不相关标记集合Y-的次数；
[0030] 步骤153:记录用户的判断结果，对r赋值；
[0031] 步骤154:判断r的值是否为1，如果r = l则进入步骤155,否则进入步骤159;
[0032] 步骤155:将用户反馈的最相关示例武值给S;
[0033] 步骤156:假设图像沪共有m个示例{XI，…，xm}，s对应第kG U，…，m}个示例，计算 '私?(巧M-I:…，m，其值从大至U小排序，其中，fy(x)为示例X与标记y的相关程度，fy(x) = WyTVx，Wy表示W的第y列；
[0034] 步骤157:判断是否存在Xj使得,,如(:巧}> /V(S)成立，如果是，则进入步骤158，否则 进入步骤159;
[0035] 步骤158:按照公式更新模型变量W的/列和模型变量V;所述公式分别如下：
[0036]
[0037]
[003引其中，P皆，表示在步骤156中排序位于,/V批)之前所对应的示例个数；
[0039] 步骤159:随机采样X*的一个相关标记y;
[0040] 步骤1510:判断中间变量i的值是否小于等于图像X*的不相关标记的个数t= |Y-|， 如果是，则进入步骤1511，否则结束；
[0041] 步骤1511:随机采样一个图像沪的不相关标记致；
[0042] 步骤1512:判断&化'K>爲巧'>.;是否成立，如果成立，则进入步骤1513,否则直接 进入步骤1514;
[0043] 步骤1513:按照公式更新模型变量，所述公式分别如下：
[0044]
[0045]
[0046]
[0047] 其中，巧.及\的巧遂詞表示与阁像X*的相关程度大于标记y的标记个数，又和杰分别 表示图像沪在标记y和上的代表示例；
[004引步骤1514:将i加1后重新赋值给i，之后返回步骤1510。
[0049]有益效果:本发明提供的主动选择多示例多标记数字图像的相关反馈方法，结合 机器学习中的多示例多标记学习和主动学习技术，在不增加用户标注代价的前提下，每一 次相关反馈的过程中获得更加精细丰富的标记信息，从而更大程度的提升系统标注精度。 具体的，本发明每次挑选出对于提升标注装置精度最有帮助的一副图像和一个标记进行查 询，并要求用户做出区别性的反馈。在选择图像和标记时，本发明同时兼顾标注装置当前已 经掌握的信息和候选图像与整个图像数据库中的其它图像的差异程度，挑选出最有价值的 一幅候选图像和一个标记，让用户有区别地进行反馈。当所选的候选图像与标记相关时，用 户还需指出图像中与该标记最相关的一个示例，从而给标注装置提供更为精细的图像信 息；否则用户只需告诉标注装置所选图像与标记不相关。由于确定图像与标记是否相关的 过程实际上已经隐含用户确定最相关示例的过程，因此运样的反馈机制并不会给用户带来 额外的代价。从而既保证了用户较低的参与度，又能更大程度的提高标注精度。而为了充分 地利用运种精细的反馈信息，本发明结合机器学习中的多示例多标记学习框架，使得对于 训练数据集合中的任意一幅图像，标注模型应该将相关的标记排在不相关标记之前，同时 对于图像的任意一个标记，标注模型应该将最相关的示例排在其它示例之前。如果当前模 型把相关标记排在不相关标记之前，或者把最相关示例排在最前，则不更新模型，否则对模 型参数进行梯度下降，使得相关标记W及最相关示例的排序提前，而不相关标记及其它示 例排序则会退后。
【附图说明】
[0050]图1是数字图像自动标注装置工作流程图；
[0051 ]图2是训练初始标注模型的流程图；
[0052] 图3是本发明机制的流程图；
[0053] 图4是更新标注模型的流程图。
【具体实施方式】
[0054] 下面结合附图对本发明作更进一步的说明。
[00对实施例
[0056] 如图1所示为数字图像自动标注装置工作流程图。假设训练图像数据集合由两部 分组成，一部分是已经标注过的，假设共有化幅图像，用L表示；另一部分是未经用户标注反 馈的，假设共有化幅图像，用U表示。装置对数据集合中的图像提取符合多示例多标记学习 输入的特征，每一幅图像由一组特征向量表示，每个特征向量称为一个示例。特征提取可W 使用机器学习教科书中的经典方法生成适用的图像特征，例如先进行图像分割，再对每个 图像块提取颜色、纹理、形状等特征。首先根据L中图像的特征向量(假设用Xl表示）W及图 像与标记之间的相关信息(假设用Yl,值为1时表示相关，值为-1时表示不相关)训练初始的 标注模型，具体过程见图2。之后，装置对输入的无标记图像进行同样的特征提取，并用标注 模型进行预测，输出标记结果。如果用户对标注结果满意了，则标注过程结束；否则转置将 选择若干图像及标记提供给用户，让用户对相关性进行判断并给出有区别的反馈。标注装 置利用用户反馈的信息更新模型，从而进入新一轮循环。
[0057] 图2所示为训练初始标注模型的流程图。由步骤Ol开始，步骤02对标注模型进行初 始化，主要包括对两个矩阵W和V赋初值。假设抽取的图像特征维度为d，总共有L个可能的标 记，则W是一个IOOXL大小的矩阵，而V是一个IOOXd大小的矩阵。运里的数值100可W根据 用户需要换成其它值，通常选择较大的值会提高标注准确度，而较小的值则会加快速度。W 和V被赋予随机值并保证它们每一行的均值为0,且标准差为1/V召。步骤03从训练数据集合 中随机采样一幅图像X，假设其相关标记集合为Y，不相关标记集合为f。装置从Y中随机选择 一个标记，假设为y，并按照下式为y从集合X= {xi，...，xm}中选出代表示例X:
[005引 x = argmax fy(xi)，i = l. . .m (I)
[0059] 其中，fy(x)=WyTVx，Wy表示W的第y列，fy(x)可W理解为示例X与标记y的相关程度。 步骤04从本图像的不相关标记集合F中一个一个的随机采样标记，直到在第V次采样遇到 一个被排在y前面的不相关标记與同样按照式(1)为其确定代表示例则W用下式计算的值 来估计排名位于标记y之前的不相关标记的总个数：
[0060] 蹲;;:jy) ? 褲!/vj 巧
[0061] 其中I巧为F中的标记个数，H:符号表示向下取整。步骤05进行梯度下降分别按照 式(3)更新W的第y列，按式(4)更新W的第!劍，并按式(5)更新V。
[0062] (3)
[0063]
(斗）
[0064] 辟
[0065] 步骤06判断模型是否达到要求，是则结束训练过程，否则回到步骤03。运里判断模 型是否达到标准可W采用机器学习或模式识别教科书中常用的方法，比如迭代轮数达到用 户指定的次数。
[0066] 多示例多标记学习是近年来提出的一种新的机器学习框架，已在许多实际问题中 得到成功应用，基于多示例多标记输入表示的图像自动标注技术能够很好地应用于现实任 务。但是随着其表达能力的增强，图像自动标注方法对标记好的训练样本的需求量随着表 示空间的变大而急剧增大。本发明通过结合机器学习中的多示例多标记学习和主动学习技 术，在不增加用户标注代价的前提下，每一次相关反馈的过程中获得更加精细丰富的标记 信息，从而更大程度的提升系统标注精度，有效地减少了用户的参与代价。
[0067] 图3所示为本发明的图像标注相关反馈机制。步骤1为起始动作。步骤2中，假设总 共有K类标记，贝阿用Yi=[yii，. . .，yiK]嗦示第i幅图像Xi的标记向量，如果本图像与第k个 标记相关，则yik=l，否则y化=-1。按照式(6)计算未经用户反馈的图像集合U中每张图像Xi 对标注模型f的价值评分Ci(Xi): W 側
(6)
[0069] 其中，P记录图像Xi的预测向量1>冲1的个数，也就是当前标注模型预巧帖的相关标 记个数。9 ::::京?玄完訖，1.鴻購当a为真时I[a] = l,否则l[a]=0,也就是说q表示已 经标记好的图像集合L中每幅图像的平均相关标记个数。card( ?)表示一个集合中元素的 个数，所WK-carcKU(Xi))为图像Xi已经被用户反馈过的标记个数，而CG(Oa)是为了避免 式(6)中分母为零的一个常数。值得需要说明的是，Ci(Xi)的值越大，则分子越大，分母越小。 分子越大，即图像Xi的预测相关标记个数与已标记图像的平均相关标记之差越大，说明标 注模型对该图像的不确定程度越高。分母越大，即图像Xi被反馈的次数越少，说明其可能包 含更多的未知信息。简而言之，具有最大值的图像沪，隐含着最大的差异性和不确定性，应 该被选择为候选图像。步骤3将步骤2计算出来的价值评分排序，按照从大到小的顺序排序。 步骤4选择最大评分所对应的图像，用沪表示。步骤5按照式(7)计算模型对未经用户反馈的 标记集合U(X*)中标记y的掌握程度C2(X*，y):
[0070] C2(X*，y)=|fy(X*)-fy〇U*)| (7)
[0071] 其中，fy(X)=maxj=l,..,mf(Xj)表示图像X与标记y的相关程度。yo被称为虚拟标记， 即按照fy(X*)值从大到小的顺序对U(X*)中标记排序，位于图像X*的相关标记和不相关标记 之间的标记即为yo。因此，距离虚拟标记越近，即fy皆)与fyo皆)之差越小，说明模型对标记 y越不确定，应该被选择作为候选标记。步骤則尋步骤5计算出来的掌握程度排序，按照从小 到大的顺序排序。步骤7选择最小值所对应的标记，用7^表示。步骤則尋步骤4和步骤7选出的 X*和y*呈现给用户，让用户判断图像X*是否与标记y*相关。如果用户判断X*与y*相关，则进入 步骤9,用户需指出图像沪中与标记y请相关的示例，记为xM段设经过多次反馈，图像沪的 相关标记集合记为￥%不相关标记集合记为厂。步骤10将7^添加到￥+，之后进入步骤12。如果 用户判断X*与y*不相关，则进入步骤11将y*添加到厂。步骤12将标记y*从X*的未反馈标记集 合U(X*)中移出。步骤13判断U(X*)中元素个数是否为零，即图像X*的所有标记均已经被反馈 过。如果是，则进入步骤14,将沪从未标记图像集合U移入已标记集合L，之后进入步骤15;否 则直接进入步骤15,更新标注模型，其具体过程见图4。步骤16结束相关反馈机制。
[0072] 图4所示是图3中步骤15的具体过程。由步骤151开始，步骤152初始化中间变量r = 〇，s MM = I,其中r记录图3中所选图像沪是否与标记7哨关，当且仅当r = l时表示相关。S 记录图像r中与最相关的示例。i记录进行不放回采样图像r的不相关标记集合厂的次 数。步骤153记录用户的判断结果，对r赋值。步骤154判断r的值是否为1。如果r = l，则进入 步骤155将用户反馈的最相关示例武值给S;否则进入步骤159。在步骤156中，假设图像沪 共有m个示例{xi，…，Xm}。首先计算，fV.(巧1，…，W(假设S对应第kE {1，…，m}个示例）， 然后按照其值从大到小的顺序排序。步骤157判断是否存在^使得众，喊}>如切成立，即至 少存在一个示例义^当存在多个违反顺序的示例时Xj表示其中的任意一个），它与标记勺 相关程度比沪的最相关示例S与标记勺相关程度还大。运显然违反本发明中的目标，将每 幅图像的最相关示例排在最前面。如果存在，则进入步骤158按照式(8)更新模型变量￥的7^ 列，按式（9)审新橫巧巧量V:否则讲入巧骤159。
[0073] ㈱
[0074] (9)
[007引其中，P皆，A乃表示在步骤156中排序位于知(的之前所对应的示例个数，即违 反顺序的示例总个数。步骤159随机采样沪的一个相关标记y。步骤1510判断中间变量i的值 是否小于等于图像X*的不相关标记的个数t= |Y-|。如果成立，则进入步骤1511，随机采样一 个图像X*的不相关标记新否则结束。步骤1512判断鳥强T>為终*)是否成立。如果成立，贝IJ 进入步骤1513,按照式(10)-(12)更新模型变量;否则直接进入步骤1514。
[0076] (10)
[0077] (11)
[007引 (似
[0079] 其中，斯.文'V&'):巧龄?:懷示与图像X*的相关程度大于标记y的标记个数，X和敢分别 表示图像)(^在标记7和:9上的代表示例。步骤1514将1加1后重新赋值给1，之后返回步骤 1510。
[0080] W上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可W做出若干改进和润饰，运些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种主动选择多示例多标记数字图像的相关反馈方法，其特征在于:包括以下步骤： (一) 计算数据库中每张图像对标注模型的价值评分，并选择评分最大的图像作为候选 图像X% (二) 计算当前标注模型对于步骤(一）中所选图像上的所有未被反馈的标记的掌握程 度，并选择最小值对应的标记作为候选标记y% (三) 将步骤(一）（二）中所选的所述候选图像X*和候选标记y*提供给用户，让用户提供 相关性反馈； (四） 针对该所述候选图像浐及候选标记y'根据包括是否相关、最相关示例在内的用户 反馈结果进行梯度下降更新标注模型； (五) 返回步骤(一)或结束并输出标注模型。2. 根据权利要求1所述的主动选择多示例多标记数字图像的相关反馈方法，其特征在 于:所述步骤(一)图像对标注模型的价值评分的具体方法为： 假设总共有K类标记，用Kyu，...，ylK]T表示第i幅图像X1的标记向量，如果本图像与 第k个标记相关，则yik= 1，否则yik=_l; 按照公式计算未经用户反馈的图像集合U中每张图像X1对标注模型的价值评分^"。， 所述公式为：其中，P记录图像X1的预测向量名中1的个数， ?=老 Σ為! Σ?? %於，当a为真时I [a] = 1，否则I [a] =O， card (·)表示一个集合中元素的个数， ξε(0，1)ο3. 根据权利要求1所述的主动选择多示例多标记数字图像的相关反馈方法，其特征在 于:所述步骤(二)选择候选标记f的具体方法为： 按照公式计算标注模型对未经用户反馈的标记集合U(X，中标记y的掌握程度C2(X' y)，所述公式为： C2(X*，y)=|fy(X*)_fy0(X*) 其中，fy⑴=maxj=i,...,mf (Xj)表示图像X与标记y的相关程度， yo为虚拟标记，即按照fy(X，值从大到小的顺序对U(X$)中标记排序，位于图像)T的相关 标记和不相关标记之间的标记即为yo;掌握程度C2(X^y)最小值所对应的标记，用f表示。4. 根据权利要求1所述的主动选择多示例多标记数字图像的相关反馈方法，其特征在 于:所述步骤(四）用户反馈结果的具体方法为： 首先，用户判断f与W是否相关:若用户判断#与？相关，则需指出图像#中与标记？最 相关的示例，记为X'经数次反馈，图像f的相关标记集合记为Y+，不相关标记集合记为F， 将？添加到Y+，之后将标记W从X#的未反馈标记集合U(X，中移出；若用户判断)T与f不相 关，则将W添加到Y_，将标记f从浐的未反馈标记集合U(X，中移出； 然后，判断U(X，中元素个数是否为零:如果是，则将f从未标记图像集合U移入已标记 集合L，进行更新标注模型;否则直接进行更新标注模型。5.根据权利要求1所述的主动选择多示例多标记数字图像的相关反馈方法，其特征在 于:所述步骤(四）中更新标注模型的具体方法为： 步骤151:开始程序； 步骤152:初始化中间变量r = O，〃二良i = 1，其中r记录图像f与标记Z是否相关，当且 仅当r=l时表示相关，s记录图像浐中与f最相关的示例，i记录进行不放回采样图像浐的不 相关标记集合Γ的次数； 步骤153:记录用户的判断结果，对r赋值； 步骤154:判断r的值是否为1，如果r= 1则进入步骤155，否则进入步骤159; 步骤155:将用户反馈的最相关示例XU武值给s;。 步骤156:假设图像)T共有m个示例U1，…，Xm}，s对应第ke{l，···，!!!}个示例，计算 ,/VbU = V···，，其值从大到小排序，其中，fy(X)为示例X与标记y的相关程度，fy(X) = Wy1Vx，Wy表示W的第y列； 步骤157:判断是否存在Xj使得(句成立，如果是，则进入步骤158，否则进入 步骤159; 来骢1 FiS.桉昭/A忒亩部^苴刑亦醫W的V*别知埴刑.变量V;所述公式分别如下：其中，P W，/)表示在步骤156中排序位于ΛΦ1之前所对应的示例个数； 步骤159:随机采样浐的一个相关标记y; 步骤1510:判断中间变量i的值是否小于等于图像)T的不相关标记的个数t= |Yl，如果 是，则进入步骤1511，否则结束； 步骤1511:随机采样一个图像X*的不相关标记访 步骤1512:判断爲( Al > Λ(..Ρ)是否成立，如果成立，则进入步骤1513，否则直接进入步 骤1514; 步骤1513:按照公式更新模型变量，所述公式分别如下：其中，與;Tl) S L_表示与图像f的相关程度大于标记y的标记个数，X和:S分别表示 图像浐在标记7和§上的代表示例； 步骤1514:将i加1后重新赋值给i，之后返回步骤1510。
【文档编号】G06K9/62GK106022389SQ201610369363
【公开日】2016年10月12日
【申请日】2016年5月30日
【发明人】黄圣君, 高能能
【申请人】南京航空航天大学