专利名称：数字图像检索中的主动半监督相关反馈方法
技术领域：
本发明涉及一种数字图像检索装置，特别涉及一种适用于数字图像检索中的主动半监督相关反馈方法。
背景技术：
随着数字图像在各行各业中的广泛应用，数字图像积累得越来越多。为了减轻用户的负担，帮助用户快速、准确地从数字图像库中寻找其希望获得的图像，就需要有效的图像检索技术。在进行图像检索时，用户通常向检索装置提交查询图像，然后检索装置将图像库中与查询图像相似的图像查找出来提交给用户。相关反馈是数字图像检索中一种通过与用户交互，不断改善检索效果的机制。其具体过程是在检索装置返回检索结果后，用户对返回图像的相关性进行判断，从中再选择一些相关和不相关的图像提交给检索装置，从而使检索装置能够更有效地检索出符合用户需求的图像。这一过程可以不断重复直至用户对检索结果满意为止。目前的相关反馈机制由于用户在反馈过程中选择的实例图像有限，而这些有限的图像往往又因为是用户随意选择而不是对系统检索最为有效的图像等等原因，在反馈过程中需要与用户多次的交互，给用户带来较大的负担和时间开销。
发明内容
1、发明目的本发明的主要目的是针对目前数字图像检索中的相关反馈过程由于接受的是用户随意选择的有限数量的图像，从而导致需要较多反馈轮次的问题。将机器学习中的主动学习技术和半监督学习技术的思想引入数字图像检索，提供了一种高效的主动半监督相关反馈机制。主动学习是指系统主动选择对于学习更为有效的样本交由用户标记，从而仅使用较少的用户标记样本达到学习的目的。主动学习技术用于相关反馈时，由图像检索装置主动选择对于改善检索性能较为有效的图像，交由用户确定图像的相关性，从而仅通过较少轮次的用户反馈，获得较好的检索效果。半监督学习是指在用户标记样本有限的情况下，系统根据有标记的样本自动标记一些无标记的样本，并使用所有已有标记的样本更有效的实现学习。半监督学习技术用于相关反馈时，系统将根据用户选择或提交的实例图像，选择并自动判断一些图像的相关性，然后将它们加入实例图像的集合，从而更好地检索图像。
2、技术方案为实现本发明所述目的，本发明提供的一种数字图像检索中的主动半监督相关反馈方法，包括以下步骤(1)数字图像检索装置从数字图像存储设备中获取数字图像，同时接受用户选择或提交的查询图像，包括相关图像和不相关图像；(2)生成图像的特征表示；(3)依据实例图像初步计算图像的相似度；(4)基于图像的初步相似度，使用一种半监督协同技术自动选择一些图像加入实例图像集合，共同作为依据生成对检索更为有效的相似度度量；(5)依据新生成的图像相似度对图像排序，从而根据从最相关到最不相关的顺序生成图像检索结果；(6)依据新生成的图像相似度的绝对值对图像排序，从而根据从最不确定到最确定的顺序生成用于用户主动相关反馈的图像序列；(7)结束。。需要说明的是，用于相关反馈是一个用户交互过程，因此上述步骤可持续重复，直至用户满意为止。下面将结合附图对最佳实施例进行详细说明。
3、有益效果本发明的显著优点是(1)使用较少的用户标记样本达到学习的目的；(2)通过较少轮次的用户反馈，获得较好的检索效果。
四
图1是数字图像检索装置工作流程图。图2是本发明机制的流程图。
图3是基于相似度度量S1计算第i幅图像的相似度。
五具体实施例方式
如图1所示，数字图像检索装置从数字图像存储设备获取数字图像，假设数字图像存储设备中存储了M幅图像，装置同时接受用户选择或提交的查询图像。然后装置生成图像的特征表示。可以使用数字图像处理教科书中的经典方法生成适用的图像特征，例如颜色、纹理、形状等特征，这样，每幅图像由一个特征向量表示。在每一轮相关反馈中，基于获得的实例图像的特征表示，图像检索装置使用主动半监督检索技术检索图像，产生这一轮的反馈结果，如图2所示。这里获得的实例图像包括用户初始提交的查询图像，也可能包括每一轮反馈中用户选择并指明相关性后加入的图像。假设其中包含了P(P是一个正整数)幅相关图像(图像中存在用户感兴趣的内容)和N(N是一个正整数)幅不相关图像(图像中不存在用户感兴趣的内容)，它们的特征表示组成集合C。这里产生的反馈结果与已有相关反馈机制产生的不同，不仅包括一个用于向用户显示检索结果的图像序列，还包括用于实现主动相关反馈的一个图像序列。用户浏览作为检索结果的图像序列，如果还不满意，可以按照主动反馈图像序列的顺序依次指明排在前面的几幅图像的相关性，将相应图像并加入实例图像集合C提交给系统，进一步检索图像。相关反馈过程可不断进行直到用户满意为止。
本发明的相关反馈机制如图2所示。步骤10是初始动作。步骤11取得实例图像的特征表示并组成集合C。步骤12取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C1-。步骤13取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C2-。步骤14将C1-中的图像数目N1设为N。步骤15将C2-中的图像数目N2设为N。步骤16依据C+和C1-中的图像特征，基于相似度度量S1计算M幅图像的相似度，这里的相似度度量S1可以使用现有的图像相似度度量机制，例如数字图像处理教科书中的基于欧氏距离的相似度度量机制、基于Minkowski距离的相似度度量机制等，步骤16将在后面的部分结合图3进行具体介绍。步骤17依据C+和C2-中的图像特征，基于相似度度量S2计算M幅图像的相似度，这里的相似度度量S2可以使用现有的图像相似度度量机制，只要与步骤16中使用的S1不同即可；步骤17的具体过程也可参考图3，只需把S1换成S2、把C1-换成C2-即可。步骤18基于步骤16获得的M幅图像的相似度，选择不在C+和C2-中的相似度最小的两幅图像，将对应的特征加入C2-。步骤19基于步骤17获得的M幅图像的相似度，选择C+和C1-中相似度最小的两幅图像，将对应的特征加入C1-。步骤20将C2-中的图像数目N2加2。步骤21将C1-中的图像数目N1加2。步骤22和步骤17过程相同，不同的是经过步骤18，C2-增加了系统自动产生的两幅实例图像所对应的特征。步骤23和步骤16过程相同，不同的是经过步骤19，C1-增加了系统自动产生的两幅实例图像所对应的特征。步骤24对步骤22和23使用不同相似度度量产生的两种图像相似度进行规范化后求和，作为图像的最终相似度，这里可以使用数据挖掘教科书中的规范化技术，例如min-max规范化、z-score规范化等，使得不同相似度度量产生的贡献相等。步骤25将图像按最终相似度从高到低的顺序排序，作为这一轮检索的结果。步骤26将图像按最终相似度的绝对值从小到大的顺序排序，用于下一轮用户按序指明图像的相关性。这样做是因为图像相似度的绝对值越小，说明系统越难以确定图像是与相关图像还是与不相关图像相似。如果用户能够指明相似度绝对值较小的图像的相关性，将很有效帮助系统判断最难确定的图像，以及与此相似的图像。因此这些图像对改善系统检索效果最为有效，应当排在序列的前面，请用户最先标记。步骤27是图2的结束步骤。
图3详细说明了图2中的步骤16，其作用是依据C+和C1-中的图像特征，基于相似度度量S1计算M幅图像的相似度。步骤160是图3的起始动作。步骤161将图像计数参数i置为1，步骤162判断i是否不大于图像数M，是则执行步骤163，否则转到步骤165。步骤163依据C+和C1-中的图像特征，基于相似度度量S1计算第i幅图像的相似度。步骤164将图像计数参数i加1，然后转到步骤162。步骤165是图3的结束步骤。
权利要求
1.一种数字图像检索中的主动半监督相关反馈方法，其特征是该方法包括以下步骤(1)数字图像检索装置从数字图像存储设备中获取数字图像，同时接受用户选择或提交的查询图像，包括相关图像和不相关图像；(2)生成图像的特征表示；(3)依据实例图像初步计算图像的相似度；(4)基于图像的初步相似度，使用一种半监督协同技术自动选择一些图像加入实例图像集合，共同作为依据生成对检索更为有效的相似度度量；(5)依据新生成的图像相似度对图像排序，从而根据从最相关到最不相关的顺序生成图像检索结果；(6)依据新生成的图像相似度的绝对值对图像排序，从而根据从最不确定到最确定的顺序生成用于用户主动相关反馈的图像序列；(7)结束。
2.根据权利要求1所述的数字图像检索中的主动半监督相关反馈方法，其特征是步骤(4)的方法包括以下步骤(11)取得实例图像的特征表示并组成集合C；(12)取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C1-；(13)取出C中相关图像对应的特征组成集合C+，不相关图像对应的特征组成集合C2-；(14)将C1-中的图像数目N1设为N；(15)将C2-中的图像数目N2设为N；(16)依据C+和C1-中的图像特征，基于相似度度量S1计算M幅图像的相似度；(17)依据C+和C2-中的图像特征，基于相似度度量S2计算M幅图像的相似度；(18)基于(16)获得的M幅图像的相似度，选择不在C+和C2-中的相似度最小的两幅图像，将对应的特征加入C2-；(19)基于(17)获得的M幅图像的相似度，选择C+和C1-中相似度最小的两幅图像，将对应的特征加入C1-；(20)将C2-中的图像数目N2加2；(21)将C1-中的图像数目N1加2；(22)重复(17)、(18)，C2-增加了系统自动产生的两幅实例图像所对应的特征；(23)重复(16)、(19)，C1-增加了系统自动产生的两幅实例图像所对应的特征；(24)对(22)和(23)使用不同相似度度量产生的两种图像相似度进行规范化后求和，作为图像的最终相似度；(25)将图像按最终相似度从高到低的顺序排序，作为这一轮检索的结果；(26)将图像按最终相似度的绝对值从小到大的顺序排序，用于下一轮用户按序指明图像的相关性；(27)结束。
3.根据权利要求2所述的数字图像检索中的主动半监督相关反馈方法，其步骤(16)的方法包括以下步骤(161)将图像计数参数i置为1；(162)判断i是否不大于图像数M，是则执行(163)，否则转到(165)；(163)依据C+和C1-中的图像特征，基于相似度度量S1计算第i幅图像的相似度；(164)将图像计数参数i加1，然后转到(162)；(165)结束。
全文摘要
本发明公开了一种数字图像检索中的主动半监督相关反馈方法，包括以下步骤(1)接受用户的实例图像，包括相关图像和不相关图像；(2)依据实例图像初步计算图像的相似度；(3)基于图像的初步相似度，使用一种半监督协同技术自动选择一些图像加入实例图像集合，共同作为依据生成对检索更为有效的相似度度量；(4)依据新生成的图像相似度对图像排序，生成图像检索结果；(5)依据新生成的图像相似度的绝对值对图像排序，生成用于用户主动相关反馈的图像序列；(6)结束。本发明的显著优点是(1)使用较少的用户标记样本达到学习的目的；(2)通过较少轮次的用户反馈，获得较好的检索效果。
文档编号G06F17/30GK1851703SQ20061004015
公开日2006年10月25日 申请日期2006年5月10日 优先权日2006年5月10日
发明者周志华, 陈可佳, 戴宏斌 申请人:南京大学