专利名称：图像标注方法及其装置的制作方法
技术领域：
本发明涉及图像分类和检索领域，特别涉及一种图像标注方法及其装置。
背景技术：
随着计算机网络和多媒体技术的发展，互联网上可获取的多媒体信息的数量也得到非常快速的增长。多媒体信息的激增给用户提供丰富资源的同时，如何从海量的信息中快速有效地获得感兴趣的资源也给研究人员带来巨大的挑战。由此，图像分类和检索技术日益得到重视。基于内容的图像检索(CBIR, Content-Based Image Retrieval)技术自上世纪九十年代提出以来得到了广泛的研究。通过将图像自身的视觉内容特征(例如颜色、纹理、形状和空间层次等底层特征)作为其索引，可以检索视觉特征上相似的其他图像 。从而可以根据图像低级特征计算的视觉相似度来直接比较和检索图像。但是，由于使用了图像的底层视觉特征来描述图像，而这些特征与人们对图像高层语义的主观判断没有统一规则的相关性。当完全不同类型的图像有可能具有类似的底层特征时，根据视觉相似度直接比较的方法往往不能得到准确的检索结果。另一方面，出现了一些通过基于文本的图像检索(TBIR, Text-Based ImageRetrieval)技术对图像进行标注的方法。通过低级特征寻找待标注图像的相似图像，将相似图像的标签分配给待标注图像，从而可以将图像视觉和相关文本信息结合进行检索。但是在实现本发明的过程中，发明人发现现有技术的缺陷在于目前由于图像的低级特征和高级语义之间存在距离，图像标注的准确度低；而如果仅利用人机交互或者手工方式对图像进行标注，则效率低且用户负担重。
发明内容
本发明实施例提供一种图像标注方法及其装置，目的在于同时考虑图像的低级特征和闻级语义，提闻图像标注的准确度；并且实现标签自动标注，提闻标注的效率。根据本发明实施例的一个方面，提供一种图像标注方法，所述图像标注方法包括为输入图像获取初始的包括多个标签的标签集，其中根据所述多个标签确定表示所述输入图像的语义的准确度；计算所述输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度；将所述基于标签集的相似度和基于视觉的相似度进行合并计算，以获得所述输入图像和所述比较图像的合并相似度；基于所述合并相似度更新所述输入图像的标签集。根据本发明实施例的另一个方面，提供一种图像标注装置，所述图像标注装置包括
初始化器，为输入图像获取初始的包括多个标签的标签集，其中根据所述多个标签确定表示所述输入图像的语义的准确度；关系计算器，计算所述输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度；
合并计算器，将所述基于标签集的相似度和基于视觉的相似度进行合并计算，以获得所述输入图像和所述比较图像的合并相似度；标签集更新器，基于所述合并相似度更新所述输入图像的标签集。本发明实施例的有益效果在于，通过将基于标签集的相似度和基于视觉的相似度合并，可以同时考虑图像的低级特征和高级语义，提高图像标注的准确度；并且实现标签自动标注，提闻标注的效率。可以通过相同的方法或类似的方法将针对一种实施方式介绍和/或例示的特征用于一个或更多个其它实施方式，与其它实施方式的特征相组合或者取代其它实施方式的特征。应强调的是，本说明书中使用的术语“包括”和“包含”用于指出所述的特征、要件、步骤或组件的存在，但并不排除一个或更多个其它特征、要件、步骤、组件或它们的组合的存在或添加。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中图I是本发明实施例的图像标注方法的一流程图；图2是本发明实施例中进行标注后的图像的示意图；图3是本发明实施例的获得初始的标签集的一示意图；图4是本发明实施例的图像标注方法的又一流程图；图5是本发明实施例的图像标注方法的迭代过程的一示意图；图6是本发明实施例中图像标注装置的一构成示意图；图7是本发明实施例中图像标注装置的又一构成示意图。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例作进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。本发明实施例提供一种图像标注方法，图I是本发明实施例的图像标注方法的一流程图。如图I所示，该图像标注方法包括步骤101，为输入图像获取初始的包括多个标签的标签集，其中根据多个标签确定表示输入图像的语义的准确度；步骤102，计算输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度；步骤103，将基于标签集的相似度和基于视觉的相似度进行合并计算，以获得输入图像和比较图像的合并相似度；步骤104，基于合并相似度更新输入图像的标签集。在本实施例中，可为每一图像标注一个标签集，该标签集中可包括多个标签，可以根据标签的排列顺序确定表示输入图像的语义的准确度，例如排在前面的标签的准确度高于排在其后的标签的准确度。图2是本发明实施例中进行标注后的图像的示意图。如图2所示，图像对应一个标签集，该标签集中包括四个标签{golden, gate, bridge, sights}。在图2中，通过标签的排列顺序可知，golden的准确度大于gate, gate的准确度大于bridge, bridge的准确度大于 sights。在具体实施时,还可以为每个标签赋予权值,例如golden的权值为60, gate的权值为52，bridge的权值为48，sights的权值为30，通过权值反映标签表示图像的语义的准 确度。值得注意的是，以上仅为对标签集的示意性说明，但不限于此，可根据实际情况确定具体的实施方式。在一个实施例中，为输入图像获取初始的标签集具体可以包括随机指定标签集。在另一个实施例中，为输入图像获取初始的标签集具体可以采用基于视觉相似度的方法。即计算输入图像与存储在数据库中的比较图像的基于视觉的相似度；根据基于视觉的相似度获得输入图像的初始的标签集。其中，该数据库中可存储大量的已经进行了图像标注的比较图像。可以在计算基于视觉的相似度之后，选取在基于视觉的相似度上与输入图像最接近的前几个比较图像，并根据这些比较图像的标签获得输入图像的初始的标签集。例如，可以采用这几个比较图像的标签的合集作为初始标签集；但不限于此，还可以采用如下所述的投票的方式获得初始的标签集。图3是本发明实施例的获得初始的标签集的一示意图。如图3所示，基于视觉的相似度，可以为输入图像在数据库中查找到多个在视觉相似度上比较接近的比较图像；然后根据查找到的比较图像的标签集进行投票(Voting)或统计，可以得到输入图像的初始的标签集。以上仅为对如何获得初始的标签集进行示意性的说明，但不限于此。至于如何计算基于视觉的相似度、如何根据基于视觉的相似度查找比较图像、以及如何进行投票等具体实现，可采用现有技术，此处不再赘述。在本实施例中，在对输入图像进行初始化而获得初始的标签集之后，可以计算输入图像的标签集与比较图像的标签集的关系，从而获得基于标签集的相似度。在具体实施时，在一个实施例中，计算输入图像的标签集与存储在数据库中的比较图像的标签集的关系，具体可以包括计算输入图像的标签集与比较图像的标签集的交集、和输入图像的标签集与比较图像的标签集的并集之比；根据得到的比值确定输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度。例如，如图2所示的输入图像的初始的标签集为{golden, gate, bridge,sights}。假设比较图像的标签集为{golden, gate, bridge, 2006},则可根据相同标签的个数计算基于标签集的相似度为3/5 ;假设比较图像的标签集为{favorite，sanfrancisco, bridge, goldengate},则基于标签集的相似度为1/7。
在另一个实施例中，计算输入图像的标签集与存储在数据库中的比较图像的标签集的关系，具体可以包括计算输入图像的标签集与比较图像的标签集的语义距离；根据计算得到的语义距离确定输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度。例如，如图2所示的输入图像的初始的标签集为{golden, gate, bridge,sights},假设比较图像的标签集为{golden, gate, bridge, 2006}。首先，可以计算输入图像标签和比较图像标签之间的两两距离，可以得到一个距离矩阵，如下表所示表I
golden gatebridge sightsgolden I00.I0
gate0I0. I0. 3
bridge 0. I0. II0. 6
2006 0 0 0 0然后，基于上述距离矩阵寻找最优的一一对应关系，可以采用贪心匹配或者Munkre最佳匹配方法来实现。例如利用Munkre最佳匹配方法，得到的标签间的对应关系为 golden-golden、gate-gate、bridge-bridge>2006-sights,则标签集的相似度为(1+1+1+0)/4 = 3/4。以上仅为对如何计算基于标签集的相似度进行示意性的说明，但不限于此，例如还可以增加权值等，或者采用现有的计算相似度的方法，可以根据实际情况确定具体的实施方式。在本实施例中，在获得基于标签集的相似度之后，可以将基于标签集的相似度和基于视觉的相似度进行合并计算，以获得输入图像和比较图像的合并相似度。例如，可以为基于标签集的相似度和基于视觉的相似度赋予权值之后进行相加或相乘。假设基于标签集的相似度为1/7，基于视觉的相似度为1/3，权值分别为3和2，则合并相似度可以为:(1/7) X3+(1/3) X2 = 23/21。以上仅为对如何计算合并相似度进行示意性的说明，但不限于此，例如还可以采用现有的计算方法，可以根据实际情况确定具体的实施方式。在本实施例中，在获得基于标签集的相似度和基于视觉的相似度的合并相似度之后，可以基于合并相似度更新输入图像的标签集，具体可以包括若合并相似度大于预设值，则统计标签在比较图像的标签集中出现的次数；根据统计结果调整输入图像的标签集中的标签，以更新输入图像的标签集。在本实施例中，可以将基于标签集的相似度和基于视觉的相似度合并，由此可以同时考虑图像的低级特征和高级语义，提高图像标注的准确度。为了提高准确度，可以进行多次迭代。图4是本发明实施例的图像标注方法的又一流程图。如图4所示，该图像标注方法包括步骤401，为输入图像获取初始的包括多个标签的标签集，其中根据多个标签确定表示输入图像的语义的准确度；步骤402，计算输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度；步骤403，将基于标签集的相似度和基于视觉的相似度进行合并计算，以获得输入图像和比较图像的合并相似度；步骤404，判断合并相似度是否大于预设值，若合并相似度大于预设值，则执行步骤405 ;否则执行步骤406 ；步骤405，统计标签在比较图像的标签集中出现的次数；根据统计结果调整输入图像的标签集中的标签，以更新输入图像的标签集。步骤406,判断是否达到预设条件；若没有达到预设条件，则从数据库中选择其他的比较图像；并且继续执行步骤402 ;若达到预设条件，则结束图像标注过程。在本实施例中，在选择比较图像时，可以仅选择一张比较图像。也可以选择多张比较图像；在执行步骤405时，可以根据多张比较图像的标签集进行统计，由此可以对结果进行累计，进一步提闻准确度。在本实施例中，步骤406中判断是否达到预设条件，具体可以包括判断输入图像的标签集是否与上次迭代的标签集相同或近似；若相同或近似，则输入图像的标签集达到稳定状态，并确定达到预设条件。但不限于此，预设条件还可以为预先设置的迭代次数或者迭代时间等，可根据实际情况确定具体的迭代条件。图5是本发明实施例的图像标注方法的迭代过程的一示意图。如图5所示，对于输入图像标注有标签集，该标签集具有多个标签，标签的权值可以对应统计直方图，表示输入图像的语义的准确度。可以根据基于标签集的相似度和基于视觉的相似度选择多个比较图像，根据比较图像的标签集进行投票，更新输入图像的标签集。还可以对上述更新过程进行多次迭代，进一步提闻标签集的准确度。以下通过实例再对如何更新标签集进行进一步说明。例如，输入图像的标签集为{gate, golden, bridge, sights}。计算出合并相似度之后,合并相似度大于预设值的比较图像共 5 个，其标签集分别为{bridge, 2006, favorite}、{sanfrancisco, bridge, golden}、{bridge, traffic, sanfrancisco, gate}、 {bridge, golden, sanfrancisco, favorite}>{gate, bridge, favorite}。则可以在这5个图像的标签集中，统计标签出现的次数。统计结果如下表所示表权利要求
1.一种图像标注方法，所述图像标注方法包括 为输入图像获取初始的包括多个标签的标签集，其中根据所述多个标签确定表示所述输入图像的语义的准确度； 计算所述输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度； 将所述基于标签集的相似度和基于视觉的相似度进行合并计算，以获得所述输入图像和所述比较图像的合并相似度； 基于所述合并相似度更新所述输入图像的标签集。
2.根据权利要求I所述的图像标注方法，所述图像标注方法还包括 判断是否达到预设条件； 若没有达到预设条件，则从所述数据库中选择其他的比较图像；并且，计算所述输入图像的标签集与所述其他的比较图像的标签集之间的基于标签集的相似度。
3.根据权利要求2所述的图像标注方法，判断是否达到预设条件具体包括判断所述输入图像的标签集是否与上次迭代的标签集相同或近似；若相同或近似，则确定达到预设条件。
4.根据权利要求I或2所述的图像标注方法，计算所述输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度，具体包括 计算所述输入图像的标签集与所述比较图像的标签集的交集、和所述输入图像的标签集与所述比较图像的标签集的并集之比； 根据得到的比值确定输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度。
5.根据权利要求I或2所述的图像标注方法，计算所述输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度，具体包括 计算所述输入图像的标签集与所述比较图像的标签集的语义距离； 根据得到的语义距离确定输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度。
6.根据权利要求I或2所述的图像标注方法，为输入图像获取初始的标签集具体包括随机指定所述初始的标签集；或者 计算所述输入图像与存储在数据库中的比较图像的基于视觉的相似度；根据所述基于视觉的相似度获得所述初始的标签集。
7.根据权利要求I或2所述的图像标注方法，基于所述合并相似度更新所述输入图像的标签集，具体包括 若所述合并相似度大于预设值，则统计标签在所述比较图像的标签集中出现的次数； 根据统计结果调整所述输入图像的标签集中的标签，以更新所述输入图像的标签集。
8.一种图像标注装置，所述图像标注装置包括 初始化器，为输入图像获取初始的包括多个标签的标签集，其中根据所述多个标签确定表示所述输入图像的语义的准确度； 关系计算器，计算所述输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度；合并计算器，将所述基于标签集的相似度和基于视觉的相似度进行合并计算，以获得所述输入图像和所述比较图像的合并相似度； 标签集更新器，基于所述合并相似度更新所述输入图像的标签集。
9.根据权利要求8所述的图像标注装置，所述图像标注装置还包括 条件判断器，判断是否达到预设条件； 图像选择器，若没有达到预设条件，则从所述数据库中选择其他的比较图像； 并且，所述关系计算器还用于计算所述输入图像的标签集与所述其他的比较图像的标签集之间的基于标签集的相似度。
10.根据权利要求8或9所述的图像标注装置，所述标签集更新器具体包括 次数统计器，若所述合并相似度大于预设值，则统计标签在所述比较图像的标签集中出现的次数； 标签调整器，根据统计结果调整所述输入图像的标签集中的标签，以更新所述输入图像的标签集。
全文摘要
本发明实施例提供一种图像标注方法及装置，该图像标注方法包括为输入图像获取初始的包括多个标签的标签集；计算输入图像的标签集与存储在数据库中的比较图像的标签集之间的基于标签集的相似度；将基于标签集的相似度和基于视觉的相似度进行合并计算，以获得输入图像和比较图像的合并相似度；基于合并相似度更新输入图像的标签集。通过本发明实施例，可以同时考虑图像的低级特征和高级语义，提高图像标注的准确度；并且实现标签自动标注，提高标注的效率。
文档编号G06F17/30GK102880612SQ20111019723
公开日2013年1月16日 申请日期2011年7月14日 优先权日2011年7月14日
发明者曹琼, 刘汝杰, 于浩 申请人:富士通株式会社