专利名称：图片标引的方法和装置的制作方法
技术领域：
本发明涉及互联网技术。更具体地说，涉及图片标引的方法和装置。
背景技术：
图片标引指的是向图片附加图像信息以外的其他信息，例如文字信息，以作为所述图片的标签。当今，随着数码相机和互联网的普及，大量的图片被拍摄，并且通过互联网进行共享。在图片被标引之后，可以对图片更快更好地进行检索和分析。因此图片标引正成为桌面或在线图片管理工具的重要功能。简单的图片标引功能是通过向用户提供手动标引界面来实现的。用户通过所述手动标引界面将图片与至少一个标签关联起来。对于一些特殊的应用，可能需要对图片中的特定部分进行标引。例如，用于社交的应用需要对图片中含有脸部对象的部分进行标引，用于汽车的应用需要对图片中含有汽车对象的部分进行标引，用于天文学的应用需要对图片中含有天体对象的部分进行标引等等。针对这些特殊应用，可以进一步向用户提供手动选择工具以便用户将所述特定部分选择出来作为一张新的图片，然后利用所述手动标引界面对所述新的图片进行标引。这种完全人工的方式非常普遍地应用在当今的桌面图片管理软件、在线图片管理站点或社会网络站点中。作为对这种纯手工方式的一种改进，可以提供自动选择工具。例如可以利用脸部识别技术自动地将提取包含脸部对象的部分作为所述新的图片。此外，还可以提供一定程度的自动标引。例如，针对脸部对象的标引通常用于社会网络应用的场合，从而可以把用户的联系人推荐给用户作为候选标签。尽管如此，仍然存在向用户提供更高程度的自动化的需求。
发明内容
有鉴于此，本发明实施例提供了图片标引的方法和装置，从而在图片标引过程中向用户提供更高程度的自动化。根据本发明实施例的进行图片标引的方法包括获得待标引图片；判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族对应于至少一个标签；在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标引图片族对应的标签推荐给用户。根据本发明实施例的进行图片标引的装置包括获得模块，配置为获得待标引图片；判断模块，配置为判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族对应于至少一个标签；推荐模块，配置为在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标引图片族对应的标签推荐给用户。采用根据本发明实施例的技术方案，可以自动地将与待标引图片相似的已标引图片族的标签推荐给用户，从而实现了一定程度上的自动标引。特别是，如果所述已标引图片族不仅包括用户自己的已标引图片族，还包括用户的伙伴的已标引图片族，就能加大找到与待标引图片相似的已标引图片族的机会。
图1是根据本发明实施例的进行图片标引的方法的流程图。图2是根据本发明实施例的进行图片标引的方法的流程图。图3是根据本发明实施例的进行图片标引的装置的框图。
具体实施例方式下面参照附图来说明本发明的实施例。在下面的说明中，阐述了许多具体细节以便更全面地了解本发明。但是，本技术领域技术人员容易理解，本发明的实现可不具有这些具体细节中的一些，并且本发明并不限于所介绍的特定实施例。相反，可以考虑用下面的特征和要素的任意组合来实施本发明，而无论它们是否涉及不同的实施例。因此，下面的方面、特征、实施例和优点仅作说明之用而不应被看作是所附权利要求的要素或限定，除非权利要求中明确提出。还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。此外，除非刻意地使用“直接”或者“间接”加以限定，否则本申请文件中的连接既包括直接连接，也包括间接地连接。为了在图片标引的过程中向用户提供更高程度的自动化，可以引入已经使用过的标签作为向用户推荐的候选标签。在以下的一些实施例中，采用含有脸部的图片作为示例进行说明。如前所述，含有脸部的图片可以是另一图片的一部分。本领域技术人员可以了解，根据本发明实施例的技术方案可以用于任何图片标引的场合。参照图1，图1是根据本发明实施例的进行图片标引的方法的流程图。步骤101，获得待标引图片。可以由标引应用实施根据本发明实施例的进行图片标引的方法。在一些实施例中，标引应用运行于服务器上。所述服务器向通过网络连接的客户端提供可以由运行于客户端上的浏览器解析的文档，例如HTML文档。所述浏览器解析所述文档，从而生成用户界面，以便用户可以通过所述用户界面指定需要标引的图片。当用户以任何方式指示指定完成后，所述客户机将被指定的图片发送给服务器。这样，运行于服务器上的标引应用就可以获得通过网络发送的待标引图片。在另一些实施例中，所述标引应用是桌面应用。该应用直接生成用户界面，以便用户可以通过所述用户界面指定需要标引的图片。当用户以任何方式指示指定完成后，所述标引应用加载所述待标引图片。步骤102，判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族具有至少一个标签。一个典型的已标引图片族中包括多幅对应于同一标签的已标引图片。本领域技术人员可以理解，单幅的已标引图片也可以看作是包括一幅已标引图片的已标引图片族，此时已标引图片族的特征值就是所述一幅已标引图片的特征值。例如，用户可能已经标引了一幅或多幅含有John的脸部的图片，一幅或多幅含有Mike的脸部的图片，一幅或多幅含有Kate的脸部的图片。这些含有John的脸部的图片组成一个已标引图片族，含有Mike的脸部的图片组成另一个已标引图片族，含有Kate的脸部的图片组成再一个图片族。本领域技术人员可以设计出各种特征值来表征图片的特性，从而通过比较所述特征值是否接近来判断两幅图片是否相似。根据本发明一个实施例，可以利用图片拍摄时自动产生的信息，例如拍摄时间，作为所述特征值。根据本发明另一个实施例，可以建立带参数的脸部模型，然后针对各图片中的脸部对象分别计算所述模型参数。如果两幅图片中的脸部对象的模型参数矢量的距离小于某距离阈值，则认为这两幅图片的特征值相似。根据本发明再一个实施例，也可以采用颜色、轮廓、变换特征等作为所述图片的特征值。本领域技术人员可以理解，上述各种特征值可以结合起来使用。在实际应用中，将待标引图片与单幅已标引图片比较可能会有比较大的误差，尤其是在以图片内容作为确定相似性的情况下。这是因为，某些随机因素，例如图片的拍摄条件，可能引起对应的特征值的变化。当所述已标引图片族包括多幅已标引图片时，根据该已标引图片族中包括的多幅已标引图片计算所述已标引图片族的特征值。由于已标引图片族中包括对应于相同标签的多幅已标引图片，也就是包括对应于同一对象的多幅已标引图片，因此根据所述多幅已标引图片计算出的已标引图片族的特征值可以较好地去除所述随机因素的影响，从而提高与待标引图片比较的准确性。步骤103，在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标弓I图片族对应的标签推荐给用户。假设，一个已标引图片族中的已标引图片由于其均在巴黎拍摄而具有标签“巴黎”，而待标引图片与这些已标引图片的拍摄时间相差五分钟，那么待标引图片可能也是在巴黎拍摄，从而用户可能将待标引图片也标引为“巴黎”。又例如，如果一幅已标引图片由于其中的人物是John而均具有标签“John”，而待标引图片中的脸部所具有的模型参数与已标引图片中的脸部所具有的模型参数满足一定的近似条件，那么待标引图片中的人物可能也是John，从而用户可能将待标引图片也标引为“John”。又例如，在特征值即包括拍摄时间又包括脸部模型参数的场合，如果从模型参数的角度，待标引图片与两个已标引图片族都满足所述近似条件，可以进一步比较待标引图片与这两个已标引图片族的拍摄时间相近程度。根据前面所描述的理由，每个已标引图片族中包括的已标引图片越多，与待标引图片比较的准确性就越高。一般来说，已标引图片是用户自身维护的，即在步骤102中仅仅将待标引图片与用户已标引图片族比较。这可能会不利于形成已标引图片族，或者导致形成的已标引图片族包括比较少的已标引图片。仍然以针对脸部对象的标引为例。在上述实施例中，如果待标引图片与任何一个用户已标引图片族都不类似，那么用户仍然需要利用手动标引工具对该图片进行标引。用户需要进行多次手动标引才能形成已标引图片族。在用户刚开始对图片进行标引时，此时由于没有用户已标引图片族，仍然需要用户进行手动标引。下面参照图2描述根据本发明实施例的对步骤102的进一步改进。步骤201，获取用户的伙伴名单。对于在线标引应用，例如由社会网络站点提供的标引应用，可以直接获取用户所设置的伙伴名单。对于桌面标引应用，可以从用户的电子邮件应用中获取联系人作为用户的伙伴。本领域技术人员还可以实施任何获取用户伙伴名单的方式。步骤202，根据所述伙伴名单，获取伙伴已标引图片族所对应的特征值和标签。这里假设所述伙伴也对其所管理的图片进行了标引工作。根据本发明的一个实施例，可以获取伙伴的已标引图片本身和其所对应的标签，然后从伙伴的已标引图片计算出伙伴的各个已标引图片族的特征值。如果存在对应于同一标签的多幅已标引图片，则通过这些已标引图片计算出已标引图片族的特征值。如前所述，单幅的已标引图片也可以看作是包括一幅已标引图片的已标引图片族，此时已标引图片族的特征值就是所述一幅已标引图片的特征值。根据本发明另一个实施例，可以直接获取特征值本身和对应的标签，而并不获取伙伴已标引图片族所对应的图片。这有利于进行较好的隐私控制。伙伴可能并不希望将其管理的图片本身进行共享。直接获取特征值和对应的标签，既避免了共享图片本身，又有足够多的信息可以用来对用户的待标引图片进行标引，因为在比较待标引图片与已标引图片族是否相似时，是直接对待标引图片的特征值和已标引图片族的特征值进行比较。步骤203，判断所述待标引图片的特征值与至少一个伙伴已标引图片族的特征值是否相似。一种情况是，用户已标引图片族所对应的标签与伙伴已标引图片族所对应的标签没有重合的标签。例如，用户有四个已标引图片族，分别对应标签“我自己”、“John”、“Mike” 和“Kate”，伙伴有两个已标引图片族，分别对应标签“Jack”和“Mary”。这样，可以将所述待标引图片的特征值与对应标签“Jack”的伙伴已标引图片族的特征值和对应标签“Mary” 的伙伴已标引图片族的特征值进行比较。另一种情况是，某个用户已标引图片族所对应的标签与伙伴已标引图片族所对应的标签有重合的标签。例如，用户有四个已标引图片族，分别对应标签“我自己”、“John”、 “Mike”和“Kate”，伙伴有三个已标引图片族，分别对应标签“Kate”、“JaCk”和“Mary”。这样，需要一定的手段来将对应标签“Kate”的用户已标引图片族和对应标签“Kate”的伙伴已标引图片族进行合并，进而计算该合并后的已标引图族组的特征值。本领域技术人员可以设计出很多方法，来根据两个已标引特征组的特征值计算这两个已标引特征族合并得到的新已标引特征族的特征值。例如，可以按照已标引图片族中包括的图片数目对已标引图片族的特征值进行加权求和以计算所述合并得到的已标引特征族的特征值。在获取了伙伴的已标引图片本身和其所对应的标签的情况下，可以根据用户已标引特征族中的图片本身和伙伴已标引特征族中的图片本身来计算合并得到的已标引特征族的特征值。在用户的伙伴不止一个的情况下，可能会有三个或更多的已标引图片族具有相同的标签。仍然可以使用上述方法来处理将具有相同的标签三个或更多的已标弓I图片族进行合并。按照这样的方法，可以参照伙伴已经进行过的标引工作来为用户推荐候选标签。 例如，假设伙伴已经标引过含有Jack的图片，甚至已经形成了较大的对应于标签“Jack”的伙伴已标引图片族。当用户指定的待标引图片包括Jack时，即使用户之前从来没有标引过含有Jack的图片，如果系统确定该待标引图片与对应于标签“Jack”的伙伴已标引图片族的特征值相似，就可以将标签“Jack”推荐给用户。本发明的发明人经过研究发现，在用户的已标引图片中，含有用户本人的图片是最多的，从而具有标签“我自己”或类似标签的已标引图片族可能包括较多的已标引图片，而具有标签“John”、“Mike”或“Kate”的已标引图片族可能包括较少的已标引图片，甚至只包括一幅已标引图片。在这一研究结论下，参考伙伴已经进行过的标引工作来为用户推荐候选标签尤为有用。对于用户来说，经过步骤201到203，至少对于包含这些伙伴的人脸的图片，可以得到比较准确的推荐标签。例如，假设用户对一个伙伴的称呼为Lisa，而这个伙伴的一个已标引图片族对应的标签是“我自己”。当用户指定的待标引图片包括Lisa时，即使用户之前从来没有标引过含有Lisa的图片，如果系统确定该待标引图片与该伙伴的对应于标签“我自己”的已标引图片族的特征值相似，就可以将标签“Lisa”推荐给用户。在用户确定了一个标签作为实际与待标引图片相关联的标签后，可选地，可以更新所述已标引图片族的特征值。如果用户所确定的标签不是从所述推荐标签中选择的，那么为该图片新建立一个用户待标引图片族，该图片的特征值就是该新建立的用户待标引图片族的特征值。如果用户所确定的标签是从所推荐的标签中选择的，那么必然有一个已标引图片族，要么是用户已标引图片族，要么是伙伴已标引图片族，与所确定的标签对应。可以根据该待标引图片与所述已标引图片族中的已有图片对所述已标引图片族的特征值进行修正。还可以参考上述根据两个已标引特征组的特征值计算这两个已标引特征族合并得到的新已标引特征族的特征值的方法。需要指出的是，在用户对图片进行标引的过程中，所述伙伴已标引图片族应该不被修改。换句话说，应该以只读的方式获取伙伴已标引图片族所对应的特征值和标签。这样才能符合隐私控制的要求。在步骤201中，可以按照一定的标准对伙伴名单进行过滤。根据本发明的一个实施例，可以选择与用户之间的交流次数大于交流次数阈值的伙伴入选所述伙伴名单。这里的交流包括用户和伙伴之间的交互，还包括用户访问伙伴的共享内容或伙伴访问用户的共享内容等。所述交流次数可以是用户与伙伴之间的总交流次数，也可以是在最近一段时间内与用户之间的近期交流次数。根据本发明的再一个实施例，可以选择用户的伙伴中，在最近一段时间中进行了图片库更新的伙伴入选所述伙伴名单。根据本发明的又一个实施例， 可以选择用户的伙伴中，图片数目较多的伙伴入选所述伙伴名单。一般认为，对伙伴名单进行过滤需要计算过滤所参照的条件，例如交流次数，并且应用过滤规则，因此会需要更多的存储资源、计算资源等。但是本发明的发明人经过实验发现，对伙伴名单进行过滤从整体上而言会加快处理的速度。由于需要根据伙伴名单来动态地获取伙伴已标引图片族所对应的特征值和标签，因此需要消耗网络资源和计算资源来传递和处理图片的标签、参数值甚至图片本身。但是，只有一些伙伴的图片库对为用户形成已标引图片族具有较大的帮助。例如，如果用户和某伙伴之间的总交流次数或者近期交流次数较大，说明用户和该伙伴之间的关系密切，很有可能用户和该伙伴会对相同的对象标引相同的标签，尤其当所述对象是用户和该伙伴共同认识的对象时。又例如，在用户上一次参照某伙伴的伙伴已标引图片族进行了图片标引后，用户已经形成了对应于这些伙伴已标引图片族的用户已标引图片族。如果在此之后该伙伴并未进行过图片的更新，那么能够为用户提供更多帮助的可能性就比较小。再例如，如果伙伴的图片数目比较少，那么从这些图片形成的伙伴已标引图片族包括的图片数目也比较少，从而难以进行准确地特征值比较和标签推荐。根据本发明的一个实施例，用户可以设置伙伴深度，从而在更大的范围内参考其他人对图片进行的标引工作。所述伙伴深度指示所述伙伴知否位于用户的伙伴名单中。例如，如果伙伴深度是1，则在获取伙伴已标引图片族所对应的特征值和标签时，只考虑用户的伙伴名单上的伙伴所对应的特征值和标签；如果伙伴深度是2，则进一步考虑所述伙伴的伙伴名单上的伙伴所对应的特征值和标签，以此类推。图3是根据本发明实施例的用于图片标引的系统的方框图，该装置包括获得模块，配置为获得待标引图片；判断模块，配置为判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族对应于至少一个标签；推荐模块，配置为在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标引图片族对应的标签推荐给用户。本领域的普通技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、⑶或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本实施例的用于处理图片标引的装置及其组件可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现， 也可以由上述硬件电路和软件的结合例如固件来实现。虽然已经图示和描述了本发明的若干示例性实施例，不过本领域技术人员可以理解的是，在不偏离本发明原则和精神的前提下，可以对这些实施例进行改变，本发明的范围由权利要求书及其等价变换所限定。
权利要求
1.一种进行图片标引的方法，包括 获得待标引图片；判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族对应于至少一个标签；在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标引图片族对应的标签推荐给用户。
2.根据权利要求1所述的方法，其中判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似包括获取用户的伙伴名单；根据所述伙伴名单，获取伙伴已标引图片族所对应的特征值和标签；以及判断所述待标引图片的特征值与至少一个伙伴已标引图片族的特征值是否相似。
3.根据权利要求2所述的方法，进一步包括对所述伙伴名单进行过滤。
4.根据权利要求3所述的方法，其中根据以下至少之一对所述伙伴名单进行过滤 与用户之间的交流次数、近期更新图片的次数、伙伴拥有的图片数目。
5.根据权利要求2所述的方法，其中获取伙伴已标引图片族所对应的特征值和标签包括直接获取伙伴已标引图片族所对应的特征值本身和标签。
6.根据权利要求2所述的方法，其中获取伙伴已标引图片族所对应的特征值和标签包括以只读的方式获取伙伴已标引图片族所对应的特征值和标签。
7.一种进行图片标引的装置，包括 获得模块，配置为获得待标引图片；判断模块，配置为判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族对应于至少一个标签；推荐模块，配置为在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标引图片族对应的标签推荐给用户。
8.根据权利要求7所述的装置，其中所述判断模块包括 配置为获取用户的伙伴名单的装置；配置为根据所述伙伴名单，获取伙伴已标引图片族所对应的特征值和标签的装置；以及配置为判断所述待标引图片的特征值与至少一个伙伴已标引图片族的特征值是否相似的装置。
9.根据权利要求8所述的装置，进一步包括 配置为对所述伙伴名单进行过滤的装置。
10.根据权利要求9所述的装置，其中根据以下至少之一对所述伙伴名单进行过滤 与用户之间的交流次数、近期更新图片的次数、伙伴拥有的图片数目。
11.根据权利要求8所述的装置，其中所述配置为获取伙伴已标引图片族所对应的特征值和标签的装置包括配置为直接获取伙伴已标引图片族所对应的特征值本身和标签的装置。
12.根据权利要求8所述的装置，其中所述配置为获取伙伴已标引图片族所对应的特征值和标签的装置包括配置为以只读的方式获取伙伴已标引图片族所对应的特征值和标签的装置。
全文摘要
本发明实施例提供了一种进行图片标引的方法。该方法包括获得待标引图片；判断所述待标引图片的特征值与至少一个已标引图片族的特征值是否相似，其中所述已标引图片族对应于至少一个标签；在所述待标引图片与所述已标引图片族的特征值相似的情况下，将所述已标引图片族对应的标签推荐给用户。根据本发明的实施例，可以在用户对图片进行标引的时候向用户提供更多的自动化。
文档编号G06F17/30GK102262638SQ20101019252
公开日2011年11月30日 申请日期2010年5月31日 优先权日2010年5月31日
发明者张强, 杨博, 马瑞 申请人:国际商业机器公司