专利名称：搜索成套图像的方法和设备的制作方法
技术领域：
本发明涉及图像搜索领域，更具体地讲，涉及一种搜索成套图像的方法和设备。
背景技术：
图像的表意性要远好于文本，图像可以帮助人们更迅速、更直观的获取信息。随着信息社会的发展，人们对于网络的依存度越来越高，对于在网络上进行图像获取的需求也越来越大。在现有技术条件下，用户通常需要输入文本关键字来进行图像的搜索，搜索出来的结果通常都是离散的。然而，随着人们对于网络信息需要的增加以及信息分享的增强，网络上的图像很多作为套图集而成套地出现。例如，网络上的很多关于新闻事件、教程(例如，菜谱、软件使用教程等)、游记、写真等的图像都是成套出现的。这些图集可能被别的网站转载、引用，在转载、引用时可能由于某些原因转得不完整，久而久之一套原本精心编辑的图集可能会变成一张张单独的图像，散落在互联网上，很多用户看到的只是其中的一两张，不连贯也不完整。因此，当用户拥有成套图像之一时，可能希望看到整套图像或者具有类似图像的整套图像。此外，网站也倾向于当用户在浏览某个图像时，将相应地套图提供给用户。因此，需要一种搜索成套图像的技术，以能够向用户提供套图集。
发明内容
本发明提供一种搜索成套图像的方法和设备，其能够根据输入的图像搜索出与该图像相关的套图集。本发明的一方面提供一种搜索成套图像的方法，包括:接收第一图像；从图像数据库中搜索与第一图像相似和/或相同的第二图像，其中，数据库存储有从网络收集的图像以及图像所在的网页；从图像数据库获取每个第二图像所在的网页；根据所述网页获取至少一个套图集。可选地，根据所述网页获取至少一个套图集的步骤包括:获取所述网页的至少一级深度的链接指向的第三图像；从第三图像之中选择面积大于预定阈值的第四图像；根据第四图像的网址的构成特征，对第四图像进行分组，以获得至少一个套图集。可选地，获取所述网页的至少一级深度的链接指向的第三图像的步骤包括:获取所述网页中的图像作为第三图像；当所述网页的至少一级深度的链接中存在表示翻页的链接时，获取表示翻页的链接所指向的网页中的图像作为第三图像。可选地，根据所述网页获取至少一个套图集的步骤还包括:选择面积波动率小于预定阈值的套图集。可选地，根据所述网页获取至少一个套图集的步骤还包括:选择图像数量大于预定阈值的套图集。可选地,面积波动率表示为S，
其中，S= (Imax-1min)/lave,
Imax表示套图集中的面积最大的图像的面积，Imin表示套图集中面积最小的图像的面积，Iave表示套图集中的图像的面积的均值。
可选地，所述方法还包括:根据下述因素中的至少一个因素从所述至少一个套图集中选择优选的套图集:关于套图集中的图像的描述文本与第一图像的描述文本之间的相关性、套图集中的图像的数量、套图集中的图像的平均面积、套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、套图集所在站点权威度、套图集中的图像在互联网上的引用数、对套图集中的图像中是否存在人脸的识别结果、在套图集中的图像中识别出的水印的数量。
本发明的另一方面提供一种搜索成套图像的设备，包括:接收单元，接收第一图像；图像搜索单元，从图像数据库中搜索与第一图像相似和/或相同的第二图像，其中，数据库存储有从网络收集的图像以及图像所在的网页；网页识别单元，从图像数据库获取每个第二图像所在的网页；套图集获取单元，根据所述网页获取至少一个套图集。
可选地，套图集获取单元包括:网页图像获取单元，获取所述网页的至少一级深度的链接指向的第三图像；筛选单元，从第三图像之中选择面积大于预定阈值的第四图像；分组单元，根据第四图像的网址的构成特征，对第四图像进行分组，以获得至少一个套图集。
可选地，网页图像获取单元获取所述网页中的图像作为第三图像，其中，当所述网页的至少一级深度的链接中存在表示翻页的链接时，网页图像获取单元获取表示翻页的链接所指向的网页中的图像作为第三图像。
可选地，套图集获取单元还包括:选择单元，选择面积波动率小于预定阈值的套图集。
可选地，选择单元还选择图像数量大于预定阈值的套图集。
可选地,面积波动率表示为S，
其中，S= (Imax-1min)/lave,
Imax表示套图集中的面积最大的图像的面积，Imin表示套图集中面积最小的图像的面积，Iave表示套图集中的图像的面积的均值。
可选地，所述设备还包括:优选单元，根据下述因素中的至少一个因素从所述至少一个套图集中选择优选的套图集:关于套图集中的图像的描述文本与第一图像的描述文本之间的相关性、套图集中的图像的数量、套图集中的图像的平均面积、套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、套图集所在站点权威度、套图集中的图像在互联网上的引用数、对套图集中的图像中是否存在人脸的识别结果、在套图集中的图像中识别出的水印的数量。
本发明的另一方面提供一种在浏览图像时提供成套图像的方法，包括:获取当前正在浏览的图像作为第一图像；基于第一图像上述搜索成套图像的方法，以获取至少一个套图集；提供获取的至少一个套图集。
根据本发明的搜索成套图像的方法和设备，可以根据输入的图像来搜索与输入的图像相关联的成套图像。
此外，当用户在使用图像浏览器或者网络浏览器浏览图像时，图像浏览器或者网络浏览器可以利用本发明的方法/或设备，根据用户当前浏览的图像向用户提供与该图像相关联的成套图像。此外，当用户在某个网站浏览图像时，该网站也可以利用本发明的方法/或设备，根据用户当前浏览的图像向用户提供与该图像相关联的成套图像。
通过下面结合附图进行的详细描述，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中:图1示出根据本发明的示例性实施例的搜索成套图像的设备的框图。图2示出根据本发明的示例性实施例的套图集获取单元的框图。图3示出根据本发明的示例性实施例的搜索成套图像的方法的流程图。图4示出根据本发明的示例性实施例的获取至少一个套图集的步骤的流程图。
具体实施例方式下面，将参照附图详细描述本发明的实施例。图1示出根据本发明的示例性实施例的搜索成套图像的设备的框图。如图1所示，根据本发明的搜索成套图像的设备100包括:接收单元110、图像搜索单元120、网页识别单元130、套图集获取单元140。接收单元110用于获取用于搜索成套图像的图像(以下，称为第一图像)。例如，可以由希望进行搜索成套图像的用户输入第一图像，或者用户当前正在浏览的图像也可以作为第一图像，从而可以通过本发明的搜索成套图像的设备100自动为用户提供与当前浏览的图像相关联的套图集。这里，一套成套图像称为套图集。图像搜索单元120从图像数据库中搜索与第一图像相似和/或相同的图像(以下，称为第二图像)。该数据库可存储有预先从网络(例如，互联网)收集或抓取的图像以及图像所在的网页。图像搜索单元120可从数据库中搜索与第一图像的相似度大于预定阈值的图像来作为第二图像。图像搜索单元120可以通过例如模式识别技术的各种现有技术的图像对比技术
来搜索第二图像。网页识别单元130从图像数据库获取每个第二图像所在的网页。应该理解，由于一个第二图像有可能存在于多个网页中，因此，针对每个第二图像，网页识别单元130可获取至少一个网页。套图集获取单元140根据网页识别单元130获取的网页获取至少一个套图集。下面参照图2详细描述套图集获取单元140。图2示出根据本发明的示例性实施例的套图集获取单元的框图。如图2所示,根据本发明的示例性实施例的套图集获取单元140包括:网页图像获取单元141、筛选单元142、分组单元143、选择单元144。针对每个网页，网页图像获取单元141获取该网页的至少一级深度的链接指向的图像(以下，称为第三图像)。例如，网页的第一级深度的链接表示该网页上的链接，网页的第二级链接表示该网页上的链接指向的网页上的链接，以此类推。优选地，网页图像获取单元141获取所述网页中的图像作为第三图像。此外，当所述网页的至少一级深度的链接中存在表示翻页的链接时，网页图像获取单元141获取表示翻页的链接所指向的网页中的图像作为第三图像。可通过链接的描述文字(例如，上一页、下一页)等来确定该链接是否表示翻页。
筛选单元142从第三图像之中选择面积(B卩，分辨率)大于预定阈值的图像(以下，称为第四图像)。这样，可以滤掉不重要的小图、边角图等。
分组单元143根据第四图像的网址的构成特征，对第四图像进行分组，以获得至少一个套图集。
通常，成套图像的网址的大部分内容是相同的，仅在于编号的不同(例如，网址的最后一个层次分隔符“/”之前的内容相同，而之后的内容不同)，因此可以将网址的构成特征相似的第四图像分为一组，作为一个套图集。
选择单元144从分组单元143获得的套图集之中剔除不是成套图像的套图集，即，伪套图集。
在一个实施例中，选择单元144根据套图集的面积波动率来判断伪套图集。具体地说，选择单元144保留面积波动率小于预定阈值的套图集，而丢弃作为伪套图集的面积波动率大于等于预定阈值的套图集。
面积波动率可被表示为S，
S= (Imax-1min) /lave,
Imax表示套图集中的面积最大的图像的面积，Imin表示套图集中面积最小的图像的面积，Iave表示套图集中的图像的面积的均值。
此外，选择单元144还可进一步结合或单独根据套图集中的图像的数量来判断伪套图集。此时，选择单元144保留图像数量大于预定阈值的套图集，而丢弃作为伪套图集的图像数量小于等于预定阈值的套图集。
在另一实施例中，搜索成套图像的设备100还可包括优选单元(未示出)。优选单元根据套图集获取单元140获取的套图集的图像特征，进一步优选质量高的套图集。具体地说，优选单元根据套图集获取单元140获取的套图集的图像特征确定套图集的质量，根据质量对套图集进行排序，并选择质量高的套图集。应该理解，可选择质量排序最靠前的一个或多个套图集。
优选单元可根据下述图像特征中的至少一个图像特征确定套图集的质量:关于套图集中的图像的描述文本与第一图像的描述文本之间的相关性、套图集中的图像的数量、套图集中的图像的平均面积、套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、套图集所在站点权威度、套图集中的图像在互联网上的引用数、对套图集中的图像中是否存在人脸的识别结果、在套图集中的图像中识别出的水印的数量。
这里，套图集中的图像的数量、套图集中的图像的平均面积、套图集所在站点权威度、套图集中的图像在互联网上的引用数与套图集的质量成正比。
套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、在套图集中的图像中识别出的水印的数量与套图集的质量成反比。
此外，当第一图像中存在人脸时，如果套图集中的图像中存在人脸，则套图集的质量相对高；如果套图集中的图像中不存在人脸，则套图集的质量相对低。当第一图像中不存在人脸时，如果套图集中的图像中存在人脸，则套图集的质量相对低；如果套图集中的图像中不存在人脸，则套图集的质量相对高。图3示出根据本发明的示例性实施例的搜索成套图像的方法的流程图。如图3所示，在步骤301，接收单元110获取用于搜索成套图像的第一图像。在步骤302，从图像数据库中搜索与第一图像相似和/或相同的第二图像。该数据库可存储有预先从网络(例如，互联网)收集或抓取的图像以及图像所在的网页。可从数据库中搜索与第一图像的相似度大于预定阈值的图像来作为第二图像。可以通过例如模式识别技术的各种现有技术的图像对比技术来搜索第二图像。在步骤303，从图像数据库获取每个第二图像所在的网页。应该理解，由于一个第二图像有可能存在于多个网页中，因此，针对每个第二图像，可获取至少一个网页。在步骤304，根据在步骤303获取的网页获取至少一个套图集。下面参照图4详细描述获取至少一个套图集的步骤。图4示出根据本发明的示例性实施例的获取至少一个套图集的步骤的流程图。如图4所示，在步骤401，针对每个网页，获取该网页的至少一级深度的链接指向的第三图像。例如，网页的第一级深度的链接表示该网页上的链接，网页的第二级链接表示该网页上的链接指向的网页上的链接，以此类推。优选地，获取所述网页中的图像作为第三图像。此外，当所述网页的至少一级深度的链接中存在表示翻页的链接时，获取表示翻页的链接所指向的网页中的图像作为第三图像。可通过链接的描述文字(例如，上一页、下一页)等来确定该链接是否表示翻页。在步骤402，从第三图像之中选择面积(S卩，分辨率)大于预定阈值的图像(以下，称为第四图像)。这样，可以滤掉不重要的小图、边角图等。在步骤403，根据第四图像的网址的构成特征，对第四图像进行分组，以获得至少
一个套图集。通常，成套图像的网址的大部分内容是相同的，仅在于编号的不同(例如，网址的最后一个层次分隔符“/”之前的内容相同，而之后的内容不同)，因此可以将网址的构成特征相似的第四图像分为一组，作为一个套图集。在步骤404，从在步骤403获得的套图集之中剔除伪套图集。在一个实施例中，根据套图集的面积波动率来判断伪套图集。具体地说，保留面积波动率小于预定阈值的套图集，而丢弃作为伪套图集的面积波动率大于等于预定阈值的套图集。此外，还可进一步结合或单独根据套图集中的图像的数量来判断伪套图集。此时，保留图像数量大于预定阈值的套图集，而丢弃作为伪套图集的图像数量小于等于预定阈值的套图集。在另一实施例中，图3所示的方法还可包括根据图像特征确定在步骤304获取的套图集的质量，对套图集的质量进行排序，并进一步优选质量高的套图集。可选择质量排序最靠前的一个或多个套图集。可根据下述特性特征中的至少一个确定套图集的质量:关于套图集中的图像的描述文本与第一图像的描述文本之间的相关性、套图集中的图像的数量、套图集中的图像的平均面积、套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、套图集所在站点权威度、套图集中的图像在互联网上的引用数、对套图集中的图像中是否存在人脸的识别结果、在套图集中的图像中识别出的水印的数量。这里，套图集中的图像的数量、套图集中的图像的平均面积、套图集所在站点权威度、套图集中的图像在互联网上的引用数与套图集的质量成正比。套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、在套图集中的图像中识别出的水印的数量与套图集的质量成反比。此外，当第一图像中存在人脸时，如果套图集中的图像中存在人脸，则套图集的质量相对高；如果套图集中的图像中不存在人脸，则套图集的质量相对低。当第一图像中不存在人脸时，如果套图集中的图像中存在人脸，则套图集的质量相对低；如果套图集中的图像中不存在人脸，则套图集的质量相对高。此外，根据本发明的示例性实施例的搜索成套图像的方法可以被实现为计算机程序。此外，根据本发明的示例性实施例的搜索成套图像的设备中的各个单元可被实现硬件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。根据本发明的搜索成套图像的方法和设备，可以根据输入的图像来搜索与输入的图像相关联的成套图像。此外，当用户在使用图像浏览器或者网络浏览器浏览图像时，图像浏览器或者网络浏览器可以利用本发明的方法/或设备，根据用户当前浏览的图像向用户提供与该图像相关联的成套图像。此外，当用户在某个网站浏览图像时，该网站也可以利用本发明的方法/或设备，根据用户当前浏览的图像向用户提供与该图像相关联的成套图像。尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。
权利要求
1.一种搜索成套图像的方法，包括: 接收第一图像； 从图像数据库中搜索与第一图像相似和/或相同的第二图像，其中，数据库存储有从网络收集的图像以及图像所在的网页； 从图像数据库获取每个第二图像所在的网页； 根据所述网页获取至少一个套图集。
2.根据权利要求1所述的方法，其中，根据所述网页获取至少一个套图集的步骤包括: 获取所述网页的至少一级深度的链接指向的第三图像； 从第三图像之中选择面积大于预定阈值的第四图像； 根据第四图像的网址的构成特征，对第四图像进行分组，以获得至少一个套图集。
3.根据权利要求2所述的方法，其中，获取所述网页的至少一级深度的链接指向的第三图像的步骤包括: 获取所述网页中的图像作为第三图像； 当所述网页的至少一级深度的链接中存在表示翻页的链接时，获取表示翻页的链接所指向的网页中的图像作为第三图像。
4.根据权利要求2所述的方法，其中，根据所述网页获取至少一个套图集的步骤还包括: 选择面积波动率小于预定阈值的套图集。
5.根据权利要求4所述的方法，根据所述网页获取至少一个套图集的步骤还包括:选择图像数量大于预定阈值的套图集。
6.根据权利要求4所述的方法，其中，面积波动率表示为S， 其中，S = (Imax-1min)/lave, Imax表示套图集中的面积最大的图像的面积，Imin表示套图集中面积最小的图像的面积，Iave表示套图集中的图像的面积的均值。
7.根据权利要求1所述的方法，还包括:根据下述因素中的至少一个因素从所述至少一个套图集中选择优选的套图集:关于套图集中的图像的描述文本与第一图像的描述文本之间的相关性、套图集中的图像的数量、套图集中的图像的平均面积、套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、套图集所在站点权威度、套图集中的图像在互联网上的引用数、对套图集中的图像中是否存在人脸的识别结果、在套图集中的图像中识别出的水印的数量。
8.一种搜索成套图像的设备，包括: 接收单元，接收第一图像； 图像搜索单元，从图像数据库中搜索与第一图像相似和/或相同的第二图像，其中，数据库存储有从网络收集的图像以及图像所在的网页； 网页识别单元，从图像数据库获取每个第二图像所在的网页； 套图集获取单元，根据所述网页获取至少一个套图集。
9.根据权利要求8所述的设置，其中，套图集获取单元包括: 网页图像获取单元，获取所述网页的至少一级深度的链接指向的第三图像； 筛选单元，从 第三图像之中选择面积大于预定阈值的第四图像；分组单元，根据第四图像的网址的构成特征，对第四图像进行分组，以获得至少一个套图集。
10.根据权利要求9所述的设备，其中，网页图像获取单元获取所述网页中的图像作为第二图像， 其中，当所述网页的至少一级深度的链接中存在表示翻页的链接时，网页图像获取单元获取表示翻页的链接所指向的网页中的图像作为第三图像。
11.根据权利要求9所述的设备，其中，套图集获取单元还包括: 选择单元，选择 面积波动率小于预定阈值的套图集。
12.根据权利要求11所述的设备，其中，选择单元还选择图像数量大于预定阈值的套图集。
13.根据权利要求11所述的设备，其中，面积波动率表示为S， 其中，S = (Imax-1min)/lave, Imax表示套图集中的面积最大的图像的面积，Imin表示套图集中面积最小的图像的面积，Iave表示套图集中的图像的面积的均值。
14.根据权利要求9所述的设备，还包括，优选单元，根据下述因素中的至少一个因素从所述至少一个套图集中选择优选的套图集:关于套图集中的图像的描述文本与第一图像的描述文本之间的相关性、套图集中的图像的数量、套图集中的图像的平均面积、套图集中的图像的面积波动率、套图集中存在的不同的图像长宽比的数量、套图集所在站点权威度、套图集中的图像在互联网上的引用数、对套图集中的图像中是否存在人脸的识别结果、在套图集中的图像中识别出的水印的数量。
15.一种在浏览图像时提供成套图像的方法，包括: 获取当前正在浏览的图像作为第一图像； 基于第一图像执行权利要求1所述的搜索成套图像的方法，以获取至少一个套图集； 提供获取的至少一个套图集。
全文摘要
一种搜索成套图像的方法和设备。所述方法，包括接收第一图像；从图像数据库中搜索与第一图像相似和/或相同的第二图像，其中，数据库存储有从网络收集的图像以及图像所在的网页；从图像数据库获取每个第二图像所在的网页；根据所述网页获取至少一个套图集。根据本发明，可以根据输入的图像搜索到关联的成套图像。
文档编号G06F17/30GK103177100SQ20131009056
公开日2013年6月26日 申请日期2013年3月20日 优先权日2013年3月20日
发明者丁锐, 付晴川, 郭荣锋, 刘婷婷, 陶哲 申请人:百度在线网络技术(北京)有限公司