图片搜索设备、方法及系统的制作方法
【专利摘要】本发明公开了一种图片搜索设备、方法及系统。其中，图片搜索设备包括：接收用户输入搜索词的信息接收器；确定搜索词所属主题的主题转化器；计算图片与搜索词相似度的图片相似度计算器；以及显示确定出的图片的显示器。采用本发明能够使搜索结果更加准确，提高用户体验。
【专利说明】图片搜索设备、方法及系统
【技术领域】
[0001]本发明涉及互联网领域，具体涉及一种建立图片主题库的设备、一种图片搜索设备、一种建立图片主题库的方法、一种图片搜索方法以及一种图片搜索系统。
【背景技术】
[0002]图片搜索是通过搜索程序，向用户提供互联网上相关的图片资料的服务。从所使用的技术上来分类，可分为基于上下文文本的搜索和基于图片内容的搜索。基于上下文文本的搜索是通过图片在网页中的属性(以下简称alt)等标签信息来建立索引，从而进行搜索。基于图片内容的搜索是提取图片本身的视觉特征，来匹配搜索请求。视觉特征又可分为通用的视觉特征和领域相关的视觉特征。
[0003]基于图片内容的搜索方法是传统的图片搜索方法中常用的一种方法。这种方法分析每张图片的内容，提取图片自身的特征，如颜色、纹理、形状等等。然后以图片自身的这些特征作为索引，建立特征到图片的数据库。当用户搜索图片时，将用户输入的搜索词与数据库中的特征索引进行相似度计算，然后按相似度从高到低的顺序展现对应图片。
[0004]但是这种方法有很大的缺陷。首先，这种方法只能进行精确的特征搜索，不能进行模糊的搜索。但实际的产品体验上用户输入的搜索词在大多数情况下并不能做到十分精确。例如用户输入“圆形”，而实际数据库中的是“椭圆形”。这样由于搜索条件太严格，用户输入的搜索词无法与数据库中的特征索引达到比较大的相似度，导致无法搜索到目的图片。其次由于数据库中的特征索引是明确的，很难穷举所有同义索引，也就是无法建立数据库把所有同义特征都作为该图片的索引，导致对于同义词特征的搜索会有遗漏。例如用户输入“土豆”，而实际数据库中的是“马铃薯”。
【发明内容】
[0005]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的建立图片主题库的设备和图片搜索设备以及一种图片搜索系统和相应的建立图片主题库的方法和图片搜索的方法。
[0006]依据本发明的一个方面，提供了一种建立图片主题库的设备，包括:
[0007]图片源库，配置为存储至少一张图片以及该图片的上下文文本；
[0008]图形信息获取器，配置为从所述图片源库中读取图片，对每张图片进行图形特征分析，获取其图形特征信息，并将该图形特征信息转化为图形特征文本；
[0009]文本组合器，配置为对于每张图片，将获取的图形特征文本和该图片的上下文文本相组合以生成文本描述，每个文本描述包括多个文本描述词；
[0010]主题确定器，配置为根据各图片的文本描述建立至少一个主题，生成图片主题库，其中，每个主题库中包括多个与本主题相关的文本描述词，并且确定每个文本描述词所属的主题以及属于该主题的概率，以及与每个图片的文本描述相关联的主题以及与该主题相关联的概率。[0011]可选地，所述主题确定器还配置为使用LDA算法或LSA算法建立各主题。
[0012]可选地，所述LSA算法为PLSA算法。
[0013]可选地，所述文本组合器还配置为:对任意图片而言，罗列该图片的图形特征文本以及该图片的上下文文本；对罗列结果进行排重，将排重后的图形特征文本以及上下文文本要组合，生成图片的文本描述。
[0014]可选地,上下文文本为html语句。
[0015]根据本发明的另一个方面，提供了一种图片搜索设备，包括:
[0016]信息接收器，配置为接收用户输入的搜索词；
[0017]主题转化器，配置为从信息接收器获取所述搜索词，并根据主题库来确定该搜索词所属主题及其概率分布，其中，所述主题库中存储有多个主题以及每个主题的概率分布情况，每个主题包括多个与本主题相关的文本描述词；
[0018]图片相似度计算器，配置为根据类似的概率分布来确定与该搜索词相似程度超过一定比例的图片。
[0019]可选地，所述图片搜索设备还包括:显示器，配置为显示所述图片相似度计算器确定出的图片。
[0020]可选地，所述显示器还配置为根据相似程度从高到低显示所述图片相似度计算器确定出的图片。
[0021]根据本发明的另一个方面，提供了一种图片搜索系统，包括所述建立图片主题库的设备以及所述图片搜索设备。
[0022]根据本发明的另一个方面，提供了一种建立图片主题库的方法，包括:
[0023]获取多张图片；
[0024]分别对每张图片进行处理，获取其图形特征信息和上下文文本；
[0025]将图形特征信息转化为图形特征文本，结合该图片的上下文文本以及转化生成的图形特征文本生成该图片的文本描述；
[0026]根据各图片的文本描述建立至少一个主题，并确定每个主题的分布情况，生成图片主题库，其中，每个主题中包括多个与本主题相关的文本描述词，并且确定每个文本描述词所属的主题以及属于该主题的概率，以及与每个图片的文本描述相关联的主题以及与该主题相关联的概率。
[0027]可选地，所述根据各图片的文本描述建立至少一个主题，包括:使用概率潜语义分析PLSA算法建立各主题。
[0028]可选地，所述根据各图片的文本描述建立至少一个主题，包括:使用LDA算法或LSA算法建立各主题
[0029]可选地，图片的文本描述的生成方式如下，包括:
[0030]对每张图片而言，罗列该图片的图形特征文本以及该图片的上下文文本；
[0031]对罗列结果进行排重，将排重后的图形特征文本以及上下文文本要组合，生成所述图片的文本描述。
[0032]可选地，所述上下文文本为html语句。
[0033]根据本发明的另一方面，提供了一种图片搜索方法，包括:
[0034]接收用户输入的搜索词；[0035]根据主题库确定该搜索词所属主题及其概率分布，其中，所述主题库中存储有多个主题以及每个主题的概率分布情况，每个主题包括多个与本主题相关的文本描述词；
[0036]根据类似的概率分布来确定与该搜索词的相似程度超过一定比例的图片。
[0037]可选地，所述主题库的生成方法如下:
[0038]获取多张图片；
[0039]分别对每张图片进行处理，获取其图形特征信息和上下文文本；
[0040]将图形特征信息转化为图形特征文本，结合该图片的上下文文本以及转化生成的图形特征文本生成该图片的文本描述；
[0041]根据各图片的文本描述建立至少一个主题，并确定每个主题的分布情况，生成图片主题库，其中，每个主题中包括多个与本主题相关的文本描述词，并且确定每个文本描述词所属的主题以及属于该主题的概率，以及与每个图片的文本描述相关联的主题以及与该主题相关联的概率。
[0042]可选地，所述根据类似的概率分布来确定与该搜索词的相似程度超过一定比例的图片之后，还包括:根据相似程度从高到低显示确定出的图片。
[0043]在本发明实施例中，综合利用图片的上下文文本以及图形特征文本进行图片搜索。相对于现有技术的基于图片内容的搜索，本发明实施例所提供的两者结合的搜索方式，能够解决单独利用图形特征文本进行图片搜索导致的只能针对明确的图形特征进行精确的特征搜索，不能模糊搜索的问题，改善精确搜索引起的对于同义词特征的搜索存在遗漏的问题，达到使搜索结果更加准确，提高用户体验的有益效果。
[0044]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0045]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0046]图1示出了根据本发明一个实施例的建立图片主题库的设备的结构示意图；
[0047]图2示出了根据本发明一个实施例的采用PLSA算法得出的主题-词概率矩阵的部分示意图；
[0048]图3示出了根据本发明一个实施例的图片搜索设备的结构示意图；
[0049]图4示出了根据本发明一个实施例的图片搜索系统的结构示意图；
[0050]图5示出了根据本发明一个实施例的建立图片主题库的方法的处理流程图；以及
[0051]图6示出了根据本发明一个实施例的图片搜索方法的处理流程图。
【具体实施方式】
[0052]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0053]相关技术中提及，基于图片内容的搜索方法是传统的图片搜索方法中常用的一种方法，该方法以图片自身的这些特征建立特征到图片的数据库。但是这种方法只能进行精确的特征搜索，不能进行模糊的搜索。由于搜索条件太严格，使用基于图片内容的搜索方法导致用户输入的搜索词无法与数据库中的特征索引达到比较大的相似度，导致无法搜索到目的图片。
[0054]基于现有技术存在的问题，本发明实施例实现了一种同时使用图片上下文文本以及图片自身内容来描述图片的搜索设备、系统及方法，充分利用图片上下文文本的信息以及图片自身的重要信息提高图片搜索质量。另外，本发明实施例能够解决模糊搜索和同义词搜索的问题，改善由于搜索条件太严格而导致的用户无法找到目的图片的问题。
[0055]基于上述发明构思，本发明实施例提供了一种建立图片主题库的设备以及一种图片搜索设备，图1示出了根据本发明一个实施例的建立图片主题库的设备的结构示意图。
[0056]现介绍图片搜索系统中建立图片主题库的设备100的各器件或组成的功能以及各部分间的连接关系。如图1所示，首先，建立图片主题库的设备100至少包括如下各部件:图片库源110、图形信息获取器120、文本组合器130以及主题确定器140。
[0057]具体地，建立图片主题库的设备100中，图片库源110用来存储至少一张图片并且存储每张图片对应的上下文文本。需要注意的是，本发明实施例中采用的上下文文本可以为超文本标记语言(Hypertext Markup Language,以下简称html)语句。图形信息获取器120与图片库源110耦合，首先读取图片库源110中所存储的图片，随后对图片库源110中存储的所有图片逐一进行图形特征分析。通过图形特征分析，图形信息获取器120可以获取图片库源110中每张图片的图形特征信息。图形特征信息获取结束之后，图形信息获取器120可以将这些图片的图形特征信息转化为图形特征文本。
[0058]对图片库源110中存储的任意图片，通过图形信息获取器120可以得到其图形特征信息以及相应的图形特征文本。图形信息获取器120 —侧与图片库源耦合，另一侧与文本组合器130耦合。文本组合器130中至少包括:罗列单元131、排重单元132以及生成单元133。这三个单元在文本组合器130中依次耦合。具体地，由于图形信息获取器120从图片库源110处获取的图片的数量应该是至少一张，通常为多张甚至几十张，甚至更多，考虑到每张图片与所属主题的相似程度不一样，文本组合器130中的罗列单元131罗列对从图形信息获取器120获取到的图形特征文本以及相对应的图片的上下文文本进行罗列。进而，为简化罗列结果，可以由文本组合器130中的排重单元132获取罗列单元131的罗列结果，并对其进行排重，以便将罗列结果中重复的部分进行排除。排重后，文本组合器130中的生成单元133将图形特征文本以及上下文文本组合，生成每张图片对应的文本描述。其中，生成的每个文本描述包括多个文本描述词。
[0059]由上述分析可知，图片库源110中的任意图片经过图形获取器120以及文本组合器130的操作均可以得到其对应的文本描述。在另一侧，文本组合器130可以与主题确定器140耦合。通过文本组合器130能够获取的针对图片库源110中每张图片的文本描述，根据上述文本描述，主题确定器140可以使用若干算法建立主题。需要注意的是，本发明实施例指出的算法是指适用于主题建立的任意算法或策略或规则，并不限于本文提供的任意算法，下文即将提到的若干算法仅仅是其中几个算法的举例。
[0060]本发明实施例中优选线性判别式分析(Linear Discriminant Analysis,以下简称LDA)算法或者链路状态广播(Link-State Advertisement,以下简称LSA)算法建立主题，生成图片主题库。其中，每个主题中包括多个与本主题相关的文本描述词。主题确定器140能够确定每个文本描述词所属的主题以及属于该主题的概率，并且，主题确定器140可以确定每个图片的文本描述所属的主题以及与该主题相关联的概率。
[0061]需要注意的是，LDA方法的核心是使用狄利克雷(Dirichlet)分布，这种方法的主要思路是首先选定一个主题向量，确定每个主题被选择的概率，然后在生成每个单词的时候，从主题分布向量中选择一个主题，按这个被选择出的主题的单词概率分布生成一个单
ο
[0062]主题确定器140建立主题所优选的另一种算法，LSA算法，其使用奇异值分解(Singular Value Decomposition,以下简称SVD)的数学手段,通过这样的分解手段,可以将文档和词表示成为矩阵的形式。优选地，本发明实施例中所使用的LSA算法为概率潜语义分析(Probabilistic Latent Semantic Analysis,以下简称 PLSA)算法。
[0063]可以看到，在图片搜索的过程中，很多时候需要探究隐藏在字、词背后的含义，简单的字面匹配由于广泛存在的同义词和一词多义现象会使得搜索结果偏离预期，即在判断文档相关性的时候需要考虑到文档的语义，而语义挖掘的利器是主题模型。在主题模型中，主题表示一个概念、一个方面，表现为一系列相关的单词，是这些单词的条件概率。形象来说，主题就是一个桶，里面装了出现频率较高的单词，这些单词与这个主题有很强的相关性。
[0064]PLSA是一种主题模型算法，该算法采用聚类的思想，最终生成很多类。每个类可以是一个有着特定数字编号的主题，例如，某个类包含如下词“电影、导演、首映、片酬、票房”。每个类所包含的多个词在较高的出现频率中会伴随出现，在本算法中可以得到其属于这个类的概率，并且每个词会在多个类中以不同的`概率出现。此处的出现频率较高并不存在一个限度，而是根据实际词数而定。例如，文本中共有20个词，其中有两个词出现在五次以上，其余词均出现在三次以下，则可以认为出现在五次以上的两个词为出现频率较高的词。
[0065]采用PLSA算法，相应的计算结果是生成两个矩阵，分别是文档-主题概率分布矩阵及主题-词概率矩阵。该算法使用统计的方法建立“文档-潜在语义-词语”三者之间的概率分布关系，并利用这种概率进行语义分析，其目的是要从文本中发现隐含的主题。例如，当计算“苹果、手机、深色”主题的概率分布时，使用PLSA算法，代入主题-词概率矩阵中计算，即可得到“苹果、手机、深色”的主题概率分布。
[0066]每个主题其实是多个词的一个聚类结果，同一个类里面的词，有的是同义词、有的是近义词、有的是相关词。例如某个主题里可能包含“减肥、瘦身、苗条、去脂肪、体重”等词，那么“减肥”和“瘦身”就是同义词，“减肥”和“苗条”是近义词，“减肥”和“体重”是相关词。而在实际应用中，通常并不区分同义词和近义词，而是把每个词所在的主题里的所有词都作为搜索词来进行搜索，因此搜索结果既包含同义词结果，也包含近义词结果，以及相关词结果。
[0067]PLSA算法具有处理一词多义和一义多词的能力，可以从文本中发现隐含主题，能够探究到隐藏在字、词背后的含义。通过实施PLSA算法，将所输入的文本更准确地分为不同的类，所得到的每个主题中包含的多个词与该主题有很强的相关性，可以提高匹配的准确率。
[0068]现有技术中提过图片搜索从所使用的技术上来分类，可以分为两类，一类是基于图片内容的搜索，另一类是基于上下文文本的搜索。前者则建立在对所描述图像内容的某些先验知识(或假设)的基础上，与具体的应用紧密有关，例如人的面部特征或指纹特征等。后者用于描述所有图像共有的特征，与图像的具体类型或内容无关，主要包括颜色、纹理和形状等。
[0069]现对基于上下文文本的图片搜索方法进行分析。这种方法通过分析包含图片代码段的描述来建立数据库，然后计算用户输入的搜索词语数据库中文本索引的相似度来展现图片。基于上下文文本的图片搜索方法虽然能够在一定程度上解决图片搜索问题，但这个方法分析每个网页的html代码中包含图片的代码段的描述信息作为图片的描述文件，这种做法无法保证可以对图片进行全面准确的描述。
[0070]基于上下文文本的图片搜索方法中判断两个文档相似性的方法是通过查看两个文档共同出现的单词多少，如词频-逆向文件频率(Term Frequency -1nverse DocumentFreqUency，TF-1DF)等，这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的单词很少甚至没有，但是这两个文档是相似的，这就造成了传统的图片搜索方法不能准确全面地描述图片，也就无法满足用户的图片搜索需求。
[0071]而采用本发明实施例提供的图片搜索设备，结合图形特征文本描述图片内容，有效利用图形特征文本，解决了单独利用图片上下文文本对图片进行描述，不能准确描述图片内容，导致搜索结果质量不高的缺陷，可以更加准确地对图片进行描述，提高图片搜索质量。
[0072]为将本发明实施例提供的采用了 PLSA算法的建立图片主题库的设备的应用过程以及相应带来的有益效果阐述地更清楚更明白，现以具体实施例对其进行说明。
[0073]实施例一
[0074]在本例中，有6篇文档，每篇文档只包含几个词。在实际应用中，文档数目不限，每篇文档包含的词数量同样没有限制。
[0075]使用PLSA算法，可以从输入的文档中计算出最终的文档-主题矩阵和主题-词矩阵。如上所述，6篇文档为:
[0076]文档O:电脑苹果苹果
[0077]文档1:电脑电脑软件
[0078]文档2:苹果睡过桔子
[0079]文档3:苹果桔子香蕉
[0080]文档4:胶片胶片
[0081]文档5:胶片电影
[0082]可以看到，上述6篇文档中一共有8个不同的词。若将主题数定为3，则使用PLSA计算出来的主题-词概率分布矩阵如表一所示:
[0083]表一
[0084]
【权利要求】
1.一种建立图片主题库的设备，包括: 图片源库，配置为存储至少一张图片以及该图片的上下文文本； 图形信息获取器，配置为从所述图片源库中读取图片，对每张图片进行图形特征分析，获取其图形特征信息，并将该图形特征信息转化为图形特征文本； 文本组合器，配置为对于每张图片，将获取的图形特征文本和该图片的上下文文本相组合以生成文本描述，每个文本描述包括多个文本描述词； 主题确定器，配置为根据各图片的文本描 述建立至少一个主题，生成图片主题库，其中，每个主题中包括多个与本主题相关的文本描述词，并且确定每个文本描述词所属的主题以及属于该主题的概率，以及与每个图片的文本描述相关联的主题以及与该主题相关联的概率。
2.根据权利要求1所述的设备，其中，所述主题确定器还配置为使用LDA算法或LSA算法建立各主题。
3.根据权利要求2所述的设备，其中，所述LSA算法为概率潜语义分析PLSA算法。
4.根据权利要求1至3任一项所述的设备，其中，所述文本组合器还配置为: 对任意图片而言， 罗列该图片的图形特征文本以及该图片的上下文文本； 对罗列结果进行排重，将排重后的图形特征文本以及上下文文本要组合，生成所述图片的文本描述。
5.根据权利要求1至4任一项所述的设备，其中，所述上下文文本为html语句。
6.一种图片搜索设备，包括: 信息接收器，配置为接收用户输入的搜索词； 主题转化器，配置为从所述信息接收器获取所述搜索词，并根据主题库来确定该搜索词所属主题及其概率分布，其中，所述主题库中存储有多个主题以及每个主题的概率分布情况，每个主题包括多个与本主题相关的文本描述词； 图片相似度计算器，配置为根据类似的概率分布来确定与该搜索词的相似程度超过一定比例的图片。
7.根据权利要求6所述的设备，其中，还包括: 显示器，配置为显示所述图片相似度计算器确定出的图片。
8.一种图片搜索系统，包括权利要求1至5任一项所述的建立图片主题库的设备，以及权利要求6至7任一项所述的图片搜索设备。
9.一种建立图片主题库的方法，包括: 获取多张图片； 分别对每张图片进行处理，获取其图形特征信息和上下文文本； 将图形特征信息转化为图形特征文本，结合该图片的上下文文本以及转化生成的图形特征文本生成该图片的文本描述； 根据各图片的文本描述建立至少一个主题，并确定每个主题的分布情况，生成图片主题库，其中，每个主题中包括多个与本主题相关的文本描述词，并且确定每个文本描述词所属的主题以及属于该主题的概率，以及与每个图片的文本描述相关联的主题以及与该主题相关联的概率。
10.一种图片搜索方法，包括: 接收用户输入的搜索词； 根据主题库确定该搜索词所属主题及其概率分布，其中，所述主题库中存储有多个主题以及每个主题的概率分布情况，每个主题包括多个与本主题相关的文本描述词； 根据类似的概率分布来确定与该搜索词的相似程度超过一定比例的图片。
【文档编号】G06F17/30GK103559220SQ201310492161
【公开日】2014年2月5日 申请日期:2013年10月18日 优先权日:2013年10月18日
【发明者】何锐邦, 唐会军 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司