一种生活服务领域垂直搜索引擎的制作方法
【专利摘要】本发明涉及一种生活服务领域的垂直搜索引擎，包括以下步骤：使用专业的网络蜘蛛采集信息；信息抽取；索引建立；信息检索。本发明运用网络蜘蛛技术，遍历生活服务领域的门户网站，采集和保存与主题相关的网页，并对这些网页进行链接分析与提取。本发明使用DOM主题块提取和正则表达式提取相结合的方式来进行结构化信息的抽取。通过对数据库中结构化信息建立索引，为用户提供信息的全文检索服务，根据不同字段设定权值，使检索结果合理排序。最后根据生活服务的特点，数据展现不仅基于互联网，还需要通过手机WAP随时随地提供搜索服务。
【专利说明】一种生活服务领域垂直搜索引擎
【技术领域】
[0001]本发明涉及搜索引擎技术，特别是一种针对生活服务领域的垂直搜索引擎。
【背景技术】
[0002]随着互联网的快速发展，网络信息迅速增加，如何快速准确的从海量的网络数据中检索到所需信息是亟待解决的问题，搜索引擎是我们最常使用的从网络上获取信息的一种工具，然而通用搜索引擎多是采用关键字的方式进行查询的，返回结果更倾向于知识成果，他的信息含量大、查询不够准确、深度不够。因此，垂直搜索引擎应运而生。它的检索范围不再是上百甚至上千万的相关网页，而是专门针对某个特定行业的领域知识进行搜索，是搜索引擎的细分和延伸。虽然垂直搜索引擎也提供关键字进行搜索，但是这些关键字通常被放到行业知识的上下文中，返回的结果中消息和条目居多。与通用搜索引擎不同，垂直搜索引擎只按照特定主题采集网页信息，并把非结构化的网页信息转化和提取为结构化数据，以结构化数据为最小搜索单位。然后将这些数据存储到数据库，最后分词、索引再以搜索的方式满足用户的请求。
[0003]垂直搜索引擎根据专业领域的不同，提供给用户相应的信息。面向生活服务领域的搜索引擎是垂直搜索弓丨擎中最重要的应用之一。人们在日常生活中经常接触到的餐饮、娱乐、购物和房产等都可以通过该搜索引擎快速准确地检索到。人们不必在大量的信息中筛选对自己有用的信息，生活服务领域的垂直搜索引擎为人们的衣食住行提供大量有价值的信息，可以极大方便人们的日常生活。
[0004]与其它搜索引擎相比，生活服务领域的垂直搜索引擎需要专业的网络蜘蛛，遍历生活服务领域的门户网站，采集和保存与主题相关的网页，并对这些网页进行链接分析与提取；能精确的将网页进行结构化数据提取然后保存到数据库；根据结构化字段域定义权重、分词并建立索引；还需要通过呢8和歡？两种数据展现方式满足用户随时随地的搜索请求。
【发明内容】
[0005]为更好的满足用户的要求，本发明要设计并实现一种针对生活服务领域的垂直搜索引擎，目前该搜索引擎主要是面向餐饮、娱乐和黄页三个领域。
[0006]为了实现上述目的，本发明的技术方案如下:生活服务领域的垂直搜索引擎，包括以下步骤:
[0007]八、使用专业网络蜘蛛采集信息
[0008]专业网络蜘蛛选择某一领域比较权威的几十个门户网站作为初始种子11？1，并提取主题特征。对于采集到的网页，分析并尽可能多地提取出其中的链接，插入队列中；还要分析网页文本信息，提取其中的特征项，调用相关性分析模块计算网页与主题相关度，计算结果符合条件的网页存储到网页库中。
[0009]主题相关性分析采用向量空间模型的方法。其基本思想是把该领域主题的词库(T1J2,……,Tn)看作一个η维坐标系，对于任意词Ti,如果在网页中包含该词，则根据重要程度赋予一定的权值Wi，否则Wi为O。因此，每个网页都可以转化为一组词条矢量(W1, W2,……，Wn)。在系统中Wi赋值方法使用TF-1DF模型，词条Tj在网页Di中的TF-1DF值由以下公式定义:
[0010]
【权利要求】
1.一种生活服务领域的垂直搜索引擎，其特征在于:包括以下步骤: A、使用专业网络蜘蛛采集信息 专业网络蜘蛛选择某一领域比较权威的几十个门户网站作为初始种子URL，并提取主题特征；对于采集到的网页，分析并尽可能多地提取出其中的链接，插入URL队列中；还要分析网页文本信息，提取其中的特征项，调用相关性分析模块计算网页与主题相关度，计算结果符合条件的网页存储到网页库中； 主题相关性分析采用向量空间模型的方法；其基本思想是把该领域主题的词库(T1jT2,……,Tn)看作一个η维坐标系，对于任意词Ti,如果在网页中包含该词，则根据重要程度赋予一定的权值Wi,否则Wi为O;因此，每个网页都可以转化为一组词条矢量(W1, W2,……，Wn);在系统中Wi赋值方法使用TF-1DF模型，词条Tj在网页Di中的TF-1DF值由以下公式定义:
【文档编号】G06F17/30GK103838732SQ201210475513
【公开日】2014年6月4日 申请日期:2012年11月21日 优先权日:2012年11月21日
【发明者】梅昱婷, 刘博
申请人:大连灵动科技发展有限公司