一种分布式企业信息垂直搜索方法
【技术领域】
[0001]本发明涉及搜索引擎技术领域，特别涉及一种分布式企业信息垂直搜索方法。
【背景技术】
[0002]垂直搜索引擎是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”，且具有行业色彩，相比较通用搜索引擎的海量信息无序化，垂直搜索引擎则显得更加专注、具体和深入。
[0003]搜索引擎的出现，整合了众多网站信息，恰恰起到了信息导航的作用。通用搜索引擎就如同互联网第一次出现的门户网站一样，大量的信息整合导航，极快的查询，将所有网站上的信息整理在一个平台上供网民使用，于是信息的价值第一次普遍的被众多商家认可，迅速成为互联网中最有价值的领域。互联网的低谷由此演变为第二次高峰。大家熟知的几个搜索引擎是通用搜索引擎现如今的杰出代表，他们为互联网的发展做出了重要的贡献。然而，搜索引擎行业也不是一家公司就可以独撑天下的，如今的搜索引擎大战如同门户网站初期的竞争一样激烈。相信，通用搜索引擎在经历过一段时间的角逐后，也将会继续维持几大服务商各自分控一部分市场的局面。
[0004]全球企业都对于大数据充满了积极的热情，以后的大数据将变得无处不在。但是从大数据的应用现状来看，无论是是技术、产品还是应用还有待提升。随着Web的快速增长，各种网站也越来越多，通用的传统搜索引擎技术也呈现出了严重局限性，用户如何才能快速，准确、全面的找到与企业相关的准确、全面的信息已经成为一个难题。
[0005]针对通用搜索引擎的信息量大、查询不准确、深度不够等现有问题，本发明提出了一种分布式企业信息垂直搜索方法，旨在对企业信息进行采集整理，为税务领域提供有特定价值的信息和相关服务。
【发明内容】
[0006]本发明为了弥补现有技术的缺陷，提供了一种能够深入、准确查询的分布式企业
?目息垂直搜索方法。
[0007]本发明是通过如下技术方案实现的:
一种分布式企业信息垂直搜索方法，其特征在于:包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；最后，所述用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。
[0008]以税务部门提供的相关纳税人为关键词，所述数据采集模块使用网络爬虫到各搜索引擎百科、招聘网、企业官网、新闻网站、股市信息网站等可能包含与纳税人相关信息的网站爬取相关网页，并将网页源文件保存到hbase数据库中。
[0009]所述数据采集模块还为每个数据来源网站建立适用的下载更新策略，启动定时更新任务，能够保证网页信息的实时性。hbase分布式数据库可以保证各种类型数据无损失保存，并可根据需求进行横向扩展。
[0010]所述数据索引模块，对所述网页源文件进行去重、正文提取、分类、解析等清洗、处理工作，并将处理结果信息存储hbase数据库中，同时还要为网页数据及相关类别、行业信息建立全文索引文件。
[0011]所述数据索引模块网页去重、分类采用自然语言处理中的文本相似性算法进行处理，正文提取采用基于DOM树和文字-链接比以及各种过滤器实现，解析处理采用隐马尔科夫实体词识别等机器学习技术实现。
[0012]所述数据索引模块采用Solr Cloud建立分布式索引服务体系，使用solr的客户端开发API对网页源数据进行读取、格式化并提交给索引服务器建立索引文件。Solr Cloud具有集中式的配置信息、自动容错、近实时搜索、查询时自动负载均衡、通过MR批量创建索引等优势。
[0013]所述综合搜索模块查询后返回符合条件的所有网页，并按相关企业，新闻动态，股市行情，相关政策法规4个类别进行分类显示标题，标题链接具体内容。
[0014]所述企业搜索模块查询后返回符合条件的企业，按照所属行业，从业人数，区域进行搜索结果过滤，并按照综合排名，搜索量，开业日期，关注量进行排序。进入企业链接，可以查看该企业概况、企业联系方式、股市信息、企业动态、采购信息、招投标信息、产品信息、行业动态、招聘信息以及企业关系网信息。
[0015]本发明的有益效果是:该分布式企业信息垂直搜索方法，是针对企业的专业搜索方法，是对通用搜索引擎的细分和延伸，解决了通用搜索引擎的信息量大、查询不准确、深度不够等问题，能够针对税务领域提供有特定价值的信息和相关服务。
【附图说明】
[0016]附图1为本发明分布式企业信息垂直搜索方法逻辑流程示意图。
【具体实施方式】
[0017]下面结合附图对本发明进行详细说明。
[0018]该分布式企业信息垂直搜索方法，包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；最后，所述用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。
[0019]以税务部门提供的相关纳税人为关键词，所述数据采集模块使用网络爬虫到各搜索引擎百科、招聘网、企业官网、新闻网站、股市信息网站等可能包含与纳税人相关信息的网站爬取相关网页，并将网页源文件保存到hbase数据库中。
[0020]所述数据采集模块还为每个数据来源网站建立适用的下载更新策略，启动定时更新任务，能够保证网页信息的实时性。hbase分布式数据库可以保证各种类型数据无损失保存，并可根据需求进行横向扩展。
[0021]所述数据索引模块，对所述网页源文件进行去重、正文提取、分类、解析等清洗、处理工作，并将处理结果信息存储hbase数据库中，同时还要为网页数据及相关类别、行业信息建立全文索引文件。
[0022]所述数据索引模块网页去重、分类采用自然语言处理中的文本相似性算法进行处理，正文提取采用基于DOM树和文字-链接比以及各种过滤器实现，解析处理采用隐马尔科夫实体词识别等机器学习技术实现。
[0023]所述数据索引模块采用Solr Cloud建立分布式索引服务体系，使用solr的客户端开发API对网页源数据进行读取、格式化并提交给索引服务器建立索引文件。Solr Cloud具有集中式的配置信息、自动容错、近实时搜索、查询时自动负载均衡、通过MR批量创建索引等优势。
[0024]所述综合搜索模块查询后返回符合条件的所有网页，并按相关企业，新闻动态，股市行情，相关政策法规4个类别进行分类显示标题，标题链接具体内容。
[0025]所述企业搜索模块查询后返回符合条件的企业，按照所属行业，从业人数，区域进行搜索结果过滤，并按照综合排名，搜索量，开业日期，关注量进行排序。进入企业链接，可以查看该企业概况、企业联系方式、股市信息、企业动态、采购信息、招投标信息、产品信息、行业动态、招聘信息以及企业关系网信息。
【主权项】
1.一种分布式企业信息垂直搜索方法，其特征在于:包括数据采集模块，数据索引模块，综合搜索模块，企业搜索模块和用户权限管理模块；首先，所述数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；然后，所述数据索引模块对爬取的相关网页数据进行清洗，并建立索引；第三，所述综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；最后，所述用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。2.根据权利要求1所述的分布式企业信息垂直搜索方法，其特征在于:以税务部门提供的相关纳税人为关键词，所述数据采集模块使用网络爬虫到各搜索引擎百科、招聘网、企业官网、新闻网站、股市信息网站等可能包含与纳税人相关信息的网站爬取相关网页，并将网页源文件保存到hbase数据库中。3.根据权利要求2所述的分布式企业信息垂直搜索方法，其特征在于:所述数据采集模块还为每个数据来源网站建立适用的下载更新策略，启动定时更新任务，能够保证网页信息的实时性。4.根据权利要求1所述的分布式企业信息垂直搜索方法，其特征在于:所述数据索引模块，对所述网页源文件进行去重、正文提取、分类、解析等清洗、处理工作，并将处理结果信息存储hbase数据库中，同时还要为网页数据及相关类别、行业信息建立全文索引文件。5.根据权利要求4所述的分布式企业信息垂直搜索方法，其特征在于:所述数据索引模块网页去重、分类采用自然语言处理中的文本相似性算法进行处理，正文提取采用基于DOM树和文字-链接比以及各种过滤器实现，解析处理采用隐马尔科夫实体词识别等机器学习技术实现。6.根据权利要求4所述的分布式企业信息垂直搜索方法，其特征在于:所述数据索引模块采用Solr Cloud建立分布式索引服务体系，使用solr的客户端开发API对网页源数据进行读取、格式化并提交给索弓I服务器建立索引文件。7.根据权利要求1所述的分布式企业信息垂直搜索方法，其特征在于:所述综合搜索模块查询后返回符合条件的所有网页，并按相关企业，新闻动态，股市行情，相关政策法规4个类别进行分类显示标题，标题链接具体内容。8.根据权利要求1所述的分布式企业信息垂直搜索方法，其特征在于:所述企业搜索模块查询后返回符合条件的企业，按照所属行业，从业人数，区域进行搜索结果过滤，并按照综合排名，搜索量，开业日期，关注量进行排序。
【专利摘要】本发明特别涉及一种分布式企业信息垂直搜索方法。该分布式企业信息垂直搜索方法，采用数据采集模块使用网络爬虫到相关信息的网站爬取相关网页；通过数据索引模块对爬取的相关网页数据进行清洗，并建立索引；通过综合搜索模块和企业搜索模块接收查询关键词，并提交给solr服务，从建立的索引文件中进行查询；通过用户权限管理模块完成系统用户权限管理，根据权限对查询结果进行按需推送。该分布式企业信息垂直搜索方法，是针对企业的专业搜索方法，是对通用搜索引擎的细分和延伸，解决了通用搜索引擎的信息量大、查询不准确、深度不够等问题，能够针对税务领域提供有特定价值的信息和相关服务。
【IPC分类】G06F17/30
【公开号】CN104899268
【申请号】CN201510269583
【发明人】范莹, 于治楼
【申请人】浪潮集团有限公司
【公开日】2015年9月9日
【申请日】2015年5月25日