一种基于垂直行业的多任务式采集与收割方法
【专利摘要】本发明提供一种基于垂直行业的多任务式采集与收割方法，也是一种基于互联网垂直行业信息按照主从式结构进行多任务自定义采集和收割的方法(简称：gReap方法)，该方法用以填补市面主流搜索采集及其数据汇总技术的部分短板。解决了垂直行业关于多源化、互异化数据采集中多任务定制与协同困难，定制化解析语义不强，无法智慧化数据并及时收割等难题。通过实现该方法的互联网行业数据采集，再叠加政府企业内部组织数据以融合大数据，让我们透过数据背后分析出市场价值与趋势。
【专利说明】
一种基于垂直行业的多任务式采集与收割方法
【技术领域】
[0001]本发明涉及一种计算机应用，涉及行业垂直搜索采集、分布式计算与存储【技术领域】，具体地说是一种基于垂直行业的多任务式采集与收割方法。
【背景技术】
[0002]当今已经是数据大爆炸的时代，各个行业面临着大部分的问题如下:
1、集中管理互联网垂直行业数据。从无规则、无行业分类的互联网获取到针对性的行业价值的信息；
2、主流的Nutch等很难原生的满足多任务，并且定制采集和加工数据的需求，同时还需要解决大型互联网公司的反爬机制；
3、采集到的互联网数据如何自动收割和语义化存储，并与内部数据做共享与整合；
4、海量数据的存储，快速读写与容灾；
5、集群管理维护难。原有系统没有一个从硬件到软件到服务状态的整体监控和管理系统。
【发明内容】
[0003]本发明的目的是基于“自定义的主从式、多任务采集和收割”将客户定义的一个垂直行业业务需求，进行智能的匹配采集源和数据元素；将定义好的一个需求主题经过本专利的gReap系统进行多任务化为任务集合,集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行采集，对于执行完采集的节点，调度节点主动进行收割，采取分布式存储，并与行业内部组织数据进行整合分析的技术。
[0004]本发明的目的是按以下方式实现的，具体步骤如下:
步骤1:客户根据需求主题，通过某些或者某类行业网站，分析并定义出所需的数据要素，发送给本专利的gReap采割系统；
步骤2:gReap采割系统根据请求数据，自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模型和采割方法，以便gReap按需提供实现数据和内容的交付；
步骤3:确定任务模板，gReap系统中的适配模块首先接收到这个模板，将模板分解为多个采集任务，并将每个任务分配给调度监控集群；
步骤4:调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况，对于异常或者出错的子任务动态迁移到正常执行节点，调度节点与执行节点依赖MapReduce计算模型；
步骤5:执行节点融合Nutch思路，按独立网址维护采集周期，并纳入gReap语义化采集模块进行采集，该模块用以解决主要反爬宿主的数据采集；
步骤6:在执行完成采集以后，执行节点主动心跳状态，gReap系统收割模块负责异构收割，并按照一定的规则进行数据预处理，并进行收割库归档，以备后续数据分析； 步骤7:收割库的归档借助于Hadoop分布式文件系统，采用列式数据分布存储方式，以提供海量存储和高性能的读写速度，以及安全的容灾能力。
[0005]本发明的目的有益效果是:该方法用以填补市面主流搜索采集及其数据汇总技术的部分短板。解决了垂直行业关于多源化、互异化数据采集中多任务定制与协同困难，定制化解析语义不强，无法智慧化数据并及时收割等难题。通过实现该方法的互联网行业数据采集，再叠加政府企业内部组织数据以融合大数据，让我们透过数据背后分析出市场价值与趋势。
【专利附图】
【附图说明】
[0006]图1为gReap系统的整体核心流程图。
【具体实施方式】
[0007]参照说明书附图对本发明的方法作以下详细地说明。
[0008]提供一种基于垂直行业的多任务式采集与收割方法，具体步骤如下:
步骤1:客户根据需求主题，通过某些或者某类行业网站，分析并定义出所需的数据要素，发送给本专利的gReap采割系统；
步骤2:gReap采割系统根据请求数据，自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模型和采割方法，以便gReap按需提供实现数据和内容的交付；
步骤3:确定任务模板，gReap系统中的适配模块首先接收到这个模板，将模板分解为多个采集任务，并将每个任务分配给调度监控集群；
步骤4:调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况，对于异常或者出错的子任务动态迁移到正常执行节点，调度节点与执行节点依赖MapReduce计算模型；
步骤5:执行节点融合Nutch思路，按独立网址维护采集周期，并纳入gReap语义化采集模块进行采集，该模块用以解决主要反爬宿主的数据采集；
步骤6:在执行完成采集以后，执行节点主动心跳状态，gReap系统收割模块负责异构收割，并按照一定的规则进行数据预处理，并进行收割库归档，以备后续数据分析；
步骤7:收割库的归档借助于Hadoop分布式文件系统，采用列式数据分布存储方式，以提供海量存储和高性能的读写速度，以及安全的容灾能力。
[0009]除说明书所述的技术特征外，均为本专业技术人员的已知技术。
【权利要求】
1.一种基于垂直行业的多任务式采集与收割方法，其特征在于，具体步骤如下:步骤1:客户根据需求主题，通过某些或者某类行业网站，分析并定义出所需的数据要素，发送给本专利的gReap采割系统； 步骤2:gReap采割系统根据请求数据，自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模型和采割方法，以便gReap按需提供实现数据和内容的交付； 步骤3:确定任务模板，gReap系统中的适配模块首先接收到这个模板，将模板分解为多个采集任务，并将每个任务分配给调度监控集群； 步骤4:调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况，对于异常或者出错的子任务动态迁移到正常执行节点，调度节点与执行节点依赖MapReduce计算模型； 步骤5:执行节点融合Nutch思路，按独立网址维护采集周期，并纳入gReap语义化采集模块进行采集，该模块用以解决主要反爬宿主的数据采集； 步骤6:在执行完成采集以后，执行节点主动心跳状态，gReap系统收割模块负责异构收割，并按照一定的规则进行数据预处理，并进行收割库归档，以备后续数据分析； 步骤7:收割库的归档借助于Hadoop分布式文件系统，采用列式数据分布存储方式，以提供海量存储和高性能的读写速度，以及安全的容灾能力。
【文档编号】G06F17/30GK104391990SQ201410774655
【公开日】2015年3月4日 申请日期:2014年12月16日 优先权日:2014年12月16日
【发明者】王诗华, 王传超, 孙海峰 申请人:浪潮软件集团有限公司