器上部署:1、执行节点程序和收割模块、2、调度节点程序、3、ga-Reap适配程序。
[0023]第四步，服务接口系统(oRest)。oRest节点程序分机器负责部署，将请求适配与结果汇总模块(oAdapter)和oAuth权限认证模块分别部署到独立的节点。独立部署数据调度转换模块(oNoSQL)，同时需要内存数据库的配置文件指向该模块。
[0024]如附图1、2所示，本发明的大数据的电商交易方法包括以下步骤:
a、主从式数据采集(oGather)模块根据配置参数，自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模板和采割方法，以便电商交易系统后台(ga-Reap)按需提供实现数据和内容的交付；
b、确定任务模板，适配模块首先接收到这个模板，将模板分解为多个采集任务(如按电商平台分)，并将每个任务分配给调度监控集群；
C、调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况。对于异常进行动态迀移到正常执行节点。调度节点与执行节点优选通过MapReduce计算模型实现；
d、执行节点融合Nutch思路，按独立网址维护采集周期。并纳入主从式数据采集模块(oGather)进行采集，该模块可以解决主要反爬宿主的数据采集；
e、在执行完成采集以后，执行节点主动心跳状态，数据收割模块(oReap)进行异构收害J，数据清洗与整理模块(oClean)按照一定的规则进行数据预处理，数据存储与处理模块(oDataHouse)进行收割库归档，以备后续数据分析；
f、第三方用户发送获取数据服务请求，首先通过oAuth进行权限认证，验证是否为合法用户，是否有相应的数据权限；
g、请求适配与结果汇总模块(oAdapter)将用户的请求分解并适配到对应主题所在的节点上，在主题节点分为两部分:oRest接口程序和接口依赖的内存库；
h、以数据调度转换模块(oNoSQL)提供内存数据库和分布式nosql数据库的转换和调度。
【主权项】
1.一种大数据的电商交易方法，其特征在于:将客户定义的采集需求智能的匹配采集源和数据元素；将定义好的需求主题进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行采集；对于执行完采集的节点，调度节点主动进行收割，采取分布式存储，并与行业内部组织数据进行整合分析，同时，将采集到的互联网数据结合权限方式以轻量级方式分享给用户。2.根据权利要求1所述的大数据的电商交易方法，其特征在于，包括以下步骤: a、根据配置参数，自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模板和采割方法，以便按需提供实现数据和内容的交付； b、确定任务模板，将模板分解为多个采集任务，并将每个任务分配给调度监控集群； C、调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况，对于异常进行动态迀移到正常执行节点； d、按独立网址维护采集周期，进行采集； e、在执行完成采集以后，执行节点主动心跳状态，进行异构收割，并按照一定的规则进行数据预处理，进行收割库归档，以备后续数据分析； f、第三方用户发送获取数据服务请求，首先进行权限认证，验证是否为合法用户，是否有相应的数据权限； g、将用户的请求分解并适配到对应主题所在的节点上，在主题节点分为两部分:oRest接口程序和接口依赖的内存库； h、以oNoSQL数据调度转换模块提供内存数据库和分布式nosql数据库的转换和调度。3.根据权利要求2所述的大数据的电商交易方法，其特征在于，步骤c中，调度节点与执行节点通过MapReduce计算模型实现。4.一种大数据的电商交易系统，其特征在于，包括适配模块、主从式数据采集模块、数据收割模块、数据清洗与整理模块、调度与监控模块、数据存储与处理模块、权限认证模块、请求适配与结果汇总模块、数据调度转换模块，其中: 适配模块、主从式数据采集模块、数据收割模块、数据清洗与整理模块、调度与监控模块、数据存储与处理模块构成采集与整理系统:负责数据采集、存储、清洗以及整理的过程; 权限认证模块、请求适配与结果汇总模块、数据调度转换模块构成服务接口系统:负责将数据分享给用户。5.根据权利要求4所述的大数据的电商交易系统，其特征在于，主从式数据采集模块用于根据配置参数自动匹配行业模板及其采割方法，并回馈给客户以验证是否符合要求，如果不符合，提供给用户自定义数据模型和采割方法，以便按需提供实现数据和内容的交付。6.根据权利要求4所述的大数据的电商交易系统，其特征在于，适配模块用于将接收到模板分解为多个采集任务并将每个任务分配给调度监控集群。7.根据权利要求4所述的大数据的电商交易系统，其特征在于，调度监控集群中的调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况，对于异常进行动态迀移到正常执行节点。8.根据权利要求4所述的大数据的电商交易系统，其特征在于，调度监控集群中的执行节点按独立网址维护采集周期，并纳入主从式数据采集模块进行采集。9.根据权利要求4所述的大数据的电商交易系统，其特征在于，在执行完成采集以后，执行节点主动心跳状态，数据收割模块负责异构收割，数据清洗与整理模块按照一定的规则进行数据预处理，数据存储与处理模块进行收割库归档，以备后续数据分析。
【专利摘要】本发明公开了一种大数据的电商交易方法及交易系统，属于数据采集、存储领域。所述大数据的电商交易方法将客户定义的采集需求智能的匹配采集源和数据元素；将定义好的需求主题进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行采集；对于执行完采集的节点，调度节点主动进行收割，采取分布式存储，并与行业内部组织数据进行整合分析，同时，将采集到的互联网数据结合权限方式以轻量级方式分享给用户。与现有技术相比，本发明的大数据的电商交易方法及系统具有良好的分享模式，且可以实现分布式数据采集和处理清洗功能，提供丰富的数据内容，具有很好的推广应用价值。
【IPC分类】G06F17/30, G06Q30/06
【公开号】CN105096181
【申请号】CN201510436472
【发明人】王诗华, 王传超, 国丽
【申请人】浪潮软件集团有限公司
【公开日】2015年11月25日
【申请日】2015年7月23日