数据电商的一种高效的技术框架的制作方法
【技术领域】
[0001]本发明涉及异构非结构化数据融合、大数据分类标准化、REST API接口与权限、数据电商交易支付服务和数据接口流量计费5个技术领域，具体是数据电商的一种高效的技术框架。
【背景技术】
[0002]当今已经是数据大爆炸的时代，各个行业面临着大部分的问题:
1、集中管理互联网数据。从无规则、无行业分类的互联网获取到针对性的行业价值的
?目息。
[0003]2、海量数据的存储，快速读写与容灾。
[0004]3、集群管理维护难。原有系统没有一个从硬件到软件到服务状态的整体监控和管理系统。
[0005]4、数据分享。通过文件方式、数据库等重型方式分享数据，并且需要用户自己开发实现数据API调用。
[0006]5、数据交易。数据资源雷同于矿产资源是可以被交易买卖的，需要将数据以可度量的服务方式对外提供支付功能。
[0007]6、数据接口计费。传统的模式只是按文件的形式给第三方提供数据，一次性付费，无法实施更新客户已交付的数据。
【发明内容】
[0008]为了解决以上的问题，本发明提出了数据电商的一种高效的技术框架；本发明是以大数据开放技术和电商交易技术为基础，以互联网模式为第三方和大众用户提供数据服务的一种技术框架(称DataMall框架)，该方法用以填补了市面互联网大数据分享和交易平台数据成果使用的部分短板。解决了互联网混合结构数据整理与汇总、面向大众的数据开放、数据交易支付、数据权限控制、以及数据服务计费等难题。
[0009]这种数据电商所依赖的技术框架包含五个子模块，分别为:混合数据结构的数据整理汇总(dGather)模块、数据REST开放服务(dOpen)模块、数据权限控制(dAuth)模块、数据商品交易服务(dTrade)模块和数据服务计费(dCharge)模块。其中，dGather数据整理汇总模块、dOpen开放模块和dAuth数据权限控制三部分被定义为DataMall框架数据端(dmall-Data):负责数据电商数据整合，并提供给用户可以使用数据的方式；dTrade模块和dCharge模块统称定义为DataMall框架销售端(dmall_Sale):负责将可以使用的数据销售给大众用户，并且对数据的使用方式进行计费。
[0010]本发明目的是基于“大数据数据工厂、开放数据接口、电商模式交易数据、按实际使用付费”的思路完成大数据的数据交易。将客户定义的一个数据需求，进行智能的匹配采；将定义好的一个需求主题经过本发明的dmall-data系统进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行汇总，对于执行完采集的节点，调度节点主动进行整理，采取分布式存储，并与行业内部组织数据进行整合分析的技术。同时，将采集到的互联网数据通过dOpen系统结合dAuth权限方式以轻量级方式分享给用户，以可度量的dCharge服务方式对外提供dTrade支付交易。
[0011]DataMall框架技术实现思路分如下步骤:
步骤1、dGather根据配置参数，自动匹配行业模板及其汇总方法，并回馈给客户以验证是否符合要求。如果不符合，提供给用户自定义数据管理和汇总方法。
[0012]步骤2:确定汇总任务模板，dGather中〈适配功能 > 首先接收到这个模板，将模板分解为多个汇总任务，并将每个任务分配给调度监
控集群。
[0013]步骤3:汇总整理调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况。对于异常进行动态迀移到正常执行节点。调度节点与执行节点依赖MapReduce计算模型。
[0014]步骤4:第三方用户如果想获取DMall的数据服务请求，首先通过dAuth进行权限认证，验证是否为合法用户，是否有相应的数据权限。
[0015]步骤5:通过dAdapter将用户的请求分解并适配到对应主题所在的节点上，系统将汇总后的结构反馈给用户。
[0016]步骤6:汇总到开放库的数据通过dOpen模块开放为第三方接口，同时接入dTrade在线商城交易，完成数据商品推送到用户。
[0017]步骤7:用户拿到交易数据商品以后，可以通过API接口的方式访问数据，数据将以json、dmp文件、sql文件等方式返回。同时，系统通过dCharge计费模块实现数据商品的流量付费功能。
[0018]本发明的有益效果是:
数据商品交易
大数据获取到有价值的数据不在沉睡在数据库中，而是给予商品的行业，像其他实体商品一样，通过价格、计量、服务方式、配送方式、有效期等进行标识。购买的数据商品也是可以真实感受到，并且可以通过数据商品交付的API接口应用到客户的业务环境中。
[0019]数据开放接口
通用数据之间的传递主要是通过硬件(物理)介质，而且是一对一的方式。本方案可以通过结合权限的API接口，做到发布一次到处分享；通过API可以快速进行开放与交易支付的定制。
[0020]例如:数据商品接口地址:
http:// {ip} {: port}/DataMal1/{service_type}/{data_describe}?response_service=json0
【附图说明】
[0021]图1是DMall销售端dmall_sale系统核心流程图；
图2是DMall数据端dmall-data系统核心流程图。
【具体实施方式】
[0022]下面对本发明的内容进行更加详细的阐述:
数据电商这种技术框架分为两部分交付:销售端和数据端。其中，销售端产品名称为数据商城，它是一个直面大众用户的商城网站，通过用户进行商品选择和支付的业务场景，而数据端是一个面向管理员的产品，它需要考虑和兼容不同的数据库、操作系统、数据采集库。因此我们给客户端提供了各个行业的汇总模板口径，汇总系统和接口服务系统是部署在云服务器上。
[0023]数据端和开放接口分以下两步搭建该平台:
第三步，搭建dmall-data系统。在相应规划的机器上部署:a、执行节点程序和收割模块、b、调度节点程序、c、dmall-data适配程序。
[0024]第四步，搭建dOpen服务接口模块系统。dOpen节点程序分机器负责部署，将dAdapter适配汇总模块和oAuth权限认证系统分别部署到独立的节点。独立部署dNoSQL模块，同时需要内存数据库的配置文件指向该模块。
[0025]数据商城的销售端和互联网通用的垂直商城平台技术框架是类似的，有3部分组成:
第一部分、商城运行所需数据库。部署到centos的分布式mysql数据上，采用数据缓存和访问平行加速的技术。
[0026]第二部分、商城JAVA服务。部署到分布式TOMCAT服务集群上，采用了负载均衡，为请求进行分压。
[0027]第三部分、商城PHP动态页面。主要部署到到redhat的5个节点apache集群上，使用thinkphp内核，基于f5进行分流。
【主权项】
1.数据电商的一种高效的技术框架，其特征在于， 包含五个子模块，分别为:混合数据结构的数据整理汇总模块dGather、数据REST开放服务模块dOpen、数据权限控制模块dAuth、数据商品交易服务模块dTrade和数据服务计费模块dCharge ； 其中，dGather数据整理汇总模块、dOpen开放模块和dAuth数据权限控制三部分被定义为DataMall框架数据端dmall_Data:负责数据电商数据整合，并提供给用户可以使用数据的方式；dTrade模块和dCharge模块统称定义为DataMall框架销售端dmall_Sale:负责将可以使用的数据销售给大众用户，并且对数据的使用方式进行计费。2.根据权利要求1所述的技术框架，其特征在于， 将客户定义的一个数据需求，进行智能的匹配采；将定义好的一个需求主题经过dmall-data系统进行多任务化为任务集合，集合中任意一个任务可再按维度细化成子任务，按照主从心跳模式由调度节点分配给执行节点执行汇总，对于执行完采集的节点，调度节点主动进行整理，采取分布式存储，并与行业内部组织数据进行整合分析的技术；同时，将采集到的互联网数据通过dOpen系统结合dAuth权限方式以轻量级方式分享给用户，以可度量的dCharge服务方式对外提供dTrade支付交易。3.根据权利要求2所述的技术框架，其特征在于， 具体实现分如下步骤: 步骤1、dGather根据配置参数，自动匹配行业模板及其汇总方法，并回馈给客户以验证是否符合要求；如果不符合，提供给用户自定义数据管理和汇总方法； 步骤2:确定汇总任务模板，dGather中〈适配功能 > 首先接收到这个模板，将模板分解为多个汇总任务，并将每个任务分配给调度监控集群； 步骤3:汇总整理调度节点根据任务进行按维度划分，并负责将各个子任务分配给执行节点，同时监控执行情况；对于异常进行动态迀移到正常执行节点；调度节点与执行节点依赖MapReduce计算模型； 步骤4:第三方用户如果想获取DMall的数据服务请求，首先通过dAuth进行权限认证，验证是否为合法用户，是否有相应的数据权限； 步骤5:通过dAdapter将用户的请求分解并适配到对应主题所在的节点上，系统将汇总后的结构反馈给用户； 步骤6:汇总到开放库的数据通过dOpen模块开放为第三方接口，同时接入dTrade在线商城交易，完成数据商品推送到用户； 步骤7:用户拿到交易数据商品以后，可以通过API接口的方式访问数据，数据将以json、dmp文件、sql文件等方式返回；同时，系统通过dCharge计费模块实现数据商品的流量付费功能。
【专利摘要】本发明提供数据电商的一种高效的技术框架，涉及数据电商交易支付服务领域。本发明包含五个子模块，分别为：混合数据结构的数据整理汇总（dGather）模块、数据REST开放服务（dOpen）模块、数据权限控制（dAuth）模块、数据商品交易服务（dTrade）模块和数据服务计费（dCharge）模块。本发明解决了互联网混合结构数据整理与汇总、面向大众的数据开放、数据交易支付、数据权限控制、以及数据服务计费等难题。
【IPC分类】G06Q30/06, G06F17/30
【公开号】CN105260454
【申请号】CN201510660596
【发明人】王诗华, 王传超, 崔乐乐
【申请人】浪潮软件集团有限公司
【公开日】2016年1月20日
【申请日】2015年10月14日