一种基于社区o2o的数据分析系统及其实现方法
【技术领域】
[0001] 本发明属于数据分析技术领域，具体涉及一种基于社区020的数据分析系统及其 实现方法。
【背景技术】
[0002] 社区020是立足于为本地社区用户提供线上支付线下享受服务的一种新型的电 子商务模式，它是电子商务发展的必然趋势。大数据时代，数据、信息和知识是电子商务发 展中的重要资源。在各地社区020加盟商的合作下，基于社区020的诚信商圈服务平台中 产生了海量数据，面对从海量数据中进行数据价值挖据的需要，对平台内大数据的存储、处 理和分析成为急需解决的核心问题。
[0003] 目前，绝大部分的020服务平台都是采用基于传统型的关系数据库进行数据存储 和数据分析的解决模式，该模式下难以获取海量的用户行为数据、用户社交数据、消费行为 数据，难以存储和分析这些海量数据，也难以对海量数据进行知识挖掘、价值挖掘、行为分 析和特征分析等，以便为社区020的加盟商、管理者的经营决策及时提供科学依据。
[0004] 在基于社区020诚信商圈服务平台中，会产生海量的用户数据，用户数据包括用 户行为记录、用户购买记录、用户特征记录、商家的销售记录、商品、商家的评价记录以及推 荐信息等。为更好地给社区020诚信商圈的各方提供科学管理的依据，一方面需要对社区 020加盟商的私有数据进行保护，另一方面又需要利用公共基础设施资源对海量数据进行 数据分析。现有的基于社区020电商平台中传统数据分析系统效率低下、无法共享公共计 算资源、无法保护社区020加盟商私有数据安全性、无法满足获取海量数据并存储和分析 的需求。
【发明内容】
[0005] 为了解决现有技术存在的上述问题，本发明提供了一种基于社区020的数据分析 系统及其实现方法。
[0006] 为实现上述目的，本发明采取以下技术方案：一种基于社区020的数据分析系统， 其特征在于：它包括一个公有云、至少一个私有云、一个数据分析业务平台和一个数据应用 服务平台；
[0007] 在数据存储方面，所述私有云用于存储社区020加盟商的私有数据，所述公共云 用于存储所有被分析的原始数据，所述私有云与公有云通过WebService模式进行数据交 互；
[0008] 在数据分析处理方面，所述私有云通过数据序列化接口完成对被分析数据结果的 序列化工作，并将序列化后的数据存放于本地的关系型数据库中；所述公有云针对数据分 析业务平台的数据分析要求，提供分布式数据存储以及计算资源，完成对数据的统计、汇总 和分类处理工作；
[0009] 所述数据分析业务平台利用所述公有云的云端存储和虚拟计算资源完成以下大 数据处理业务：用户、商户的网上行为特征分析；社区020中商品、服务的销售情况统计及 预测；用户、商户的信用评价计算；社区020的商品、服务的推荐计算；用户个性化服务； [0010] 所述数据应用服务平台用于实现数据的可视化呈现。
[0011] 进一步地，所述数据应用服务平台以各类统计图、仪表盘或曲线图的形式呈现消 费者、商品销售商和服务提供商的各类数据分析结果。
[0012] 进一步地，所述私有云与公有云进行数据交互时采用WebService方式，并通过数 据序列化接口层实现私有数据的安全性，其主要过程为：
[0013] S11、根据需放置在所述公共云中的私有数据模型，结合对每个电子商务业务的需 求分析，构建业务逻辑中的原子业务数据模型；
[0014] S12、根据业务逻辑需求分析，构建数据分析业务应用所需的数据库，并为原有应 用系统中的数据库构建业务所需数据适配器；
[0015] S13、构建业务逻辑服务；
[0016] S14、根据业务逻辑需求，应用对应的数据适配器构建业务逻辑服务，并将新构建 的服务部署到对应社区020平台的Web服务器，最后应用这些业务逻辑服务组建成所需的 业务应用。
[0017] 进一步地，所述构建业务数据适配器的基本步骤如下：
[0018] (1)对原子业务数据确定属性；
[0019] (2)确定操作：
[0020] 对每个原子业务数据的主要的操作一般都是查询、修改、添加，其中以查询为主， 同时查询应该有多种的查询：按关键码的精确查询、按名称的模糊查询、按分类的模糊查询 等，并以数据集为返回；
[0021] (3)定义方法：
[0022] 实施操作需要采用特定算法，或需要操作说明之外的更多信息。
[0023] 进一步地，所述数据分析业务平台利用公有云的云端存储和虚拟计算资源完成用 户、商户的网上行为特征分析，其具体过程为：
[0024] S21、构建基于社区020诚信商圈的用户行为数据模型及数据仓库；
[0025] 其中，用户行为数据模型包括用户身份特征信息模型、用户行为记录信息模型和 用户环境信息模型，按上述模式逐一定制要进行统计的信息模型；
[0026] S22、通过社区020加盟商定制的各种信息模型，构建大数据分析业务并进行特征 分析；
[0027] S23、根据用户行为特征数据分析业务及定制出的信息模型，编写用于数据采集的 JavaScripti或AspScript脚本代码；
[0028] S24、基于用户浏览过的社区020中商品、服务类型的页面，将搜索过的商品、服务 的关键字作为用户特征分析点，通过Hadoop的MapReduce方式实现用户特征提取。
[0029] 进一步地，所述数据分析业务平台利用公有云的云端存储和虚拟计算资源实现社 区020中商品、服务的销售情况统计及预测，其具体过程为：
[0030] S31、建基于社区020诚信商圈的商品、服务及用户购买记录数据模型及数据仓 库；
[0031] S32、定制前端平台的JavaScriptAPI脚本：
[0032]S33、在公共云端，定制后台数据接收的DataAPI:以WebService方式进行交互；
[0033]S34、在公共云端，通过MapReduce进行数据分析。
[0034] 进一步地，所述数据分析业务平台利用公有云的云端存储和虚拟计算资源实现用 户、商户的信用评价计算，其具体过程为：
[0035]S41、在公共云端对所有用户与商铺之间的相互评价进行数据清洗，编写 MapReduce程序完成所有评价的分类汇总，统计出对应评价等级的百分比；
[0036]S42、按信用评价指标体系中设置的评价因素对比矩阵计算信用评价指标体系的 权重系数；
[0037]S43、根据步骤S41的统计结果，结合信用评价指标体系的权重系数计算每个用户 的信用等级及在评价中的可信度；
[0038]S44、按用户的可信度，汇总被评价商家的评价数据；
[0039]S45、根据验证后的评价数据，按商家的信用评价指标体系的权重系数计算商家的 信用等级。
[0040] 进一步地，所述数据分析业务平台利用公有云的云端存储和虚拟计算资源实现社 区020的商品、服务的推荐计算，其具体过程为：
[0041] S51、根据步骤S24中获得的用户特征项分析结果以及用户对相关商品、服务的评 价数据，进行以下操作：
[0042] (1)基于用户的协同过滤推荐算法构建评价矩阵计算用户之间的 兴趣相似度，采用开源项目Mahout中用来计算改进的余弦相似性的实现类UncenteredCosineSimilarity，开源项目Mahout中皮尔森相关系数的实现类 PearsonCorrelationSimilarity，Mahout中用来计算欧几里德相似度的实现类 EuclideanDistanceSimilarity，来完成用户的相似度计算；
[0043] (2)基于项目的协同过滤推荐算法：通过Mahout内置算法完成物品间相似度的计 算，可采用余弦相似性、皮尔森相关系数、欧几里德相似度等算法来计算；
[0044]S52、基于用户的协同过滤推荐算法的推荐计算公式为用户推荐商品和服务；
[0045]S53、MapReduce的实现过程为：
[0046] 第一次MapReduce迭代过程：
[0047]Map：
[0048]〈keyl，vl>-统计得到多个<key2,v2>
[0049]Key1:行偏移量；
[0050]vl: (CustomsID,GoodsID,value)用户ID及对应商品的评价分数Value;
[0051]Key2：CustomsID；
[0052]v2 :(GoodsID,value)每个商品对应的评分；
[0053]Reduce：
[0054] <key2,v2> -统计得到多个 <key3,v3>
[0055]Key2：CustomsID；
[0056]v2 :(GoodsID,value)每个商品对应的评分；
[0057]Key3：CustomsID；
[0058]v3 ：[(GoodsIDl,valuel), (GoodsID2,value2)......]用户对每个商品对应的评分 统计汇总；
[0059] 第二次MapReduce迭代过程：
[0060] Map：
[0061] <key3,v3> -统计得到多个 <key4,v4>
[0062] Key3：CustomsID；
[0063] v3 ： [ (GoodsIDl,valuel), (GoodsID2,value2)......]用户对每个商品对应的评分 统计汇总；
[0064] Key4 ： [GoodsIDl,GoodsID2,......]；
[0065]V4：[valuel,value2,......]每个商品对应的评分；
[0066] Reduce：
[0067] <key4,v4> -统计得到多个 <key5,v5>
[0068] Key4 ： [GoodsIDl,GoodsID2,......]；
[0069] V4 ： [valuel,value2,......]每个商品对应的评分；
[0070] Key5 ： (GoodsIDl,GoodsID2)；
[0071]v5 :sim(u,v)，相似度计算；
[0072] 第三次MapReduce迭代过程：评分预测及推荐列表；
[0073] 第四次MapReduce迭代过程：根据评分预测结果返回目标用户u的前N项商品或 服务的推荐结果。
[0074] -种基于社区020的数据分析系统的实现方法，其包括以下步骤：
[0075]S1、配置私有云端服务；
[0076] 在私有云中安装社区020诚信商圈电子商务平台，配置部署关系数据库MySQL，按 需求在每个商务页面部署JavaScript数据采集脚本；在私有云中的数据服务器上部署数 据序列化接口层；