分布式互联网交易信息存储处理方法
【技术领域】
[0001]本发明涉及一种分布式互联网交易信息存储处理方法。
【背景技术】
[0002]数据分析处理的模型和结果只有运用于某些决策应用中才能产生真正的价值，而通过基于事实的支持系统来辅助决策而知等一些系列理论和方法便是商业智能(Bussiness Intelligence，简称BI )。随着信息化高度发展，商业智能越来越被重视，尤其是联合在线分析OLAP (即基于数据库、大数据的联机快速分析)，更是某种程度上是商业智能的主要处理方法，传统行业的BI解决方案中的核心数据仓库架构设计如图1所示。
[0003]然而，互联网交易信息数据不适合采用BI解决方案，主要原因有以下几点:
1.互联网电子商务交易的数据源多种多样，包括不同的电商平台、各种关系型数据库、社交软件产生的数据以及网络日志数据等等；所以单一的ETL工具无法处理好所有的数据。
[0004]2.电子商务交易的数据量巨大，传统的集中式关系型数据库无法满足处理如此大规模数据的要求。
[0005]3.互联网交易监测对数据分析处理的实时性要求较高，大部分的监测预警需要在短时间内完成处理才能体现数据的价值，传统的离线ETL处理方式已经无法满足需求。
[0006]4.互联网交易的用户数量巨大，而传统的BI展现工具设计主要是针对企业的中高层用户，移植到电子商务行业无论从交互效率和用户体验都存在较大的差异。目前的传统模式的商业智能系统，并不能很好的适用于互联网交易信息的大规模，异构数据源以及对数据分析实时性的需求。
【发明内容】
[0007]本发明针对互联网交易数据分析处理的应用场景，结合互联网电子商务分析预警的特点基础上，针对现有技术中的缺陷，本发明的目的是提供分布式互联网交易信息存储处理方法。
[0008]根据本发明提供的一种分布式互联网交易信息存储处理方法，包括:
操作数据存储功能模块从外部数据层抽取结构化的交易信息数据；
分布式数据仓库和非关系型数据库分别从分布式文件系统中读取非结构化的网络日志数据；
互联网交易信息数据仓库从所述操作数据存储功能模块和所述分布式数据仓库中分别抽取转换加载所述交易信息数据和网络日志数据后进行整合为数据元组，并以星型模型存储该数据元组；
数据集市根从所述互联网交易信息数据仓库，和/或所述分布式数据仓库中抽取转换加载集市指定数据；
商业智能系统根据数据分析需要从所述数据集市，和/或所述非关系型数据库中获取分析所需数据。
[0009]作为一种优化方案，所述数据集市包括交易集市、销售集市以及客服集市；
所述交易集市、销售集市根据业务需要从所述互联网交易信息数据仓库抽取转换加载所述集市指定数据；
所述客服集市根据业务需要从所述分布式数据仓库中抽取转换加载所述集市指定数据。
[0010]作为一种优化方案，所述客服集市与所述商业智能系统之间还经过MemCache缓存系统进行数据传输；
所述商业智能系统在向所述客服集市获取分析所需数据时先查看所请求的分析所需的数据是否在MemCache缓存系统中，若有，则直接从MemCache缓存系统中获取，若不在，则从所述客服集市获取分析所需数据并在MemCache缓存系统中缓存一份。
[0011]作为一种优化方案，所述智能商务系统用于数据挖掘、企业分析、客户分析、数据文件分析以及在线分析。
[0012]作为一种优化方案，所述操作数据存储功能模块包括三层结构:
映射层:把外部数据层的数据原表的字段映射到操作数据存储功能模块的本地数据库中，完成数据从业务层到分析层的关联；
数据预处理层:对所述交易信息数据进行预处理，该预处理包括整合、筛选和增加关联表；
数据清洗层:对于有质量问题的交易信息数据进行数据清洗操作。
[0013]作为一种优化方案，所述星型模型位于星形中心的事实表包括若干条数据元组的时间地址、地域地址、店铺地址、产品地址以及该条数据元组对应的交易数量和交易金额；
所述星型模型的维表包括店铺维表、时间维表、产品维表和地域维表；
所述店铺维表包含电商平台信息、平台板块信息和店铺管理信息；
所述时间维表包含时间信息；
所述产品维表包含产品名称、产品描述、产品售价以及产品质量；
所述地域维表包含地理位置信息，该地理位置信息包含国家、省份、城市。
[0014]作为一种优化方案，所述操作数据存储功能模块使用全量加载方式，具体为:
SlOl，清空所述操作数据存储功能模块的目标表，
S102，将外部数据层的全量交易信息数据插入该目标表。
[0015]作为一种优化方案，所述操作数据存储功能模块使用增量加载方式，具体为:
S201，清空所述操作数据存储功能模块的临时表，
S202，将外部数据层的增量交易信息数据插入该临时表，
S203，删除目标表与该临时表重复的数据，
S204，将临时表中的数据插入目标表中后返回步骤SI直至数据全部抽取结束。
[0016]作为一种优化方案，所述互联网交易信息数据仓库的维表为增量加载方式，事实表为全量加载方式；
互联网交易信息数据仓库的维表增量加载过程具体为:
S301，在临时表中对增量数据按照维表历史数据的行号计算排序，
S302，将具有所述排序的增量数据插入临时表， S303，清空互联网交易信息数据仓库的维表，
S304，将所述操作数据存储功能模块的数据表与所述临时表关联，将所述具有所述排序的增量数据插入互联网交易信息数据仓库的维表；
事实表的增量加载过程具体为:
清空临时表后，判断是否还有指标取自不同的事实表；
若还有指标取自不同的事实表，则重复取出事实表中时间戳范围内的不同业务事件的过程，直至所有业务事件都被取出后循环结束；
若没有指标取自不同的事实表，则取出事实表中时间戳范围内的不同业务事件，将第一临时表的数据按照维度字段汇总到第二临时表中，删除目标事实表中与该第二临时表重复的数据，将所述第二临时表的数据插入目标事实表。
[0017]与现有技术相比，本发明具有如下的有益效果:
本发明针对互联网电子商务交易信息特点，设计面向应用的、集成的、具有时间特征的、稳定的数据集合，来为交易数据处理、分析和监测决策提供支持。
【附图说明】
[0018]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图中:
图1是传统行业的BI解决方案中的核心数据仓库架构图；
图2是可选实施例中的一种分布式互联网交易信息存储架构示意图；
图3是数据仓库的原理框架；
图4是可选实施例中的一种分布式互联网交易信息存储处理方法原理图；
图5是数据仓库星型模型示意图；
图6是操作数据存储功能模块(ODS)全量加载流程图；
图7为操作数据存储功能模块(ODS)增量加载流程图；
图8为互联网交易信息数据仓库(DW)的维表增量加载流程图；
图9为DW的事实表(DM)增量加载流程图；
图10为操作数据存储功能模块0DS、互联网交易信息数据仓库DW、事实表DM之间的关系示意图。
【具体实施方式】
[0019]下文结合附图以具体实施例的方式对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，还可以使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。
[0020]本发明针对互联网交易数据分析处理的应用场景，结合互联网电子商务分析预警的特点基础上，主要包括前段报表模块、ETL模块、数据仓库模块、数据库管理模块、数据调度模块和Web service模块组成。本发明针对互联网电子商务交易信息特点，设计面向应用的、集成的、具有时间特征的、稳定的数据集合，来为交易数据处理、分析和监测决策提供支持，整体架