作数据存储功能模块的数据表与所述临时表关联，将所述具有所述排序的增量数据插入互联网交易信息数据仓库的维表。
[0046]作为一种实施例，如图9所示，事实表的增量加载过程具体为:
清空临时表后，判断是否还有指标取自不同的事实表；
若还有指标取自不同的事实表，则重复取出事实表中时间戳范围内的不同业务事件的过程，直至所有业务事件都被取出后循环结束；
若没有指标取自不同的事实表，则取出事实表中时间戳范围内的不同业务事件，将第一临时表的数据按照维度字段汇总到第二临时表中，删除目标事实表中与该第二临时表重复的数据，将所述第二临时表的数据插入目标事实表。
[0047]本实施例智能各类全量加载或增量加载完成之后都还包括一个将插入情况写入系统日志的步骤。
[0048]采用多维联机分析处理(OLAP: Online Analysis Processing)来根据不同业务需求，从不同需求角度(如销售、客服、财务、时间、地域、行业等视角)对来自其他的数据结构的相关数据进行交叉分析。通过对数据的分析和前段系统的多维呈现，实现对互联网交易信息展示和实时动向分析预警。首先提取维度和指标信息；其次由于各个主体间维度在定义时都是相互独立的，为了数据的一致性和关联关系，将建立各个分析主体维度的关系信息，实现主体扩展和关联；建立好数据模型之后，利用ETL将数据仓库中的数据按照客户需求进行相应的统计汇总得到多维分析数据，最后形成报表。
[0049]本发明设计了合理的系统架构以及相适应的ETL、数据仓库和数据维度设计，使其适用于互联网交易信息的存储处理。
[0050]考虑到对不同电商平台的数据进行处理和存储，所以应用层的需求不同；同时对用户的需求变化不仅仅是单一项目可用，所以需要同时兼顾查询效率和数据力度的需求以及良好的可扩展性，采用星型多维数据模型作为数据仓库模型。
[0051]经过预处理的数据，把从事实中抽取的关于事实表的维度信息建立在相应的维度表中。因此，处理层功能模块只需要对事实表进行查询就可以获取事务数据，大大提高了访问的效率。操作数据存储功能模块0DS、互联网交易信息数据仓库DW、事实表DM之间的关系示意图如图10所示。
[0052]ODS层对应从数据层抽取到关于互联网交易主体和行为的数据；DW层为数据仓库层，主要存储与互联网交易相关时间维表、地域维表等公共信息维表；DM对应事实表，也就是星型结构的核心，记录交易的关联关系等信息。
[0053]ETL更新机制，仓库最先更新，集市在更新；维度先更新，事实再更新的机制。
[0054]以上所述仅为本发明的较佳实施例，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。
【主权项】
1.一种分布式互联网交易信息存储处理方法，其特征在于，包括: 操作数据存储功能模块从外部数据层抽取结构化的交易信息数据； 分布式数据仓库和非关系型数据库分别从分布式文件系统中读取非结构化的网络日志数据； 互联网交易信息数据仓库从所述操作数据存储功能模块和所述分布式数据仓库中分别抽取转换加载所述交易信息数据和网络日志数据后进行整合为数据元组，并以星型模型存储该数据元组； 数据集市从所述互联网交易信息数据仓库，和/或所述分布式数据仓库中抽取转换加载集市指定数据； 商业智能系统根据数据分析需要从所述数据集市，和/或所述非关系型数据库中获取分析所需数据。2.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述数据集市包括交易集市、销售集市以及客服集市； 所述交易集市、销售集市根据业务需要从所述互联网交易信息数据仓库抽取转换加载所述集市指定数据； 所述客服集市根据业务需要从所述分布式数据仓库中抽取转换加载所述集市指定数据。3.根据权利要求2所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述客服集市与所述商业智能系统之间还经过MemCache缓存系统进行数据传输； 所述商业智能系统在向所述客服集市获取分析所需数据时先查看所请求的分析所需的数据是否在MemCache缓存系统中，若有，则直接从MemCache缓存系统中获取，若不在，则从所述客服集市获取分析所需数据并在MemCache缓存系统中缓存一份。4.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述智能商务系统用于数据挖掘、企业分析、客户分析、数据文件分析以及在线分析。5.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述操作数据存储功能模块包括三层结构: 映射层:把外部数据层的数据原表的字段映射到操作数据存储功能模块的本地数据库中，完成数据从业务层到分析层的关联； 数据预处理层:对所述交易信息数据进行预处理，该预处理包括整合、筛选和增加关联表; 数据清洗层:对于有质量问题的交易信息数据进行数据清洗操作。6.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述星型模型位于星形中心的事实表包括若干条数据元组的时间地址、地域地址、店铺地址、产品地址以及该条数据元组对应的交易数量和交易金额； 所述星型模型的维表包括店铺维表、时间维表、产品维表和地域维表； 所述店铺维表包含电商平台信息、平台板块信息和店铺管理信息； 所述时间维表包含时间信息； 所述产品维表包含产品名称、产品描述、产品售价以及产品质量； 所述地域维表包含地理位置信息，该地理位置信息包含国家、省份、城市。7.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述操作数据存储功能模块使用全量加载方式，具体为: SlOl，清空所述操作数据存储功能模块的目标表， S102，将外部数据层的全量交易信息数据插入该目标表。8.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述操作数据存储功能模块使用增量加载方式，具体为: S201，清空所述操作数据存储功能模块的临时表， S202，将外部数据层的增量交易信息数据插入该临时表， S203，删除目标表与该临时表重复的数据， S204，将临时表中的数据插入目标表中后返回步骤SI直至数据全部抽取结束。9.根据权利要求1所述的一种分布式互联网交易信息存储处理方法，其特征在于，所述互联网交易信息数据仓库的维表为增量加载方式，事实表为全量加载方式； 互联网交易信息数据仓库的维表增量加载过程具体为: S301，在临时表中对增量数据按照维表历史数据的行号计算排序， S302，将具有所述排序的增量数据插入临时表， S303，清空互联网交易信息数据仓库的维表， S304，将所述操作数据存储功能模块的数据表与所述临时表关联，将所述具有所述排序的增量数据插入互联网交易信息数据仓库的维表； 事实表的增量加载过程具体为: 清空临时表后，判断是否还有指标取自不同的事实表； 若还有指标取自不同的事实表，则重复取出事实表中时间戳范围内的不同业务事件的过程，直至所有业务事件都被取出后循环结束； 若没有指标取自不同的事实表，则取出事实表中时间戳范围内的不同业务事件，将第一临时表的数据按照维度字段汇总到第二临时表中，删除目标事实表中与该第二临时表重复的数据，将所述第二临时表的数据插入目标事实表。
【专利摘要】本发明提供了一种分布式互联网交易信息存储处理方法，包括：操作数据存储功能模块从外部数据层抽取结构化的交易信息数据；分布式数据仓库和非关系型数据库分别从分布式文件系统中读取非结构化的网络日志数据；互联网交易信息数据仓库从所述操作数据存储功能模块和所述分布式数据仓库中分别抽取转换加载所述交易信息数据和网络日志数据后进行整合为数据元组，并以星型模型存储该数据元组；数据集市从所述互联网交易信息数据仓库，和/或所述分布式数据仓库中抽取转换加载集市指定数据；商业智能系统根据数据分析需要从所述数据集市，和/或所述非关系型数据库中获取分析所需数据。本发明针对互联网交易数据分析处理的应用场景。
【IPC分类】G06F17/30
【公开号】CN104933112
【申请号】CN201510302559
【发明人】陈海江, 吕浩, 邵奇可, 颜世航
【申请人】浙江力石科技股份有限公司
【公开日】2015年9月23日
【申请日】2015年6月4日