一种适用于大数据分析的数据处理方法
【专利说明】一种适用于大数据分析的数据处理方法
[0001]
技术领域
[0002]本发明涉及数据处理领域，具体涉及一种适用于大数据分析的数据处理方法。
[0003]
【背景技术】
[0004]现在电子商务发展的日趋成熟与完善，且业已成为了现代人的主要购物方式。但是，电子商户内所蕴含的大量数据，统称为云数据，但是云数据量大而且纷繁复杂，如何从数量庞大、有用与无用数据交杂的众多数据中进行汇总整理，以方便决策，是现在的研究热点。
[0005]
【发明内容】
[0006]本发明的目的在于克服上述问题，提供一种方便用户查询与追踪、对网上商户的所有数据进行有效整合的适用于大数据分析的数据处理方法。
[0007]为了实现上述目的，本发明所采用的技术方案为:一种适用于大数据分析的数据处理方法，包括如下步骤:
(1)通过数据采集服务器采集电子商户平台上的各种数据，将各数据按照关键字、生成时间分类并排序；
(2)将按照关键字、生成时间分类并排序的数据写入存储模块，当待写入的数据与存储模块中已有的数据重复时，存储模块拒绝此数据的写入；
(3)通过读取模块读取存储模块内的数据并输出至数据处理模块，所述的数据处理模块提取数据的生成时间、关键字以生成分类排序列表，分类排序列表便于用户查询与系统追踪;所述的数据处理模块还计算数据的总量并生成相应总量列表；
(4)将经过数据处理模块处理的分类排序列表与总量列表通过通讯模块连接以太网。
[0008]前述的一种适用于大数据分析的数据处理方法，在步骤(I)中，所述的电子商户平台包括但不限于阿里巴巴、京东、唯品会、亚马逊。
[0009]前述的一种适用于大数据分析的数据处理方法，在步骤(2)中，所述的生成时间为数据的生成时间，所述的关键字信息包含在数据中。
[0010]前述的一种适用于大数据分析的数据处理方法，在步骤(3)中，所述的数据的总量为产品的月销售额、订单量、月客户群数量、库存量、各个客户的地域、单月购买数量、单月购买数额。
[0011]前述的一种适用于大数据分析的数据处理方法，所述的分类排序列表与总量列表定时更新。
[0012]前述的一种适用于大数据分析的数据处理方法，所述的存储模块中数据定时更新。
[0013]与现有技术相比，本发明的有益效果是:设立定时更新的分类排序列表与总量列表，方便用户查询与追踪，而且对总量进行计算，将网上商户的所有数据进行有效整合，以方便决策。
[0014]
【具体实施方式】
[0015]下面结合具体实施例对本发明作进一步说明。
[0016]—种适用于大数据分析的数据处理方法，包括如下步骤:
(1)通过数据采集服务器采集电子商户平台上的各种数据，将各数据按照关键字、生成时间分类并排序；
(2)将按照关键字、生成时间分类并排序的数据写入存储模块，当待写入的数据与存储模块中已有的数据重复时，存储模块拒绝此数据的写入；
(3)通过读取模块读取存储模块内的数据并输出至数据处理模块，所述的数据处理模块提取数据的生成时间、关键字以生成分类排序列表，分类排序列表便于用户查询与系统追踪;所述的数据处理模块还计算数据的总量并生成相应总量列表；
(4)将经过数据处理模块处理的分类排序列表与总量列表通过通讯模块连接以太网。
[0017]在步骤(I)中，所述的电子商户平台包括但不限于阿里巴巴、京东、唯品会、亚马逊。
[0018]在步骤(2)中，所述的生成时间为数据的生成时间，所述的关键字信息包含在数据中。
[0019]在步骤(3)中，所述的数据的总量为产品的月销售额、订单量、月客户群数量、库存量、各个客户的地域、单月购买数量、单月购买数额。
[0020]所述的分类排序列表与总量列表定时更新。所述的存储模块中数据定时更新。
[0021]上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围。
【主权项】
1.一种适用于大数据分析的数据处理方法，包括如下步骤: (1)通过数据采集服务器采集电子商户平台上的各种数据，将各数据按照关键字、生成时间分类并排序； (2)将按照关键字、生成时间分类并排序的数据写入存储模块，当待写入的数据与存储模块中已有的数据重复时，存储模块拒绝此数据的写入； (3)通过读取模块读取存储模块内的数据并输出至数据处理模块，所述的数据处理模块提取数据的生成时间、关键字以生成分类排序列表，分类排序列表便于用户查询与系统追踪;所述的数据处理模块还计算数据的总量并生成相应总量列表； (4)将经过数据处理模块处理的分类排序列表与总量列表通过通讯模块连接以太网。2.根据权利要求1所述的一种适用于大数据分析的数据处理方法，其特征在于，在步骤(1)中，所述的电子商户平台包括但不限于阿里巴巴、京东、唯品会、亚马逊。3.根据权利要求1所述的一种适用于大数据分析的数据处理方法，其特征在于，在步骤(2)中，所述的生成时间为数据的生成时间，所述的关键字信息包含在数据中。4.根据权利要求1所述的一种适用于大数据分析的数据处理方法，其特征在于，在步骤(3)中，所述的数据的总量为产品的月销售额、订单量、月客户群数量、库存量、各个客户的地域、单月购买数量、单月购买数额。5.根据权利要求1所述的一种适用于大数据分析的数据处理方法，其特征在于，所述的分类排序列表与总量列表定时更新。6.根据权利要求1所述的一种适用于大数据分析的数据处理方法，其特征在于，所述的存储模块中数据定时更新。
【专利摘要】本发明涉及数据处理领域，具体涉及一种适用于大数据分析的数据处理方法，包括如下步骤：通过数据采集服务器采集电子商户平台上的各种数据，将各数据按照关键字、生成时间分类并排序；将按照关键字、生成时间分类并排序的数据写入存储模块；通过读取模块读取存储模块内的数据并输出至数据处理模块，所述的数据处理模块提取数据的生成时间、关键字以生成分类排序列表，分类排序列表便于用户查询与系统追踪；所述的数据处理模块还计算数据的总量并生成相应总量列表；将经过数据处理模块处理的分类排序列表与总量列表通过通讯模块连接以太网。与现有技术相比，本发明设立定时更新的分类排序列表与总量列表，方便用户查询与追踪，而且方便决策。
【IPC分类】G06Q30/02
【公开号】CN105447719
【申请号】CN201510858892
【发明人】夏钢, 方芳, 燕青, 陈斌, 丁令
【申请人】苏州铭冠软件科技有限公司
【公开日】2016年3月30日
【申请日】2015年12月1日