基于大数据的电子商务产业带统计方法及系统与流程

本发明涉及大数据处理，具体地说是基于大数据的电子商务产业带统计方法及系统。

背景技术：

1、近年来，随着电子商务的迅猛发展，网络购物成为新的消费形态，也逐渐成长为经济增长的新力量。电商产业带是一条带状的链条产业集中区域，是相关或相同的电商产业的基地，在此区域内可以形成电商产业集聚效应，更好的壮大产业。在这产业带里资源会更有效地利用和配置，产业带的形成是区域经济发展的一个显著特征。在产业带形成初期，企业区位行为受环境条件的影响，而表现为向某一优势区位集中，进而发展成若干城市工业集中区，企业在运营过程中又由中心向外沿轴线扩散，这两种空间过程既相互推动又相互制约，便形成了产业带。电商产业带涵盖了电子商务企业、物流配送企业、金融支付企业、信息技术服务企业等相关产业的集聚区域。这些企业之间相互依存、相互促进，形成了一条完整的产业链，从而形成了一个具有竞争力和优势的电商生态系统。

2、如何通过对网络零售数据的监测统计、找出电子商务产业带，是需要解决的技术问题。

技术实现思路

1、本发明的技术任务是针对以上不足，提供基于大数据的电子商务产业带统计方法及系统，来解决如何通过对网络零售数据的监测统计、找出电子商务产业带的技术问题。

2、第一方面，本发明一种基于大数据的电子商务产业带统计方法，包括如下步骤：

3、确定电商产业带定义相关的多个维度的指标；

4、基于配置的指标，采集相关数据，相关包括网络零售数据，并对采集的相关数据进行数据预处理，并将预处理后相关数据存储至数据库中；

5、基于采集的相关数据制定电商产业带的筛选规则，每个维度的指标对应有相关的筛选规则；

6、基于筛选规则进行电商产业带筛选，并对筛选出的电商产业带进行打分和验证。

7、作为优选，确定电商产业带定义的相关指标包括：

8、地理位置，电商产业带集中在某个地理区域，地理区域具有符合预设条件的基础设施、交通网络、物流和供应链体系；

9、企业数量，电商产业带内具有预定数量的电商企业，包括电商平台、电商服务提供商以及物流公司；

10、人才聚集，电商产业带具有多种人员，包括技术开发人员、市场营销人员和物流管理人员；

11、政策支持，电商产业带内政府提供支持，包括税收优惠和知识产权保护；

12、经济效益，电商产业带能够为当前地理位置的经济提供贡献，包括创造就业机会以及促进消费增长。

13、作为优选，基于电子商务平台，通过互联网爬虫技术采集网络零售数据，所述网络零售数据包括店铺id、店铺名称、店铺所在地、商品发货地、评分、商品名称、价格、评价以及销量；

14、对采集的相关进行数据预处理，包括如下步骤：

15、按照规划的统一标准，对各电商平台采集的网络零售数据进行标准化，并进行各个指标的计算；

16、对于异常的数据，进行异常值的筛选和处理，形成每个电商平台的商品明细表和店铺明细表；

17、根据采集到的电商企业工商注册信息，得到企业的地理位置分布情况和城市的电商企业数量；

18、根据采集到的电商企业的参保人数获得企业员工数量；

19、对于政策支持对应的数据，采集政策类网站的信息，识别出各城市与电商相关的政策数量和政策等级；

20、根据采集店铺的销售额，统计城市中电商产业带来销售额数据，根据店铺的网络零售规模，推算店铺电子商务方面店铺经营以及物流的从业人数，得到带动就业的数量。

21、作为优选，制定电商产业带的筛选规则时，执行如下操作：

22、对于地理位置，优先考虑电商产业同属于一个城市情况；

23、对于企业数量，设定城市电商企业数量大于5000家；

24、对于人才聚集，设定城市电商企业人员数量大于2万人，或一级大类的企业人员数量大于4000人，其中，一级大类包括日用品、服装和家电；

25、对于政策支持，设定最近3年政府发布的电商方面政策数量大于20；

26、对于经济效益，设定电商产业年网络零售额大于1亿元，电商从业人数大于2万人，对于某一行业的产业带，筛选规则在整个电商产业带的基础上进行预定数量的下降。

27、作为优选，对于筛选出的符合筛选规则的城市电商产业带，每一个维度的指标设置权重和评分标准，计算电商产业带的总体分值，总体分值高于阈值的电商产业带发展较好，总体分值低于阈值的电商产业带发展不好或者还未达到电商产业带，从行业角度来看，虽然某些城市整体电商产业发展还不足、但在某个特定行业的发展较好；

28、对筛选出的电商产业带进行人工验证，识别出最终的电商产业带。

29、第二方面，本发明一种基于大数据的电子商务产业带统计系统，用于通过如第一方面任一项所述的基于大数据的电子商务产业带统计方法统计电子商务产业带，所述系统包括：

30、指标制定模块，所述指标制定模块用于确定电商产业带定义相关的多个维度的指标；

31、数据采集模块，所述数据采集模块用于基于配置的指标，采集相关数据，相关包括网络零售数据，并对采集的相关数据进行数据预处理，并将预处理后相关数据存储至数据库中；

32、筛选规则配置模块，所述筛选规则配置模块用于基于采集的相关数据制定电商产业带的筛选规则，每个维度的指标对应有相关的筛选规则；

33、打分验证模块，所述打分验证模块用于基于筛选规则进行电商产业带筛选，并对筛选出的电商产业带进行打分和验证。

34、作为优选，确定电商产业带定义的相关指标包括：

35、地理位置，电商产业带集中在某个地理区域，地理区域具有符合预设条件的基础设施、交通网络、物流和供应链体系；

36、企业数量，电商产业带内具有预定数量的电商企业，包括电商平台、电商服务提供商以及物流公司；

37、人才聚集，电商产业带具有多种人员，包括技术开发人员、市场营销人员和物流管理人员；

38、政策支持，电商产业带内政府提供支持，包括税收优惠和知识产权保护；

39、经济效益，电商产业带能够为当前地理位置的经济提供贡献，包括创造就业机会以及促进消费增长。

40、作为优选，所述数据采集模块用于基于电子商务平台、通过互联网爬虫技术采集网络零售数据，所述网络零售数据包括店铺id、店铺名称、店铺所在地、商品发货地、评分、商品名称、价格、评价以及销量；

41、所述数据采集模块用于执行如下对采集的相关进行数据预处理：

42、按照规划的统一标准，对各电商平台采集的网络零售数据进行标准化，并进行各个指标的计算；

43、对于异常的数据，进行异常值的筛选和处理，形成每个电商平台的商品明细表和店铺明细表；

44、根据采集到的电商企业工商注册信息，得到企业的地理位置分布情况和城市的电商企业数量；

45、根据采集到的电商企业的参保人数获得企业员工数量；

46、对于政策支持对应的数据，采集政策类网站的信息，识别出各城市与电商相关的政策数量和政策等级；

47、根据采集店铺的销售额，统计城市中电商产业带来销售额数据，根据店铺的网络零售规模，推算店铺电子商务方面店铺经营以及物流的从业人数，得到带动就业的数量。

48、作为优选，制定电商产业带的筛选规则时，所述筛选规则配置模块用于执行如下操作：

49、对于地理位置，优先考虑电商产业同属于一个城市情况；

50、对于企业数量，设定城市电商企业数量大于5000家；

51、对于人才聚集，设定城市电商企业人员数量大于2万人，或一级大类的企业人员数量大于4000人，其中，一级大类包括日用品、服装和家电；

52、对于政策支持，设定最近3年政府发布的电商方面政策数量大于20；

53、对于经济效益，设定电商产业年网络零售额大于1亿元，电商从业人数大于2万人，对于某一行业的产业带，筛选规则在整个电商产业带的基础上进行预定数量的下降。

54、作为优选，对于筛选出的符合筛选规则的城市电商产业带，所述打分验证模块用于执行如下：

55、为每一个维度的指标设置权重和评分标准，计算电商产业带的总体分值，总体分值高于阈值的电商产业带发展较好，总体分值低于阈值的电商产业带发展不好或者还未达到电商产业带，从行业角度来看，虽然某些城市整体电商产业发展还不足、但在某个特定行业的发展较好；

56、对筛选出的电商产业带进行人工验证，识别出最终的电商产业带。

57、本发明的基于大数据的电子商务产业带统计方法及系统具有以下优点：

58、1、基于制定的维度，采集网络零售数据，对于每个维度，基于设定的筛选规则进行筛选、打分和验证，得到电商产业带，提高了筛选的速度和准确性，得到的电商产业带，能给当地政府提供建议，因地制宜推出适合的扶持和推动发展的政策，更好的发展当地的电商产业，在电商产业带中，各类企业可以通过资源共享、技术创新、市场开拓等方式实现协同发展，提高整体竞争力和影响力；

59、2、对于采集的数据进行预处理，去除异常值并进行标准化，提高了后续数据处理的速度。