一种自动化卷烟零售市场数据统计分析系统及方法与流程

本发明属于卷烟零售领域，尤其涉及一种自动化卷烟零售市场数据统计分析系统及方法。

背景技术：

1、随着烟草行业推出了“20支”流通品牌，通过发展自营店和加盟店，实现了这些门店零售业务的信息化应用。这些应用为市场分析提供了充足的数据，为解决原来市场分析存在的分析模型不全面、分析维度不充实、分析报告不智能等三个主要问题提供了基础，使得市场分析结果可以高效自动化产生，帮助业务人员准确掌握市场变化，提升营销水平。

2、卷烟零售市场的分析一直以来由于零售门店的信息化程度较低，市场数据采集较困难，仅通过少量零售门店作为数据采集点，手工收集门店的卷烟社会库存和零售价格的数据，所做的市场分析有一定的局限性：一是现有市场分析的模型不能全面涵盖市场的零售商、消费者、卷烟商品等要素。卷烟零售市场中的零售商的盈利状况，消费者消费习惯和消费意愿，卷烟商品的品牌、口味和消费档次，都是关键的市场因素。只有建立全面反映卷烟零售市场的购销存和价格以及零售商、消费者、卷烟商品的状况，才能真正有效地分析市场、洞察市场；二是现有市场分析模型有时间维度和地域维度，但缺少卷烟商品的品牌和生产厂家的维度，缺少消费者的性别、年龄、籍贯等群体标签的维度；三是现有市场分析只能展现数据和统计图表，不能给出文字的分析结论，无法自动形成数据、图表、文字相结合的卷烟零售市场行情分析报告。

技术实现思路

1、本发明的目的是提出一种自动化卷烟零售市场数据统计分析系统及方法，用大数据结合市场营销分析方法建立卷烟零售市场的分析模型，用数据湖技术实现模型的分析计算，采用基于模板的方法生成报告的图表内容，结合ai模型生成分析结论，最终智能化地自动生成卷烟零售市场分析报告。

2、为了达到上述目的，本发明提供一种自动化卷烟零售市场数据统计分析系统，所述系统包括：

3、样本筛选模块，用于筛选零售门店以获得样本数据；

4、其中，将所述零售门店的数据按照档位进行分类，按照分类的抽样比例抽取零售门店数据的样本，所述抽样比例为

5、其中，th表示第h类的抽样的样本门店数量，t表示抽样的样本门店总数量，ph表示第h类的零售门店数量占比，qh表示第h类零售门店户卷烟销量的方差，通过所述方差表示每个类别个体之间的差异程度，其中，ph＝th/t，t表示零售门店总数，th为第h层零售门店数量；1≤h≤h，h为档位总数；

6、数据分析模块，用于构建指标体系和构建分析计算模型以对所述样本数据进行统计分析；

7、其中，所述指标体系包括卷烟品牌市场动态指数、卷烟品牌市场表现指数、个人卷烟消费指数、卷烟社会库存指数、零售户卷烟经营水平指数和卷烟零售价格指数；依据所述指标体系利用数据湖构建分析计算模型；

8、所述卷烟品牌市场动态指数计算如下：

9、采用变异系数法来构建卷烟品牌市场动态指数y1，选取了重需率、动销率、动销比和客户断货率四个与市场关系密切的指标作为计算指标，步骤具体包括：首先需要对指标做正向化处理，动销比和客户断货率是负向指标，取其倒数作为计算指标，其它正向指标无需处理；经过处理后4个指标按上述顺序分别表示为x1、x2、x3、x4；计算各项计算指标的权重，选取m个月的数据构成矩阵x＝(xij)m×4，其中xi1、xi2、xi3、xi4(i＝1，2，...，m)对应上述4个指标，则每个指标的平均数为

10、

11、每个指标的标准差sj为

12、

13、其中，i＝1，2，...，m；j＝1，2，3，4，则xj的变异系数ej为

14、

15、此时的各项计算指标的权重wj就是

16、

17、由此得出卷烟品牌市场动态指数y1的计算公式为

18、

19、所述卷烟品牌市场表现指数计算如下：

20、采用变异系数法来构建卷烟品牌市场表现指数y2，选取了卷烟品规价格升降排名、卷烟品规销量占比排名和卷烟品规毛利率排名三个计算指标，分别用a1、a2、a3表示，采用上述的变异系数法来计算权重bj，则

21、

22、所述个人卷烟消费指数计算如下：

23、采用乘法合成法来生成个人卷烟消费指数y3，选取了个人卷烟月均消费量、个人卷烟月均消费均价为计算指标，分别用d1、d2表示，则个人卷烟消费指数

24、y3＝d1·d2

25、所述卷烟社会库存指数计算如下：

26、采用卷烟零售存销比作为卷烟社会库存指数y4，用上期社会库存sp、本期社会库存ss、本期社会购进oc和本期社会销量qs为计算指标，则

27、

28、所述零售户卷烟经营水平指数计算如下：

29、采用变异系数法来构建零售户卷烟经营水平指数y5，选取了零售户卷烟销售量、零售户卷烟经营毛利、零售户卷烟销售均价三个计算指标，分别用c1、c2、c3表示，采用上述的变异系数法来计算权重pj，则零售户卷烟经营水平指数为

30、

31、所述卷烟零售价格指数计算如下：

32、

33、其中，∑aqs表示当前时间目标区域全部采集的卷烟订单数据的销售金额合计；

34、∑bqs表示当前时间目标区域全部采集的卷烟订单数据的销售数量合计；

35、∑cqs表示基期时间目标区域全部采集的卷烟订单数据的销售金额合计；

36、∑dqs表示基期时间目标区域全部采集的卷烟订单数据的销售数量合计；

37、jqs表示目标区域卷烟零售价格指数，qs表示所述目标区域包括不同的省或市；

38、报告生成模块，用于根据模板生成报告；

39、其中，所述报告生成模块包括自定义报告子模块和自动化生成报告子模块，所述自定义报告子模块用于把用户的分析需求用标签定义在报告模板pptx文件上并由系统识别出标签存入数据库，所述自动化生成报告子模块用于根据所述数据湖的数据和用户定义的报告模板生成报告和得出结论。

40、进一步地，从样本门店采集的数据包括门店零售系统的购进单、销售单、库存、结算、消费者、商品、商品生产商、商品供应商的数据、从烟草公司营销系统采集的数据和从物流系统采集的数据；

41、所述从烟草公司营销系统采集的数据包括：批发数据和门店基础信息数据；所述物流系统采集的数据包括送货单；

42、所述样本筛选模块进一步用于：将从样本门店采集的数据进行数据清洗，并将数据清洗后的数据作为所述样本数据；

43、所述数据清洗依据预先设定的数据检查规则并结合数据血缘关系进行数据质量检查以评估样本门店的数据质量，将样本门店的数据质量高于质量阈值的数据作为所述样本数据。

44、进一步地，所述数据检查规则包括基于业务逻辑进行检查或基于统计分析检查；所述数据血缘关系为从批发、零售的商流、物流的过程追踪数据的血缘关系，包括门店零售系统的进货量与烟草公司营销系统的批发量、物流系统的送货量的同缘关系。

45、进一步地，所述自定义报告模板子模块用于把用户的分析需求用标签定义在报告模板pptx文件上并由系统识别出标签存入数据库,具体步骤为：

46、对用户提交的模板信息进行校验，通过校验之后向数据库插入模板记录；

47、插入模板之后，对上传的模板文件进行处理；

48、用poi类库中的slideshow接口对报告模板的内容进行读取，逐一识别pptx页中的标签，将标签信息插入数据库，然后继续识别标签直到全部标签被识别完毕。

49、进一步地，还包括，所述自定义报告模板子模块用于查询、新增、更新和删除模板。

50、进一步地，所述自动化生成报告子模块包括图表生成单元和分析结论单元，所述图表生成单元包括接口管理子单元和任务管理子单元，所述接口管理子单元根据接口标识、接口名称、创建人姓名、适用图表类型、接口状态的信息查询、新增、删除、编辑和查看数据接口；所述任务管理子单元用于定制定时或非定时的任务新增、任务查询、任务执行、任务配置，任务用于根据报告模板调用标签对应的数据接口生成报告的内容和用ai模型生成分析结论。

51、进一步地，所述数据库包括自定义模板数据库、接口管理数据库和任务管理数据库；

52、所述自定义模板数据库将pptx页中的数据报告模板以自定义模板内存数据表的形式进行存储，所述自定义模板内存数据表以标签为主键，包括数据报告模板名称、pptx模板文件名称、pptx模板附件id、可预览页数和模板状态为数据列；

53、所述接口管理数据库将接口的管理方式以接口管理内存数据表的形式进行存储，所述接口管理内存数据表以接口记录为主键，包括接口标识、接口名称、适用图片类型、接口地址、接口描述、接口参数、返回示例和接口状态为数据列；

54、所述任务管理数据库将任务日志的管理方式以任务管理内存数据表的形式进行存储，所述管理内存数据表以选中的文件为主键，包括任务名称、模板id、是否定时任务、定时任务表达式、卷烟公司、市场区域范围和报告数据月份为数据列。

55、进一步地，所述用ai模型生成分析结论的步骤具体为：

56、通过数据接口服务获取分析数据，基于自定义报告子模块来生成报告的图表内容，再利用ai技术，通过seq2seq模型和pegasus模型对图表数据的重要信息进行结论描述。

57、进一步地，所述数据湖采用dremio引擎，所述依据所述指标体系利用数据湖构建分析计算模型包括：

58、采用数据反射获取业务系统的数据，用内存列式存储来构建物理数据集，用语义层的虚拟数据集来构建分析计算模型。

59、在本发明的另外一方面提供了一种自动化卷烟零售市场数据统计分析方法，所述方法包括：

60、s1、筛选零售门店以获得样本数据；

61、其中，所述零售门店数据按照档位进行分类，按照抽样比例抽取零售门店数据的样本，所述抽样比例为

62、其中，th表示第h类的抽样的样本门店数量，t表示抽样的样本门店总数量，ph表示第h类的零售门店数量占比，qh表示第h类零售门店户卷烟销量的方差，通过所述方差表示每个类别个体之间的差异程度，其中，ph＝th/t，t表示零售门店总数，th为第h层零售门店数量；1≤h≤h，h为档位总数；

63、s2、构建指标体系和构建分析计算模型以对所述样本数据进行统计分析；

64、其中，所述指标体系包括卷烟品牌市场动态指数、卷烟品牌市场表现指数、个人卷烟消费指数、卷烟社会库存指数、零售户卷烟经营水平指数和卷烟零售价格指数；依据所述指标体系利用数据湖构建分析计算模型；

65、所述卷烟品牌市场动态指数计算如下：

66、采用变异系数法来构建卷烟品牌市场动态指数y1，选取了重需率、动销率、动销比和客户断货率四个与市场关系密切的指标作为计算指标，步骤具体包括：首先需要对指标做正向化处理，动销比和客户断货率是负向指标，取其倒数作为计算指标，其它正向指标无需处理；经过处理后的4个指标按上述顺序分别表示为x1、x2、x3、x4；计算各项计算指标的权重，选取m个月的数据构成矩阵x＝(xij)m×4，其中xi1、xi2、xi3、xi4(i＝1,2,…,m)对应上述4个指标，则每个指标的平均数为

67、

68、每个指标的标准差为

69、

70、其中，i＝1,2,…,m；j＝1,2,3,4，则xj的变异系数ej为

71、

72、此时的各项计算指标的权重就是

73、

74、由此可得出卷烟品牌市场动态指数的计算公式为

75、

76、所述卷烟品牌市场表现指数计算如下：

77、采用变异系数法来构建卷烟品牌市场表现指数y2，选取了卷烟品规价格升降排名、卷烟品规销量占比排名和卷烟品规毛利率排名三个计算指标，分别用a1、a2、a3表示，采用上述的变异系数法来计算权重bj，则

78、

79、所述个人卷烟消费指数计算如下：

80、采用乘法合成法来生成个人卷烟消费指数y3，选取了个人卷烟月均消费量、个人卷烟月均消费均价为计算指标，分别用d1、d2表示，则个人卷烟消费指数

81、y3＝d1·d2

82、所述卷烟社会库存指数计算如下：

83、采用卷烟零售存销比作为卷烟社会库存指数y4，用上期社会库存sp、本期社会库存ss、本期社会购进oc和本期社会销量qs为计算指标，则

84、

85、所述零售户卷烟经营水平指数计算如下：

86、采用变异系数法来构建零售户卷烟经营水平指数y5，选取了零售户卷烟销售量、零售户卷烟经营毛利、零售户卷烟销售均价三个计算指标，分别用c1、c2、c3表示，采用上述的变异系数法来计算权重pj，则零售户卷烟经营水平指数为

87、

88、所述卷烟零售价格指数计算如下：

89、

90、其中，∑aqs表示当前时间目标区域全部采集的卷烟订单数据的销售金额合计；

91、∑bqs表示当前时间目标区域全部采集的卷烟订单数据的销售数量合计；

92、∑cqs表示基期时间目标区域全部采集的卷烟订单数据的销售金额合计；

93、∑dqs表示基期时间目标区域全部采集的卷烟订单数据的销售数量合计；

94、jqs表示目标区域卷烟零售价格指数，qs表示所述目标区域包括不同的省或市；

95、s3、根据模板生成分析报告；

96、其中，所述报告生成模块包括自定义报告子模块和自动化生成报告子模块，所述自定义报告子模块用于把用户的分析需求用标签定义在报告模板pptx文件上并由系统识别出标签存入数据库，所述自动化生成报告子模块用于根据所述数据湖的数据和用户定义的报告模板生成报告和得出结论。

97、本发明的有益技术效果至少在于以下几点：

98、(1)准确掌握市场状态，指导卷烟市场投放，有效进行经济运行调控。通过准确掌握市场状态，实时获取品牌市场价格、时点库存信息，判断品牌市场状态。可以指导卷烟市场投放，并有效进行经济运行调控。市场状态的掌握可以通过对市场环境、用户需求和竞争对手等因素的分析来实现。例如，可以通过对消费者的调研和市场竞争情况的分析，掌握市场的总体需求和变化趋势，从而指导卷烟市场投放的规划和实施。此外，还可以通过对市场运行的监测和分析，及时调控经济运行，实现市场供需的平衡和优化。例如，当市场需求出现波动或新产品上市时，通过对销售数据的监测和分析，及时调整卷烟生产和市场投放的计划，保证市场供应的充足性和可持续性。

99、(2)通过数据挖掘和信息分析，能够更早地发现卷烟销售中存在的问题和情况，帮助工业企业用户更好地调整生产和经营决策。例如，对销售数据进行分析，了解各个地区的销售趋势和偏好，进而制定更为精准的市场策略。为商业企业做好市场需求预测，实施品牌培育，开展门店服务，指导客户经营提供数据支持。此外，还可以通过对用户反馈数据的分析，深入了解用户的需求和意见，帮助企业优化产品质量和改进服务，提升用户满意度。

100、(3)通过挖掘消费者对于卷烟包装、口感、价类等偏好，把握用户体验效果，辅助烟草企业制定营销决策。实时获取品牌市场价格、时点库存信息，判断品牌市场状态。例如，通过对用户评价和意见的分析，了解用户对不同口味和包装的偏好，从而推出更受用户喜爱的产品，提高市场竞争力。此外，还可以通过对竞品数据的分析，了解市场上其他品牌的销售情况和特点，从而制定更为精准的市场定位和营销策略。为工业企业品牌培育、新品投放、货源衔接提供决策依据。准确掌握市场状态，指导卷烟市场投放，有效进行经济运行调控；

101、(4)直接采集门店数据，多源数据融合分析，真实反馈市场变化。面对海量、复杂的数据，通过数据融合可获得更有价值的信息，多源数据融合包括对多源数据进行检测、关联、组合、评估的过程。将各种不同的数据信息进行综合，吸取不同数据源的特点，然后从中提取出统一的，比单一数据更好、更丰富的信息，最后得到统一的卷烟行业信息。例如，在卷烟销售过程中，通过对销售数据、用户反馈数据、库存数据等多个系统的分析，了解整个销售链的运作情况，帮助企业更好地制定生产和销售计划，提高效率和盈利能力。此外，还可以通过对多个数据源的整合和分析，发现业务中的隐性关联，提供更全面的数据支持，提升决策的准确性和可信度。