一种基于数据中台的智能预测与推荐系统、方法与流程

本发明属于数据中台的智能预测与推荐，特别是涉及一种基于数据中台的智能预测与推荐系统、方法。

背景技术：

1、在现有的商品库存预测及采购智能推荐的解决方案中，采用的是基于供应链管理系统，面向供应商统一集中式的预测与推荐算法。因此，在预测的算法上，预测特征变量需具备统一性，对门店的区域性等个性化的特征变量处理，或采用统一化处理，或不考虑该特征对预测的影响。个别同类产品虽然应用了门店区域化、个性化的预测与推荐技术，由于缺乏数据中台的支撑，在并行计算引擎的伸缩性设计上，以及灵活地采集区域化、本地化的相关数据方面，复杂度较高。因此，为简化预测计算等，现有产品往往采用的是基于门店店长或店员的运营经验，通过规则设置实现的商品库存预测及采购推荐。

2、商品库存预测及采购推荐在互联网电商领域得到了广泛的应用，并取得了一定的成效。但随着商业型态的发展和变化，越来越多的线下门店已经实现数字化技术的改造，数据驱动业务的需求日趋强烈。其中，传统的库存预测及采购推荐系统在门店运营中遇到了极大的挑战。由于传统的库存预测及采购推荐系统应用的是面向供应商统一集中式的预测与推荐算法，预测特征变量需要具有统一性。对门店的区域性等个性化的特征变量，如当地气候、区域化营销活动、门店所出的地点位置、门店客流量、当地客户购买需求及偏好等，缺乏考虑。因此，在门店的库存预测及采购推荐准确率有一定的偏差。另外，随着企业的发展，全国的门店越来越多，既有直营店，也有加盟店；个别的同类产品虽然考虑了门店商品库存预测及采购推荐的本地化或个性化需求，但往往采用的是基于门店店长或店员的运营经验，通过规则设置实现的商品库存预测及采购推荐，该现有技术的计算机程序流程如说明书附图的图11所示，对应的现有技术的程序模块系统结构如图12所示。这种系统规则深度依赖于门店店长的经验，显然在大量的店铺经营数据面前，预测的规范化和标注化很难达到统一，因此商品库存预测准确性亦会受到影响。

技术实现思路

1、本发明提供了一种基于数据中台的智能预测与推荐系统、方法，尤其关系到在多销售渠道下，实现门店商品库存预测和采购智能推荐。通过影响商品库存周转的多样性因素，及门店所在区域售卖商品的交易特征，在数据中台的基础上，提供一种系统和方法来实现门店商品库存智能预测与采购智能推荐；首先，从数据上，根据本地解决了库存预测的特征数据多样性的瓶颈，通过数据中台的实时数据采集平台，能够灵活地、配置化地采集门店所在地的天气数据、门店的订单库存消耗数据、门店促销活动、门店位置人流数据、节假日销售数据及品类季节性销售特征；数据中台采集门店本地化的数据后，通过门店维度对数据分门别类地处理，形成对门店的库存预测及采购推荐的特征变量，从而实现以门店视角准确地预测所需库存；其次，结合数据中台并行计算引擎，高效地实现全国门店商品库存预测与采购推荐的并发计算，且各门店的预测与推荐计算是处于相互隔离状态；由于本发明是基于门店维度数据进行的库存预测，因此，在门店预测数据的基础上，还可以及时将预测数据按照区域全国进行聚合汇总，使全国性的库存预测数据准确性较传统的库存预测方法有大幅度提高，由此，解决了背景技术中的问题。

2、为解决上述技术问题，本发明是通过以下技术方案实现的：

3、本发明的一种基于数据中台的智能预测与推荐系统，包括：

4、数据采集配置模块：用于针对包括门店数据来源的多样性、门店核心商品、门店的关联特征字段和不同门店数据的采集周期实现个性化配置，通过配置，门店数据既能够来自企业内部，也能够来自企业的外部；

5、门店数据实时采集模块：用于根据数据的配置定义，实时地完成对包括数据库表数据、文件数据、消息队列数据、api接口数据的采集；

6、数据预处理与校验模块：用于完成对采集数据的规范校验及预处理，以保证数据的质量和准确性；

7、门店数据特征向量化与持久化模块：用于对采集的特征数据中，包括客户的商品偏好的文本化数据进一步采取编码向量化处理，使所述文本化数据能够持久化的作为库存预测的核心特征推导模型；

8、数据入库模块：用于将采集的门店数据和向量化的数据写入数据库及缓存存储；

9、预测模型计算引擎：用于依托于各门店的历史特征数据，采用与门店自适应的时序预测算法来计算完成门店库存的预测，所述时序预测算法为定期完成；

10、定时调度模块：用于对门店库存的预测计算进行定期任务的调度控制；

11、模型生成与评价模块：用于评价通过基于时序预测算法计算而得到的门店库存预测模型是否满足预测精度的要求；

12、库存预测结果生成模块：用于对通过所述模型生成与评价模块评价的门店库存预测模型，进一步结合门店场景需要而得出未来一定周期的库存需求预测量；

13、库存预测服务及推送模块：用于将所述库存预测结果生成模块所得的各门店的库存需求预测量触达及推送至各门店的店长做进一步进货决策。

14、进一步地，所述系统按照模块隶属关系划分包括如下子系统：

15、门店实时数据采集子系统：用于通过包括sftp、http、restful、kafka的订阅方式，实时采集门店相关的运营数据和门店所在地的气象天气数据；

16、门店实时数据预处理子系统：用于对实时采集的数据按照预先定义的数据规则进行预处理加工，生成符合库存预测的变量数据，

17、门店实时数据存储子系统：用于将预处理完毕后的数据存入门店实时库存预测建模子系统和门店实时库存预测计算子系统进行应用；

18、门店实时库存预测建模子系统：用于在次级并预处理过的数据基础上，定时地依托样本数据，利用长短记忆组合算法，依次建立门店库存预测模型；

19、门店实时库存预测计算子系统：用于对通过算法评价后的的门店库存预测模型自动化地进行部署，并更新过期的门店库存预测模型，新生成的门店库存预测模型部署成功后，周期性读取库存数据，预测未来一天的库存需求；预测的库存数据在满足人为设定的预测误差条件下，按照门店维度存入数据库；

20、门店实时库存预测服务子系统：用于在门店需要订购新的库存时，在现有的门店业务管理系统中自动获取未来一天的商品库存的采购量。

21、进一步地，所述运营数据包括门店销售数据、门店在库库存、门店进货数据、门店促销数据、门店所在地客户偏好。

22、进一步地，所述数据采集配置模块、数据实时采集模块、数据预处理校验模块、门店数据特征向量化与持久化模块、定时调度模块构成数据中台的核心基础，是基于java、kafka、flink及oceanbase分布式数据库读写组件实现，并完成了所有门店关联数据的采集、预处理及向量和持久化。

23、进一步地，经由所述门店数据实时采集模块、数据预处理与校验模块采集及预处理完毕的数据以门店基础数据和门店业务特征数据存储于oceanbase分布式数据库。

24、进一步地，所述定时调度模块实现的方式包括：

25、一种是在xxl-job的基础上，完成java程序类任务的定时调度与管理；

26、另一种是在cron job的基础上，完成python程序类任务的定时调度与管理。

27、进一步地，所述数据中台的并发计算引擎是依赖于python dask库实现，通过dask能够多主机、多线程地执行门店的计算任务，计算任务的执行是由定时调度模块触发。

28、进一步地，所述门店数据特征向量化与持久化模块、模型生成与评价模块、库存预测结果生成模块是在数据数据中台的基础上，采用python语言，实现门店商品库存预测与采购推荐的应用模块，每家门店商品库存预测的结果会写入mysql数据库或redis缓存，所述预测结果能够通过库存预测服务及推送模块中的库存预测推送模块定时推送给相关门店，并由库存预测服务及推送模块中的的库存预测服务模块直接提供查询服务于各门店。

29、一种基于数据中台的智能预测与推荐方法，基于上述一种基于数据中台的智能预测与推荐系统实现，包括如下步骤：

30、s1、门店实时数据采集及入库：通过数据采集配置模块与门店数据实时采集模块实时采集包括内部系统和外部系统的门店数据源，所述内部系统包括企业erp系统、门店pos系统、门店crm系统、门店营销管理系统、客户标签画像管理系统；外部系统包括门店所在城市及地区具体位置的天气气象数据，所述天气气象数据来源于官方气象网站；内部系统的采集周期根据需要灵活配置；

31、s2、门店数据特征向量和持久化：通过数据预处理与校验模块完成对采集数据的规范校验及预处理，以保证数据的质量和准确性；然后通过门店数据特征向量化与持久化模块对采集的特征数据中客户商品偏好的文本数据进一步采取编码向量化处理，使文本化数据能够持久化的作为库存预测和核心特征推导模型；

32、s3、针对门店定时更新预测模型：通过门店实时库存预测计算子系统对通过算法评价后的的门店库存预测模型自动化地进行部署，并更新过期的门店库存预测模型；

33、s4、自动化部署更新门店预测模型及通过数据中台的并行计算引擎，批量化地计算各门店的商品库存预测及采购推荐：

34、新生成的门店库存预测模型部署成功后，周期性读取库存数据，预测未来一天的库存需求；预测的库存数据在满足人为设定的预测误差条件下，按照门店维度存入数据库；通过门店实时库存预测服务子系统在门店需要订购新的库存时，在现有的门店业务管理系统中自动获取未来一天的商品库存的采购量；通过库存预测结果生成模块对通过所述模型生成与评价模块评价的门店库存预测模型，进一步结合门店场景需要而得出未来一定周期的库存需求预测量；通过库存预测服务及推送模块将所述库存预测结果生成模块所得的各门店的库存需求预测量触达及推送至各门店的店长做进一步进货决策。

35、进一步地，所述数据采集配置模块与门店数据实时采集模块进行数据采集时，数据采集的字段包括：用户id、客户购买商品、客户购买金额、客户购买渠道或门店、昨日门店出货库存、昨日门店进货库存、昨日缺货数量、当日在库库存、门店是否有促销活动、门店商品是否优惠、门店优惠折扣、过去30日最大销售商品、过去30日最大进货量商品以及门店所在位置包括温湿度、是否下雨及雨量大小、是否刮风及风力大小的气相数据。

36、本发明相对于现有技术包括有以下有益效果：

37、(1)本发明从数据上，根本地解决了库存预测的特征数据多样性的瓶颈，通过数据中台的实时数据采集平台，可灵活地、配置化地采集门店所在地的天气数据、门店的订单库存消耗数据、门店促销活动、门店位置人流数据、节假日销售数据及品类季节性销售特征；在多销售渠道下，实现门店商品库存预测和采购智能推荐；

38、(2)数据中台采集门店本地化的数据以后，通过门店维度对数据分门别类地处理，形成对门店的库存预测及采购推荐的特征变量，从而实现以门店视角准确地预测所需库存；

39、(3)结合数据中台并行计算引擎，本发明高效地实现全国门店商品库存预测与采购推荐的并发计算，且各门店的预测与推荐计算是处于相互隔离状态；

40、(4)由于本发明是基于门店维度数据进行的库存预测，因此在门店预测数据的基础上，还可以及时将预测数据按照区域或全国进行聚合汇总，使得全国性的库存预测数据准确性较传统的库存预测方法有大幅提高；

41、(5)数据采集配置灵活多样，即可以采集结构化数据，亦可采集非结构化数据；结构化数据通过数据验证与校验，以及归一化和标准化处理，可形成预测库存的特征数据；同时，非结构化的数据也可通过映射编码算法实现特征数据向量化，成为影响库存预测的重要变量；因此，本发明增强了结构化数据和非结构化数据的处理，丰富了数据采集维度，扩大了门店库存的预测变量，使得门店库存的预测更加准确与全面。

42、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。