本发明属于大数据应用技术领域,具体地涉及一种基于大数据的供应链需求预测与智能决策方法。
背景技术:
大数据技术作为决策神器,日益在社会治理和企业管理中起到不容忽视的作用,美国,欧盟都已经将大数据研究和使用列入国家发展的战略,类似谷歌,微软,百度,亚马逊等巨型企业也同样把大数据技术视为生命线以及未来发展的关键筹码。
需求预测是在一定的宏观、微观经济理论的指导下,根据事物过去和现在的发展动态、异常情形以及影响市场需求变化的诸多因素,包括销售状况、库存策略、生产流程、供应商的生产周期、运输能力等之间关系中的某些规律,参照当前已经出现和正在出现的各种可能性,应用现代管理技术和统计方法,模拟不可知的、未出现的或复杂的中间过程,对产品需求量的未来可能变化情况进行的一种多维度的分析、估计和判断。需求预测是按需生产的基础、是连接生产和销售的桥梁、是供应链管理的源头、是企业趋利避害的大动脉,它的准确与否直接关系到企业生产经营活动的成败。正确的预测是科学决策的前提,而正确的决策又给合理的预测提供了实现的机会。显然,企业所做的预测越准确,对未来商机的把握和对潜在风险的规避就越成功。
需求预测精度的控制是供应链预测中的重要环节。如果不能及时察觉环境变化及其变化规律性,将会影响预测结果的精度,产生较大的产销偏差,从而导致决策错误。
大数据智能时代为我们带来决策和管理的新方式,企业的决策者们需要习惯数据驱动的实验和测试,对任何重要项目进行小规模但系统的验证实验,使得制定出的决策更加可靠。
技术实现要素:
针对上述存在的技术问题,本发明目的是:提供了一种基于大数据的供应链需求预测与智能决策方法,基于海量数据结构化分析的基础上,通过多种预测算法,包括数学建模等来进行预测,根据这些预测得到的需求数据,并结合企业现有产能状态,做出相应决策。
本发明的技术方案是:
一种基于大数据的供应链需求预测与智能决策方法,包括以下步骤:
s01:通过hadoop将企业零售端的每笔非结构化销售记录进行结构化处理,得出产品的每天的销售记录;
s02:将产品结构化数据通过多种预测算法进行产品需求预测,并与实际数据镜像对比,选择误差最小的预测算法作为预测的模型算法,得到需求预测数据;
s03:将企业资源进行数学建模;创建决策变量,根据创建的决策变量,以主生产计划为基准,创建有约束的产能目标函数和无约束的产能目标函数,根据不同的产能目标函数构建相应的约束条件;
s04:根据需求预测数据和调整求解参数得到满足企业运营计划的资源分配方式或者需求资源。
优选的,所述步骤s02中的预测算法包括一次指数平滑法和二次指数平滑法,三次指数平滑法。
优选的,所述步骤s04还包括,
针对供应链流程中的随机因素,引入约束条件,运用仿真技术构建出若干个相互关联的供应链场景模型;
以真实供应链管理的情景为参照物,进行模拟、比较、优化,并通过反复的计算,模拟动态经营决策。
优选的,所述步骤s01中数学建模包括构建集合和参数,所述集合包括,产品列表集合p,产线列表集合s,机器列表集合m,工具列表集合t,工艺路线列表集合r,计划周期列表集合b;
所述参数包括,产品p在第b个月的计划bp(p,b),产品p在第b个月的计划产率bpratio(p,b),产品p在第b个月在产线s的机器m上的产率uph(p,m,s,b),产线s在第b个月的生产效率oee(m,s,b),产品p在第b个月在产线s产出率yield(p,m,s,b),第b个月机器m的库存数量mqty(m,b),机器m的价格umprice(m),工具t在第b个月在产线s的机器m上的数量tqty(t,m,s,b),第b个月的工作日数量wdays(b)。
优选的,所述步骤s02的决策变量包括:
prodin(p,m,s,r,b):产品p通过工艺路线r在第b个月在产线s,机器m上的生产数量;
underbp(p,b):在第b个月,产品p没有满足计划的数量;
overbp(p,b):在第b个月,产品p超过计划的数量;
underbpratio(p,b):在第b个月,产品p相对于计划的负偏移;
overbpratio(p,b):在第b个月,产品p相对于计划的正偏移;
undermhrs(m,b):在第b个月,机器m空闲小时数;
addmqty(m,b):在第b个月需要添加的机器m的数量;
underthrs(t,m,s,b):在第b个月产线s上机器m中工具t的空闲小时数;
addtqty(t,m,s,b):在第b个月产线s上机器m中工具t需要添加的机器t的数量;
weightunderbpp,b:为underbp(p,b)的权重参数;
weightoverbpp,b:为overbp(p,b)的权重参数;
weigthunderbpratiop,b:为underbpratio(p,b)的权重参数;
weightoverbpratiop,b:为overbpratio(p,b)的权重参数。
优选的,所述步骤s02中有约束的产能目标函数为:
所述无约束的产能目标函数为:
优选的,所述有约束的产能目标函数的约束条件包括:
物料流平衡约束,支持运营计划约束,平衡运营计划混合约束,机器产能约束,工具产能约束;
所述无约束的产能目标函数的约束条件包括:
机器产能约束和工具产能约束。
优选的,所述步骤s03还包括,以表格的形式输出计算后的每月各个产线的机器的产能信息、资源约束、最小投资建议。
与现有技术相比,本发明的优点是:
1、基于海量数据结构化分析的基础上,通过各种预测算法,包括数学建模等来进行预测,根据这些预测得到的需求数据,并结合企业现有产能状态,做出相应决策。既能保证预测的精度,又能辅助作出决策。可以辅助ie部门,快速、准确地核算多个分厂的产能与计划的匹配情况,按要求格式自动生成相关报告,从而在第一时间为管理层的最后决策提供数据方面的支持。同时,为了保证数据的可追溯性,系统应提供基于类似浏览器等的操作界面,并使用数据库,实现用户对多版本、多时间维度的产品模型、设备模型及历史计划的编辑、保存、查询等。
2、支持excel格式的数据导入,可以选取特定版本的基础数据组成优化方案,在指定计划月运行产能计划模型,为用户预制多种报表信息,比如top5资源约束,最小投资建议等报表。
3、运用仿真技术,针对供应链流程中的随机因素,引入各种约束条件,构建出若干个相互关联的供应链场景模型,根据运筹优化,以真实供应链管理的情景为参照物,进行模拟、比较、优化,并通过反复的计算,全息模拟各种动态经营决策,给企业经营者再现真实的业务场景并进行管理决策、模拟和演练,为经营者最终的管理决策提供重要支撑。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明基于大数据的供应链需求预测与智能决策方法的流程图;
图2为本发明输出的资源约束报表;
图3为本发明输出的最小投资建议报表。
具体实施方式
以下结合具体实施例对上述方案做进一步说明。应理解,这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整,未注明的实施条件通常为常规实验中的条件。
实施例:
如图1所示,一种基于大数据的供应链需求预测与智能决策方法,包括以下步骤:
s01:通过hadoop将企业零售端的每笔非结构化销售记录进行结构化处理,得出产品的每天的销售记录;
s02:将产品结构化数据通过多种预测算法进行产品需求预测,并与实际数据镜像对比,选择误差最小的预测算法作为预测的模型算法,得到需求预测数据;
s03:将企业资源进行数学建模;创建决策变量,根据创建的决策变量,以主生产计划为基准,创建有约束的产能目标函数和无约束的产能目标函数,根据不同的产能目标函数构建相应的约束条件;
s04:根据需求预测数据和调整求解参数得到满足企业运营计划的资源分配方式或者需求资源。
1、步骤s01将数据转化为结构化数据,如下表所示:
并将数据保存到数据库,形成历史记录。
2、需求预测
需求预测水平的提高,需要有结构化的数据基础、易于使用的预测模型、友好的预测工具等各方面软硬件的支持,并按照以下步骤来进行:
(1)明确预测目标、对象、内容及时间区间。
(2)收集、筛选、分析、加工和整理相关的数据。
(3)选择合适的预测方法。
(4)对预测结果进行评价以及解释。
(5)制定决策方案。
在预测的各个环节中,其中最难的部分是对终端消费数据的采集,而数据的采集是需求预测的核心步骤和成败关键。对于数据采集应考虑的主要问题有:数据采集的类型、方式、时间区间、主体等。完成数据采集之后的预测过程可以分为两个阶段:第一阶段是归纳过程,第二阶段是演绎或推论过程。在这两个过程中,企业需要综合考虑并分析各种确定的和不确定的因素对预测对象可能造成的影响,采用多种方法加以处理和修正,进行必要的检验和评价,最后获得可供决策参考的最终预测结果。
预测算法有
1.简易平均法,包括几何平均法、算术平均法及加权平均法;
2.移动平均法,包括简单移动平均法和加权移动平均法;
3.指数平滑法,包括一次指数平滑法和二次指数平滑法,三次指数平滑法;
4.线性回归法,包括一元线性回归和二元线性回归。
本发明使用的预测算法主要包括一次指数平滑法,二次指数平滑法和三次指数平滑法。
(一)一次指数平滑预测
当时间数列无明显的趋势变化,可用一次指数平滑预测。其预测公式为:
yt+1'=ayt+(1-a)yt'式中,
yt+1'为t+1期的预测值,即本期(t期)的平滑值st;
yt为t期的实际值;
yt'为t期的预测值,即上期的平滑值st-1。
该公式又可以写作:yt+1'=yt'+a(yt-yt')。可见,下期预测值又是本期预测值与以a为折扣的本期实际值与预测值误差之和。
(二)二次指数平滑预测
二次指数平滑是对一次指数平滑的再平滑。它适用于具线性趋势的时间数列。其预测公式为:.
yt+m=(2+am/(1-a))yt'-(1+am/(1-a))yt=(2yt'-yt)+m(yt'-yt)a/(1-a)
式中,yt=ayt-1'+(1-a)yt-1
显然,二次指数平滑是一直线方程,其截距为:(2yt'-yt),斜率为:(yt'-yt)a/(1-a),自变量为预测天数。
(三)三次指数平滑预测
三次指数平滑预测是二次平滑基础上的再平滑。其预测公式是:
yt+m=(3yt'-3yt+yt)+[(6-5a)yt'-(10-8a)yt+(4-3a)yt]*am/2(1-a)2+(yt'-2yt+yt')*a2m2/2(1-a)2
式中,yt=ayt-1+(1-a)yt-1
它们的基本思想都是:预测值是以前观测值的加权和,且对不同的数据给予不同的权,新数据给较大的权,旧数据给较小的权。
对于指数平滑法的趋势调整
一段时间内收集到的数据所呈现的上升或下降趋势将导致指数预测滞后于实际需求。通过趋势调整,添加趋势修正值,可以在一定程度上改进指数平滑预测结果。调整后的指数平滑法的公式为:
包含趋势预测(yitt)=新预测(yt)+趋势校正(tt)
进行趋势调整的指数平滑预测有三个步骤:
(1)利用前面介绍的方法计算第t期的简单指数平滑预测(yt);
(2)计算趋势。其公式为:tt=(1-b)tt-1+b(yt-yt-1)其中,
tt=第t期经过平滑的趋势;;
tt-1=第t期上期经过平滑的趋势;
b=选择的趋势平滑系数;
yt=对第t期简单指数平滑预测;
yt-1=对第t期上期简单指数平滑预测。
(3)计算趋势调整后的指数平滑预测值(yitt)。计算公式为:yitt=yt+tt。
以历史数据的最后三个星期作为对比周期,根据三种预测算法得到的预测与实际数据镜像对比。选择误差最小的作为此次预测的模型算法。
3、智能决策
对工厂相关生产要素与资源,比如设备数据,产品数据,工序数据,产能数据,产品-工序-设备数据,产品良率等,进行数学建模,数学建模包括构建集合和参数,所述集合包括,产品列表集合p,产线列表集合s,机器列表集合m,工具列表集合t,工艺路线列表集合r,计划周期列表集合b;
参数包括,产品p在第b个月的计划bp(p,b),产品p在第b个月的计划产率bpratio(p,b),产品p在第b个月在产线s的机器m上的产率uph(p,m,s,b),产线s在第b个月的生产效率oee(m,s,b),产品p在第b个月在产线s产出率yield(p,m,s,b),第b个月机器m的库存数量mqty(m,b),机器m的价格umprice(m),工具t在第b个月在产线s的机器m上的数量tqty(t,m,s,b),第b个月的工作日数量wdays(b)。
根据工厂资源的数学模型,根据运筹学创建相关的运筹学优化模型。首先,创建了策变量,根据创建的决策变量,创建有约束的产能目标函数和无约束的产能目标函数,在每个目标函数中创建多个约束。其中,有约束的产能目标函数的目标为如何分配有限资源去尽可能满足企业运营计划,无约束的产能目标函数的目标为需要多少资源才能够满足企业运营计划。
以主计划的月度计划为基准,按月计算及输出各月产能,具体输出数量可通过参数变更方进行调整,单次最大输出12个月数据。当然还可以为周计划及日计划。
决策变量包括:
prodin(p,m,s,r,b):产品p通过工艺路线r在第b个月在产线s,机器m上的生产数量;
underbp(p,b):在第b个月,产品p没有满足计划的数量;
overbp(p,b):在第b个月,产品p超过计划的数量;
underbpratio(p,b):在第b个月,产品p相对于计划的负偏移;
overbpratio(p,b):在第b个月,产品p相对于计划的正偏移;
undermhrs(m,b):在第b个月,机器m空闲小时数;
addmqty(m,b):在第b个月需要添加的机器m的数量;
underthrs(t,m,s,b):在第b个月产线s上机器m中工具t的空闲小时数;
addtqty(t,m,s,b):在第b个月产线s上机器m中工具t需要添加的数量;
utprice(t,m,s,,b):在第b个月产线s上机器m中工具t的价格;
weightunderbpp,b:为underbp(p,b)的权重参数;
weightoverbpp,b:为overbp(p,b)的权重参数;
weigthunderbpratiop,b:为underbpratio(p,b)的权重参数;
weightoverbpratiop,b:为overbpratio(p,b)的权重参数;
weightaddmachinem,b:为添加机器m数量权重参数;
weightaddtoolingt,m,s,b:为添加工具t产量权重参数。
一、有约束的产能目标函数为:
参数关系
weightunderbp=weightoverbp>>weightunderbpratio=weightoverbpratio。
目标函数的意义:
最小化在第b个月,产品p没有满足计划的数量+在第b个月,产品p超过计划的数量+在第b个月+产品p产出率相对于计划的负偏移+在第b个月,产品p产出率相对于计划的正偏移。
约束条件包括:
(1)物料流平衡约束
物料流出:
物料流入:
约束的意义:
产线流出:
在第b个月,产品p在产线s的机器m上根据工艺r的输出数量等于产品p在产线s的机器m上根据工艺r的输入数量*在第b个月,产品p在产线s的机器m的产率。
产线流入:
从一个产线的流出等于到另一个产线的流入。
(2)支持运营计划约束:
支持运营计划约束的意义:
产品p在产线s的机器m上根据工艺r的输出数量的总和+在第b个月,产品p没有满足计划的数量-在第b个月,产品p超过计划的数量=在第b个月产品p的运营计划数量。
(3)平衡运营计划混合约束:
平衡运营计划混合约束的意义:
产品p在产线s的机器m上根据工艺r的输出数量的总和+在第b个月,产品p相对于计划的正偏移-在第b个月,产品p相对于计划的负偏移=产品p在产线s的机器m上根据工艺r的输出数量的总和*运营计划的产率。
(4)机器产能约束:
机器产能约束的意义:
产品p在产线s的机器m上根据工艺r的运行时间+在第b个月,机器m空闲小时数=24*工作日数量*在第b个月,机器m的数量。
(5)工具产能约束:
工具产能约束的意义:
产品p在产线s的机器m上根据工艺r的工具的运行时间+在第b个月,机器m上工具空闲小时数=24*工作日数量*在第b个月,机器m上工具t的数量。
产品的最大机器产能可以用如下公式表示:
top5产能约束可以用∑mcalmcapm,s,b根据降序来表示。
二、无约束的产能目标函数为:
参数关系
weightunderbp=weightoverbp>>weightaddmachine
目标函数的意义:
最小化在第b个月,产品p没有满足计划的数量,在第b个月,产品p超过计划的数量,机器的价格*需要新增的机器数量+工具的价格*需要新增的工具的数量。
约束包括:
(1)机器产能约束:
机器产能约束的意义:
产品p在产线s的机器m上根据工艺r的运行时间+在第b个月,机器m空闲小时数=24*工作日数量*在第b个月,(机器m+需要添加的机器的)的数量。
(2)工具产能约束:
工具产能约束的意义:
产品p在产线s的机器m上根据工艺r的工具的运行时间+在第b个月,机器m上工具空闲小时数=24*工作日数量*在第b个月,(机器m上工具t+新增工具)的数量。
产品的最大机器产能可以用如下公式表示:
top5产能约束可以用∑mcalmcapm,s,b根据降序来表示。
除了可以上传excel数据,还可以搜索,编辑单个数据,模拟各种what-if场景,选取特定版本的基础数据组成优化方案,在指定计划月运行产能计划模型。
以表格的形式输出计算后的每月各个产线的机器的产能信息,资源约束报表如图2所示,最小投资建议报表如图3所示等等。
针对供应链流程中的随机因素,引入约束条件,运用仿真技术构建出若干个相互关联的供应链场景模型;以真实供应链管理的情景为参照物,进行模拟、比较、优化,并通过反复的计算,模拟动态经营决策。
本发明通过预测算法,来对各个产品进行预测。将多个工厂的产能规划集中管理,统一流程和数据结构;将产能与需求预测进行匹配。
工厂相关的授权人员可以独立对授权模块进行数据维护、导入导出、优化、数据查询及what-if分析。
可以快速地生成高质量的产能规划结果,提升工厂设备的利用率。
可以根据不同应用场景创建不同版本的分析数据,以保证企业在充满波动及变数的市场环境中及时应对。
上述实例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施,并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰,都应涵盖在本发明的保护范围之内。