一种基于大数据的需求与供给预测方法与流程

本发明涉及一种基于大数据分析的需求与供给预测方法，属于信息预测技术领域。

背景技术：

随着市场经济的发展，市场发展已经由价格竞争时代深化进入到成本竞争时代，对市场未来走势的先期判断，在企业运营管理中的作用越来越重要，在很大程度上，影响着企业认知机会和把握机遇的能力。当前，对于商品历史数据的处理停留在构建时间序列和历史销量简单趋势线。然而，通过这样的方法获得的趋势线由于包含特殊事件、趋势变化和周期变化等多重因素，决策者难以通过这样的趋势线做出判断。这种状况对于企业精确制定营销战役规划和促销战术计划十分不利，对于营销效果的精确性评估也缺少可衡量的量化依据。

需求预测构成了供应链中所有战略性和规划性决策的基础，预测广泛应用于推/拉式供应链，比如生产：日程安排，库存管理、总体计划；营销：销售资源配置、促销、新产品开发；财务：生产线的投资和预算规划；人事：雇员计划、雇用、解雇；所有上述决策的结合都需要预测的支持。

预测构成的要素：过去的需求、产品的提前期、规划进行的广告与促销、经济的状态，价格与促销方案、竞争者行为。

现有的预测方法包括：定性法：依赖于人们的判断和意见做出预测；时间预测法：利用历史数据来预测未来需求；静态法、适应性法、随机法：假定需求和外界因素高度相关、模仿法：通过模仿消费者选择进行需求预测。

现有的预测方式存在以下技术问题：1、预测经常会出错，2、长期预测精确率低，3、独立预测误差大等问题。

为了提高预测的精度，采用调取大量的基础数据进行预测，但是大量的基础数据预测往往会导致运行的速度变慢，无法及时调用的问题。数据分析的不断进步，极大地促进了需求预测的发展，世界范围内的需求，使信息传输与交换的这一无形载体日趋紧张，所以科学利高效率的数据管理对确保各种数据在平台上共用，防止相互干扰起到至关重要的作用，

大数据分析提供有效的多种参考数据，实际应用中，其存在数据处理量大，每批待处理数据短的问题。

技术实现要素：

1、发明目的。

本发明为了提高预测的精度，及时处理采集的大量数据的信息，而提出了一种基于大数据分析的需求与供给预测方法。

2、本发明所采用的技术方案。

被考察需求(o)＝系统需求(s)+随机需求(r)，其中系统需求包括level(需求水平)、trend(需求趋势)、seasonality(季节性需求)；系统部分：需求的预期价值；随机部分：需求中偏离系统需求的部分；预测错误：衡量预测和实际需求的误差。

预测的基本方法采用：静态法、适应法、移动平均法、单一指数平滑法、holt’smodel(需求趋势)、winter’smodel(需求趋势和季节性需求)；预测需要考虑的基本因素：理解预测的目的、将需求规划和预测结合起来、识别影响需求预测的主要因素、理解和识别顾客群、决定采用适当的预测方法、确定预测效果的评估方法和误差的测度方法；预测的时间序列法：预测的目的是预测系统需求部分和估计随机部分，复合型:(level)(trend)(seasonalfactor)，附加型:level+trend+seasonalfactor，混合型:(level+trend)(seasonalfactor)；静态方法：假设面临一个混合型预测：系统需求＝(level+trend)(seasonalfactor)，ft+l＝[l+(t+l)t]st+l＝以t时刻为基点预测t+l时刻的需求，l＝基期的预测需求水平，t＝预计需求趋势，st＝预计t期的季节性需求，dt＝实际观测到t期需求，ft＝预测的t期需求；预测需求水平和需求趋势、预测季节性需求。

本发明提出的一种基于大数据的需求与供给预测方法，按照如下步骤进行：

步骤1、设过去的需求、产品的提前期、规划进行的广告与促销、经济的状态，价格与促销方案、竞争者行为，5个以上递增的占有率判断门限，按照每个门限来统计不同的占有率数据；

步骤2、按照数据预测参量的占有率数进行分级简化问题，使用二进制进行编码，对应的二进制数，用二进制“位”来表示为：000～111，使用二进制来表示十进制，只需要三位即可；

步骤3、所有压缩后的占有率都采用二进制字符形式存储存数据库中，对于每批新来的、需要实时处理的占有率数据，使用数据库触发器，当数据存储在数据库中的时候，触发调用sql/plus的数据库内部过程和函数对该数据进行处理，该处理过程和压缩算法并存储；

步骤4、通过数据库完成资源调度、分配工作。

更进一步具体实施例中，采用4位二进制数据来保存0～7的十进制数，前三位为信息位，最后一位作为校验位，即用第7、6、5来存储有效数据，第4位作为校验位，同样，第3、2、1存储有效数据，第0位作为校验位。

更进一步具体实施例中，所述的步骤3中将处理后的结果按照一般关系表格模式保存在数据库中，供其它程序直接使用，从而避免了其它应用程序耗费大量的系统资源和时间来处理原始数据。对于利用历史占有率数据进行预测，采用数据库提供的作业，在后台独立运行数据处理模块，处理历史数据并进行预测未来的日、月、旬、年等占有率的功能，处理完后，将数据按照关系表格模式保存在库中，供其它应用程序所用。

更进一步具体实施例中，数据库完成资源调度、分配工作；任务调度模块包括校验模块、解析模块、任务调度模块和算法包；其中，所述校验模块提供数据分析流程是否符合流程设计规则的校验功能，符合校验规则的部分，可以进入解析模块；

更进一步具体实施例中，所述解析模块提供将数据分析流程转换为可执行的数据分析流程任务的解析功能；所述任务调度模块根据解析模块生成的完整的数据分析流程，调度所述算法包中的各类数据分析算法接口，组成完整的可运行的分析流程任务程序，并调度底模块资源进行数据分析程序的执行。

更进一步具体实施例中，数据分析流程均通过web页面的建模操作台进行建模，通过可拖拽的算法包与有向连接线的组合形成有向无环的数据分析模型。

更进一步具体实施例中，所述解析模块将整个生产的数据分析流程模型转化为一个dag有向无环图，由解析模块解析这个dag图，生成完整的spark数据分析流程。

3、本发明所产生的技术效果。

(1)本发明在具体生产需求分析领域中，采集多个预测值去的需求、产品的提前期、规划进行的广告与促销、经济的状态，价格与促销方案、竞争者行为等多个预测值的基础数据，构成一个大数据库，对需求进行精准预测，提高了生产效率，避免过剩产能或供应量不足的问题。

(2)本发明采用压缩方式与数据库解析规则相结合的方式，能够对所采集的大数据进行技术处理，提高了执行效率。

(3)对数据进行清洗，去除异常值，进一步压缩了所占用的物理空间。

(4)判断商品是否有周期变动、趋势变动，解决了长期预测通常没有短期预测精确的问题，进行的综合预测通常要比独立预测准确的多。

附图说明

图1为预测的时间序列法图。

图2为需求的时间序列图。

具体实施方式

实施例

大数据需求分析系统主要是为了预测未知需求，只对大数据中的占有率数据来进行处理，可以假定大数据需求分析系统的分析频率每5分大数据需求分析系统就需要处理一批大数据，同时设5个递增的占有率判断门限，按照每个门限来统计不同的占有率数据，可以比较完善统计出由于不同数据交互所产生占有率干扰情况。进行全天24小时不间断数据处理，并在存储数据的时候，使用一个字节保存一个数据预测值的在一个门限下的占有率数据(用百分号的整数)，数据预测参量包括过去的需求、产品的提前期、规划进行的广告与促销、经济的状态，价格与促销方案，每个参数占有一个数据，则h总数据量为：(3000—30)÷0.0125×5×12×24＝342.144mb，同时为了能进行日、旬和月预测数据，则一个月的总数据量达到：342.144×30＝10264.32mb。对于该部分数据，目前大数据需求分析系统和设备大都是通过应用程序直接来进行管理，无论是传输还是处理该数据都需要占用比较多的系统资源并且占用比较长的系统处理时间，对整个系统功能影响很大。如预测数据再扩大，则所需要的资源更多，所需要的处理时间更长。

占有率数据按照不同的数据范围划分为不同的等级来处理。采用将占有率数据从0％～100％平均等分为0～7共8个小的等级，其中7级为最高级，也就意味着存该数据预测参量，干扰最低，占有率数据最小；0级为最低级，即该数据预测参量干扰最高，占有率数据最大。有了前面的将占有率数据划分等级后，在存储该占有率数时，大数据需求分析系统可以简化占有率数据，保存每个频率点的等级。

按照数据预测参量的占有率数进行分级简化问题，如果仍然采用一个字节来存储每个数据预测参量的占有率等级数，按等级划分，能通过编码进行数据压缩来节省存储。对于十进制数0～7，使用二进制进行编码，对应的二进制数，用二进制“位”来表示为：000～111。由对应关系可以知道，使用二进制来表示十进制的0～7，只需要三位即可。一个字节有8位二进制数，存储十进制0～7的二进制数据可以有不同的方式。采用4位二进制数据来保存0～7的十进制数，前三位为信息位，最后一位作为校验位，即用第7、6、5来存储有效数据，第4位作为校验位，同样，第3、2、1存储有效数据，第0位作为校验位。该办法不仅可将原始数据压缩为1/2而且确保了数据的可靠性，同时按字节完整存储方式方便软件对数据的处理，可以加快数据处理速度。由此可达到比较好的数据压缩率，大量节省了数据存储空问。

数据库处理，在使用中还需要处理两部分数据，一部分是处理实时传送的占有率数据，一部分是处理历史占有率数据，预测未来的日、月、旬、年占有率数据。所有的实时占有率数据和历史数据不能完全由应用程序来处理，因为即使压缩后，数据量依然很大，无沦是处理实时数据还是对于历史数据的处理，都需要应用比较多的系统资源和占用比较长的处理时间，采用数据库来管理这部分数据。所有压缩后的占有率都采用二进制字符形式存储存数据库中，对于每批新来的、需要实时处理的占有率数据，使用数据库触发器，当数据存储在数据库中的时候，触发调用sql/plus的数据库内部过程和函数对该数据进行处理，该处理过程和压缩算法。并将处理后的结果按照一般关系表格模式保存在数据库中，供其它程序直接使用，从而避免了其它应用程序耗费大量的系统资源和时间来处理原始数据。对于利用历史占有率数据进行预测，采用数据库提供的作业(task)，在后台独立运行数据处理模块，处理历史数据并进行预测未来的日、月、旬、年等占有率的功能，处理完后，将数据按照关系表格模式保存在库中，供其它应用程序所用。

在应用程序中通过odbc将记录写入数据库的操作相较于普通的程序调用其速度提高90％。

管理者可以利用预测误差分析，判断预测是否准确的预测了系统需求，由于误差要用来解释意外事件，管理者应该估计误差，预测在供应链中的应用，识别需求预测的组成部分，根据历史数据运用时间数列法来预测供应链需求，分析需求预测来估计预测误差。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。