本发明涉及一种基于多源数据的大宗农产品价格趋势预测方法。
背景技术
我国是一个农业大国，农业人口众多，农作物种类繁杂。在过去的十几年里，国家投入了大量的人力和物力来支持农业和农村的经济发展，取得了显著的效果。作为农业和农村经济发展的一个组成部分，农业信息化在发展中起着举足轻重的作用。农业信息化领域中，监测农产品的价格走势并进行有效预测对政府进行宏观调控以及农业生产者制定生产策略都具有十分重要的意义。农业行业是一个对价格反应较为敏感的行业，随着劳动力、土地、环境保护等成本不断提高，我国农业成本快速上升，我国主要大宗农产品国内价格已全面高于国际价格。农产品价格是否合理，不仅影响农业生产的发展，农产品的流通、消费和农民的收入水平，而且影响工业品的成本和价格，对整个社会经济生活的安定也关系重大。科学、合理预测大宗农产品价格走势，对于指导农产品生产、调整农业生产结构，逐步建立农产品目标价格制度具有重要意义。
影响大宗农产品价格波动的因素有很多，例如季节性因素、农产品的供需变化和突发因素等等，现有的主要预测方法有定性预测和定量预测则两种，定性预测是基于专家经验的判断；定量预测对己有数据建立相关的数学模型来预测。目前，国内外对农产品的价格预测单一地依靠定性或者定量预测，数据比较单一，预测的精确性往往不高。
因此，本发明针对多维因子预测，结合专家经验值和数理统计值，将专家经验融合到数理统计模型中，提出了一种基于多源数据的大宗农产品价格趋势预测方法，通过融合数理统计预测结果和专家经验值数据对大宗农产品价格趋势进行预测，弥补原有预测方法的单一性，提高了预测的准确性。
技术实现要素：
本发明要解决的技术问题是提供一种基于多源数据的大宗农产品价格趋势预测方法。
为了解决上述技术问题，本发明采用的技术方案是，基于多源数据的大宗农产品价格趋势预测方法，包括以下步骤：
(1)大宗农产品价格数据准备及数据处理；
(2)运用数理统计学方法进行大宗农产品价格预测；
(3)运用电子调查问卷的方法进行大宗农产品专家经验值获取；
(4)结合数理统计值与专家经验值进行预测。
作为优选，在步骤(1)中，大宗农产品价格数据准备为收集历年大宗农产品平均销售价格，按年/月的平均销售价格收集并进行数据存储；
大宗农产品价格数据处理具体包括以下步骤：
(5)处理缺失数据，对缺失额数据直接进行填补或使用移动平均法来平滑；
(6)分析异常数据，这些异常值可能是采集过程中的人为统计错误，也可能是突发事件造成的异常变化。鉴于指标度量单位之间的差异，还需要对数据进行标准化处理，处理的方法为：原始值减去其均值除以标准差，标准化后的数据在[-5.0，5.0]的范围内；
(7)变量相关性分析，首先剔除一些与大宗农产品价格相关度不高的指标；然后考察因素之间的相关性，采用灰色关联度方法来判断大宗农产品价格与价格影响因素的关联度，进而确定影响大宗农产品价格的因素；
作为进一步优选，在步骤(2)中，数理统计学方法是bp神经网络运算方法，该方法模型具有输入层、隐藏层和输出层。其中输入层对数据进行输入，隐藏层可是一层或多层结构，输出层负责对学习得到的结果输出，层与层之间对数据进行训练和学习，通过反向传播来循环调整网络节点的权值和阙值，使网络的误差平方和最小；
大宗农产品价格预测具体包括以下步骤：
(8)输入学习样本，利用当前网络计算隐藏层及输出层的输出，计算误差和梯度向量；其中学习样本即为步骤(1)存储的历年大宗农产品平均销售价格；
(9)对学习算法进行判断，当算法设定的函数值小于预设的精度值时停止学习，否则继续学习；
(10)通过matlab工具进行仿真预测，得出价格预测结果v。
作为更进一步的优选，在步骤(3)中，大宗农产品专家经验值获取具体包括以下步骤：
(11)设置调查问卷内容及调查对象选择；
(12)发放、回收调查问卷并对调查问卷进行处理；
(13)对回收回来的调查问卷进行归类评估。按照专家对大宗农产品的了解水平，将专家分为a类、b类、c类；
(14)根据调查问卷评估结果，通过加权平均计算方法获取专家经验值。其具体计算公式如下：
其中fa+fb+fc＝1，a+b+c＝n；
上式中：
p代表的专家经验值，fa代表a类专家的权值，fb代表b类专家的权值；fc代表c类专家的权值；
a代表a类专家的所有调查问卷数，xp代表a类专家的所有调查问卷中第p个调查问卷的经验预测值；
b代表b类专家的所有调查问卷数，xq代表b类专家的所有调查问卷数中第q个调查问卷的经验预测值；
c代表c类专家的所有调查问卷数，xt代表c类专家的所有调查问卷数中第t个调查问卷的经验预测值；
n代表所有调查问卷的数量。
作为再进一步的优选，在步骤(4)中，结合数理统计值与专家经验值进行预测具体包括以下步骤：
结合步骤(10)的价格预测结果v和步骤(14)的专家经验值p进行建模；模型如下：
f＝β·v+γ·p
其中，f代表大宗农产品价格预测结果，v代表数理统计值，p代表专家经验值；β和γ为模型的预测参数；
通过最小二乘法学习线性模型的参数β和γ并且得到最优模型参数，最终得到大宗农产品价格趋势预测结果。
本发明的有益效果是：
作为基于多源数据的大宗农产品价格趋势模型预测方法，通过收集历年大宗农产品平均销售价格及影响因素进行数理统计及利用电子调查问卷获取专家经验值，融合数理统计预测结果和专家经验值数据，对农产品价格趋势进行预测，预测的准确性和可靠性更高。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明大宗农产品价格趋势模型预测方法实施例的总流程图。
图2为数理统计中bp神经网络结构图。
具体实施方式
如图1所示，一种基于多源数据的大宗农产品价格趋势模型预测方法，主要包括如下步骤：
步骤1：大宗农产品价格数据准备及数据处理；
步骤2：运用数理统计的方法进行大宗农产品价格预测：
步骤3：运用电子调查问卷的方法进行大宗农产品专家经验值获取：
步骤4：结合数理统计值与专家经验值进行预测：
在步骤1中的大宗农产品价格数据准备及数据处理，其实际工作原理为收集历年大宗农产品平均销售价格，按年/月的平均销售价格收集并进行数据存储。由于收集到的数据多是无规则、杂乱的数据，需要对数据进行预处理。数据预处理的实际工作原理可以通过下述步骤来实现。
步骤1a：处理缺失数据，对缺失额数据直接进行填补或使用移动平均法来平滑。
步骤1b：分析异常数据，这些异常值可能是采集过程中的人为统计错误，也可能是突发事件造成的异常变化。鉴于指标度量单位之间的差异，需要对数据进行标准化处理，处理的方法为：原始值减去其均值除以标准差，标准化后的数据在[-5.0，5.0]的范围内。
步骤1c：变量相关性分析，首先剔除一些与大宗农产品价格相关度不高的指标；然后考察因素之间的相关性，由于选用的价格影响因素较多，为了判断这些因素是否为关键影响因素，是否存在冗余项，采用灰色关联度方法来判断大宗农产品价格与各因素的关联度，根据大宗农产品价格与各影响因素的关联度指数，选择关联度指数大于0.6的因素作为影响大宗农产品价格的因素。
步骤2中的运用数理统计的方法进行大宗农产品价格预测，具体采用的数理统计学方法是bp神经网络运算方法。神经网络是由三层网络结构构成的，即为输入层、隐藏层、输出层，各层之间均匀节点，包含加权、求和与转移三方面的特点。神经网络系统的特征使三层拓扑结构可以任意逼近非线性映射关系。各层的神经元与下一层的所有神经元进行广泛的联结，然而同层各神经元之间并无联结，数据处理的方向即为箭头表示的方向。其模型结构图如图2所示，模型中的x1、x2…xn代表输入值，y1、y2…yn代表输出值、wi1、wi2…win代表第i个神经元权值，即连接强度，bi为阈值，f(x)为激活函数。y1、y2…yn表示期望输出值，其中
激活函数的公式如下：
其中神经元的输入输出函数分别为：
out(i)＝f(in(i))，i＝1，2λ，m(3)
其中误差函数如下：
其中权值和阈值的修正函数分别为：
wij＝wij-η1*ξij*yi+αδwij(5)
bi＝bi-η2*ζki(6)
公式(5)、(6)中η1、η2为学习因子，ζij、ζki为i节点的计算误差值，yi为i节点最终的输出值，α为动量因子，取值范阐在0.1～0.8之间。其反馈调节模型，初始训练神经网络时，输出结果和期望输出结果偏差比较大，所以需耍通过反馈调节来修正神经网络模型，主要是计算误差函数与各输入神经元的偏导函数来对连接权值、阈值进行调整修正，使用梯度下降法，对神经网络进行再次训练，直到学习次数达到了设定的最大次数或误差达到开始设定的精度值为止，神经网络的最终训练结束，输出最后的学习结果。
其实际运算过程可以通过下述步骤来实现。
步骤2a：网络参数的初始化；
步骤2b：输入学习样本即步骤1存储的历年大宗农产品平均销售价格x1、x2…xn及相应的期望输出值y1、y2…yn；
步骤2c：利用当前网络计算隐藏层及输出层的输出值y1、y2…yn，计算误差e和梯度向量；
步骤2d：修改网络参数值；
步骤2e：对学习算法进行判断，当算法设定的函数值小于预设的精度值时停止学习，否则继续步骤2b学习。
步骤2f：通过matlab工具进行仿真预测，得出价格预测结果v。
步骤3的运用电子调查问卷的方法进行大宗农产品专家经验值获取，其实际工作原理可以通过下述步骤来实现：
步骤3a：设置调查问卷内容及调查对象选择，调查问卷对象选择对大宗农产品具有丰富的市场分析经验，同时对国家政策和宏观经济有一定的了解的专家，调查问卷的内容设计要包括两点：
(1)专家对大宗农产品的了解程度。
(2)专家对本月大宗农产品的价格预测。
步骤3b：发放问卷并回收问卷，通过互联网向被调研对象发送调查问卷，问卷发放完毕后，按时回收问卷，由于存在人填写问卷的不定性问题，需要对问卷进行预处理，将反馈回来的问卷数与发放出去的问卷数进行比对，对缺失的数据采用缺失数据所在属性其他对象的平均值来补齐。
本实施例在发放问卷过程中采用发放电子调查问卷的方式，电子调查问卷投入成本较低(金钱、时间)，调查的范围和规模不会受到很大局限；同时被调查者可以不受其他因素的影响，如实表达自己的意见，往往可以得到较为可靠的资料；最后，对于某些较敏感问题的调查，有很好的匿名性，可以减轻被调查者的心理压力和思想顾虑。
步骤3c：对回收回来的调查问卷进行归类评估。由于问卷调查的专家的经验不一样，导致调查问卷的质量不一样，需要对不同的调查问卷给予不同的权值，主耍依据为专家对大宗农产品的了解水平，通过对问卷内容中专家对大宗农产品的了解水平进行评估，专家了解程度高的问卷可信度较高，为此本发明设计一种评估规则，评估规则定义如下；
通过以上定义的评估规则，对大宗农产品专家水平进行分析评估。
步骤3d：根据调查问卷评估结果，通过加权平均计算方法获取专家经验值。
其计算公式如下：
在公式(7)中：
p代表的专家经验值，fa代表a类专家的权值，fb代表b类专家的权值；fc代表c类专家的权值。在本实施例中，取fa＝60％，fb＝30％，fc＝10％。
a代表a类专家的所有调查问卷数，xp代表a类专家的a个调查问卷中第p个调查问卷的经验预测值。
b代表b类专家的所有调查问卷数，xq代表b类专家的b个调查问卷数中第q个调查问卷的经验预测值。
c代表c类专家的所有调查问卷数，xt代表c类专家的c个调查问卷数中第t个调查问卷的经验预测值。
n代表所有调查问卷的数量。
步骤4的结合数理统计值与专家经验值进行预测，其实际工作原理如下：
结合步骤2的价格预测结果v和和步骤3的专家经验值p进行建模。模型如下：
f＝β·v+γ·p
其中f代表大宗农产品价格预测结果，v代表数理统计值，p代表专家经验值。β和γ为模型的预测参数。通过最小二乘法学习线性模型的参数β和γ并且得到最优模型参数，可以得到大宗农产品价格趋势预测结果。
本实施例提供了一种基于多源数据的大宗农产品价格趋势预测方法。该方法首先通过收集历年大宗农产品平均销售价格数据并对数据进行预处理，运用数理统计方法中bp神经网络运算方法进行大宗农产品价格预测，后利用专家调查问卷的方式，对回收的调查问卷进行评估，获取专家经验值。最后将数据统计值与专家经验值结合预测大宗农产品价格趋势。本发明预测所用的数据融合了数理统计预测结果和专家经验值数据，相比较仅依靠定性或定量的预测方法，预测的准确性和可靠性更高。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。