专利名称：一种基于神经网络的多品种商品价格预测的数据预处理方法
一种基于神经网络的多品种商品价格预测的数据预处理方技术领域
本发明属于数据处理领域，特别涉及一种基于神经网络的多品种商品价格预测的数据预处理方法，可应用于商品价格预测分析与商品销售决策支持系统中的商品价格预测的数据预处理。
背景技术：
商品价格的预测方法是市场预测分析与商品生产销售决策的基础，是市场预测领域中的一个重要问题，在商品生产、销售等很多问题中起着关键作用，而预测方法中的数据预处理方法对预测方法的通用性和准确性有着很大的影响。由于网络技术的发展与网络商店的普及，因此近年来，人们越来越重视对商品价格的预测方法的研究。商品价格的预测问题可以看作是基于时间序列的数据处理与数据分析问题，分为数据获取、数据处理与预测模型三个方面。股票市场、期货市场、电力市场等公开价格数据获取较为容易，用于价格预测的模型主要有最小二乘回归、神经网络、灰色马尔科夫链、小波理论和GM(1，I)模型等。针对消费类商品价格数据的获取方法，商品价格数据预处理方法和动态价格预测，2010 年至2012年，朱全银等给出了商品销售数据抽取与数据挖掘的方法以及基于Web的商品价格的预处理方法和动态预测方法(Quanyin Zhu, Yunyang Yan, Jin Ding and Yu Zhang. The Commodities Price Extracting for Shop Online，2010International Conference on Future Information Technology and Management Engineering，Changzhou，Jiangsu， Chian, Dec. 2010，Vol.2，pp. 317-320 ；Quanyin Zhu, Yunyang Yan, Jin Ding and Jin Qian. The Case Study for Price Extracting of Mobile Phone Sell Online. IEEE 2nd International Conference on Software Engineering and Service Science， Beijing， Chian, July. 2011，pp.281-295 ；Quanyin Zhu, Sunqun Cao, Jin Ding and Zhengyin Hah. Research on the Price Forecast without Complete Data based on Web Mining， 2011Distributed Computing andApplications to BusinessiEngineering and Science， Wuxi, Jiangsu，Chian, Oct.2011，pp. 120-123 ；Quanyin Zhu, Hong Zhou, Yunyang Yan, Jin Qian and Pei Zhou. Commodities Price Dynamic Trend Analysis Based on Web Mining. The International Conference on Multimedia Information Networking and Security,Shanghai,Chian,Nov. 2011,pp. 524-527 ；Jianping Deng,Fengwen Cao,Quanyin Zhu, and Yu Zhang. The Web Data Extracting and Application for Shop Online Based on Commodities Classified. Communications in Computer and Information Science，Vol. 234(4) :189-197 ；Quanyin Zhu, Suqun Cao, Pei Zhou, Yunyang Yan, Hong Zhou.Integrated Price Forecast based on Dichotomy Backfilling and Disturbance Factor Algorithm. International Review on Computers and Software,2011. Vol.6 (6) :1089-1093 ；Quan-yin Zhu, Pei Zhou, Yun-Yang Yan, Yong-Hua Yin. Exchange Rate Forecasting based on Adaptive Sliding Window and RBF Neural Network.International Review on Computers and Software,2011. Vol. 6 (7) 1290-1296 ；Jiajun Zong, Quanyin Zhu.Price Forecasting for Agricultural Products Based on BP and RBF Neural. ICSESS2012, p. 607-610 ;Hong Zhou, Quanyin Zhu, Pei Zhou. A Hybrid Price Forecasting Based on Linear Backfilling and Sliding Window Algorithm. International Review on Computers andSoftware, 2011. Vol. 6 (6) :1131-1134 ;王红艳， 朱全银，严云洋，钱进.商品价格数据的两种WEB挖掘算法比较.微电子学与计算机.2011. Vol. 28(19) :168-172)。
RBF(Radical Basis Function)神经网络
RBF是一种前馈式神经网络，它模拟了人脑中局部调整、相互覆盖接受域的神经网络结构，具有很强的生物背景和逼近任意非线性函数的能力。它是一种三层结构的前馈网络第一层为输入层，有信号源节点组成。第二层为隐含层，隐单元的变换函数式是一种局部分布的非负非线性函数，它对中心点径向对称且衰减。隐含层的单元数由所描述问题的需要确定。第三层为输出层，网络的输出是隐单元输出的线性加权。其中，输入层节点只传递输入信号到隐含层；隐含层的基函数为非线性的，它对输入信号产生一个局部化的响应， 即每一个隐含节点有一个参数矢量称之为中心。该中心用来与网络输入矢量相比较以产生径向对称响应，仅当输入落在一个很小的指定区域中时，隐含节点才做出有意义的非零响应，响应值在O到I之间，输入与基函数中心的距离越近，隐节点响应越大；输出单元是线性的，即输出单元对隐节点输出进行线性加权组合。
BP(Back Propagation)神经网络
BP是一种按误差逆传播算法训练的多层前馈网络。它能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。 BP神经网络是一种三层前馈网络，包括输入层、隐层和输出层。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换， 根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。
以上算法在用于价格预测时，无论是预测准确率，还是算法学习时间上都存在着很大的不确定性。算法中用到的技术计算语言MATLAB中的函数部分参数自定义的不确定性，增加了算法学习时间上和预测精度上的不确定性，这种不确定性使算法在用于商品价格的预测中存在很大的局限性。为了能更好的利用以上算法，提出了很多改进的价格预测方法基于BP神经网络模型的k-means聚类股价预测；基于BP神经网络的自适应算法的 IPO抑价预测；基于组合BP神经网络的时间序列模型的农产品价格预测模型；一种改进的基于小波变换和RBF神经网络的原油价格预测；基于动态RBF神经网络的非线性时间序列预测等。在提出的改进预测方法中，这些预测方法的针对性都较强，缺乏通用性，改进的预测方法只适用于一种商品或者同一类商品，而且预测方法的定参性使预测方法缺乏灵活性，在面对同一类不同种商品时不能保证价格预测的准确性。缺乏灵活性和通用性使这些改进的预测方法不能满足广大的销售商对不同消费种类商品市场预测分析与商品销售决策的迫切需求，因此，需要找到一种能够适用于不同种类商品价格或同种类不同商品价格的预测方法，或找到一种针对不同种类商品价格的数据预处理方法，以获得预测方法更好的通用性和更高的预测准确率。发明内容
本发明的目的是将归一化原始数据数量级方法与改进的RBF神经网络和BP神经网预测方法结合，利用改进的RBF神经网络和BP神经网络对网页挖掘的商品价格数据计算其最佳数量级，用计算得出的最佳数量级对商品价格数进行归一化数据量级的预处理，之后利用改进的RBF神经网络和BP神将网络进行商品价格的预测，提高RBF神经网络和BP 神经网络的预测准确率，同时提高RBF神经网络和BP神经网络用于不同商品价格预测的通用性。
本发明的技术方案是通过归一化原始数据数量级方法对网页挖取的数据进行预处理，在实现归一化数量级后的数据集上利用改进的RBF神经网络和BP神经网络计算得出商品价格数据的最佳量级，用计算得出的最佳数量级对商品价格数进行归一化数据量级的预处理，进而完成商品的市场价格预测。
为便于理解本发明方案，首先对本发明的理论基础进行 描述如下
在基于神经网络的价格预测领域中，提出了很多改进的用于价格预测的数据预处理方法，并都取得了明显的改进效果。但这些改进方法针对性较强，忽视了预测方法的灵活性和通用性，使改进的价格预测方法存在很大的局限性。归一化原始数据数量级的数据预处理方法能很好的提高预测方法的通用性和预测准确率。归一化原始数据数量级方法，对于某一商品的价格数据，相对降低了商品价格数据的波动范围，提高了预测方法的稳定性， 同时提高了预测方法对于该商品价格预测时的准确率；对于不同商品的价格数据，相对降低了不同商品价格数据间的差异，同时对于某一特定商品，相对降低了该商品价格数据的波动范围，提高了预测方法的稳定性的同时增强了预测方法的通用性，获得了更高的预测准确率；利用改进的RBF神经网络和BP神经网络在归一化量级后的价格数据上实现商品的价格预测，获得更高的商品价格预测准确率。
具体的说，本发明方案通过如下各步骤实现归一化原始数据数量级与改进的RBF 神经网络和BP神经网络的商品价格预测
步骤I、抽取网页中商品的名称、型号、类型与价格数据，建立有h个商品的数据集X = (A1, A2, , AhI ,设第i个商品抽取的价格数据为η个,Ai = (X1, X2, , χη},其中 i e [I, h], X1, x2, ... , xn指第Ai个商品抽取的η个价格数据；
步骤2、计算i个不同商品的价格量级,得到不同商品的价格量级M = Ib^b2,...,
步骤3、自定义一个包含数据个数为z的预测样本，共需预测价格个数D ；
步骤4、选定预测模型；
步骤5、当选定的预测模型为RBF神经网络，执行步骤6到步骤12 ;当选定的预测模型为BP神经网络，执行步骤14到步骤21 ；
步骤6、设定模型训练函数为技术计算语言MATLAB中的newrbe (P，T，SPREAD)函数，该函数用于设计一个严格的径向基网络，其中P为输入矢量，T为目标矢量，SPREAD为径向基函数的分布；模型预测函数为技术计算语言MATLAB中的sim(' MODEL' ,PARAMETERS) 函数，此函数用于仿真一个神经网络，其中MODEL为训练好的网络模型，PARAMETERS为输入矢量；设定j个不同的径向基函数的分布值Spreads = (Spread1, spread2, . . . , spread」}；
步骤7、将商品Ai的销售价格数量级归一化为量级IDi,得到4 ={χι,χ2,···,χ }；
步骤8、将输入矢量P，目标矢量T带入训练函数newrbe (P，T，SPREAD)，训练j个不同网络 Iietij = newrbe (P, T, spread」),建立预测样本 Test = [t1； t2, . . . , tj ,tz e Ai ；
步骤9、商品Ai的第n+1天的j个预测值Yij = simOietij, Test),设商品Ai的第 n+1天的最佳预测值为Ji, Yi e Yij ；
步骤10、定义稱合权重W = (W1, w2, W3),设商品Ai的第n+1天的三个最佳预测径向基函数的分布的值为 Bspreadil e Spreads,Bspreadi2 e Spreads,Bspreadi3 G Spreads,求得最佳獅基函数的分補值
权利要求
1.一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于利用改进的RBF神经网络和BP神经网络对网页挖掘的商品价格数据计算其最佳数量级，用计算得出的最佳数量级对商品价格数进行归一化数据量级的预处理，进而提高RBF神经网络和BP神经网络的预测准确率，也提高了 RBF神经网络和BP神经网络用于不同商品价格预测的通用性，具体包括以下步骤 步骤I、抽取网页中商品的名称、型号、类型与价格数据，建立有h个商品的数据集X =(X1, A2,. . . ,AJ,设第i个商品抽取的价格数据为n个,Ai = {x1； x2,. . .，xn},其中i G [I,h], X1, x2, . . . , xn指第Ai个商品抽取的n个价格数据； 步骤2、计算i个不同商品的价格量级，得到不同商品的价格量级M=； 步骤3、自定义一个包含数据个数为z的预测样本，共需预测价格个数D ； 步骤4、选定预测模型； 步骤5、当选定的预测模型为RBF神经网络，执行步骤6到步骤12 ;当选定的预测模型为BP神经网络，执行步骤14到步骤21 ； 步骤6、设定模型训练函数为技术计算语言MATLAB中的newrbe (P，T，SPREAD)函数，该函数用于设计一个严格的径向基网络，其中P为输入矢量，T为目标矢量，SPREAD为径向基函数的分布；模型预测函数为技术计算语言MATLAB中的sim(' MODEL'，PARAMETERS)函数，此函数用于仿真一个神经网络，其中MODEL为训练好的网络模型，PARAMETERS为输入矢量；设定j个不同的径向基函数的分布值Spreads = (Spread1, spread2, . . . , spread」}； 步骤7、将商品Ai的销售价格数量级归一化为量级bi，得到=怃,毛,...,元}; 步骤8、将输入矢量P，目标矢量T带入训练函数newrbe (P，T，SPREAD)，训练j个不同网络 Iietij = newrbe (P, T, Spreadj),建立预测样本 Test = [t1； t2, . . . , tj , tz e Ai ； 步骤9、商品Ai的第n+1天的j个预测值Yij = simfcetij^Test),设商品Ai的第n+1天的最佳预测值为YytiE Yij ； 步骤10、定义稱合权重W = (W1, w2, W3)，设商品Ai的第n+1天的三个最佳预测径向基函数的分布的值为 Bspreadil G Spreads, Bspreadi2 G Spreads, Bspreadi3 G Spreads,求得最佳径向基函数的分補值
2.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤I中所述抽取网页中商品的名称、型号、类型与价格数据是指，利用任意Web数据抽取算法，抽取商品在网页上显示的名称、型号、类型与价格数据；其中X1,x2, , Xn可以是第i个商品Ai从一个网页中抽取的n个价格数据，也可以是从多个网页中抽取的n个平均价格数据。
3.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤2是对任一商品的价格数据计算获得该商品价格数据的量级。
4.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤3到步骤5是针对任意一个商品在价格预测时的参数设定和预测模型选定，其中z值一般为3，5，7，D值一般为3，7。
5.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤6和步骤14中技术计算语言MATLAB是MathWorks公司的产品，版本为 R2011b。
6.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤6到步骤12是针对任意一个商品在一个网页中不同日期的价格数据在改进的RBF神经网络下的预测值，或多个网页中不同日期的平均值价格数据在改进的RBF神经网络下的预测值。
7.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤14到步骤20是针对任意一个商品在一个网页中不同日期的价格数据在改进的BP神经网络下的预测值，或多个网页中不同日期的平均值价格数据在改进的BP神经网络下的预测值。
8.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据处理发方法，其特征在于步骤6、步骤8、步骤14和步骤16中的输入矢量P为训练样本集，目标矢量T为训练测试预测值的数据集。
9.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据处理发方法，其特征在于步骤6中预先设定的j值一般为40，步骤14中预先设定的j值一般为10。
10.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据处理发方法，其特征在于步骤7和步骤15中是将任一商品的价格数据数量级归一化到统一的量级，商品的价格数据的数量级和归一化的量级相同，该商品的价格数据的数量级不进行归一化量级预处理；商品的价格数据的数量级和归一化的量级不同，该商品的价格数据的数量级进行归一化量级预处理，量级一般为1，10，100，1000。
11.根据权利要求I所述的一种基于神经网络的多品种商品价格预测的数据预处理方法，其特征在于步骤10和步骤18中定义的耦合权重w = [2，4，2]。
全文摘要
本发明公开了一种基于神经网络的多品种商品价格预测的数据预处理方法，利用改进的RBF神经网络和BP神经网络对网页挖掘的商品价格数据计算其最佳数量级，用计算得出的最佳数量级对商品价格数据进行归一化数据量级的预处理，进而提高了RBF神经网络和BP神经网络的预测准确率，也提高了RBF神经网络和BP神经网络用于不同种类商品价格预测的通用性。
文档编号G06F19/00GK102982229SQ201210325368
公开日2013年3月20日 申请日期2012年9月6日 优先权日2012年9月6日
发明者朱全银, 尹永华, 严云洋, 陈婷, 曹苏群 申请人:淮阴工学院