变负荷预测层的预测算法，可实现其他高精度、并行化的预 测算法。
【主权项】
1. 一种基于大数据的短期负荷预测平台，采用化doop集群为架构，其特征在于：包括 数据整合模块、负荷预测模块、结果可视化模块， 所述数据整合模块，用于采集、存储并处理与负荷相关的多源异构数据，并对送些多源 异构数据进行融合W及历史数据的校正、填补和归一化处理； 所述负荷预测模块，根据负荷周期性分析理论、相似性分析理论W及影响负荷的因素 相关性分析，将局部加权线性回归算法Mapre化Ce化进行负荷预测，计算相对误差、日负荷 准确率来调整算法参数W实现参数调节控制，得到最终最优参数的局部加权线性回归算 法，进行负荷预测得到预测结果； 所述结果可视化模块，用于显示负荷预测结果。2. 根据权利要求1所述的短期负荷预测平台，其特征在于，还包含用户管理模块，所述 用户管理模块用于提供密码管理、用户组管理和用户管理功能。3. 根据权利要求1所述的短期负荷预测平台，其特征在于，所述数据整合模块包括数 据加载模块、数据存储模块、多级综合索引模块、数据处理模块； 所述数据加载模块，将采集到的多源异构数据加载到数据存储模块中； 所述数据存储模块，对于半结构化、非结构化小文件W及复杂多变的结构化数据，使用 皿ase的key-value存储，对于单个H种数据类型的文件，直接存储在皿FS文件系统中； 所述多级综合索引模块，用于快速按用户的查找条件找到所需的数据； 所述数据处理模块，用于实现数据预处理，对于所有多源异构数据，选用多核函数学习 方法进行融合；对于历史负荷数据中的缺失数据，采用插补法补全数据；对于历史负荷数 据中的异常数据，采用纵横法来校正异常数据；最后对所有处理之后的数据进行归一化。 数据加载模块将采集的原始数据加载到数据存储模块，数据存储模块存储采集到的多 源异构数据，多级综合索引模块按用户指令搜索数据存储模块中的多源异构数据得到用户 需求数据，数据处理模块处理用户需求数据。4. 根据权利要求1所述的短期负荷预测平台，其特征在于，所述的多源异构数据包括 结构化数据、半结构化数据和非结构化数据。5. 根据权利要求4所述的短期负荷预测平台，其特征在于，所述的结构化数据包括历 史负荷数据、气象数据、阶梯电价、分时电价、分负荷性质电价、周属性与节假日信息和交通 数据、所述的半结构化数据包括电价政策和经济人口数据表、所述的非结构化数据包括GIS 数据。6. 根据权利要求3所述的短期负荷预测平台，其特征在于，所述的多级综合索引模块 中一级索引采用多维R树基本结构，依据非传统地理分类规则，将清理后数据对象分成多 个子空间，每个子空间对应R树的一个节点，非叶节点存放节点所有子树的最小外接矩形 (MBR)，叶节点中存放每个空间对象对应的MBR;二级及W下索引采用基于相邻密度化CF) 的对象聚类，根据相对密度的接近程度实现聚类后的对象划分。7. 根据权利要求1所述的短期负荷预测平台，其特征在于，所述负荷预测模块进行负 荷预测的具体步骤如下： 步骤1、选取实验数据特征值：根据负荷周期性分析理论、相似性分析理论W及影响负 荷的因素相关性分析，选取历史负荷数据、历史气象数据、周属性信息、预测日数据作为实 验数据，影响负荷的特征值选取为每日时刻、日平均气温、星期属性。 步骤2、根据步骤I中选取的影响负荷的特征值属性进行实验样本训练集、测试集的构 造，构造形式： 【时刻Xi,气温而，星期属性&】 时刻Xi;每日每隔30分钟采样负荷数据，一天共48个时刻，表示如下：气温X2;日平均气温 星期属性X3;用数字1至7表示星期一至星期日。 预测方式：日前负荷预测，训练样本为待预测日前两年每日每30分钟的负荷数据，用W预测待预测日每30分钟的负荷，即测试样本为待预测日每30分钟的数据； 最终的训练集；(Xii，心Xe,Ii)，i= 1，2,…，n，对变量Xii,Xi2,XwIi作n次观察，得 到n个训练样本； 最终的测试集：(x，i，x，2,x，3)，j= 1，2,…，48,共48个待预测负荷点； 步骤3、实验数据加载：实验训练集与测试集文件被化doop集群自主分成若干个数据 块，存放于分布式文件系统皿FS中； 建立输入流对象，将皿FS中的训练集文本文件输入到Stream中W获得皿FS实例，逐 行读取训练集文本文件，进行类别转换并记为：traindata[i] = (Xii，Xi2，Xi3)，L[i] =li，i =1，2,…，n，n为训练样本个数，测试集文本文件则在Map过程中输入； 步骤4、实现Map过程；实现Kr^N算法中所有待预测点与所有样本点之间的距离计算， 输入为测试集文本文件，记为testdata[j] = (Xji，Xj2,Xj3)，j= 1，2,…，m; 步骤5、实现Re化Ce过程；输入为Map函数输出的键值对<key,value〉，输出为负荷预 测结果； 步骤6、实现参数调节控制，得到最终局部加权回归曲线方程，用W负荷预测。8.根据权利要求7所述的短期负荷预测平台，其特征在于，所述步骤4实现Map过程， 具体步骤为： 4A.定义Map函数输出值及其类型； 4B.将测试集文本进行类型转换； 4C.计算第j个测试样本与第i个训练样本之间的距离distanced'] [i]:: 躬別(1亂叫/][(!二 ||te.s、fdata|j.] -tramd加 i= 1，2, ???]!为训练样本个数，j= 1，2,…48为测试样本个数 4D.定义Map函数输出键值对<4巧，value〉：key=testdata[j],value=distance。-] 。]。9. 根据权利要求7所述的短期负荷预测平台，其特征在于，所述步骤5实现Re化Ce过 程，具体步骤为： 5A.定义K值；K=constant,令j= 1 ; 5B.i卖取测Ji式样本testdata[j] =Xj= (x.ji，Xj2，Xj3)，distance[j][i]，i= 1,2, ...n;SC.对读取的testdata[j]与distance。'] [i]键值对进行类型转换； 5D.将distance。'] [i]升序排列，选择前K个最小距离并记为；d[j] [1]、d[j] [2]、…、d[j]阳； 5E.记前K个最小距离对应训练样本为traindata_k[s] = (?,x,2,x,3)，L_k[s]= Is,S= 1，2,…，K; 5F.计算5D中选出的K个点的权重：5G.确定特征值矩阵X、因变量矩阵L、权矩阵W(x,):W(Xj) =diag[W1(Xj)，W2(Xj)，…《K(Xj)] 5H.采用加权最小二乘法求得在自变量X,处得曲线参数估计值： a(x,) = = [x'l^V(x,)x]\'V/{xj)LJi51.构造局部加权线性回归方程，在自变量testdata[j] =Xj= (x.ji，Xj2,Xj3)处进行 负荷预测： 焉'。3:/3(?) = 3〇(S) + &1(令)巧 1 + 泣2(巧)巧2 + 泣3(?)? 5J.计算相对误差：其中：为负荷预测值，L，为负荷实际值。 5K.令j=j+1，若j《48,转步骤5B，否则转步骤6。10. 根据权利要求7所述的短期负荷预测平台，其特征在于，所述步骤6实现参数调节 控制，具体步骤为： 6A.计算日负荷准确率：.能.修威K敏;：令K=CO械姑化+AK,AK为自定义步长，若if《i:打,打为讲腺样本个数，热巧歩磯:5中 的5B至5K;否则转步骤6C; 6C.选择最高日负荷预测准确率A所对应的K值为最终局部加权线性回归算法的KNN对应值，得到最终局部加权回归曲线方程，用W负荷预测。
【专利摘要】一种以Hadoop集群为架构的基于大数据的短期负荷预测平台，并在此平台上利用Mapreduce实现了局部加权线性回归的并行化负荷预测，该平台包含：数据整合模块、负荷预测模块、结果可视化模块以及用户管理模块；数据整合模块，完成了从负荷相关的数据采集与加载、数据存储到最后的多因素大数据集成融合技术的完全化数据处理流程；负荷预测模块，通过将局部加权线性回归算法Mapreduce化实现并行化负荷预测，并利用参数调节控制实现自学习、自适应负荷预测；结果可视化模块是平台预测结果的具体展现层，将实时分析技术动态呈现；用户管理模块是平台的安全机制层，实现负荷预测平台安全、可靠、高效地运行。
【IPC分类】G06Q10/04, G06Q50/06
【公开号】CN105205563
【申请号】CN201510628197
【发明人】高军, 侯广松, 李喜同, 王健, 韩岩, 甄颖, 邓帅, 荆树志, 马松, 吴倩红, 韩蓓, 李国杰, 王启龙, 尹中发
【申请人】国网山东省电力公司菏泽供电公司, 上海交通大学
【公开日】2015年12月30日
【申请日】2015年9月28日