基于大数据分析的网络智慧节电监控方法
【专利摘要】基于大数据分析的网络智慧节电监控方法，属于电表监控分析领域，用于解决对于电表数据监测，并实现关联分析的问题，技术要点是：云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map?Reduce模型改进的k?means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。效果是：该节电监控与分析方法实现了用户用电情况的可视化，并对用户用电情况的分析，给出用户用电策略，使用户高效智能用电，节约能耗。
【专利说明】
基于大数据分析的网络智慧节电监控方法
技术领域
[0001 ]本发明属于电表监控分析领域，涉及云计算技术，是一种基于Map-Reduce模型改进的k-means数据挖掘算法和遗传算法的智慧节电监控与用电行为分析方法。
【背景技术】
[0002]当前我国经济逐步从注重经济增长逐步向注重经济增长方式转变，节能减排和低碳经济逐步被人们所重视，大量节能产品顺势而生，但其节能效果并不能直观的体现给用户。
[0003]安装智慧电表是解决智慧节电监控的有效途径。
[0004]智慧电表对电力数据的计量是双向的，即用户可以参与到电能管理的工作范围之内，积极调控与自己相关电表的数据信息，实现用户做主计量调控电表数据，实现智慧节电监控。
[0005]但是，传统的智慧电表监控智慧用电仍然存在以下几点不足:
[0006](I)智慧电表本身数据的展示有空间和时间的局限一一必须由网线将数据采集器连至电脑才能展示，不便于人们随时随地的监控用电数据。
[0007](2)智慧电表只能储存和监控用户数据，并不能根据用户用电行为来进行有效的分析，使用户高效智能用电，节约能耗。
【发明内容】
[0008]本发明的目的是提供一种基于云计算的智慧节电监控与分析系统，该节电监控与分析系统实现了用户用电情况的可视化，并对用户用电情况的分析，给出用户用电策略，使用户高效智能用电，节约能耗。
[0009]为实现上述目的，本发明的技术要点是:一种基于大数据分析的网络智慧节电监控方法，云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
[0010]与现有技术相比，本发明的有益效果在于:
[0011]本发明的智慧节电监控与分析方法，由于采用电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。该技术方案，使得用户可以了解自己的用电行为间的关联规则，以及我们为用户设计的智能用电策略，可以有效的提高用户的用电效率，减少能耗，实现经济用电的目的。
【附图说明】
[0012]图1基于云计算的智慧节电监控与分析系统系统结构图；
[0013]图2基于云计算的用户用电行为分析流程；
[0014]图3数据采集流程图；
[0015]图4智慧电表的整体组成架构。
【具体实施方式】
[0016]下面将结合附图以及具体的实施例来详细说明本发明，为本发明的示意性实施及说明，用于解释本发明，但并不作为对本发明的限定。
[0017]实施例1:一种基于云计算的智慧节能电监控与分析系统，包括云端服务器，接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
[0018]如图1所示:采集器DLL通过USB接口与电脑连接，在电脑上进行相应配置，使DLL正常工作，通过设置DLL采集器，将采集到的数据定时存于PC上的指定目录中，之后利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中。利用PHP技术将服务器上数据库中的数据以图表形式在网页中呈现，达到数据可视化。
[0019]本实施例的数据分析技术实现如下:
[0020]如图2所示:用户根据自己的需要安装智慧电表，一个用户可以安装多个智慧电表，例如，一个大型用电工厂，由于机器电能消耗过大，可以在每个大型用电器上装一个智慧电表来监测耗能情况;一个家庭可以整体一家只装一个智慧电表，也可以选择他们需要具体监测的电器另外单独安装电表监测电器耗能情况。智慧电表采集相应的用电器的用电数据，将智慧电表采集到数据进行分布式储存，在云计算处理过程中采用基于Map-Reduce模型改进的k-means算法进行数据挖掘，k-means算法是一种属于划分方法的聚类算法，通常采用欧氏距离作为2个样本相似程度的评价指标，其基本思想是:随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
[0021 ]用电数据进行分析的方法是:
[0022]S1.智慧电表获取的用电数据以表格形式，CSV文件类型传输到云服务器端，用电数据以分布式数据存储的形式按照行列一个个数据集合，进行预处理，将其转换为标准数据格式〈ID，time ,quantity〉，其中ID为智慧电表编号，time为数据采集时间，quantity为用电量；
[0023]S2.从所述数据集合中，任意选出k个数据集合对象作为聚类中心，并将其发送到空闲的Map任务点；
[0024]S3.在Map任务点中，Map函数对标准用电数据格式〈ID，time ,quantity〉进行逐一检测，计算出标准用电数据与k聚类中心点之间的距离，获得最小距离，其中这个距离叫做欧式距离，最小距离记为Kmin;
[0025]S4.获得最小距离Kmin后，重新对所述数据集合进行整理，Map函数产生新格式〈Kmin，all>，其中最小距离Kmin是智慧电表聚类标志(在这里意思是指欧氏距离最小值是智慧代表的聚类标志)，all中包含智慧电表编号，数据采集时间，用电量；
[0026]S5.对产生的新数据集合按照最小距离Kmin (欧式距离最小值)，利用Partit1ner函数进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
[0027]S6.利用Reduce函数不断计算最小距离Kmin(欧式距离最小值)的均值，从而获取最稳定的最小距离Kmin(欧式距离最小值)聚类均值中心点；
[0028]S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
[0029]而作为另一种实施例:
[0030]所述用电数据进行分析的方法是:
[0031]S1.用电信息数据集以行形式存储在分布式文件系统中，使得待处理的用电数据集能够按行分片形成用电数据子集，任务管理按照k-means算法确定聚类个数k，并初始化k个聚类中心，发送到m个待执行Map任务的节点，Map是任务数；
[0032]S2.对分布式文件系统中的用电数据子集进行格式化，产生<keyl，Valuel>键值对，具体格式化为〈UserlD，info〉，其中:UserlD表示家庭用户ID，inf ο为家庭用户信息，所述的家庭用户信息包括房屋面积、家庭成员数、用电量；
[0033]S3.Map函数对输入的家庭用户用电数据子集的每个记录〈UserlD，info〉进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin ;Map函数生成并输出中间结果<key2，value2>对，其被定义为〈kmin，inf οι>对，kmin表示该用户所属簇的标识，inf 01.包括家庭用户ID、房屋面积、家庭成员数、用电量信息；
[0034]S4.分区函数Part it 1ner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数；
[0035]S5.被分配了Reduce任务的节点从m个Map任务处读取相应的中间结果〈kmin，list<(infOi<userlDr-->)，(inf0i〈userlD2...〉)，...>>并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起，节点遍历排序后的中间数据，将〈kmin，I i st>传递给Reduce函数，然后Reduce函数根据I i st值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点；
[0036]S6.重复步骤S2-S5，直至平方误差准则函数稳定在最小值，分别输出k个簇的数据；
[0037]S7.对于第i个簇的数据集，重新进行格式化，产生key-value对〈EC，listi>，其中EC为用户用电量，Iist1S用户其他信息，例如:用电时间，用电空间坐标信息，用户名等，划分数据集为数据子集，交由m个执行Map任务的节点处理:
[0038]S8.Map函数对输入的数据子集进行扫描，生成中间结果〈EC，I isti>，每个Map任务产生的中间结果将按照分区函数Partit1ner按EC值划分为r个分区pi，p2，...，pr。同时Map任务分别对每个分区Pi(KiSr)按EC值进行排序，r个Reduce任务分别获取相应的中间结果，进而进行Reduce阶段的数据处理，分区函数Partit1ner采用范围划分原则，使得每个Reduce任务处理一个EC区间段内的中间结果[ECi，ECj]。
[0039]在该方法处理之后，可以进行挖掘，挖掘出该用户的用电行为关联规则，再对用户的行为规则进行分析，分析该家庭在用电过程中可能存在的潜在用电行为踪迹。通过使用遗传算法对家用电器的启动时间进行优化，达到经济用电的目标。
[0040]用户用电行为的启动时间看作遗传算法的决策变量。对用电时间问题的规划采用把Ih划分为5个单位时段，每个单位时段时长为12min，即一天的24h划分为120个时间段，用U代表各时段，ueu= {I，2，3，...，120}，因此遗传算法编码采用七位二进制数表示。在一天的时段区域U内以目标函数的倒数为适应度函数，如式f(u) = l Σ 120u=l[Pday(u)prc(u)]中:Pday为日总电能消耗;prc (u)为u时段的电价。给定种群规模Ns，交叉率Pc和变异率Pm，代数T。遗传算法的实现过程如下。首先，在实际启动时间的范围随机产生一定数量的初始种群个体，将这些种群视为第一代。然后计算每个个体的适应度值，再依次完成选择、交叉、变异，然后得到实际启动时间的一种新的种群个体，然后判断是否达到循环结束要求，在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。综合以上两个算法，完成对家庭智能用户用电行为的数据挖掘，同时结合实时电价在合适的电价时段开启家用电器，以此生成智能用电策略达到高效用电的目的。
[0041]作为一种方案，用户可以随时随地的用电脑、手机、平板登录我们系统选择喜欢的用电数据展示形式查看，并查看推荐的用电策略。
[0042]如图3所示:根据日常用电情况，用户可以设置用电境界线，当通过对电力参数的实时分析，在实时监视过程中及时发现电能消耗异常现象如发生谐波问题或功率因数过低的问题，可以及时采取有效措施进行设备改造或补偿。以避免电能损耗和设备老化的问题。通过对电力参数的实时分析，可以及时发现潜在故障，如通过录波数据可以捕捉到一些严重的瞬态故障。使监控人员能够及时干预解决问题，避免严重故障的发生，从而减少设备维护费用，延长设备使用寿命。为减少不必要的电能花费，可以优化配电系统运行模式，如对定时用电设备进行集中控制。通过对各用电单位电能消耗数据分析(可按柱状图和饼状图等方式)，可对配电系统内部的各用电单位进行电能分配、计量和监控，以避免电能浪费。
[0043]电表数据超过平时水平急剧增长时，电表脉冲过大触发警报器，警报器发出警报，同时，监控系统也发出警报，提醒管理者用电器的不正常运作行为，及时发现潜在故障，可以及时采取有效措施进行设备改造或补偿使监控人员能够及时干预解决问题，避免严重故障的发生，从而减少设备维护费用，延长设备使用寿命。本发明的智慧电表监控系统，用户可以通过登录系统查看最及时有效准确的用电数据，通过图表的展示更清楚明了的掌握最新电量数据动态，并对数据进行自动的分析处理，给出优化方案和策略，使用户有效的采取节能措施，大大的提高了电能的利用率达到节能效果。
[0044]本实施例还设置了警报系统，及时的反馈紧急信息，使得用户减少损失，进一步的节能。或者设有用户互动论坛，发表评论和建议，使用户之间可以分享节能方法，通过交流使得节能更有乐趣。同时也可以针对我们的系统工作运行提出改进的建议，使得我们能更好的开发和改良用于需要的功能。
[0045]实施例2:本实施例提供一种基于云计算的智慧节电监控与分析系统，是对实施例1中技术方案的补充，该系统包括:
[0046]数据可视模块，所述的数据可视模块包括用户的用电统计、用户的用电趋势、用户的用电比较。数据分析模块，所述的数据分析模块包括用户的用电分析、用户的用电优化、用户的用电策略。
[0047]用户互动模块，所述的用户互动模块包括用户发布信息的上报、用户及其他用户发布评论的讨论。
[0048]用户管理模块，所述用户管理模块包括注册用户信息的管理、用户的认证、用户信息的储存与管理。
[0049]信息审核模块，所述内容审核模块用于判断其他用户发布的评论信息是否为有效信息，若不是有效信息则过滤该评论信息，若是有效信息则对讨论信息进一步判断该信息是否为广告信息，若不是则发布到用户互动平台。
[0050]用户通过浏览器直接访问智慧节电监控与分析系统中的数据可视模块、数据分析模块、用户互动模块;管理人员通过浏览器直接访问智慧节电监控与分析系统中的用户管理模块、信息审核模块;所述的智慧节电监控与分析系统均可在PC、手机、PAD上通过浏览器访问。
[0051]与现有技术相比，本实施例的有益效果在于:
[0052]本发明的智慧节电监控与分析系统，其中用户可以直接通过浏览器访问数据可视模块，可以直观的看到自己的用电数据、经过处理的用电数据柱形图、各用电设备的用电分布情况以及相同设备不同时间段的用电分布情况；
[0053]通过访问数据分析模块，用户可以了解自己的用电行为间的关联规则，以及我们为用户设计的智能用电策略，可以有效的提高用户的用电效率，减少能耗，实现经济用电的目的。
[0054]通过访问用户管理模块，可以使用户和用户之间得到更好的沟通，为了实现更好的用户体验，帮助用户系统使用及对不同节能电器的信息获取，本发明还设置有服务评价模块。
[0055]实施例3:—种基于云计算的智慧节能电监控与分析系统，包括云端服务器，接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。所述基于Map-Reduce模型改进的k-means算法是:随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
[0056]所述用电数据进行分析的方法是:
[0057]S1.智慧电表获取的数据以表格形式，CSV文件类型传输到云服务器端，这些用电数据以分布式数据存储的形式按照行列一个个数据集合，对这些数据进行预处理，将其转换为标准数据格式〈ID，time，quantity〉，其中ID为智慧电表编号，time为数据采集时间，quantity为用电数量；
[0058]S2.从这些数据集合中，任意选出k个数据集合对象做为聚类中心，并将其发送到空闲的Map任务点；
[°°59] S3.在Map任务点中，Map函数对标准用电数据格式〈ID，time ,quantity〉进行逐一检测，计算出他们与k聚类中心点之间的距离，获得最小距离。其中这个距离叫做欧式距离，最小距离记为Kmin ；
[0000]S4.获得Kmin后，重新对数据集合进行整体，Map函数产生新格式〈Kmin，al 1>，其中Kmin是智慧电表聚类标志，all中包含智慧电表编号，数据采集时间，用电数量；
[0061 ] S5.对产生的新数据集合按照Kmin利用Part it 1ner函数进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
[0062]S6.利用Reduce函数不断的计算Kmin的均值，从而获取最稳定的Kmin聚类均值中心点；
[0063]S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
[0064]对用户的行为规则分析，以分析家庭在用电过程中存在的用电行为踪迹，用户用电行为的启动时间为遗传算法的决策变量，把Ih划分为5个单位时段，每个单位时段时长为12min，用 u代表各时段，ueu={l，2，3，".，120};
[0065]遗传算法编码采用七位二进制数表示，在一天的时段区域U内以目标函数的倒数为适应度函数:
[0066]f (u) = 1 Σ 120u = I [Pday(u)prc(u)]；
[0067]其中:Pday为日总电能消耗，prc(u)为u时段的电价；
[0068]给定种群规模Ns，交叉率Pc和变异率Pm，代数T，遗传算法的实现过程如下:
[0069]首先，在实际启动时间的范围随机产生一定数量的初始种群个体，将这些种群视为第一代，然后计算每个个体的适应度值，再依次完成选择、交叉、变异，然后得到实际启动时间的一种新的种群个体，再判断是否达到循环结束要求，在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。
[0070]作为一种实施例，使用采集器DLL通过USB接口与电脑连接，将采集到的用电数据定时存于电脑上的指定目录中，利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中，利用PHP技术将服务器上数据库中的数据读取出来，然后用JQuery以图表形式在网页中呈现，达到数据可视化。并且使用其构建具有语义信息的移动电子商务应用模型以及典型应用开发。
[0071]本实施例中的所述系统，用于收集和分析智慧电表采集的电量数据，将电表收集的数据保存至云端，移动端根据需要通过无线网络获取云端数据，并在移动端以数字和图形的方式呈现。利用基于Map-Reduce模型改进的k-means算法算法对数据进行分析挖掘出该用户的用电行为关联规则，对用户的行为规则进行分析，采用遗传算法对用电分布进行优化，从而根据用户的用电习惯设计出用户个性化的用电策略。并设有警报功能和用户互动平台。该远程监控系统还包括利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中。利用PHP技术将服务器上数据库中的数据以图表形式在网页中呈现，达到数据可视化。通过基于Map-Reduce模型改进的k-means算法进行数据挖掘对电力参数的实时分析，在实时监视过程中及时发现电能消耗异常现象，可以及时发现潜在故障，对配电系统内部的各用电单位进行电能分配、计量和监控，以避免电能浪费。作为一种实施例，可以设置电量警告线，当用电量超过警告线，或者当在实时监视过程中及时发现电能消耗异常现象，警报器及系统都将给出警报，提醒管理者采取节能措施，达到节能效果。此外，构建具有语义信息的移动电子商务应用模型以及典型应用开发。比如用户可以一起谈论某一厂家电器的耗电量、节能情况等，也可以上传自己的图片，将这儿的信息保留下来，方便别人到此能搜到信息而了解这里的一些情况，形成移动视觉检索软件。
[0072]实施例4:一种基于大数据分析的网络智慧节电监控方法，云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。
[0073]所述基于Map-Reduce模型改进的k-means算法是:随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。
[0074]所述用电数据进行分析的方法是:
[0075]S1.智慧电表获取的用电数据以表格形式，传输到云服务器端，用电数据以分布式数据存储的形式按照行列一个个数据集合，进行预处理，将其转换为标准数据格式〈ID，time ,quantity〉，其中ID为智慧电表编号，time为数据采集时间，quantity为用电量；
[0076]S2.从所述数据集合中，任意选出k个数据集合对象作为聚类中心，并将其发送到空闲的Map任务点；
[0077]S3.在Map任务点中，Map函数对标准用电数据格式〈ID，time ,quantity〉进行逐一检测，计算出标准用电数据与k聚类中心点之间的距离，获得最小距离，最小距离记为Kmin;
[0078]S4.获得最小距离Kmin后，重新对所述数据集合进行整理，Map函数产生新格式〈Kmin，all>，其中最小距离Kmin是智慧电表聚类标志，all中包含智慧电表编号，数据采集时间，用电量；
[0079]S5.对产生的新数据集合按照最小距离Kmin进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点；
[0080]S6.利用Reduce函数不断计算最小距离Kmin的均值，从而获取最稳定的最小距离Kmin聚类均值中心点；
[0081]S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。
[0082]对用户的行为规则分析，以分析家庭在用电过程中存在的用电行为踪迹，用户用电行为的启动时间为遗传算法的决策变量，把Ih划分为5个单位时段，每个单位时段时长为12min，用 u代表各时段，ueu={l，2，3，".，120};
[0083]遗传算法编码采用七位二进制数表示，在一天的时段区域U内以目标函数的倒数为适应度函数:
[0084]f (u) = 1 Σ 120u = I [Pday(u)prc(u)]；
[0085]其中:Pday为日总电能消耗，prc(u)为u时段的电价；
[0086]给定种群规模Ns，交叉率Pc和变异率Pm，代数T，遗传算法的实现过程如下:
[0087]首先，在实际启动时间的范围随机产生一定数量的初始种群个体，将这些种群视为第一代，然后计算每个个体的适应度值，再依次完成选择、交叉、变异，然后得到实际启动时间的一种新的种群个体，再判断是否达到循环结束要求，在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。
[0088]采集器DLL通过USB接口与电脑连接，将采集到的用电数据定时存于电脑上的指定目录中，利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中，利用PHP技术将服务器上数据库中的数据读取出来，然后用JQuery以图表形式在网页中呈现，从而S达到数据可视化。
[0089]使用其构建具有语义信息的移动电子商务应用模型以及典型应用开发。
[0090]所述用电数据进行分析的方法是:
[0091]S1.用电信息数据集以行形式存储在分布式文件系统中，使得待处理的用电数据集能够按行分片形成用电数据子集，任务管理按照k-means算法确定聚类个数k，并初始化k个聚类中心，发送到m个待执行Map任务的节点，Map是任务数；
[0092]S2.对分布式文件系统中的用电数据子集进行格式化，产生<keyl，Valuel>键值对，具体格式化为〈UserlD，info〉，其中:UserlD表示家庭用户ID，inf ο为家庭用户信息，所述的家庭用户信息包括房屋面积、家庭成员数、用电量；
[0093]S3.Map函数对输入的家庭用户用电数据子集的每个记录〈UserlD，info〉进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin ;Map函数生成并输出中间结果<key2，value2>对，其被定义为〈kmin，inf οι>对，kmin表示该用户所属簇的标识，inf 01.包括家庭用户ID、房屋面积、家庭成员数、用电量信息；
[0094]S4.分区函数Part it 1ner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数；
[°°95] S5.被分配了Reduce任务的节点从m个Map任务处读取相应的中间结果〈kmin，list<(infOi<userlDr-->)，(inf0i〈userlD2...〉)，...>>并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起，节点遍历排序后的中间数据，将〈kmin，I i st>传递给Reduce函数，然后Reduce函数根据I i st值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点；
[0096]S6.重复步骤S2-S5，直至平方误差准则函数稳定在最小值，分别输出k个簇的数据；
[0097]S7.对于第i个簇的数据集，重新进行格式化，产生key-value对〈EC，listi>，其中EC为用户用电量，Iistl为用户其他信息，划分数据集为数据子集，交由m个执行Map任务的节点处理:
[0098]S8.Map函数对输入的数据子集进行扫描，生成中间结果〈EC，I isti>，每个Map任务产生的中间结果将按照分区函数Partit1ner按EC值划分为r个分区pi，p2，...，pr。同时Map任务分别对每个分区Pi(KiSr)按EC值进行排序，r个Reduce任务分别获取相应的中间结果，进而进行Reduce阶段的数据处理，分区函数Partit1ner采用范围划分原则，使得每个Reduce任务处理一个EC区间段内的中间结果[ECi，ECj]。
[0099 ]本实施例中所述的方法，可以是对实施例1 -3中各系统的方法实施。
[0100]以上所述，仅为本发明创造较佳的【具体实施方式】，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。
【主权项】
1.一种基于大数据分析的网络智慧节电监控方法，其特征在于，云端服务器接收智慧电表采集用电器的用电数据，电数据分布式存储于云端服务器中，并在云端服务器使用基于Map-Reduce模型改进的k-means算法对所述用电数据进行分析，以挖掘用户的用电行为关联规则，并对用户的行为规则分析。2.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，所述基于Map-Reduce模型改进的k-means算法是:随机选取数据集中的k个点作为初始聚类中心，根据数据集中的各个样本到k个中心的距离将其归到距离最小的类中，然后计算所有归到各个类中的样本的平均值，更新每个类中心，直到平方误差准则函数稳定在最小值。3.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，所述用电数据进行分析的方法是: .51.智慧电表获取的用电数据以表格形式，传输到云服务器端，用电数据以分布式数据存储的形式按照行列一个个数据集合，进行预处理，将其转换为标准数据格式<ID，time，quantity〉，其中ID为智慧电表编号，time为数据采集时间，quantity为用电量；. 52.从所述数据集合中，任意选出k个数据集合对象作为聚类中心，并将其发送到空闲的Map任务点； . 53.在Map任务点中，Map函数对标准用电数据格式〈ID，time,quantity〉进行逐一检测，计算出标准用电数据与k聚类中心点之间的距离，获得最小距离，最小距离记为Kmin; . 54.获得最小距离Kmin后，重新对所述数据集合进行整理，Map函数产生新格式〈Kmin，all〉，其中最小距离Kmin是智慧电表聚类标志，all中包含智慧电表编号，数据采集时间，用电量； . 55.对产生的新数据集合按照最小距离Kmin进行处理，进而区分为r个区域，将所有区域发送到Reduce任务点； . 56.利用Reduce函数不断计算最小距离Kmin的均值，从而获取最稳定的最小距离Kmin聚类均值中心点； S7.根据平方误差准则函数计算，当函数处于收敛状态时，中止上述算法并输出k个集合的数据，否则不断重复上述算法。4.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，对用户的行为规则分析，以分析家庭在用电过程中存在的用电行为踪迹，用户用电行为的启动时间为遗传算法的决策变量，把Ih划分为5个单位时段，每个单位时段时长为12min，用u代表各时段，ueu={l，2，3，."，120}; 遗传算法编码采用七位二进制数表示，在一天的时段区域U内以目标函数的倒数为适应度函数:f (u) = I Σ 120u= I [Pday(u)prc(u)]； 其中:Pday为日总电能消耗，prc (u)为u时段的电价； 给定种群规模Ns，交叉率Pc和变异率Pm，代数T，遗传算法的实现过程如下: 首先，在实际启动时间的范围随机产生一定数量的初始种群个体，将这些种群视为第一代，然后计算每个个体的适应度值，再依次完成选择、交叉、变异，然后得到实际启动时间的一种新的种群个体，再判断是否达到循环结束要求，在选择过程中采用轮盘赌的方式选择适应度较大的个体进入下一步。5.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，采集器DLL通过USB接口与电脑连接，将采集到的用电数据定时存于电脑上的指定目录中，利用JAVA语言编程，将文件以表格的形式存放在服务器上的数据库中，利用PHP技术将服务器上数据库中的数据读取出来，然后用JQuery以图表形式在网页中呈现，从而S达到数据可视化。6.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，使用其构建具有语义信息的移动电子商务应用模型以及典型应用开发。7.如权利要求1所述的基于大数据分析的网络智慧节电监控方法，其特征在于，所述用电数据进行分析的方法是: .51.用电信息数据集以行形式存储在分布式文件系统中，使得待处理的用电数据集能够按行分片形成用电数据子集，任务管理按照k-means算法确定聚类个数k，并初始化k个聚类中心，发送到m个待执行Map任务的节点，Map是任务数； .52.对分布式文件系统中的用电数据子集进行格式化，产生<keyl，Valuel>键值对，具体格式化为〈User ID，info〉，其中:User ID表示家庭用户ID，inf ο为家庭用户信息，所述的家庭用户信息包括房屋面积、家庭成员数、用电量； . 53.Map函数对输入的家庭用户用电数据子集的每个记录〈UserlD，inf ο>进行扫描，分别计算其与k个中心点的欧式距离，记录距离最小的中心点kmin ； Map函数生成并输出中间结果<key2，value2>对，其被定义为<kmin，infoi>对，kmin表示该用户所属簇的标识，info1.包括家庭用户ID、房屋面积、家庭成员数、用电量信息； . 54.分区函数Part i t i oner将中间结果按照kmin进行哈希，划分成r个不同的分区，将每个分区分配到指定的Reduce函数； S5.被分配了Reduce任务的节点从m个Map任务处读取相应的中间结果〈kmin，list〈(infOi<userlDr-->)，(inf0i〈userlD2...〉)，...>>并按照kmin对数据进行排序，使得具有相同kmin的数据聚集在一起，节点遍历排序后的中间数据，将〈kmin，Iist>传递给Reduce函数，然后Reduce函数根据I i st值，计算具有相同kmin数据的均值向量，更新kmin对应簇的中心点； . 56.重复步骤S2-S5，直至平方误差准则函数稳定在最小值，分别输出k个簇的数据； . 57.对于第i个簇的数据集，重新进行格式化，产生key-value对〈EC，listl>，其中EC为用户用电量，Iistl为用户其他信息，划分数据集为数据子集，交由m个执行Map任务的节点处理: S8.Map函数对输入的数据子集进行扫描，生成中间结果〈EC，listi>，每个Map任务产生的中间结果将按照分区函数Partit1ner按EC值划分为r个分区pi，p2，...，pr。同时Map任务分别对每个分区Pi(KiSr)按EC值进行排序，r个Reduce任务分别获取相应的中间结果，进而进行Reduce阶段的数据处理，分区函数Partit1ner采用范围划分原则，使得每个Reduce任务处理一个EC区间段内的中间结果[ECi，ECj]。
【文档编号】G06Q10/06GK106022664SQ201610538954
【公开日】2016年10月12日
【申请日】2016年7月8日
【发明人】季长清, 汪祖民, 陶帅, 王宝凤, 李鑫舟
【申请人】大连大学