一种智能网关多主站并行接入测试方法与流程

1.本发明涉及电力检测技术领域，具体是一种智能网关多主站并行接入测试方法。


背景技术：

2.网关(gateway)又称网间连接器、协议转换器。网关在传输层上以实现网络互联，是最复杂的网络互连设备，仅用于两个高层协议不同的网络互连。网关的结构也和路由器类似，不同的是互连层。电力mqtt网关就是电力工程中所有的电机、传感器，发电设备等等设备接入到mqtt物联网协议网络。
3.通俗地说，网关可以理解为电力系统的监测器，最常见的监测器是家用电表；可以想到，监测器安装在一线，获取到的数据量比较繁琐，如果将这些数据统一向中央平台发送，数据传输压力极大，在这种架构上的数据测试过程很难进行；因此，如何对多类型、大数据量的电力数据进行测试处理是本发明技术方案想要解决的技术问题。


技术实现要素：

4.本发明的目的在于提供一种智能网关多主站并行接入测试方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种智能网关多主站并行接入测试方法，所述方法包括：查询备案的供电单元，获取供电单元的位置信息，根据所述位置信息建立配电图；对所述配电图中的供电单元进行分类，确定数据中转主站；基于所述数据中转主站实时获取各供电单元的网关数据，对所述网关数据进行数据筛选，将筛选后的网关数据作为数据中转主站的输出数据；统计数据中转主站的输出数据，向测试端发送。
6.作为本发明进一步的方案：所述查询备案的供电单元，获取供电单元的位置信息，根据所述位置信息建立配电图的步骤包括：接收工作人员输入的监测区域，定位该监测区域对应的备案信息库；建立与备案信息库的连接通道，在备案信息库中读取供电单元的名称及其位置信息；根据供电单元的名称及其位置信息建立配电图；所述配电图中含有与供电单元对应的节点；其中，所述备案信息库含有数据输入端口，所述配电图与所述备案信息库之间同步更新。
7.作为本发明进一步的方案：所述根据供电单元的名称及其位置信息建立配电图的步骤包括：统计所有供电单元的位置信息，计算各位置信息的重复次数；根据所述重复次数选取预设数量的供电单元，作为基准供电单元；
根据所述基准供电单元建立含有数据填充端口的基底三维图；计算新的供电单元与基准供电单元之间的方向关系，根据方向关系在所述基底三维图中插入与新的供电单元对应的节点。
8.作为本发明进一步的方案：所述查询备案的供电单元，获取供电单元的位置信息，根据所述位置信息建立配电图的步骤包括：在备案信息库中查询各供电单元的管理人员的联系方式；根据所述联系方式向管理人员发送历史缴费信息获取请求，接收管理人员发送的历史缴费信息；根据所述历史缴费信息确定相应供电单元的能耗参数；根据能耗参数调整配电图中各节点的节点大小。
9.作为本发明进一步的方案：所述对所述配电图中的供电单元进行分类，确定数据中转主站的步骤包括：显示配电图，基于配电图接收工作人员输入的区域划分信息；根据所述区域划分信息对供电单元进行聚类；获取同类供电单元的位置信息，根据位置信息计算同类供电单元中各供电单元之间的关联度；所述关联度用于表征两个供电单元共用同一线路的性价比；根据关联度对同类供电单元进行二次分类，根据二次分类结果确定数据中转主站。
10.作为本发明进一步的方案：所述基于所述数据中转主站实时获取各供电单元的网关数据，对所述网关数据进行数据筛选，将筛选后的网关数据作为数据中转主站的输出数据的步骤包括：获取数据中转主站对应的供电单元的数量，根据供电单元的数量设置数据获取线程；根据设置的数据获取线程实时获取各供电单元的网关数据；计算各供电单元的网关数据的稳定性，根据计算结果生成与网关数据对应的简化数据；向简化数据中插入供电单元名称，统计以名称为标签的简化数据，作为数据中转主站的输出数据。
11.作为本发明进一步的方案：所述计算各供电单元的网关数据的稳定性，根据计算结果生成与网关数据对应的简化数据的步骤包括：将所述网关数据输入训练好的转换模型，得到与网关数据对应的数值；根据所述数值建立数据曲线，根据数据曲线拟合数据函数；对所述数据函数进行函数分析，得到该供电单元的数据稳定值；根据所述数据稳定值生成与网关数据对应的简化数据。
12.作为本发明进一步的方案：所述根据所述数据稳定值生成与网关数据对应的简化数据的步骤包括：实时将所述数据稳定值与预设的稳定值阈值进行比对；当所述数据稳定值超过预设的稳定阈值时，累计持续时间；将所述持续时间与预设的时间阈值进行比对；
当所述持续时间超过预设的时间阈值时，计算网关数据的均值数据，截取并向均值数据中插入时段标签，得到简化数据；其中，当生成一个简化数据时，将持续时间归零。
13.作为本发明进一步的方案：所述统计数据中转主站的输出数据，向测试端发送的步骤包括：计算各数据中转主站的数据输出参数；所述数据输出参数包括数据输出量及数据输出频率；根据所述数据输出参数对数据中转主站进行分类；打包同类输出数据，向测试端发送。
14.作为本发明进一步的方案：所述数据中转主站用于电力信息和数据网络的互联、调度和控制；所述电力信息包括用能数据、网络运行数据和环境数据；所述数据中转主站与预设的网关诊断系统相连，所述网关诊断系统包括通信模块、数据编辑模块、分析模块、管理模块、模拟主站模块、人机交互模块；用于测试数据中转主站的数据采集过程、数据传输过程、数据储存过程、数据处理过程、应用层协议和控制过程。
15.与现有技术相比，本发明的有益效果是：本发明根据备案的供电单元建立配电图，根据配电图建立与供电单元对应的数据中转主站，基于数据中转主站对数据进行处理，进而发送至测试端；本发明在中央平台与供电单元之间增设了数据中转主站，可以有效地分散数据处理压力，提高数据传输效率。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。
17.图1为供电单元产生的数据可视化后进行渲染的视图。
18.图2为网关数据降维处理过程示意图。
19.图3为智能网关多主站并行接入测试方法的流程框图。
20.图4为智能网关多主站并行接入测试方法的第一子流程框图。
21.图5为智能网关多主站并行接入测试方法的第二子流程框图。
22.图6为智能网关多主站并行接入测试方法的第三子流程框图。
23.图7为智能网关多主站并行接入测试方法的第四子流程框图。
具体实施方式
24.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
25.图3为智能网关多主站并行接入测试方法的流程框图，本发明实施例中，一种智能网关多主站并行接入测试方法，所述方法包括步骤s100至步骤s400：步骤s100：查询备案的供电单元，获取供电单元的位置信息，根据所述位置信息建
立配电图；供电单元是需要用电的最小单元，可以是一个园区、一个单位、一个楼层等，甚至可以是一户人家；它们都会有位置信息，根据位置信息可以建立一张配电图。
26.步骤s200：对所述配电图中的供电单元进行分类，确定数据中转主站；配电图能够表示各供电单元的信息，比如位置信息，根据位置信息可以对供电单元进行分类，将多个供电单元的数据通过一个数据中转主站进行集成，进而向管理方发送。
27.本步骤中，分类算法采用的是一种结合位置信息的softmax算法：，其中i为当前数据中转主站的index，为供电单元位置信息的特征表达，为当前供电单元的数值，为以e为底、为指数的指数函数；j为遍历所有数据中转主站的index，为以e为底、为指数的指数函数，上述公式中的分母为所有数据表征的求和， 值代表当前供电单元数据的softmax函数表示；经过该softmax 函数转换后，可以将供电单元的信息归一化到[0，1]之间，输出的各类概率值为数据中转主站的index;根据分类最大结果选择发送的主站，从而使得表达地更加重充分和合理。
[0028]
步骤s300：基于所述数据中转主站实时获取各供电单元的网关数据，对所述网关数据进行数据筛选，将筛选后的网关数据作为数据中转主站的输出数据；数据中转主站在接收到各个供电单元发送的网关数据时，对网关数据进行处理，得到输出数据；这一过程的目的是，降低数据传输压力，我们知道，在供电系统中的大部分时间段，电力参数都是稳定的，实时获取到的电力数据，很多都是几乎相同的数据，可以想到，如果对这些重复的数据进行简化，能够极大地缓解数据传输压力。
[0029]
数据去重算法，我们根据业务场景，提出了一种聚类去重法：如附图1所示，各个供电单元一天产生的数据是大量且重复的，我们将数据进行可视化后进行渲染，得到图1。
[0030]
明显可以得出结论：成百上千的数据都是冗余的，我们只需要挑选上述四种不同颜色中的几个代表数据发送给数据中转主站即可。
[0031]
1. 从 n个供电单元的历史样本数据中随机选取 k个质心作为初始的聚类中心。质心记为：2. 定义优化目标：，其中，c代表聚类中心集合， m为总的供电单元样本数据的个数，i为当前样本数据
的index，为当前待分析的供电单元样本数据，为距离最近的聚类中心、为优化目标函数值；开始循环，计算每个样本点到质心的距离，在相似度函数的约束下，寻找该样本到所有质心误差最小的质心，得到 k 个簇：，其中为聚类供电单元样本的聚类中心， 为第t次聚类中心集合，其上标t为本次循环遍历寻找聚类中心的index；对于每个簇，计算所有被分到该簇的样本点的平均距离作为新的质心： ，其中b为所有供电单元样本类别的样本总数;步骤s400：统计数据中转主站的输出数据，向测试端发送。
[0032]
测试端一般是内置智能识别模型的人工检测端，智能识别模型的功能是提高检测效率，人工检测的功能是提高检测准确率。
[0033]
图4为智能网关多主站并行接入测试方法的第一子流程框图，所述查询备案的供电单元，获取供电单元的位置信息，根据所述位置信息建立配电图的步骤包括步骤s101至步骤s103：步骤s101：接收工作人员输入的监测区域，定位该监测区域对应的备案信息库；监测区域由工作人员划定，因为计算资源是有限的，监测能力也是有限的；在实际应用过程中，工作人员会综合考虑监测区域和计算资源两个因素，确定监测区域和计算资源；比如，当计算资源固定时，监测区域就不能选的太大；当监测区域固定时，计算资源需要进行具体的调整。
[0034]
步骤s102：建立与备案信息库的连接通道，在备案信息库中读取供电单元的名称及其位置信息；步骤s103：根据供电单元的名称及其位置信息建立配电图；所述配电图中含有与供电单元对应的节点；其中，所述备案信息库含有数据输入端口，所述配电图与所述备案信息库之间同步更新；在本发明技术方案的一个实施中，备案信息库是一个动态库，工作人员可以定时的向备案信息库中添加备案信息；当备案信息库发生变化时，配电图也要发生变化。
[0035]
作为本发明技术方案的一个优选实施例，所述根据供电单元的名称及其位置信息建立配电图的步骤包括：统计所有供电单元的位置信息，计算各位置信息的重复次数；根据所述重复次数选取预设数量的供电单元，作为基准供电单元；根据所述基准供电单元建立含有数据填充端口的基底三维图；
计算新的供电单元与基准供电单元之间的方向关系，根据方向关系在所述基底三维图中插入与新的供电单元对应的节点。
[0036]
在本发明技术方案的一个实例中，生成的配电图是三维图，三维图中设有与各个供电单元对应的节点；其中，位置信息的颗粒度有时候难以达到区分标准，多个供电单元有可能会有同样的位置信息，此时，将包含最多供电单元的位置信息作为基准供电单元，建立基底三维图；然后，依次根据位置关系确定方向关系，在基底三维图中插入与各供电单元对应的节点即可。
[0037]
需要说明的是，方向关系只涉及到方位，不涉及到具体的距离，当然，如果配电图在三个方向上的比例尺均独立的话，也可以在配电图中插入距离参数。
[0038]
作为本发明技术方案的一个优选实施例，所述查询备案的供电单元，获取供电单元的位置信息，根据所述位置信息建立配电图的步骤包括：在备案信息库中查询各供电单元的管理人员的联系方式；根据所述联系方式向管理人员发送历史缴费信息获取请求，接收管理人员发送的历史缴费信息；根据所述历史缴费信息确定相应供电单元的能耗参数；根据能耗参数调整配电图中各节点的节点大小。
[0039]
上述内容的目的是，在配电图中增设反映供电单元电力参数的功能，其原理是，根据缴费信息确定各供电单元在某一时间段内的耗能信息，通过调整节点的节点大小，用于反应耗能的多少。
[0040]
图5为智能网关多主站并行接入测试方法的第二子流程框图，所述对所述配电图中的供电单元进行分类，确定数据中转主站的步骤包括步骤s201至步骤s204：步骤s201：显示配电图，基于配电图接收工作人员输入的区域划分信息；步骤s202：根据所述区域划分信息对供电单元进行聚类；步骤s203：获取同类供电单元的位置信息，根据位置信息计算同类供电单元中各供电单元之间的关联度；所述关联度用于表征两个供电单元共用同一线路的性价比；步骤s204：根据关联度对同类供电单元进行二次分类，根据二次分类结果确定数据中转主站。
[0041]
二次分类算法，我们创新性地提出了一种关联度分类算法：1. 选取历史中转主站的输入数据：其中，k代表数据中转站的index，2. 计算当前供电单元的输入数据与上述数据的关联度距离其中，n代表供电数据的特征维度， 为当前供电单元的输入数据，依次计算与各个数据中转站的关联度；3. 根据得到的关联度距离，确定发送的数据中转站
步骤s201至步骤s204对数据中转主站的确定过程进行了具体的限定，由配电图接收工作人员输入的区域划分信息，进而对供电单元进行一次分类，然后，根据位置信息对供电单元进行二次分类，二次分类后的同类供电单元，共用同一数据中转主站。
[0042]
图6为智能网关多主站并行接入测试方法的第三子流程框图，所述基于所述数据中转主站实时获取各供电单元的网关数据，对所述网关数据进行数据筛选，将筛选后的网关数据作为数据中转主站的输出数据的步骤包括步骤s301至步骤s304：步骤s301：获取数据中转主站对应的供电单元的数量，根据供电单元的数量设置数据获取线程；步骤s302：根据设置的数据获取线程实时获取各供电单元的网关数据；步骤s303：计算各供电单元的网关数据的稳定性，根据计算结果生成与网关数据对应的简化数据；步骤s304：向简化数据中插入供电单元名称，统计以名称为标签的简化数据，作为数据中转主站的输出数据。
[0043]
数据中转主站用于获取网关数据，并将网关数据发送至中央控制平台；网关数据的稳定性都比较高，否则无法投入使用；如果实时的记录每时每刻的网关数据，那么绝大多数的网关数据都是无效数据，因此，上述内容提供了一种具体的网关数据优化方案。
[0044]
进一步的，所述计算各供电单元的网关数据的稳定性，根据计算结果生成与网关数据对应的简化数据的步骤包括：将所述网关数据输入训练好的转换模型，得到与网关数据对应的数值；根据所述数值建立数据曲线，根据数据曲线拟合数据函数；为了使得拟合出的数据更加精准，我们设计了如下的曲线拟合算法：1. 网关数据降维网关数据存在大量的冗余信息，本例在进行数据拟合操作前，首先对数据降维，如附图2所示，在该步骤中，我们根据网关数据的特性，设计了一种如图2所示的神经网络结构：一种带编码器-解码器的网关数据降维网络。输入的高维网关数据经过前端网络进行编码，编码后的特征经过网络自学习进行隐层特征表达，隐层特征最后经过解码器解码输出低纬度的网关数据。
[0045]
2. 多项式函数表示，其中，为每一项多项式对应的系数。为了均衡精度和计算速度，多项式函数中的参数m,设定为3。
[0046]
则令：
， 则多项式函数可化为线性表达式：；3. 误差计算公式在前期构建拟合函数时，为了评估所设定的网关数据拟合函数的优劣，本案建立了一种基于均方误差的损失函数：，其中n为网关数据总的维度，为误差总和，测量每个网关数据样本点目标值与预测值之间的误差，拟合的目标是让误差最小。
[0047]
对所述数据函数进行函数分析，得到该供电单元的数据稳定值；根据所述数据稳定值生成与网关数据对应的简化数据。
[0048]
网关数据的类型有很多，包括用能数据、网络运行数据、环境数据等，由于这些数据的数据结构不同，对每种数据都需要设计不同的处理方式，研发成本极高；而本发明技术方案的目的仅是判断其稳定性，因此，借助现有的转换模型，将不同格式的数据转换为数值，然后统计数值的变化情况，即可得到网关数据的变化情况，也就是数据稳定值。
[0049]
具体的，所述根据所述数据稳定值生成与网关数据对应的简化数据的步骤包括：实时将所述数据稳定值与预设的稳定值阈值进行比对；当所述数据稳定值超过预设的稳定阈值时，累计持续时间；将所述持续时间与预设的时间阈值进行比对；当所述持续时间超过预设的时间阈值时，计算网关数据的均值数据，截取并向均值数据中插入时段标签，得到简化数据；其中，当生成一个简化数据时，将持续时间归零。
[0050]
当数据稳定值低到一定程度并且持续时间较长时，就可以确定一个中间截取点，由此往前的所有数据都是稳定的，统计由此往前的数据，计算均值数据，再向均值数据中插入由此往前对应的时间段，就得到了简化数据。
[0051]
图7为智能网关多主站并行接入测试方法的第四子流程框图，所述统计数据中转主站的输出数据，向测试端发送的步骤包括步骤s401至步骤s403：步骤s401：计算各数据中转主站的数据输出参数；所述数据输出参数包括数据输出量及数据输出频率；步骤s402：根据所述数据输出参数对数据中转主站进行分类；
步骤s403：打包同类输出数据，向测试端发送。
[0052]
步骤s401至步骤s403对数据中转主站与测试端之间的数据传输过程进行了具体的描述，其重点在于，将具有同样波动情况的数据中转主站归为一分；由于数据中转主站输出的是数据是简化数据，简化数据是一段时间内的网关数据的数据包，如果两个数据中转主站的简化数据相似，就说明对应的网关数据的波动情况是类似的，这就代表着相应的供电单元是相互影响的，因此，统一分析，统一测试，可以提高分析的准确率。
[0053]
作为本发明技术方案的一个优选实施例，所述数据中转主站用于电力信息和数据网络的互联、调度和控制；所述电力信息包括用能数据、网络运行数据和环境数据；所述数据中转主站与预设的网关诊断系统相连，所述网关诊断系统包括通信模块、数据编辑模块、分析模块、管理模块、模拟主站模块、人机交互模块；用于测试数据中转主站的数据采集过程、数据传输过程、数据储存过程、数据处理过程、应用层协议和控制过程。
[0054]
所述智能网关多主站并行接入测试方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述智能网关多主站并行接入测试方法的功能。
[0055]
处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（read-only memory，rom），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。
[0056]
示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。
[0057]
本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。
[0058]
所称处理器可以是中央处理单元（central processing unit，cpu），还可以是其他通用处理器、数字信号处理器（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。
[0059]
上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的
产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card， smc），安全数字（secure digital， sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0060]
终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。
[0061]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0062]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。