本发明属于电力系统的运行环境及设备信息的数据处理领域，具体涉及一种融合电网运行环境及设备信息的跨系统数据转换方法。
背景技术：
电网运行环境及设备信息数据存储在不同的电网管理系统中，数据主要来源于能量管理系统(EMS)、自动气象站系统、生产管理系统(PMS)、输变电设备状态监测系统、电网空间信息服务平台(GIS)、雷电定位系统、变电站智能巡检机器人系统、雷电定位系统、可靠性系统等电网管理系统。
在电力行业由于各业务系统的业务目标不同、建立的时期不同等原因，造成数据信息分散、独立、数据空间相互交叉但又不连通，成为一个个的数据孤岛，在进行数据初步清洗之前，需要对数据进行预处理工作，预处理主要根据数据所属的业务系统、类型、结构、大小等，打上统一规范的标记，用于标识数据的来源、种类等属性；针对源数据模型不统一、格式不一致、各系统数据无法有效融合等问题，需要将不同业务系统中同一设备进行匹配，从而关联不同业务系统的数据，将不同业务系统数据形成的数据孤岛串联，构造跨业务系统异构数据的融合数据模型。同时，电网数据来源多、信息异构、数量庞大、属性繁多，数据存在不一致、重复、价值属性缺失、错误或异常(偏离期望值)、记录不完整、数据内容不规则等问题，数据完整性、有效性、一致性等指标难以保证，为数据的分析、挖掘带来极大问题。
技术实现要素：
本发明为了解决上述问题，提出了一种融合电网运行环境及设备信息的跨系统数据转换方法，本发明使用格式识别、数值比较、计算转换、文本分析、属性关联等方法，实现电网运行环境及设备信息数据的跨系统转换，提高数据有效性、一致性和完整性。
为了实现上述目的，本发明采用如下技术方案：
一种融合电网运行环境及设备信息的跨系统数据转换方法，包括以下步骤：
(1)统一电网运行环境和设备模型规范，统一各个业务系统的关联关系和规范标准；
(2)依据运行环境和设备模型规范，对各个业务系统的源数据进行初步的数据清洗，过滤出不符合规范的数据；
(3)根据不同类型设备的负荷进行计算，确定负荷属性，利用文本特征提取次数最多的特征内容用来构造新属性，并进行不同系统的匹配，根据匹配结果更新电网运行环境。
所述步骤(1)中，统一电网运行环境及设备模型规范，统一描述各个业务系统的业务规则，同时以生产管理系统的设备ID为连接点的各个业务系统的关联关系、业务属性规范标准。
所述步骤(1)中，业务属性规范标准包括统一数据格式、数值的大小限值和数据更新频度。
所述步骤(2)中，针对获取的数据，通过格式识别、数值比较、计算转换、文本分析和属性关联，对数据做去除不符合属性格式的数据、偏离值删除或纠正、补充缺失值、去除可忽略的字段、去除重复的数据。
所述步骤(2)中，自动气象站系统中的温度、湿度为整数型，识别与整数型不符的数据并删除；风速、风角度为浮点型，识别与浮点型不符的数据并删除。
所述步骤(2)中，能量管理系统中的电压、电流、有功、无功的负荷属性为浮点型，识别与浮点型格式不符的数据并删除；按照分钟序列检查数据是否完整，若某时刻数据为空时，查找拓扑关系相近的同类型负荷数据补充；按照量测id、时刻为唯一化行数据；删除无效值与时刻向前跨度超大的数据。
所述步骤(3)中，对于能量管理系统中不同类型设备的负荷进行计算转化为负载率，主变针对电流和电压计算负载率，计算公式为瞬时电流*瞬时电压/额定容量；
线路针对电流计算负载率，计算公式为瞬时电流/额定电流；
断路器针对电流计算荷电率，计算公式为瞬时电流/额定电流；
避雷器针对电压计算荷电率，计算公式为瞬时电压/额定电压。
所述步骤(3)中，对于能量管理系统中设备的电压、电流、有功和无功的负荷属性，剂型不同维度的计算相应负荷属性的最大值、最小值和平均值。
所述步骤(3)中，对于生产管理系统中的无规则输入的文本内容，进行文本特征提取次数最多的特征内容用来构造新属性。
具体的，采用正向迭代最细粒度切分算法，从最大词到最小词层层迭代检索方式切分内容进行分词，针对分词结果统词频和二元词组词频并带入Bi-Gram模型中公式计算出语言概率模型，根据概率最大原则获取前十位词组并记每个词组出现的频数。
所述步骤(3)中，通过短文本匹配，结合设备类型、设备从属关系和拓扑图的设备信息，实现生产管理系统与能量管理系统、雷电定位系统、自动气象站系统、电网空间信息服务平台、输变电设备状态监测系统的不同系统中变电站、线路和设备的自动对应匹配和数据匹配。
所述步骤(3)中，定义设备模型数据基本信息的抽取，即建立输入模型，根据设备的级别，在匹配时应该优先匹配上层设备，同时抽取不同系统的一级设备下的从属设备，进行数据的分类匹配；定义数据的匹配规则，抽取设备命名中的公共信息，建立设备数据信息别名，以生产管理系统设备为基准设备，对同一变电站下同一类型的能量管理系统设备进行遍历，匹配别名数据，完成数据的匹配。
所述步骤(3)中，对于生产管理系统中的数据，把项目名称、子项目名称或部位名称的拼音首字母提取构造新的属性。
本发明的有益效果为：
1、本发明建立了统一电网运行环境及设备模型规范，为电力行业各业务系统数据的对应融合提供了参考依据。
2、本发明建立了电网运行几大系统的业务属性规范标准，为电力行业各业务数据的处理提供了参考依据。
3、本发明提供了数据清洗方法，为以后的其他电力系统的数据处理提供了技术依据。
4、本发明提供了数据变换方法，为电网数据的深度挖掘提供了技术依据。
附图说明
图1为融合电网运行环境及设备信息的跨系统数据转换方法。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
如图1所示，融合电网运行环境及设备信息的跨系统数据转换方法，包括以下步骤：
步骤(1)：建立统一电网运行环境及设备模型规范；
步骤(2)：依据步骤(1)中的统一电网运行环境及设备模型规范，对于各系统的源数据进行初步的数据清洗；
步骤(3)：依据步骤(1)中的统一电网运行环境及设备模型规范，针对步骤(2)的数据清洗结果做数据变换；
所述步骤(1)中的统一电网运行环境及设备模型规范，描述为各个业务系统的业务规则、以生产管理系统(PMS)的设备id为连接点的各个业务系统的关联关系、业务属性规范标准(数据格式、数值的大小限值、数据更新频度等)。
所述步骤(2)中的数据清洗，描述针对获取的数据，通过格式识别、数值比较、计算转换、文本分析、属性关联等方法，对数据做去除不符合属性格式的数据、偏离值删除或纠正、补充缺失值、去除可忽略的字段、去除重复的数据等动作。
所述步骤(3)中的数据变换，描述为对步骤(2)的数据清洗结果，根据步骤(1)中的电网运行环境及设备模型规范，对于能量管理系统(EMS)中不同类型设备的负荷进行计算泛化为负载率；对于能量管理系统(EMS)中设备的电压、电流、有功、无功等负荷属性，不同维度计算最大值、最小值、平均值；对于生产管理系统(PMS)中的无规则输入的文本内容，进行文本特征提取次数最多的特征内容用来构造新属性；对于各个业务系统的数据，通过短文本匹配，结合设备类型、设备从属关系、拓扑图等设备信息，实现生产管理系统(PMS)与能量管理系统(EMS)、雷电定位系统、自动气象站系统、电网空间信息服务平台(GIS)、输变电设备状态监测系统等不同系统变电站、线路和设备的自动对应匹配和数据匹配，根据匹配结果更新步骤(1)中的电网运行环境及设备统一模型规范中的关联关系；对于生产管理系统(PMS)中的试验数据，把试验项目名称、试验子项目名称、试验部位名称等拼音首字母提取构造新的属性。
融合电网运行环境及设备信息的跨系统数据转换方法，包括以下步骤：
一、建立统一电网运行环境及设备模型
统一电网运行环境及设备模型包含各个业务系统的业务规则、以生产管理系统(PMS)的设备id为连接点的各个业务系统的关联关系、业务属性规范标准(数据格式、数值的大小限值、数据更新频度等)。
业务系统规则示例：
雷电定位系统是一整套全自动、大面积、高精度、连续性、实时雷电监测系统，能实时显示雷击的发生时间、位置、回击次数等各种雷电参数，数据更新频率为雷电事件发生时期，随季节性变化。
自动气象站系统，数据分类主要有气象监测数据、雷达图数据、云图数据、天气预报数据等。其中，雷达图数据和云图数据每1天更新一次；气象监测数据每10分钟更新一次；天气预报数据则每天预报24-168小时的天气状况。
EMS能量管理系统：是以计算机技术为基础的现代电力综合自动化系统，主要为电网调度管理人员提供电网各种实时的信息(包括频率、发电机功率、线路功率、母线电压等)，数据更新频率为每1分钟更新一次。
关联关系标准：
部分关联关系如下表1所示，描述以生产管理系统(PMS)设备为基准点关联到其他业务系统数据的唯一属性关联规范。格式如下：
Pmsid：设备id，属于生产管理系统(PMS)系统中的设备id；
Pid：有功量测id，属于EMS能量管理系统的有功量测id；
Qid：无功量测id，属于EMS能量管理系统的无功量测id；
Iid：电流量测id，属于EMS能量管理系统的电流量测id；
Uid：电压量测id，属于EMS能量管理系统的电压量测id；
Djzid：大监站id，属于自动气象站系统气象观测站id；
Ywid：油温量测id，属于EMS能量管理系统的油温量测id；
Giszb：雷电坐标，Pmsid在雷电定位系统中的经纬度坐标；
表1
统一模型业务规范标准：
部分业务规范标准如下表2所示，描述以生产管理系统(PMS)设备为基准点关联到其他业务系统数据的业务数据融合规范。格式如下：
Xh：设备型号，属于生产管理系统(PMS)系统；
Dydj：设备电压等级，属于生产管理系统(PMS)系统；
Sbmc：设备名称，属于生产管理系统(PMS)系统；
Bdzmc：变电站名称，属于生产管理系统(PMS)系统；
Tynx：设备投运年限，单位年，属于生产管理系统(PMS)系统；
Tysj：设备投运时间，属于生产管理系统(PMS)系统；
sk：数据时间，格式为yyyy-MM-dd hh:mm；
P：有功，格式为浮点型，属于EMS能量管理系统；
Q：无功，格式为浮点型，属于EMS能量管理系统；
I：电流，格式为浮点型，属于EMS能量管理系统；
U：电压，格式为浮点型，属于EMS能量管理系统；
fzl：负载率，计算所得，格式为浮点型，属于EMS能量管理系统；
ldqd：雷电电流强度，格式为浮点型，属于雷电定位系统；
hjcs：回击次数，属于雷电定位系统；
hjwd：环境温度，格式为整数型，属于自动气象站系统；
hjsd：环境湿度，格式为整数型，属于自动气象站系统；
hjfs：环境风速，格式为浮点型，属于自动气象站系统；
hjfx：环境风角度，格式为浮点型，属于自动气象站系统；
yw：油温，格式为浮点型，属于EMS能量管理系统；
表2
二、数据清洗
数据清洗指针对获取的数据，通过格式识别、数值比较、时间序列填充等方法，对数据做去除不符合属性格式的数据、偏离值删除或纠正、补充缺失值、去除可忽略的字段、去除重复的数据等动作。
能量管理系统(EMS)中的电压、电流、有功、无功等负荷属性为浮点型，识别与浮点型格式不符的数据并删除；按照分钟序列检查数据是否完整，如某时刻数据为空时，查找拓扑关系相近的同类型负荷数据补充；按照量测id、时刻为唯一化行数据；删除无效值例如9999、-9999、时刻向前跨度超大的数据。
自动气象站系统中的温度、湿度为整数型，识别与整数型不符的数据并删除；风速、风角度为浮点型，识别与浮点型不符的数据并删除。
三、数据变换
数据变换指针对清洗后的结果数据，通过计算转换、文本分析、属性关联等方法，对数据进一步的处理构造新价值属性等动作，其中属性关联方法可生成统一模型中的关联关系。
能量管理系统(EMS)中不同类型设备的负荷进行计算泛化为负载率：
主变针对电流和电压计算负载率，计算公式为瞬时电流*瞬时电压/额定容量；
线路针对电流计算负载率，计算公式为瞬时电流/额定电流；
断路器针对电流计算荷电率，计算公式为瞬时电流/额定电流；
避雷器针对电压计算荷电率，计算公式为瞬时电压/额定电压。
生产管理系统(PMS)中设备的电压、电流、有功、无功等负荷属性，不同维度计算最大值、最小值、平均值：
设备为生产管理系统(PMS)的设备，通过统一模型中的各系统关联关系，映射到能量管理系统(EMS)中的电压量测id、电流量测id、有功量测id和无功量测id，按照分钟截面统计一个月每个量测id的最大值和最小值以及平均值。
生产管理系统(PMS)中的无规则输入的文本内容，进行文本特征提取次数最多的特征内容用来构造新属性：
对生产管理系统(PMS)中如检修票的内容采用正向迭代最细粒度切分算法，从最大词到最小词层层迭代检索方式切分内容进行分词，针对分词结果统词频和二元词组词频并带入Bi-Gram模型中公式计算出语言概率模型，根据概率最大原则获取前十位词组并记每个词组出现的频数。二元模型公式为：
P(W)≈P(w1)P(w2|w1)P(w3|w2)…P(wn|wn-1)
其中，P(w1)≈count(w1)/count(w),cout(w1)为w1在文档中出现的总次数，count(w)为文档中所有词的总数；P(w2|w1)≈count(w1,w2)/count(w1),count(w1,w2)为词组w1,w2在文档中出现的总次数，count(w1)为w1在文档中出现的总数。
各个业务系统的数据，通过短文本匹配，结合设备类型、设备从属关系、拓扑图等设备信息，实现生产管理系统(PMS)与能量管理系统(EMS)、雷电定位系统、自动气象站系统、电网空间信息服务平台(GIS)、输变电设备状态监测系统等不同系统变电站、线路和设备的自动对应匹配和数据匹配：
定义设备模型数据基本信息的抽取，即建立输入模型；由于所需批配的设备数据在不同的系统下，设备分为一级设备、二级设备，一级设备：该设备下无逻辑拓扑从属设备，如变电站、线路设备，二级设备：该设备下有从属的设备，如主变、母线、断路器等设备在逻辑拓扑从属在变电站下，而在不同的变电站下同一类设备存在雷同命名，在匹配时应该优先匹配上层设备，同时抽取不同系统的一级设备下的从属设备，进行数据的分类匹配；定义数据的匹配规则，抽取设备命名中的公共信息，建立设备数据信息别名，以PMS设备为基准设备，对同一变电站下同一类型的EMS设备进行遍历，匹配别名数据，完成数据的匹配。
生产管理系统(PMS)中的试验数据，把试验项目名称、试验子项目名称、试验部位名称等拼音首字母提取构造新的属性：
逐步获取试验设备、试验项目、数据组、试验结果，先按照编码规则转换名称，然后汉字提取首字母，其他字符保留其原字符；汉字提取后生成试验项目编码、试验子项目编码、试验部位编码组装为字符串，属性之间以“&”为分隔符连接；时间和试验组成字符串，中间以"＝"为分隔符连接。其中，试验项目编码规则为：去除括号内的内容；去除非汉字的字符；试验子项目编码规则为：去除括号内的内容；去除标点符号；去除空格；去除“℃”；去除“％”；去除带数字的“/”；去除带数字的“-”；去除箭头；试验部位编码规则为：去除括号内的内容；去除标点符号；去除箭头。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。