一种电网省地一体化调度报表的数据采集处理方法
【技术领域】
[0001]本发明涉及一种电网省地一体化调度报表的数据采集处理方法，属于电力系统管理技术领域。
【背景技术】
[0002]电力调度统计报表是各级领导进行决策的重要依据，是电力调度管理、运行人员工作中重要的信息源。目前，电网总调的报表数据从多个业务系统抽取、转换而来，这使得数据仓库在对数据进行管理和访问方面产生了一系列问题，具体如下，
首先，目前总调大部分系统中的数据是相互独立的，经常产生数据不一致和信息孤岛问题；
其次，业务系统中的原始数据一般是用以处理具体的日常事务，并未从支持企业决策需要的角度设计，决策者需要的信息经常要通过查找业务数据元素之间的内在关联获取，这影响了数据挖掘及知识发现决策效率；
最后，随着电网规模的不断扩大，调度对象的日益增加，电网调度运行信息及报表数据量成倍增加，报表统计数据管理和维护工作繁重。
[0003]而且，目前尚无调度报表数据专用的数据仓库，未从全网的角度对调度报表数据仓库进行设计，未建设一套完善的一体化(网省地三级主站端+厂站端)报表系统数据仓库，调度报表的上报、存储、管理手段较为落后，各报表数据分布分散，数据的最小颗粒度粗细不一，管理维护渠道众多、检索查询不便，无法满足调度专业运行及管理的要求，而且，当前报表基础数据覆盖不全面，已有报表的数据属性较少，仅将数据属性进行简单区域及种类等分类，在进行决策分析时需要大量的人工再统计分析，无法实现数据在采集管理、内容组织、信息查询、系统管理等使用方面的功能。
【发明内容】
[0004]本发明目的是为了现有电网总调的报表数据从多个业务系统抽取、转换而来，使得数据仓库在对数据进行管理和访问出现的问题。本发明的电网省地一体化调度报表的数据采集处理方法，纵向上，实现省地二级调度部门的信息互联互通和业务贯穿；横向上，实现调度系统与生产、EMS等核心业务系统的数据交互与业务协同，解决了各独立系统产生的数据不一致和信息孤岛问题，并提供多种数据计算加工方法，从支持企业决策需要的角度，对元数据进行了有效的加工处理，满足了各级各部门对报表系统的实际需求，提高了电网调度运行管理水平和工作效率，加强了对各级调度机构生产运行数据的管理，具有良好应用前景。
[0005]为了达到上述目的，本发明所采用的技术方案是:
一种电网省地一体化调度报表的数据采集处理方法，其特征在于:包括总调DMIS系统、五个中调DMIS系统及调度中心各子系统，各系统的接口架构采用分布式方式进行部署，并在各级系统的调度侧进行部署接口，中调DMIS系统解析总调DMIS系统发送符合数据交换协议的报文数据，通过数据交换平台将数据分发到不同的调度中心各子系统进行处理，实现调度生产管理信息的纵向数据交换。
[0006]前述的电网省地一体化调度报表的数据采集处理方法，其特征在于:所述总调DMIS系统、五个中调DMIS系统及调度中心各子系统的数据传输采用https传输协议，且https传输协议仅采用SSL单向的认证模式。
[0007]前述的电网省地一体化调度报表的数据采集处理方法，其特征在于:所述数据交换平台用于实现各级调度系统的数据交互，采用基于SOA架构，实现跨地域，跨部门的数据交换，建立统一的数据交换标准，并支持多种接入方式，包括文件接口接入、Web服务接口接入、数据库接口接入。
[0008]前述的电网省地一体化调度报表的数据采集处理方法，其特征在于:所述数据交换协议用于规定各级调度系统遵守的数据交换的格式和内容，包括发送协议和接收协议，具体包括，
(1)数据抽取，数据抽取的方式有两种:实时抽取和定时抽取，数据抽取的结果是生成符合发送协议定义的XML文件；
(2)数据入库，数据交换平台接收到XML文件后，对XML文件进行解析，对数据库执行插入或者更新操作，完成数据入库工作；
(3)支持多种数据库，数据交换平台支持包括0racle、DB2、SqlSerVer的数据库，做到异构的各级调度系统之间的数据交换；
(4)脚本引擎，能够通过脚本功能实现数据交换需求；
(5)范围校验，数据交换平台范围校验功能，包括数值类型的上下限校验、关键字校验，能够自动过滤不符合条件的数据，对数据交换完成精确控制；
(6)时间闸，通过定义时间闸，能够对数据交换时间进行过滤，不符合时间闸的数据将被抛弃；
(7)非空校验，在接收协议定义字段的值是否可以空，若定义成不可空，而发送的数据中出现值为空，将抛弃此条数据；
(8)—次性令牌，对不符合时间闸设置的数据进行在处理，用户向数据交换平台发送一个一次性令牌，临时让时间闸放行，放行后一次性令牌作废；
(9)同步删除，接收方若删除已经交换过来的数据，数据交换平台实现同步删除发送方的数据，保证双方数据的一致性；
(10)阻止更新，对于只允许发送一次的数据，不允许再次交换数据以覆盖先前的数据。
[0009]前述的电网省地一体化调度报表的数据采集处理方法，其特征在于:通过数据交换平台将数据分发到不同的调度中心各子系统进行处理，处理方法包括按粒度大小计算加工、按主题计算加工、以对象为主线的加工，以时间为主线的加工和面向主题的公式型加工配置。
[0010]本发明的有益效果是:本发明的电网省地一体化调度报表的数据采集处理方法，纵向上，实现省地二级调度部门的信息互联互通和业务贯穿；横向上，实现调度系统与生产、EMS等核心业务系统的数据交互与业务协同，解决了各独立系统产生的数据不一致和信息孤岛问题，并提供多种数据计算加工方法，从支持企业决策需要的角度，对元数据进行了有效的加工处理，满足了各级各部门对报表系统的实际需求，提高了电网调度运行管理水平和工作效率，加强了对各级调度机构生产运行数据的管理，具有良好应用前景。
【附图说明】
[0011]图1是本发明的电网省地一体化调度报表的数据采集处理方法的流程图。
[0012]图2是本发明的按粒度大小计算加工一个实施例的示意图。
【具体实施方式】
[0013]下面将结合说明书附图，对本发明做进一步说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0014]本发明的电网省地一体化调度报表的数据采集处理方法，包括总调DMIS系统、五个中调DMIS系统及调度中心各子系统，各系统的接口架构采用分布式方式进行部署，并在各级系统的调度侧进行部署接口，中调DMIS系统解析总调DMIS系统发送符合数据交换协议的报文数据，通过数据交换平台将数据分发到不同的调度中心各子系统进行处理，实现调度生产管理信息的纵向数据交换。
[0015]所述总调DMIS系统、五个中调DMIS系统及调度中心各子系统的数据传输采用https传输协议，且https传输协议仅采用SSL单向的认证模式。
[0016]所述数据交换平台用于实现各级调度系统的数据交互，采用基于SOA架构，实现跨地域，跨部门的数据交换，建立统一的数据交换标准，并支持多种接入方式，包括文件接口接入、Web服务接口接入、数据库接口接入，而且，本命、发明的数据交换平台具有以下特性:
I.基于SOA架构，可以实现跨地域，跨部门的数据交换。
[0017]2.建立了统一的数据交换标准，包括统一的元数据标准，统一的消息格式定义，和统一的数据交换协议标准以及数据交换接口规范。
[0018]3.支持多种应用接入方式，应用系统可以通过文件接口、Web服务接口、数据库接口多种接入方式与数据交换平台进行交互。
[0019]4.建立和应用松耦合的数据交换机制。
[0020]5.支持批量交换和实时交换。保证数据交换的安全性和可靠性。
[0021 ] 6.支持多种数据交换方式(自动方式、手工方式)。
[0022]7.支持多种数据交换标准(XMUExcel、E语言格式)。
[0023]8.支持多种数据库(DB2、Oracle、Sql Server)
所述数据交换协议用于规定各级调度系统遵守的数据交换的格式和内容，包括发送协议和接收协议，发送协议定义了发送数据的格式和发送数据类型;接收协议定义了和发送协议对应的格式以及把数据存放在位置，数据交换协议的定义和管理在协议浏览器中完成，具体包括以下规则，
(1)数据抽取，数据