一种基于电网调控系统的数据交换平台的制作方法

1.本发明涉及一种基于电网调控系统的数据交换平台，属于电力系统技术领域。


背景技术：

2.电网调控系统经过多年的运行，积累了丰富的运行数据，包括量测数据、事件类数据、计划预测类数据、电量数据等。电网业务系统的数据都是孤立存在于ems、oms、tmr等不同系统中，跨专业、跨单位、跨业务的数据共享机制缺乏，形成了信息孤岛。调控中心对外交互数据缺少统一的对外发布的平台，需要由各业务系统按照不同需求各自开发特定交互接口，对外交互方式和数据格式不同，增加了人工维护成本，同时交互机制通用型和灵活性不强，使用和维护都不够方便，影响了业务协同效率。
3.因此需建立数据交换平台，提供统一的数据交换服务，形成电网业务数据交换枢纽，满足系统之间数据交互需求。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种基于电网调控系统的数据交换平台，能够实现电网数据的高效快速交换，为各类电网业务提供数据交换支撑。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.本发明提供了一种基于电网调控系统的数据交换平台，包括：数据管理单元，用于对各类数据源、数据主题、数据范围进行统一的配置管理，为数据发布单元和规则管理单元提供数据基础；规则管理单元，用于对发布规则进行定义、维护、生效、查询以及下载，所述发布规则用于描述数据发布的数据范围、发布方式和发布周期；数据发布单元，用于数据交换前对数据进行查询、下载以及对数据交换方式进行配置；数据导入单元，用于各业务系统的数据接入、规则匹配和数据入库；交换监视单元，用于对数据交换全流程进行监视，发现数据交互故障以及对交互流程管理；系统管理单元，用于提供消息总线、文件服务和告警。
7.可选的，所述数据管理单元包括数据源管理模块、数据主体管理模块以及数据范围管理模块，所述数据源管理模块用于实现数据源的可扩展性，对各类数据源的存储位置、获取方式、关联关系进行配置和管理；所述数据主题管理模块用于根据业务类型对数据进行分主题维护，所述主题包括模型、量测、电量、告警、故障与事件、计划以及预测；所述数据范围管理模块用于实现对主题的维护以及对主题下数据范围的动态可配置，并提供主题的预览和导出。
8.可选的，所述规则管理单元包括定义模块和查询维护模块，所述定义模块用于通过数据范围定义和发布方式定义形成发布规则，并按照需要设置规则生效；所述查询维护模块用于发布规则查询浏览、规则维护、审核生效以及规则下载。
9.可选的，所述数据发布单元包括查询与下载模块和数据发布模块，所述数据发布模块用于通过消息通信、文件交换以及服务调用的方式实现发布规则下的数据对外进行交换；所述查询下载模块用于对发布规则下的数据交换内容进行浏览、查询以及下载。
10.可选的，所述消息通信包括采用kafka消息报文的方式进行数据交换，使用protobuf技术实现消息报文的序列化，通过支持跨平台的序列化方式和跨平台的消息服务，实现异构系统之间的数据交互，实现不同编程语言之间的数据交互；所述文件交换包括通过文件交换方式实现数据的接入发布，文件包括ftp/sftp、小邮件；所述服务调用包括基于rpc协议和基于http restful的数据发布服务以及调控云数据服务访问代理。
11.可选的，所述数据导入单元包括数据接入模块、规则匹配模块和数据存储模块，所述数据接入模块用于接入各业务系统数据的规则文件，所述规则匹配模块用于完成业务系统间数据的对照关系，所述数据存储模块用于将基于对照关系解析的数据提交到数据库。
12.可选的，所述交换监视单元包括执行情况监视模块、异常告警模块以及运行统计模块，所述执行情况监视模块用于对数据交换情况运行监视和控制，对数据发布、控制情况进行监视记录，实时反映数据交换运行情况；所述异常告警模块用于实时展示异常状态，实时推送并展示各种异常信息；所述运行情况统计模块用于根据每项数据交换任务执行情况进行统计分析，分析运行状态和异常情况。
13.可选的，所述系统管理单元包括消息总线模块、文件服务模块以及告警管理模块，所述消息总线模块和文件服务模块分别用于支撑消息通信和文件交换方式的数据交换，所述告警管理模块用于统一管理分析不同应用和服务的各种告警，并根据告警定义发出告警信息以及提供告警汇总和日志查询。
14.可选的，所述数据交换平台的数据交换方式控制包括任务启停、周期控制以及策略控制；
15.所述任务启停用于控制交换任务的起停状态，当任务由启用状态变更为停止状态后，数据交换平台将停止该任务数据的转发，并将从数据源接收到的数据抛弃；当任务由停止状态转换为启用状态时，数据交换平台将开始处理该任务数据的接收与转发；
16.所述周期控制用于控制数据源端与目标系统之间数据交互的周期；
17.所述策略控制包含消息推送控制、文件交换控制及服务调用控制，所述消息推送控制用于控制数据源端与目标系统之间消息传输的大小，超过阀值的消息停止传输，当消息大小阀值修改时，重新生成任务校验码，所述校验码作为任务交换过程的校对码，配置变更后，可通过任务配置导出功能导出规则，发送给数据源端和目标系统，进行适配变更；文件交互控制用于控制数据源端与目标系统之间文件传输的大小，超过阀值的文件，停止传输，当文件大小阀值修改时，重新生成任务校验码，该校验码作为任务交换过程的校对码，配置变更后，可通过任务配置导出功能导出规则，发送给数据源端和目标系统，进行适配变更；服务调用控制用于控制数据源端与目标系统之间服务调用次数，超过阀值次数的服务调用数据交换平台将不再发起。
18.与现有技术相比，本发明所达到的有益效果：
19.本发明提供的一种基于电网调控系统的数据交换平台，1、数据交换平台通过数据管理和发布规则管理、数据发布、外部数据导入等功能制定统一规范的数据导入和发布接口，便于不同业务系统交换数据，实现数据交换平台对全业务统一数据中心等系统的数据按需发布，以及外部系统数据的导入；2、通过关系库连接、消息推送、文件交换和服务调用等技术，解决异构跨平台系统之前的数据交换问题；3、通过数据交换监视管理功能，对数据交互全流程进行监视，第一时间发现数据交互故障，便于对交互流程的管理，有效的保证数
据及时、完整性。
附图说明
20.图1是本发明实施例提供的一种基于电网调控系统的数据交换平台框架示意图。
具体实施方式
21.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
22.实施例一：
23.如图1所示，本发明实施例提供了一种基于电网调控系统的数据交换平台，包括：
24.(1)数据管理单元，用于对各类数据源、数据主题、数据范围进行统一的配置管理，为数据发布单元和规则管理单元提供数据基础；数据管理单元包括数据源管理模块、数据主体管理模块以及数据范围管理模块，数据源管理模块用于实现数据源的可扩展性，对各类数据源的存储位置、获取方式、关联关系进行配置和管理；数据主题管理模块用于根据业务类型对数据进行分主题维护，主题包括模型、量测、电量、告警、故障与事件、计划以及预测；数据范围管理模块用于实现对主题的维护以及对主题下数据范围的动态可配置，并提供主题的预览和导出。
25.(2)规则管理单元，用于对发布规则进行定义、维护、生效、查询以及下载，发布规则用于描述数据发布的数据范围、发布方式和发布周期；规则管理单元包括定义模块和查询维护模块，定义模块用于通过数据范围定义和发布方式定义形成发布规则，并按照需要设置规则生效；查询维护模块用于发布规则查询浏览、规则维护、审核生效以及规则下载。
26.(3)数据发布单元，用于数据交换前对数据进行查询、下载以及对数据交换方式进行配置；数据发布单元包括查询与下载模块和数据发布模块，数据发布模块用于通过消息通信、文件交换以及服务调用的方式实现发布规则下的数据对外进行交换；查询下载模块用于对发布规则下的数据交换内容进行浏览、查询以及下载。
27.消息通信包括采用kafka消息报文的方式进行数据交换，使用protobuf技术实现消息报文的序列化，通过支持跨平台的序列化方式和跨平台的消息服务，实现异构系统之间的数据交互，实现不同编程语言之间的数据交互；文件交换包括通过文件交换方式实现数据的接入发布，文件包括ftp/sftp、小邮件；服务调用包括基于rpc协议和基于http restful的数据发布服务以及调控云数据服务访问代理。
28.(4)数据导入单元，用于各业务系统的数据接入、规则匹配和数据入库；数据导入单元包括数据接入模块、规则匹配模块和数据存储模块，数据接入模块用于接入各业务系统数据的规则文件，规则匹配模块用于完成业务系统间数据的对照关系，数据存储模块用于将基于对照关系解析的数据提交到数据库。
29.(5)交换监视单元，用于对数据交换全流程进行监视，发现数据交互故障以及对交互流程管理；交换监视单元包括执行情况监视模块、异常告警模块以及运行统计模块，执行情况监视模块用于对数据交换情况运行监视和控制，对数据发布、控制情况进行监视记录，实时反映数据交换运行情况；异常告警模块用于实时展示异常状态，实时推送并展示各种异常信息；运行情况统计模块用于根据每项数据交换任务执行情况进行统计分析，分析运
行状态和异常情况。
30.(6)系统管理单元，用于提供消息总线、文件服务和告警。系统管理单元包括消息总线模块、文件服务模块以及告警管理模块，消息总线模块和文件服务模块分别用于支撑消息通信和文件交换方式的数据交换，告警管理模块用于统一管理分析不同应用和服务的各种告警，并根据告警定义发出告警信息以及提供告警汇总和日志查询。
31.(7)数据交换平台的数据交换方式控制包括任务启停、周期控制以及策略控制；任务启停用于控制交换任务的起停状态，当任务由启用状态变更为停止状态后，数据交换平台将停止该任务数据的转发，并将从数据源接收到的数据抛弃；当任务由停止状态转换为启用状态时，数据交换平台将开始处理该任务数据的接收与转发；周期控制用于控制数据源端与目标系统之间数据交互的周期；策略控制包含消息推送控制、文件交换控制及服务调用控制，消息推送控制用于控制数据源端与目标系统之间消息传输的大小，超过阀值的消息停止传输，当消息大小阀值修改时，重新生成任务校验码，校验码作为任务交换过程的校对码，配置变更后，可通过任务配置导出功能导出规则，发送给数据源端和目标系统，进行适配变更；文件交互控制用于控制数据源端与目标系统之间文件传输的大小，超过阀值的文件，停止传输，当文件大小阀值修改时，重新生成任务校验码，该校验码作为任务交换过程的校对码，配置变更后，可通过任务配置导出功能导出规则，发送给数据源端和目标系统，进行适配变更；服务调用控制用于控制数据源端与目标系统之间服务调用次数，超过阀值次数的服务调用数据交换平台将不再发起。
32.本发明提出的基于电网调控系统的数据交换平台是结合工作在应用层的自主开发实现的，不依赖于具体的操作系统，适用于各种操作系统，保证了可移植性，能够稳定地运行在ibm aix、sun solaris、alpha tru64、hpux、linux、windows等操作系统平台上；系统编程语言采用ansi c/c++/java。
33.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。