本发明涉及一种数据抽取和归集方法，特别涉及一种电网配网自动化建设过程中的配网自动化规划设计关联数据抽取与归集方法。
背景技术：
目前电网配网自动化建设已普遍展开，但是在配网自动化规划建设方面尤其是在配电监终端选点、终端配置类型、网架结构优化等方面缺乏具有较强指导意义的理论科学研究，缺乏有效的数学模型来准确描述配电网的网架结构、负荷分布、运行状态等情况，没有系统的配网自动化智能决策技术支持系统，指导、支持配网自动化建设规划及智能决策工作。
配网自动化智能决策的理论研究和系统软件开发，能够以方法论的高度重新认识配网自动化智能决策技术支持，分析不同用户对于供电可靠性的需求，不同负荷密度对于供电可靠性指标所占权重，深入研究不同配网自动化技术方案对供电可靠性指标的影响力度，能有效解决目前配网自动化建设规划中存在的盲目投资现象，使有限的建设资金发挥最大的功效，这对于提高配网自动化建设水平、把握配网自动化发展方向、提高配网自动化的经济和社会效益具有重大作用。
目前，配网自动化智能决策应用系统的建设需要整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息，系统数据需进行可靠性、经济性以及电能质量等计算任务，数据源头众多、结构多样、数据量大、数据质量差异性大，目前尚没有针对性的信息模型和数据平台支持，因此需要建立数据集成平台，对数据进行抽取、清洗、整合，保障数据质量，提高数据可靠性和可维护性，为自动化电网配网过程提供依据和方便。
技术实现要素：
鉴于上述情况和不足，本发明旨在提供一种适用性好、使用方便、关联性强的配网自动化规划设计关联数据抽取与归集方法，以满足电网配网需要，保证配网数据支撑的全面性、可靠性和有效件。
本发明是通过以下技术方案来实现的：
一种配网自动化规划设计关联数据抽取与归集方法，包括：
步骤一、建立数据集成平台，对数据进行抽取、清洗、整合；数据集成平台包括数据接入、数据整合、全景数学模型、数据存储、数据发布共享服务、数据质量监测和数据平台管理监控；
步骤二、将各系统数据仓库或元数据平台作为数据来源，通过ETL或数据链方式对数据进行抽取、清洗、整合后加载到数据仓库或数据集市中；
步骤三、经过数据的接入和整合后，对数据进行存储，建立记录的逻辑与物理顺序间对应关系，确定存储地址；
步骤四、基于服务、数据总线、数据库中间库技术的数据全量、增量标准统一发布共享服务，将配网运行实时情况和数据进行发布，实现数据共享；
步骤五、采用java脚本、正则表达式、SQL语句等方式灵活对数据质量进行监控和容错预处理，及时发现、分析及跟踪管理质量问题；
步骤六、接收来自各大业务系统的数据，并用数据动态图形化、图表化的方式显示出来，实现图形化的管理监控功能。
所述数据集成平台采用图形化的数据整合、监控、维护界面，实现数据集成管理的可视化。
本发明所述的一种配网自动化规划设计关联数据抽取与归集方法，通过建立配网自动化智能决策数据集成平台一套，在信息模型和数据平台的支持下，对源数据进行抽取、清洗、整合，保障数据质量、可靠性及可维护性，实现了对关系型数据库、Excel、文本、xml、Webservice等数据源的接入，保证了基于数据库中间库、Webservice、数据总线的统一标准数据输出，支持集群部署、并发计算，效率高，数据准确，实用性和适用性好，可为自动化电网配网过程提供可靠依据。
具体实施方式
配网自动化规划设计技术支持应用系统建设，需要整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息系统数据进行可靠性、经济性以及电能质量等计算任务，数据源头众多、结构多样、数据量大、数据质量差异性大，目前尚没有针对性的信息模型和数据平台支持，因此需要建立数据集成平台，对数据进行抽取、清洗、整合，保障数据质 量、可靠性及可维护性。
平台采用图形化的数据整合、监控、维护界面，实现数据集成管理的可视化，提高系统的易用性；支持集群部署方式，提高集成平台的可靠性；对大数据量的整合过程可针对性的设置并发线程，缩短处理时间，提高整体整合速度；可方便接入各种关系数据库、Excel、文本文件、XML、Webservice等数据源，对于特殊数据源可开发插件进行支持；采用java脚本、正则表达式、SQL语句等方式灵活对数据质量进行监控和容错预处理；提供基于数据库、WebService、文件等多种方式的数据订阅、推送服务。
本发明所述的一种配网自动化规划设计关联数据抽取与归集方法，包括：
步骤1、建立数据集成平台，对数据进行抽取、清洗、整合；数据集成平台包括数据接入、数据整合、全景数学模型、数据存储、数据发布共享服务、数据质量监测和数据平台管理监控，数据集成平台采用图形化的数据整合、监控、维护界面，实现数据集成管理的可视化。
步骤2、将各系统数据仓库或元数据平台作为数据来源，通过ETL或数据链方式对数据进行抽取、清洗、整合后加载到数据仓库或数据集市中；
步骤3、经过数据的接入和整合后，对数据进行存储，建立记录的逻辑与物理顺序间对应关系，确定存储地址；
步骤4、基于服务、数据总线、数据库中间库技术的数据全量、增量标准统一发布共享服务，将配网运行实时情况和数据进行发布，实现数据共享；
步骤5、采用java脚本、正则表达式、SQL语句等方式灵活对数据质量进行监控和容错预处理，及时发现、分析及跟踪管理质量问题；
步骤6、接收来自各大业务系统的数据，并用数据动态图形化、图表化的方式显示出来，实现图形化的管理监控功能。
在实际应用中，电网企业、供电企业内部基于计算机和网络技术的业务系统，可划分为生产控制大区和管理信息大区。生产控制区和管理信息区装设经国家指定部门检测认证的电力专用横向单向安全隔离装置，实现与电力企业数据网及公共信息网的安全隔离。支持电网业务的专业系统分布于不同安全等级的生产控制区(I、II区)和信息管理区(III、IV区)。不同区域间装设正、反向隔离装置进行信息隔离，不能直接进行信息通讯。
配网自动化系统处在生产控制区，电网GIS系统处于信息管理区，双方借助于信息交换总线屏蔽掉两区之间的差异性，实现电网GIS系统与配电自动化系统的互联和数据集成。
为了进一步推动电网图形共享，减少重复工作，有效进行数据集成，需将配电自动化系统、电网GIS系统进行横向集成和数据整合。通过应用集成方式，建立共享交换机制，最终实现了“一张电网”的目标。
通过数据集成平台的建设，整合EMS、DMS、生产、GIS、计量自动化、营配信息集成等信息系统数据进行可靠性、经济性以及电能质量等计算任务，迎合配网自动化智能决策应用系统建设，完成形成配网自动化智能决策全景模型一套，建立配网自动化智能决策数据集成平台一套。通过信息模型的和数据平台的支持，对数据进行抽取、清洗、整合，保障数据质量、可靠性及可维护性。实现对关系型数据库、Excel、文本、xml、Webservice等数据源的接入，实现基于数据库中间库、Webservice、数据总线的统一标准数据输出。支持集群部署、并发计算，1天内完成月度数据集成，成效显著。