本发明涉及用电行业的数据资源管理平台技术，具体为一种基于云平台和微服务构架的数据分析应用平台系统。
背景技术：
：：随着互联网的发展与二次变革，企业由信息化向数据化转变，通过云平台的建设，实现了服务的数据化和智能化。而作为国家一级服务企业的南方电网公司，更应该重视生产与服务的转化过程，建设智能化、数据化的服务型电网企业，重视客户服务的质量和满意度。随着南网公司各级数据中心的推进，云南电网公司正在开展大数据平台建设，整合csgii系统和生产系统的数据和模型，届时将实现生产系统、信息化系统和业务应用系统数据的统一、标准化管理。特别是随着csgii企业管理系统的推广实施及相关专业系统的省级集中，大量的业务数据集中在网省公司，地市供电局无法掌握自身生产、经营过程中产生的数据，而网省公司目前缺乏数据回流的有效手段，但随着精益化管理要求，各业务部门对数据分析应用的需求日益增多，通过数据支撑配网运行监视、电网规划建设、客户服务等数据分析应用成为玉溪供电局精益管方面的一个“短板”。为了地市业务应用和信息化建设，更好的发展电网企业的服务属性，急需在地市层面搭建基础云平台，建设微服务应用，而目前，还没有这样的平台服务系统出现过。技术实现要素：为解决上述现有技术存在的问题和缺陷，基于openstack平台构建的虚拟机环境的搭建，充分发挥准实时数据服务平台数据中心的作用，构建小核心、大外围的系统，满足用户对业务应用功能简单、易部署、易扩展、快速上线使用的需求，现提出一种基于云平台和微服务构架的数据分析应用平台系统，主要包括平台应用层主要有数据接入、数据存储、数据服务、系统管理等模块。数据接入：从业务系统接入配网运行数据、调度电量数据。数据存储：利用mysql存储配网模型数据，利用hbase存储配网运行实时数据、利用redis存储最新实时数据，以保证应用的快速访问。数据服务：采用微服务架构为配网监控、调度电量监控、调度日线损算提供数据服务。系统模块：负责系统安全管理、系统管理、性能监控等。展现层主要有移动app、大屏展示和网页三部分。与现有技术相比，本发明的有益效果为：(1)通过基于云计算的微服务应用的研究，开展基于云计算技术的基础资源管理平台构建，利用“微服务”框架，结合基础资源管理平台，满足用户对业务应用功能简单、易部署、易扩展、快速上线使用的需求。(2)充分发挥准实时数据服务平台数据中心的作用，构建小核心、大外围的支撑平台，同时基于准实时数据服务平台的模型，针对配网运行监测、告警、业务分析、调度报表、线损管理等几个关键业务指标进行监控。(3)同时针对客户服务、配变监控、监测告警、业务分析、调度报表、线损管理等几个主要业务模块，基于准实时数据服务平台的模型与数据资源，扩大计算资源，优化配网模型，对关键业务和指标进行监控，分析客户用电信息，基于云计算平台，实现微服务应用。(4)通过微服务架构下的应用构建，完成配变监控、监测告警等业务分析，实现客户用电信息监控，优化客户用电服务，支撑日线损管理，解决应用间的标准统一、差异屏蔽、组件复用，核心、复杂的业务模块以组件形式封装到平台中，将以往复杂的前端流程更多转移到了后端。提供更灵活、更个性化、更快速响应、更具可扩展性的服务。附图说明图1为本系统的构架示意框图；图2为本系统的平台部署架构示意图；图3为本系统中按电压等级分类的线损计算结果图；图4为本系统中的电量监控界面；图5为线路损耗信息的展示界面图具体实施方式为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。云计算(cloudcomputing)平台是一种实现处理大规模计算信息的方式，它对于各种信息和通讯技术资源都通过网络来统一组织和调用。从云计算的发展来看，业界巨头早就看到了云计算的发展势头，现在的云计算发展主要由美国的各大it企业领导和创新。在国外，it行业的领导者(ibm，google，microsoft，amazon，vmware等)都已推出云计算计划，并在其中投入了大量科研力量，十分重视云计算的发展，世界范围内众多高校和研究机构也都在开展相关的研究。在各种云计算的发展模式中，开源云计算是云计算发展的一个重要方向，更有甚者认为它是云计算未来发展的最终趋势。实现灵活、自由的资源分配和使用是云计算在企业应用方面的最终目标。目前比较主流的开源云计算平台主要有openstack、opennebula、enomaly、eucalyptus、cloudstack等。openstack是由rackspace公司与nasa共同发起的开源项目。openstack能够控制和管理数据中心的计算、存储和网络等资源，同时为管理员和用户提供一个web访问接口和一个与amazonec2类似的api来动态按需获得所需的资源。目前，openstack基金会在全球已经拥有269家企业会员和12306名个人会员，openstack已经被越来越多的厂家和云计算服务提供商采纳并应用到实际生产环境中，这其中就包括业界巨头ibm、hp、redhat、intel、microsoft等。另一方面，中国用户对于openstack具有较高的认同度，并且已经纷纷开始尝试与实践。一开始趣游、网易等开发部署自己的云平台时尝试基于openstack，接着openstack相继被360、爱奇艺、百度、京东、用友、美团等选用。并行编程技术：云计算通过并行的编程模式来达到高效和低成本的集合计算资源的目的，同时确保了复杂程序在后台的并行执行，以及可以对用户和编程人员实现透明化。“mapreduce”是云计算采用的模式，也就是把一个大任务分成许多子任务，并通过map和reduce这两个步骤将这些任务依次进行调度和分配，最终实现对大任务的处理。虚拟化技术：虚拟化技术是云计算的基础。虚拟化技术就是在真实硬件条件不足的情况下，而且对于需要的硬件设备的运算能力要求不高的情况下，通过软件来模拟硬件的一种技术，可以做到把os、应用程序与硬件底层设备分类，大大的提高了设备的数目，可以更加灵活的满足不同用户的需求。虚拟化技术使计算机的性能变得更加具有伸缩性，高效性，能够更加全方面利用硬件。目前主要采用的技术有全虚拟化、半虚拟化、操作系统虚拟化和cpu虚拟化等几个类别。快速部署技术：在云计算的应用中，快速部署技术是一项很重要的核心技术。因为在云计算中，系统要能够实现对用户的需求的快速响应，以提供用户所需的个性化需求，这些需要快速部署技术的支持。高速网络技术：高速网络技术是支撑云计算的核心技术，因为没有高速的网络技术，云计算所提供的资源共享是无法实现的。云计算中的所有资源都是以服务的形式提供的，而所有的这些资源都通过网络传送。云计算环境下主要的通信是cs(client-server)和ss(server-server)。数据存储技术：云计算中的数据存储技术通常是指云存储技术，云存储技术与云计算技术类似，都具有高灵活性、扩展性和多租户的特点。它能够利用分布式存储、大规模机群以及网格等技术，将不同区域和不同类型的存储设备通过网络形成一个虚拟的整体，在上层通过使用管理软件来管理底层的存储资源来为用户提供数据存储和数据访问的云服务。通过云存储技术，用户可以动态按需的方式使用云存储服务，而用户不用去考虑底层的存储设备间的差异以及后台如何控制和管理这些设备的。此外，云存储还能够通过冗余和分布式数据来实现系统的高容错性。资源管理技术：资源管理技术是对计算资源的管理，其中包括硬件资源(如cpu、网络设备和存储设备等)和软件资源(如操作系统、程序以及应用软件等)。资源管理技术将这些资源通过抽象形成逻辑资源，整合起来作为一个单一的集成资源池提为用户提供服务。用户可以直接使用自己所需的资源，而不必去关心底层物理资源的位置以及如何实现的这个过程。微服务架构是采用一组服务的方式来构建一个应用，服务独立部署在不同的进程中，不同服务通过一些轻量级交互机制来通信。sg-uap微服务基础框架主要包括：路由网关、注册中心、配置中心、服务治理等组件。sg-uap微应用框架采用业界主流的spring-boot、spring-cloud等开源技术，各项指标均达到了业界先进水平。springboot是由pivotal团队提供的全新框架，其设计目的是用来简化新spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。springboot并不是一个框架，从根本上将，它就是一些库的集合，maven或者gradle项目导入相应依赖即可使用springboot，而且无需自行管理这些库的版本。springcloud为开发者提供了在分布式系统(配置管理，服务发现，熔断，路由，控制总线，分布式session等)中快速构建的工具，使用springcloud的开发者可以快速的启动服务或构建应用、同时能够快速和云平台资源进行对接。openstack是一个开源的云计算平台，旨在实现很简单,大规模可伸缩,功能丰富。openstack提供开放源码软件，建立公共和私有云，它提供了一个部署云的操作平台或工具集，其宗旨在于：帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。实施例1：一种基于云平台和微服务构架的数据分析应用平台系统，包括：基础资源管理平台、数据接入模组、数据存储模组、数据服务模组、系统管理模组；其中：1)基础资源管理平台，包括：虚拟化资源管理模块，用于将资源管理设备通过虚拟化技术整合，并连接至云平台进行管理，提供对外的基础服务接口；资源调度管理模块，用于对物理资源和虚拟资源进行有效监控管理并建立服务模型，通过对服务模型的抽取，提供弹性计算、负载均衡、动态迁移、按需供给和自动化部署功能；实现硬件资源和虚拟资源的统一管理、统一分配、统一部署、统一监控和统一备份；2)数据接入模组，包括：模型数据接入模块，用于采用增量的方式对模型数据进行接入和同步，在模型数据接入后，若源端模型数据发生变化，则变化以事件的方式发送至大数据平台，大数据平台对模型数据进行增量更新；3)数据存储模组，包括：大数据平台存储模块，包括mysql模块、opentsdb+hbase模块，分别用于存储调度与配网模型数据以及存储电网运行时序数据；4)数据服务模组，包括：调度日线损计算模块，用于对线路损耗的计算与分析，按照分区、分台区、分电压等级计算和统计日线损数据；并按照区域、台区、线路、电压等级多维度对日线损数据进行展示；并用于对明显异常的线损数据进行分析，能检查是否由于数据质量问题导致；调度电量监控模块，用于依据调度模型建立电量数据与模型的挂接关系，对地市电量采集进行监测，及时发现电量的缺失和异常等，并进行告警；配网运行监测模块，用于对配网运行情况进行监测，配网运行情况包括配变设备运行、静态参数、设备负载情况、实时电能量；应用展现模块，用于通过app应用、大屏展示和网页，进行移动应用前端构建，实现基础资源管理平台的移动应用，方便用户在能在任何时间、任何地点、快速方便地获取基础资源数据、关键指标获取等功能，并通过权限控制实现不同的用户按照业务需求访问相关数据；模型和数据查询模块，用于提供模型查询功能方便用户浏览及核对数据；用于按照电压等级、供电区域、台区、线路等以图表的方式展现线路损耗信息，对异常的线损进行高亮提示；按照线路、关口、厂站等统计分析调度电量信息，并以图表的形式进行展现；5)系统管理模组，包括：监控告警服务模块，用于监控云平台运行状况、大数据平台运行状况、数据接入服务器运行状况、数据微服务服务器运行状况、应用服务器运行状况，并对异常进行分析告警，并生成异常分析报告。其中，系统管理模组还包括：权限管理模块，系统权限管理遵循南方电网信息安全防护管理规范，通过省公司权限管理平台进行统一权限验证，用户权限主要包括：访问权限、编辑权限；用户权限由系统管理员(sa)进行维护，用户登录成功后，根据自身拥有权限可进行相应的操作；日志管理模块，用于帮助平台运维人员管理和维护平台，日志分为系统运行日志，操作日志；系统运行日志用于系统各模块运行时根据配置自动产生的记录信息；操作日志提供用户通过界面进行操作的记录，包括配置参数修改、数据增、删、改、查、导入、导出，节点主备切换等；备份与恢复模块，用于平台系统运行中出现硬件故障、管理员误操作等意外，导致数据损坏等情况发生时，系统应提供数据备份和恢复功能，以确保数据安全。其中，基础资源管理平台为基于openstack的云平台，大数据平台、容器管理平台搭建的基础设施平台。其中，通过大屏展示进行前端构建包括：针对调度线损、调度电量监控、配网运行监测提供pc端访问，采用bs架构、采用微服务作为后台服务端，为前端页面提供数据，配网运行监测同时实现大屏展示功能。其中，数据存储模组还包括：云平台时序数据存储，用于针对带时间标记的数值型数据，存储对象为采集测点数据和时间序列数据，时序数据库根据数据时标顺序进行实时值、历史值的独立存储，并通过数据压缩、文件分块、数据时标索引等技术减少数据操作的io消耗以提升效率。其中，备份与恢复模块中，备份时，还用于完全备份和增量备份，完全备份为备份全部内容，增量备份只备份从上次备份以来的所有变化数据；恢复时，还用于平台镜像恢复，用于查看实时数据平台镜像服务的运行情况，并检查数据库中相同测点的数值、时间标签和数据刷新情况，判断镜像软件运行是否良好。其中，虚拟化资源管理模块还包括微服务组件，微服务组件通过服务注册与服务发现实现微服务之间的调用，从而实现微服务之间的解耦，并用于路由网关在微服务架构模式下为前端应用提供统一的访问入口，通过路由策略实现目标服务的调用，从而简化每个微服务都需向前端应用暴露访问信息；还用于动态配置存放在集中的配置服务器上，用户通过管理界面配置和调整服务配置，业务服务通过定期拉或服务器推的方式更新动态配置，配置服务为微服务提供多个环境下的统一动态配置信息的存储，在各个运行环境下通过推拉的方式将更新的信息同步到微服务应用中。实施例2：(1)基础设施搭建在“大平台+微服务”架构中，共需搭建3套基础设施平台，分别为基于openstack的云平台，大数据平台、容器管理平台。(2)基础存储平台xsky是一款数据存储平台软件，xsky将不同层级的数据统一在单一的软件定义存储平台，解决在线业务和次级数据的统管问题，xsky企业级数据平台架构提供了在多数据中心、异构私有云和混合云间的数据持久化、融合计算、内置保护以及分发复制功能。存储有标准协议来跟应用对接，比如块存储，可以通过iscsi、fc、rbd等标准协议对接，文件存储通过nfs、cifs等协议对接，对象存储通过s3协议对接。本系统有三层架构，分为iaas(基础设施即服务)层，paas(平台即服务)层，saas(软件即服务)层。iaas(基础设施即服务)层主要包括网络、基础资源和数据资源三部分，通过硬件虚拟化技术和底层资源封装，实现基础设施即服务，该层服务主要基于openstack搭建。paas层主要提供微服务。springboot是spring的一套快速配置脚手架，可以基于springboot快速开发单个微服务，springcloud是一个基于springboot实现的云应用开发工具；springboot专注于快速、方便集成的单个个体，springcloud是关注全局的服务治理框架。saas层提供应用。利用微服务api，获取监控数据，使用spring作为微应用框架展示数据接入监控情况。利用finereport报表功能生成调配报表。(3)云平台搭建openstack是一个开源的云计算平台，旨在实现很简单,大规模可伸缩,功能丰富。openstack提供开放源码软件，建立公共和私有云，它提供了一个部署云的操作平台或工具集，其宗旨在于：帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。基于openstack、分布式存储技术，在现有服务器虚拟化基础上，实现iaas(基础设施即服务)层功能，并通过以自服务方式对外提供计算资源、存储资源，为自建系统、移动应用、微应用提供高弹性、高可靠性的运行平台。openstack通过虚拟化将存储能力、计算能力和网络资源等整合在一起组成了一个云计算系统为用户提供iaas服务。云平台为微应用和微服务提供虚拟化封装后的基础资源，网络资源以及数据存储。虚拟机技术是实现云计算的关键，openstack平台中，虚拟机通过nova来创建，虚拟机的镜像和存储主要通过glance和cinder提供，虚拟机的网络服务主要通过neutron实现。另外，平台通过swift来实现对象的存储，主要用来存储像cinder备份卷和glance镜像文件等。云平台还需要为微服务提供路由网关，在openstack中，由neutron项目提供该功能，在neutron中，neutron-server负责接受api请求并把这些请求转发给其他组件来执行；neutronagents和neutronplugins负责启用和禁用端口、创建网络和子网、提供ip地址等功能，plugins和agents的不同之处在于其在特定的云中所使用的供应商和技术不同，常用的agents有l3，dhcp和插件agent等。云平台作为微服务的数据源，平台中数据采用分布式存储，该方式有效的避免了单机模式下，大量数据吞吐所遇到的网络和i/o瓶颈。同时数据存储在多个节点，保证了数据在遇到单节点故障时的完整性和安全性。针对时序数据，为实现高速的写入与查询效率，时序数据库根据数据时标顺序进行实时值、历史值的独立存储，并通过数据压缩、文件分块、数据时标索引等技术减少数据操作的i/o消耗以提升效率。(4)大数据平台建设平台需要接入调度数据和配网数据，数据有结构化的模型数据和非结构化的时序数据。模型数据相对固定，可存储在关系型数据库mysql中，mysql是最流行的关系型数据库管理系统之一，在web应用方面，mysql是最好的rdbms(relationaldatabasemanagementsystem，关系数据库管理系统)应用软件。时序数据具有高并发、低延时、数据量大、可靠性要求高的特点，因此采用opentsdb+hbase的方式进行存储。hbase是一个构建在hdfs上的分布式列存储系统；hbase是基于googlebigtable模型开发的，典型的key/value系统；hbase是apachehadoop生态系统中的重要一员，主要用于海量实时数据存储；从逻辑上讲，hbase将数据按照表、行和列进行存储。对于最新的实时数据，为加快访问速度，提高应用效率，可将最新的实时数据存入redis数据库。(5)容器管理平台搭建基于docker容器技术，实现paas(平台即服务)层功能，为微服务提供运行环境。虚拟化技术改变了现代计算方式，它能够提升系统资源使用效率、消除应用程序和底层硬件之间的依赖关系，同时加强负载的可移植性和安全性。虚拟化实质上再现了整个物理服务器作为一个虚拟机运行一个应用，作用是抽象服务器资源，每台虚拟机都能够获取唯一的操作系统和负载。不过虚拟机技术带来的麻烦是每个实例都需要运行客户端操作系统的完整副本以及其中包含的大量应用程序，由此会产生沉重的负载，这将会影响其工作效率及性能表现。在这样的需求背景下，容器技术出现了。容器要比传统虚拟化技术更高效，容器并非虚拟化或抽象整个硬件，而只是抽象应用或应用的部分，如此粒度的虚拟化意味着资源将不会浪费在冗余的部分，同时还可以降低cpu、内存和存储需求，所以容器技术也是一种虚拟化技术。容器虚拟化具有轻量级特性，所需的内存空间较少，提供非常快的启动速度，创建容器的速度比虚拟机要快得多，那是由于虚拟机必须从存储系统检索10gb至20gb的操作系统，容器中工作负载使用主机服务器的操作系统内核，避免了这一步，容器可以在二十分之一秒内启动完毕；容器虚拟化实现应用程序以标准方式进行格式化，之后才放到容器中。在容器中，每种类型的应用程序都以同样的方式在网络上移动。这样一来，容器可以通过互联网或内部网络来移动；容器虚拟化提供了更高级的隔离机制，许多应用程序在主机操作系统下运行，所有应用程序共享某些操作系统库和操作系统的内核，避免运行中的容器彼此冲突；容器虚拟化可以将一个大型的应用程序分解成许多小型应用程序，每个小应用程序都在各自的容器里面。比如：打折奢侈品网站gilt就把七个大型应用程序分解成了300个微服务，一支小队伍维护每个服务，如某一个微服务出现问题，可以迅速回滚/恢复。容器虚拟化技术安全度更高，容器之间可以彼此独立地访问。修改一层的代码更改可以在不影响其他层的情况下执行。这样一来，代码更改起来比在典型的整体式应用程序中来得安全。docker是由paas提供商dotcloud开源的一个基于lxc的高级容器引擎，源代码托管在github上，基于谷歌发布的开源编程语言go。docker让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到主流的linux机器上。容器是完全使用沙箱机制，相互之间不会有任何接口(类似iphone的app)，性能开销很低,可以很容易地在机器和数据中心中运行。它出现的意义可以与集装箱的发明相比，集装箱将货运目标标准化，docker将应用程序标准化。docker诞生之前，程序员在服务器端部署应用程序的步骤如下：安装→配置→运行。与传统部署模式不同，运用docker，程序员在服务器端部署应用程序的步骤如下：复制→运行。(6)数据接入平台要求接入调度和配网的模型数据及实时数据，针对模型数据和实时数据的不同特点，采用不同的策略进行数据接入。模型数据相对固定，变化频率不高，可采用增量的方式进行接入和同步，在模型数据接入后，若源端模型数据发生变化，则变化以事件的方式发送至平台，平台对模型数据进行增量更新。实时数据传输量大，可由平台采用主动召测的方式接入数据。针对模型缺失、实时数据缺失等情况，平台提供手动召测模型和实时数据的功能。(7)微服务实现对线路损耗的计算与分析，按照分区、分台区、分电压等级计算和统计日线损数据。按照区域、台区、线路、电压等级等多个维度对日线损数据进行展示。对计算后存在明显异常的线损数据进行分析，检查是否由于数据质量问题导致线损异常。如图为按电压等级分类的线损计算。平台提供调度电量监测功能，依据调度模型建立电量数据与模型的挂接关系，对地市电量采集进行监测，及时发现电量的缺失和异常等，并进行告警。如图所示为电量监控界面。对配网运行情况进行监测，目前主要涉及配变设备运行、静态参数、设备负载情况、实时电能量等。实现线路电压、电流、负荷监测，电能力质量分析，电压合格率、线路故障率、配变故障率、消缺及时率监测，运行事件监测，停电全过程分析，重过载分析，线路跳闸分析，低电压分析，故障原因分析，电压异常情况监测。(8)pc端及大屏展示针对调度线损、调度电量监控、配网运行监测提供pc端访问，拟采用bs架构实现。即采用微服务作为后台服务端，为前端页面提供数据。配网运行监测同时开发实现大屏展示功能。(9)移动app展示基于android和ios平台，以原生方式进行移动应用前端构建，实现基础资源管理平台的移动应用，方便用户在能在任何时间、任何地点、快速方便地获取基础资源数据、关键指标获取等功能，并通过权限控制实现不同的用户按照业务需求访问相关数据。目前移动应用一体化平台已逐步推广使用，app开发完成后需接入移动应用一体化平台。根据移动应用一体化平台规范及相关sdk进行单点登录的接入，使用移动一体化sdk提供的vpn链接企业内网，进入专有安全信道加强安全性，使系统满足云南电网公司应用系统开发安全标准的要求，提交相关审核材料，完成相关第三方测试，以实现在移动应用一体化平台审核、测试以及上架。实施例3：一种基于云平台和微服务构架的数据分析应用平台系统的构架：如图1所示为系统整体架构。利用云平台整合计算资源、网络资源，利用xsky整合存储资源管理平台，为云平台提供存储资源。为合理利用硬件资源，利用openstack搭建云计算平台，管理各类硬件资源，为应用合理分配资源。利用docker容器技术实现应用的快速迭代、热更新，利用k8s搭建容器管理平台。搭建大数据平台存储配网和调度模型数据、实时数据。平台应用层主要有数据接入、数据存储、数据服务、系统管理等模块。数据接入：从业务系统接入配网运行数据、调度电量数据。数据存储：利用mysql存储配网模型数据，利用hbase存储配网运行实时数据、利用redis存储最新实时数据，以保证应用的快速访问。数据服务：采用微服务架构为配网监控、调度电量监控、调度日线损算提供数据服务。系统模块：负责系统安全管理、系统管理、性能监控等。展现层主要有移动app、大屏展示和网页三部分。如图2所示为平台部署架构，硬件服务器通过虚拟化技术实现计算资源、存储资源和网络资源的集中管理和统一分配。通过云平台创建7个云主机，云主机1作为数据接入服务器从数据源服务器获取数据；云主机2-4作为大数据集群构建数据存储平台；云主机5、6作为微服务服务器，提供数据服务；云主机7作为应用服务器对外提供应用服务。基础资源管理平台设计openstack通过虚拟化将存储能力、计算能力和网络资源等整合在一起组成了一个云计算系统为用户提供iaas服务。云平台为微应用和微服务提供虚拟化封装后的基础资源，网络资源以及数据存储。虚拟机技术是实现云计算的关键，openstack平台中，虚拟机通过nova来创建，虚拟机的镜像和存储主要通过glance和cinder提供，虚拟机的网络服务主要通过neutron实现。另外，平台通过swift来实现对象的存储，主要用来存储像cinder备份卷和glance镜像文件等。云平台还需要为微服务提供路由网关，在openstack中，由neutron项目提供该功能，在neutron中，neutron-server负责接受api请求并把这些请求转发给其他组件来执行；neutronagents和neutronplugins负责启用和禁用端口、创建网络和子网、提供ip地址等功能，plugins和agents的不同之处在于其在特定的云中所使用的供应商和技术不同，常用的agents有l3，dhcp和插件agent等。云平台作为微服务的数据源，平台中数据采用分布式存储，该方式有效的避免了单机模式下，大量数据吞吐所遇到的网络和i/o瓶颈。同时数据存储在多个节点，保证了数据在遇到单节点故障时的完整性和安全性。针对时序数据，为实现高速的写入与查询效率，时序数据库根据数据时标顺序进行实时值、历史值的独立存储，并通过数据压缩、文件分块、数据时标索引等技术减少数据操作的io消耗以提升效率。虚拟化平台设计虚拟化技术：通过虚拟化技术可实现软件应用与底层硬件相隔离，它包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。虚拟化技术根据对象可分成存储虚拟化、计算虚拟化、网络虚拟化等，计算虚拟化又分为系统级虚拟化、应用级虚拟化和桌面虚拟化。平台通过openstack搭建云管理平台，实现对存储资源、计算资源、网络资源的虚拟化。云管理平台可实现对云机资源进行统一调度、快速交付等，对整个计算机平台运行性能进行实时监控和日志报告等功能；同时还实现用户接口，通过权限控制，用户可申请并管理自己的云资源。实现硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份。包括硬件基础实施层、虚拟化&资源池化层、资源调度与管理自动化层。大数据平台数据存储设计平台需要接入调度数据和配网数据，数据有结构化的模型数据和非结构化的时序数据。模型数据相对固定，可存储在关系型数据库mysql中，mysql是最流行的关系型数据库管理系统之一，在web应用方面，mysql是最好的rdbms(relationaldatabasemanagementsystem，关系数据库管理系统)应用软件。时序数据具有高并发、低延时、数据量大、可靠性要求高的特点，因此采用opentsdb+hbase的方式进行存储。hbase是一个构建在hdfs上的分布式列存储系统；hbase是基于googlebigtable模型开发的，典型的key/value系统；hbase是apachehadoop生态系统中的重要一员，主要用于海量实时数据存储；从逻辑上讲，hbase将数据按照表、行和列进行存储。对于最新的实时数据，为加快访问速度，提高应用效率，可将最新的实时数据存入redis数据库。数据接入设计应用平台提供规范的数据接入功能，将平台支撑应用所需业务系统实时数据接入到大数据平台。接入规约应用平台应支持统一的数据通信协议，以规范不同业务系统的数据接入，为方便现有业务系统的接入，应支持通信协议的扩展。该平台应至少支持以下的通信协议：1)通用规约：通用规约是平台为实现各业务系统实时数据的高效、统一接入而制定的通信报文传输格式；2)104规约：电力通信标准规约；3)e语言：遵循iec61970/61968规范的电力系统数据标记语言。4)102规约：电能量通讯规约其它还有计量自动化规约(包括大客户、配变、低压集抄)、jms消息机制、61850规约。接入的业务系统平台接入的各业务系统、营销系统、生产系统等以及录入模型数据等。接入配置管理数据分析应用平台从各业务系统接入实时数据，这些业务系统是数据分析应用平台的数据源。接入配置管理主要负责数据分析应用平台与各数据源系统间的通信参数的统一管理。主要功能包括：数据源系统的增加、删除、修改、查询等功能：1)增加：支持增加数据源系统的功能，增加时设置与数据源系统通信的参数；2)删除：支持删除数据源系统的功能；3)修改：支持修改数据源系统配置参数的功能；4)查询：支持查询数据源系统功能。数据源系统配置参数主要包括：通信协议、通信方式、端口地址等。接入处理接入处理是指：根据接入配置，通过指定的通信协议和通信方式与数据源业务系统进行通信，接收源业务系统的实时数据，并把接收到的数据转换为数据分析应用平台大数据平台内部数据格式。接入处理功能主要包括：1)根据配置，与各源业务系统建立通信链路；2)按照通信协议，与源业务系统进行通信，接收实时数据；3)对接入的数据进行格式转换。4)在数据接入过程中，对于配置参数的修改应该能自动适应，不应该由于通信参数的变更而重新启动接入进程。接入监控管理数据分析应用平台提供接入监控功能，实现数据接入的可视和可控。主要功能包括：1)提供界面以方便实时监视链路的连接状态、数据流量、连通时刻、数据包信息等；2)提供界面以方便进行连接状态、运行时间、停运时间、数据流量等的统计和查询；3)提供界面以方便对通讯链路进行运行、停止等控制操作；4)接入源业务系统、网络通道等状态异常时提供报警功能。接入异常处理接入异常处理是为解决与源业务系统在接入过程中由于异常情况(如果网络中断等)而导致数据丢失的问题，系统提供报警机制，并对异常情况提供统计分析功能为平台系统运营维护提供参考。接入异常处理功能主要包括：1)对于接入源业务系统运行异常情况，在异常情况恢复后，提供补录机制，保证数据不丢失；2)提供接入异常信息的查询、统计等功能。查询内容包括：发生时间、原因等；统计功能包括：异常发生频率统计等。数据访问平台采用微服务的方式对外提供数据服务，针对调度日线损计算、调度电量监控、配网运行监测应用、移动app应用提供相应的微服务。微服务提供数据的方式为restful，该方式具有通用性强，易于集成的优点，同时微服务还可实现访问的负载均衡。调度日线损计算服务如图3所示，实现对线路损耗的计算与分析，按照分区、分台区、分电压等级计算和统计日线损数据。按照区域、台区、线路、电压等级等多个维度对日线损数据进行展示。对计算后存在明显异常的线损数据进行分析，检查是否由于数据质量问题导致线损异常。如图为按电压等级分类的线损计算。调度电量监测服务如图4所示，平台提供调度电量监测功能，依据调度模型建立电量数据与模型的挂接关系，对地市电量采集进行监测，及时发现电量的缺失和异常等，并进行告警。如图所示为电量监控界面。配网运行监控服务对配网运行情况进行监测，目前主要涉及配变设备运行、静态参数、设备负载情况、实时电能量等。配变负载监控：按照云南电网公司对配变重过载运行的相关标准对设备负载监控并告警。如：油浸式变压器的单相和三相电流超过额定量的100％为过载，超过额定量80％，一个月内超过10次，每次持续时间2小时，则判定为重载。配网负荷特性分析：利用日期、季节、假日、游客、天气、工业加工特性等数据，对配变的负荷情况进行监控预警。配网监测功能还包括电能力质量分析，电压合格率、线路故障率、配变故障率、消缺及时率等运行指标监控，运行事件分析，停电全过程分析，重过载分析，线路跳闸、低电压、故障原因分析，电压异常情况监测。告警服务在后台管理界面中设计告警服务组件，内容包含监控云平台运行状况、大数据平台运行状况、数据接入服务器运行状况、数据微服务服务器运行状况、应用服务器运行状况，并对异常进行分析告警。监控线损、电量和配网运行状态，对出现的异常进行告警，并生成异常分析报告。图表展现应用如图5所示，按照电压等级、供电区域、台区、线路等以图表的方式展现线路损耗信息，对异常的线损进行高亮提示。按照线路、关口、厂站等统计分析调度电量信息，并以图表的形式进行展现。系统管理平台权限管理遵循南方电网信息安全防护管理规范，通过省公司权限管理平台进行统一权限验证，用户权限主要包括：访问权限、编辑权限等。用户权限由系统管理员(sa)进行维护，用户登录成功后，根据自身拥有权限可进行相应的操作。日志管理日志管理功能主要是帮助平台运维人员更好的管理和维护平台，日志可以分为系统运行日志，操作日志等。系统运行日志主要是系统各模块运行时根据配置自动产生的记录信息，操作日志是用户通过界面进行操作的记录，包括配置参数修改、数据增、删、改、查、导入、导出，节点主备切换等。日志管理功能应包括日志查询、删除以及导出等功能。1)日志查询：支持按时间段或者类型以及他们组成组合条件查询日志。2)日志删除：为了控制日志记录占有过多的存储空间，平台提供自动删除和手动删除日志功能。自动删除是根据配置策略，在系统运行中自动对满足删除条件的记录进行删除操作。手动删除是提供工具供用户进行删除日志记录操作。日志导出：支持固定格式(如csv,xml等)导出日志的功能。备份与恢复在平台系统运行过程中，有时会出现硬件故障、管理员误操作等意外，从而导致数据损坏等情况发生。平台应提供数据备份和恢复功能，以确保数据安全。1)备份的内容配置数据：设备、量测及测点配置数据等。历史数据：保存在大数据平台或关系数据库中的测点历史数据。图形数据：web展示用的接线图，潮流图等图形画面数据。作系统：操作系统配置信息、程序文件以及日志等。2)备份管理能够实现自动备份和手动备份二种功能。备份方式：有完全备份和增量备份二种方式。完全备份是备份全部内容，增量备份只备份从上次备份以来的所有变化。完全备份的数据可以单独用来恢复系统，但要将增量备份恢复，必须从之前的完全备份开始逐步恢复。备份方法：对于实时数据备份，采用大数据平台hbase存储的实时及历史数据由于在接入时已有多个备份，所以无需再做人工备份；对于关系库存储的模型数据，采用关系库自带的导出工具备份；对于文件，采用压缩等方法备份；操作系统备份一般采用克隆镜像的方法。备份情况监视：显示备份进度以及内容信息。备份异常处理：备份过程中出现异常给出详细提示。3)恢复管理数据恢复：包括配置数据、历史数据、图像数据等，这些数据存储在实时数据库或者关系数据库中，数据恢复要保证数据的一致性。平台恢复：根据备份，快速的恢复平台到之前的状态。平台镜像：查看实时数据平台镜像服务的运行情况；检查数据库中相同测点的数值、时间标签和数据刷新情况，判断镜像软件运行是否良好。4)归档管理平台归档的主要内容包括：日志文件的归档处理、备份文件的归档处理、实时数据库产生的历史数据文件归档处理；归档策略设定包括：根据需要可设定归档的周期，设定归档文件命名规则；归档文件查询统计：可根据日期检索归档文件；可根据条件查询归档文件。应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。当前第1页1 2 3 当前第1页1 2 3