本发明属于监测数据处理
技术领域：
：，具体涉及一种基于云平台的监测数据通用采集存储系统及方法。
背景技术：
：：电网、新能源、地铁和工业控制等领域信息化建设的快速发展过程中，为生产、评估、分析、检修需要建设了许多专业的业务系统，形成了海量的scada监测数据，现有的系统建设，几乎都是基于ioe架构，具体说就是以ibm为代表的主机、以oracle为代表的关系型数据库，以及以emc为代表的高端存储设备。随着时间的推移，系统展现出数据量巨大、数据类型多样化、数据处理响应慢、数据无法共享等特点，而云平台的稳定性相对更好，更加安全可靠，扩展容量永无止境，协助共享便捷，存储、运算及同步更加高速，所以亟需采取新型的云平台技术来替换，也就是我们常说的“云化”。其中，主机被x86设备所取代，传统数据库被开源数据库产品替换，san结构的高端存储被云化的存储产品和体系替换。为更好地服务不同领域用户，提升数据的综合利用水平，为用户快速、全面的驾驭系统运行提供智能决策支撑信息，需要建立基于云平台的各类专业业务系统，其中基于云平台的监测数据通用采集存储系统及方法及显得迫在眉睫。技术实现要素：针对上述问题，本发明提出一种基于云平台的监测数据通用采集存储系统及方法，基于云平台技术，标准消息接口，按厂站数量、告警种类分容器处理，实现了scada监测数据在云平台上的通用采集存储，为企业进行高级应用分析积累了宝贵的数据基础。为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：第一方面，本发明提供了一种基于云平台的监测数据通用采集存储系统，包括历史数据采集存储集群；所述历史数据采集存储集群中包含若干个历史采集容器，各历史采集容器中包括：第一缓存库、采样数据接收进程单元和采样数据存储进程单元，或者包括第二缓存库、告警信息接收进程单元和告警信息存储进程单元；所述采样数据接收进程单元接收订阅的采样数据，并对接收到的采样数据进行解析后送入第一缓存库；所述采样数据存储进程单元从第一缓存库中获取缓存的采样数据，并对其进行格式转换后送入对应的第一数据库集群；所述告警信息接收进程单元接收订阅的告警信息数据，并对接收到的告警信息数据进行解析后送入第二缓存库；所述告警信息存储进程单元从第二缓存库中获取缓存的告警信息数据，并对其进行格式转换后送入对应的第二数据库集群。优选地，所述基于云平台的监测数据通用采集存储系统还包括：数据处理集群，所述数据处理集群负责将数据发布至消息队列集群；消息队列集群，所述消息队列集群负责将接收到的数据发送至历史数据采集存储集群中对应的历史采集容器中。优选地，所述数据处理集群包括若干个scada容器，各容器中包括采集数据处理单元或者告警信息处理单元；所述采集数据处理单元负责将采集数据发布至消息队列集群；所述告警信息处理单元负责将告警信息数据发布至消息队列集群。优选地，所述采集数据处理单元采用周期发布或变化发布的方式将采集数据发布至消息队列集群的mq采集数据消息队列；所述采样数据存储进程单元从第一缓存库中获取缓存的采集数据，并对其进行格式转换后送入对应的hitsdb数据库集群。优选地，所述告警信息处理单元采用实时发布的方式将告警信息数据发布至消息队列集群的mq告警信息消息队列；所述告警信息存储进程单元从第二缓存库中获取缓存的告警信息数据，并对其进行格式转换后送入对应的rds数据库集群。优选地，所述采集数据来自变电站综合自动化系统、调度自动化系统、配网自动化系统、水电自动化系统、电网保信系统、输变电设备状态评价系统、新能源实时监测分析系统、地铁综合监控系统和/或工业能源管控系统；所述告警信息数据包括告警总表、系统告警、操作记录、维护记录、遥测告警、遥信告警、遥控告警、soe告警、保护事件、录波简报、故障报告、通信状态、测试告警、应用日志、工控告警、pas告警、状态监视、智能告警、avc调节命令、avc调压信息、直传告警。优选地，所述若干个历史采集容器中包括m个为采集数据处理服务容器和n个告警信息服务容器；所述采集数据处理服务容器的数量根据scada厂站个数k以及每个厂站的四遥个数来设定，m小于等于k，一个采集数据处理服务容器处理一～三个scada厂站；所述告警信息服务容器的数量告警信息的类型个数确定，每种告警信息类型对应一个告警信息服务容器。第二方面，本发明提供了一种基于云平台的监测数据通用采集存储方法，包括以下步骤：接收订阅的采样数据或者告警信息数据；对接收到的采样数据或者告警信息数据进行解析后送入对应的第一缓存库或者第二缓存库；从所述第一缓存库或者第二缓存库中获取缓存的采样数据或者告警信息数据，并对其进行格式转换后送入对应的第一数据库集群或者第二数据库集群。优选地，所述采样数据或者告警信息数据通过以下步骤获得：由数据处理集群将采样数据或者告警信息数据发布至消息队列集群；接收由所述消息队列集群发送的采样数据或者告警信息数据。优选地，所述第一数据库集群为hitsdb数据库集群；所述第二数据库集群为rds数据库集群。与现有技术相比，本发明的有益效果：本发明提出的一种基于云平台的监测数据通用采集存储系统及方法，通过对传统电网、新能源、地铁和工业控制等领域的专业业务系统产生的scada监测数据，采用云平台技术，标准消息接口，按厂站数量、告警种类分容器处理，实现了scada监测数据在云平台上的通用采集存储，避免每个专业业务系统重复实现一套历史数据采集存储功能，具有稳定、安全、可靠，扩展容量无限，协助共享便捷，存储运算高效等优点。附图说明图1为本发明一种实施例的基于云平台的监测数据通用采集存储系统的整体结构示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。下面结合附图对本发明的应用原理作详细的描述。第一方面，本发明提供了一种基于云平台的监测数据通用采集存储系统，包括数据处理集群、消息队列集群和历史数据采集存储集群；所述数据处理集群负责将数据发布至消息队列集群；所述消息队列集群负责将接收到的数据发送至历史数据采集存储集群中对应的历史采集容器中；所述历史数据采集存储集群中包含若干个历史采集容器，各历史采集容器中包括：第一缓存库、采样数据接收进程单元和采样数据存储进程单元，或者包括第二缓存库、告警信息接收进程单元和告警信息存储进程单元；所述采样数据接收进程单元接收订阅的采样数据，并对接收到的采样数据基于his全局模型配置库ots进行解析后送入第一缓存库；所述采样数据存储进程单元从第一缓存库中获取缓存的采样数据，并对其进行格式转换后送入对应的第一数据库集群，本发明中的数据库集群强调的是有多个数据库同时提供服务，数据库集群与容器没有关系，一个数据库集群中有多个数据库并行服务，这样可以承担更多的数据存储和读写并行能力；所述告警信息接收进程单元接收订阅的告警信息数据，并对接收到的告警信息数据基于his全局模型配置库ots进行解析后送入第二缓存库；所述告警信息存储进程单元从第二缓存库中获取缓存的告警信息数据，并对其进行格式转换后送入对应的第二数据库集群。优选地，所述若干个历史采集容器中包括m(m>＝1)个为采集数据处理服务容器和n(n>＝1)个告警信息服务容器；所述采集数据处理服务容器的数量根据scada厂站个数k以及每个厂站的四遥个数来设定，m小于等于k，一个采集数据处理服务容器处理一～三个scada厂站；厂站的四遥个数包括遥测、遥信、遥控、遥调，分别对应scadamdl库的analoginput、statusinput、control、accumulatorinput。一般一个容器负责点数在二万点左右。所述告警信息服务容器的数量告警信息的类型个数确定，每种告警信息类型对应一个告警信息服务容器，每种告警类型表及容量定义如下：告警总表：alleventlog，20000；系统告警：syseventlog，10000；操作记录：opteventlog，5000；维护记录：maineventlog，5000；遥测告警：yceventlog，10000；遥信告警：yxeventlog，10000；遥控告警：ykeventlog，10000；soe告警：soeeventlog，5000；保护事件：relayeventlog，20000；录波简报：recordreport，10000；故障报告：faultreport，1000；通信状态：commuevent，5000；测试告警：testeventlog，3000；应用日志：appeventlog，20000；工控告警：gkeventlog，20000；pas告警：paseventlog，10000；状态监视：stateeventlog，20000；智能告警：intaeventlog，10000；avc调节命令：avccmdlog，10000；avc调压信息：avcregulinfo，10000；直传告警：directeventlog，20000。本发明支持的常见的mq消息队列，如rabbitmq、rocketmq、activemq、kafka、zeromq、metamq等，支持常见的时序数据库，如hitsdb、timescaledb、kairosdb、cratedb、influxdb、kudu等，支持常见的关系数据库，如oracle、mysql、sqlite、sqlserver、informix、postgresql、达梦、金仓、神通、南大通用等。实施例1在本发明实施例中，所述数据处理集群包括若干个scada容器，各scada容器中包括采集数据处理单元或者告警信息处理单元；其中，包含采集数据处理单元的scada容器称为scada采集数据处理容器，包含告警信息处理单元的scada容器称为scada告警信息处理容器；所述采集数据处理单元负责将采集数据发布至消息队列集群；优选地，所述采集数据处理单元采用周期发布或变化发布的方式将采集数据发布至消息队列集群的mq采集数据消息队列；所述采样数据存储进程单元从第一缓存库中获取缓存的采集数据，并对其进行格式转换后送入对应的hitsdb数据库集群；具体地，所述scada采集数据处理容器包括有一个采集数据处理单元(即scada数据处理应用)，每个scada数据处理应用下面有三个实时数据库：计算库(calcmdl)、scada模型库(scadamdl)以及scada处理库(scadapro)，所述scada数据处理应用在循环周期到达时或者监测到量测数据发生变化时，scada数据处理应用读取约定的数据规范，通过消息队列mq发布scada周期或者变化数据内容；所述告警信息处理单元负责将告警信息数据发布至消息队列集群；优选地，所述告警信息处理单元采用实时发布的方式将告警信息数据发布至消息队列集群的mq告警信息消息队列；所述告警信息存储进程单元从第二缓存库中获取缓存的告警信息数据，并对其进行格式转换后送入对应的rds数据库集群；具体地：每个scada告警信息处理容器有一个告警信息处理单元(即alarm应用)，每个alarm应用下面有三个实时数据库：告警信息定义库(alarmdef)、告警事件库(eventinfo)以及告警发送定义库(msgconfig)。所述alarm应用发现系统中各类应用有相关实时告警发生时，alarm应用读取约定的数据规范，通过消息队列mq发布系统实时告警信息。对于历史采集容器中包括第一缓存库、采样数据接收进程单元和采样数据存储进程单元的称为scada采集数据接收存储服务容器；对于历史采集容器中包括第二缓存库、告警信息接收进程单元和告警信息存储进程单元的称为scada告警信息接收存储服务容器；每个scada采集数据接收存储服务容器有一个his应用，每个his应用下面有两个实时数据库：历史模型定义库(hismodel),历史缓存库(hisbuffer)。采样数据接收进程单元基于his全局历史模型配置库ots的信息，从本地历史模型定义库中获取相关信息，订阅本进程需要从消息队列mq中订阅的周期和变化数据主题，获取周期和变化数据，根据约定的数据规范进行采集数据报文解析，数据经过规整后缓存到本地缓存中，由采样数据存储进程从缓存库中获取缓存报文，解析采集数据，转换格式后存储到hitsdb数据库集群。其中采集数据报文规范在hismodel中定义，包括数据字典his_directionary，采样存储表his_sample_table，采样存储列his_sample_column，his_sample_table的proc_container定义了每个采样任务由哪个容器负责。his_sample_column的is_key定义了采样表的关键列，用来唯一确定一条记录。每个scada告警信息接收存储服务容器有一个his应用，每个his应用下面有两个实时数据库：历史模型定义库(hismodel),历史缓存库(hisbuffer)。告警信息接收进程单元基于his全局历史模型配置库ots的信息，从本地历史模型定义库中获取相关信息，从告警消息队列订阅接收自己负责订阅的系统实时告警信息，根据约定的数据规范进行告警信息报文解析，数据经过规整后缓存到本地缓存中，告警信息存储进程从缓存库中获取缓存报文，解析告警信息，转换格式后存储到rds数据库。其中告警信息报文规范在hismodel中定义，包括数据字典his_directionary，事件存储表his_event_table，事件存储列his_event_column，is_event_table的proc_container定义了每个告警事件任务由哪个容器负责。his_event_column的is_key定义了告警事件的关键列，用来唯一确定一条记录，所有的告警事件列的关键唯一列包括acting_time、object_oid、acting_desc、event_seq四列。本发明实施例中所述的采集数据来自变电站综合自动化系统、调度自动化系统、配网自动化系统、水电自动化系统、电网保信系统、输变电设备状态评价系统、新能源实时监测分析系统、地铁综合监控系统和/或工业能源管控系统；所述告警信息数据包括scada告警信息包括告警总表、系统告警、操作记录、维护记录、遥测告警、遥信告警、遥控告警、soe告警、保护事件、录波简报、故障报告、通信状态、测试告警、应用日志、工控告警、pas告警、状态监视、智能告警、avc调节命令、avc调压信息、直传告警。每种告警表对应一至多个告警组，比如遥信告警包括开关动作、异常信号、刀闸动作、母线失压、全站失压、地区失压、三相遥信、机组状态、遥信抖动、常规信号、pss信号、保护动作、事故总、地刀动作、压板、一般遥信等。每个告警组对应一至多个告警项，如开关动作包括分闸、合闸、事故跳、事故跳(停电)、事故跳(可疑)、双位错、双位错恢复、双位错全分、双位错恢复分闸、双位错全合、双位错恢复合闸、偷跳、需要检修、合闸(停电)、分闸(停电)、合闸(可疑)、分闸(可疑)、分闸(总召唤)、合闸(总召唤)、分闸(总召唤)、合闸(总召唤)、分闸(前置模拟)、合闸(前置模拟)等。告警等级包括:紧急告警、重要告警、次要告警、警告告警等。基于与实施例1相同的发明构思，本发明提供了一种基于云平台的监测数据通用采集存储方法，包括以下步骤：步骤(1)接收订阅的采样数据或者告警信息数据；在本发明实施例的一种具体实施方式中，所述采样数据或者告警信息数据通过以下步骤获得：由数据处理集群将采样数据或者告警信息数据发布至消息队列集群；接收由所述消息队列集群发送的采样数据或者告警信息数据。优选地，所述采集数据处理单元采用周期发布或变化发布的方式将采集数据发布至消息队列集群的mq采集数据消息队列；所述采样数据存储进程单元从第一缓存库中获取缓存的采集数据，并对其进行格式转换后送入对应的hitsdb数据库集群；所述告警信息处理单元采用实时发布的方式将告警信息数据发布至消息队列集群的mq告警信息消息队列；所述告警信息存储进程单元从第二缓存库中获取缓存的告警信息数据，并对其进行格式转换后送入对应的rds数据库集群；步骤(2)对接收到的采样数据或者告警信息数据进行解析后送入对应的第一缓存库或者第二缓存库；步骤(3)从所述第一缓存库或者第二缓存库中获取缓存的采样数据或者告警信息数据，并对其进行格式转换后送入对应的第一数据库集群或者第二数据库集群；优选地，所述第一数据库集群为hitsdb数据库集群；所述第二数据库集群为rds数据库集群。其余部分均与实施例1相同。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。当前第1页12当前第1页12