本公开的实施例涉及电力系统领域，并且特别地涉及电力系统中的数据处理的系统、方法和设备以及有形计算机可读介质。
背景技术：
：：各种产业都具有与之相关联的网络。一个此类产业是管理电力网的公用事业产业。电力网可以包括以下各项中的一个或全部：发电、输电以及配电。可以使用诸如煤电厂、核电厂等发电站来发电。出于效率的目的，产生的电力被逐步升压至非常高的电压(例如345k伏)并通过传输线传送。传输线可以长距离输送电力，诸如跨州界或跨国际边界，直至其到达其批发客户为止，该批发客户可以是拥有本地配电网的公司。传输线可以在传输变电站处终止，其可以将非常高的电压逐步降低至中压(例如138k伏)。较小的传输线(诸如子传输线)将中压从传输变电站传送到配电站。在配电站处，该中间电压可以被再次逐步降低至“中压”(例如像是4k伏至23k伏)。一个或多个馈电电路可以从配电站发出。例如，四个至数十个馈电电路可以从配电站发出。馈电电路是包括4个导线(三条导线用于3相中的每相且一条导线用于零线)的3相电路。馈电电路可以在地面上(在电线杆上)或地下敷设。可以使用配电变压器周期性地将馈电电路上的电压分接出来，这使电压从“中压”逐步降低至客户电压(例如120v)。该客户电压然后可以被客户使用。一个或多个电力公司(其主要职责是向其客户供应可靠且经济的电力)管理电力网，包括与电力网有关的规划、运营以及维护。为了改善管理效率并降低管理成本，电力公司已尝试通过应用现有技术it和电力工程技术而将电力网升级成“智能电网”。智能电网的发展要求数目巨大的感测装置或系统，诸如高级计量基础设施(ami)、相位测量单元(pmu)及其它在线监视装置。这些装置将产生大量的数据，并且数据规模可以是tb级。例如，在中国，省电力公司通常计划安装超过一千万台的仪表，其可能每个月产生近4tb数据。此外，图1图示出来自最近研究的数据增长趋势，从其中可以看到数据量随着高级配电自动化和ami的发展而急剧增加，并且几乎达到800tb，这是数目相当巨大的数据。同时，其要求快速的数据处理从而及时地提供有用信息。因此，公用事业公司面临着巨大的挑战，尤其是在存储器计算和数据库存储方面。因此，在本领域中需要用于数据处理和存储、更特别地用于大量实时数据的改善解决方案。技术实现要素：为此，根据本公开的第一方面，提供了一种用于电力系统中的数据处理的系统。所述系统包括至少一个处理器；以及至少一个存储器，其存储计算机可执行指令。所述至少一个存储器和计算机可执行指令被配置成利用所述至少一个处理器促使所述系统：在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组，所述电力系统资源群组是部分地基于定义电力网操作的分级结构的、用于所述电力系统的数据模型而确定的；将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点；以及在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理。在本公开的实施例中，所述将数据流中的数据分组可以包括基于包含在所述数据流中的所述数据内的测量点标识信息和所述数据模型中定义的在电力系统资源与测量点标识信息之间的相关性，来确定分别与所述数据流中的所述数据相关联的所述电力系统资源；以及根据所确定的电力系统资源和在所述数据模型中定义的所述电力网操作的所述分级结构，来确定与所述流中的所述数据相关联的所述电力系统资源。在本公开的另一实施例中，所述发送所述数据流中的所述数据可以取决于当前缓冲消息尺寸和当前等待时间。根据本公开的另一实施例，当所述当前缓冲消息尺寸达到考虑当前网络负荷条件的尺寸阈值时，可以发送所述数据流中的所述数据。在本公开的另一实施例中，当所述当前等待时间长于考虑当前网络负荷条件的时间阈值时，可以发送所述数据流中的所述数据。在本公开的另一实施例中，可以将所述数据流中的所述数据高速缓存在所述一个或多个数据处理节点中以用于进行处理，并且所述数据流中的所述数据被进一步存储在数据库中，其中在数据处理节点的故障恢复或重新启动的情况下，相应的数据从所述数据库被加载到所述数据处理节点的高速缓存器。在本公开的另一实施例中，所述数据流中的所述数据可以被按年存储在表中，并且用于表的名称包括关于所述年的信息，并且其中用于所述数据中每个数据的关键字是由与其相关联的电力系统资源的标识和所述数据时间的测量时间而形成，所述测量时间是所述数据时间在该年内以毫秒为单位的时间偏移的形式。根据本公开的另一实施例，可以将所述数据流中的所述数据根据与其相关联的电力系统资源而分割成一个或多个分段，并且所述一个或多个分段被基于用于所述数据的所述关键字而按照时间顺序并行地且分布式地写入到所述数据库的多个区域。特别地，所述数据流中的所述数据被以分别适合于其自身数据类型且适合于数据处理的格式存储在所述数据库中。在本公开的另一实施例中，所述处理所述数据流中的所述数据可以基于分布式流计算架构，并且所述数据存储基于分布式数据库。根据本公开的第二方面，提供了一种用于电力系统中的数据处理的方法。所述方法可以包括：在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组，所述电力系统资源群组是部分地基于定义电力网操作的分级结构的、用于所述电力系统的数据模型而确定的；将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点；以及在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理。根据本公开的第三方面，提供了一种用于电力系统中的数据处理的设备。所述设备包括：数据分组模块，其被配置成在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组，所述电力系统资源群组是部分地基于定义所述电力网操作的分级结构的、用于电力系统的数据模型而确定的；数据发送模块，其被配置成将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点；以及数据处理模块，其被配置成在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理。根据本公开的第四方面，提供了用于电力系统中的数据处理的另一设备。所述设备包括：用于在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组的装置，所述电力系统资源群组是部分地基于定义所述电力网操作的分级结构的、用于电力系统的数据模型而确定的；用于将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点的装置；以及用于在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理的装置。根据本公开的第五方面，提供了一种具有多个指令的有形计算机可读介质，所述指令可被处理器执行以执行电力系统中的数据处理。所述有形计算机可读介质可以包括被配置成执行根据本公开的第二方面的方法的步骤的指令。利用本公开的实施例，在一个或多个接收节点处基于与数据相关联的电力系统资源群组而将数据流分组，根据电力系统资源群组而分发到处理节点处，并在处理节点处进行处理。在本公开中，提供了一种用于电力系统中的大规模实时处理的低成本解决方案，其是高效的、可扩展的，并且使得能够实现数据处理过程的在线改变。附图说明通过关于如参考附图在实施例中举例说明的实施例的详细说明，本公开的上述及其它特征将变得更加显而易见，其中，遍及本公开附图，相同的附图标记表示相同或类似部件，并且在所述附图中：图1示意性地图示出根据现有技术中的最近研究结果的电子电力数据增长的曲线；图2示意性地图示出根据本公开的实施例的其中可以实现本公开的实施例的用于电力网的示例性架构的图示；图3示意性地图示出根据本公开的实施例的数据处理和数据存储的图示；图4示意性地图示出根据本公开的实施例的用于电力系统中的数据处理的方法的流程图；图5a至5c示意性地图示出根据本公开的实施例的电力网操作分级结构、示例性原始数据以及示例性映射数据的图示；图6示意性地图示出根据本公开的实施例的故障恢复的情况下的数据处理操作的图示；图7a和7b示意性地图示出根据本公开的实施例的示例性数据表设计的图示；图8a和8b示意性地图示出根据本公开的实施例的示例性数据存储方式的图示；图9a和9b示意性地图示出根据本公开的实施例的案例仿真结果；图10示意性地图示出根据本公开的实施例的用于电力系统中的数据处理的系统的框图；图11示意性地图示出根据本公开的实施例的用于电力系统中的数据处理的设备的框图；图12示意性地图示出根据本公开的另一实施例的用于电力系统中的数据处理的另一设备的框图；以及图13示意性地图示出通用计算机系统，该通用计算机系统可编程为专用计算机系统，其可以代表在本文中提及的任何计算设备。具体实施方式在下文中，将参考附图来描述本公开的实施例。在以下描述中，阐述了许多特定细节以便提供实施例的透彻理解。然而，对于本领域的技术人员显而易见的是，本公开的实施方式可以不具有这些细节，并且本公开不限于如在本文中介绍的特定实施例。相反地，可以考虑以下特征和元素的任何的任意组合来实现和实施本公开，无论其是否涉及到不同的实施例。因此，以下方面、特征和实施例仅仅用于说明性目的，并且不应理解为是对所附权利要求的元素或限制，除非在权利要求中另外明确地指明。另外，在某些情况下，并未详细地描述众所周知的方法和结构以免不必要地使本公开的实施例含糊难懂。在当前电力系统中，每天将生成大量的数据，并且要求快速的数据处理以便及时地提供有用信息。因此，在本公开中，提出一种用于电力系统中的数据处理的解决方案以使得能够实时地或者近实时地处理数据，从而满足当前电力系统的要求。图2示意性地图示出根据本公开的实施例的其中可以实现本公开的实施例的用于电力系统的示例性架构的图示。如图2中所示，数据源110-1至110-n(诸如各种监视系统、监视装置、传感器、仪表等)生成各种类型的数据，这些数据通过实时数据总线120-1或实时事件总线120-2被发送到实时处理&存储系统130。在实时处理&存储系统130中，实时处理模块140接收这些数据并基于从数据模型160获得的信息和包含在数据内的信息进行处理，并且将已处理结果存储在储存器150中。经由统一信息访问模块170，各种分析和应用程序180可以访问数据模型160，并处理在储存器150中的结果或其它数据。如在本公开中所示的此架构将不仅提供用于大量数据的实时数据处理和存储，而且提供了相当好的可靠性、可缩放性和简便的数据访问，在下文中将参考图3-图12对实时处理&存储进行详细描述。图3示意性地图示出根据本公开的实施例的数据处理和数据存储的图示。如图所示，包括例如监控和数据采集(scada)系统、装置监视设装置ami等的数据源110将由其生成或获取的数据提供给实时处理系统140。在本文中，实时处理系统140可以基于分布式流处理技术，诸如apachestorm系统，其是用于处理快速的大型数据流的分布式实时计算系统。实时处理模块140可以包括一个或多个接收节点141-1、141-2、...、141-m；一个或多个数据处理节点142-1142-2、142-3、142-4、...、142-k-1、142-k；以及可选地一个或多个数据输出节点143-1、...、143-j。所述一个或多个接收节点被配置成从数据源110接收数据流，其在apachestorm系统中可以称为数据喷口(spout)。所述一个或多个数据处理节点142-1、142-2、142-3、142-4、...、142-k-1、142-k每个在其中包含多个过程，并且被配置成处理向其发送的数据，这在apachestorm系统中可以称为处理管道(bolts)。所述一个或多个数据输出节点143-1、143-j可以被配置成从处理节点收集已处理结果，并将其发送到数据储存器150以便存储，这在apachestorm系统中也可以称为处理管道。可以利用分布式计算(例如基于云计算)以分布式方式来执行所述接收、处理和输出。因此，可以提供云计算平台190以执行数据流处理。最后，可以将从数据流处理获得的结果存储到数据储存器150中，该数据储存器150可以在其中具有至少一个数据库，并且可选地，该数据库可以是分布式数据库，诸如hbasetm，其是hadoop数据库，根据google的bigtable建模的开源、分布式、版本化的非相关数据库。在图4中示出了根据本公开的实施例的用于电力系统中的数据处理的方法的流程图。如图4中所示，首先作为步骤s401，将一个或多个数据接收节点处的数据流基于与其相关联的电力系统资源群组而进行分组。可以基于测量点标识和用于电力系统的数据模型来确定与其相邻的电力系统资源群组。在电力网中，通常提供有定义电力网操作的分级结构的数据模型，其可以覆盖各种源，例如输电网、配电网和客户域中的各种元件和对象，并且可以提供电力网中的各种数据的统一且集中式的数据视图。图5a示意性地图示出根据本公开的实施例的示例性数据模型。如图所示，在示例性数据模型中，在输电、配电和客户域中的电力网操作的分级结构中布置电力装置。例如，针对输电，存在用于电力设备的不同电压水平，诸如500kv、220kv等；针对某个电压水平，存在不同类型的电力设备，诸如变电站、线路等；针对处于某个层级的某个类型的电力设备，诸如处于500kv的变电站，存在不同的电力设备，诸如st0082、st0083等。每个变电站st0082、st0083还包括不同的电子装置，诸如母线段、电容器、断路器、变压器等，其中的每一个均包含多个测量点，诸如有功功率、无功功率、底部油温等。因此，此类数据模型清楚地定义电力网操作的分级结构。此外，在数据模型中，包含关于电气设备、电力设备以及测量点的标识信息，其反映这些组件与其标识之间的相关。基于该信息，可以将数据流中的数据进行分组。图5b图示出从数据源接收到的示例性原始数据。如图5b中所示，原始数据包括测量id“measld”，其是与数据相关联的测量点的标识；测量时间“timestamp”，其指示测量数据时的时间；测量值“value”，其指示测量数据的值；数据质量“quality”，其指示数据的质量，“0”表示高质量。根据包含在数据中的信息，尤其是测量id“measld”和在数据模型中提供的相关性，可以首先确定与数据相关联的电力系统资源，例如通过使用测量id“measid”作为搜索条件来搜索数据模型中的相应表。因此可以通过使用包含在数据中的测量点标识来确定与测量记录相关联的测量点或电力系统资源。此外，基于数据模型，可以进一步确定测量点所属的电力设备，例如tr1122。基于该数据模型，可以确定该电力设备属于其中的电力系统资源。例如，针对变压器tr1122，从数据模型可以清楚地看到的是，其属于电力系统资源群组st0082，即变电站st0082。可以将关于电力系统资源标识和电力系统资源群组的确定信息包括到数据中以供随后使用。在图5c中仅仅出于举例说明的目的示出示例性映射数据。如图所示，除包含在原始数据中的信息之外，映射数据还包含指示电力系统资源的标识的“psrid”和指示电力系统资源群组的标识的“psrgrpid”。返回参考图4，在步骤s402处，数据流中的数据被基于与其相关联的电力系统资源群组而发送给处理节点。在数据流中的数据被分组之后，其将基于与其相关联的电力系统资源群组而被发送给后续处理节点以用于进行进一步处理。也就是说，属于同一电力系统资源群组的数据将被发送给相同的一个或多个处理节点。在本公开的实施例中，可以进一步优化消息传递以改善传输效率。发明人注意到对于某个消息总线而言，性能是根据消息尺寸而改变的变量，并且通常存在可以实现最佳性能的最优消息尺寸。例如，就使用zeromq作为内部消息总线的apachestorm系统而言，以100k的消息尺寸可以实现最佳性能。下表1给出了apachestorm系统中的性能与消息尺寸之间的关系。表1性能与消息尺寸之间的关系根据表1，很明显当消息尺寸是100k时实现最佳性能，并且更大或更小的尺寸将不会提供更好的性能。鉴于此发现，在本公开中，设计优化算法，其考虑总线性能和用于实时数据传输的最后期限两者，其可以例如如下表示：booleansend＝(t＞＝t*a*w)or(s＞s*b*w)其中，bolleansend是确定是否要发送数据的布尔值，t表示当前等待时间；t是针对实时数据所允许的最大传输延迟时间，s是当前缓冲实时数据的量；s是每个消息的数据的最大数目，由最优消息尺寸和数据尺寸确定，例如在最优消息尺寸是100k且每个数据具有24字节的尺寸的情况下为4.17k(即，100k/24)；w表示范围从0至1的值中的网络负荷比，其反应网络负荷条件，即当前网络负荷或带宽；a是用于延迟时间的优化比；并且b是用于消息尺寸的优化比。a、b的值是将使得数据被以小尺寸发送的优化比，其可以根据网络负荷条件来设定。例如，其默认值可以被设定为例如1，然而，在网络负荷相对较轻的情况下，可以将a和b的值设定为较低值。因此，在本公开的实施例中，数据流中的数据的发送可以取决于当前缓冲消息尺寸和当前等待时间。例如，当所述当前缓冲消息尺寸达到考虑当前网络负荷条件的尺寸阈值时，将发送所述数据流中的所述数据。另外或者替换地，当所述当前等待时间长于考虑当前网络负荷条件的时间阈值时，将发送所述数据流中的所述数据。这样，可以允许当消息达到指定尺寸时发送消息以获得最优性能，或者当网络空闲时以较小尺寸发送，使得可以确保数据传输的实时性能。返回参考图4，在步骤s403处，一个或多个数据处理节点处的数据流中的数据被基于与其相关联的电力系统资源群组进行处理。在每个处理节点处，正在运行一个或多个过程以便处理向其发送的数据。可以根据电力系统资源群组的类型来配置这些过程并根据需要来更新。在每个处理节点处，可以通过嵌入式脚本执行引擎(诸如python等)和/或java反射机制，来容易地在线更新或改变处理算法或过程。数据的处理在本领域中是已知的，并且因此将出于简化的目的不在本文中详细阐述关于这些处理节点的操作的详细描述。在本公开的实施例中，属于相同电力系统资源群组的数据流中的数据将被发送到相同的一个或多个处理节点，并且在这些处理节点处，可以同时地处理数据，这可以实现电力系统中的实时数据处理，尤其是对于大规模实时数据而言。此外，在本公开中，处理过程节点可以基于不同的分布式流计算技术，并且因此其有用良好的可扩展性，这意味着可以动态地增加流计算集群以满足新的要求，诸如当数据量增加或者需要降低时间成本时。另外，根据本公开，可以根据相关psr群组来执行各种类型的数据处理，其减少重复数据传输并改善数据处理的效率。此外，由于属于同一psr的数据流中的数据将被映射、打包并发送到同一个处理节点，所以可以促进实现面向电力网操作的数据处理。另外，为了确保数据处理的高效率和高可靠性，在本公开的实施例中，发送给每个处理节点的数据被高速缓存在处理节点中，并且同时地，原始数据也被存储在诸如hbase之类的数据库中。高速缓存数据将被用于数据处理，而存储在数据库中的数据可以在一个或多个处理节点的故障恢复或初始化的情况下使用。例如，当处理节点由于例如故障而重启时可以首先从数据库加载数据。图6图示出根据本公开的实施例的故障恢复的情况下的数据处理操作的流程图。如图所示，在步骤601处将首先将数据从数据库加载到高速缓存器，并且在步骤602处，处理节点开始接收分组数据，并且然后将接收的数据高速缓存在高速缓存器中。在步骤603处，处理节点进一步将接收的数据存储到数据库中以便在例如故障恢复的情况下使用。然后在步骤604中利用各过程获得并处理数据，并且在步骤605处将已处理结果存储到数据库中。在数据已被成功地处理之后，在步骤606处，可以向接收节点发送ack作为答复。根据流程图，可以看到即使存在故障，仍可以从数据库获得原始数据，并且因此可以提供较高的可靠性。此外，当数据的数目显著增加并需要更多的处理节点来处理这些数据时可以执行类似操作。除上述之外，在本公开中，还提供了一种面向应用程序的数据存储解决方案，从而实现大规模实时数据存储和访问的高性能，接下来将参考图7至图12对其进行详述。将首先参考图7a和7b，其示出了根据本公开的实施例的示例性数据存储表设计。在本公开中，提出了按年来存储测量数据，即年度测量数据将被存储在同一个表中，并且用于不同年份的数据将被存储在不同的表中。年度测量数据表可以具有诸如“historydata2014”之类的表名以包括关于存储在其中的数据的测量时间的年度的信息。该表可以包括用于识别一块数据的行关键字“rowkey”。更特别地，行关键字“rowkey”可以包括两个部分，即关于电力系统资源的信息和关于测量时间的信息。关于电力系统资源的信息可以是电力系统资源标识“psrid”。“psrid”是电力系统资源的统一id，如上文所述，其具有无符号int的数据类型(4字节)。关于测量时间的信息可以仅包含关于月和日的信息而没有年，因为关于年的信息可以由表的名称反映。特别地，本文中所使用的关于测量时间的信息并不是普通时间格式，而是用数据时间的年内以毫秒为单位的时移来表示。这意味着关于测量时间的信息不包括关于所述年的信息，并且其使用与例如这一年中的第一天的0:00am的时移。因此，可以将关于测量时间的信息设计为无符号int格式，4字节。因此，在本公开的实施例中，行关键字只需要8个字节，这与现有技术中的行关键字的设计相比将大大地节省存储空间。另外，可以包括列族“cf”、列“限定符”以及值value。“cf”表示数据所属的族，其中，‘r’指的是原始数据；“s”指的是统计数据；“e”指的是事件。列限定符是表示值的测量类型和格式的代码。可以通过使用该代码来在如图7b中所示的测量类型和格式定义表中执行搜索来确定值的测量类型和格式。“value”以用列限定符表示的格式存储数据。另外，可以包括“region”，其表示测量数据被存储在其中的位置。可以根据数据规模和计算资源而预先分配“region”，以避免对自动调整的性能的任何影响。在传统方法中，通常使用行关键字，但是这将要求约24个字节，而在本公开中，通过使用psrid和以毫秒为单位的时移，仅需要8个字节。因此，传统行关键字将占用本公开的行关键字几乎3倍的存储空间，这意味着很大的存储空间节省。此外，在本公开中，数据流中的数据被以分别适合于其自身的数据类型且适合于数据处理的格式而不仅仅是以字符串格式存储在数据库中。例如，数值(诸如电压、电流、功率等)被以例如双精度的格式存储，而不是一般所使用的字符串。诸如双精度、浮点等数据类型需要比字符串更少的存储空间，并且其可以在没有转换的情况下被直接处理。因此，这不仅可以节省存储空间，而且改善处理效率。另外，如果要添加新类型的测量数据，则所需的唯一动作是向图7b的表中插入一条记录来定义测量类型和值格式。图8a图示出根据本公开的实施例的数据的并行存储的图示。根据本公开，可以以时间顺序记录来并行地且分布式地将数据存储到数据库中。在本公开中，行关键字包括psrid和以毫秒为单位的时移。数据将被基于psrid而分割成多个分段，并且按照时间顺序并行地将分段存储到不同区域中，如图8b中所示。由于行关键字的特殊设计，在诸如hbase之类的数据库中，将自动地执行存储过程，因为hbase本身可以支持如此机制。此类存储方式可以提供面向应用程序的数据访问。如已知的，应用程序通常将在特定时间段内访问属于同一电力系统资源群组的数据，在数据库中存储数据的方式将大大地促进数据的访问，因为所需的所有数据通常被连续地存储在区域中，如图8b中所示。此数据存储方式将确保当按psr和时间段来访问数据时，能够以相当高的效率访问数据。因此，在本公开的实施例中，数据存储解决方案将帮助实现高数据访问性能。上述存储解决方案不仅支持大规模实时数据存储，而且提供良好的可扩展性。此外，其相当适合于此大型数据分析，例如其可以容易地与hadoop生态系统的其它分析组件结合。图9a和图9b示意性地图示出根据本公开的实施例的案例仿真结果。在仿真中，使用3至15个主节点，每个具有16g存储器、8核cpu、1t储存器、1gbit网络；使用3百万个仪表作为数据源，每个具有33个测量数据。图9a图示出数据处理和写入性能，其中，x轴示出了主节点的数目，y轴示出了每秒处理和写入的仪表的数目。根据图9a，很明显处理和写入性能几乎随着集群的增加而线性地增加，并且其针对15个主节点实现了50000个仪表/秒(4500万个仪表/15分钟)的写入性能。图9b图示出从案例仿真获得的数据读取性能。根据该表，很明显可以在非常短的时间内读取数据，并且针对相同的数目的仪表，更大的线程量可以提供更高的读取性能。因此，利用本公开的实施例，使得能够以低成本和高性能处理并存储大量实时数据，这促进了从实时数据提取信息和及时地进行更好的商业决策。此外，还提供了用于针对公用事业公司的大型且宽泛地分布式的实时数据处理和存储的关键且基本的解决方案。在本公开中，还提供了一种用于电力系统中的数据处理的系统，并且在下文中，将参考图10来描述此系统，图10示意性地图示出根据本公开的实施例的用于电力系统中的数据处理的系统的框图。如图10中所示，系统1000包括至少一个处理器1010；以及存储计算机可执行指令1030的至少一个存储器1020。所述至少一个存储器1020和计算机可执行指令1030被配置成利用所述至少一个处理器1010促使所述系统1000：在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组，所述电力系统资源群组是部分地基于定义电力网操作的分级结构的、用于所述电力系统的数据模型而确定的；将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点；以及在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理。特别地，在本公开的实施例中，将要处理的数据流中的数据分组可以包括：基于包含在所述数据流中的所述数据内的测量点标识信息和所述数据模型中定义的在电力系统资源与测量点标识信息之间的相关性，来确定分别与所述数据流中的所述数据相关联的所述电力系统资源；以及根据所确定的电力系统资源和在所述数据模型中定义的所述电力网操作的所述分级结构，来确定与所述流中的所述数据相关联的所述电力系统资源。在本公开的实施例中，可以优化数据流中的数据的发送从而实现较高性能。例如，数据的发送可以取决于当前缓冲消息尺寸和当前等待时间。当所述当前缓冲消息尺寸达到考虑当前网络负荷条件的尺寸阈值时，可以发送所述数据流中的所述数据。或者替换地，当所述当前等待时间长于考虑当前网络负荷条件的时间阈值时，可以发送所述数据流中的所述数据。在本公开的实施例中，可以将所述数据流中的所述数据高速缓存在所述一个或多个数据处理节点中以用于进行处理，并且所述数据流中的所述数据被进一步存储在数据库中。在处理节点的故障恢复或重新启动的情况下，相应的数据可以被从数据库加载到数据处理节点的高速缓存器。所述数据流中的所述数据可以被按年存储在表中，并且用于表的名称包括关于所述年的信息。用于所述数据中每个数据的关键字可以由与其相关联的电力系统资源的标识和所述数据时间的测量时间而形成，所述测量时间是所述数据时间在该年内以毫秒为单位的时间偏移的形式。在本公开的实施例中，可以将所述数据流中的所述数据根据与其相关联的电力系统资源而分割成一个或多个分段，并且所述一个或多个分段被基于用于所述数据的所述关键字而按照时间顺序并行地且分布式地写入到所述数据库的多个区域。此外，所述数据流中的所述数据可以被以分别适合于其自身数据类型且适合于数据处理的格式存储在所述数据库中。在本公开的实施例中，数据流中的数据的处理可以基于分布式流计算架构，诸如apachestorm系统，并且数据存储基于分布式数据库，诸如hbase。在图11中，图示出根据本公开的另一实施例的用于电力系统中的数据处理的设备。设备1100包括：数据分组模块1110、数据发送模块1120以及数据处理模块1130。数据分组模块1110可以被配置成在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组，所述电力系统资源群组是部分地基于定义电力网操作的分级结构的、用于所述电力系统的数据模型而确定的。数据发送模块1120可以被配置成将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点。数据处理模块1130可以被配置成在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理。在本公开的实施例中，数据分组模块1110可以首先基于包含在所述数据流中的所述数据内的测量点标识信息和所述数据模型中定义的在电力系统资源与测量点标识信息之间的相关性，来确定分别与所述数据流中的所述数据相关联的所述电力系统资源。然后根据所确定的电力系统资源和在数据模型中定义的电力网操作的分级结构，数据分组模块1110可以进而确定与流中的数据相关联的电力系统资源群组。在本公开的另一实施例中，数据发送模块1120可以进一步被配置成根据当前缓冲消息尺寸和当前等待时间来发送数据流中的数据。例如，当所述当前缓冲消息尺寸达到考虑当前网络负荷条件的尺寸阈值时，可以发送所述数据流中的所述数据。另外或者替换地，当所述当前等待时间长于考虑当前网络负荷条件的时间阈值时，可以发送所述数据流中的所述数据。在本公开的实施例中，可以将数据流中的数据高速缓存在一个或多个数据处理节点中以用于进行处理。同时，可选数据存储模块1140可以将数据流中的数据存储到数据库中。在处理节点的故障恢复或初始化的情况下，相应的数据可以被从数据库加载到数据处理节点的高速缓存器。数据存储模块1140可以被配置成将数据流中的数据按年存储在表中。用于表的名称可以包括关于所述年的信息，并且用于所述数据中每个数据的关键字可以由与其相关联的电力系统资源的标识和所述数据时间的测量时间而形成，所述测量时间是所述数据时间在该年内以毫秒为单位的时间偏移的形式。可以将所述数据流中的所述数据根据用于该数据的psrid而分割成一个或多个分段，并且所述一个或多个分段被基于用于所述数据的其关键字而按照时间顺序并行地且分布式地写入到所述数据库的多个区域。特别地，所述数据流中的所述数据被以分别适合于其自身数据类型且适合于数据处理的格式存储在所述数据库中。另外，在本公开的实施例中，处理所述数据流中的所述数据基于分布式流计算架构，并且所述数据存储基于分布式数据库。在图12中，进一步图示出根据本公开的另一实施例的用于电力系统中的数据处理的另一设备。设备1200包括用于在一个或多个数据接收节点处将数据流中的数据基于与其相关联的电力系统资源群组进行分组的装置1210，所述电力系统资源群组是部分地基于定义所述电力网操作的分级结构的、用于电力系统的数据模型而确定的；用于将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组而发送给一个或多个数据处理节点的装置1220；以及用于在所述一个或多个数据处理节点处将所述数据流中的所述数据基于与其相关联的所述电力系统资源群组进行处理的装置1230。如图12中所示，设备1200另外可以包括用于将数据流中的数据存储到数据库中的装置1240。在数据处理节点的故障恢复或重新启动的情况下，相应的数据被从数据库加载到数据处理节点的高速缓存器。用于存储数据的装置1240可以进一步被配置成将数据流中的数据按年存储在表中，并且用于表的名称包括关于所述年的信息，并且其中用于所述数据中每个数据的关键字可以由与其相关联的电力系统资源的标识和所述数据时间的测量时间而形成，所述测量时间是所述数据时间在该年内以毫秒为单位的时间偏移的形式。此外，可以将所述数据流中的所述数据根据用于该数据的psrid而分割成一个或多个分段，并且所述一个或多个分段被基于用于所述数据的其关键字而按照时间顺序并行地且分布式地写入到所述数据库的多个区域。特别地，所述数据流中的所述数据被以分别适合于其自身数据类型且适合于数据处理的格式存储在所述数据库中。此外，提供了一种具有多个指令的有形计算机可读介质，所述多个指令可被处理器执行以执行电力系统中的数据处理，该有形计算机可读介质可以包括被配置成执行根据本公开的方法的任何实施例的方法步骤的指令。应注意的是，包括在系统1000、设备1100以及设备1200中的各模块或装置的操作基本上对应于如前所述的各方法步骤。因此，关于系统1000、设备1100以及设备1200中的各模块或装置的详细操作，请参阅参考图2至9b进行的本公开的方法的先前描述。此外，虽然在上文中提出了特定实施例，但其仅仅是出于举例说明的目的给出的，从而使得本领域的技术人员能够完全地且彻底地理解本公开的思想，使得其可以实施本公开的解决方案。根据如在本文中提供的讲授内容，本领域的技术人员可以设想各种修改；所有这些修改应落在所附权利要求的范围内。例如，虽然在包括数据接收节点、数据处理节点或数据输出节点的拓扑中描述了流处理系统，但还可以使用没有单独数据输出节点的流处理拓扑。在本公开的实施例中，将属于处于某个电压水平的某个电子装置诸如st0082)的数据划分成同一电力系统资源群组；然而，还可以将属于某个电子装置st0082中的某个或某个类型的电力设备(例如，变压器、trl122)的数据划分成同一电力系统资源群组。此外，为了改善传输效率，提供了特定的优化方法；然而，还可以根据本文中提供的讲授内容设想其它不同的优化方法。在图13中进一步图示出通用计算机系统1300，其可以表示在本文中提及的任何计算装置。例如，通用计算机1300可以—部分地或整体地—表示控制中心、头端、综合网络运营和管理系统(noms)、故障、性能以及配置管理(fpcm)模块或在本文中提及的任何其它计算装置，诸如终端装置、仪表、遥测接口模块(tiu)、收集器和/或任何联网组件，诸如在本文中讨论的路由器、交换机或服务器。计算机系统1300可以包括可以被执行以促使计算机系统1300执行本文公开的方法或基于计算机功能中的任何一个或多个的一组指令1302的有序列表。计算机系统1300可以充当独立装置，或者可以例如使用网络115、125连接到其它计算机系统或外围装置。在联网部署中，计算机系统1300可以在服务器的容量中或者作为服务器—客户端用户网络环境中的客户端用户计算机或者作为对等(或分布式)网络环境中的对端计算机系统操作。还可以将计算机系统1300实现为各种装置或结合到其中，诸如个人计算机或移动计算装置，其能够执行指定将由该机器采取的动作的一组指令1302，所述动作包括但不限于通过任何形式的浏览器来访问网络115、125。此外，所述的每个系统可以包括单独地或共同地执行一个或多个指令集以执行一个或多个计算机功能的子系统的任何集合。计算机系统1300可以包括处理器1307，诸如中央处理模块(cpu)和/或图形处理模块(gpu)。处理器1307可以包括一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、数字电路、光学电路、模拟电路、其组合或用于解析和处理数据的其它现在已知或以后开发的装置。处理器1307可以实现指令集1302或其它软件程序，诸如用于实现逻辑功能的手动编程或计算机生成代码。所述的逻辑功能或任何系统元件除其它功能之外还可以而处理诸如模拟电、音频或视频信号或其组合之类的音频数据源和/或将其转换成用于视听目的或其它数字处理目的(诸如与计算机处理或联网通信的兼容性)的数字数据源。计算机系统1300可以包括用于传送信息的总线1320上的存储器1305。可以将可操作用于促使计算机系统执行本文所述的任何动作或操作的代码存储在存储器1305中。存储器1305可以是随机存取存储器、只读存储器、可编程存储器、硬盘驱动器或任何其它类型的易失性或非易失性存储器或存储装置。计算机系统300还可以包括磁盘、固态驱动光驱模块1315。磁盘驱动模块1315可以包括其中可以嵌入一个或多个指令集1302(例如软件)的非临时或有形计算机可读介质1340。此外，指令1302可执行如本文所述的操作中的一个或多个。指令1302在其被计算机系统1300执行期间可完全或至少部分地常驻于存储器1305内和/或处理器1307内。上述数据库或任何其它数据库可被存储在存储器1305和/或磁盘单元1315中。存储器1305和处理器1307还可以包括如上文所讨论的计算机可读介质。“计算机可读介质”、“计算机可读存储介质”、“机器可读介质”、“传播信号介质”和/或“信号承载介质”可以包括包含、存储、传送、传播或输送软件以供指令可执行系统、设备或设备使用或与之结合使用的任何设备。机器可读介质可以选择性地是但不限于电子、磁性、光学、电磁、红外或半导体系统、装置、设备或传播介质。另外，计算机系统1300可以包括输入装置1325，诸如键盘或鼠标，其被配置成用于用户与系统1300的任何组件相交互，包括显示菜单的用户选择或菜单条目。其还可以包括显示器1330，诸如液晶显示器(lcd)、阴极射线管(crt)或适合于传送信息的任何其它显示器。显示器1330可以充当用于用户看到处理器1307运行的接口或者具体地充当与存储在存储器1305中的软件或驱动模块1315的接口。计算机系统1300可以包括使得能够实现经由通信网络125的通信的通信接口1336。网络125可以包括有线网络、无线网络或其组合。通信接口1336网络可以使得能够经由任何数目的通信标准进行通信，诸如以太网avb、802.11、802.13、802.20、wimax或其它通信标准。因此，可以用硬件、软件或硬件和软件的组合来实现系统。可以以集中式方式在至少一个计算机系统中或者在其中不同元件跨多个互连计算机系统散布的分布式方式实现该系统。适合于执行本文所述的方法的任何种类的计算机系统或其它设备都是适当的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时控制计算机系统，使得其执行本文所述的方法。可以将此类编程计算机视为专用计算机。如本文所述，任何模块或处理块被定义成包括可被处理器1307执行的软件、硬件或其某种组合。软件模块可以包括存储在存储器1305或其存储器装置中的可被处理器1307或其它处理器执行的指令。硬件模块可以包括被处理器1307可执行、指挥和/或控制以便执行的各种装置、组件、电路、门、电路板等。还可以将系统嵌入计算机程序产品中，其包括使得能够实现本文所述操作且其在被加载在计算机系统中时能够执行这些操作的所有特征。本文中的计算机程序意指意图促使具有信息处理能力的系统直接地或在以下各项中的任一者或两者之后执行特定功能的一组指令的用任何语言、代码或注释的任何表达：a)到另一语言、代码或注释的转换；b)用不同材料形式的再现。到目前为止，已通过特定优选实施例参考附图描述了本公开。然而，应理解的是本公开不限于所示和提供的特定实施例，而是可以在本公开的范围内进行各种修改。此外，可以用软件、硬件或其组合来实现本公开的实施例。可以用专用逻辑来实现硬件组件；可以将软件部分存储在存储器中并由诸如微处理器或专用设计硬件之类的适当指令执行系统执行。本领域的技术人员可以认识到可以用包含在处理器中的计算机可执行指令和/或控制代码来实现上述方法和系统，例如在诸如磁盘、cd或dvd-rom之类的承载介质或诸如只读存储器(固件)之类的可编程存储器或诸如光学或电信号载体之类的数据载体上提供的此类代码。可以用例如超大规模集成电路或门阵列之类的硬件电路、诸如逻辑芯片或晶体管之类的半导体或诸如现场可编程门阵列或可编程逻辑器件之类的可编程硬件器件来实现本实施例中的设备及其组件，或者用被各种处理器执行的软件实现，或者用上述硬件电路和软件的组合(例如，用固件)来实现。虽然已描述了本公开的各种实施例，但对于本领域的技术人员而言将显而易见的是在本公开的范围内可以有许多实施例和实施方式。因此，本公开除根据所附权利要求及其等价之外不受限制。当前第1页12当前第1页12