专利名称：基于分布数据仓库便携式电力信息管理系统的制作方法
技术领域：
本发明涉及分布数据仓库便携式管理系统，特涉及分布数据仓库便携式电力信息管理系统。
背景技术：
随着我国电カ生产技术的蓬勃发展，和电カ系统内部信息化进程的加快，目前已经建立并形成了独立的电カ系统内部信息网络体系和各种电カ管理系统。信息技术的核心在于信息的处理与存储。随着数据量的剧增，数据存储技术面临巨大挑战。CPU主频的不断提高、操作系统版本不断升级时，不应该忽略这样ー个事实，即无论信息处理技术多么的先进，都必须将信息存储于一定的介质之上，信息和信息技术本身都需要依托于一定的存储介质而存在。 对电カ系统处理器资源和储存资源的要求越来越高，提出了电カ系统智能分布式数据仓库，智能分布式数据仓库能够在现有处理器、储存设备不变的情况下，或者利用廉价的PC级的硬件，以大大低于使用专用服务器和存储设备的成本，利用系统内网整合电カ系统现有的资源，提高整个系统的计算储存能力和数据安全性，减小系统扩建投资，对于实现中国电カ系统智能电网和超大規模计算提供了思路和有力的技术支持。
发明内容
针对在电カ系统内部网络信息系统，还没有专用的便携式、分布数据仓库资源管理装置的问题，本发明提供了一种基于分布数据仓库便携式电力信息管理系统，提高整个系统的计算储存能力和数据安全性，减小系统扩建投资，对于实现电カ系统智能电网和超大规模计算提供了思路和有力的技术支持。本发明的技术方案是基于电カ信息管理系统的便携式分布数据仓库装置，包括网络服务器，配置服务器，基准数据服务器和动态数据服务器，其特征在于用于提供数据交互平台的网络服务器，支持配置服务器、基准数据服务器和动态数据服务器相互之间的数据传输；基准数据服务器，将基准数据备份在多台不同的物理设备上；动态数据服务器，在内存中保存增删改动态数据；配置服务器用于进行机器故障检测、负载平衡计算、负载迁移调度。其有益效果是采用便携式、分布数据仓库的形式，在电カ信息系统内实现大型服务器和大型商业数据库软件的主要功能，可替换掉原昂贵的大型服务器和商业数据库。如上所述的便携式分布数据仓库装置，其特征在于所述基准数据保存了 3份并存储在不同基准数据服务器上。其有益效果是可以避免软件硬件故障导致的服务中断。如上所述的便携式分布数据仓库装置，其特征在于动态数据服务器记录提交日志并使用双机热备份。其有益效果是可以避免软件硬件故障导致的服务中断。如上所述的便携式分布数据仓库装置，其特征在于所述配置服务器与动态数据服务器共用物理机器。其有益效果是可以减少计算机数量，降低成本。
图I装置结构示意图；图2装置工作流程示意图。
具体实施例方式 名词解释
基准数据和动态数据系统以增量方 式记录一段时间内的表格数据的增删改，从而保持着表格主体数据在一段时间内相对稳定，其中增删改的数据称为动态数据(通常在内存，也称为内存表)，而一段时间内相对稳定的主体数据称为基准数据，基准数据和转储后(保存到SSD固态硬盘或磁盘)的动态数据以分类字符格式存储。以下结合附图对本发明做进ー步的说明
如图I所示，基于电カ信息管理系统的便携式分布数据仓库装置，包括网络服务器，配置服务器，基准数据服务器和动态数据服务器，各种服务器的具体功能如下
用于提供数据交互平台的网络服务器支持配置服务器、基准数据服务器和动态数据服务器相互之间的数据传输。基准数据服务器(ChunkServer)，又称为保存基准数据的服务器，即将数据备份在多台不同的物理设备上。为了避免软件硬件故障导致的服务中断，本装置同一份基准数据通常保存了 3份并存储在不同基准数据服务器上。动态数据服务器(UpdateServer)，又称为保存动态数据的服务器，一般是单台服务器。为了避免软件硬件故障导致的服务中断，动态数据服务器记录提交日志并通常使用双机热备份。配置服务器(RootServer)，一般是单台服务器。为了避免软件硬件故障导致的服务中断，配置服务器记录提交日志并通常采用双机热备。由于配置服务器负载一般都很轻，所以它常常与动态数据服务器共用物理机器。基于分布式便携数据仓库电力信息管理系统的工作过程
基于电カ信息管理系统的便携式分布数据仓库装置系统工作过程如下系统设计和实现的时候暂时摒弃了许多不需要的数据库信息管理系统的功能，
例如临时表，视图(view)，SQL语言支持等，系统把一段时间内的增删改等修改操作以増量形式记录下来(称之为动态数据，通常保存在内存中)，这样也使得了主体数据在一段时间内保持了相对稳定(称之为基准数据)。由于动态数据相对较小，通常情况下，把它保存在动态数据服务器的内存中。在内存中保存增删改相关记录，极大地提高了系统对数据的访问性能。此外，假如每条修改平均消耗100 Bytes，那么IOGB内存可以记录100M(即I亿)条修改，且扩充动态数据服务器内存空间，也就増加了内存中所能容纳的修改量。不仅如此，由于冻结后的内存表不再修改，它也可以转换成分类字符格式并保存到固态硬盘或磁盘上。转储到固态硬盘后所占内存即可释放，并仍然可以提供较高性能的读服务，这也缓解了极端情况下动态数据服务器的内存需求。为了应对机器故障，动态数据服务器写提交日志并采取双机(甚至多机)热备。由于动态数据服务器的主备机是同步的，因此备机也可同时提供读服务。因为基准数据相对稳定，系统把它按照主键(primary key,也称为row key)分段后保存多个副本(一般是3个)到基准数据服务器上，避免了单台机器故障导致的服务中断，多个副本也提升了系统服务能力。单个数据表的尺寸可以根据应用数据特点进行配置，相对配置过小的数据表会合并，过大的数据表则会分裂。由于数据表按主键分块连续存放，因此系统按主键的范围查询对应着连续的磁盘读，十分高效。对于已经冻结/转储的动态数据，系统的基准数据服务器会在自己不是太繁忙的时候启动基准数据与冻结/转储内存表的合并，并生成新的基准数据。这种合并过程其实是ー种范围查询，是ー串连续的磁盘读和连续的磁盘写，也是很高效的。传统数据库管理系统提供了強大的事务性、良好的一致性和很短的查询修改响应时间，但数据规模受到严重制約，缺乏扩展性；现代云计算提供了极大的数据規模、良好的扩展性，但缺乏跨行跨表事务、数据一致性也较弱、查询修改响应时间通常也较长，系统的设计和实现融合了二者的优势
1、动态数据服务器类似于数据库管理系统中的数据库角色，提供跨行跨表事务和很短的查询修改的响应时间以及良好的一致性
2、基准数据服务器类似于云计算中的工作机，具有数据多副本(通常是3)、中等规模数据粒度(数据表大小约256MB)、自动负载平衡、宕机恢复、机器即插即用等特点，系统容·量及性能可随时扩展
3、合并/提交数据服务器(MergeServer):结合基准数据服务器和动态数据服务器，获得最新数据，实现数据一致性
4、配置服务器类似于云计算中的主控机，进行机器故障检测、负载平衡计算、负载迁移调度等
上述的数据库管理系统和云计算技术的优势互补使得系统既具有传统数据库管理系统的跨行跨表事务、数据的强一致性以及很短的查询修改响应时间，还有云计算的海量数据管理能力、自动故障恢复、自动负载平衡以及良好的扩展性。
权利要求
1.基于电カ信息管理系统的便携式分布数据仓库装置，包括网络服务器，配置服务器，基准数据服务器和动态数据服务器，其特征在干用于提供数据交互平台的网络服务器，支持配置服务器、基准数据服务器和动态数据服务器相互之间的数据传输；基准数据服务器，将基准数据备份在多台不同的物理设备上；动态数据服务器，在内存中保存增删改动态数据；配置服务器用于进行机器故障检测、负载平衡计算、负载迁移调度。
2.如权利要求I所述的便携式分布数据仓库装置，其特征在于所述基准数据保存了3份并存储在不同基准数据服务器上。
3.如权利要求I或2所述的便携式分布数据仓库装置，其特征在于动态数据服务器记录提交日志并使用双机热备份。
4.如权利要求I或2所述的便携式分布数据仓库装置，其特征在于所述配置服务器与动态数据服务器共用物理机器。
全文摘要
本发明涉及分布数据仓库便携式管理系统，特涉及分布数据仓库便携式电力信息管理系统。本发明提供了一种基于分布数据仓库便携式电力信息管理系统，包括网络服务器，配置服务器，基准数据服务器和动态数据服务器，提高整个系统的计算储存能力和数据安全性,减小系统扩建投资,对于实现电力系统智能电网和超大规模计算提供了思路和有力的技术支持。
文档编号G06Q50/06GK102722756SQ20121012951
公开日2012年10月10日 申请日期2012年4月28日 优先权日2012年4月28日
发明者刘华锋, 张磊, 彭钢, 汤胜, 王丹君, 王华跃, 王大江, 蔡骏峰 申请人:武汉供电公司变电检修中心