快速迁移多源异构电网大数据到HBase的方法及系统与流程

文档序号:12121789阅读:来源:国知局

技术特征:

1.快速迁移多源异构电网大数据到HBase的方法,其特征是,包括如下步骤:

步骤(1):连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID和数据内容组成;

步骤(2):根据唯一的标识ID建立ID映射表,所述ID映射表包括包括数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表存储在第二Oracle数据库当中;数据类ID映射表包括:数据类ID、数据类ID编码和数据类ID备注;数据类内部ID映射表包括:数据类内部ID和数据类内部ID编码;

步骤(3):对数据源进行选择识别,选定数据源后,读取第二Oracle数据库当中的数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表写入内存,数据类ID映射表和数据类内部ID映射表常驻内存;

步骤(4):将数据类ID映射表中的数据类ID编码和数据类内部ID映射表中的数据类内部ID编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;

步骤(5):将数据类ID行键和数据类内部ID行键转化为字节数组;

步骤(6):将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。

2.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,

所述步骤(1)电网数据库包括:CSV文件、txt文本文件和第一Oracle数据库。

3.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,

所述步骤(2)的唯一的标识ID由数据类ID和数据类内部ID组成;数据类ID为表类型,数据类内部ID为表内部数据列的字段。

4.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,

所述步骤(2)的数据类ID编码的取值范围是1~13;数据类内部ID编码的取值范围是1~19。

5.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,

所述步骤(3)的数据源包括CSV文件、txt文本文件和第一Oracle数据库。

6.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,

所述步骤(4)的步骤为:

根据数据类ID,查找步骤(3)存储的数据类ID映射表,得到数据类ID的编码;

根据数据类内部ID,查找步骤(3)读入内存的数据类内部ID映射表,得到数据类内部ID的编码;

根据数据类ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃;

同理,根据数据类内部ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃。

7.如权利要求6所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,

数据类ID取值范围为1~256,有意义的字节数组为最低位的8个bit;

数据类内部ID取值范围根据需要设定,有意义的字节数组根据需要设定。

8.快速迁移多源异构电网大数据到HBase的系统,其特征是,包括:

数据库连接模块:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;

映射表建立模块:根据唯一的标识ID建立ID映射表,所述ID映射表包括包括数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表存储在第二Oracle数据库当中;数据类ID映射表包括:数据类ID、数据类ID编码和数据类ID备注;数据类内部ID映射表包括:数据类内部ID和数据类内部ID编码;

映射表读取模块:对数据源进行选择识别,选定数据源后,读取第二Oracle数据库当中的数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表写入内存,数据类ID映射表和数据类内部ID映射表常驻内存;

编码压缩模块:将数据类ID映射表中的数据类ID编码和数据类内部ID映射表中的数据类内部ID编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;

字节数组转化模块:将数据类ID行键和数据类内部ID行键转化为字节数组;

数据写入模块:将数据类ID行键、数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。

9.如权利要求8所述的系统,其特征是,所述编码压缩模块被配置为:

根据数据类ID,查找数据类ID映射表,得到数据类ID的编码;

根据数据类内部ID,查找读入内存的数据类内部ID映射表,得到数据类内部ID的编码;

根据数据类ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃;

同理,根据数据类内部ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃。

10.如权利要求9所述的系统,其特征是,

数据类ID取值范围为1~256,有意义的字节数组为最低位的8个bit;

数据类内部ID取值范围根据需要设定,有意义的字节数组根据需要设定。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1