1.快速迁移多源异构电网大数据到HBase的方法,其特征是,包括如下步骤:
步骤(1):连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID和数据内容组成;
步骤(2):根据唯一的标识ID建立ID映射表,所述ID映射表包括包括数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表存储在第二Oracle数据库当中;数据类ID映射表包括:数据类ID、数据类ID编码和数据类ID备注;数据类内部ID映射表包括:数据类内部ID和数据类内部ID编码;
步骤(3):对数据源进行选择识别,选定数据源后,读取第二Oracle数据库当中的数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表写入内存,数据类ID映射表和数据类内部ID映射表常驻内存;
步骤(4):将数据类ID映射表中的数据类ID编码和数据类内部ID映射表中的数据类内部ID编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;
步骤(5):将数据类ID行键和数据类内部ID行键转化为字节数组;
步骤(6):将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。
2.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,
所述步骤(1)电网数据库包括:CSV文件、txt文本文件和第一Oracle数据库。
3.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,
所述步骤(2)的唯一的标识ID由数据类ID和数据类内部ID组成;数据类ID为表类型,数据类内部ID为表内部数据列的字段。
4.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,
所述步骤(2)的数据类ID编码的取值范围是1~13;数据类内部ID编码的取值范围是1~19。
5.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,
所述步骤(3)的数据源包括CSV文件、txt文本文件和第一Oracle数据库。
6.如权利要求1所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,
所述步骤(4)的步骤为:
根据数据类ID,查找步骤(3)存储的数据类ID映射表,得到数据类ID的编码;
根据数据类内部ID,查找步骤(3)读入内存的数据类内部ID映射表,得到数据类内部ID的编码;
根据数据类ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃;
同理,根据数据类内部ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃。
7.如权利要求6所述的快速迁移多源异构电网大数据到HBase的方法,其特征是,
数据类ID取值范围为1~256,有意义的字节数组为最低位的8个bit;
数据类内部ID取值范围根据需要设定,有意义的字节数组根据需要设定。
8.快速迁移多源异构电网大数据到HBase的系统,其特征是,包括:
数据库连接模块:连接电网数据库与HBase数据平台;电网数据库中的每一条数据均存在唯一的标识ID,电网数据库中的每一条数据均由标识ID+数据内容组成;
映射表建立模块:根据唯一的标识ID建立ID映射表,所述ID映射表包括包括数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表存储在第二Oracle数据库当中;数据类ID映射表包括:数据类ID、数据类ID编码和数据类ID备注;数据类内部ID映射表包括:数据类内部ID和数据类内部ID编码;
映射表读取模块:对数据源进行选择识别,选定数据源后,读取第二Oracle数据库当中的数据类ID映射表和数据类内部ID映射表,将数据类ID映射表和数据类内部ID映射表写入内存,数据类ID映射表和数据类内部ID映射表常驻内存;
编码压缩模块:将数据类ID映射表中的数据类ID编码和数据类内部ID映射表中的数据类内部ID编码分别进行编码压缩,分别形成数据类ID行键和数据类内部ID行键;
字节数组转化模块:将数据类ID行键和数据类内部ID行键转化为字节数组;
数据写入模块:将数据类ID行键、数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。
9.如权利要求8所述的系统,其特征是,所述编码压缩模块被配置为:
根据数据类ID,查找数据类ID映射表,得到数据类ID的编码;
根据数据类内部ID,查找读入内存的数据类内部ID映射表,得到数据类内部ID的编码;
根据数据类ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃;
同理,根据数据类内部ID的取值范围,截取有意义的字节数组,将无意义的字段舍弃。
10.如权利要求9所述的系统,其特征是,
数据类ID取值范围为1~256,有意义的字节数组为最低位的8个bit;
数据类内部ID取值范围根据需要设定,有意义的字节数组根据需要设定。