技术总结
本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统；包括如下步骤：连接电网数据库与HBase数据平台；电网数据库中的每一条数据均存在唯一的标识ID，电网数据库中的每一条数据均由标识ID+数据内容组成；根据唯一的标识ID建立ID映射表；选定数据源后，读取ID映射表，将ID映射表写入内存，ID映射表常驻内存；将ID映射表中的编码分别进行编码压缩，分别形成数据类ID行键和数据类内部ID行键；将数据类ID行键和数据类内部ID行键转化为字节数组；将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
技术研发人员：林颖;张方正;苏建军;李冬;郭志红;陈玉峰;祝永新;盛戈皞;李勇;吴观斌;杨祎;朱城铠;刘斌;王畅;马艳;李程启;耿玉杰;白德盟;石鑫;张雷
受保护的技术使用者：国网山东省电力公司电力科学研究院;上海交通大学;国家电网公司
文档号码：201610982635
技术研发日：2016.11.08
技术公布日：2017.03.22