铝/铜板带材生产全流程大数据存储方法

文档序号:26050394发布日期:2021-07-27 15:25阅读:来源:国知局

技术特征:

1.铝/铜板带材生产全流程大数据存储方法,其特征在于,所述方法包括以下步骤:

s1:针对铝/铜板带材生产全流程数据进行梳理分类,整理出不同结构和不同类型的数据;

s2:根据s1梳理的不同类型的数据,设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构,快速存取不同结构的数据;

s3:根据s2设计出的存储方式和数据库表结构,构建集群存储,实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能。

2.根据权利要求1所述的铝/铜板带材生产全流程大数据存储方法,其特征在于:所述步骤s1的具体过程如下:

(1.1)根据铝/铜板带材生产全流程工业大数据平台的数据结构,将铝/铜板带材生产全流程数据分为结构化数据、半结构化数据和非结构化数据;

(1.2)根据铝/铜板带材生产全流程的数据类型,将数据分为设备运行数据、工艺过程数据、管理信息数据、自然环境数据、质量检测数据、用于数据查询和索引的检索性数据、字段翻译数据、和加工过程中产生的各类文件数据;

(1.3)将铝/铜板带材工艺过程中的用于数据查询和索引的检索性数据以及字段翻译数据归为结构化数据;将铝/铜板带材生产过程中产生的设备运行数据、工艺过程数据、管理信息数据、自然环境数据和质量检测数据归为半结构化数据;将铝/铜板带材生产加工过程中产生的各类文件数据归为非结构化数据。

3.根据权利要求2所述的铝/铜板带材生产全流程大数据存储方法,其特征在于:所述步骤s2的具体过程如下:

(2.1)针对铝/铜板带材的结构化数据,将铝/铜板带材生产全流程中的生产设备、报文号、产品id、时间等索引字段和字段翻译数据存储在mysql中,且表结构选择符合第一范式的二维表形式,其中索引表存储的字段名为对应相应的索引字段,字段翻译表的字段分别为英文字段和中文字段;

(2.2)针对铝/铜板带材的半结构化数据,将设备运行数据、工艺过程数据、管理信息数据、自然环境数据和半成品/成品质量检测数据部署在非关系型数据库hbase中,存储的表结构为面向主键和列族索引的,其中将hbase的rowkey设置为设备+报文号+产品id+时间,将列族设置为对应的工艺过程,列的列名为对应的字段名;

(2.3)针对铝/铜板带材的非结构化数据,将铝/铜板带材生产全流程中产生的所有文件类型数据按照数据的基础信息,包括时间、产生此数据的设备、数据的文件名,存储在hdfs上;文件存储系统中的存储路径为设备+时间+文件名。

4.根据权利要求3所述的铝/铜板带材生产全流程大数据存储方法,其特征在于:所述步骤s3的具体过程如下:

(3.1)根据步骤s2设计出的存储方法和数据库表,按照以下步骤构建hadoop集群:安装java;安装hadoop;进行ssh配置;对hadoop进行配置;格式化hdfs文件系统;启动守护进程;创建用户目录;安装配置hbase;

(3.2)根据步骤s2设计的存储方法和数据库表,分别针对铝/铜板带材的不同数据,使用客户端api建立数据库表,其中表结构的设计和步骤s2相同;在hdfs中,将文件分成块来进行存储,一个文件可以包含许多个块,每个块存储在不同的datanode中;当一个客户端请求读取一个文件时,先在namenode中获取文件的元数据信息,然后从对应的数据节点上并行地读取数据块,文件最终以数据块的形式存储;hbase表根据行键的值水平分割成区域region;一个区域包含表中所有行键位于区域的起始键值和结束键值之间的行;集群中负责管理区域的结点负责数据的读写;

(3.3)对于不同的数据类型,利用现有的api,编写java程序将铝/铜板带材全流程数据直接导入服务器集群当中。


技术总结
本发明涉及一种铝/铜板带材生产全流程大数据存储方法,包括针对铝/铜板带材生产全流程数据进行梳理分类,整理出不同结构和不同类型的数据;根据梳理的不同类型的数据,设计不同的存储方式和适用于铝/铜板带材生产全流程多源异构数据的数据库表结构,快速存取不同结构的数据;根据设计出的存储方式和数据库表结构,构建存储集群,实现针对铝/铜板带材生产全流程多源异构数据特点的分布式存储功能等步骤。本发明解决了铝/铜板带材数据量大、数据复杂难以存储以及存储效率低等问题,实现对铝/铜板带材各类型数据的高效存取,便于后对铝/铜板带材数据的使用分析。

技术研发人员:刘士新;王汇然;陈大力;温睿;赵梓焱;姚明昊
受保护的技术使用者:东北大学
技术研发日:2021.04.29
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1