铝/铜板带材生产全流程数据采集与传输方法

本发明涉及数据处理技术领域，尤其涉及一种铝/铜板带材生产全流程数据采集与传输方法。

背景技术：

现有的铝/铜板带材厂设备数据采集系统大部分并没有直接从设备直接采集原生数据，主要以设备事件驱动，对于一些必要的数据也仅仅是分钟级采集频率。这种情况造成数据采集系统丢失了大部分生产信息，尤其对于一些高速生产设备，现有的数据采集系统不能有效地进行数据采集和存储。

而且铝/铜板带材厂企业的生产设备往往来自不同的厂家，使用的设备数据采集系统也不尽相同。目前大部分设备数据都采用各自的数据格式和采集方法，造成大部分数据并不能直接进行统一分析。因此，有必要对数据进行统一处理和数据对齐，以便于后期进行数据处理的需要。

技术实现要素：

针对上述问题，本发明的目的在于提供一种便于数据利用、可以将铝/铜板材生产全流程产生的多源异构数据统一处理的铝/铜板带材生产全流程数据采集与传输方法。

本发明采用的技术方案如下：

本发明所提出的铝/铜板带材生产全流程数据采集与传输方法，包括以下步骤：

s1：数据采集，设计针对铝/铜板带材生产工业现场的设备特性，构建数据采集器来采集加工现场plc中的数据，并将采集到的plc数据暂存在采集站中；

s2：数据分类，对所有铝/铜板带加工过程中产生的数据进行统一分类，如加工时plc上采集的实时数据、设备状态数据等，并按分类方式编码，将编码加入数据字段中，方便之后的查询和分析工作；

s3：数据压缩，将铝/铜板带加工过程中产生的高频实时数据进行压缩处理，使其能够达到可发送标准；

s4：数据传输，将铝/铜板带加工过程中产生的所有类型的数据传输到大数据平台所在服务器集群中的分布式文件系统，不同类型的数据采用不同的传输方式；

s5：数据备份，在采集站备份已发送的数据一段时间，在采集站空间不足或备份过期后删除；

进一步的，所述步骤s1中的采集站由与铝/铜板带材工厂plc对接的windows服务器构成，采集器的主要功能包括采集plc中的数据以及iba文件中的数据。

进一步的，所述步骤s1中采集的数据主要包括铝/铜板带的加工实时数据以及阶段加工完成后的统计信息数据。

进一步的，所述步骤s1中的数据采集方式针对plc中的数据特点分为周期采集和事件驱动采集两种方式。

进一步的，所述步骤s1中的数据暂存形式为将采集到的plc数据以xml的形式暂存在采集站中等待传输。

进一步的，所述步骤s3中的数据压缩加密方法包括gzip压缩算法和snappy压缩算法。

进一步的，所述步骤s4中的传输方式包括对工厂原生数据库中的数据使用sqoop中的驱动程序进行大规模数据传输、对plc中采集的程序使用c#程序与java程序对接后进行传输、对非结构化数据进行分割传输。

进一步的，所述步骤s4中的分布式文件系统为大数据平台所在的服务器集群中搭建的基于hadoop的分布式文件系统。

本发明与现有技术相比具有以下有益效果：

本发明可以将不同厂商的plc数据进行统一采集后，与其他铝/铜板带材加工过程的多元异构数据进行统一编码后，高效传输到大数据平台所在的服务器集群中，解决了铝/铜板带材加工中提高了数据的利用效率，为后续的数据存储和分析提供了极大的便利。

附图说明

图1为本发明铝/铜板带材生产全流程数据采集与传输方法的流程示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

本发明所提出的一种铝/铜板带材生产全流程数据采集与传输方法，如图1所示，具体实施步骤如下：

s1：数据采集，设计针对铝/铜板带材生产工业现场的设备特性，构建数据采集器来采集加工现场plc中的数据，并将采集到的plc数据暂存在采集站中；

具体的：采集站由与铝/铜板带材工厂plc对接的windows服务器构成，plc与windows服务器之间使用传输距离远、抗干扰能力强的rs485协议进行数据互通。采集器的主要功能包括采集plc中的数据以及iba文件中的数据。其中，对于三菱系列plc，以mx控件为基础进行采集程序编写、西门子系列plc以s7.net驱动为基础进行采集程序编写，iba文件数据则通过ibafilelite驱动进行数据的读取。

采集方式具体分为周期采集和事件驱动采集两种方式，周期采集为每5分钟执行一次采集任务，主要采集铝/铜板带材加工过程中的实时数据。

事件驱动采集为在每道加工工序完成一次工作后执行采集任务，主要采集的是本次加工的统计信息数据。

采集到的数据在传输前暂存在windows服务器中，以通用性较强的xml格式存储。

s2：数据分类，对所有铝/铜板带加工过程中产生的数据进行统一分类，如加工时plc上采集的实时数据、设备状态数据等，并按分类方式编码，将分类编码以字节码的形式加入数据字段中，方便之后的查询和分析工作；

具体的：对数据的工序的编码，使用工序的单词首字母进行编码，熔铸(m)，热轧(h)，冷轧(c)和热处理(a)；

针对数据分类的编码，为保证数据分类的简洁高效，采用以单个字母作为基本数据分类的编码。工艺过程数据(p)：主要包括原材料的配料数据，材料的基本性能数据以及各个加工设备的参数设定值等；设备运行数据(e)：主要包括设备健康状态数据，设备能耗数据，设备的各部件运行参数的实时反馈数据等；质量检测数据(q)：主要包括各个工艺环节的阶段性质检数据和最终质检数据等；自然环境数据(n)：主要包括天气数据，温度数据，气压数据，相对湿度数据等；管理信息数据(m)：主要包括排产计划数据，产品存放调度数据，设备和人员的排班调度数据以及人员职能和工资相关数据等。

进行数据分类后，将分类编码以字节流的方式插入到各字段的字段头中。

s3：数据压缩，将铝/铜板带加工过程中产生的高频实时数据进行压缩处理，使其能够达到可发送标准；

具体的：对于数据量庞大的实时数据以压缩率高的gzip压缩算法进行压缩，对统计信息等采集频率较低的数据以压缩率稍低但速度快的snappy压缩算法进行压缩。

s4：数据传输，将铝/铜板带加工过程中产生的所有类型的数据传输到大数据平台所在的分布式服务器集群，不同类型的数据采用不同的传输方式；

具体的：若预传输数据的数据源为铝/铜板带加工工厂中的关系型数据库数据，例如sqlserver与mysql数据库中的数据，针对这种数据量较大，数据关联性较强，而且数据库接口功能较为齐全的特点，使用sqoop中的驱动程序进行大规模数据传输；对比现有数据迁移工具的各种性能，sqoop最能满足铝/铜板带材生产数据的数据量巨大，传输速度快的特点。而且操作相对简单，使用难度较低。

若预传输数据的数据源为从铝/铜板带材加工过程中的plc采集而来的数据，需要经过采集站的程序进行解析，在解析后使用采集站中的c#发送程序与大数据平台服务器集群中的java程序对接进行传输。因为传输过程涉及到跨语言交互，所以对接过程使用thriftrpc框架进行跨语言的数据转换，最终将数据传递到服务器端。

若预传输数据为非结构化数据，通过java程序以1gb为断点进行分割传输，并在发送完毕后由发送端发出fin信号通知接收端，再由接收端完成数据的拼接。

在传输过程中如果遇到问题无法继续传输任务，则在日志中记录断点，并向工作人员发出警告信息，排除问题后从传输断点续传数据。

s5：数据备份，在采集站备份已发送的数据一段时间，在采集站空间不足或备份过期后删除；

具体的：数据备份为采集站端的常驻进程，在数据传输完毕后将数据转移到备份区，以60天为期限，每天清理传输完毕超过60天的数据。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。