本发明属于涉及信息
技术领域：
：，尤其涉及一种基于工业设备预测性维护的数据处理方法。
背景技术：
：：近年来，预测性维护策略逐渐受到工厂设施管理人员的关注。预测性维护策略是通过在线监测和分析设备运行状态，以期在早期发现设备性能下降或发生故障的迹象，并给出可执行的处理措施建议，通知产线维护人员进行维护或排除故障。由于预测性维护对设备的状态检测一般都是在线进行，所以不会对设备的正常运转产生干扰；同时可以实现按需维护，这样不仅可以降低停机时间，提高产量，还能消除在不必要的维护上所花费的时间和资源。实施预测性维护需要采集海量的设备数据，然后对数据进行详尽的分析。随着智能设备的引入、传感器技术的发展，使得设备数据的采集变得越来越便利。然而采集到海量的设备数据后如何进行存储和分析则是实现预测性维护策略的关键。传统的数据存储方式和分析方法具有以下劣势：1、数据存储压力大，不能长时间保存设备历史数据，只能保存近期少量数据，从而影响分析预测的准确性；2、存储瓶颈还会导致数据分析效率低，显然不能满足准确预测的需求。因此，如何以技术手段实现对工业设备数据的有效存储和分析，提出工业设备预测性维护分析方案是一个亟待解决的问题。技术实现要素：针对现有技术中对海量数据进行存储和分析存在的问题，本发明实施例的目的是提供一种有效且高效的基于工业设备预测性维护的数据处理方法，能够提高针对海量数据进行有效存储和分析的效果。为了解决上述问题，本发明实施例提出了一种基于工业设备预测性维护的数据处理方法，包括：建立基于hadoop架构的存储平台的步骤，所述基于hadoop架构的存储平台包括用于存储海量设备数据的hbase数据库；建立基于r语言的分析平台的步骤，所述基于r语言的分析平台通过所述hbase数据库内的设备数据进行分析；建立rhadoop接口程序的步骤，所述rhadoop接口程序用于实现业务数据能按规定的格式存入hadoop平台的hbase数据库，提供接口以使基于r语言的分析平台读取基于hadoop架构的存储平台内的设备数据；其中，建立基于hadoop架构的存储平台的步骤具体包括：为每一设备对应的在hbase数据库建立一个hbase表，所述hbase表的关键词key包括至少三个参数：设备编码，部件编码，采集时间；为每一hbase表生成一个列族deviceproperty，所述列族设有以下至少四个列以存储设备数据：基本信息、环境信息、状态信息和故障信息；其中基本信息为设备的设备描述类参数，环境信息为设备所处环境的环境参数，状态信息为设备的工作状态参数，故障信息为设备出现故障时的故障参数；其中，建立rhadoop接口程序的步骤具体包括：建立接口api库以提供对hbase数据库的配置接口、权限接口、数据接口；其中所述配置接口包含用于对hbase数据库进行环境配置的子接口、用于与hbase数据库建立连接的子接口、用于与hbase数据库断开连接的子接口；其中所述权限接口用于根据预设的不同权限提供对hbase数据库的对应访问操作；其中所述数据接口用于实现业务数据能按规定的格式存入hadoop平台的hbase数据库，用于根据基于r语言的分析平台对基于hadoop架构的存储平台进行访问的指令，对基于hadoop架构的存储平台的hbase数据库的hbase表进行操作；其中，建立基于r语言的分析平台的步骤具体包括：建立线性回归算法模型以寻找属性与预测目标之间的线性关系，并采用最小二乘法来获取各属性与预测目标的线性系数；进行k-means聚类算法模型以获取设备数据与故障类型之间的关系；具体包括：将各个聚类子集内的所有数据样本的均值作为该聚类的代表点，并将每个数据点划分到最近的类别中，使得评价聚类性能的准则函数达到最优，从而使同一个类中的对象相似度较高，而不同类之间的对象的相似度较小；建立决策树算法模型以根据设备当前的运行状态参数实时预测设备是否会引发故障；具体包括：利用对设备运行参数及故障参数作为训练样本进行学习以建立分类规则；利用分类规则对设备当前的运行状态参数进行分类；建立时间序列算法模型以预测在什么时间范围内会引发何种类型的故障；具体包括：观测变量的当前值，记录历史数据和历史上所受随机干扰因素；然后通过历史数据和历史上所受的扰动进行回归得到当前的观测变量的预测值；建立神经网络算法模型以根据设备当前的运行状态参数实时预测设备是否会引发故障；具体包括：信息的正向传递、误差的反向传播；在信息的正向传递过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态；如果输出层没有得到期望输出，则计算输出层的误差变化值，然后反向传播，通过网络将误差信号沿原来的连接通路反传，修改各神经元的权值，直至达到期望目标；建立预测模型以进行设备预测性维护预测，其中所述预测模型基于r语言，且所述建立预测模型的步骤包括map阶段和reduce阶段，具体包括：设置预测模型的时间范围，并加载数据；根据自变量与因变量之间的关系，计算回归系数，并最终生成预测模型。其中，建立预测模型以进行设备预测性维护预测，其中所述预测模型基于r语言，且所述建立预测模型的步骤包括map阶段和reduce阶段，具体包括:设出现故障y的影响因素为x1和x2；则建立的预测模型为y＝a1x1+a2x2+β其中，a1、a2、β为回归系数；确定模型时间范围t；加载设备故障时的历史数据；根据map阶段的mapper1函数计算xtx；根据map阶段的mapper2函数计算xty；根据reduce阶段的sum.reduce函数，计算map阶段输出的总和；利用mapreduce()调用mapper1和sum.reduce函数，计算xtx；运用mapreduce()调用mapper2和sum.reduce函数，计算xty；计算回归系数值，并生成线性回归预测模型。其中，所述方法还包括：根据建立的预测模型以及hbase数据库存储的设备数据，对故障进行预测。建立预测模型以进行设备预测性维护预测，其中所述预测模型基于r语言，且所述建立预测模型的步骤包括map阶段和reduce阶段，具体包括：设置预测模型的时间范围，并加载数据；根据自变量与因变量之间的关系，计算回归系数，并最终生成预测模型。其中，所述根据建立的预测模型以及hbase数据库存储的设备数据，对故障进行预测，具体包括：设定需要进行预测的时间范围；加载设备的运行数据；调用指定设备的预测模型，以计算阈值，并计算达到阈值需要的时间范围；输出结果文件。其中，所述基本信息包括以下的至少一个参数：设备名称、部件名称、设备操作人、数据采集时间；所述环境信息包括以下的至少一个参数：温度、湿度、粉尘；状态信息包括以下的至少一个参数：设备的冲压压力、位移、电机转速、电流、性能；所述故障信息包括以下的至少一个参数：故障类别、故障描述。其中，所述rhadoop接口程序的数据接口用于对hbase数据库的hbase表执行以下操作：插入或修改数据：putcell(tablename,columnfamily,column,value)；批量插入或修改数据：putcells(tablename,hbasecelllist)；删除一条记录：deleterow(tablename,rowkey)；批量删除记录：deleterows(tablename,rowkeylist)；删除单元格：deletecell(tablename,columnfamily,column)；按关键词key的数据查询：querydata(tablename,rowkey)；自定义查询条件的数据查询：scanebyrowkeyrangefilter(tablename,query)；统计行数：rowcount(tablename,columnfamily)。本发明的上述技术方案的有益效果如下：上述的技术方案对提供一种基于hadoop+r语言平台的数据分析技术，能够提供数据存储接口给工业设备数据采集程序调用，把海量设备数据存入基于开源平台hadoop的hbase数据库系统，然后采用数据统计分析语言r来对海量数据进行统计分析，进行工业设备故障的预测，提出设备预防性维护的方案。附图说明图1是rhadoop基础架构图；图2是接口api、设备数据采集程序、hbase关系图；图3是设备数据的存储结构图；图4是预测分析组件架构图；图5是建立线性回归预测模型流程图；图6是线性回归预测分析流程图。具体实施方式为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本发明实施例提出了一种基于工业设备预测性维护的数据处理和分析方法，提供了一种基于hadoop+r语言平台的工业设备预测性维护分析技术，首先通过接口把海量的设备数据存入基于hadoop架构的存储平台，然后采用基于r语言的分析平台来进行预测分析；其中基于hadoop架构的存储平台和基于r语言的分析平台之间通过rhadoop连接。其中rhadoop是一款r语言和hadoop结合的产品，其架构说明见图1，它提供了rmr、rhdfs和rhbase三个基于r语言的功能包，可以通过r语言直接调用函数实现r语言平台与hadoop架构平台的连接。本发明实施例提出的基于工业设备预测性维护的数据处理方法利用了设备数据存储接口api和预测分析组件；其中：1.设备数据存储接口api为了实现设备数据能按预定格式存储到基于hadoop架构的存储平台的hbase数据库中，本发明实施例提出了一种设备数据存储接口api，使得设备采集程序能快速实现数据存储。设备数据存储接口api对hbase数据库操作方法进行封装，提供专用api库供设备数据采集程序调用，支持把海量设备数据存入hbase。设备数据存储接口api、设备数据采集程序、hbase数据库之间关系如图2所示的。在本发明实施例中，设备数据存储接口api采用java语言编写，以jar包的形式提供给设备数据采集程序调用，支持java编程语言，操作简单，很方便实现设备数据的存取工作。1.1设备数据存储结构定义hbase数据库是一个分布式、多版本、面向列的开源数据库，利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统，因此它特别适合存储设备数据。如图3所示的，为便于后期维护管理，本发明实施例中将每个设备采集的数据独立存储于不同的hbase表中。其中，每一个表的key值定义为“设备编码+部件编码+采集时间”；定义一个列族(deviceproperty)，设备数据存入该列族不同的列中，设备数据分为四类：基本信息、环境信息、状态信息和故障信息。其中基本信息包括设备名称、部件名称、设备操作人、数据采集时间等设备描述类信息；环境信息包括温度、湿度、粉尘等外部环境信息；状态信息跟具体的设备有关，比如冲压压力、位移、电机转速、电流、性能等影响设备运行的信息。这些信息是用于预测分析的主要信息；故障信息包含故障类别、故障描述等信息。1.2设备数据存储接口api的接口api库接口api库提供对hbase配置、权限、数据三种类型的接口，其中配置类接口包含hbase客户端环境配置方法、连接、断开方法等接口；权限类配置对hbase数据表根据不同权限授权，不允许非法访问；数据类接口主要是指对表的增删改查方法的封装，主要的数据类接口如下：(1)插入或修改记录：putcell(tablename,columnfamily,column,value)；(2)批量插入或修改记录：putcells(tablename,hbasecelllist)；(3)删除一条记录：deleterow(tablename,rowkey)；(4)批量删除记录：deleterows(tablename,rowkeylist)；(5)删除单元格：deletecell(tablename,columnfamily,column)；(6)按rowkey查询数据：querydata(tablename,rowkey)；(7)自定义查询条件：scanebyrowkeyrangefilter(tablename,query)；(8)统计行数：rowcount(tablename,columnfamily)；2.预测分析组件r语言是一款开源的、专业的统计分析软件，r语言是集数分析与图形可视化于一体的程序设计语言，主要用于统计分析、绘图、数据挖掘。预测分析组件采用r语言开发，运行在rhadoop环境中，组件内置多种预测算法，包括：线性回归、k-means聚类、决策树、神经网络和时间序列算法。组件根据设定的分析时间段，通过rhbase接口从hbase数据库载入相关数据，选取样本数据集建立预测分析模型并存入系统，供后续预测分析调用。预测性维护分析组件架构见图4。2.1预测分析模型定义预测分析组件主要提供以下分析算法：(1)线性回归：可用来预测设备数据在多长时间内达到阈值，从而引发故障。算法思想是：寻找属性与预测目标之间的线性关系，采用最小二乘法来获取各属性与预测目标的线性系数。线性回归建模命令：linearregression(tablename,columnsin,columnout)。(2)k-means聚类：用来预测设备数据在什么情况下会引发某种类型的故障。算法思想是：首先将各个聚类子集内的所有数据样本的均值作为该聚类的代表点，然后把每个数据点划分到最近的类别中，使得评价聚类性能的准则函数达到最优，从而使同一个类中的对象相似度较高，而不同类之间的对象的相似度较小。k-means建模命令：kmeans(tablename,columnsin)。(3)决策树：可根据设备运行时各状态参数情况，实时预测设备是否会引发某种类型的故障。算法思想是：通过对训练样本的学习，建立分类规则；依据分类规则，实现对新样本的分类。决策树建模命令：decisiontree(tablename,columnsin,columnout)(4)时间序列：可用来预测设备在什么时间范围内会引发某种类型的故障。算法思想是：观测变量的当前值，记录历史数据和历史上所受随机干扰因素，进而通过历史数据和历史上所受的扰动进行回归得到当前的观测变量的预测值。时间序列建模命令：timesequence(tablename,columnsin,columnout)。(5)神经网络：跟决策树类似，可根据设备运行时各状态参数情况，实时预测设备是否会引发某种类型的故障。算法由两部分组成：信息的正向传递与误差的反向传播。在正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果输出层没有得到期望输出，则计算输出层的误差变化值，然后反向传播，通过网络将误差信号沿原来的连接通路反传，修改各神经元的权值，直至达到期望目标。神经网络建模命令：neuralnetworks(tablename,columnsin,columnout)2.2预测模型算法实现预测模型算法的实现主要是r语言的mapreduce化，即将r程序分成map和reduce两个阶段，并通过mapreduce接口实现r结合hadoop对数据的并行化处理。以下以回归分析为例，说明算法的实现。回归分析是研究被解释变量(因变量)与解释变量(自变量)之间相互依赖的定量关系的一种统计分析方法，主要用来预测。例如应用回归分析来预测某一设备未来一周是否会出现故障，此为因变量；假设导致设备出现故障的的主要影响因素是电机的转速和温度，此为两个自变量，确定变量之间的关系如下：y＝a1x1+a2x2+β建立线性回归预测模型步骤见图5，具体步骤如下：(1)设置模型时间范围；(2)加载数据；(3)定义map阶段mapper1函数，计算xtx；(4)定义map阶段mapper2函数，计算xty；(5)定义reduce阶段sum.reduce函数，计算map阶段输出的总和；(6)运用mapreduce()调用mapper1和sum.reduce函数，计；(7)运用mapreduce()调用mapper2和sum.reduce函数，计；(8)计算回归系数值；(9)生成线性回归预测模型。其他预测模型实现与线性回归基本类似，在此不再赘述。2.3预测分析组件调用方式预测分析组件以命令行的形式提供给用户使用，命令执行成功后，把预测结果存入指定文本文件中。其执行流程是先判断是否已有对应预测模型，如果没有，则先建立算法模型，然后再进行预测分析。比如实现线性回归预测分析，调用过程见图6，调用步骤如下：(1)判断对应预测模型是否已经建立，如果已经建立直接进入第2步；如果没有建立则调用建立模型过程，然后转到第2步；(2)设定预测时间范围；(3)加载数据；(4)调用指定设备的预测模型；(5)计算阈值；(6)计算达到阈值需要的时间范围；(7)输出结果文件。具体的调用命令如下：设置模型时间范围命令setmodeltimerange(strarttime,endtime)；建立预测模型命令：linearregression('model','equipno1','tmperature,pressure,fault','tmperatureforecast,pressureforecast')；创建指定设备的线性回归预测模型，存入系统；判断是否有对应的预测模型：isexistmodel('equipno1','tmperature,pressure,fault','tmperatureforecast,pressureforecast')；设置预测时间范围命令setforecasttimerange(strarttime,endtime)；线性回归预测分析命令：linearregression('forecast','equipno1','tmperature,pressure,fault','tmperatureforecast,pressureforecast','/output/equipno1line.txt')，预测温度和压力的阈值及达到阈值的时间范围，并把结果存入equipno1line.txt文件中。其他预测分析调用方法与线性回归调用基本类似，在此不再赘述。以上所述是本发明的优选实施方式，应当指出，对于本
技术领域：
：的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。当前第1页1 2 3 当前第1页1 2 3