一种基于特种设备历史定期检验报告的预警方法及系统与流程

本发明属于数据挖掘与应用
技术领域：
，特别是涉及一种基于特种设备历史定期检验报告的预警方法及系统。
背景技术：
：随着经济的快速发展，人民的物质生活水平在不断地提高，为了满足人民生活需要，住宅、公司、商场等建筑物中的特种设备数量在不断地激增，然而随着时间的推移，设备频繁运行，维护不到位，使得设备逐渐老化，性能在不断下降，随时可能会发生意外事故，造成人员伤害和财产损失，引起社会广泛关注。因此，对特种设备的定期检验是至关重要的一个检测环节，准确并完整记录定期检验报告、并及时报告检验结果是检验人员的职责。定期检查时，不同批次、不同型号的产品等其它不同因素会产生不一样的检验结果，会消耗大量人力和物力，随着时间的推移，将会积累大量的数据资料，如果不加以利用这些资料数据，就会成为废数据、死数据，不能产生更深远和有意义的数据。通过数据挖掘与分析技术对特种设备的基本信息数据和历史定期检验报告中的检验数据进行挖掘，可以预测下次检验结果是否能通过，从而可以提前采取措施预防事故发生，维护社会稳定，减轻事故给人民健康和财产安全的带来的威胁，同时提高检测效率，形成更好的特种设备检测安全体系。技术实现要素：本发明的目的在于提供一种基于特种设备历史定期检验报告的预警方法及系统，通过数据挖掘与分析技术对特种设备的基本信息数据和历史定期检验报告中的检验数据进行挖掘，利用决策树分类算法建立故障预警模型，解决了现有的特种设备维护不到位、容易发生意外事故的问题。为解决上述技术问题，本发明是通过以下技术方案实现的：本发明为一种基于特种设备历史定期检验报告的预警方法，包括如下步骤：步骤s1：通过检验模板采集特种设备历次检验报告中的原始记录数据，获取设备历史检验记录数据，读取设备参数表获取设备基本信息数据；步骤s2：对获得的原始记录数据进行预处理操作，构建训练数据集、验证数据集和测试数据集宽表，获取分析数据；步骤s3：采用基于有监督的决策树分类算法建立特种设备定期检验报告故障预警模型；步骤s4：利用多种评估指标度量预警模型预测结果的准确性；步骤s5：模型部署并应用到实际生产和生活环境；步骤s6：反馈预警故障情况，并通知监察和维保单位进行检测和维修。优选地，所述步骤s1中，检验模板采集的原始记录数据为特种设备历次定期检验报告数据，对同一种设备进行检验时，至少需要采集过去几年内的检验数据。优选地，所述步骤s2中，数据预处理操作具体包括数据清洗单元、特征筛选单元和特征构造单元；所述数据预处理用于寻找有效字段构建训练集、验证集和测试集宽表。优选地，所述训练集和验证集宽表采用滑动窗口法建立宽表，即采用m-1、m、m+1三个相邻月的设备代码作为标签集，然后再与设备基本数据信息、设备检验记录数据进行关联，得到训练集、验证集、测试集宽表。优选地，所述步骤s4中，多种评估指标度量采用查准率、查全率和f1-score对故障预警模型进行优化。本发明为一种基于特种设备历史定期检验报告的预警系统，包括采集与预处理数据模块、挖掘与预警模块、模型部署与应用模块和反馈与监察模块；所述采集与预处理数据模块、挖掘与预警模块、模型部署与应用模块和反馈与监察模块依次连接；所述采集与预处理数据模块，用于通过检验模板读取检验报告，获得固定信息参数数据和检验相关数据，并对这些数据进行清洗、筛选和构造，进而得到可以使用且能进行分析的数据；所述挖掘与预警模块，用于构建训练数据集、验证数据集及测试数据集，采用有监督的决策树分类算法—lightgbm算法对训练数据集进行训练，再用验证数据集进行验证，采用查准率、查全率和f1-score指标对模型进行评估，最后预测测试数据集中的故障；所述反馈与监察模块：用于反馈预警故障情况，告知监察人员并提前进行检修；所述模型部署与应用模块，用于部署模型、应用到实际生产生活中，给生活带来更多便利和价值。本发明具有以下有益效果：(1)本发明通过检验模板采集特种设备历次检验报告中的原始记录数据，能够挖掘和分析出设备自身潜在的有用信息，提高检验部门的工作效率，确保社会人员的人身和财产安全。(2)本发明通过数据预处理的方法将检验报告中的数据转化为结构化、简单易懂的数据，利用特征筛选和特征构造方法，筛选和构建了具有价值意义且能进行分析的指标，便于后期进行建模，提高检测效率，避免耗费大量人力和物力。(3)本发明通过采用滑动窗口法构建训练数据集和验证数据集宽表，利用数据挖掘与分析中常见的有监督的决策树分类算法进行建模，采用多种度量方法评估建模效果，使模型更加适用于生产和实际生活中。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本发明的一种基于特种设备历史定期检验报告的预警方法步骤图；图2为本发明的一种基于特种设备历史定期检验报告的预警系统结构示意图；图3为本发明的特征集、标签集数据源构建图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。请参阅图1所示，本发明为一种基于特种设备历史定期检验报告的预警方法，包括如下步骤：步骤s1：通过检验模板采集特种设备历次检验报告中的原始记录数据，获取设备历史检验记录数据，读取设备参数表获取设备基本信息数据；步骤s2：对获得的原始记录数据进行预处理操作，构建训练数据集、验证数据集和测试数据集宽表，获取分析数据；步骤s3：采用基于有监督的决策树分类算法lightgbm算法建立特种设备定期检验报告故障预警模型；步骤s4：利用多种评估指标度量预警模型预测结果的准确性；步骤s5：模型部署并应用到实际生产和生活环境；步骤s6：反馈预警故障情况，并通知监察和维保单位进行检测和维修。其中，步骤s1中，由于设备基本信息数据指设备自带的属性，其值是唯一的，设备检验记录数据是动态变化的，每次检验都可能不同，所以检验模板采集的原始记录数据作为特种设备历次定期检验报告数据时，对同一种设备进行检验都至少需要采集过去几年内的检验数据，方便数据的预处理以及容易达到建模效果。设备基本信息数据和设备历史检验记录数据具体包含的字段如下表1和表2所示：字段名称字段编码设备代码sbdm字段值zdz设备类别sblb_mc设备品种sbpz_mc制造日期zzrq制造单位名称zzdw_mc使用单位名称sydw_mc设备使用地点sbszdd改造日期gzrq改造单位名称gzdw_mc维护保养单位名称wbdwmc额定载重量p30002004额定速度p30002003控制方式p30001001表1为设备基本信息数据表字段名称字段编码设备代码sbdm报告编号bgbh检验结论jyjl合格项数hg不合格项数bhg无此项wcx表2为设备历史检验记录数据表其中，步骤s2中，数据预处理操作具体包括数据清洗单元、特征筛选单元和特征构造单元；数据预处理用于寻找有效字段构建训练集、验证集和测试集宽表，使数据能够准确、规范；数据清洗单元一般包括检查数据一致性，处理异常值和重复值。i.针对数据一致性：检查有关于日期字段的数据一致性情况，如检验日期、制造日期、改造日期等字段形式和类型是否一致，不一致的转化为统一的格式；处理了额定载重量、额定速度等指标，将单位不一致的转为一致；ii.针对异常值，如控制方式字段值有#号字符、未检出等描述性结果，根据业务理解和字段特征，将他们填充为0、或者删除、者根据平均数、众数、中位数等方法填充；iii.针对重复值，如出现多个设备代码对应多个使用单位名称情况，则根据检验日期进行降序排序，取最新的一条记录。特征筛选单元是应用相关性分析，删除没有相关性特的字段特征，例如字段值为空值，或者字段值只有一种值，或者每个字段值都不一样。用于删除检验记录中字段值为空的记录，如删除维保单位名称、主要安全管理人员，检验人，检验项目中接地连接、电气绝缘等字段；特征构造单元一般用于构造设备基本信息数据表和设备历史检验记录数据表；①针对设备基本信息数据表：i.首先统计控制方式字段的值的分布情况，然后将其值清洗为常见的值，再对其进行one_hot操作；ii.对额定载重量、额定速度、设备品种、设备类别、设备使用地点进行one_hot操作；转换制造日期、改造日期格式，取其年份值构建设备制造年、改造年份字段，再对制造年份、改造年份字段进行one_hot操作；iii.对使用单位、改造单位、制造三个单位进行统计并排名，排名前150名的使用原有单位名称，150名之后的单位名称用其它代替，然后再进行one_hot操作；②针对设备历史检验记录数据表：i.每个设备中的检验项目包含很多不同的检验小项目和检验小结论，首先统计了这些检验项目中的合格项、不合格项、无此项的数量、然后再进行六项统计：最大值、最小值、平均值、标准差、计数和中位数；ii.统计了每个设备代码的历史检验次数。请参阅图3所示，训练集和验证集宽表采用滑动窗口法建立宽表，即采用m-1、m、m+1三个相邻月的设备代码作为标签集，然后再与设备基本数据信息、设备检验记录数据进行关联，得到训练集、验证集、测试集宽表。例如，当我们需要预测2019年5月的label是否合格时，应当提取设备检验日期在2019年3—4两个月检验的数据分别作为训练集和验证集，其检验结论作为label，具体过程如下：训练集宽表：取检验日期在3月的设备代码和label作为标签集，然后通过设备代码字段关联相关表，即关联设备基本信息数据表、设备历史检验记录数据表以及上述步骤拓展的指标字段，作为训练集；验证集宽表：取检验日期在4月的设备编码和label作为标签集，然后如同步骤训练集宽中所述进行关联作为验证集；测试集宽表：取检验日期在5月的设备编码，然后如同步骤训练集宽表中所述进行关联作为测试集；如下表3所示：字段名称字段编码设备代码sbdm检验结论jyjl表3为标签集表其中，步骤s3中，算法建模指先通过采用有监督的决策树分类算法lightgbm对训练集宽表进行训练得到故障预警模型，然后用验证集宽表对所得到的故障预警模型进行验证，验证集混淆矩阵如下表4所示：表4为验证集混淆矩阵其中，步骤s4中，多种评估指标度量采用查准率、查全率和f1-score对故障预警模型进行优化，从而得到最佳的模型，确保预测结果的准确性；在根据故障预警模型，输出对应结果：计算得到的查全率recall为：计算得到的查准率precision为：计算得到的f1-score为：从上述计算结果可以看出，针对特种设备检验结论的预测结果是可以接受的，而且从结果中也可以看出，通过本发明，针对性的调整预警模型的参数和构造字字段，能够准确判断模型的查准率、查全率f1-score的值，从而使模型的准确性更高。请参阅图2所示，本发明为一种基于特种设备历史定期检验报告的预警系统，包括采集与预处理数据模块、挖掘与预警模块、模型部署与应用模块和反馈与监察模块；采集与预处理数据模块、挖掘与预警模块、模型部署与应用模块和反馈与监察模块依次连接；采集与预处理数据模块，用于通过检验模板读取检验报告，获得固定信息参数数据和检验相关数据，并对这些数据进行清洗、筛选和构造，进而得到可以使用且能进行分析的数据；挖掘与预警模块，用于构建训练数据集、验证数据集及测试数据集，采用有监督的决策树分类算法—lightgbm算法对训练数据集进行训练，再用验证数据集进行验证，采用查准率、查全率和f1-score指标对模型进行评估，最后预测测试数据集中的故障；反馈与监察模块：用于反馈预警故障情况，告知监察人员并提前进行检修；模型部署与应用模块，用于部署模型、应用到实际生产生活中，给生活带来更多便利和价值。本发明经过大量数据实验验证表明：通过采集设备基本信息数据以及设备历史检验记录信息数据，使用数据预处理的方法将检验报告中的数据转化为结构化、简单易懂的数据，从而进行特征筛选和特征构造，根据构造的字段，设备基本信息数据和历史检验记录数据，采用滑动窗口法构建训练集、测试集和验证集数据宽表，利用有监督的决策树分类算法lightgbm进行建模，再通过多个指标进行度量和评估模型，从而在检验结果上获得了较高的准确率。值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属
技术领域：
技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。当前第1页1 2 3