基于MQTT的物联网大数据采集处理系统的制作方法

本发明涉及工业物联网大数据应用领域中一种基于mqtt协议数据传输采集处理的系统。

背景技术：

现有传感器数据传输基于mqtt的消息发布/订阅传输协议，该协议是轻量、简单、开放和易于实现，广泛应用于工业物联网数据传输。

现有传感器在产品质量出现问题后采用事后控制的原则进行检修、维护或更换，对工业生产带来很大的不利，如果能在产品出现故障前，通过大数据分析手段判断传感器故障，将对施工维护人员提供大大的便利，并利于传感器研发升级。

技术实现要素：

本发明的目的在于通过mqtt协议采集传感器数据，并通过大数据处理分析技术提供一种能保障产品质量的物联网大数据采集处理系统，其能在产品出现故障前，通过大数据分析，来判断传感器故障，做到事前预防及传感器产品研发升级。

本发明采用以下技术方案实现：传感器基于mqtt协议通过网络将数据发布至后台mqtt代理服务器，后台大数据处理软件通过向mqtt代理服务器订阅传感器数据，将接收到的数据通过校验、分析、处理等一系列环节后进行存储以及发布至消息中间件或进行显示供用户查看。

基于mqtt的物联网大数据采集处理系统通过订阅到的传感器数据，比较传感器类别、传感器唯一标识以及业务数据监测项来判断当前传感器数据是否合法。

基于mqtt的物联网大数据采集处理系统将合法的传感器实时业务数据与该传感器出厂时标定的数据量程进行比较，通过判断当前传感器数据传输是否存在超量程异常情况。

基于mqtt的物联网大数据采集处理系统将通过大数据处理技术，对传感器近期历史数据比较、聚类、分类等分析归纳，可得到该传感器数据传输趋势以及可对该传感器健康状态进行预测。

如果存在超量程异常以及所述大数据处理系统判断数据趋势存在异常或预测传感器将发生故障，则发出警告来提示这个传感器出现异常。

基于mqtt的物联网大数据采集处理系统，可以及时判断传感器数据是否存在异常或传感器是否故障，对不正常的传感器及时维修或更换，并对该传感器研发升级提供一定数据基础，可降低传感器异常故障带来的停工、停产风险，对传感器的数据及健康状态做到实时监控。

附图说明

图1为基于mqtt的物联网大数据采集处理系统业务数据合法性判断及超量程异常判断流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

原始数据接收：使用mqtt订阅主题的方式接收原始数据，传输协议报文结构如下：

主题：busidata/设备类型/设备编号。

荷载：

{

"time":"timevalue",

"data":[

{"keyname1":"keyvalue1","state":"value"},

{"keyname2":"keyvalue1","state":"value"},

{"keyname3":"keyvalue1","state":"value"}

……

]

}

其中timevalue表示发送时间，格式为"yyyy-mm-ddhh:mm:ss"；其中keyname表示监测项；state表示监测项值状态，分为正常(0)与报警(1)。

验证原始数据：验证字符串是否符合json格式,若不符合，将该条数据存储到原始数据错误表，错误类型为json错误；若符合，执行下一步；验证该设备是否已注册，依据当前系统设备信息验证该条原始数据所属设备是否已注册，若未注册，则将该条原始数据存储到原始数据错误表中，错误类型为设备未注册；若已注册，执行下一步。

验证上传数据监测项是否符合定义，依据当前系统设备类型信息验证该条原始数据中监测项是否符合该设备类型定义，若不一致，则将该条原始数据存储到原始数据错误表中，错误类型为监测项错误；若一致，执行下一步。

原始错误数据结构：id、主题、荷载、采集时间、错误类型等。

异常数据保存：依据设备管理微服务提供的设备信息验证该条原始数据是否超量程，如果超量程则将该条数据保存至异常数据表中，并将该条记录异常类型标记为超量程。执行下一步。

异常数据查询时间段不大于7天。支持按时间段分析以及按区域分析。

异常数据结构：id、设备编号、监测项、监测项值、异常类型、采集时间等。

实时数据保存：将解析后的数据保存至测点实时数据表中，测点实时表中如果有该测点记录则执行更新操作，否则执行新增操作；实时数据表中保证每条数据是最后一条数据（不一定是实时数据）。

测点：测点表示一个设备对应的一个监测项记录。

实时数据结构：id、设备编号、监测项、监测项值、值状态、上传时间、采集时间等。

历史数据保存：一种监测项对应一张历史数据表。根据监测项类型历史数据处理方式分为两种：模拟量、累积量：更新实时数据的同时在对应的监测项历史表中新增一条记录。

模拟量历史数据结构：id、设备编号、监测项值、值状态、上传时间、采集时间等。

开关量：开关量需要根据开关量值与状态保存为时间段的形式。当前开关量值与状态与上一条不一致时进行翻转，否则修改结束时间。

开关量历史数据结构：id、设备编号、监测项值、值状态、开始时刻（上传时间）、结束时刻（上传时间）等。

以上所述仅为本发明的较佳实施方案的描述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。并且很显然,根据上述指导,可以进行很多改变。对该实施方案进行选择和描述的目的在于解释本发明的特定原理及其实际应用,从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

技术特征：

1.基于mqtt的物联网大数据采集处理系统中传感器基于mqtt协议通过网络将数据发布至后台mqtt代理服务器，后台大数据处理软件订阅传感器数据，并将接收到的数据通过校验、分析、处理等一系列环节后进行存储以及发布至消息中间件或进行显示供用户查看。

2.基于mqtt的物联网大数据采集处理系统将订阅到的传感器数据通过比较传感器类别、传感器唯一标识以及业务数据监测项来判断当前传感器数据是否合法，其判断内容包括：

验证字符串是否符合json格式，若不符合，记录其错误类型；验证设备类型是否正确，该传感器设备类型是否是系统中已规定设备类型，若不符合，记录其错误类型；验证该设备是否已注册，依据当前系统设备信息验证该条原始数据所属设备是否已注册，若未注册，则记录其错误类型；验证上传数据监测项是否符合定义，依据当前系统提供的设备类型信息验证该条原始数据中监测项是否符合该设备类型定义，若不一致，则记录其错误类型。

3.基于mqtt的物联网大数据采集处理系统将合法的传感器实时业务数据与该传感器出厂时标定的数据量程进行比较，通过判断当前传感器数据传输是否存在超量程异常情况。

4.基于mqtt的物联网大数据采集处理系统通过大数据处理技术，对传感器近期历史数据比较、聚类、分类等分析归纳，可得到该传感器数据传输趋势以及可对该传感器健康状态进行预测，包括：通过对某传感器业务历史数据分析，能够得到将来一段时间内该传感器业务数据发展趋势图，并对该传感器数据进行预测、分析、统计，便于用户管理以及决策；

通过对某传感器健康数据分析，能够对该传感器健康状态进行预测，通过大数据分析手段判断传感器故障，将对施工维护人员提供大大的便利，并利于传感器研发升级。

5.基于mqtt的物联网大数据采集处理系统如果判断存在超量程异常以及所述大数据处理系统判断数据趋势存在异常或预测传感器将发生故障，则发出警告来提示这个传感器出现异常，采用多种方式实现报警，包括：系统内报警，通过在系统界面种弹出报警提示框或在系统界面消息闪烁的方式实现报警；通过声光报警器提示报警信息，当发生报警时，系统可驱动声光报警器工作，达到报警提示功能；系统异常时发送邮件报警，当发生报警时，能够自动发送邮件到相关人员；系统异常时发送短信报警，当发生报警时，能够自动发送短信信息到相关人员。

技术总结
本发明公开基于MQTT的物联网大数据采集处理系统，涉及工业物联网大数据应用领域中一种基于MQTT协议数据传输采集处理的系统，其通过MQTT协议采集传感器数据，并通过大数据处理分析技术提供一种能保障产品质量的物联网大数据采集处理系统，能在产品出现故障前，通过大数据分析，来判断传感器故障，做到事前预防及传感器产品研发升级。传感器基于MQTT协议通过网络将数据发布至后台MQTT代理服务器，后台大数据处理软件通过向MQTT代理服务器订阅传感器数据，将接收到的数据通过校验、分析、处理等一系列环节后进行存储以及发布至消息中间件或进行显示供用户查看。

技术研发人员：不公告发明人
受保护的技术使用者：山西博华科技有限公司
技术研发日：2020.03.04
技术公布日：2020.06.05