一种基于VPN的物联网云端设备数据采集系统的制作方法

一种基于vpn的物联网云端设备数据采集系统
技术领域
1.本发明涉及数据采集系统技术领域，尤其涉及一种基于vpn的物联网云端设备数据采集系统。


背景技术：

2.在全面升级工业4.0的背景下，打造基于物联网平台的智能工厂成为工厂升级改造的重点，传统的物联网接入设备是通过在工厂部署网关服务器，通过本地的服务器采集厂内设备将数据上传至物联网平台进行分析处理。然而，其中存在问题有：
3.1、本地服务器较云端服务器比不够稳定，受环境网络等因素影响较大，会影响数据采集；
4.2、本地服务器需要的维护成本比较高，需要专业的运维人员，一旦出现问题，需要人员在进入厂内处理；
5.3、数据采集软件系统迭代升级响应困难，数据采集系统的升级需要现场在服务器上处理，造成系统升级的滞后。


技术实现要素：

6.为了解决上述背景技术中所提到的技术问题，而提出的一种基于vpn的物联网云端设备数据采集系统。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于vpn的物联网云端设备数据采集系统，包括通信单元、数据采集单元、设备故障处理单元、数据采集预处理单元和产品质量预测分析单元，数据采集单元通过专用通信网络与工厂设备建立通信，定时采集工厂中的设备实时数据信息，采集上来的数据经过数据采集预处理单元进行处理之后上传至云端大数据分析平台，设备故障处理单元会对采集上来的数据做设备故障分析，实时反馈设备故障，云端大数据分析平台获取到数据之后，会对相应的数据进行设备产能分析、设备综合效率分析、产品质量预测、设备自定义数据的分析处理，产品质量预测分析单元的工作步骤如下：
9.s1、将当前数据输入model0中得到一组预测数据，得到预测质量与真实质量之间的残差,残差越大，代表模型的预测能力越弱；
10.s2、构建模型model1去预测步骤s1的样本，目标值为步骤s1中的残差，得到新的残差；
11.s3、构建模型model2去预测步骤s2的样本，目标值为model1预测的结果残差；
12.s4、重复步骤s3，直到模型的精确性达到要求；
13.所述步骤s1中构建模型的具体步骤如下：
14.s11、构建目标函数
15.假设已训练k棵决策树，则
[0016][0017]
其中fk为第k个决策树，xi为预测样本，为最终预测值，构造的目标函数如下：
[0018][0019]
s12、迭代训练模型
[0020]
在迭代过程中，损失函数是由多个决策树共同参与，不断迭代得到的，递推训练的过程如下：
[0021][0022]
根据上述推导，可将s11中的公式简化为：
[0023][0024]
s13、用泰勒级数近似代替目标函数
[0025]
根据泰勒展开式：
[0026][0027]
对s12中得到的目标函数进行泰勒展开，得到如下公式：
[0028]
[0029]
s14、构建树和确定树的复杂度
[0030]
定义一颗树q为其中，w是长度为t的一维向量，代表树各个叶子结点的权重，定义树q的复杂度由叶子结点和所有结点权重所组成的向量l2范数共同决定，公式如下：
[0031][0032]
将术语第j个结点的样本x划入到一个叶子结点的样本集合中，它的数学表示为：
[0033]
i＝{i|q(xi)＝j}
[0034]
上式即为第j个叶子结点的样本集合，由此，得到最终目标函数为：
[0035][0036]
s15、最终目标函数求极值
[0037]
对s14中得到的目标函数进行求导，求极值：
[0038][0039]
令可以得到：
[0040][0041]
作为上述技术方案的进一步描述：
[0042]
还包括设备自定义数据分析单元，所述设备自定义数据分析单元的分析算法步骤如下：
[0043]
s1、k-近邻算法
[0044]
k-近邻算法主要是将采集得到的数据进行分类，主要用于产品质量和参数分析，分析获得不合格产品时参数的情况，算法主要根据不同特征值和数据集之间的距离来进行分类，其公式如下：
[0045][0046]
s2、岭回归
[0047]
岭回归是加了二阶正则项的最小二乘，主要适用于过拟合严重或各变量之间存在
多重共线性的情况：
[0048]
最小二乘法公式：
[0049]
岭回归增加二阶正则项：
[0050]
s3、logistics回归
[0051]
对采集的数据进行回归分析，logistics回归算法会根据现有数据对分类边界线建立回归公式，找到最佳拟合参数集，其中，
[0052]
预测函数为：
[0053]
cost函数为：
[0054]
根据梯度下降法求j(θ)的最小值：
[0055][0056]
logistics回归算法首先选取一个预测函数，用来预测输入数据的判断结果，然后选取一个损失函数，该函数表示预测的输出(h)与训练数据类别(y)之间的偏差，可以是二者之间的差(h-y)或者是其他的形式，综合考虑所有训练数据的“损失”，将cost求和或者求平均，记为j(θ)函数，表示所有训练数据预测值与实际类别的偏差，显然，j(θ)函数的值越小表示预测函数越准确(即h 函数越准确)，所以这一步需要做的是找到j(θ)函数的最小值，通过梯度下降获取j(θ)最小值。logistics回归算法适用于数据量大，不要求预测精度高的一些参数分析，其消耗的算力少，速度快。
[0057]
作为上述技术方案的进一步描述：
[0058]
所述通信单元内置支持http、mqtt、modbus、opc、opcua通信协议，可支持配置rpc等定制化协议，可采集的设备类型有基于串口通讯的plc控制的非标自动化设备，基于网口(串口)通讯的数控系统，基于标准的opc协议通讯的自动化设备。
[0059]
作为上述技术方案的进一步描述：
[0060]
所述数据采集单元通过通信单元与设备建立通信，根据协议对网口信息、串口信息进行解析，获取设备的实时数据信息，生产数据采集单元根据预设的频率获取设备的运行，将采集的数据流转到设备故障处理单元和数据采集预处理单元进行处理。
[0061]
作为上述技术方案的进一步描述：
[0062]
包括设备故障处理单元，所述设备故障处理单元对采集上来的数据中设备运行状态和报警信息进行实时分析处理，分析系统当前状态，对于可能出现的故障进行记录和上报，并产生警报。
[0063]
作为上述技术方案的进一步描述：
[0064]
还包括数据采集预处理单元，所述数据采集预处理单元的工作步骤如下：
[0065]
s1、元数据处理
[0066]
根据不同类型数据采取不通处理策略，对采集上传的数据缺失值处理,具体的策略如下：
[0067]
a.采集频率高、重要性高：删除本次采集数据，待下次采集后进行上传，防止错误数据污染关键性数据。记录最后一次错误时间，对数据错误出现频率进行统计，作为故障分析模块的参考指标。
[0068]
b.采集频率高、重要性低：作为垃圾数据丢弃，待下次采集；
[0069]
c.采集频率低、重要性高：等待短暂时间之后主动发起二次采集请求，对于错误数据和时间上传服务器进行记录，作为故障分析模块的参考指标；
[0070]
d.采集频率低、重要性低：根据一段时间内数据的计算值，均值、中位数和众数等统计学方法，对缺失值进行填充；
[0071]
s2、附加信息的填充,对设备采集的原始数据增加标签信息；
[0072]
s3、数据格式归一化，对设备采集的原始数据做归一化处理，统一数据结构格式。
[0073]
作为上述技术方案的进一步描述：
[0074]
包括设备产能分析单元、设备数据采集单元和产能分析单元；
[0075]
所述设备产能分析单元作用是优化工厂的生产过程和合理的制订工程的排产计划；
[0076]
所述设备数据采集单元通过其通信单元将采集的数据推送到云端大数据处理平台；
[0077]
所述产能分析单元获取设备数据中的运转时间和产量数据，根据系统预设的一系列公式计算得到产品的标准工时并记录数据库，工厂执行排产计划时，根据产品标准工时可以准确预测交货时间。
[0078]
作为上述技术方案的进一步描述：
[0079]
还包括设备综合效率分析单元，所述设备综合效率分析单元帮助企业持续改善设备生产绩效的重要指标，帮助管理者评估设备产能，发现和减少生产中的损失。
[0080]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0081]
1、本发明中，通过部署在云端服务器中由于灾备等措施可以保证服务器的稳定运行，采集软件在云端部署使得软件的运维由线下转到云上，大大降低了厂家运维的成本，专业的运维人员可以在云端同时管理多个工厂的数据采集软件。
[0082]
2、本发明中，云端的采集软件通过同意的版本控制，可以及时的更新迭代，由于云端的操作系统和软件环境统一，数据采集软件的开发可以专注在效率和功能上，不需要考虑系统兼容性问题。
[0083]
3、本发明中，通过实时的云端数据采集，远程动态监控，大数据后台智能决策等手段，再通过网页将数据分析的结果可视化的展示，形成制造过程透明化，降低制造成本、提高生产效率，具有高度的智能性和集成性。
附图说明
[0084]
图1示出了根据本发明实施例提供的一种基于vpn的物联网云端设备数据采集系统的通信网络搭建方案的结构示意图；
[0085]
图2示出了根据本发明实施例提供的一种基于vpn的物联网云端设备数据采集系
统的模块结构示意图；
[0086]
图3示出了根据本发明实施例提供的一种基于vpn的物联网云端设备数据采集系统的流程示意图。
具体实施方式
[0087]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0088]
实施例
[0089]
全面推进是是制造强国的战略是我国工业领域发展的方向，加快工厂升级改造，打造智能化工厂成为工业发展的重中之重。而工厂设备的数据采集则是智能化工厂的基石。通过部署在工厂的网络将设备的数据信息采集上传至大数据平台，进行分析和建模，挖掘相关的细节，进而提高和优化工厂的生产效率，实现智能工厂。在工厂的生产运作过程中，生产设备的自动化数据采集可以及时捕捉生产过程的第一手信息，能耗监控设备的数据采集可以获得企业的能耗和环保的数据，在各类设备数据综合的分析下，提高生产效率和降低能耗、环境污染可以整合成一个问题进行处理，从而改善生产制造过程，大大提升工厂效率和降低环境污染。
[0090]
现有的工厂数据采集，往往通过部署在工厂的软件系统采集设备的生产的数据，进行本地化的数据处理和展示或是上传至数据处理平台进行处理。这种方式对企业的本地化服务器的软件以及硬件维护提出很高的要求，造成企业的运营成本的增加。同时现有物联网平台，对于一线生产数据的自动化采集、统计、分析和反馈已经是一个完整的闭环路线。云端大数据的分析结果会随时对生产过程中的数据采集提出新的要求。现有的数据采集软件的由于部署在工厂，升级往往具有滞后性，无法及时响应云端的要求。
[0091]
请参阅图1-3，本发明是一种用于动态采集分析反馈于一体工厂设备的数据采集方案，共分为三个模块，包括专有通信网络搭建方案、设备数据采集软件、大数据智能分析处理。
[0092]
专有通信网络搭建方案包括联网设备和vpn专用通信隧道搭建。采集软件包括通信单元、生产数据采集单元、设备故障处理单元、数据采集预处理单元。大数据智能分析处理包括设备产能分析单元、设备综合效率(oee)和效率损失分析单元、设备自定义数据分析单元、产品质量预测系统分析单元。
[0093]
通信单元内置支持http、mqtt、modbus、opc、opcua通信协议，可支持配置rpc等定制化协议，可采集的设备类型有基于串口通讯的plc控制的非标自动化设备，基于网口(串口)通讯的数控系统，基于标准的opc协议通讯的自动化设备，基于串口的监控采集设备，智能电表系统、温度传感系统等设备。
[0094]
数据采集单元
[0095]
通过通信单元与设备建立通信，根据协议对网口信息、串口信息进行解析，获取设备的实时数据信息。生产数据采集单元根据预设的频率获取设备的运行，将采集的数据流转到设备故障处理单元和数据采集预处理单元进行处理。
[0096]
设备故障处理单元
[0097]
该单元对采集上来的数据中设备运行状态和报警信息进行实时分析处理，分析系统当前状态，对于可能出现的故障进行记录和上报，并产生警报。
[0098]
数据采集预处理单元
[0099]
步骤一、元数据处理。根据不同类型数据采取不通处理策略，对采集上传的数据缺失值处理，具体的策略如下：
[0100]
采集频率高、重要性高：删除本次采集数据，待下次采集后进行上传，防止错误数据污染关键性数据。记录最后一次错误时间，对数据错误出现频率进行统计，作为故障分析模块的参考指标。
[0101]
采集频率高、重要性低：作为垃圾数据丢弃，待下次采集。
[0102]
采集频率低、重要性高：等待短暂时间之后主动发起二次采集请求。对于错误数据和时间上传服务器进行记录，作为故障分析模块的参考指标。
[0103]
采集频率低、重要性低：根据一段时间内数据的计算值，均值、中位数和众数等统计学方法，对缺失值进行填充。
[0104]
步骤二、附加信息的填充，对设备采集的原始数据增加标签信息，如时间戳、设备id和一些标记信息。
[0105]
步骤三、数据格式归一化。对设备采集的原始数据做归一化处理，统一数据结构格式。
[0106]
大数据智能分析处理
[0107]
大数据智能分析处理模块包括设备产能分析单元、设备综合效率(oee)单元、设备自定义数据分析单元、产品质量预测分析单元。
[0108]
设备产能分析单元
[0109]
产能分析单元主要作用是优化工厂的生产过程和合理的制订工程的排产计划。设备数据采集软件通过其通信单元将采集的数据推送到云端大数据处理平台。产能分析单元获取设备数据中的运转时间和产量数据，根据系统预设的一系列公式计算得到产品的标准工时并记录数据库。工厂执行排产计划时，根据产品标准工时可以准确预测交货时间。以下以流水线机械作业为例，介绍产能分析单元计算产品标准工时的过程。
[0110]
标准工时(st)＝上料传送时间(tt)+机械作业时间(mt)+宽放时间(at)
[0111]
上料传送时间：料放上传送带开始到物料进入机场加工的时间。通过传送带的感应器可以记录设备上传送带的时间t1和出传送带的时间t2，t2-t1就是上料传送时间。
[0112]
机械作业时间：物料进入机床进行加工的时间。从进入机床加工的时间t1 到加工完成停止作业时间t2，t2-t1就是机床的机械作业时间。
[0113]
宽放时间：是指产品完成当前工序之后到下一个工序之间的滞留时间
[0114]
假设此时有一批待生产产品p，数量为n，则该批次产品的总计时长为：
[0115]
t
总
＝n*(tt+mt+at)
[0116]
该批次产品的最终生产合格率为e，则该产品的标准工时为：
[0117][0118]
对于产品p的标准工时st会记录到产品数据库中。当有新的一批产品p生产加工之
后，我们根据数据采集的结果计算出当前批次标准工时为st1，此时我们更新：
[0119][0120]
其中k为影响系数，一般设为0.5。
[0121]
设备综合效率(oee)分析单元
[0122]
oee是帮助企业持续改善设备生产绩效的重要指标，帮助管理者评估设备产能，发现和减少生产中的损失。oee用来表现实际的生产能力相对于理论产能的比率，为了计算oee，首先定义设备的可用性、表现性和质量指数三个概念。其中可用性用来考虑停工所带来的损失，包括引起计划生产发生停工的任何事件，如设备故障，原料短缺以及生产方法的改变等。其定义如下：
[0123]
可用性＝实际生产实际/计划生产时间
[0124]
表现性考虑生产速度上的损失。包括任何导致生产不能以最大速度运行的因素，如设备的磨损，材料的不合格以及操作人员的失误。其定义如下：
[0125]
表现性＝净生产时间/实际生产时间
[0126]
质量指数用来评价质量的损失，反映没有满足质量要求的产品：
[0127]
质量指数＝合格品/总产量
[0128]
设备综合效率和效率损失分析单元根据数据采集软件推送上来的数据，通过上述公式计算得到可用性、表现性和质量指数，再根据oee的计算公式得到设备的综合效率。
[0129]
oee＝可用性*表现性*质量指数
[0130]
设备自定义数据分析单元
[0131]
对于软件采集获取不同类型数据，自定义数据分析单元可以选用不同的处理算法。本单元内置的数据分析算法包括如下：
[0132]
k-近邻算法
[0133]
k-近邻算法主要是将采集得到的数据进行分类，主要用于产品质量和参数分析，分析获得不合格产品时参数的情况，算法主要根据不同特征值和数据集之间的距离来进行分类。其公式如下：
[0134][0135]
k近邻算法的优点是精度高、对异常值不敏感、无数据输入假定，适用于数据范围为数值型和标称型的采集数据。
[0136]
岭回归
[0137]
传统方式对于采集数据的拟合分析主要使用最小二乘法，由于样本的问题会存在过拟合的现象。岭回归是加了二阶正则项(lambda*i)的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。(bias:指的是模型在样本上的输出与真实值的误差；variance：指的是每个模型的输出结果与所有模型平均值(期望)之间的误差)。
[0138]
最小二乘法公式：
[0139]
岭回归增加二阶正则项：
[0140]
采用了岭回归算法参数趋势分析可以去掉过多的不重要参数，使得模型更好的匹配采集数据集，提高预测效果。同时，岭回归增加了二阶正则项，减少了过拟合或各变量之间存在多重共线性的场景导致的预测误差增大。
[0141]
logistics回归
[0142]
对采集的数据进行回归分析，logistics回归算法会根据现有数据对分类边界线建立回归公式，找到最佳拟合参数集。其中，
[0143]
预测函数(式1)：
[0144]
cost函数(式2)：
[0145]
根据梯度下降法求j(θ)的最小值
[0146][0147]
logistics回归算法首先选取一个预测函数(式1)，它用来预测输入数据的判断结果。然后选取一个损失函数(式2)，该函数表示预测的输出(h)与训练数据类别(y)之间的偏差，可以是二者之间的差(h-y)或者是其他的形式。综合考虑所有训练数据的“损失”，将cost求和或者求平均，记为j(θ)函数，表示所有训练数据预测值与实际类别的偏差。显然，j(θ)函数的值越小表示预测函数越准确(即h函数越准确)，所以这一步需要做的是找到j(θ)函数的最小值，通过梯度下降获取j(θ)最小值。logistics回归算法适用于数据量大，不要求预测精度高的一些参数分析，其消耗的算力少，速度快。
[0148]
产品质量预测分析单元
[0149]
产品质量预测分析单元提出了一种基于xgboost的质量预测分析方法。较传统的质量分析算法相比，xgboost每一次迭代结果都是根据上一次迭代的预测结果对样本进行加权，所以随着迭代不断进行，误差会越来越小，所以模型的误差会不断降低。因此对于工程生产过程中的工艺流程改进，xgboost构造的模型能够很好的适应。我们基于历史数据使用xgboost训练出来的模型model0，同时使用最新采集的数据导入模型进行训练，和历史模型预测结果加权处理，不断迭代，得到预测准确度较高结果。其步骤如下：
[0150]
步骤一、将当前数据输入model0中得到一组预测数据，得到预测质量与真实质量之间的残差。残差越大，代表模型的预测能力越弱。
[0151]
步骤二、构建模型model1去预测步骤一中的样本，目标值为步骤一中的残差，得到新的残差。
[0152]
步骤三、构建模型model2去预测步骤二中的样本，目标值为model1预测的结果残差。步骤四：重复步骤三，直到模型的精确性达到要求。
[0153]
对于步骤一中的构建模型，其数学表达主要分为以下四个方面：
[0154]
构建目标函数
[0155]
根据上述步骤，假设我们已经训练了k棵决策树，则
[0156][0157]
其中fk为第k个决策树，xi为预测样本，为最终预测值。我们构造的目标函数如下：
[0158][0159]
迭代训练模型
[0160]
右式的第一项是损失值，第二项是正则项。在迭代过程中，损失函数是由多个决策树共同参与，不断迭代得到的。递推训练的过程如下：
[0161][0162][0163]
根据上述的推导，我们可以将1中的公式简化为：
[0164][0165]
用泰勒级数近似代替目标函数
[0166]
根据泰勒展开式：
[0167][0168]
我们对2中得到的目标函数进行泰勒展开，得到如下公式：
[0169][0170]
构建树和确定树的复杂度
[0171]
定义一颗树q为其中，w是长度为t的一维向量，代表树各个叶子结点的权重。定义树q的复杂度由叶子结点和所有结点权重所组成的向量l2范数共同决定，公式如下：
[0172][0173]
我们将术语第j个结点的样本x划入到一个叶子结点的样本集合中，它的数学表示为：
[0174]
i＝{i|q(xi)＝j}
[0175]
上式即为第j个叶子结点的样本集合。由此，得到最终目标函数
[0176][0177]
最终目标函数求极值
[0178]
对4中得到的目标函数进行求导，求极值：
[0179][0180]
令可以得到：
[0181][0182]
由上式可知，目标值越小，整个树的结构也就越优，模型的精确度也就越高。
[0183]
数据采集单元通过专用通信网络与工厂设备建立通信，定时采集工厂中的设备实时数据信息，采集上来的数据经过数据采集预处理单元进行处理之后上传至云端大数据分析平台，同时，所述设备故障处理单元会对采集上来的数据做设备故障分析，实时反馈设备故障。云端大数据分析平台获取到数据之后，会对相应的数据进行设备产能分析、设备综合效率分析、产品质量预测、设备自定义数据的分析处理。云端大数据分析的结果通过网页、app多个终端进行展示。
[0184]
该方案通过pptd、l2tp等vpn技术将工厂设备接入同一个网络内，然后通过部署在云端服务器上的设备数据采集软件采集工厂设备信息，上传至物联网平台进行数据分析，无需在工厂内部署任何数据采集软件。该方案的提出解决了传统方案的几大痛点。
[0185]
1、部署在云端服务器中由于灾备等措施可以保证服务器的稳定运行。
[0186]
2、采集软件在云端部署使得软件的运维由线下转到云上，大大降低了厂家运维的成本，专业的运维人员可以在云端同时管理多个工厂的数据采集软件。
[0187]
3、云端的采集软件通过同意的版本控制，可以及时的更新迭代。
[0188]
4、由于云端的操作系统和软件环境统一，数据采集软件的开发可以专注在效率和功能上，不需要考虑系统兼容性问题。
[0189]
5、云端的大数据分析平台使用人工智能算法对数据进行实时处理，在生产加工过程中实时、快速、准确地检测识别其中的故障，实时反映工厂的关键指标。
[0190]
6、本方案通过实时的云端数据采集，远程动态监控，大数据后台智能决策等手段，再通过网页将数据分析的结果可视化的展示，形成制造过程透明化，降低制造成本、提高生产效率，具有高度的智能性和集成性。
[0191]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。