基于lstm神经网络的户外广告在线倒塌预测方法
技术领域
[0001]
本发明涉及计算机技术、人工智能在故障检测领域的应用，具体涉及一种基于lstm神经网络的户外广告在线倒塌预测方法。
背景技术：
[0002]
户外广告是在建筑物外表或街道、广场等室外公共场所设立的霓虹灯、户外广告、海报等。户外广告是面向所有的公众，所以比较难以选择具体目标对象，但是户外广告可以在固定的地点长时期地展示企业的形象及品牌，因而对于提高企业和品牌的知名度是很有效的。
[0003]
由于户外广告所处位置均具有一定的高度，如果户外广告的安安装或在使用过程中出现问题，例如螺钉锈蚀、支架断裂等因素导致户外广告倒塌，这样容易引发行人的安全事故。然而，由于户外广告的结构和安装方式不尽相同，无法使用统一的模型来描述所有户外广告的振动情况。而对每个户外广告进行建模又是不切实际的。
[0004]
目前已有的户外广告倒塌预测技术，通常通过采集传感器数据，使用确定的算法对户外广告状态进行预测，此方法无法适应不同环境中的户外广告，泛化能力较差，并且准确率较低，容易出现异常状态的误报或不报。还有一类技术采用机器视觉方法检测户外广告状态，此类方法仅能检测视觉上的异常状况，通常无法对户外广告倒塌进行准确预测，而且此方法受到环境中的干扰噪声也比较大，容易出现误报。
[0005]
户外广告的安全可靠，影响着人民群众生命和财产的安全，因此户外广告的安全监测是一个亟需解决的重要问题。
技术实现要素：
[0006]
本发明提供一种基于lstm神经网络的户外广告在线倒塌预测方法，本发明可全天候在线异常检测。
[0007]
基于lstm神经网络的户外广告在线倒塌预测方法，包括以下步骤：
[0008]
s1，采集环境数据和振动数据；
[0009]
s2，对采集的数据进行归一化处理；
[0010]
s3，利用安装初期正常情况下的数据进行训练，通过lstm神经网络将环境数据，映射户外广告环境与振动数据的非线性关系，将拟合结果与实际数据比较，学习户外广告在风力作用下的震动模式，本步骤中使用的lstm神经网络结合了lstm层和全连接层，其中，lstm层用于提取序列数据特征，全连接层融合序列特征并改变输出数据的形状；
[0011]
s4，基于s3的训练结果对户外广告进行长期在线检测，判断户外广告的异常。
[0012]
进一步地，在s1中，通过安装在户外广告上的风速、风向、三轴加速度传感器采集数据，如果各传感器采样率不同，则去除采样率较高序列的部分数据使得所有数据序列均具有相同的采样率和采样时间。
[0013]
进一步地，所述s3中的训练过程如下：
[0014]
s31:构造训练和测试样本，将风速、风向传感器数据作为样本的输入，三轴加速度数据作为样本的输出数据，得到带标签的样本，并随机将样本数据按比例分为训练集和测试集；
[0015]
s32:构造用于训练和检测的lstm神经网络，网络结构至少包含2个lstm层和2个全连接层，其中，最后一层全连接层作为输出层，lstm神经网络的输出为预测的三轴加速度数据序列；
[0016]
s33:使用训练集样本数据训练lstm神经网络，通过损失函数表达预测的三轴加速度数据与实际测得的三轴加速度数据的误差，在训练集上重复进行多轮训练，直到lstm神经网络在测试集上的误差不再降低或到达最大训练轮数时停止；
[0017]
s34:确定网络阈值和检测策略，根据训练结束时的网络模型参数，计算训练集上各样本误差的统计特征，并确定异常检测策略，策略根据最近若干个样本的三轴加速度预测数据序列的误差进行判断，输出的检测结果为正常或异常，如果输出的检测结果为异常，则表示户外广告具有较高的倒塌风险。
[0018]
进一步地，在s32中，第一个lstm层的输入维度为2，输出维度为64；第二个lstm层输入维度为64，输出维度为1，输入序列通过全部2层lstm后得到长度为300的向量，然后输出到下一层。
[0019]
进一步地，在s32中，每个lstm层计算公式如下：
[0020]
y＝lstm
forward
(x)
[0021]
其中y为lstm层输出序列；x为输入序列；lstm
forward
为lstm神经元函数，计算步骤如下：
[0022]
i
t
＝σ(w
xi
x
t
+w
hi
h
t-1
+w
ct
c
t-1
+b
i
)
[0023]
f
t
＝σ(w
xf
x
t
+w
hf
h
t-1
+w
of
c
t-1
+b
f
)
[0024]
c
t
＝f
t
c
t-1
+i
t
tanh(w
xc
x
t
+w
hc
h
t-1
+b
c
)
[0025]
o
t
＝σ(w
xo
x
t
+w
ho
h
t-1
+w
co
c
t
+b
o
)
[0026]
y
t
＝h
t
＝υ
t
tanh(c
t
)
[0027]
上面的公式中，i
t
为输入门；σ为sigmoid函数；w
xi
为输入门中输入的权重矩阵，x
t
为输入向量；w
hi
为输入门中细胞输出的权重矩阵，w
ci
为输入门中细胞状态的权重矩阵，b
i
为输入门的偏置向量；
[0028]
f
t
为遗忘门，w
xf
为遗忘门中输入的权重矩阵，w
hf
为遗忘门中细胞输出的权重矩阵，w
cf
为遗忘门中细胞状态的权重矩阵，b
f
为遗忘门的偏置向量；
[0029]
c
t
为细胞状态；tanh为双曲正切函数，w
xc
为细胞状态中输入的权重矩阵，w
hc
为细胞状态中细胞输出的权重矩阵，b
c
为细胞状态的偏置向量；
[0030]
o
t
为输出门，w
xo
为输出门中输入的权重矩阵，w
ho
为输出门中细胞输出的权重矩阵，w
co
为输出门中细胞状态的权重矩阵，b
o
为输出门的偏置向量；
[0031]
y
t
为输出向量；h
t
为细胞输出，t表示为时间序列。
[0032]
进一步地，在s32中，第一个全连接层节点数为128；第二个全连接层作为输出层，节点数量为3，全连接层均采用激活函数计算，计算公式如下：
[0033]
[0034]
其中，p
t
为全连接层神经元的输出，y
t
为神经网络上一层的输出向量，i为上一层输出向量的维度，w
t
为权重，b
t
为偏置，σ为sigmoid函数。
[0035]
进一步地，在s33中，损失函数采用所有输出数据的均方根误差，公式如下所示：
[0036][0037]
其中，y
ij
为样本输出数据第i轴加速度时间序列的第j个数据；p
ij
为网络预测的第i轴加速度时间序列的第j个数据；n为样本的序列长度，等于每个样本的采样数量。
[0038]
进一步地，在s34中，根据训练结束时的网络参数，计算训练集样本的误差阈值δ，所述误差阈值δ为可覆盖90％以上的测试样本误差的最小值，计算公式如下：
[0039][0040]
其中n
δ
为测试集中网络误差小于阈值δ的样本数量，n为测试集样本总数。
[0041]
进一步地，所述的在线检测阶段包括以下步骤：
[0042]
s41:构造检测样本，通过传感器采集数据，并进行与s3相同的处理，得到新的检测样本；
[0043]
s42:输出预测结果，将检测样本的输入数据通过所述lstm网络，得到预测的三轴加速度数据序列，依据上述异常预测策略进行判断并输出预测结果；
[0044]
s43:重复s42。
[0045]
进一步地，在s42中，计算每个样本的网络误差，当连续多个样本的网络误差均超过误差阈值，或24小时内累计有多个样本的网络误差超过误差阈值，则输出户外广告状态为异常，否则输出状态为正常。
[0046]
本发明的有益效果：本发明针对现有技术无法准确预测广告牌倒塌的缺点，利用传感器采集的风速、风向、广告牌振动加速度数据，使用lstm神经网络挖掘了风力作用与广告牌振动在时间上的特征，通过异常的振动特征预测广告牌倒塌，大大提高了准确性和可靠性，可长时间在线检测广告牌的异常情况。
具体实施方式
[0047]
基于lstm神经网络的户外广告在线倒塌预测方法，包括以下步骤：
[0048]
s1，采集环境数据和振动数据。优先通过安装在户外广告上的风速、风向、三轴加速度传感器采集数据，如果各传感器采样率不同，则去除采样率较高序列的部分数据使得所有数据序列均具有相同的采样率和采样时间。
[0049]
s1中，在广告牌安装或检修后的一段时间内，通过安装在广告牌上的风速、风向、三轴加速度传感器采集数据。采样率均为10hz。通过数据处理，构建样本。每个样本的采样时间为30s，共计需要采集3000个样本；样本输入包含300
×
5＝1500个数据。
[0050]
s2，对采集的数据进行归一化处理；将原始数据除以各传感器的最大输出值，即所有数据都在[0,1]范围内。在s2中，随机地选取2000个样本数据作为训练集，其余1000个样本作为测试集。
[0051]
s3，利用安装初期正常情况下的数据进行训练，通过lstm神经网络将环境数据，映
射户外广告环境与振动数据的非线性关系，将拟合结果与实际数据比较，学习户外广告在风力作用下的震动模式，本步骤中使用的lstm神经网络结合了lstm层和全连接层，其中，lstm层用于提取序列数据特征，全连接层融合序列特征并改变输出数据的形状。所述s3中的训练过程如下：
[0052]
s31:构造训练和测试样本，将风速、风向传感器数据作为样本的输入，三轴加速度数据作为样本的输出数据，得到带标签的样本，并随机将样本数据按比例分为训练集和测试集；
[0053]
s32:构造用于训练和检测的lstm神经网络，网络结构至少包含2个lstm层和2个全连接层，其中，最后一层全连接层作为输出层，lstm神经网络的输出为预测的三轴加速度数据序列。其中：
[0054]
在s32中，第一个lstm层的输入维度为2，输出维度为64；第二个lstm层输入维度为64，输出维度为1，输入序列通过全部2层lstm后得到长度为300的向量，然后输出到下一层。
[0055]
在s32中，每个lstm层计算公式如下：
[0056]
y＝lstm
forward
(x)
[0057]
其中y为lstm层输出序列；x为输入序列；lstm
forward
为lstm神经元函数，计算步骤如下：
[0058]
i
t
＝σ(w
xi
x
t
+w
hi
h
t-1
+w
ci
c
t-1
+b
i
)
[0059]
f
t
＝σ(w
xf
x
t
+w
hf
h
t-1
+w
of
c
t-1
+b
f
)
[0060]
c
t
＝f
t
c
t-1
+i
t
tanh(w
xo
x
t
+w
ho
h
t-1
+b
o
)
[0061]
o
t
＝σ(w
xo
x
t
+w
ho
h
t-1
+w
co
c
t
+b
o
)
[0062]
y
t
＝h
t
＝o
t
tanh(c
t
)
[0063]
上面的公式中，i
t
为输入门；σ为sigmoid函数；w
xi
为输入门中输入的权重矩阵，x
t
为输入向量；w
hi
为输入门中细胞输出的权重矩阵，w
ci
为输入门中细胞状态的权重矩阵，b
i
为输入门的偏置向量；f
t
为遗忘门，w
xf
为遗忘门中输入的权重矩阵，w
hf
为遗忘门中细胞输出的权重矩阵，w
cf
为遗忘门中细胞状态的权重矩阵，b
f
为遗忘门的偏置向量；
[0064]
c
t
为细胞状态；tanh为双曲正切函数，w
xc
为细胞状态中输入的权重矩阵，w
hc
为细胞状态中细胞输出的权重矩阵，b
c
为细胞状态的偏置向量；
[0065]
o
t
为输出门，w
xo
为输出门中输入的权重矩阵，w
ho
为输出门中细胞输出的权重矩阵，w
co
为输出门中细胞状态的权重矩阵，b
o
为输出门的偏置向量；
[0066]
y
t
为输出向量；h
t
为细胞输出，t表示为时间序列。
[0067]
在s32中，第一个全连接层节点数为128；第二个全连接层作为输出层，节点数量为3，全连接层均采用激活函数计算，计算公式如下：
[0068][0069]
其中，p
t
为全连接层神经元的输出，y
t
为神经网络上一层的输出向量，i为上一层输出向量的维度，w
t
为权重，b
t
为偏置，σ为sigmoid函数。
[0070]
s33:使用训练集样本数据训练lstm神经网络，通过损失函数表达预测的三轴加速度数据与实际测得的三轴加速度数据的误差，在训练集上重复进行多轮训练，直到lstm神经网络在测试集上的误差不再降低或到达最大训练轮数时停止。在s33中，损失函数采用所
有输出数据的均方根误差，公式如下所示：
[0071][0072]
其中，y
ij
为样本输出数据第i轴加速度时间序列的第j个数据；p
ij
为网络预测的第i轴加速度时间序列的第j个数据；n为样本的序列长度，等于每个样本的采样数量。使用bp算法更新网络参数，每次迭代采用批量方式，学习率0.02。使用训练集重复训练，直到所述的lstm网络在测试集上的误差不再降低或到达最大训练轮数n
epoch
时结束网络训练。
[0073]
s34:确定网络阈值和检测策略，根据训练结束时的网络模型参数，计算训练集上各样本误差的统计特征，并确定异常检测策略，策略根据最近若干个样本的三轴加速度预测数据序列的误差进行判断，输出的检测结果为正常或异常，如果输出的检测结果为异常，则表示户外广告具有较高的倒塌风险。
[0074]
在s34中，根据训练结束时的网络参数，计算训练集样本的误差阈值δ，所述误差阈值δ为可覆盖90％以上的测试样本误差的最小值，计算公式如下：
[0075][0076]
其中n
δ
为测试集中网络误差小于阈值δ的样本数量，n为测试集样本总数。
[0077]
s4，基于s3的训练结果对户外广告进行长期在线检测，判断户外广告的异常。所述的在线检测阶段包括以下步骤：
[0078]
s41:构造检测样本，通过传感器采集数据，并进行与s3相同的处理，得到新的检测样本；
[0079]
s42:输出预测结果，将检测样本的输入数据通过所述lstm网络，得到预测的三轴加速度数据序列，依据上述异常预测策略进行判断并输出预测结果；
[0080]
s43:重复s42。
[0081]
在s42中，计算每个样本的网络误差，当连续多个样本的网络误差均超过误差阈值，或24小时内累计有多个样本的网络误差超过误差阈值，则输出户外广告状态为异常，否则输出状态为正常。
[0082]
使用训练阶段相同的方法，实时采集传感器数据，处理检测样本，将样本通过上述训练完成的lstm网络，得到网络输出，计算每个样本的网络误差。当连续3个样本的网络误差均超过上述步骤的误差阈值，或24小时内累计有10个样本的网络误差超过上述中的误差阈值，则输出广告牌状态为“异常”，否则输出状态为“正常”。
[0083]
本发明通过构建卷积神经网络，利用安装初期的数据进行训练，构建用于训练和预测的lstm网络模型；通过广告牌正常情况的数据训练模型，学习其振动特征；学习广告牌在风力作用下的震动模式，使用训练好的lstm网络计算预测数据与实际数据的误差，然后对广告牌进行长期在线异常检测。本发明能够灵活适应各种结构的广告牌和各种安装环境、能够通过传感器数据生成用于训练测试和检测的样本、能够准确地实时检测广告牌异常情况，及时上报异常情况。