技术特征：
1.双向自回归无监督预训练微调式排污异常监控方法，其特征在于，包括以下步骤：s1：采集数据：多通道采集和传输模块周期性地采集污染源排放口的以下数据：压力、流速、温度、密度；得到原始多维时间序列样本，传输到数据处理模块；s2：对原始多维时间序列样本进行预处理：使用基于掩码mask的方法，对数据处理模块得到的数据进行去噪和插值操作；s3：对预处理后的多维时间序列样本进行重采样：将某段时间序列进行伸缩变换，再以滑动窗口的模式进行重采样，以设定的时间间隔提取原样本，提取设定尺度的多维时间序列特征；s4：构建包括数据重采样增强、编码器、解码器三个部分的模型并进行预训练；s5：对预训练后的模型进行小样本微调和序列点分类：首先随机在由一长串多维时间序列构成的数据集中抽取10％的连续序列作为样本，重复s4中的训练过程，在下游任务中做小样本的微调fine tuning小样本微调的具体步骤如下：输入为预处理后的原始多维时间序列x
′
in
∈r
batch_size
×
input_window
×
in_dim
，其中batch_size为训练批次大小，input_window表示序列长度，即预处理过程中的滑动窗口宽度，in_dim表示样本的维度；经过编码器和解码器重建序列得到求得每个时间点的loss，通过k-means聚类方法对序列点进行分类，具体步骤如下：(1)首先设置参数k，k的含义为将数据聚合成几类，这里取k＝2；(2)从数据当中，随机的选择两个点，成为聚类初始中心点；(3)计算所有其他点到这两个点的距离，然后找出离每个数据点最近的中心点，将该点划分到这个中心点所代表的的簇当中去；那么所有点都会被划分到两个簇当中去；(4)重新计算两个簇的质心，作为下一次聚类的中心点；(5)重复上面的(3)-(4)步的过程，重新进行聚类，不断迭代重复这个过程；(6)当重新聚类后，所有样本点归属类别都没有发生变化的时候停止；最后可以得到两类样本，样本数量少的一类即为异常；s6：利用步骤s5得到的模型进行排污异常监控。2.如权利要求1所述的双向自回归无监督预训练微调式排污异常监控方法，其特征在于，所述步骤s1中，所述多通道采集和传输模块采集数据的步骤包括：初始化、读取一次串口中断数据、数据打包发送，所述初始化步骤包括：对esp8266芯片运行环境进行初始化配置；所述读取一次串口中断数据的步骤，具体包括以下步骤：设置临时储存串口中断数据的数据类型为32位机的unsigned int型，数据长度即为16bits，串口中断实时更新数据，并在固定时间中断中进行二次滤波；所述数据打包发送的具体步骤为：通过esp8266芯片将读取的十六位数据打断，分成前八位与后八位，以0x03、～0x03为数据针头，～0x03、0x03为数据针尾，将以上数据打包，最后以字符形式，使用esp8266芯片以无线热点方式，通过网络传输到数据处理模块。
3.如权利要求2所述的双向自回归无监督预训练微调式排污异常监控方法，其特征在于，所述步骤s2中，所述基于掩码mask的方法具体为：取来一段完整的时间序列作为样本，随机遮盖掉其中的10％，利用卡尔曼滤波算法对其进行还原。4.如权利要求3所述的双向自回归无监督预训练微调式排污异常监控方法，其特征在于，所述步骤s4具体包括以下子步骤：s4.1：使用噪声函数破坏序列：使用token masking、token deletion、text infilling、sentence permutation、document rotation五种噪声函数中的任一种或多种组合，破坏s3步骤得到的时间序列；s4.2：构建编码器网络骨架部分：选用自注意力层和mlp网络作为骨干网络，迭代12次构成编码器；将多维时间序列进行标准化，消除量纲的影响，使用位置编码pe，为多维时间序列加入位置信息pos指不同的时间点位置，2i和2i+1分别对应某个时间点的不同维度指标，奇数维度利奇数维度利用sin正弦编码，偶数维度利用cos余弦编码，d
model
指数据的总维度，这里是防止10000的指数过大而溢出；利用三个线性层生成q，k，v三个矩阵，并且使用q去访问每一个k，经过缩放和softmax，先转化为以e为底的指数，而后做归一化处理：归一化处理后作为v的权重，从而计算attention值用于后续的mlp层和解码器进行序列重建：引入多头机制以适应更高维度的时间序列信息：multihead(q，k，v)＝[head1，...，head
h
]w0wherehead
i
＝attention(qw
iq
，kw
ik
，vw
iv
)其中h为注意力头数量，使用多头注意力时必须确保输入维度的大小必须能被注意力头数量整除，将输入维度分成h组，每组特征具有自己的注意力体系；s4.3：构建解码器部分：
由多头自注意力层和mlp层作为网络骨架，经过一次堆叠后，利用交叉多头注意力聚合操作cross attention与编码器最后一层的隐藏状态结果进行注意力聚合计算，而后进行多次自注意力层mlp层的堆叠；取编码器中自注意力机制得到的k，v与解码器中训练得到的q进行聚合计算，并采用layer normalization方法在每层mlp后加上标准化层，其中h是一层中隐层节点的数量，l是mlp的层数，我们可以计算layer normalization的归一化统计量u
l
和σ
l
：其中a
l
为输入的多维时间序列，统计量μ
l
和σ
l
的计算，与样本数量没有关系，而只取决于隐层节点的数量，只要隐层节点的数量足够多，就能保证layer normalization的归一化统计量足够具有代表性，经过l层mlp后输出的数据为i表示维度，记作in_dim，通过μ
l
和σ
l
可以得到归一化后的值其中∈取1e-5，防止除0；以自回归的方式对被破坏的时间序列进行复原重建；复原重建程度通过动态时间规整指标来评估；所述动态时间规整指标的计算方式为：把两个时间序列进行对齐后，求算出一个差异矩阵，目标是在矩阵中找到一条从(0，0)到(n，n)的路径，使得该路径上的元素的累加欧拉距离最小，该最小路径为wraping path，即为动态时间规整指标，用于表示两个时间序列的相似度：构造一个n
×
n的矩阵，矩阵的(i
th
，j
th
)元素是点q
i
和c
j
之间的欧几里德距离d(q
i
，c
j
)；wraping path定义了时序q和c之间的映射，记作p，是一组连续的矩阵元素，p的第t
h
个元素定义为p
t
＝d(q
i
，c
j
)
t
，其中p＝p1，p2，...，p
t
，n≤t≤2n-1，本质上是通过一个动态规划的方法来求得的：d
ij
＝d(x
i
，y
j
)d(i，j)＝d
ij
+min(d(i-1，j)，d(i，j-1)，d(i-1，j-1)}其中，d(i-1，j)表示x
i-1与y
j
匹配时的子序列距离，d(i，j-1)表示x
i
与y
j-1匹配时的子序列距离，d(i-1，j-1)表示x
i-1与y
j-1匹配时的子序列距离；在多变量时间序列中，x
i
和y
j
都是in_dim维的向量，而且x
i
中的元素是时刻i下变量的值，y
j
中的元素是时刻j下变量的值，d(x
i
，y
j
)即是i时刻的x
i
和j时刻的y
j
对齐时的距离；向量x
i
和y
j
之间的距离计算方式d(x
i
，y
j
)可以通过欧氏距离或者马氏距离来计算；欧氏距离：对于一个均值为μ＝(μ1，μ2，μ3，...，μ
p
)
t
，协方差矩阵为s的多变量x＝(x1，x2，x3，...，x
p
)
t
，马氏距离为：
其与欧氏距离不同的是它考虑到各种特性之间的联系，并且是尺度无关的(scale-invariant)，即独立于测量尺度；s4.4：预训练过程为：对采集到的数据进行重采样，作为原序列，而后对原序列进行序列破坏，而后将其传入模型做前向推理forward，经过编码器和解码器处理，得到一个新序列，记该序列为原序列的重建序列；利用动态时间规整指标来衡量原序列与其重建序列之间的相似度，记作dtw，构造损失函数：计算得到重建前后损失后，进行反向传播，更新模型参数，使得损失越来越小直至收敛到损失不再下降，在此过程中模型逐渐学习多维时间序列中的特征，做到自动提取特征的功能，此为预训练过程，最终得到一个具有序列提取能力的预训练模型，供之后下游任务的使用。5.如权利要求4所述的双向自回归无监督预训练微调式排污异常监控方法在可视化大屏管理平台上的应用，其特征在于，所述可视化大屏管理平台的硬件部分包括：多通道采集和传输模块、数据处理模块，所述多通道采集和传输模块包括：压力传感器、流速计、温度计以及密度检测计，上述传感器设置于待监控的污染源排放口，数据处理模块的前端，基于react框架开发，使用axios与后端进行交互获取分析后的排污数据，并引入datav和antv进行排污异常数据可视化；数据处理模块的后端，基于golang开发，包括gin和gorm框架；数据处理模块的编码，通过编写dockerfile，生成docker镜像，进行多平台迁移运行；所述可视化大屏管理平台包括“政府”、“企业”、“个人”三个视角。
技术总结
本发明属于排污异常监控领域，提供了一种双向自回归无监督预训练微调式排污异常监控方法，包括以下步骤：多通道采集和传输模块周期性地采集污染源排放口的数据，对原始多维时间序列样本进行预处理；对预处理后的多维时间序列样本进行重采样；构建包括数据重采样增强、编码器、解码器三个部分的模型并进行预训练；对预训练后的模型进行小样本微调和序列点分类；利用上述模型进行排污异常监控。本方法融合了泛化能力强的网络来充分提取多维时间序列中更加抽象的语义特征，使得模型能够有更快的推理速度和更高的精度。快的推理速度和更高的精度。快的推理速度和更高的精度。
技术研发人员：叶柯 周奕希 孔佳玉 曹瀚洋 姜沁琬 李宛欣 韩伟
受保护的技术使用者：杭州电子科技大学
技术研发日：2022.06.17
技术公布日：2022/9/23