一种监控视听数据融合的降水定量估算方法

本发明属于气象学、计算机视觉、深度学习等，具体涉及一种监控视听数据融合的降水定量估算方法。

背景技术：

1、全球变暖和城市化的“双重”作用下，城市降雨的突发性、随机性、时空变异性显著增强。多发、频发的极端降雨极易诱发城市内涝等灾害，严重制约城市的稳定、持续、健康发展。降雨作为雨洪模拟的最基本输入，其时空分辨率对城市内涝的精细建模、准确分析、科学管理至关重要，构建高分辨率的城市降雨观测方法意义重大。

2、雨洪模拟越精细，所需降雨数据分辨率越高，如：10公顷城区雨洪模拟便需要1min、1.5km分辨率的降雨输入。现有降雨观测体系仍难以满足城市内涝等快速响应水文模拟对高分辨率降雨产品的需求：1)地表雨量计。可获得高时间分辨率的点降雨信息，受限于空间离散性，很难准确捕捉复杂地形区(如山区、城区等)降雨的空间变异特征；2)静止卫星。通过监测云顶参数判别降水，而不具备穿透性，无法直接获取地表降雨信息；3)天气雷达。可探测降雨的结构信息，以及连续的、高空间分辨率的区域降雨数据，但雷达观测时间分辨率在城区雨洪的精细化模拟中需进一步提升。

3、统计数据显示我国监控相机数量远超5亿台，且大部分部署于城市区域。广泛密布的监控相机所采集的监控视频、音频数据可持续记录降雨事件的发生、动态描述雨情的变化，为高时空分辨率的降雨观测提供可能。因此，基于监控相机的降雨定量反演(简称：监控雨量计)已成为领域热点。然而，基于监控视觉或听觉的测雨模型在实际应用中会受到不同类型环境因素影响，导致雨量估算结果存在较大的不确定性，已成为监控雨量计落地应用最大的阻碍。

4、现有技术中，虽然也有采用网络模型的雨量监控方法，但多是只基于降雨视频(cn116758452a、cn116580331a、cn114463678a、cn112883969b)或者只基于降雨音频(cn114626417a、cn218547025u、cn111276157b、cn108648764b等)，少有结合两者共同进行雨量监测的方法。而只依赖降雨视频或者依赖降雨音频的监控方法存在片面性，估算精度低，需要结合环境因素或者其他硬件设备进行辅助估算。

技术实现思路

1、解决的技术问题：本发明提出一种监控视听数据融合的降水定量估算方法，无需对监控相机参数进行复杂的标定，部署和实现简单，可适应于复杂多变的真实监控场景中，具有重要的实际应用价值。

2、技术方案：

3、一种监控视听数据融合的降水定量估算方法，所述降水定量估算方法包括以下步骤：

4、步骤a，对降水监控数据进行预处理，分别获取降水相关的监控视频和音频数据；

5、步骤b，基于张量和稀疏编码方法，从监控视频中将雨线层与监控背景层分离，并将视频雨线层作为降雨的视觉特征；

6、步骤c，提取音频数据的时域特征和频域特征，将时域特征和频域特征融合以从时空维度对雨声进行表达，并将融合结果作为降雨的听觉特征；

7、步骤d，以降雨的视觉特征和听觉特征为输入，以降雨强度为输出，构建训练集；选取卷积神经网络、长短期记忆网络，采用并行结构框架，搭建权重动态自适应的监控视听融合深度学习模型，采用训练集对监控视听融合深度学习模型进行训练，采用训练完成的监控视听融合深度学习模型根据实时降水监控数据对降雨强度进行估算。

8、进一步地，步骤a中，对降水监控数据进行预处理的过程包括以下步骤：

9、a1，获取监控相机的坐标位置，对监控相机进行注册处理；

10、a2，将监控数据中的监控视频、音频数据进行分离，并将监控视频、音频数据在时间维度上进行对齐处理。

11、进一步地，步骤b中，基于张量和稀疏编码方法，从监控视频中将雨线层与监控背景层分离，并将视频雨线层作为降雨的视觉特征的过程包括以下步骤：

12、b1，从监控视频中将雨线层与监控背景层分离，监控视频为无雨的监控背景层与雨线层的线性组合：m、n和k分别为监控视频图像的长度、宽度和帧数；

13、b2，分别对和进行建模，分别从雨线和背景在时间、空间维度的特征出发，提出基于稀疏编码的监控视频雨线提取模型：

14、

15、

16、式中，||·||为l1正则化操作；分别为垂直、水平、时间方向差分算子；指张量χ沿q个维度展开矩阵的秩rank(x(1))，rank(x(2))，…，rank(x(q))组成的向量；参数λ1，λ2，λ3，λ4为非负权重；

17、b3，使用交替方向乘子法对监控视频雨线提取模型进行优化求解。

18、进一步地，步骤c中，提取音频数据的时域特征和频域特征，将时域特征和频域特征融合以从时空维度对雨声进行表达，并将融合结果作为降雨的听觉特征的过程包括以下步骤：

19、c1，将提取的音频数据转换成.way格式；

20、c2，对音频数据的波形图进行分帧，并对分帧结果使用汉明窗进行加窗处理；

21、c3，对每一帧进行离散傅里叶变换操作，将时域波形信号转换到频域，获取短时能量谱p(f)，f是延频率；

22、c4，将能量谱p(f)通过一组mel尺度的三角形滤波器组，采用公式(2)将原始声音信号产生的线性频谱映射到基于听觉感知的mel非线性频谱p(m)中，并对p(m)取log获取log-mel频谱x(f)：

23、m(f)＝2595log10(1+f/700)  (2)；

24、c5，使用逆傅里叶变换将log-mel频谱转换为mel频率倒谱系数mfcc，记为雨声的频域特征

25、

26、式中，x(f)k是第k个log-mel频谱，d是倒谱特征的预设值，d＜＜k是倒谱系数的指数，k为结果特征的维度；

27、c6，以时间为横轴，以声音的振幅为纵轴，绘制声音波形的幅度包络，对声音在时间维度的变化进行可视化，将声音波形的幅度包络作为雨声的时域特征

28、c7，将获得的频域特征和时域特征作为输入，使用全连接层将二者进行聚合，将融合结果作为降雨的听觉特征：

29、

30、式中，fc(·)为全连接卷积计算；为特征向量的合并操作；t为音频片段序列

31、进一步地，步骤d中，搭建权重动态自适应的监控视听融合深度学习模型的过程包括以下步骤：

32、d1，将步骤b获取的降雨的视觉特征输入卷积神经网络，输出的视觉特征向量记为

33、d2，将步骤c获取的降雨的听觉特征输入长短期记忆网络，输出的听觉特征向量记为

34、d3，引入自适应特征权重系数μ和η，采用下述公式动态评估视觉特征向量和听觉特征向量的贡献：

35、

36、式中，||·||2为l2正则化操作；

37、d4，借助自适应特征权重系数μ和η对视觉特征向量与听觉特征向量权重动态、自适应的分配：

38、

39、式中，λ为降雨的视听特征的映射矩阵；i为融合得到的视听特征向量；

40、d5，以降雨强度为输出，完成监控视听融合深度学习模型的搭建。

41、本发明还公开了一种监控视听数据融合的降水定量估算装置，所述降水定量估算装置包括：

42、预处理模块，用于对降水监控数据进行预处理，分别获取降水相关的监控视频和音频数据；

43、视觉特征提取模块，用于基于张量和稀疏编码方法，从监控视频中将雨线层与监控背景层分离，并将视频雨线层作为降雨的视觉特征；

44、听觉特征提取模块，用于提取音频数据的时域特征和频域特征，将时域特征和频域特征融合以从时空维度对雨声进行表达，并将融合结果作为降雨的听觉特征；

45、训练集构建模块，用于以降雨的视觉特征和听觉特征为输入，以降雨强度为输出，构建训练集；

46、监控视听融合深度学习模型构建模块，用于选取卷积神经网络、长短期记忆网络，采用并行结构框架，搭建权重动态自适应的监控视听融合深度学习模型，采用训练集对监控视听融合深度学习模型进行训练；

47、监控视听融合深度学习模型，用于根据实时降水监控数据对降雨强度进行估算。

48、有益效果：

49、第一，本发明的监控视听数据融合的降水定量估算方法，能够深入挖掘监控视听数据中所蕴含的降雨信息，并将二者有机结合，有效缓解单一模态信号受扰时雨情估算性能下降的不足，提高了降雨估算精度与稳定性表现，监控相机易于部署和实施，无需对已安装的监控相机进行拆卸和标定，可在现有的城市监控资源上部署，无需额外的安装硬件设施，维护和运行成本较低，便于气象、交通、城市管理等部门的引入和应用。

50、第二，本发明的监控视听数据融合的降水定量估算方法，构建基于稀疏编码的视频雨线提取模型，服务于复杂监控场景雨线的精确提取。

51、第三，本发明的监控视听数据融合的降水定量估算方法，融合降雨的监控音频在频域和时域的特征，从音频维度提高对降雨信息描述的可靠性。

52、第四，本发明的监控视听数据融合的降水定量估算方法，通过视听特征权重的动态分配实现二者的有机融合，有效实现降雨的高精度估算。