一种基于卷积神经网络的河流表面流速测量方法及系统与流程

本发明涉及水文测量，尤其涉及一种基于卷积神经网络的河流表面流速测量方法及系统。

背景技术：

1、近年来，随着在智慧城市、智慧水利的普遍兴起，计算机视觉技术结合水文学和流体力学学科在流体运动研究方面不断进行发展。河流流速是水文信息获取的关键，掌握实时、有效且全面的水文信息可以使人们能够及时有效应对频繁的洪涝灾害，减少其会带来的人力、物力和财力损失。

2、传统的流速测量依赖于各种仪器，有通过水流带动旋桨转动，依据旋桨转速计算的传统流速仪测量法，有通过声学、光学多普勒效应进行测量的流速法，还有基于视觉图像的图像法测速，更加适用于极端环境测流条件。但上述方法受限于河流环境等因素影响，测量精度得不到保障。

3、在此基础上，采用深度学习的测量方法得到了广泛应用，该方法为无接触测量方法，通过收集大量的河流表面流速数据样本，建立网络模型进行训练，通过构建深层神经网络模型，从大量数据中学习特征表示，实现对光流的估计，在一定程度上克服了传统方法中对复杂场景、光照变化和噪声等问题的敏感性，但仍存在受限于样本数据质量，模型泛化能力较差等问题，无法适应复杂多变的河流环境。

技术实现思路

1、本发明提供一种基于卷积神经网络的河流表面流速测量方法及系统，用以解决现有技术中采用深度学习时，构建的神经网络模型受限于样本数据质量，模型泛化能力较差，缺乏普适性的缺陷。

2、第一方面，本发明提供一种基于卷积神经网络的河流表面流速测量方法，包括：

3、获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；

4、利用deepflow算法计算所述预处理图像数据集获得光流矢量；

5、采用mobilenet v2网络构建初始河流测速模型，通过预设损失函数和所述光流矢量对所述初始河流测速模型进行训练迭代，得到河流测速模型；

6、将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。

7、在一个实施例中，获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集，包括：

8、采集河面原始视频数据，采用预设帧格式截取多帧图像数据；

9、对所述多帧图像数据进行去噪，将去噪后的多帧图像按照预设比例划分为训练集和测试集；

10、获取真实流速测量数据，以所述真实流速测量数据作为标签，基于所述训练集和所述测试集形成所述预处理图像数据集。

11、在一个实施例中，利用deepflow算法计算所述预处理图像数据集获得光流矢量，包括：

12、利用卷积神经网络从所述预处理图像数据集中提取图像特征；

13、获取所述图像特征中的相邻帧特征点，确定所述相邻帧特征点的位移匹配信息；

14、基于光流估计能量最小化算法，计算所述位移匹配信息得到光流场，提取所述光流场中的光流矢量。

15、在一个实施例中，基于光流估计能量最小化算法，计算所述位移匹配信息得到光流场，提取所述光流场中的光流矢量，包括：

16、确定数据项、平滑项和匹配项，基于所述数据项、所述平滑项、平滑项平衡因子、所述匹配项和匹配项平衡因子构建能量函数，其中所述数据项通过比较两帧图像之间亮度差异确定光流估计准确性，所述平滑项通过比较相邻像素之间光流差异确定光流场平滑性；

17、基于深度学习对所述能量函数进行迭代优化，训练所述平滑项平衡因子和所述匹配项平衡因子，得到最优能量函数；

18、由所述最优能量函数确定所述光流场，提取所述光流场中的速度向量和方向向量。

19、在一个实施例中，采用mobilenet v2网络构建初始河流测速模型，通过预设损失函数和所述光流场对所述初始河流测速模型进行训练迭代，得到河流测速模型，包括：

20、采用均方误差l2损失函数和河面流速值为主损失函数，采用均方误差l2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数；

21、计算所述预设损失函数对所述初始河流测速模型的梯度信息，在所述初始河流测速模型的输出层向输入层的前向传播中，逐层更新参数，采用链式法计算所述梯度信息得到误差，将所述误差逐层进行反向传播；

22、基于所述梯度信息更新最优能量函数中的平滑项平衡因子和匹配项平衡因子，使所述预设损失函数逐渐减小；

23、重复执行前向传播、损失计算、更新参数和反向传播的步骤，直至满足预设迭代次数；

24、采用训练集进行模型训练，采用测试集进行模型性能评估，得到所述河流测速模型。

25、在一个实施例中，采用均方误差l2损失函数和河面流速值为主损失函数，采用均方误差l2损失函数、光流矢量速度和光流矢量角度为辅助损失函数，构建所述预设损失函数，包括：

26、确定光流矢量总数；

27、采用所述均方误差l2损失函数计算河面流速真实值、河面流速预测值以及所述光流矢量总数，得到所述主损失函数；

28、获取任一当前时刻光流矢量速度和任一当前时刻的上一时刻光流矢量速度，采用所述均方误差l2损失函数计算所述任一当前时刻光流矢量速度、所述上一时刻光流矢量速度和所述光流矢量总数，得到光流矢量速度损失函数；

29、采用所述均方误差l2损失函数计算光流矢量角度真实值、光流矢量角度预测值以及所述光流矢量总数，得到光流矢量角度损失函数；

30、根据所述主损失函数、所述光流矢量速度损失函数、光流矢量速度平衡因子、所述光流矢量角度损失函数和光流矢量角度平衡因子，得到所述预设损失函数。

31、在一个实施例中，采用mobilenet v2网络构建初始河流测速模型，包括：

32、确定所述mobilenet v2网络包括1个卷积层、17个倒残差结构层和2个点卷积层，所述17个倒残差结构层包括7种维度；

33、每个倒残差结构层包括依次连接的第一模块、第二模块和第三模块，所述第一模块包括依次连接的将高维空间映射至低维空间的1×1卷积、批量归一化层bn和线性激活函数relu6，所述第二模块包括依次连接的深度可分离卷积的3×3卷积、批量归一化层bn和线性激活函数relu6，所述第三模块包括依次连接的将低维空间映射至高维空间的1×1卷积和批量归一化层bn；

34、所述深度可分离卷积包括逐通道卷积和逐点卷积，所述逐通道卷积包括将输入维度×输入特征图宽度×输入特征图高度的输入特征与输入维度×输入特征图宽度×输入特征图高度的卷积核进行卷积操作，所述逐点卷积包括将所述逐通道卷积的输出结果与输出维度×1×1的卷积核进行卷积操作。

35、第二方面，本发明还提供一种基于卷积神经网络的河流表面流速测量系统，包括：

36、感知模块，用于获取河流表面图像数据集，对所述河流表面图像数据集进行预处理，得到预处理图像数据集；

37、数据处理模块，用于利用deepflow算法计算所述预处理图像数据集获得光流矢量；

38、计算模块，用于采用mobilenet v2网络构建初始河流测速模型，通过预设损失函数和所述光流矢量对所述初始河流测速模型进行训练迭代，得到河流测速模型；

39、输出模块，用于将待测量河流视频流输入所述河流测速模型，得到预测河流表面流速。

40、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于卷积神经网络的河流表面流速测量方法。

41、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于卷积神经网络的河流表面流速测量方法。

42、本发明提供的基于卷积神经网络的河流表面流速测量方法及系统，通过采用deepflow光流法获得光流场，并进一步构建mobilenet v2网络和自定义损失函数对真实河面预测流速进行特征学习，能有效提升河面流速测量精度，特别针对高流速和遮挡场景，有效利用了卷积神经网络强大的特征学习能力，提高了测量结果的准确性和鲁棒性。