一种基于数据驱动的液体表面三维重建方法及系统

本发明涉及液体表面三维重建，尤其涉及一种基于数据驱动的液体表面三维重建方法及系统。

背景技术：

1、动态流体现象可以广泛应用于科学研究与工程领域，例如海洋工程、水利工程、流体力学、计算机图形学、生物医学和工业制造与检测等领域。而准确的重建流体表面形貌有助于深入理解流体现象的存在形式和动态特性，同时也能推动相关科研领域和工程应用的发展。因此，现阶段存在众多不同的三维重建算法，并在这个领域取得了极大进展，如双目立体视觉，结构光测量法，飞行时间法，光度立体法等。

2、但是，上述基于视觉的三维重建方法主要适用于符合朗伯反射的物体，无法应用于动态流体表面的三维重建。首先，光线在气液交界处发生折射，导致相机捕捉到的图像产生严重扭曲，使得提取稳定可靠的图像特征变得极为困难。其次，流体本身的动态流动特性增加了特征处理流程的复杂性，进而导致采集的图像在严重失真的情况下，难以准确恢复流体在空间和时间上的三维表面形貌以及难以全面展示流体的运动状态。

技术实现思路

1、为了解决上述技术问题，本发明的目的是提供一种基于数据驱动的液体表面三维重建方法及系统，能够在采集图像严重失真的情况下，准确恢复流体在空间和时间上的三维表面形貌，以全面展示流体的运动状态。

2、本发明所采用的第一技术方案是：一种基于数据驱动的液体表面三维重建方法，包括以下步骤：

3、对仿真液体表面进行数据预处理，构建仿真液体数据集；

4、引入u-net网络与lstm网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；

5、获取真实环境流体图像；

6、将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。

7、进一步，所述对仿真液体表面进行数据预处理，构建仿真液体数据集这一步骤，其具体包括：

8、对navier-stokes方程进行简化推导处理，得到简化后的潜水波方程；

9、对简化后的潜水波方程进行仿真模拟处理，获取仿真液体表面的高度场信息；

10、对仿真液体表面的高度场信息进行求解计算，得到仿真液体表面的法线场信息；

11、基于斯涅尔定律，结合仿真液体表面的高度场信息与仿真液体表面的法线场信息进行求解计算，得到仿真液体表面的射光方向场信息；

12、根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像；

13、结合仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像与仿真液体表面的畸变图像，构建仿真液体数据集。

14、进一步，所述简化后的潜水波方程的表达式具体如下所示：

15、；

16、上式中，表示液体密度，表示水深，表示仿真液体表面方向的速度，表示仿真液体表面方向的速度，表示重力加速度。

17、进一步，所述根据仿真液体表面的射光方向场信息，确定仿真液体表面的伪光流图像与仿真液体表面的畸变图像这一步骤，其具体包括：

18、根据仿真液体表面的射光方向场信息并结合仿真液体表面的高度场信息，确定仿真液体表面的光线像素偏移量；

19、根据仿真液体表面的光线像素偏移量构建仿真液体表面的伪光流图像；

20、获取仿真液体表面的参考图像；

21、对仿真液体表面的参考图像进行逐位置累加光线像素偏移量处理，得到仿真液体表面的畸变图像。

22、进一步，所述结合仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像与仿真液体表面的畸变图像，构建仿真液体数据集这一步骤，其具体包括：

23、对仿真液体表面的参考图像与仿真液体表面的畸变图像进行添加随机噪声处理，得到添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像；

24、将仿真液体表面的高度场信息、仿真液体表面的法线场信息、仿真液体表面的伪光流图像、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像进行数据打包与格式转换处理，得到npy格式的仿真液体数据集；

25、对npy格式的仿真液体数据集进行划分处理，得到第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集，其中，所述第一仿真液体数据集包括添加噪声后的仿真液体表面的畸变图像，所述第二仿真液体数据集包括仿真液体表面的高度场信息、仿真液体表面的法线场信息、添加噪声后的仿真液体表面的参考图像与添加噪声后的仿真液体表面的畸变图像，所述第三仿真液体数据集包括仿真液体表面的高度场信息和仿真液体表面的法线场信息；

26、将第一仿真液体数据集、第二仿真液体数据集和第三仿真液体数据集进行整合再根据预设比例进行划分处理，得到仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集；

27、整合仿真液体数据训练集、仿真液体数据验证集和仿真液体数据测试集，得到仿真液体数据集。

28、进一步，所述引入u-net网络与lstm网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型这一步骤，其具体包括：

29、将仿真液体数据集中的仿真液体数据训练集输入至双阶段训练模型进行训练；

30、基于u-net网络对仿真液体数据训练集进行流体表面深度和流体表面法线恢复处理，输出恢复后的仿真液体数据训练集；

31、基于lstm网络对恢复后的仿真液体数据训练集进行图像帧关系预测处理，输出训练后的双阶段训练模型。

32、进一步，所述双阶段训练模型的损失函数具体如下所示：

33、；

34、上式中，表示双阶段训练模型中的一阶段u-net网络的总损失函数，表示一阶段u-net网络的高度场损失函数，表示一阶段u-net网络的法线场损失函数，表示一阶段u-net网络的高度法线联合损失函数，表示一阶段u-net网络的伪光流损失函数，表示双阶段训练模型中的二阶段lstm网络的总损失函数，表示二阶段lstm网络的高度场损失函数，表示二阶段lstm网络的法线场损失函数，表示二阶段lstm网络的高度法线联合损失函数。

35、进一步，所述获取真实环境流体图像这一步骤，其具体包括：

36、构建真实环境流体图像获取平台；

37、通过真实环境流体图像获取平台对待测试液体进行拍摄处理，得到初步的真实环境流体图像；

38、将初步的真实环境流体图像进行npy格式转换处理，得到真实环境流体图像。

39、本发明所采用的第二技术方案是：一种基于数据驱动的液体表面三维重建系统，包括：

40、构建模块，用于对仿真液体表面进行数据预处理，构建仿真液体数据集；

41、训练模块，用于引入u-net网络与lstm网络构建双阶段训练模型并通过仿真液体数据集进行训练，得到训练后的双阶段训练模型；

42、获取模块，用于获取真实环境流体图像；

43、重建模块，用于将真实环境流体图像输入至训练后的双阶段训练模型进行三维图像重建，得到液体表面三维重建结果。

44、本发明方法及系统的有益效果是：本发明通过对仿真液体表面进行数据预处理，构建仿真液体数据集，仿真液体数据集包含法线信息、深度信息和伪光流信息，进一步构建双阶段训练模型并通过仿真液体数据集进行训练，基于仿真的图像进行模型训练，训练后的模型能够从单张折射导致扭曲的图像中进行流体表面的三维重建，进一步获取真实环境流体图像，捕捉的一系列图像序列来恢复流体的动态形貌，捕捉真实的液体表面畸变图像序列，使用模型对真实流体畸变图像序列进行预测，对液体表面实现三维重建，能够在采集图像严重失真的情况下，准确恢复流体在空间和时间上的三维表面形貌，以全面展示流体的运动状态。