一种基于光学感知的波浪场重构方法

本发明涉及三维波浪场重构和重建，具体涉及一种基于光学感知的波浪场重构方法。

背景技术：

1、随着人工智能技术在装备领域的发展与应用，无人艇智能系统也迎来智能化的浪潮。区别于无人车与无人机，无人艇面临复杂多变的水面环境，由于缺乏对周围水面海况情况的感知，传统的无人艇运动控制精度十分有限，难以控制无人艇完成运动精度要求较高的任务。

2、在流体研究相关领域，以往对波浪场重建技术研究主要从三个方面展开，一是对水体进行特殊处理，利用荧光物质对水体进行染色，分析拍摄图片不同区域的荧光强度进行水面重建，或在透明水体下方贴上已知图片纹理，基于折射原理分析纹理扭曲与水面形状关系，该方法只适合在实验室中进行；二是利用相机对海洋表面进行拍摄，结算时结合物理方程，进行数值结算，但运算量过大，运算耗时长，无法达到实时重建的效果；三是使用sfs算法对波浪场进行重建，但基于sfs算法的波浪重建算法没有改变正交投影的假设，对于波浪场的投影遮挡问题无法很好的处理。

技术实现思路

1、针对上述情况，本发明提供一种结合基于光学感知的波浪场重构方法，这种重构方法能直观地表现出水面波浪场波动信息；通过相机拍摄水面图像，就能对水面波浪场深度信息实现实时重建，计算速度快；对水体无特殊要求，适应性强；考虑波浪场的投影遮挡问题，保证波浪场重构的可靠性与真实性。

2、本发明的具体技术方案是一种基于光学感知的波浪场重构方法，其特征在于，包括如下步骤：

3、步骤1，搭建虚拟波浪场数据生成平台，使用复合光照模型模拟水面光学特征，生成成对的虚拟波浪场彩色图像数据与深度图像数据；

4、步骤2，构造域转换器模块，采用虚拟波浪场彩色图像数据与相机拍摄的真实水面图像数据作为训练集对构造的域转换器模块进行预训；

5、步骤3，构造深度估计模块，采用生成成对的虚拟波浪场彩色图像数据与深度图像数据作为训练集构造的深度估计模块进行预训；

6、步骤4，拍摄真实水面图片，使用步骤2中预训后的域转换器模块将真实水面图片的风格转换为虚拟水面风格图片；

7、步骤5，使用深度估计模块将虚拟水面风格图片输出为记录了波浪表面采样点与相机光心之间距离的虚拟水面风格深度图片；

8、步骤6，采用点云映射算法对虚拟水面风格深度图片进行坐标映射，生成以相机光心为坐标原点的水面波浪场表面点云数据。

9、更进一步地，采用gerstner波模型搭建步骤1所述的虚拟波浪场数据生成平台，gerstner波模型如下式(i)，

10、

11、其中t为时间，(x,y,z)为t时刻的位置，(x0,y0,z0)为静止时的位置，qi为所叠加的第i个波的波峰的尖锐程度，取值范围为ai为所叠加的第i个波的振幅，ki为所叠加的第i个波的波数，θi为所叠加的第i个波的方向角，ωi为所叠加的第i个波的角速度，为所叠加的第i个波的初始相位。

12、更进一步地，步骤1中所述的复合光照模型为漫反射模型、镜面反射模型和次表面散射模型，分别如下式(ii)、(iii)、(iv)所示，

13、id＝kdiincosα......(ii)

14、其中id为观察到的颜色亮度，kd为漫反射系数，iin为入射光亮度，α为平面法线与入射光的夹角；

15、im＝kmiin(cos(φ-θ))n......(iii)

16、其中im为观察到的颜色亮度，km为镜面反射系数，iin为入射光亮度，φ为平面法线与入射光的夹角，θ为平面法线与观察视线的夹角，n为高光系数；

17、

18、其中li为入射光线的辐射率，lo为出射光线的辐射率，pi为入射光线与物体的接触点，po为出射光线与物体的接触点，ri为入射光线的方向矢量，ro为出射光线的方向矢量，为入射光线与接触点微平面法向量的夹角，s(po,ro,pi,ri)为双向次表面反射分布函数，ft为菲涅尔系数，rd为扩散近似函数，d为距离。

19、更进一步地，步骤1所述的生成成对的波浪场彩色图像数据与深度图像数据过程如下：

20、步骤a，采用虚拟波浪场数据生成平台生成虚拟波浪场二维图像，同时将同一像素中深度的最小值写入深度缓存中；

21、步骤b，根据虚拟波浪场二维图像深度大小，选择距离摄像头最近的颜色依次对各个像素进行渲染，生成所需的虚拟波浪场彩色图像；

22、步骤c，对深度缓存中的值进行反透视变换，图像坐标系转换为世界坐标系，得到真正的深度值，生成所需的虚拟波浪场深度图像。

23、更进一步地，步骤6所述的点云映射算法的具体过程如下：

24、步骤a，通过对像素坐标系进行平移，将坐标系中心点从图片左上角平移至图片中心，再乘转换因子，将像素坐标系转换为图像坐标系，见下式(v)，

25、

26、其中，uv为像素坐标系，原点为图像左上角，w、h分别为图像宽、高的像素值，o-xy为图像坐标系，原点为图像中心点，rx、ry为转换因子，分别代表图片横向、纵向一个像素代表的绝对距离，其计算公式如下式(vi)，

27、

28、其中，α为相机视椎垂直方向张开的角度，β为相机视椎水平方向张开的角度，f为相机焦距；

29、步骤b，按照下式(vii)单位化由相机光心指向像素点的向量向量(x,y,f)得(xe,ye,ze)，表征由相机光心指向图片上的点的方向，同时也是相机光心指向世界坐标系中真实点的方向:

30、

31、步骤c，将向量(xe,ye,ze)与存储在深度图中的相机光心与世界坐标系中的点的距离相乘，得到以相机光心为原点的相机坐标系中点的位置，见下式(viii)

32、

33、本发明的优点或有益效果：

34、1)通过引入虚拟波浪场数据解决数据获取的问题，同时使用无监督的学习联系虚拟数据和真实数据，提出了一套可行的、在现有技术手段下可以实施的水面波浪场感知技术框架；

35、2)针对水面波浪场数据难以获取数据真值的问题，通过使用gerstner波叠加模拟波浪场形状、使用多种光照模型复合的方法模拟波浪场光学特性、使用渲染管线生成所需的彩色图像数据和深度图像数据，可以生成大量的虚拟波浪场数据供算法进行训练，解决了训练数据集获取的问题；

36、3)将彩色图与深度图的关系看成图像翻译问题，避免了传统的单目深度估计中由于人为设定损失函数而导致的“边缘模糊”问题；

37、4)搭建的虚拟波浪场数据生成平台生成虚拟波浪场图像过程中考虑了波浪场的投影遮挡问题，保证波浪场重构的可靠性与真实性；

38、5)本方法对水体无特殊要求，适应性强，且波浪场重建速度达到毫秒级，可在户外水域进行实时波浪场重建。

技术特征：

1.一种基于光学感知的波浪场重构方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于光学感知的波浪场重构方法，其特征在于，采用gerstner波模型搭建步骤1所述的虚拟波浪场数据生成平台，gerstner波模型如下式(i)，

3.根据权利要求2所述的一种基于光学感知的波浪场重构方法，其特征在于，步骤1中所述的复合光照模型为漫反射模型、镜面反射模型和次表面散射模型，分别如下式(ii)、(iii)、(iv)所示，

4.根据权利要求3所述的一种基于光学感知的波浪场重构方法，其特征在于，步骤1所述的生成成对的波浪场彩色图像数据与深度图像数据过程如下：

5.根据权利要求1所述的一种基于光学感知的波浪场重构方法，其特征在于，步骤6所述的点云映射算法的具体过程如下：

技术总结
本发明涉及一种基于光学感知的波浪场重构方法，步骤1，搭建虚拟波浪场数据生成平台；步骤2，采用虚拟波浪场彩色图像数据与相机拍摄的真实水面图像数据作为训练集对构造的域转换器模块进行预训；步骤3，采用生成成对的虚拟波浪场彩色图像数据与深度图像数据作为训练集构造的深度估计模块进行预训；步骤4，使用域转换器模块将真实水面图片的风格转换为虚拟水面风格图片；步骤5输出为记录了波浪表面采样点与相机光心之间距离的虚拟水面风格深度图片；步骤6，生成以相机光心为坐标原点的水面波浪场表面点云数据。本发明的波浪场重构方法通过相机拍摄水面图像，就能对水面波浪场深度信息实现实时重建，保证波浪场重构的可靠性与真实性。

技术研发人员：王鸿东,杨鑫德,董磊
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/1/13