协助小型航天器着陆的跨模态对比学习深度估计方法与流程

本发明涉及计算机视觉领域，具体是一种协助小型航天器着陆的跨模态对比学习深度估计方法。

背景技术：

1、在小型航天器着陆前，正确选择着陆位置和保证着陆安全性是至关重要的。然而，传统的着陆辅助设备不能提供精确的深度信息，如gps在深空探测器着陆上失效，雷达则存在对着陆点定位不准等情况，着陆位置的选择和着陆的安全性将受到影响。因此，在小型航天器着陆前的巡航阶段提供一种实时有效的深度估计方法将有助于提高小型航天器着陆的安全性。

技术实现思路

1、本发明为了解决现有技术的问题，提供了一种协助小型航天器着陆的跨模态对比学习深度估计方法，该方法通过航天器上的摄像头获取实时图像，基于深度学习技术进行实时深度估计，进而提高着陆位置选择和着陆安全性。

2、本发明提供了一种协助小型航天器着陆的跨模态对比学习深度估计方法，包括以下步骤：

3、1）设计深度估计网络：采用深度学习技术，设计深度估计网络，利用航天器上的摄像头获取实时图像，通过卷积神经网络（cnn）和循环神经网络（rnn）模型，实现对图像的深度估计；

4、2）收集训练数据；

5、3）数据预处理：对收集的训练数据进行预处理；

6、4）网络训练：利用预处理好的训练数据对深度估计网络进行训练；

7、5）实时深度估计：在航天器上运行训练好的深度估计网络，实时对摄像头接收到的图像进行深度估计，从而提供实时的深度信息；

8、6）着陆位置选择：利用实时深度估计结果，结合航天器的传感器信息，对着陆位置进行选择。

9、步骤2）所述训练数据包括航天器着陆时拍摄的图像，地面指挥人员的语音相关指令，同时标注每个图像的深度信息。

10、步骤3）所述预处理过程包括图像的裁剪、缩放、归一化，保证输入的数据格式符合深度估计网络的要求。

11、步骤4）所述网络训练过程具体为：分析地面指挥人员的语音指令，并转换成文本，同时将文本与rgb图片短序列输入clip模型，得到对应的语义信息；再向图像编码器中输入rgb图片短序列，通过图像解码器得到深度图；将两个语义向量进行对比得到损失；通过训练深度估计网络，使其能够从输入的图像中预测出深度信息。

12、本发明有益效果在于：

13、1、采用深度学习技术，通过航天器上的摄像头进行实时深度估计，能够提高航天器着陆位置选择和着陆安全性。

14、2、相比传统的雷达、gps等着陆辅助设备，本发明可以提供更加精确和实时的深度信息，能够应对不稳定的气象条件，提高着陆的安全性。

技术特征：

1.一种协助小型航天器着陆的跨模态对比学习深度估计方法，其特征在于包括以下步骤：

2.根据权利要求1所述的协助小型航天器着陆的跨模态对比学习深度估计方法，其特征在于：步骤2）所述训练数据包括航天器着陆时拍摄的图像，地面指挥人员的语音相关指令，同时标注每个图像的深度信息。

3.根据权利要求1所述的协助小型航天器着陆的跨模态对比学习深度估计方法，其特征在于：步骤3）所述预处理过程包括图像的裁剪、缩放、归一化，保证输入的数据格式符合深度估计网络的要求。

4.根据权利要求1所述的协助小型航天器着陆的跨模态对比学习深度估计方法，其特征在于：步骤4）所述网络训练过程具体为：分析地面指挥人员的语音指令，并转换成文本，同时将文本与rgb图片短序列输入clip模型，得到对应的语义信息；再向图像编码器中输入rgb图片短序列，通过图像解码器得到深度图；将两个语义向量进行对比得到损失；通过训练深度估计网络，使其能够从输入的图像中预测出深度信息。

技术总结
本发明提供了一种协助小型航天器着陆的跨模态对比学习深度估计方法，该方法通过航天器上的摄像头获取实时图像，基于深度学习技术进行实时深度估计，进而提高着陆位置选择和着陆安全性。在航天器上安装摄像头，收集飞行时的实时图像，并标注每个图像的深度信息。对收集的数据进行预处理，包括图像的裁剪、缩放、归一化等，以保证输入的数据格式符合深度估计网络的要求。相比传统的雷达、GPS等着陆辅助设备，本发明可以提供更加精确和实时的深度信息，能够应对不稳定的气象条件，提高着陆的安全性。

技术研发人员：何知霖,顾天昊,李小光,徐冠华
受保护的技术使用者：南京壮大智能科技研究院有限公司
技术研发日：
技术公布日：2024/1/15