一种多模态水下图像的三维模型量化检索方法及系统

本发明涉及三维模型检索，更具体的说是涉及一种多模态水下图像的三维模型量化检索方法及系统。

背景技术：

1、目前，海洋资源开发技术发展迅猛，各种装备和技术的进步极大的推动了海洋开发活动的不断拓展，而视觉图像技术在海洋的发展依然存在很大的进步空间，受限于水下的复杂环境，光学成像技术的使用受到了很大的限制，往往很难得到完整清晰的三维图像特征，声呐图像技术使用较为普遍，但图像特征往往损失严重，都辨别出图像中的目标形状特征，一种既可以处理光学图像又可以处理声呐图像多模态的图像处理技术具有重要意义，也使得跨模态数据的检索将会更加直观便捷。

2、而且，现有方法只是对于水上图像进行检索，并没有针对水下光学图像以及水下声呐图像进行模型检索，在已有的基于二维图像的三维模型检索方法中，大多数方法是对于图像对模型进行总体类别的检索，并不能确定图像对应的具体三维模型，这在很大程度上限制了视觉技术在海洋探测、人员搜救等领域的应用

3、因此，如何提供一种多模态水下图像的三维模型量化检索方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种多模态水下图像的三维模型量化检索方法及系统，利用三维模型多角度的渲染视图来表征三维模型的特征信息，构建了一个既可以处理水下光学图像又可以处理声呐图像来检索三维模型的网络结构，并依托于自注意力机制和图注意力网络缩小三维模型与水下光学及声呐图像之间的相似度差距，提升三维模型检索精度。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种多模态水下图像的三维模型量化检索方法，包括：采集水下图像，将水下图像输入图注意力网络模型，输出三维模型检索结果；

4、图注意力网络模型的具体内容包括：

5、s1.构建水下图像的二维图像数据集和三维模型库；

6、s2.建立图像特征提取网络以及模型特征提取网络，将二维图像和三维模型输入至图像特征提取网络和模型特征提取网络中分别得到二维图像和三维模型的特征向量，映射到同一高维空间中并建立邻接矩阵，建立图结构；

7、s3.利用自注意力机制对图结构节点的特征向量v和邻接矩阵a进行更新，将所有节点更新后的特征向量与邻接矩阵组合成新的图结构并输入至图注意力网络得到图嵌入后的特征向量，根据图嵌入后的特征向量经过损失函数计算二维图像与三维模型的相似度损失，反向传播更新模型参数，得到训练后的图注意力网络模型。

8、优选的，图注意力网络模型的具体内容还包括：

9、s4.选取待测水下图像，通过s2的图像特征提取网络，得到图像特征向量，并与图结构中的所有节点的特征向量计算相似度，并设置阈值，相似度小于阈值时在图结构中增加待测图像节点，并将增加待测图像节点后的图结构输入至训练后的图注意力网络模型进行图嵌入，将待测图像经过图嵌入后更新的特征向量与三维模型节点进行损失函数计算，并按序排列，获得三维模型检索结果。

10、优选的，水下图像包括水下光学图像或水下声呐图像。

11、优选的，s2的具体内容包括：

12、s21.将二维图像进行下采样，选取vgg网络作为图像特征提取网络，使用imagenet预训练权重作为特征提取网络的初始参数，将下采样后的图像输入至vgg网络中，通过多层卷积神经网络，输出图像特征向量；

13、s22.将三维模型转换为不同视角下的渲染视图，将三维模型多视角的渲染视图进行下采样，输入至mvcnn网络中，得到融合多视角信息的模型特征向量；

14、s23.将二维图像与三维模型视作节点并建立图结构中的邻接矩阵a，根据图像特征向量、模型特征向量和邻接矩阵建立图结构g(v,e)，v代表二维图像与三维模型的特征向量，e代表节点之间关系的邻接矩阵a。

15、优选的，s3的更新特征向量v的具体内容包括：

16、利用自注意力机制对图结构节点的特征向量进行更新，将特征相似的节点的特征向量进行聚类，得到更新后的节点的特征向量具体为

17、

18、其中，q∈rn×d和k∈rn×d是与特征向量同大小的初始化矩阵，v∈rn×d为输入特征向量，其中n为图像与模型的总数，d为设置向量维数。

19、优选的，s3的更新邻接矩阵a的具体内容包括：

20、采用自注意力机制来更新邻接矩阵的取值，将邻接矩阵的取值从二元取值替换为[0,1]范围内的权重值，具体为：

21、

22、其中，为更新后的邻接矩阵，qa∈rn×n和ka∈rn×n是与邻接矩阵同大小的初始化矩阵，a∈rn×n为输入特征向量的邻接矩阵，其中n为图像与模型的总数，d为设置向量维数。

23、优选的，s3的通过图注意力网络得到图嵌入后的特征向量的具体内容包括：

24、(1)将新的图结构输入至图注意力网络，图注意力网络对于输入的各个节点i，逐个计算节点i和其邻居节点j∈ni的相关系数eij：

25、eij＝a([whi||whj])

26、其中，w为模型初始化参数，用于将节点i与节点j的特征向量进行特征增强，实数eij为节点i与节点j的相关系数；

27、(2)对节点在邻接矩阵中所有邻近节点的相关性系数进行概率归一化，同时对得到的相关性系数使用leakyrelu激活函数激活，得到最终的注意力系数：

28、

29、(3)将注意力系数与特征增强后的特征向量进行加权求和，并采用多头机制将特征向量进行拼接，最终得到图嵌入后的特征向量：

30、

31、其中，αij为注意力系数，wk为图注意力网络中第k层的模型初始化参数，hik为第k层第i个节点的特征向量，σ为激活函数。

32、优选的，s3的损失函数为：

33、loss＝max(d(a,p)-d(a,random(n))+margin,0)

34、其中，d(·)为欧式距离函数，a为目标节点通过模型图嵌入后的特征向量，p为与目标标签的模型特征向量，n为非目标标签的模型特征向量，margin为一个超参数，用于衡量正样本与负样本相距的最大距离。

35、优选的，s4中相似度计算包括：

36、待测试图像itest和图像节点iimage的相似度s1计算：

37、s1(itest,iimage)＝||vtest-vimage||2

38、其特征向量分别为vtest与vimage；

39、待测试图像itest和三维模型节点m的相似度s2计算：

40、s2(itest,m)＝||vtest-vm||2

41、其特征向量为vtest和vmodel。

42、一种多模态水下图像的三维模型量化检索系统，包括图像采集模块、图注意力网络模型、三维模型输出模块和图注意力网络模型建立模块；图注意力网络模型建立模块包括数据集构建单元、图结构建立单元和训练单元；

43、数据集构建单元，用于构建水下图像的二维图像数据集和三维模型库，水下图像包括水下光学图像或水下声呐图像；

44、图结构建立单元，用于建立图像特征提取网络以及模型特征提取网络，将二维图像和三维模型输入至图像特征提取网络和模型特征提取网络中分别得到二维图像和三维模型的特征向量，映射到同一高维空间中并建立邻接矩阵，建立图结构；

45、训练单元，用于利用自注意力机制对图结构节点的特征向量v和邻接矩阵a进行更新，将所有节点更新后的特征向量与邻接矩阵组合成新的图结构并输入至图注意力网络得到图嵌入后的特征向量，图嵌入后的特征向量经过损失函数计算二维图像与三维模型的相似度损失，反向传播更新模型参数，得到训练后的图注意力网络模型。

46、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种多模态水下图像的三维模型量化检索方法及系统，以三维模型的多视角渲染图作为中介，依托于自注意力机制与图注意力网络，缩小三维模型与水下光学、声呐图像之间的相似度差距，构建了以水下光学或声呐图像检索三维模型的网络结构，对水下光学图像或声呐图像均可实现三维模型的检索，对输入的水下图像存在部分有效特征的遮挡图片也可实现三维模型的检索，为三维模型量化检索在海底环境探测、水下搜救领域的应用提供了一种技术方案。