基于预训练模型的视觉定位方法和装置

本发明涉及视觉定位领域，尤其涉及一种基于预训练模型的视觉定位方法和装置。

背景技术：

1、目前占主导地位的进行视觉定位的方法有两种，第一种为二阶段方法、第二种为以阶段方法。

2、二阶段方法中，在第一阶段生成有关可选择的对象的候选区域的建议。在第二阶段进行区域提案和文本表达的匹配，并且将测量它们之间的相似性并利用所述相似性来执行排序任务，从而找到最佳匹配。mattnet 和 rvg-tree是用于第二阶段的算法，主要是利用语言表达的逻辑或结构分解来更好地推理细粒度的语言信息，从而更准确地构建与视觉特征的对齐。neighbourhood watch也是用于第二阶段的算法，主要利用基于图的注意力机制来捕获对象的属性及其与表达式中其他对象的关系。但第一阶段提出的特征可能不包含第二阶段所需的信息，这样的差距使得第二阶段的优化变得徒劳。

技术实现思路

1、本发明提供一种基于预训练模型的视觉定位方法和装置，用以解决现有技术中提到的上述技术问题。

2、本发明提供一种基于预训练模型的视觉定位方法，所述预训练模型包括图像编码器和文本编码器，该方法包括：

3、接收待查询语句和给定图像；

4、利用所述图像编码器获取所述给定图像的一维特征，记为第一特征；

5、利用所述文本编码器获取所述待查询语句的一维特征，记为第二特征；

6、利用所述第一特征、第二特征作为软标签引导所述给定图像和所述待查询语句的标记化表达的开始位置，并引导位置标记的学习；

7、基于所述位置标记预测视觉对象定位边框。

8、可选的，利用预测模型基于所述位置标记预测视觉对象定位边框，该方法还包括训练所述预测模型，具体步骤包括：

9、利用自适应平均池化将所述第一特征转换为与所述给定图像的标记化表达特征相同的维度，记为第一转换特征；

10、将所述第二特征转换为与所述待查询语句的标记化表达特征相同的维度，记为第二转换特征；

11、基于所述第一转换特征与给定图像的标记化表达特征的余弦损失、所述第二转换特征与待查询语句的标记化表达的余弦损失确定交叉蒸馏损失；

12、根据所述交叉蒸馏损失训练所述预测模型。

13、可选的，在计算预先损失前，利用所述第一特征、第二特征作为软标签引导所述给定图像和所述待查询语句的标记化表达的开始位置，并引导位置标记的学习，包括：

14、基于所述第一特征、第二特征生成连接序列，并在所述连接序列的开头插入可学习的位置标记，生成联合序列；

15、通过注意机制对所述联合序列进行模内和模间推理，并引导位置标记的学习。

16、可选的，基于所述第一特征、第二特征生成连接序列，包括：通过线性投影层将所述第一特征、第二特征映射到具有相同通道维度的嵌入，以生成包含包括图像、语句两种模态的连接序列。

17、可选的，基于所述第一余弦损失、所述第二余弦损失确定交叉蒸馏损失包括：

18、基于所述第一余弦损失与第一权重的乘积、第二余弦损失与第二权重的乘积确定交叉蒸馏损失以平衡图像、语句两种模态。

19、可选的，根据所述交叉蒸馏损失训练所述预测模型，包括：

20、确定定位边框的预测值与归一化的定位框的实际值之间的平滑损失；

21、确定预测的定位边框与归一化的定位框的相似性损失；

22、根据所述平滑损失、相似性损失和交叉蒸馏损失训练所述预测模型。

23、本发明还提供一种基于预训练模型的视觉定位装置，所述预训练模型包括图像编码器和文本编码器，该装置包括：

24、输入单元，用于接收待查询语句和给定图像；

25、第一特征获取单元，用于利用所述图像编码器获取所述给定图像的一维特征，记为第一特征；

26、第二特征获取单元，用于利用所述文本编码器获取所述待查询语句的一维特征，记为第二特征；

27、位置标记生成单元，用于利用所述第一特征、第二特征作为软标签引导所述给定图像和所述待查询语句的标记化表达的开始位置，并引导位置标记的学习；

28、定位边框预测单元，用于基于所述位置标记预测视觉对象定位边框。

29、可选的，该装置还包括预测模型训练单元，所述预测模型训练单元具体包括：

30、第一转换模块，用于利用自适应平均池化将所述第一特征转换为与所述给定图像的标记化表达特征相同的维度，记为第一转换特征；

31、第二转换模块，用于将所述第二特征转换为与所述待查询语句的标记化表达特征相同的维度，记为第二转换特征；

32、多模态蒸馏模块，用于基于所述第一转换特征与给定图像的标记化表达特征的余弦损失、所述第二转换特征与待查询语句的标记化表达的余弦损失确定交叉蒸馏损失；

33、训练模块，用于根据所述交叉蒸馏损失训练所述预测模型。

34、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前面所述基于预训练模型的视觉定位方法。

35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前面所述基于预训练模型的视觉定位方法。

36、本发明通过融合图像、语句双模态特征融合以及通过多模态蒸馏损失的计算能够实现多模态之间的知识迁移，解决了模态领域之间的差距问题，进而提高预测性能。

技术特征：

1.一种基于预训练模型的视觉定位方法，所述预训练模型包括图像编码器和文本编码器，其特征在于，该方法包括：

2.根据权利要求1所述的视觉定位方法，其特征还在于，利用预测模型基于所述位置标记预测视觉对象定位边框，该方法还包括训练所述预测模型，具体步骤包括：

3.根据权利要求1所述的视觉定位方法，其特征在于，在计算预先损失前，利用所述第一特征、第二特征作为软标签引导所述给定图像和所述待查询语句的标记化表达的开始位置，并引导位置标记的学习，包括：

4.根据权利要求3所述的视觉定位方法，其特征在于，基于所述第一特征、第二特征生成连接序列，包括：通过线性投影层将所述第一特征、第二特征映射到具有相同通道维度的嵌入，以生成包括图像、语句两种模态的连接序列。

5.根据权利要求2所述的视觉定位方法，其特征在于，基于所述第一余弦损失、所述第二余弦损失确定交叉蒸馏损失包括：

6.根据权利要求2所述的视觉定位方法，其特征在于，根据所述交叉蒸馏损失训练所述预测模型，包括：

7.一种基于预训练模型的视觉定位装置，所述预训练模型包括图像编码器和文本编码器，其特征在于，该装置包括：

8.根据权利要求7所述的基于预训练模型的视觉定位装置，其特征在于，该装置还包括预测模型训练单元，所述预测模型训练单元具体包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于预训练模型的视觉定位方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于预训练模型的视觉定位方法。

技术总结
本发明涉及视觉识别技术领域，提供一种基于预训练模型的视觉定位方法，所述预训练模型包括图像编码器和文本编码器，该方法包括：接收待查询语句和给定图像；利用所述图像编码器获取所述给定图像的一维特征，记为第一特征；利用所述文本编码器获取所述待查询语句的一维特征，记为第二特征；利用所述第一特征、第二特征作为软标签引导所述给定图像和所述待查询语句的标记化表达的开始位置，并引导位置标记的学习；基于所述位置标记预测视觉对象定位边框。本发明通过融合图像、语句双模态特征融合以及通过多模态蒸馏损失的计算能够实现多模态之间的知识迁移，解决了模态领域之间的差距问题，进而提高预测性能。

技术研发人员：胡文蕙,刘学洋,王嘉锡
受保护的技术使用者：北京大学
技术研发日：
技术公布日：2024/3/12