向量确定方法、装置、计算机设备和存储介质与流程

本申请涉及特征提取，特别是涉及一种向量确定方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术：

1、相似性度量学习在识别任务中被广泛应用，主要是通过数字化样本中有效的差异信息，以提升相似度匹配时的识别效率。相似度匹配领域的重点是通过捕获目标图像的局部的细粒度信息来描述相似样本的共同特征和不相似样本的差异特征。

2、现有研究指出，卷积神经网络能很好地提取细粒度局部特征并建模，但是如果希望获取全局角度的信息，则需要堆砌很深的卷积神经网络架构，这使得模型难以训练，整体建模容易失真，从而无法提取到准确的用于相似度度量学习的目标向量。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高目标向量的准确性的向量确定方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种向量确定方法，所述方法包括：

3、获取目标图像，对所述目标图像进行局部特征提取，得到特征图像；

4、对所述特征图像进行深层次特征提取，得到深层次特征向量；对所述特征图像进行全局特征提取，得到全局特征向量；所述局部特征提取和所述全局特征提取所使用的神经网络不同；

5、确定所述深层次特征向量在所述全局特征向量上的正交投影向量；

6、将所述正交投影向量与所述深层次特征向量进行拼接，得到所述目标图像所对应的目标向量；所述目标向量为用于进行相似度度量学习的特征向量。

7、在其中一个实施例中，所述目标图像的数量为多个；

8、所述获取目标图像之后，包括：

9、对每一所述目标图像中的目标区域分别进行裁剪，得到多个第一处理图像；

10、对各所述第一处理图像进行尺寸统一处理，得到尺寸统一后的多个第二处理图像；

11、对每一所述第二处理图像分别进行数据增强处理，得到多个目标图像。

12、在其中一个实施例中，所述对所述目标图像进行局部特征提取，得到特征图像，包括：

13、对所述目标图像进行初级特征提取，得到初级特征图像；

14、对所述初级特征图像进行局部特征提取，得到特征图像。

15、在其中一个实施例中，所述对所述特征图像进行深层次特征提取，得到深层次特征向量，包括：

16、对所述特征图像进行深层次语义信息提取，得到包含深层次语义信息的特征图；

17、对所述包含深层次语义信息的特征图进行向量转换，得到包含深层次语义信息的深层次特征向量。

18、在其中一个实施例中，所述对所述特征图像进行全局特征提取，得到全局特征向量，包括：

19、对所述特征图像进行分块处理，得到多个分块图像，并获取每一所述分块图像各自对应的局部特征向量；

20、基于每一所述分块图像对应的局部特征向量，得到每一所述分块图像各自对应的特征序列；

21、获取各所述分块图像在所述特征图像中的位置编码，基于所述位置编码将各所述分块图像所对应的特征序列进行融合处理，得到融合特征向量；

22、对所述融合特征向量进行全局信息提取，得到所述目标图像对应的全局特征向量。

23、在其中一个实施例中，所述方法通过卷积分支网络和多头注意力分支网络实现；所述卷积分支网络和所述多头注意力分支网络的训练过程包括：

24、确定样本图像所对应的样本深层次特征向量，并确定所述样本深层次特征向量所对应的第一模型损失；

25、基于所述第一模型损失对卷积分支网络进行参数更新，得到用于进行深层次特征提取的卷积分支网络；

26、确定所述样本图像所对应的样本全局特征向量，并确定所述样本全局特征向量所对应的第二模型损失；

27、基于所述第二模型损失对多头注意力分支网络进行参数更新，得到用于进行全局特征提取的多头注意力分支网络。

28、第二方面，本申请提供了一种向量确定装置，所述装置包括：

29、图像获取模块，用于获取目标图像，对所述目标图像进行局部特征提取，得到特征图像；

30、特征提取模块，用于对所述特征图像进行深层次特征提取，得到深层次特征向量；对所述特征图像进行全局特征提取，得到全局特征向量；所述局部特征提取和所述全局特征提取所使用的神经网络不同；

31、正交投影模块，用于确定所述深层次特征向量在所述全局特征向量上的正交投影向量；

32、向量确定模块，用于将所述正交投影向量与所述深层次特征向量进行拼接，得到所述目标图像所对应的目标向量；所述目标向量为用于进行相似度度量学习的特征向量。

33、第三方面，本申请提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

34、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

35、第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的方法的步骤。

36、上述向量确定方法、装置、计算机设备、存储介质和计算机程序产品，通过使用不同的网络对目标图像进行局部特征提取和全局特征提取，从而可以利用局部特征提取补全全局特征提取所丢失的局部信息，从而可以使得最终获取到的特征向量既保留了目标图像的局部信息，又保留了目标图像的全局信息；通过将深层次特征向量在全局特征向量上的正交投影向量，和深层次特征向量进行拼接，从而能够将深层次特征向量和正交投影向量进行融合，使得最终得到的目标向量更加准确，也增强了相似度度量学习的鲁棒性。

技术特征：

1.一种向量确定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述目标图像的数量为多个；

3.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行局部特征提取，得到特征图像，包括：

4.根据权利要求1所述的方法，其特征在于，所述对所述特征图像进行深层次特征提取，得到深层次特征向量，包括：

5.根据权利要求1所述的方法，其特征在于，所述对所述特征图像进行全局特征提取，得到全局特征向量，包括：

6.根据权利要求1所述的方法，其特征在于，所述方法通过卷积分支网络和多头注意力分支网络实现；所述卷积分支网络和所述多头注意力分支网络的训练过程包括：

7.一种向量确定装置，其特征在于，所述装置包括：

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

技术总结
本申请涉及一种向量确定方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取目标图像，对目标图像进行局部特征提取，得到特征图像；对特征图像进行深层次特征提取，得到深层次特征向量；对特征图像进行全局特征提取，得到全局特征向量；局部特征提取和全局特征提取所使用的神经网络不同；确定深层次特征向量在全局特征向量上的正交投影向量；将正交投影向量与深层次特征向量进行拼接，得到目标图像所对应的目标向量；目标向量为用于进行相似度度量学习的特征向量。采用本方法能够提高目标向量的准确性。

技术研发人员：黄川,程宏俊,吴慧兰,郁培基,谭志林,张飞,付文,曹磊,朱文兵,范立青
受保护的技术使用者：中信湘雅生殖与遗传专科医院有限公司
技术研发日：
技术公布日：2024/1/15