基于门控图神经网络的对象重识别方法及电子设备与流程

本技术涉及图像识别，特别涉及一种基于门控图神经网络的对象重识别方法及电子设备。

背景技术：

1、重识别技术主要基于计算机识别技术判断图像或者视频序列中是否存在特定目标对象，例如，行人重识别、车辆重识别、行李箱重识别或其他物体重识别，具有广泛的应用前景。以车辆重识别记录为例，车辆重识别技术在交通路口中可以用于车辆监控与跟踪，对连续的多个交通路口进行车辆重识别，也有助于分析车辆的通行路径与城市道路拥挤时段，进而为人们的出行提供前期规划、为城市交通提供管理规划，也能进一步完善城市的建设规划。

2、在车辆重识别领域中，通常都是直接采用卷积神经网络(cnn)的方法来提取其特征；或者，预先采用分割模型或正则化等方法把车辆分割为几个面，使用卷积神经网络提取每个面上的特征；亦或者，把提取的特征图分为全局特征和局部特征，用损失函数进行评估。

3、在实际识别的过程中，即使同一种车辆，在不同视角下，实例会存在较大的差异；不同的车辆，相同的颜色也会有着相似的外观；在光照、粉尘、遮挡环境中，也会在摄像头中呈现的车辆外观与原外观差异很大。然而，在实际路况拍摄的照片中大多只拍摄到车辆的一个或者几个面，不是车辆的全部外观。但是，在实际重识别任务中，所得到的待识别车辆信息可能是我们没有拍摄到的外观。模型训练样本出现不足的问题，会对我们识别的精度带来误差。

4、当前使用图网络结构进行重识别主要如要包括两种方法：(1)首先构建以全局区域和局部区域为节点，以两层关系为边的层次空间结构图，在度量学习的约束下，利用图卷积神经网络(gcn)模块学习判别结构特征，然后，将分类损失与度量学习损失相结合；(2)基于图签名方法：将人的详细描述(属性标签)和视觉特征聚合为一个图，图进行推理，并将此人签名图编码为更具代表性的特征。然而，以上两种方法都需要大量的样本进行训练，否则难以达到较高的准确率。

技术实现思路

1、有鉴于现有技术中存在的上述问题，本技术提供了一种基于门控图神经网络的对象重识别方法及电子设备，使其在样本数量较少的情况下，仍然能够形成较高的准确率。

2、为解决上述问题，本技术实施例采用的技术方案如下：

3、本技术实施例第一方面提供了一种基于门控图神经网络的对象重识别方法，包括：

4、对多个样本图像进行特征提取，以获取样本图像的特征信息；其中，多个样本图像分别包含不同类型的目标对象；

5、基于多个所述样本图像构建知识图；其中，所述知识图包括与所述样本图像一一对应的多个节点和连接在相邻所述节点之间的边，所述节点表示目标对象的类型，且所述节点具有相对应的权重和隐藏状态，所述边表示各所述节点之间的相关性；

6、将所述知识图导入门控图神经网络，并将样本图像的特征信息输入所述门控图神经网络进行迭代训练；且在每次迭代时，各所述节点基于所述相关性聚合相邻节点的前一次迭代的隐藏状态和自身的前一次迭代的隐藏状态，通过门控循环单元对自身的隐藏状态和权重进行更新；

7、将待识别图像的特征信息输入训练完成的所述门控图神经网络，通过所述门控图神经网络基于所述知识图和所述权重，确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度，以对所述待识别图像中的待识别对象进行重识别。

8、在一些实施例中，所述基于多个所述样本图像构建知识图，包括：

9、基于样本图像的特征信息初始化所述知识图中的各所述节点；

10、随机初始化各所述节点的权重，并将所述节点的初始的隐藏状态配置为与初始的权重相同。

11、在一些实施例中，所述将所述知识图导入门控图神经网络，并将样本图像的特征信息输入所述门控图神经网络进行迭代训练，包括：

12、将所述知识图导入门控图神经网络，并将样本图像的特征信息输入所述门控图神经网络，通过所述门控图神经网络确定所述样本图像与所述知识图中各节点所表示的类型之间的第二相似度；

13、基于所述第二相似度，确定各所述节点之间的矢量距离；其中，所述矢量距离表征各所述节点之间的相关性；

14、基于所述矢量距离，驱使各所述节点聚合相邻节点的前一次迭代的隐藏状态，对各所述节点自身的特征向量进行更新；

15、通过门控循环单元基于所述特征向量和各所述节点自身的前一次迭代的隐藏状态，对各所述节点自身的隐藏状态进行更新；

16、基于更新后的隐藏状态，对所述节点的权重进行更新。

17、在一些实施例中，所述将所述知识图导入门控图神经网络，并将样本图像的特征信息输入所述门控图神经网络进行迭代训练，还包括：

18、基于所述第二相似度和预先定义的损失函数，确定损失值；其中，所述损失值表征所述门控图神经网络的预测结果和真实结果之间的差异；

19、在所述损失值的变化量符合第一预设条件的情况下，确定所述门控图神经网络训练完成。

20、在一些实施例中，所述将所述待识别图像的特征信息输入训练完成的所述门控图神经网络，通过所述门控图神经网络基于所述知识图和所述权重，确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度，以对所述待识别图像中的待识别对象进行重识别，包括：

21、对所述待识别图像进行特征提取，以获取所述待识别图像的特征信息；

22、将所述待识别图像的特征信息输入训练完成的所述门控图神经网络，通过所述门控图神经网络基于所述知识图和所述权重，确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度；

23、在多个所述第一相似度中的一个大于第一阈值的情况下，确定所述待识别对象属于所述知识图中相应节点所表示的类型。

24、在一些实施例中，所述将所述待识别图像的特征信息输入训练完成的所述门控图神经网络，通过所述门控图神经网络基于所述知识图和所述权重，确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度，以对所述待识别图像中的待识别对象进行重识别，包括：

25、对所述待识别图像进行特征提取，以获取所述待识别图像的特征信息；

26、将多个所述待识别图像的特征信息分别输入训练完成的所述门控图神经网络，通过所述门控图神经网络基于所述知识图和所述权重输出各所述待识别图像的相似度矩阵；其中，所述相似度矩阵包括所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度；

27、确定多个所述相似度矩阵之间的第三相似度，且在所述第三相似度符合第二预设条件的情况下，确定多个所述待识别图像中的待识别对象为同类对象。

28、在一些实施例中，所述对多个样本图像进行特征提取，以获取样本图像的特征信息，包括：

29、对所述样本图像进行预处理；

30、通过特征提取器对预处理后的样本图像进行特征提取，以获取所述样本图像的特征图。

31、在一些实施例中，所述基于多个所述样本图像构建知识图，包括：

32、基于第一数量的所述样本图像，构建具有所述第一数量的节点的所述知识图；

33、在该第一数量的节点的权重更新完毕的情况下，基于第二数量的所述样本图像向所述知识图中补入第二数量的节点，以形成具有第三数量的节点的所述知识图。

34、本技术实施例第二方面提供了一种电子设备，包括：

35、提取模块，用于对多个样本图像进行特征提取，以获取样本图像的特征信息；其中，多个样本图像分别包含不同类型的目标对象；

36、构建模块，用于基于多个所述样本图像构建知识图；其中，所述知识图包括与所述样本图像一一对应的多个节点和连接在相邻所述节点之间的边，所述节点表示目标对象的类型，且所述节点具有相对应的权重和隐藏状态，所述边表示各所述节点之间的相关性；

37、训练模块，用于将所述知识图导入门控图神经网络，并将样本图像的特征信息输入所述门控图神经网络进行迭代训练；且在每次迭代时，各所述节点基于所述相关性聚合相邻节点的隐藏状态和前一次迭代的隐藏状态，通过门控循环单元对自身的隐藏状态和权重进行更新；

38、识别模块，用于将待识别图像的特征信息输入训练完成的所述门控图神经网络，通过所述门控图神经网络基于所述知识图和所述权重，确定所述待识别图像中待识别对象与所述知识图中各节点所表示的类型之间的第一相似度，以对所述待识别图像中的待识别对象进行重识别。

39、本技术实施例第三方面提供了一种电子设备，至少包括存储器和处理器，所述存储器上存储有应用程序，所述处理器在执行所述存储器上的应用行程序时实现如上所述的方法。

40、本技术实施例的基于门控图神经网络的对象重识别方法，基于多个所述样本图像构建知识图，知识图中的节点表示目标对象的类型，边表示各节点之间的相关性，在对门控图神经网络进行迭代训练过程中，各节点基于相关性聚合相邻节点的前一次迭代的隐藏状态和自身的前一次迭代的隐藏状态，并通过门控循环单元对自身的隐藏状态进行更新，基于更新后的隐藏状态对节点的权重进行更新。如此，能够实现在相似类别之间转移类别的原型表示，从而能够加快迭代训练的进度，即使用于训练的样本数量较少，仍然能够使门控图神经网络形成较高的准确率。在门控图神经网络训练完成后，即可基于训练完成的门控图神经网络对待识别图像中的待识别对象进行准确的重识别。