本发明涉及行人重识,具体为一种基于非邻接节点的图注意力行人重识别方法。
背景技术:
1、随着城市化进程的迅速推进和科技的飞速发展,现代社会对安全、便利和智能化的追求与日俱增。在这个背景下,行人重识别技术作为计算机视觉领域的重要应用之一,其在公共安全、智慧交通、城市管理等领域发挥着重要作用。这项技术通过机器将目标人物的图像与不同区域的多个摄像头记录的行人图像所得的大型数据库中的其他人物图像进行匹配,从而完成跟踪寻人任务。行人重识别技术替代了传统人工查看监控视频进行寻人的繁琐工作,有效解决了许多人工检索存在的不足,节约了人力和物力投入,在实际应用中表现出色。因此,行人重识别技术成为了计算机视觉领域备受关注的热门研究方向。
2、目前,人们提出了各种用于行人重识别的方法,但大多数方法采用全局方法,将目标人物的全局表示学习为单个特征向量。然而,人们很容易被一些障碍物(如行李、柜台、拥挤的公众、汽车、树木)遮挡,或者走出摄像机视野,导致图像被遮挡,使得全局学习的单个特征向量表示可能包括遮挡物体和行人的误导性外观信息,影响了行人重识别的识别准确率。
3、针对处理被遮挡的行人重识别,已经证明基于人体关节部位进行单独的特征向量表示的方法是有效的,这些特征向量提供了关键部位的具体信息,并且非常适合表示部分可见的人体。然而,两个不同的id可能具有相似的局部外观,这使得训练基于人体部位的模型成为一项具有挑战性的任务。
4、上述问题的一种解决途径是聚合人体部位的局部特征,并将相邻部位的特征结合起来,以表达出更高阶的关联特征。然而,传统的邻接节点聚合方式在遭遇遮挡和干扰时,可能无法准确地捕捉遮挡的行人特征,过度依赖局部结构,难以获取到全局和更为广泛的上下文信息。通过图注意力机制,网络能够在聚合节点特征时对不同部位特征进行加权,减少对遮挡特征的关注,从而更好地抑制遮挡信息的影响。同时,聚合非邻接节点的特征,使模型能够获取更广泛的全局信息,而不仅限于局部信息。因此,如将图注意力机制和非邻接节点特征聚合应用于行人重识别,在减少聚合遮挡特征的前提下,理解整体身体结构和关系,使用更全面的上下文信息赋予网络更强的全局把握能力。这无疑是一种更优的行人重识别方法。
5、为此,我们提出了一种基于非邻接节点的图注意力行人重识别方法。
技术实现思路
1、本发明的目的在于提供了一种基于非邻接节点的图注意力行人重识别方法,解决了上述背景技术中的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于非邻接节点的图注意力行人重识别方法,包括以下步骤:
3、s1:对现有的图像样本训练数据进行全局和关键点特征提取;分别使用人体姿态估计网络和cnn对输入的待识别行人图片进行处理,得到人体m个n维关键点热力图和行人图片全局特征向量将关键点热力图h和行人图片全局特征向量fg点乘,得到人体关键点特征向量即
4、fl=fggh;
5、s2:根据人体骨骼结构,通过关键点之间的骨骼连接关系构建邻接矩阵a和度矩阵d,并基于人体关键点和邻接矩阵构造出人体图结构g;
6、s3:计算相邻节点i和j之间的注意力系数,并构建注意力系数矩阵a,即
7、
8、s4:度矩阵的逆d-1与邻接矩阵a相乘获得扩散矩阵,使用度矩阵d与邻接矩阵a构建归一化拉普拉斯矩阵s,表示为图的扩散矩阵,即
9、s=d-1a;
10、s5:扩散矩阵s与注意力系数矩阵a相乘获得带有非邻接节点联系的注意力系数矩阵a',即
11、a'=a′s;
12、s6:通过多头图注意力获得具有邻接和非邻接节点特征的注意力增强特征f'lxi和仅有邻接节点特征的注意力增强矩阵f'lyi,并将两个特征通过一个可训练的参数b相加,获得最终特征fli',即
13、
14、其中k表示有k个头进行训练,s为激活函数,代表与i的相邻节点和跨一阶非邻接节点
15、
16、其中k表示有k个头进行训练,s为relu激活函数,代表与i的相邻节点
17、fli'=b′f'lxi+(1-b)′f'lyi+fli。
18、优选的,s3步骤中的w为一个共享映射矩阵;a为注意力内核,||为拼接操作,表示k为i的邻接节点。
19、优选的,s6步骤中的fli'为通过图注意力机制聚合的特征,fli为初始特征,b初始值为0.2。
20、本发明提供了一种基于非邻接节点的图注意力行人重识别方法。该基于非邻接节点的图注意力行人重识别方法具备以下有益效果:
21、(1)、本发明使用图注意力机制减少了对遮挡的特征的关注,能够使图像信息通过特征提取后,尽可能的减少了遮挡特征对识别准确率的影响。
22、(2)、本发明聚合非邻接节点特征,使得单个人体节点特征中包含了其他节点的特征,有效缓解了两个不同的id具有相似的局部外观所导致的识别错误;同时,也使得特征包含了不同身体部位之间的复杂联系,增强了对行人特征的整体把握能力。有效提高了模型的鲁棒性和准确性。
1.一种基于非邻接节点的图注意力行人重识别方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种基于非邻接节点的图注意力行人重识别方法,其特征在于:s3步骤中的w为一个共享映射矩阵;a为注意力内核,||为拼接操作,表示k为i的邻接节点。
3.根据权利要求1所述的一种基于非邻接节点的图注意力行人重识别方法,其特征在于:s6步骤中的f'li为通过图注意力机制聚合的特征,fli为初始特征,b初始值为0.2。