一种基于3D生成对抗网络的域适应行人重识别方法与流程

本发明涉及图像识别研究领域，具体涉及一种基于3d生成对抗网络的域适应行人重识别方法。

背景技术：

1、随着越来越多的智能化方法不断获得创新突破，并且被应用于城市建设的各个领域，而公共领域的安全因与广大民众息息相关显得尤为重要，随着公共摄像头的普及，通过基于图像的智能化手段时刻保证公共安全也已经迫在眉睫。行人重识别作为人工智能热门研究方向之一，一直备受关注。行人重识别技术可以通过视频图像辅助寻找失散人员等，既可以减轻国家机关的负担，同时也能够很好地解决问题，在安防领域有着重要作用。目前，行人重识别在实际使用中也存在一些难点，如跨摄像头成像风格差异较大、行人局部遮挡和行人姿态差异较大等问题，虽然有相关方法初步解决上述问题，但对行人特征挖掘的深度和广度都十分有限，技术效果有待进一步提升。

技术实现思路

1、为了克服现有技术的不足，本发明提供了一种基于3d生成对抗网络的域适应行人重识别方法，使用3d-gan实现跨域数据的生成，从而获得目标域丰富的特征信息，提高模型域自适应能力。技术方案如下：

2、本发明提供了一种基于3d生成对抗网络的域适应行人重识别方法，该方法主要包括以下步骤：

3、步骤1，在视频数据中通过对行人进行检测和跟踪，获取行人的图片序列ireal，其维度为h×w×s，其中h和w分别为行人图片的高和宽，s为序列数量。

4、步骤2，将行人序列图片ireal输入到3d-gan模型中，3d-gan模型由一个生成器g和一个判别器d组成，生成器g包含一个编码器和一个解码器，编码器由4个3d卷积层和3个3d下采样层组成，用于从序列图片中提取行人的共性特征，为后面解码器生成跨域数据做准备。

5、步骤3，图片序列经过编码器后得到特征序列，在特征序列中加入随机高斯噪声zrand和随机方向序列drand，改变特征序列的分布，形成域变化的条件；随机方向序列drand通过在每个序列通道上加入随机生成的空间坐标来影响特征序列的变化。

6、步骤4，将变化后的特征序列作为解码器的输入，解码器由4个3d反卷积层和3个3d上采样层组成，用于将特征序列还原成图像序列，在编码器和解码器之间使用跳跃连接，生成的图片序列igen为：igen＝g(ireal,zrand,drand)。

7、步骤5，将原始图片序列ireal和生成的图片序列igen一起输入到判别器中，判别器由5个3d卷积层和4个降采样层组成，判别器对应两个输出。当输入生成图片序列igen时，判别器输出的特征序列为fgen，方向序列为dgen；当输入原始图片序列ireal时，判别器输出的特征序列为freal。

8、步骤6，3d-gan模型的训练机制是判别器要尽可能准确的识别出生成的图片序列是假的，而生成器要尽可能使生成的图片序列能够瞒过判别器，两者对抗直到达成平衡。

9、步骤7，生成器除了与判别器相连，生成器后面还引出一条分支与域信息交互网络相连；域信息交互模块由域空间交互模块、域序列交互模块、特征融合层和分类网络组成；域空间交互模块将原始图片序列和生成的图片序列进行空间交叉，再连接一个1×1×1的3d卷积层进行初步特征融合；域序列交互模块将原始图像序列和生成图像序列在序列通道上进行交叉，再连接一个1×1×1的3d 卷积层进行初步特征融合。

10、步骤8，将域空间交互模块和域序列交互模块的输出在序列通道上进行级联后输入到特征融合层中，级联特征先分别经过卷积核为3×3×3、5×5×5、 7×7×7的3d卷积层，将这3个卷积层的输出在序列通道上进行级联，再连接一个1×1×1的3d卷积层，实现多尺度特征融合。

11、步骤9，将特征融合层的输出作为分类网络的输入，对融合特征进一步提炼，挖掘出更深的共性特征信息。

12、优选的，步骤6中采用的损失函数表示为：

13、

14、其中γ为可调节的权重因子。

15、优选的，步骤9具体为分类网络由5个3d卷积层、4个3d下采样层和一个全连接层组成，通过卷积层和下采样层对融合特征进一步提炼，挖掘出更深的共性特征信息，之后将提炼的3维特征展平成2维特征，输入到全连接层中，在通过softmax获得预测值p。

16、进一步的，步骤9中损失函数采用多类别交叉熵，公式可表示为：

17、

18、其中，n为图像序列总数，yic表示第i个图像序列的类别标签，pic表示第i个图像序列对应的预测结果；

19、总的损失函数为

20、与现有技术相比，上述技术方案中的一个技术方案具有如下有益效果：该方法通过将一段图像序列整体作为系统的输入，为共性特征的学习作铺垫；使用 3d-gan实现跨域数据的生成，从而获得目标域丰富的特征信息，提高模型域自适应能力；后面进一步采用域信息交互网络，既能够有效融合序列内部特征信息，也能够使得域间的特征充分交互，从而使模型能够从跨域的序列图片中挖掘出更深层的共性特征。

技术特征：

1.一种基于3d生成对抗网络的域适应行人重识别方法，其特征在于，该方法主要包括以下步骤：

2.根据权利要求1所述的一种基于3d生成对抗网络的域适应行人重识别方法，其特征在于，步骤6中采用的损失函数表示为：

3.根据权利要求2所述的一种基于3d生成对抗网络的域适应行人重识别方法，其特征在于，该方法还包括步骤7-9：

4.根据权利要求3所述的一种基于3d生成对抗网络的域适应行人重识别方法，其特征在于，步骤9具体为分类网络由5个3d卷积层、4个3d下采样层和一个全连接层组成，通过卷积层和下采样层对融合特征进一步提炼，挖掘出更深的共性特征信息，之后将提炼的3维特征展平成2维特征，输入到全连接层中，在通过softmax获得预测值p。

5.根据权利要求4所述的一种基于3d生成对抗网络的域适应行人重识别方法，其特征在于，步骤9中损失函数采用多类别交叉熵，公式可表示为：

技术总结
本发明公开了一种基于3D生成对抗网络的域适应行人重识别方法，该方法主要包括在视频数据中通过对行人进行检测和跟踪，获取行人的图片序列；将行人序列图片输入到3D‑GAN模型中；图片序列经过编码器后得到特征序列，在特征序列中加入随机高斯噪声和随机方向序列，改变特征序列的分布；将变化后的特征序列作为解码器的输入，将原始图片序列和生成的图片序列一起输入到判别器中，对应两个输出；设定3D‑GAN模型的训练机制是使得判别器和生成器两者对抗直到达成平衡；通过使用3D‑GAN实现跨域数据的生成，获得目标域丰富的特征信息，提高了模型域自适应能力。

技术研发人员：姜峰,周金明
受保护的技术使用者：南京视察者智能科技有限公司
技术研发日：
技术公布日：2024/3/5