基于双流分块网络的行人重识别方法、电子设备和介质

本发明涉及计算机视觉图像处理，尤其是涉及基于双流分块网络的行人重识别方法、电子设备和介质。

背景技术：

1、进入新世纪以来，社会公共安全问题越来越受到人们的重视。视觉系统被广泛应用于各种公共场所，而监控视频里面最重要的关注对象就是行人，识别特定行人对于违章判断、刑事侦查、智慧城市以及相册分类等都有着非常重要的意义。

2、行人重识别(reid)近几年在学界受到了非常广泛的关注,但是由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、遮挡、姿态和视角等不确定因素影响，使得行人重识别问题成为一个十分有挑战性的课题。为了尽可能地提高准确度，一些研究者做了很多工作，这些工作基本上可以分为基于姿态变换的、基于属性网络的、基于分块的。利用姿态估计和属性网络来提取行人特征，这种方法需要额外训练网络，并且需要占用大量gpu内存，其效率往往比较低下。基于水平分块来提取局部特征，虽然这种方式比较高效，但是这种简单的分块往往不能解决那些姿态错位和不对齐的问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供基于双流分块网络的行人重识别方法、电子设备和介质，该发明能够高效、准确地进行行人重识别。

2、本发明的目的可以通过以下技术方案来实现：

3、根据本发明提供的一个方面，本发明提供一种基于双流分块网络的行人重识别方法，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；

4、所述双流分块模块包括四个网络分支，第一网络分支用以生成全局特征图中每个局部特征动态匹配后的triplet loss，第二网络分支用以生成全局特征图改变维度后的triplet loss，第三网络分支包括全连接层，用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成全局特征图中每个水平分块特征经全连接层处理后的交叉熵损失；

5、损失连接模块用以将四个网络分支生成的损失相加。

6、优选地，所述第一网络分支包括依次连接的池化层、bn层、relu激活函数层、分块层和动态匹配层；

7、所述全局特征图依次经过池化层池化、bn层归一化、relu激活函数层修正线性后和分块层分块后，生成多个局部特征图，所有局部特征图经所述动态匹配层自动对齐后，计算triplet loss。

8、优选地，描述动态匹配方法的公式为：

9、

10、式中，si,j为距离矩阵d从(1,1元素到(i,j)元素累加的最短路径距离，di,j表示第一幅图像第i块局部特征和第二幅图像第j块局部特征的特征距离，其值在[0,1)范围之内；最终两幅图像对齐后的局部特征距离为：

11、dl(a,b)＝sh,h

12、式中，a和b分别为第一幅图像和第二幅图像，dl(a,b)为两幅图像对齐后的局部特征距离。

13、优选地，描述所述第一网络分支生成的triplet loss的公式如下所示：

14、

15、式中，llt为第一网络分支生成的triplet loss，d'a,p，d'a,n分别为分块之后的样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。

16、优选地，描述所述第二网络分支生成的交叉熵损失的公式如下所示：

17、

18、式中，p代表行人的数量，k代表每个行人拥有k张照片，da,p，da,n分别代表样本图片与正样本和负样本的特征距离，之后取特征距离最大正样本对和特征距离最小的负样本对，α为偏置常数。

19、优选地，描述第三网络分支生成的交叉熵损失的公式如下所示：

20、

21、式中，lid为第三网络分支生成的交叉熵损失，m为类别的数量，yic为软标签，其值在(0，1)之间，pic为样本i属于类别c的预测概率，n为样本总数。

22、优选地，所述第四网络分支包括依次连接的池化层、dropout层、bn层、relu激活函数层、水平分块层和全连接层；

23、参考图3所示，所述全局特征图依次经过池化层池化、dropout层正则化、bn层归一化、relu激活函数层修正线性后和水平分块层分块后，生成多个水平局部特征图，所有水平局部特征图经全连接层连接后，计算交叉熵损失。

24、优选地，描述所述第四网络分支生成的交叉熵损失的公式如下所示：

25、

26、式中，lpid为第四网络分支生成的交叉熵损失，n为水平分块层分块的个数。

27、根据本发明的第二个方面，本发明提供一种电子设备，包括：

28、一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。

29、根据本发明的第三个方面，本发明提供一种计算机可读介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的基于双流分块网络的行人重识别方法的指令。

30、与现有技术相比，本发明具有以如下有益效果：

31、(1)本发明提供的一种基于双流分块网络的行人重识别方法通过采用双流分块网络，联合多个损失优化网络，使其网络模型的鲁棒性更好，实验准确度大幅提升。

32、(2)本发明提供的一种基于双流分块网络的行人重识别方法通过融合动态匹配的思想，使得结合有效缓解了行人姿态差异较大的难题。

33、(3)本发明提供的一种基于双流分块网络的行人重识别方法在基本不改变原始结构的情况下又不额外训练其他的辅助网络，识别精度又得到提升，使得本发明确保省时的同时还保证了精度。

技术特征：

1.一种基于双流分块网络的行人重识别方法，其特征在于，包括：将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，所述网络模型包括特征提取模块、双流分块模块和损失连接模块，所述特征提取模块对行人图像进行特征提取，生成全局特征图；

2.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，所述第一网络分支包括依次连接的池化层、bn层、relu激活函数层、分块层和动态匹配层；

3.根据权利要求2所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述动态匹配方法的公式为：

4.根据权利要求3所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第一网络分支生成的triplet loss的公式如下所示：

5.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第二网络分支生成的交叉熵损失的公式如下所示：

6.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述第三网络分支生成的交叉熵损失的公式如下所示：

7.根据权利要求1所述的一种基于双流分块网络的行人重识别方法，其特征在于，所述第四网络分支包括依次连接的池化层、dropout层、bn层、relu激活函数层、水平分块层和全连接层；

8.根据权利要求7所述的一种基于双流分块网络的行人重识别方法，其特征在于，描述所述第四网络分支生成的交叉熵损失的公式如下所示：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的基于双流分块网络的行人重识别方法的指令。

技术总结
本发明涉及一种基于双流分块网络的行人重识别方法，将多张具有同一人物的行人图像输入预先构建并训练好的网络模型中，生成行人重识别结果，网络模型包括特征提取模块、双流分块模块和损失连接模块，特征提取模块对行人图像进行特征提取，生成全局特征图；双流分块模块包括四个网络分支，第一网络分支用以生成每个局部特征动态匹配后的Triplet loss，第二网络分支用以生成全局特征图改变维度后的Triplet loss，第三网络分支用以生成全局特征图经全连接层处理后的交叉熵损失，第四网络分支用以生成每个水平分块特征经全连接层处理后的交叉熵损失；损失连接模块用以将四个网络分支生成的损失相加。与现有技术相比，本发明能够高效、准确地进行行人重识别。

技术研发人员：魏丹,梁丹阳,罗一平,王孝兰
受保护的技术使用者：上海工程技术大学
技术研发日：
技术公布日：2024/1/11