一种基于渐进式神经网络的跨模态行人再识别方法与流程

本发明属于计算机视觉技术领域，具体涉及一种基于渐进式神经网络架构搜索的红外与可见光跨模态行人再识别方法。

背景技术：

近年来，随着视频监控系统在的普及,行人再识别技术引起了学术界和工业界的广泛关注,是计算机视觉领域的一个研究热点。现有的行人再识别技术仅利用一般可见光图像进行识别，然而单一的可见光行人再识别只能解决充足光照条件下的行人识别任务，在夜间或者是光照不足的情况下，识别效果并不尽人意。

与传统的行人再识别有所不同，红外与可见光跨模态行人再识别技术可以利用行人的可见光(红外)图像去搜索跨设备下该行人的红外(可见光)图像。如今的摄像机大多都将红外和可见光功能配在了一起，其中的红外摄像机在白天和夜晚都能够获取行人的红外图像，这为红外-可见光跨模态行人重识别的研究提供了有利的条件。

然而，由于跨模态信息之间的匹配问题，导致红外与可见光跨模态行人再识别的识别效果较差。

技术实现要素：

本发明为克服上述现有技术中存在的问题，提出一种基于渐进式神经网络的跨模态行人再识别方法，以期能实现红外与可见光跨模态行人图像特征的有效融合，从而更好地构建跨模态特征空间，进而提高红外与可见光行人再识别的准确度。

本发明为解决技术问题采用如下技术方案：

本发明一种基于渐进式神经网络的跨模态行人再识别方法的特点包括如下步骤：

步骤1、获取红外行人图像和可见光行人图像，并构建红外与可见光行人再识别数据集，对数据集内所有图像进行相同的预处理，得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集；

步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络，并作为特征提取模块，分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征，从而作为所述特征提取模块的输出；

步骤3、构建特征嵌入模块的初始网络结构，并使用渐进式神经网络架构搜索的方法，搜索特征嵌入模块的最佳网络结构；

步骤3.1、构建所述特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成；

所述红外分支网络中的第i层记为xi，所述可见光分支网络中的第j层为yj，所述第i层xi和第j层yj作为候选的连接层，并是卷积层、激活函数层、池化层、全连接层中的任意一种，其中，i＝1,2,...,t，j＝1,2,...,t，t是分支网络的最大层数；

步骤3.2、构建基于张量编码的动态超网络，用于为所述特征嵌入模块生成初期权重；

步骤3.3、采用基于序列模型优化的方法训练融合连接模型；

步骤3.3.1、初始化融合连接模型：

a、所述融合连接模型的损失函数采用三元组损失函数；

b、设定搜索迭代最大次数为es，最大融合连接数为lm，训练次数为et；

定义当前连接数为l，并初始化l＝2；

步骤3.3.2、执行当前连接数为l的连接操作：

所述连接操作是从将所述红外分支网络中每一层分别与所述可见光分支网络的每一层相连，从而得到t×t种连接结构所构成的特征嵌入模块的网络结构；

步骤3.3.3、使用所述训练集训练每一种连接结构所构成的特征嵌入模块的网络结构，共训练et次，再使用验证集每一种网络结构的准确度，选取准确度最大的网络结构作为当前连接数为l的最优网络结构；

步骤3.3.4、将l+1赋值给l后，判断l>lm是否成立，若成立，则表示获得所述特征嵌入模块的最佳网络结构，否则，执行步骤3.3.5；

步骤3.3.5、遍历所述红外分支网络和所述可见光分支网络中其余未连接的所有层，并依次选择一层与所述最优网络结构相连，从而得到当前连接数为l的所有网络结构；

步骤3.3.6、返回步骤3.3.3执行；

步骤4、由所述特征提取模块和所述特征嵌入模块的最佳网络结构构成红外与可见光行人再识别网络，并用测试集进行红外可见光跨模态行人再识别。

与已有技术相比，本发明有益效果体现在：

1.本发明利用神经网络架构搜索的方法，避免了依照经验手工设计跨模态特征嵌入模块的网络结构，实现了红外与可见光特征融合的高效率，取得了红外可见光跨模态行人再识别的较好识别效果。

2.本发明基于序列模型优化的方法，减小了神经网络架构搜索所需的搜索空间，降低了网络架构搜索的计算量，避免了传统神经网络架构搜索所需的昂贵硬件配置和漫长的训练时间。

3.本发明采用超网络hypernet为特征嵌入模块生成初期权重，减少了学习权重的数量，使得最优融合架构搜索更加精准。

附图说明

图1为本发明红外与可见光跨模态行人再识别网络的结构图；

图2为本发明红外与可见光行人特征融合的神经网络架构搜索流程图；

图3为本发明特征嵌入模块结构图。

具体实施方式

本实施例中，一种基于渐进式神经网络的跨模态行人再识别方法，是先将红外可见光行人数据集进行预处理，然后将红外行人图像和可见光行人图像分别输入到两个相同的resnet-50网络中逐层提取特征，最后使用渐进式神经网络架构的方法搜索最佳的特征嵌入网络结构，具体的说，如图1所示，是按如下步骤进行：

步骤1、获取红外行人图像和可见光行人图像，并构建红外与可见光行人再识别数据集，对数据集内所有图像进行相同的预处理，得到预处理后的行人再识别数据集后划分为训练集、测试集和验证集；

在本实施例中，采用红外可见光行人数据集sysu-mm01训练和评估模型，该数据集包括来自6个摄像机的491个有效行人id的rgb和ir图像，给出了总共287,628张rgb图像和15,792张ir图像，选取包含296个行人id的16,679张rgb图像和8,924张ir图像进行训练；选取96个行人id的3803张ir图像和301张rgb图像用于测试；其余99个行人id的图像用作验证集；

步骤2、使用两个结构相同的预训练模型来构建双路卷积神经网络，并作为特征提取模块，分别用于提取预处理后的行人再识别数据集中红外行人图像特征和可见光行人图像特征，从而作为特征提取模块的输出；

本实施例中，选择的预训练模型为resnet-50，包括5个下采样块和1个平均池化层，两个分支网络间实行参数共享；

步骤3、构建特征嵌入模块的初始网络结构，并使用渐进式神经网络架构搜索的方法，搜索特征嵌入模块的最佳网络结构；

步骤3.1、构建特征嵌入模块的初始网络结构是由相同且独立的红外分支网络和可见光分支网络以及两个分支网络间的融合连接模型构成；

特征嵌入模块的初始网络结构，红外分支与可见光分支间的融合连接由神经网络架构搜索确定，融合操作为加权加法融合；

如图3所示，红外分支网络中的第i层记为xi，可见光分支网络中的第j层为yj，第i层xi和第j层yj作为候选的连接层，并是卷积层、激活函数层、池化层、全连接层中的任意一种，其中，i＝1,2,...,t，j＝1,2,...,t，t是分支网络的最大层数；

步骤3.2、构建基于张量编码的动态超网络hypernet，用于为特征嵌入模块生成初期权重，为早期迭代搜索提供初步指导，避免在早期网络架构搜索中仅基于部分观察做出有偏假设，使得寻找最优融合架构的搜索更加精准；

步骤3.3、采用基于序列模型优化的方法训练融合连接模型，流程如图2所示；

步骤3.3.1、初始化融合连接模型：

a、融合连接模型的损失函数采用三元组损失函数；

b、设定搜索迭代最大次数es＝27，最大融合连接数lm＝4，训练次数为et＝10；

定义当前连接数为l，并初始化l＝2；

步骤3.3.2、执行当前连接数为l的连接操作：

连接操作是从将红外分支网络中每一层分别与可见光分支网络的每一层相连，从而得到t×t种连接结构所构成的特征嵌入模块的网络结构；

本实施例中，融合连接后经过激活函数relu处理合并为一个输出，当l＝2时，连接红外分支的最后一层x5与可见光分支的最后一层y5，然后遍历连接数为l＝2共4×4种可能连接：x5与y5、x5与y4、x5与y3、……、x4与y5、x4与y4、.......、x1与y1；

步骤3.3.3、使用训练集训练每一种连接结构所构成的特征嵌入模块的网络结构，共训练et次，再使用验证集每一种网络结构的准确度，选取准确度最大的网络结构作为当前连接数为l的最优网络结构；

使用代理函数s(θ,o)作为选出最优网络结构的依据，对每一种连接形成的特征嵌入架构θ，使用训练集图像训练et＝10次，然后使用验证集得到当前准确度o，若当前架构的准确度大于上一次，则更新代理函数s(θ,o)，最终保留下准确度o最高的特征嵌入架构θ；

步骤3.3.4、将l+1赋值给l后，判断l>lm是否成立，若成立，则表示获得特征嵌入模块的最佳网络结构，否则，执行步骤3.3.5；

当连接数增加为l＝3，l>lm不成立，执行步骤3.3.5；当连接数增加为l＝4，l>lm不成立，执行步骤3.3.5；当连接数l＝5，循环结束，从代理函数s(θ,o)中得到特征嵌入模块的最佳网络结构；

步骤3.3.5、遍历红外分支网络和可见光分支网络中其余未连接的所有层，并依次选择一层与最优网络结构相连，从而得到当前连接数为l的所有网络结构；

连接数为l＝3时，遍历新增12种可能的特征嵌入模块网络结构；连接数为连接数为l＝4时，遍历新增9种可能的特征嵌入模块网络结构；

步骤3.3.6、返回步骤3.3.3执行；

步骤4、由特征提取模块和特征嵌入模块的最佳网络结构构成红外与可见光行人再识别网络，并用于红外可见光跨模态行人再识别；

本实施例中，使用测试集96个行人id的图像，选取3803张ir图像用作query，301张rgb图像用作gallery，进行红外与可见光跨模态行人再识别。