一种基于小波变换的跨分辨率行人重识别方法与流程

1.本发明涉及智能监控技术领域，尤其是一种基于小波变换的跨分辨率行人重识别方法。


背景技术：

2.行人重识别是一项利用计算机视觉技术检索跨相机下图像或者视频序列中是否存在特定行人的技术。由于其在公共安全领域中的重要作用，行人重识别技术被广泛用于城市交通监控平台、大型商场、校园、大型超市、银行以及一些重要保密部门等平台。然而目前的行人重识别技术的研究重点仍放在匹配高分辨率行人图像或者视频序列中的目标行人，也即现有的行人重识别技术基于所有行人图像的分辨率都足够高这一假设来进行行人检索。但在现实生活中，由于成像设备的质量问题、明暗光线、行人距离相机较远等不利因素，导致摄像机捕获到的行人图像模糊不清，分辨率低下。上述情况会导致行人身份识别的准确度大打折扣。


技术实现要素：

3.为了克服上述现有技术中的缺陷，本发明提供一种基于小波变换的跨分辨率行人重识别方法，通过对待识别图像进行分辨率提升，以解决跨分辨率情况下的行人匹配问题，从而提高模型识别性能，使行人重识别的准确率得到提升。
4.为实现上述目的，本发明采用以下技术方案，包括：一种基于小波变换的跨分辨率行人重识别方法，利用识别模型对待识别图像中的行人身份进行识别；所述识别模型包括超分辨率网络、特征提取网络、身份预测网络；待识别图像经超分辨率网络进行处理后得到超分辨率行人图像，超分辨率行人图像经特征提取网络进行特征提取得到超分辨率行人特征，身份预测网络根据超分辨率行人特征预测行人的身份，得到该待识别图像中的行人预测身份；所述超分辨率网络包括：小波变换模块、低频外观增强模块、高频细节增强模块、整体增强模块；所述小波变换模块用于对待识别图像进行小波变换，得到该待识别图像的低频分量和高频分量；所述低频外观增强模块用于对低频分量即行人外轮廓信息进行增强；所述高频细节增强模块用于对高频分量即行人细节信息进行增强；所述整体增强模块用于对低分辨率行人图像、增强后的低频分量、增强后的高频分量进行融合，得到该待识别图像的超分辨率行人图像。
5.优选的，所述识别模型的训练方式如下所示：s1，获取对应的即同相机角度下的高分辨率行人图像ih和低分辨率行人图像ir，构建对应的高分辨率行人图像数据集ch和低分辨率行人图像数据集cr；s2，利用超分辨率网络对低分辨率行人图像数据集cr中的低分辨率行人图像ir进行处理，得到该低分辨率行人图像ir的超分辨率行人图像is；
步骤s2的具体过程如下所示：s21，小波变换模块对低分辨率行人图像数据集cr中的低分辨率行人图像ir进行小波变换，得到该低分辨率行人图像ir的低频分量ir_lf和高频分量ir_hf；s22，将该低频分量ir_lf输入至低频外观增强模块，得到增强后的低频分量ir_lf’；将该高频分量ir_hf输入至高频细节增强模块，得到增强后的高频分量ir_hf’；s23，将低分辨率行人图像ir、增强后的低频分量ir_lf’、增强后的高频分量ir_hf’输入至整体增强模块，得到该低分辨率行人图像ir的超分辨率行人图像is；s3，特征提取网络包括参数共享且结构相同的两个子网络，分别为第一子网络和第二子网络；利用第一子网络提取超分辨率行人图像is中的行人特征，得到超分辨率行人特征fs；利用第二子网络提取高分辨率行人图像数据集ch中对应的高分辨率行人图像ih的行人特征，得到高分辨率行人特征fh；s4，身份预测网络根据超分辨率行人特征fs，对该低分辨率行人图像ir中的行人身份进行预测，得到低分辨率行人图像ir中的行人预测身份；s5，构建识别模型的总损失函数t，总损失函数t包括超分辨率网络的损失函数t1、特征提取网络的损失函数t2、身份预测网络的损失函数t3；所述超分辨率网络的损失函数t1用于表示处理得到的该低分辨率行人图像ir的超分辨率行人图像is与对应的高分辨率行人图像ih之间的误差；所述特征提取网络的损失函数t2用于表示提取得到的超分辨率行人特征fs与对应的高分辨率行人特征fh之间的误差；所述身份预测网络的损失函数t3用于表示该低分辨率行人图像ir中的行人预测身份与行人真实身份之间的误差；s6，利用高分辨率行人图像数据集ch和低分辨率行人图像数据集cr对识别模型进行训练，在训练过程中，更新识别模型的网络参数，使总损失函数t趋于稳定。
6.优选的，小波变换的具体方式如下所示：；其中，dwt(.)表示小波变换函数，haar为小波变换时所使用的基函数，ca、cd、ch、cv均为低分辨率行人图像ir经小波变换得到的分量，ca为近似分量，ch为水平分量、cv为垂直分量、cd为对角分量；ir_lf为低分辨率行人图像ir的低频分量，ir_hf为低分辨率行人图像ir的高频分量。
7.优选的，所述低频外观增强模块采用u-net网络结构；所述高频细节增强模块和整体增强模块均采用带有残差连接的cnn网络结构。
8.优选的，所述特征提取网络的两个子网络均采用带有通道注意力机制的resnet50网络，即se-resnet50网络。
9.优选的，所述身份预测网络包括全局平均池化层、全连接层；先对超分辨率行人特征进行全局平均池化层操作，再送入全连接层识别行人身份。
10.优选的，超分辨率网络的损失函数t1为：；其中，参与模型训练的低分辨率行人图像数据集cr中的图像数量和高分辨率行人图像数据集ch中的图像数量均为n；低分辨率行人图像数据集cr中第i张低分辨率行人图像ir(i)与高分辨率行人图像数据集ch中的第i张高分辨率行人图像ih(i)相对应；is(i)表示由第i张低分辨率行人图像ir(i)转换得到的超分辨率行人图像。
11.优选的，特征提取网络的损失函数t2为：；其中，参与模型训练的低分辨率行人图像数据集cr中的图像数量和高分辨率行人图像数据集ch中的图像数量均为n；低分辨率行人图像数据集cr中第i张低分辨率行人图像ir(i)与高分辨率行人图像数据集ch中的第i张高分辨率行人图像ih(i)相对应；fs(i)表示由第i张低分辨率行人图像ir(i)转换并提取得到的超分辨率行人特征；fh(i)表示由相对应的第i张高分辨率行人图像ih(i)提取得到的高分辨率行人特征。
12.优选的，身份预测网络的损失函数t3为：；其中，参与模型训练的低分辨率行人图像数据集cr中的图像数量为n；行人身份的类别总数为m，c表示第c类行人身份类别；sign(.)为符号函数；y(i)为第i张低分辨率行人图像中的行人真实身份的类别号；p(i|c)为第i张低分辨率行人图像中的行人预测身份属于第c类行人身份类别的概率。
13.优选的，总损失函数t=t3+b1*t1+b2*t2；其中，b1表示超分辨率网络的损失函数t1的权值参数，b2表示特征提取网络的损失函数t2的权值参数；利用adam优化策略对识别模型进行训练。
14.本发明的优点在于：（1）本发明利用超分辨率技术对行人图像的分辨率进行提升。利用小波变换的多分辨率分析原理从行人图像的多个角度出发增强行人的重要视觉信息，有利于后续的识别任务。同时，小波变换是一种时频分析方法，将时域信号转换到频域中进行处理存在以下好处：首先rgb域与频域之间的相互转换不存在信息丢失；其次频域的能量排布更加紧凑，每个通道都代表了不同频带的信息，可以用卷积进一步融合。
15.（2）本发明利用特征提取网络分别对超分辨恢复后的超分辨率行人图像与对应的高分辨率行人图像进行行人特征提取，采用高分辨率行人图像进行监督，获得了更具鉴别性的超分辨率行人特征。
16.（3）由于经由超分辨恢复后的超分辨率行人图像与真实的高分辨率行人图像间存
在域间差异，易产生协变量移位现象，因此，本发明引入了以高分辨率行人图像为指导的特征提取网络的损失函数，通过计算高分辨率行人特征与低分辨率行人特征之间的差值，在不同分辨率行人图像间传递知识，以缩小超分辨率行人特征和高分辨率行人特征间的差异，从而增强特征提取网络的学习能力，提取到更具鉴别性的超分辨率行人特征。
17.（4）本发明在特征提取网络中引入了通道注意力机制，通道注意力机制能够通过捕获各个特征通道间的关联性，自适应地为每个特征通道分配相应的权值，以关注信息量更为丰富的通道同时抑制一些干扰冗余信息，从而获得更具鉴别性、更具鲁棒性的行人特征。通道注意力机制能够使特征提取网络更加关注图像中的行人部分同时排除背景等其他因素的干扰，起到放大前景同时抑制背景的作用。
18.本发明实用性强，可应用于安防领域，如公安侦查、车站安检等场景。当确定了目标行人后，可根据目标行人的高分辨率图片，去监控视频库中目标行人出现的低分辨率视频片段，对目标行人的活动轨迹进行追踪。
附图说明
19.图1为本发明识别模型的结构图。
20.图2为本发明识别模型的训练方法流程。
21.图3为本发明超分辨率网络的结构图。
具体实施方式
22.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.如图1所示，一种基于小波变换的跨分辨率行人重识别方法，利用识别模型对待识别图像中的行人身份进行识别。
24.所述识别模型包括超分辨率网络、特征提取网络、身份预测网络；待识别图像经超分辨率网络进行处理后得到超分辨率行人图像，超分辨率行人图像经特征提取网络进行特征提取得到超分辨率行人特征，身份预测网络根据超分辨率行人特征预测行人的身份，得到该待识别图像中的行人预测身份；如图1和图2所示，所述识别模型的训练过程为：对现有的、公开的高分辨率行人图像进行预处理，从而得到相对应的高分辨率行人图像数据集和低分辨率行人图像数据集；利用小波变换的多频谱分析原理，构建基于小波变换的超分辨网络，分别从低分辨率行人图像及该低分辨率行人图像的高频分量和低频分量出发对分辨率进行提升；利用注意力机制构建特征提取网络，分别获取高分辨率行人特征和超分辨率行人特征；基于超分辨率行人特征预测行人身份；在训练过程中，选择适当的损失函数与优化函数用于网络参数的更新。
25.如图2所示，所述识别模型的训练，具体包括以下步骤：s1，获取对应的即同相机角度下的高分辨率行人图像ih和低分辨率行人图像ir，构建对应的高分辨率行人图像数据集ch和低分辨率行人图像数据集cr；
本实施例中，由5对同相机角度下的相机拍摄的得到1467个行人，共14000多张高分辨率行人图像，构成原始数据集c。从原始数据集c中，选择每对相机中的其中一个视角的高分辨率行人图像，并从下采样因子集合{2,3,4}中任意选取某一下采样因子对所选择的该高分辨率行人图像进行下采样，得到相应的低分辨率行人图像，构建低分辨率行人图像数据集cr。每对相机中的另外一个视角的高分辨率行人图像不做处理，构成高分辨率行人图像数据集ch。
26.同相机角度是指：相机拍摄的角度相同、画面相同。每对同相机角度下的相机拍摄的图像可认为是同一张图像。本发明也可以直接采用一个相机拍摄高分辨率行人图像，直接将该高分辨率行人图像进行下采样处理后得到低分辨率行人图像，从而获取对应的即同相机角度下的高分辨率行人图像和低分辨率行人图像。
27.s2，利用小波变换的多频谱分析原理，构建基于小波变换的超分辨网络；如图3所示，所述超分辨率网络包括：小波变换模块、低频外观增强模块、高频细节增强模块、整体增强模块；所述小波变换模块用于对待识别图像进行小波变换，得到该待识别图像的低频分量和高频分量；所述低频外观增强模块用于对低频分量进行增强，低频分量主要包含行人外轮廓信息；所述高频细节增强模块用于对高频分量进行增强，高频分量主要包含行人细节信息；所述整体增强模块用于对低分辨率行人图像、增强后的低频分量、增强后的高频分量进行融合，得到该待识别图像的超分辨率行人图像。
28.其中，低频外观增强模块采用u-net网络结构，沿输出输出方向依次连接有3个conv+relu层，3个dconv+relu层1个conv层。高频细节增强模块采用带有残差连接的cnn网络结构，沿输出输出方向依次连接有5个conv+relu层，1个conv层，1个concat层。整体增强模块采用带有残差连接的cnn网络结构，沿输出输出方向依次连接有6个conv+bn+relu层，1个concat层。其中，conv表示卷积层，relu表示激活层，bn是批标准归一化层，concat表示连接层。
29.步骤s2的具体过程如下所示：s21，对低分辨率行人图像数据集cr中的低分辨率行人图像ir进行小波变换，得到该低分辨率行人图像ir的低频分量ir_lf和高频分量ir_hf。
30.小波变换的具体方式如下所示：；其中，小波变换采用哈尔小波，haar为小波变换时所使用的基函数，ca、cd、ch、cv均为低分辨率行人图像ir经小波变换得到的分量，ca为近似分量，ch为水平分量、cv为垂直分量、cd为对角分量；ir_lf为低分辨率行人图像ir的低频分量，ir_hf为低分辨率行人图像ir的高频分量。
31.s22，将低分辨率行人图像ir低频分量ir_lf输入至低频外观增强模块，得到增强后的低频分量ir_lf’。同时，将低分辨率行人图像ir高频分量ir_hf输入至高频细节增强模块，得到增强后的高频分量ir_hf’。
32.s23，将低分辨率行人图像ir、增强后的低频分量ir_lf’、增强后的高频分量ir_
hf’输入至整体增强模块q，用于对低分辨率行人图像ir进行最终的分辨率提升，得到超分辨率行人图像is。
33.本发明中，通过小波变换的多频谱分析原理保证了行人高频细节信息的恢复，同时对行人低频外轮廓信息进行增强，提高低分辨率行人图像的分辨率，得到超分辨率行人图像，为跨分辨率行人身份识别任务带来了足够的好处。
34.s3，利用通道注意力机制，构建基于通道注意力机制的特征提取网络。
35.如图1所示，所述特征提取网络包括参数共享且结构相同的两个子网络，分别为第一子网络和第二子网络。该两个子网络均采用带有通道注意力机制的se-resnet50作为基本网络骨干，第一子网络和第二子网络分别用于提取超分辨率行人图像is和高分辨率行人图像ih中的行人特征。
36.基于通道注意力机制的特征提取网络更加关注特征各通道间的交互并给予各个通道相应的权值，使网络能够充分利用信息量丰富的特征通道同时抑制无关的干扰信息，从而捕获更具辨别性的特征。
37.步骤s3的具体过程如下所示：s31，将步骤s2得到的超分辨率行人图像is输入至第一子网络进行超分辨率行人特征的提取，得到超分辨率行人特征fs。
38.s32，将高分辨率行人图像数据集ch中对应的高分辨率行人图像ih输入至第二子网络进行高分辨率行人特征的提取，得到高分辨率行人特征fh。
39.s4，身份预测网络根据超分辨率行人特征fs对低分辨率行人图像ir中的行人身份进行预测。如图1所示，所述身份预测网络包括全局平均池化层gap、全连接层fc。先将超分辨率行人特征fs进行全局平均池化层操作，然后再送入至全连接层fc进行行人身份的预测，得到低分辨率行人图像ir中的行人预测身份。
40.s5，构建识别模型的总损失函数t，总损失函数t包括超分辨率网络的损失函数t1、特征提取网络的损失函数t2、身份预测网络的损失函数t3；所述超分辨率网络的损失函数t1用于表示处理得到的该低分辨率行人图像ir的超分辨率行人图像is与对应的高分辨率行人图像ih之间的误差；所述特征提取网络的损失函数t2用于表示提取得到的超分辨率行人特征fs与对应的高分辨率行人特征fh之间的误差；所述身份预测网络的损失函数t3用于表示该低分辨率行人图像ir中的行人预测身份与行人真实身份之间的误差；步骤s5的具体过程如下所示：s51，通过高分辨率行人图像的约束，利用均方误差损失函数指导低分辨率行人图像的分辨率提升过程，超分辨率网络的损失函数t1即均方误差损失函数为：；其中，参与模型训练的低分辨率行人图像数据集cr中的图像数量和高分辨率行人图像数据集ch中的图像数量均为n，is(i)表示由低分辨率行人图像数据集cr中第i张低分辨率行人图像ir(i)转换得到的超分辨率行人图像；ih(i)表示高分辨率行人图像数据集ch中与第i张低分辨率行人图像ir(i)相对应的第i张高分辨率行人图像。
41.s52，通过高分辨率行人图像进行监督，利用l1损失函数计算高分辨率行人特征fh和超分辨率行人特征fs之间的差值，以弱化高分辨率行人特征fh和超分辨率行人特征fs之间的特征差异，从而使得特征提取网络学习到更具甄别力的行人特征提取能力，特征提取网络的损失函数t2即l1损失函数为：；其中，fs(i)表示由低分辨率行人图像数据集cr中第i张低分辨率行人图像ir(i)转换并提取得到的超分辨率行人特征；fh(i)表示由高分辨率行人图像数据集ch中相对应的第i张高分辨率行人图像ih(i)提取得到的高分辨率行人特征。
42.s53，通过标准的交叉熵损失函数指导行人身份的预测过程，身份预测网络的损失函数t3即交叉熵损失函数为：；其中，参与模型训练的低分辨率行人图像数据集cr中的图像数量为n；行人身份的类别总数为m，c表示第c类行人身份类别；sign(.)为符号函数；y(i)为第i张低分辨率行人图像中的行人真实身份的类别号；p(i|c)为第i张低分辨率行人图像中的行人预测身份属于第c类行人身份类别的概率。
43.s54，识别模型的总损失函数t为：t=t3+b1*t1+b2*t2；其中，b1表示超分辨率网络的损失函数t1的权值参数，b2表示特征提取网络的损失函数t2的权值参数。
44.s6，利用高分辨率行人图像数据集ch和低分辨率行人图像数据集cr对识别模型的训练，在训练过程中，更新识别模型的网络参数，使总损失函数t趋于稳定。其中，利用adam优化策略对识别模型进行训练，直至总损失函数t收敛，从而得到较优的识别模型。
45.以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。