一种基于深度学习的行人重识别方法及系统

1.本发明涉及神经网络技术领域，尤其涉及一种基于深度学习的行人重识别方法及系统。


背景技术：

2.行人重识别(person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
3.然而现有的行人重识别方法只是对采集到的视频图像进行处理，然后进行图像的定位等操作，这种行人重识别方法效率比较低而且精确度也不高。基于此，本发明提供一种基于深度学习的行人重识别方法及系统。


技术实现要素：

4.本发明提供了一种基于深度学习的行人重识别方法，包括：
5.采集监控视频，从监控视频中分解出图像帧；
6.从图像帧中获取包含目标行人且无遮挡清晰的图像帧集，利用行人重识别模型的卷积神经网络对图像帧集进行特征提取，得到目标行人特征；
7.根据目标行人特征对行人重识别模型进行训练，确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化，使用优化后的行人重识别模型进行行人重识别。
8.如上所述的一种基于深度学习的行人重识别方法，其中，从监控视频中分解出的图像帧作为训练图像帧，这些训练图像集是获取到的图像集中随机划分出的一部分，训练图像集的选取应该是多样的，例如可以包括行人姿势多样性、行人尺度多样性和背景多样性。
9.如上所述的一种基于深度学习的行人重识别方法，其中，通过人工标注或自动标注的方式实现行人检测，对训练图像集进行预处理，得到包含目标行人且无遮挡清晰的图像帧集。
10.如上所述的一种基于深度学习的行人重识别方法，其中，根据目标行人特征对行人重识别模型进行训练，具体包括：
11.利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
12.利用行人重识别模型的神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；
13.基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据训练损失对行人重识别模型的参数进行优化。
14.如上所述的一种基于深度学习的行人重识别方法，其中，在得到调整后的行人局部特征后，基于该行人局部特征，利用行人重识别模型中的分类网络对图像中的行人id进行分类，进而得到行人重识别结果及对应的分类损失。这里的分类网络可以采用softmax分类器，对应得到softmax分类器的行人id分类损失，基于该分类损失，对行人重识别模型的参数进行优化，最终得到训练好的行人重识别模型。
15.如上所述的一种基于深度学习的行人重识别方法，其中，根据训练损失对所述行人重识别模型的参数进行优化，具体包括如下子步骤：
16.将行人重识别训练数据集输入预设的行人重识别模型进行处理，并基于处理结果计算第一损失函数；
17.对第一行人重识别训练数据集进行增强处理，将处理结果输入监督网络进行处理，计算第二损失函数；
18.根据第一损失函数和第二损失函数的计算结果调整行人重识别模型，得到目标行人重识别模型。
19.本发明提供一种基于深度学习的行人重识别系统，包括：
20.图像采集模块，用于采集监控视频，从监控视频中分解出图像帧；
21.目标行人特征提取模块，用于从图像帧中获取包含目标行人且无遮挡清晰的图像帧集，利用行人重识别模型的卷积神经网络对图像帧集进行特征提取，得到目标行人特征；
22.行人重识别模块，用于根据目标行人特征对行人重识别模型进行训练，确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化，使用优化后的行人重识别模型进行行人重识别。
23.如上所述的一种基于深度学习的行人重识别系统，其中，行人重识别模块，具体用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；利用行人重识别模型的神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据训练损失对行人重识别模型的参数进行优化。
24.如上所述的一种基于深度学习的行人重识别系统，其中，行人重识别模块，具体用于将行人重识别训练数据集输入预设的行人重识别模型进行处理，并基于处理结果计算第一损失函数；对第一行人重识别训练数据集进行增强处理，将处理结果输入监督网络进行处理，计算第二损失函数；根据第一损失函数和第二损失函数的计算结果调整行人重识别模型，得到目标行人重识别模型。
25.本发明实现的有益效果如下：采用本技术技术方案，能够精确进行行人重识别，提高行人识别精确度。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
27.图1是本发明实施例一提供的一种基于深度学习的行人重识别方法流程图。
具体实施方式
28.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.实施例一
30.如图1所示，本发明实施例一提供一种基于深度学习的行人重识别方法，包括：
31.步骤110、采集监控视频，从监控视频中分解出图像帧；
32.具体地，从某一路段摄像设备采集监控视频。从监控视频中分解出的图像帧作为训练图像帧，这些训练图像集可以是获取到的图像集中随机划分出的一部分，比如，随机划分出50％的图像集作为该训练图像集。为了提高行人重识别的准确性，该训练图像集的选取应该是多样的，例如可以包括行人姿势多样性、行人尺度多样性和背景多样性等。
33.步骤120、从图像帧中获取包含目标行人且无遮挡清晰的图像帧集，利用行人重识别模型的卷积神经网络对图像帧集进行特征提取，得到目标行人特征；
34.本技术实施例中，可以通过人工标注或自动标注的方式实现行人检测，对训练图像集进行预处理，得到包含目标行人且无遮挡清晰的图像帧集。在对本技术实施例的行人重识别模型进行训练时，可以先获取一定数量的行人图像，之后利用卷积网络对获取到的行人图像进行卷积处理，提取出行人图像对应的原始特征。这里的卷积网络可以采用残差网络resnet，resnet主要用于解决深度神经网络在训练中，随着网络深度的增加而出现的网络退化的问题，本技术实施例中主要用于进行目标特征的提取。
35.步骤130、根据目标行人特征对行人重识别模型进行训练，确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化，使用优化后的行人重识别模型进行行人重识别。
36.具体地，根据目标行人特征对行人重识别模型进行训练，具体包括：
37.步骤131、利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；
38.在行人重识别场景下，图像中的行人区域是我们更想要关注的图像区域，因此本技术实施例引入了注意力(attention)模块来作为训练行人重识别模型的基础，注意力机制模仿了生物观察行为的内部过程，是一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务和图像处理任务领域。在得到行人图像的原始特征后，利用注意力模块对原始特征进一步处理，提取出原始特征中对于行人重识别更有益更显著的特征，作为行人局部特征。
39.步骤132、利用行人重识别模型的神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整。
40.步骤133、基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据训练损失对行人重识别模型的参数进行优化；
41.在得到调整后的行人局部特征后，基于该行人局部特征，利用行人重识别模型中的分类网络对图像中的行人id进行分类，进而得到行人重识别结果及对应的分类损失。这里的分类网络可以采用softmax分类器，对应得到softmax分类器的行人id分类损失，基于该分类损失，对行人重识别模型的参数进行优化，最终得到训练好的行人重识别模型。
42.其中，根据训练损失对所述行人重识别模型的参数进行优化，具体包括如下子步骤：
43.步骤133-1、将行人重识别训练数据集输入预设的行人重识别模型进行处理，并基于处理结果计算第一损失函数；
44.预设的行人重识别模型可以采用目前已知的行人重识别网络结构或将来开发的网络结构，其都可以应用本技术的训练方法进行训练。第一损失函数可以使用适用于行人重识别模型训练的各种损失函数，例如对比损失、三元组损失、四元组损失等损失函数。
45.步骤133-2、对第一行人重识别训练数据集进行增强处理，将处理结果输入监督网络进行处理，计算第二损失函数。
46.增强处理包括对比度、亮度增强处理。增强处理还可以各种几何变换处理。监督网络用于从行人重识别训练数据集中提取监督信息，以辅助行人重识别模型的训练。该监督信息可以反映到监督网络的损失函数中，因而通过第二损失函数辅助行人重识别模型的训练，并且由于通过监督网络提供了额外的共性监督信息，因此以不同的训练数据集对训练结果合力形成正向贡献。
47.步骤133-3、根据第一损失函数和第二损失函数的计算结果调整行人重识别模型，得到目标行人重识别模型。
48.当计算第一损失函数和第二损失函数后，以第一损失函数和第二损失函数的计算结果调整预设的行人重识别模型，包括调整预设的行人重识别模型的网络参数和/或权重等，直到损失函数的计算结果达到设定阈值或者损失函数的计算结果不再减小为止，从而得到目标行人重识别模型。
49.实施例二
50.本发明实施例二提供一种基于深度学习的行人重识别系统，包括：
51.图像采集模块，用于采集监控视频，从监控视频中分解出图像帧；
52.目标行人特征提取模块，用于从图像帧中获取包含目标行人且无遮挡清晰的图像帧集，利用行人重识别模型的卷积神经网络对图像帧集进行特征提取，得到目标行人特征；
53.行人重识别模块，用于根据目标行人特征对行人重识别模型进行训练，确定行人重识别模型的训练损失，根据所述训练损失对所述行人重识别模型的参数进行优化，使用优化后的行人重识别模型进行行人重识别。
54.行人重识别模块，具体用于利用行人重识别模型的注意力模块对所述原始特征进行处理，得到多个行人局部特征；利用行人重识别模型的神经网络，确定各行人局部特征之间的相似性矩阵，并根据所述相似性矩阵对各行人局部特征进行调整；基于调整后的行人局部特征确定行人识别结果，根据所述行人识别结果确定行人重识别模型的训练损失，根据训练损失对行人重识别模型的参数进行优化。
55.行人重识别模块，具体还用于将行人重识别训练数据集输入预设的行人重识别模型进行处理，并基于处理结果计算第一损失函数；对第一行人重识别训练数据集进行增强
处理，将处理结果输入监督网络进行处理，计算第二损失函数；根据第一损失函数和第二损失函数的计算结果调整行人重识别模型，得到目标行人重识别模型。
56.与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行一种基于深度学习的行人重识别方法。
57.本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的一种基于深度学习的行人重识别方法。
58.在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific工ntegrated circuit，简称asic)、现场可编程门阵列(fieldprogrammable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
59.可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
60.存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
61.其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electrically eprom，简称eeprom)或闪存。
62.易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器(dynamic ram，简称dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double data ratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(directrambus ram，简称drram)。
63.本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
64.本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
65.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步
详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。