行人重识别的方法、系统、电子设备和存储介质与流程

1.本技术属于图像处理领域，尤其行人重识别的方法、系统、电子设备和存储介质。


背景技术：

2.行人重识别也称行人再识别，是利用计算机视觉技术判断图像或视频序列中是否存在特定行人的技术。与人脸、指纹等识别技术相比，行人重识别技术具有非接触、远距离、无需主动配合的特点，在安防监控、智慧城市等领域具有广泛应用。
3.目前主流的行人重识别算法主要在特定的公开数据集上优化得到，在几个特定公开数据集上取得了较好的识别率。然而，这些算法基于卷积神经网络提取rgb彩色行人图像全局/局部特征来识别，其主要特征为颜色特征。在夜间低光照情况下摄像头采集的图像颜色特征较弱或行人颜色特征改变的情况下，会造成行人重识别精度严重的下降。


技术实现要素：

4.本发明实施例的主要目的在于提供了行人重识别的方法、系统、电子设备和存储介质，通过黑白图像的训练降低了算法对颜色特征的依赖而更多关注行人外形、纹理等特征，降低了算法对行人颜色特征的依赖性，在夜间颜色缺失或颜色变换等常规行人重识别方案有效性较差的情况下，有效提高了行人重识别识别率。
5.第一方面，提供了行人重识别的方法，所述方法包括：
6.获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；
7.通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；
8.通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；
9.通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
10.在一个可能的实现方式中，所述通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，包括；
11.将第一行人图像数据中的黑白图像调整为高为384像素、宽为128像素；
12.通过主干网络为resnet100的第一特征提取网络对第一行人图像数据中的图像进行特征提取，获取已训练第一特征提取网络。
13.在另一个可能的实现方式中，所述通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，包括：
14.将第二行人图像数据中的彩色图像调整为高为382像素、宽为128像素；
15.分别经主干网络为resnet100的第一特征提取网络和主干网络为resnet50的第二
特征提取网络进行特征提取，获取已训练第二特征提取网络。
16.在另一个可能的实现方式中，所述通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别，包括：
17.将所述待识别图像调整为高为382像素、宽为128像素；
18.通过所述已训练第二特征提取网络对已调整待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
19.第二方面，提供了行人重识别的系统，所述系统包括：
20.行人图像数据获取模块，用于获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；
21.第一特征提取网络训练模块，用于通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；
22.第二特征提取网络训练模块，用于通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；
23.图像识别模块，用于通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
24.在一个可能的实现方式中，所述通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，包括；
25.将第一行人图像数据中的黑白图像调整为高为384像素、宽为128像素；
26.通过主干网络为resnet100的第一特征提取网络对第一行人图像数据中的图像进行特征提取，获取已训练第一特征提取网络。
27.在另一个可能的实现方式中，所述通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，包括：
28.将第二行人图像数据中的彩色图像调整为高为382像素、宽为128像素；
29.分别经主干网络为resnet100的第一特征提取网络和主干网络为resnet50的第二特征提取网络进行特征提取，获取已训练第二特征提取网络。
30.在另一个可能的实现方式中，所述通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别，包括：
31.将所述待识别图像调整为高为382像素、宽为128像素；
32.通过所述已训练第二特征提取网络对已调整待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
33.第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面提供的行人重识别的方法。
34.第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面提供的行人重识别的方法。
附图说明
35.为了更清楚地说明本技术实施例中的技术方案，下面将对本技术实施例描述中所
需要使用的附图作简单地介绍。
36.图1为本发明一个实施例提供的行人重识别的方法的流程图；
37.图2为本发明一个实施例提供的行人重识别的系统的结构图；
38.图3为本发明一种电子设备的实体结构示意图。
39.具体实现方式
40.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能解释为对本发明的限制。
41.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、模块、组件和/或它们的组。应该理解，当我们称模块被“连接”或“耦接”到另一模块时，它可以直接连接或耦接到其他模块，或者也可以存在中间模块。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
42.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实现方式作进一步地详细描述。
43.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如和解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
44.如图1所示为本发明一个实施例提供的行人重识别的方法的流程图，所述方法包括：
45.步骤101，获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；
46.步骤102，通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；
47.步骤103，通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；
48.步骤104，通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
49.在本发明实施例中，采集不同行人在不同相机位置的彩色rgb行人图像若干张，按1：1分成第一行人图像数据和第二行人图像数据，通过图像工具如opencv等，将第一行人图像数据里的彩色图像转换为黑白图像。
50.在具体的训练过程中，将第一行人图像数据中的黑白图像调整为高为384像素、宽为128像素，主干网络为resnet100的第一特征提取网络对第一行人图像数据中的图像进行特征提取，并调整特征维度后输出2048维行人特征f。该训练过程利用pytorch搭建网络，采用adam优化策略，学习率设置为0.0005，批处理大小为8x8，训练损失为交叉熵分类损失与三元组损失之和。确保训练后第一特征提取网络在行人数据集上具有较高的识别率。
51.在联合训练时，将第二行人图像数据中的彩色图像调整为高为382像素、宽为128像素，分别经主干网络为resnet100的第一特征提取网络和主干网络为resnet50的第二特征提取网络进行特征提取，并调整特征维度后分别输出2048维行人特征f1和f2。其中第一特征提取网络的权重由已训练第一特征提取网络得到，在联合训练过程中不更新第一特征提取网络的权重参数。联合训练过程利用pytorch搭建网络，采用adam优化策略，学习率设置为0.0005，批处理大小为8x8，训练总损失包括第二特征提取网络的分类损失和两个特征提取网络特征值之间的学习损失。其中第二特征提取网络的分类损失包括交叉熵分类损失和三元组损失，学习损失为两个网络输出对应的所有特征值之间的mse损失。
52.通过联合训练获取的已训练第二特征提取网络，将待识别图像调整为高为382像素、宽为128像素，将调整后的待识别图像输入已训练第二特征提取网络进行特征提取，将提取的特征与预设的数据库中的图像的特征进行比对，完成图像识别。
53.本发明实施例，获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络；通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络；通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。通过黑白图像的训练降低了算法对颜色特征的依赖而更多关注行人外形、纹理等特征，降低了算法对行人颜色特征的依赖性，在夜间颜色缺失或颜色变换等常规行人重识别方案有效性较差的情况下，有效提高了行人重识别识别率。
54.如图2所示为本发明一个实施例提供的行人重识别的系统的结构图，所述系统包括：
55.行人图像数据获取模块201，用于获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；
56.第一特征提取网络训练模块202，用于通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；
57.第二特征提取网络训练模块203，用于通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；
58.图像识别模块204，用于通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
59.在本发明实施例中，采集不同行人在不同相机位置的彩色rgb行人图像若干张，按1：1分成第一行人图像数据和第二行人图像数据，通过图像工具如opencv等，将第一行人图像数据里的彩色图像转换为黑白图像。
60.在具体的训练过程中，将第一行人图像数据中的黑白图像调整为高为384像素、宽为128像素，主干网络为resnet100的第一特征提取网络对第一行人图像数据中的图像进行特征提取，并调整特征维度后输出2048维行人特征f。该训练过程利用pytorch搭建网络，采用adam优化策略，学习率设置为0.0005，批处理大小为8x8，训练损失为交叉熵分类损失与
三元组损失之和。确保训练后第一特征提取网络在行人数据集上具有较高的识别率。
61.在联合训练时，将第二行人图像数据中的彩色图像调整为高为382像素、宽为128像素，分别经主干网络为resnet100的第一特征提取网络和主干网络为resnet50的第二特征提取网络进行特征提取，并调整特征维度后分别输出2048维行人特征f1和f2。其中第一特征提取网络的权重由已训练第一特征提取网络得到，在联合训练过程中不更新第一特征提取网络的权重参数。联合训练过程利用pytorch搭建网络，采用adam优化策略，学习率设置为0.0005，批处理大小为8x8，训练总损失包括第二特征提取网络的分类损失和两个特征提取网络特征值之间的学习损失。其中第二特征提取网络的分类损失包括交叉熵分类损失和三元组损失，学习损失为两个网络输出对应的所有特征值之间的mse损失。
62.通过联合训练获取的已训练第二特征提取网络，将待识别图像调整为高为382像素、宽为128像素，将调整后的待识别图像输入已训练第二特征提取网络进行特征提取，将提取的特征与预设的数据库中的图像的特征进行比对，完成图像识别。
63.本发明实施例，获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络；通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络；通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。通过黑白图像的训练降低了算法对颜色特征的依赖而更多关注行人外形、纹理等特征，降低了算法对行人颜色特征的依赖性，在夜间颜色缺失或颜色变换等常规行人重识别方案有效性较差的情况下，有效提高了行人重识别识别率。
64.图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(communications interface)302、存储器(memory)303和通信总线304，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的逻辑指令，以执行行人重识别的方法，该方法包括：获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
65.此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以
存储程序代码的介质。
66.另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的行人重识别的方法，该方法包括：获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
67.又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的行人重识别的方法，该方法包括：获取第一行人图像数据和第二行人图像数据，所述第一行人图像数据为黑白图像数据，所述第二行人图像数据为彩色图像数据；通过所述第一行人图像数据对第一特征提取网络进行训练，获取已训练第一特征提取网络，所述第一特征提取网络为resnet100的特征提取网络；通过所述第二行人图像数据对所述已训练第一特征提取网络和第二特征提取网络进行联合训练，获取已训练第二特征提取网络，所述第二特征提取网络为resnet50的特征提取网络；通过所述已训练第二特征提取网络对待识别图像进行特征提取，并根据提取的特征从预设的数据库中进行身份识别。
68.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
69.以上所述仅是本发明的部分实现方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。