行人重识别方法、装置、电子设备及存储介质与流程

本发明涉及人工智能技术领域，具体涉及一种行人重识别方法、装置、电子设备及存储介质。

背景技术：

行人重识别是指根据所获取的行人图像，在不同拍摄设备所拍摄的图像中检索该行人图像中的行人。行人重识别现在所面临的最大问题为图像跨域的问题，也就是，将b训练图像数据集输入采用a训练图像数据集已训练好的神经网络中，神经网络的性能常常大幅下降，影响行人重识别的精度。

技术实现要素：

本发明主要解决的技术问题是如何解决图像跨域时行人重识别精度较低的问题。

根据第一方面，一种实施例中提供一种行人重识别方法，包括：

获取含有行人的图像信息；

将所述含有行人的图像信息输入预先训练的神经网络中，得到图像信息中行人的特征向量，其中所述行人的特征向量包括行人属性的特征向量和行人重识别的特征向量；

将所述行人的特征向量与预设特征向量集中的特征向量进行比对，根据比对结果，对所述图像信息中的行人进行重识别。

进一步地，神经网络包括公共神经单元、属性神经单元和重识别神经单元，所述公共神经单元的输入端与所述神经网络的输入端连接，所述公共神经单元的输出端分别与所述属性神经单元的输入端和所述重识别神经单元的输入端连接，所述属性神经单元的输出端和所述重识别神经单元的输出端与所述神经网络的输出端连接；其中，所述属性神经单元的输出端用于输出行人属性的特征向量，所述重识别神经单元的输出端用于输出行人重识别的特征向量；

所述公共神经单元、属性神经单元和重识别神经单元均包括至少一个池化层和/或至少一个卷积层。

进一步地，所述预先训练的神经网络通过以下方式进行训练：

获取行人属性训练数据集和行人重识别训练数据集；

构建神经网络；

将所述行人属性训练数据集输入所述神经网络中的公共神经单元和所述属性神经单元中进行训练，得到属性训练后的神经网络；

将所述行人重识别训练数据集输入所述属性训练后的神经网络中的公共神经单元和所述重识别神经单元中进行训练，得到预先训练的神经网络。

进一步地，所述图像信息中行人的特征向量由所述行人属性的特征向量和所述行人重识别的特征向量拼接得到。

根据第二方面，一种实施例中提供一种行人重识别装置，包括：

获取图像模块，用于获取含有行人的图像信息；

特征提取模块，用于将所述含有行人的图像信息输入预先训练的神经网络中，得到图像信息中行人的特征向量，其中所述行人的特征向量包括行人属性的特征向量和行人重识别的特征向量；

行人重识别模块，用于将所述行人的特征向量与预设特征向量集中的特征向量进行比对，根据比对结果，对所述图像信息中的行人进行重识别。

进一步地，神经网络包括公共神经单元、属性神经单元和重识别神经单元，所述公共神经单元的输入端与所述神经网络的输入端连接，所述公共神经单元的输出端分别与所述属性神经单元的输入端和所述重识别神经单元的输入端连接，所述属性神经单元的输出端和所述重识别神经单元的输出端与所述神经网络的输出端连接；其中，所述属性神经单元的输出端用于输出行人属性的特征向量，所述重识别神经单元的输出端用于输出行人重识别的特征向量；

所述公共神经单元、属性神经单元和重识别神经单元均包括至少一个池化层和/或至少一个卷积层。

进一步地，还包括训练模块，其用于按照以下方式对神经网络进行训练：

获取行人属性训练数据集和行人重识别训练数据集；

构建神经网络；

将所述行人属性训练数据集输入所述神经网络中的公共神经单元和所述属性神经单元中进行训练，得到属性训练后的神经网络；

将所述行人重识别训练数据集输入所述属性训练后的神经网络中的公共神经单元和所述重识别神经单元中进行训练，得到预先训练的神经网络。

进一步地，所述图像信息中行人的特征向量由所述行人属性的特征向量和所述行人重识别的特征向量拼接得到。

根据第三方面，一种实施例提供一种电子设备，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述实施例所述的方法。

根据第四方面，一种实施例提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述实施例所述的方法。

依据上述实施例的行人重识别方法、装置、电子设备及存储介质，由于用于行人重识别的神经网络在训练阶段加入了行人属性图像数据，使得预先训练的神经网络既具有行人重识别的细粒度特征，也具有行人属性的粗粒度特征，解决了图像跨域时行人重识别精度较低的问题。

附图说明

图1为一种实施例的行人重识别方法的流程图；

图2为一种实施例的神经网络结构示意图；

图3为一种实施例的行人重识别装置的结构框图；

图4为一种实施例的电子设备的结构框图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

实施例一：

请参考图1，图1为一种实施例的行人重识别方法的流程图，所述的行人重识别方法可在服务器上执行，其包括步骤s10至步骤s30，下面具体说明。

步骤s10，获取含有行人的图像信息。本实施例中含有行人的图像信息可以为监控摄像头所拍摄的行人视频或者行人图片，其可以为rgb图像、红外图像等多种形式的图像。

步骤s20，将含有行人的图像信息输入预先训练的神经网络中，得到图像信息中行人的特征向量，其中所述行人的特征向量包括行人属性的特征向量和行人重识别的特征向量。

本实施例中，行人属性是指行人的性别、年龄、着装、背包、是否长发等，行人属性的特征向量是指图像信息(图片、视频)中行人属性对应的特征向量。

请参考图2，图2为一种实施的神经网络的结构示意图，所述的神经网络包括公共神经单元101、属性神经单元102和重识别神经单元103，公共神经单元101的输入端与神经网络的输入端连接，公共神经单元101的输出端分别与属性神经单元102的输入端和重识别神经单元103的输入端连接，属性神经单元102的输出端和重识别神经单元103的输出端与神经网络的输出端连接；其中，属性神经单元102的输出端用于输出行人属性的特征向量，重识别神经单元103的输出端用于输出行人重识别的特征向量；

其中公共神经单元、属性神经单元和重识别神经单元均包括至少一个池化层和/或至少一个卷积层。

在一种实施方式中，神经网络共包括五层，可以将前三层作为公共神经单元，对于公共神经单元101，行人属性和行人重识别是相同的，在第四层和第五层对于行人属性特征和行人重识别特征是分开的，用于输出行人的属性特征向量的则为属性神经单元102，用于输出行人的重识别特征向量的为重识别神经单元103。

在一实施例中，预先训练的神经网络通过以下方式进行训练：

步骤s201，获取行人属性训练数据集和行人重识别训练数据集。其中，行人属性训练数据集中的图像数据具有行人属性标签，行人属性标签包括性别、年龄、着装等属性，行人重识别训练数据集中的图像数据具有行人重识别标签，行人重识别标签为图像数据的id，不同图像数据具有不同的id。

步骤s202，构建神经网络。本实施例中所构建的神经网络可以为resnet特征提取网络。

步骤s203，将行人属性训练数据集输入神经网络中的公共神经单元和属性神经单元中进行训练，得到属性训练后的神经网络。其训练过程为：激活神经网络中的公共神经单元和属性神经单元，将行人属性训练数据集中具有行人属性标签的图像数据从神经网络的输入端进行输入，计算神经网络的损失loss，根据损失loss对神经网络中的参数进行调节，再次将行人属性训练数据集中具有行人属性标签的图像数据从神经网络的输入端进行输入，重复多次，直至神经网络的损失loss最小且稳定时，即完成行人属性的训练。

步骤s204，将行人重识别训练数据集输入属性训练后的神经网络中的公共神经单元和重识别神经单元中进行训练，得到预先训练的神经网络。其训练过程为：激活神经网络中的公共神经单元和重识别神经单元，将行人重识别训练数据集中具有行人重识别标签的图像数据从神经网络的输入端进行输入，计算神经网络的损失loss，根据损失loss对神经网络中的参数进行调节，再次将行人重识别训练数据集中具有行人重识别标签的图像数据从神经网络的输入端进行输入，重复多次，直至神经网络的损失loss最小且稳定时，即完成行人重识别的训练，此时得到的为预先训练的神经网络。

在一实施例中，图像信息中行人的特征向量由行人属性的特征向量和行人重识别的特征向量拼接得到。例如行人的特征向量为l1，行人重识别的特征向量为l2，则行人的特征向量为l1l2。

步骤s30，将行人的特征向量与预设特征向量集中的特征向量进行比对，根据比对结果，对图像信息中的行人进行重识别。

本实施例预设特征向量集中的特征向量为从不同拍摄设备所获取的行人图像信息中提取的行人的特征向量，将当前所获取图像信息中行人的特征向量与预设特征向量集中的特征向量进行相似性比对，若比对结果为相似特征向量，则实现了行人的重识别。

在本发明实施例中，对用于行人重识别的神经网络训练时，加入行人属性的图像数据进行训练，使得训练得到的神经网络能同时学习到行人重识别的细粒度特征和行人属性的粗粒度特征，此外，用于训练的数据集中的训练数据不需要同时具有行人属性标签和行人重识别标签，能够更好地适用于现实场景。

实施例二：

请参考图3，图3为一种实施例的行人重识别装置的结构框图，所述的行人重识别装置包括：获取图像模块10、特征提取模块20和行人重识别模块30。

获取图像模块10用于获取含有行人的图像信息。本实施例中含有行人的图像信息可以为监控摄像头所拍摄的行人视频或者行人图片，其可以为rgb图像、红外图像等多种形式的图像。

特征提取模块20用于将含有行人的图像信息输入预先训练的神经网络中，得到图像信息中行人的特征向量，其中所述行人的特征向量包括行人属性的特征向量和行人重识别的特征向量。

本实施例中，行人属性是指行人的性别、年龄、着装、背包、是否长发等，行人属性的特征向量是指图像信息(图片、视频)中行人属性对应的特征向量。

行人重识别模块30用于将行人的特征向量与预设特征向量集中的特征向量进行比对，根据比对结果，对图像信息中的行人进行重识别。

本实施例还包括训练模块40，其用于对神经网络按照以下方式进行训练：

获取行人属性训练数据集和行人重识别训练数据集。其中，行人属性训练数据集中的图像数据具有行人属性标签，行人属性标签包括性别、年龄、着装等属性，行人重识别训练数据集中的图像数据具有行人重识别标签，行人重识别标签为图像数据的id，不同图像数据具有不同的id。

构建神经网络。本实施例中所构建的神经网络可以为resnet特征提取网络。所述的神经网络包括公共神经单元101、属性神经单元102和重识别神经单元103，公共神经单元101的输入端与神经网络的输入端连接，公共神经单元101的输出端分别与属性神经单元102的输入端和重识别神经单元103的输入端连接，属性神经单元102的输出端和重识别神经单元103的输出端与神经网络的输出端连接；其中，属性神经单元102的输出端用于输出行人属性的特征向量，重识别神经单元103的输出端用于输出行人重识别的特征向量；

其中公共神经单元、属性神经单元和重识别神经单元均包括至少一个池化层和/或至少一个卷积层。

将行人属性训练数据集输入神经网络中的公共神经单元和属性神经单元中进行训练，得到属性训练后的神经网络。其训练过程为：激活神经网络中的公共神经单元和属性神经单元，将行人属性训练数据集中具有行人属性标签的图像数据从神经网络的输入端进行输入，计算神经网络的损失loss，根据损失loss对神经网络中的参数进行调节，再次将行人属性训练数据集中具有行人属性标签的图像数据从神经网络的输入端进行输入，重复多次，直至神经网络的损失loss最小且稳定时，即完成行人属性的训练。

将行人重识别训练数据集输入属性训练后的神经网络中的公共神经单元和重识别神经单元中进行训练，得到预先训练的神经网络。其训练过程为：激活神经网络中的公共神经单元和重识别神经单元，将行人重识别训练数据集中具有行人重识别标签的图像数据从神经网络的输入端进行输入，计算神经网络的损失loss，根据损失loss对神经网络中的参数进行调节，再次将行人重识别训练数据集中具有行人重识别标签的图像数据从神经网络的输入端进行输入，重复多次，直至神经网络的损失loss最小且稳定时，即完成行人重识别的训练，此时得到的为预先训练的神经网络。

在一实施例中，图像信息中行人的特征向量由行人属性的特征向量和行人重识别的特征向量拼接得到。例如行人的特征向量为l1，行人重识别的特征向量为l2，则行人的特征向量为l1l2。

请参考图4，本发明的一个实施方式提供了一种电子设备。其中，该电子设备包括存储器201、处理器202、输入/输出接口203。其中，存储器201，用于存储程序。处理器202，用于调用存储器301所存储的程序执行本发明实施例的特征融合方法。其中，处理器202分别与存储器201、输入/输出接口203连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器201可用于存储程序和数据，包括本发明实施例中涉及的特征融合程序，处理器202通过运行存储在存储器201的程序从而执行电子设备的各种功能应用以及数据处理。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。