本发明涉及行人识别(personre-identification)技术领域，更具体地涉及一种行人画像的生成及基于画像的行人识别的方法、装置、系统和存储介质。
背景技术
在视频结构化的诸多应用中，行人的分析至关重要，特别是对于人的身份识别在安防、视频检索等众多领域起着核心作用。行人识别也称为行人重识别或行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。给定一个行人图像，检索跨设备下的该行人图像。在刑侦应用中，需要根据一张图像在城市中庞大的摄像头网络中找到该人。
在目前市场上的系统中，绝大多数行人识别方法是拿一张拍到的行人图像去进行检索，但某些情况下，可能无法拍到该人的图像。特别是，刑侦中受害人或目击者去报案，只能对见到的人进行描述，例如穿了黄色的上衣、黑色的裤子、背着双肩包、戴着帽子等。在这种情况下，只能通过人的属性去寻找，但属性种类有限，不足以完整描述整个人，使得行人识别效率低下。
技术实现要素：
针对上述问题，本发明提出了一种关于行人画像的生成及基于画像的行人识别的方案，其生成能够完整描述行人的画像，并基于画像实施行人识别，能够显著提高行人识别的效率和准确度。下面简要描述本发明提出的关于行人画像的生成及基于画像的行人识别的方案，更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面，提供了一种基于画像的行人识别方法，所述方法包括：基于输入信息生成待识别行人的行人画像；以及基于行人图像数据库和所述行人画像，利用训练好的行人识别神经网络进行行人识别以得到与所述行人画像相对应的行人信息。
在本发明的一个实施例中，所述基于输入信息生成待识别行人的行人画像进一步包括：根据所述输入信息从行人属性模板库中选择相应的模板；以及基于所述选择的模板生成所述行人画像。
在本发明的一个实施例中，所述根据所述输入信息从行人属性模板库中选择相应的模板包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。
在本发明的一个实施例中，所述根据所述输入信息从行人属性模板库中选择相应的模板还包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在本发明的一个实施例中，所述行人属性模板库中的模板为二维模板，且所述基于所述选择的模板生成行人画像包括：基于所述选择的模板生成二维行人画像。
在本发明的一个实施例中，所述行人属性模板库中的模板为三维模板，且所述基于所述选择的模板生成所述行人画像包括：基于所述选择的模板生成三维行人模型；以及基于所述三维行人模型映射得到所需角度的二维行人画像。
在本发明的一个实施例中，所述行人属性模板库中的模板所对应的行人属性至少包括以下中的一项或多项：性别、身高、体型、肤色、衣着以及其他穿戴手持物。
在本发明的一个实施例中，所述行人识别神经网络的训练包括：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；基于所述提取的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数。
在本发明的一个实施例中，所述行人识别神经网络的训练还包括：在分别提取所述样本画像的特征和所述样本图像的特征之后，将所述提取的特征进行融合；并且所述计算所述行人识别神经网络的总损失是基于所述融合后的特征和所述预先设置的损失函数。
在本发明的一个实施例中，所述行人识别神经网络包括多层卷积神经网络，其中，第一卷积神经网络实施画像特征的提取；第二卷积神经网络实施图像特征的提取；第三卷积神经网络实施所述提取的画像特征与所述提取的图像特征的融合。
在本发明的一个实施例中，所述第一卷积神经网络与所述第二卷积神经网络的参数相同或者不同，所述第三卷积神经网络的结构不同于所述第一卷积神经网络和所述第二卷积神经网络。
在本发明的一个实施例中，所述利用训练好的行人识别神经网络进行行人识别包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；计算所述行人画像的特征与所述行人图像的特征之间的距离，如果所述距离小于预定阈值，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。
在本发明的一个实施例中，所述利用训练好的行人识别神经网络进行行人识别还包括：在对所述行人画像和所述行人图像提取特征后，分别再次基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；并且所述距离的计算是计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离。
根据本发明另一方面，提供了一种基于画像的行人识别装置，所述装置包括：画像生成模块，用于基于输入信息生成待识别行人的行人画像；以及行人识别模块，用于基于行人图像数据库和所述画像生成模块生成的行人画像，利用训练好的行人识别神经网络进行行人识别以得到与所述行人画像相对应的行人信息。
在本发明的一个实施例中，所述画像生成模块进一步包括：选择模块，用于根据所述输入信息从行人属性模板库中选择相应的模板；以及生成模块，用于基于所述选择的模板生成所述行人画像。
在本发明的一个实施例中，所述选择模块进一步用于：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。
在本发明的一个实施例中，所述选择模块还用于：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在本发明的一个实施例中，所述行人属性模板库中的模板为二维模板，且所述生成模块进一步用于：基于所述选择的模板生成二维行人画像。
在本发明的一个实施例中，所述行人属性模板库中的模板为三维模板，且所述生成模块进一步用于：基于所述选择的模板生成三维行人模型；以及基于所述三维行人模型映射得到所需角度的二维行人画像。
在本发明的一个实施例中，所述行人属性模板库中的模板所对应的行人属性至少包括以下中的一项或多项：性别、身高、体型、肤色、衣着以及其他穿戴手持物。
在本发明的一个实施例中，所述行人识别神经网络的训练包括：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；基于所述提取的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数。
在本发明的一个实施例中，所述行人识别神经网络的训练还包括：在分别提取所述样本画像的特征和所述样本图像的特征之后，将所述提取的特征进行融合；并且所述计算所述行人识别神经网络的总损失是基于所述融合后的特征和所述预先设置的损失函数。
在本发明的一个实施例中，所述行人识别神经网络包括多层卷积神经网络，其中，第一卷积神经网络实施画像特征的提取；第二卷积神经网络实施图像特征的提取；第三卷积神经网络实施所述提取的画像特征与所述提取的图像特征的融合。
在本发明的一个实施例中，所述第一卷积神经网络与所述第二卷积神经网络的参数相同或者不同，所述第三卷积神经网络的结构不同于所述第一卷积神经网络和所述第二卷积神经网络。
在本发明的一个实施例中，所述行人识别模块进一步用于：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；计算所述行人画像的特征与所述行人图像的特征之间的距离，如果所述距离小于预定阈值，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。
在本发明的一个实施例中，所述行人识别模块还用于：在对所述行人画像和所述行人图像提取特征后，分别再次基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；并且所述距离的计算是计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离。
根据本发明另一方面，提供了一种生成行人画像的方法，所述方法包括：根据输入信息从行人属性模板库中选择相应的模板；以及基于所述选择的模板生成行人画像。
在本发明的一个实施例中，所述根据输入信息从行人属性模板库中选择相应的模板包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。
在本发明的一个实施例中，所述根据输入信息从行人属性模板库中选择相应的模板还包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在本发明的一个实施例中，所述行人属性模板库中的模板为二维模板，且所述基于所述选择的模板生成行人画像包括：基于所述选择的模板生成二维行人画像。
在本发明的一个实施例中，所述行人属性模板库中的模板为三维模板，且所述基于所述选择的模板生成行人画像包括：基于所述选择的模板生成三维行人模型；以及基于所述三维行人模型映射得到所需角度的二维行人画像。
根据本发明另一方面，提供了一种行人画像系统，所述系统包括行人属性模板库、选择模块和生成模块，其中：所述选择模块用于根据输入信息从所述行人属性模板库中选择相应的模板；以及所述生成模块用于基于所述选择模块选择的模板生成行人画像。
在本发明的一个实施例中，所述选择模块进一步用于：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。
在本发明的一个实施例中，所述选择模块还用于：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在本发明的一个实施例中，所述行人属性模板库中的模板为二维模板，且所述生成模块进一步用于：基于所述选择的模板生成二维行人画像。
在本发明的一个实施例中，所述行人属性模板库中的模板为三维模板，且所述生成模块进一步用于：基于所述选择的模板生成三维行人模型；以及基于所述三维行人模型映射得到所需角度的二维行人画像。
根据本发明又一方面，提供了一种计算系统，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行上述任一项所述的基于画像的行人识别方法或执行上述生成行人画像的方法。
根据本发明再一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行上述任一项所述的基于画像的行人识别方法或执行上述生成行人画像的方法。
根据本发明实施例的行人画像的生成及基于画像的行人识别方法、装置、系统和存储介质对于无法提供待识别行人的行人图像的场景通过生成行人画像来实现对行人的完整视觉描述，并利用神经网络基于生成的行人画像实施行人识别，相对于基于文字描述的行人识别，能够显著提高行人识别的效率和准确度。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本发明实施例的行人画像的生成及基于画像的行人识别方法、装置、系统和存储介质的示例电子设备的示意性框图；
图2示出根据本发明实施例的基于画像的行人识别方法的示意性流程图；
图3示出根据本发明实施例的生成行人画像的方法的示意性流程图；
图4a-图4h示出根据本发明实施例的示例性行人画像的示意图；
图5示出根据本发明实施例的训练行人识别神经网络的示意图；
图6示出根据本发明实施例的方法得到行人识别结果的示意图；
图7示出根据本发明实施例的基于画像的行人识别装置的示意性框图；
图8示出根据本发明实施例的行人画像系统的示意图框图；以及
图9示出根据本发明实施例的计算系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
首先，参照图1来描述用于实现本发明实施例的行人画像的生成及基于画像的行人识别方法、装置、系统和存储介质的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
示例性地，用于实现根据本发明实施例的行人画像的生成及基于画像的行人识别方法、装置、系统和存储介质的示例电子设备可以被实现为诸如智能手机、平板电脑等。
下面，将参考图2描述根据本发明实施例的基于画像的行人识别方法200。如图2所示，基于画像的行人识别方法200可以包括如下步骤：
在步骤s210，基于输入信息生成待识别行人的行人画像。
在一个实施例中，输入信息为与待识别行人相关联的信息，例如刑侦中受害人或目击者提供的对待识别人的描述信息，诸如待识别人的性别、身高、体型、肤色、发型、衣着以及其他穿戴物手持物等。基于这些信息，可以生成待识别行人的行人画像。在本发明的实施例中，“画像”不同于自然拍摄的“图像”。在无法提供待识别人自然图像的场景下，可以根据上述输入信息生成待识别人的画像以用于行人识别。虽然画像也可以理解为一种图像，然而为了区分，下文中提到的“图像”均表示自然拍摄的图像，其与画像不同。
在一个实施例中，可以采用本发明所提供的生成行人画像的方法来实施步骤s210。下面结合图3参照具体实施例来描述根据本发明实施例的生成行人画像的方法300。如图3所示，生成行人画像的方法300可以包括如下步骤：
在步骤s310，根据输入信息从行人属性模板库中选择相应的模板。在步骤s320，基于所述选择的模板生成行人画像。
其中，行人属性模板库为包括各种行人属性模板(或称为模型)的数据库，每种行人属性模板可以对应于一种或多种行人属性。示例性地，行人属性可以包括性别、身高、体型、肤色、衣着以及其他穿戴手持物等。例如，不同的性别(男或女)对应于不同的模板，该模板可以参数化调节，根据输入信息搭配不同的其他属性模板。例如；不同的身高、体型、肤色对应于不同的模板；行人衣着的上装(如衬衫、连帽衫等)、下装(如裙装、裤装等)、鞋子等都可以包括各自的模板；此外，行人的发型、其他穿戴物(如帽子、眼镜、饰品等)、手持物(如水杯、零食、书本等)也可以包括各自的模板等。
在步骤s310中，可以根据输入信息智能选择行人属性模板库中相应的模板。此处的输入信息可以为步骤s210中的输入信息或者可以为其他的输入信息。
在一个示例中，根据输入信息从行人属性模板库中选择相应的模板可以包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。例如，输入信息描述的行为属性包括：男性、身高175公分左右、体重70公斤左右、红色上衣、墨绿色裤子、黑色鞋子、黑色背包、黑色头发、戴眼镜。基于此，可以从行人属性模板库中选择与这些行为属性相匹配的模板来生成行人画像。
在另一个示例中，根据输入信息从行人属性模板库中选择相应的模板还可以包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。例如，输入信息描述的行人属性包括：男性、体型适中、红色上衣、墨绿色裤子、黑色鞋子、黑色背包、黑色头发、戴眼镜。在该示例中，虽然没有明确描述行人的身高体重属性，但是基于已经描述的属性信息(男性、体型适中)，可以排除女性身高体重的相关模板，选择身高体重适中的男性模板，生成相应的行人画像。
基于上述选择的模板，可以生成行人图像，如步骤s320所描述的。
在一个示例中，行人属性模板库中的模板可以为二维模板。在该示例中，步骤s320可以直接基于选择的模板生成二维行人画像，操作简单，易于实现。
在另一个示例中，行人属性模板库中的模板可以为三维模板。在该示例中，步骤s320可以先基于步骤s310中选择的模板生成三维行人模型，然后再将三维行人模型映射得到二维行人画像。例如，可以根据输入的角度需求进行映射以生成所需角度的二维行人画像。在该示例中，基于三维行人模型生成不同角度的二维行人画像更有助于后续基于行人画像的行人识别。示例性地，对于同一个待识别行人，可以生成正面和背面行人画像，如图4a到图4h所示的(实际中可以为彩色图)，以在更好地促进行人识别的同时不消耗过多的计算量。
以上结合图3示例性地描述了生成行人画像的方法，该方法可以根据输入信息高效、准确、完整地生成行人画像，对于基于画像的行人识别十分有益。根据本发明实施例的基于画像的行人识别方法可以采用上述方法生成行人图像，也可以采用其他合适的方法生成行人图像以用于行人识别。现在返回参考图2，继续描述根据本发明实施例的基于画像的行人识别方法200的后续步骤。
在步骤s220，基于行人图像数据库和所述行人画像，利用训练好的行人识别神经网络进行行人识别以得到与所述行人画像相对应的行人信息。
在一个示例中，行人图像数据库可以为基于行人画像从中检索匹配行人的包括大量行人图像的数据库，例如某区域摄像机拍摄下的所有行人图像/视频等。
在一个示例中，行人识别神经网络可以为被构建用于基于行人画像进行行人识别的神经网络。在一个实施例中，行人识别神经网络的训练可以包括如下步骤：输入样本画像(可以简称为画像)和与所述样本画像相对应的样本图像(可以称为自然图像或图像)；分别提取所述样本画像的特征和所述样本图像的特征；基于所述提取的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数。
在该示例中，可以预先准备大量的样本画像以及与该样本画像相对应的样本图像。此处，“相对应”可以理解为样本画像中的行人与相应样本图像中的行人为同一人，且衣着、打扮、姿态、场景等相同。
示例性地，可以基于多层卷积神经网络(cnn)构建该行人识别神经网络。例如，基于第一卷积神经网络(例如称为cnn1)实施上述的画像特征的提取，基于第二卷积神经网络(例如称为cnn2)实施上述的图像特征的提取。其中，第一卷积神经网络和第二卷积神经网络的参数可以相同也可以不同。第一卷积神经网络和第二卷积神经网络的网络参数可以采用已经训练好的基础模型初始化，例如：googlenet、vgg、resnet等。
基于上述提取的样本画像的特征和与所述样本画像相对应的样本图像的特征，可以基于预先设置的损失函数计算行人识别神经网络的总损失，并基于该总损失优化所述行人识别神经网络的参数。
在一个示例中，所述预先设置的损失函数可以包括两类：一类损失函数关注分类，即同一个人的画像和自然图像经过分类器后被分到同一类；另一类损失函数则关注同人和非同人特征的距离，即同人的画像的正反面、同人的画像和自然图像、以及同人的自然图像之间的距离要近，非同人的画像和画像、画像和自然图像之间的距离要远。总损失可以为将多个损失函数值加权。
在另一个实施例中，行人识别神经网络的训练还可以包括如下步骤：在分别提取所述样本画像的特征和所述样本图像的特征之后，将所述提取的特征进行融合；并且所述计算所述行人识别神经网络的总损失是基于所述融合后的特征和所述预先设置的损失函数。换言之，在该实施例中，行人识别神经网络的训练可以包括如下步骤：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；将所述提取的特征进行融合；基于融合后的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数，从而得到训练好的行人识别神经网络。
在该实施例中，可以基于多层卷积神经网络构建该行人识别神经网络。例如，基于第一卷积神经网络(例如称为cnn1)实施上述的画像特征的提取，基于第二卷积神经网络(例如称为cnn2)实施上述的图像特征的提取，基于第三卷积神经网络(例如称为cnn3)实施上述提取的画像特征与上述提取的图像特征的融合，正如图5所示的示例性训练示意图。其中，第三卷积神经网络的结构可以不同于第一卷积神经网络和第二卷积神经网络。基于融合后的特征(cnn3的输出)和预先设置的损失函数(例如如图5所示的loss1、loss2、loss…)可以计算所述行人识别神经网络的总损失(例如如图5所示的loss)。基于所述总损失，可以优化所述行人识别神经网络的参数(即优化cnn1、cnn2和cnn3的参数)，从而得到训练好的行人识别神经网络。
与上一实施例相比，该实施例中的训练增加了特征融合的步骤，使得在融合阶段学习到更深层的特征，可以提高训练出的行人识别神经网络的精确度。
基于上述训练好的行人识别神经网络，可以对步骤s210中生成的行人画像进行行人识别。
在一个实施例中，利用训练好的行人识别神经网络进行行人识别可以包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；计算所述行人画像的特征与所述行人图像的特征之间的距离(例如二维欧式距离等)，如果所述距离小于预定阈值(该阈值可根据实际需要设置)，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。该实施例中的行人识别过程可以对应于上述行人识别神经网络训练的第一个实施例，即可以采用第一卷积神经网络提取行人画像的特征，并采用第二卷积神经网络提取行人图像的特征，以用于后续的特征间距离计算。
在另一个实施例中，利用训练好的行人识别神经网络进行行人识别还可以包括：在对所述行人画像和所述行人图像提取特征后，分别再次基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；并且所述距离的计算是计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离。换言之，在该实施例中，利用训练好的行人识别神经网络进行行人识别可以包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；分别基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离，如果所述距离小于预定阈值，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。该实施例中的行人识别过程可以对应于上述行人识别神经网络训练的第二个实施例，即可以采用第一卷积神经网络提取行人画像的特征，采用第二卷积神经网络提取行人图像的特征，并采用第三卷积神经网络提取行人画像和行人图像的深层特征，以用于后续的特征间距离计算。基于深层特征间的距离可以得到更为精确的行人识别结果。
基于上述的行人识别，可以得到与所生成的行人画像相对应的行人识别结果，例如与该行人画像相对应(或相匹配)的行人图像等行人信息，如图6所示的，左侧为行人画像，右侧为与行人画像相对应的行人识别结果。从图6可以看出，基于行人画像所得到的行人识别结果比较有效且准确，而不会如现有的基于文字描述信息在行人图像数据库中检索识别到大量无效结果。
基于上面的描述，根据本发明实施例的基于画像的行人识别方法对于无法提供待识别行人的行人图像的场景通过生成行人画像来实现对行人的完整视觉描述，并利用神经网络基于生成的行人画像实施行人识别，相对于基于文字描述的行人识别，能够显著提高行人识别的效率和准确度。
以上示例性地描述了根据本发明实施例的基于画像的行人识别方法。示例性地，根据本发明实施例的基于画像的行人识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。
此外，根据本发明实施例的基于画像的行人识别方法处理速度快，可以方便地部署到智能手机、平板电脑、个人计算机等移动设备上。替代地，根据本发明实施例的基于画像的行人识别方法还可以部署在服务器端(或云端)。替代地，根据本发明实施例的基于画像的行人识别方法还可以分布地部署在服务器端(或云端)和个人终端处。
下面结合图7描述根据另一方面提供的基于画像的行人识别装置。图7示出了根据本发明实施例的基于画像的行人识别装置700的示意性框图。
如图7所示，根据本发明实施例的基于画像的行人识别装置700包括画像生成模块710和行人识别模块720。所述各个模块可分别执行上文中结合图2描述的基于画像的行人识别方法的各个步骤/功能。以下仅对基于画像的行人识别装置700的各模块的主要功能进行描述，而省略以上已经描述过的细节内容。
画像生成模块710用于基于输入信息生成待识别行人的行人画像。在一个实施例中，输入信息为与待识别行人相关联的信息，例如刑侦中受害人或目击者提供的对待识别人的描述信息，诸如待识别人的性别、身高、体型、肤色、发型、衣着以及其他穿戴物手持物等。基于这些信息，画像生成模块710可以生成待识别行人的行人画像，如图4a-图4h所示的。
画像生成模块710可以采用本发明所提供的行人画像系统来实现。下面结合图8具体实施例来描述根据本发明实施例的行人画像系统800。如图8所示，行人画像系统800可以包括选择模块810、生成模块820和行人属性模板库830。其中，选择模块810和生成模块820可分别执行上文中结合图3描述的生成行人画像的方法的各个步骤/功能。以下仅对行人画像系统800的各模块的主要功能进行描述，而省略以上已经描述过的细节内容。
具体地，选择模块810可以根据输入信息从行人属性模板库830中选择相应的模板。生成模块820可以基于选择模块810选择的模板生成行人画像。
在一个示例中，行人属性模板库830可以包括各种行人属性模板(或称为模型)，每种行人属性模板可以对应于一种或多种行人属性。示例性地，行人属性可以包括性别、身高、体型、肤色、衣着以及其他穿戴手持物等。
在一个示例中，选择模块810根据输入信息从行人属性模板库830中选择相应的模板的操作可以包括：从所述行人属性模板库830中选择与所述输入信息所描述的行人属性相匹配的模板。
在另一个示例中，选择模块810根据输入信息从行人属性模板库830中选择相应的模板还可以包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在一个示例中，行人属性模板库830中的模板可以为二维模板。在该示例中，生成模块820可以直接基于选择模块810选择的模板生成二维行人画像。
在另一个示例中，行人属性模板库830中的模板可以为三维模板。在该示例中，生成模块820可以先基于选择模块810选择的模板生成三维行人模型，然后再将三维行人模型映射得到二维行人画像。例如，生成模块820可以根据输入的角度需求进行映射以生成所需角度的二维行人画像。在该示例中，生成模块820基于三维行人模型生成不同角度的二维行人画像更有助于后续基于行人画像的行人识别。
以上结合图8示例性地描述了可以实现画像生成模块710的行人画像系统800，也可以采用其他合适的装置或系统来实现画像生成模块710。现在返回参考图7，继续描述根据本发明实施例的基于画像的行人识别装置700的其他模块。
在一个示例中，行人识别模块720用于基于行人图像数据库和所述画像生成模块710生成的行人画像，利用训练好的行人识别神经网络进行行人识别以得到与所述行人画像相对应的行人信息。
在一个示例中，行人识别模块720利用的行人图像数据库可以为基于行人画像从中检索匹配行人的包括大量行人图像的数据库，例如某区域摄像机拍摄下的所有行人图像/视频等。
在一个示例中，行人识别模块720利用的行人识别神经网络可以为被构建用于基于行人画像进行行人识别的神经网络。在一个实施例中，行人识别神经网络的训练可以包括如下步骤：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；基于所述提取的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数。
示例性地，可以基于多层卷积神经网络(cnn)构建该行人识别神经网络。例如，基于第一卷积神经网络(例如称为cnn1)实施上述的画像特征的提取，基于第二卷积神经网络(例如称为cnn2)实施上述的图像特征的提取。其中，第一卷积神经网络和第二卷积神经网络的参数可以相同也可以不同。第一卷积神经网络和第二卷积神经网络的网络参数可以的网络参数用已经训练好的基础模型初始化，例如：googlenet、vgg、resnet等。
在一个示例中，所述预先设置的损失函数可以包括两类：一类损失函数关注分类，即同一个人的画像和自然图像经过分类器后被分到同一类；另一类损失函数则关注同人和非同人特征的距离，即同人的画像的正反面、同人的画像和自然图像、以及同人的自然图像之间的距离要近，非同人的画像和画像、画像和自然图像之间的距离要远。总损失可以为将多个损失函数值加权。
在另一个实施例中，行人识别模块720利用的行人识别神经网络的训练还可以包括如下步骤：在分别提取所述样本画像的特征和所述样本图像的特征之后，将所述提取的特征进行融合；并且所述计算所述行人识别神经网络的总损失是基于所述融合后的特征和所述预先设置的损失函数。换言之，在该实施例中，行人识别模块720利用的行人识别神经网络的训练可以包括如下步骤：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；将所述提取的特征进行融合；基于融合后的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数，从而得到训练好的行人识别神经网络。
在该实施例中，可以基于多层卷积神经网络构建该行人识别神经网络。例如，基于第一卷积神经网络(例如称为cnn1)实施上述的画像特征的提取，基于第二卷积神经网络(例如称为cnn2)实施上述的图像特征的提取，基于第三卷积神经网络(例如称为cnn3)实施上述提取画像特征与上述提取的图像特征的融合，正如图5所示的示例性训练示意图。
基于上述训练好的行人识别神经网络，行人识别模块720可以对画像生成模块710生成的行人画像进行行人识别。
在一个实施例中，行人识别模块720利用训练好的行人识别神经网络进行行人识别的操作可以包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；计算所述行人画像的特征与所述行人图像的特征之间的距离(例如二维欧式距离等)，如果所述距离小于预定阈值(该阈值可根据实际需要设置)，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。此外，也可以确定是否存在多张行人图像的特征与行人画像的特征之间的距离小于预定阈值，如果存在这样的多张行人图像，可以选择与行人画像的特征之间距离最小的行人图像作为行人识别结果；或者，如果这些行人图像的特征与行人画像的特征之间的距离不但均小于预定阈值还彼此十分相近甚至相等，则也可以将这些行人图像均作为行人识别结果。该实施例中的行人识别过程可以对应于上述行人识别神经网络训练的第一个实施例，即可以采用第一卷积神经网络提取行人画像的特征，并采用第二卷积神经网络提取行人图像的特征，以用于后续的特征间距离计算。
在另一个实施例中，行人识别模块720利用训练好的行人识别神经网络进行行人识别的操作还可以包括：在对所述行人画像和所述行人图像提取特征后，分别再次基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；并且所述距离的计算是计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离。换言之，在该实施例中，行人识别模块720利用训练好的行人识别神经网络进行行人识别的操作可以包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；分别基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离，如果所述距离小于预定阈值，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。该实施例中的行人识别过程可以对应于上述行人识别神经网络训练的第二个实施例，即可以采用第一卷积神经网络提取行人画像的特征，采用第二卷积神经网络提取行人图像的特征，并采用第三卷积神经网络提取行人画像和行人图像的深层特征，以用于后续的特征间距离计算。基于深层特征间的距离可以得到更为精确的行人识别结果。
基于上述的行人识别，可以得到与所生成的行人画像相对应行人识别结果，例如与该行人画像相对应(或相匹配)的行人图像等行人信息，如图6所示的。从图6可以看出，基于行人画像所得到的行人识别结果比较有效且准确，而不会如现有的基于文字描述信息在行人图像数据库中检索识别到大量无效结果。
基于上面的描述，根据本发明实施例的基于画像的行人识别装置对于无法提供待识别行人的行人图像的场景通过生成行人画像来实现对行人的完整视觉描述，并利用神经网络基于生成的行人画像实施行人识别，相对于基于文字描述的行人识别，能够显著提高行人识别的效率和准确度。
图9示出了根据本发明实施例的计算系统900的示意性框图。计算系统900包括存储装置910以及处理器920。一方面，计算系统900可以用来实现根据本发明实施例的基于画像的行人识别方案；另一方面，计算系统900可以用来实现根据本发明实施例的生成行人画像的方案。
其中，在实现根据本发明实施例的基于画像的行人识别方案中，存储装置910存储用于实现根据本发明实施例的基于画像的行人识别方法中的相应步骤的程序代码，处理器920用于运行存储装置910中存储的程序代码，以执行根据本发明实施例的基于画像的行人识别方法的相应步骤，并且用于实现根据本发明实施例的基于画像的行人识别装置中的相应模块。在实现根据本发明实施例的生成行人画像的方案中，存储装置910存储用于实现根据本发明实施例的生成行人画像的方法中的相应步骤的程序代码，处理器920用于运行存储装置910中存储的程序代码，以执行根据本发明实施例的生成行人画像的方法的相应步骤，并且用于实现根据本发明实施例的行人画像系统中的相应模块。
在一个实施例中，在所述程序代码被处理器920运行时使得计算系统900执行以下步骤：基于输入信息生成待识别行人的行人画像；以及基于行人图像数据库和所述行人画像，利用训练好的行人识别神经网络进行行人识别以得到与所述行人画像相对应的行人信息。
在一个实施例中，在所述程序代码被处理器920运行时使得计算系统900执行的所述基于输入信息生成待识别行人的行人画像进一步包括：根据所述输入信息从行人属性模板库中选择相应的模板；以及基于所述选择的模板生成所述行人画像。
在一个实施例中，在所述程序代码被处理器920运行时使得计算系统900执行的所述根据所述输入信息从行人属性模板库中选择相应的模板包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。
在一个实施例中，在所述程序代码被处理器920运行时使得计算系统900执行的所述根据所述输入信息从行人属性模板库中选择相应的模板还包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在一个实施例中，所述行人属性模板库中的模板为二维模板，且在所述程序代码被处理器920运行时使得计算系统900执行的所述基于所述选择的模板生成行人画像包括：基于所述选择的模板生成二维行人画像。
在一个实施例中，所述行人属性模板库中的模板为三维模板，且在所述程序代码被处理器920运行时使得计算系统900执行的所述基于所述选择的模板生成所述行人画像包括：基于所述选择的模板生成三维行人模型；以及基于所述三维行人模型映射得到所需角度的二维行人画像。
在一个实施例中，所述行人属性模板库中的模板所对应的行人属性至少包括以下中的一项或多项：性别、身高、体型、肤色、衣着以及其他穿戴手持物。
在一个实施例中，所述行人识别神经网络的训练包括：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；基于所述提取的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数。
在一个实施例中，所述行人识别神经网络的训练还包括：在分别提取所述样本画像的特征和所述样本图像的特征之后，将所述提取的特征进行融合；并且所述计算所述行人识别神经网络的总损失是基于所述融合后的特征和所述预先设置的损失函数。
在一个实施例中，所述行人识别神经网络包括多层卷积神经网络，其中，第一卷积神经网络实施画像特征的提取；第二卷积神经网络实施图像特征的提取；第三卷积神经网络实施所述提取的画像特征与所述提取的图像特征的融合。
在一个实施例中，所述第一卷积神经网络与所述第二卷积神经网络的参数相同或者不同，所述第三卷积神经网络的结构不同于所述第一卷积神经网络和所述第二卷积神经网络。
在一个实施例中，在所述程序代码被处理器920运行时使得计算系统900执行的所述利用训练好的行人识别神经网络进行行人识别包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；计算所述行人画像的特征与所述行人图像的特征之间的距离，如果所述距离小于预定阈值，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。
在一个实施例中，在所述程序代码被处理器920运行时使得计算系统900执行的所述利用训练好的行人识别神经网络进行行人识别还包括：在对所述行人画像和所述行人图像提取特征后，分别再次基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；并且所述距离的计算是计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离。
此外，根据本发明实施例，还提供了一种存储介质。一方面，该存储介质可以用来存储实现根据本发明实施例的基于画像的行人识别方案的程序指令；另一方面，该存储介质可以用来存储实现根据本发明实施例的生成行人画像的方案的程序指令。总之，在所述程序指令被计算机或处理器运行时用于执行根据本发明实施例的基于画像的行人识别方法的相应步骤(或执行根据本发明实施例的生成行人画像的方法的相应步骤)，并且用于实现根据本发明实施例的基于画像的行人识别装置中的相应模块(或用于实现根据本发明实施例的行人画像系统中的相应模块)。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：基于输入信息生成待识别行人的行人画像；以及基于行人图像数据库和所述行人画像，利用训练好的行人识别神经网络进行行人识别以得到与所述行人画像相对应的行人信息。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于输入信息生成待识别行人的行人画像进一步包括：根据所述输入信息从行人属性模板库中选择相应的模板；以及基于所述选择的模板生成所述行人画像。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述根据所述输入信息从行人属性模板库中选择相应的模板包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相匹配的模板。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述根据所述输入信息从行人属性模板库中选择相应的模板还包括：从所述行人属性模板库中选择与所述输入信息所描述的行人属性相关联的行人属性相匹配的模板。
在一个实施例中，所述行人属性模板库中的模板为二维模板，且所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述选择的模板生成行人画像包括：基于所述选择的模板生成二维行人画像。
在一个实施例中，所述行人属性模板库中的模板为三维模板，且所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述基于所述选择的模板生成所述行人画像包括：基于所述选择的模板生成三维行人模型；以及基于所述三维行人模型映射得到所需角度的二维行人画像。
在一个实施例中，所述行人属性模板库中的模板所对应的行人属性至少包括以下中的一项或多项：性别、身高、体型、肤色、衣着以及其他穿戴手持物。
在一个实施例中，所述行人识别神经网络的训练包括：输入样本画像和与所述样本画像相对应的样本图像；分别提取所述样本画像的特征和所述样本图像的特征；基于所述提取的特征和预先设置的损失函数计算所述行人识别神经网络的总损失；以及基于所述总损失优化所述行人识别神经网络的参数。
在一个实施例中，所述行人识别神经网络的训练还包括：在分别提取所述样本画像的特征和所述样本图像的特征之后，将所述提取的特征进行融合；并且所述计算所述行人识别神经网络的总损失是基于所述融合后的特征和所述预先设置的损失函数。
在一个实施例中，所述行人识别神经网络包括多层卷积神经网络，其中，第一卷积神经网络实施画像特征的提取；第二卷积神经网络实施图像特征的提取；第三卷积神经网络实施所述提取的画像特征与所述提取的图像特征的融合。
在一个实施例中，所述第一卷积神经网络与所述第二卷积神经网络的参数相同或者不同，所述第三卷积神经网络的结构不同于所述第一卷积神经网络和所述第二卷积神经网络。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述利用训练好的行人识别神经网络进行行人识别包括：输入所述行人画像，提取所述行人画像的特征；输入行人图像数据库中的行人图像，提取所述行人图像的特征；计算所述行人画像的特征与所述行人图像的特征之间的距离，如果所述距离小于预定阈值，则将所述行人图像确定为所述行人识别的结果，反之则输入所述行人图像数据库中的下一张行人图像回到所述提取所述行人图像的特征的步骤。
在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行的所述利用训练好的行人识别神经网络进行行人识别还包括：在对所述行人画像和所述行人图像提取特征后，分别再次基于所提取的特征提取所述行人画像和所述行人图像各自的深层特征；并且所述距离的计算是计算所述行人画像的深层特征与所述行人图像的深层特征之间的距离。
根据本发明实施例的行人画像的生成及基于画像的行人识别装置中的各模块可以通过根据本发明实施例的行人画像的生成基于画像的行人识别的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
根据本发明实施例的行人画像的生成及基于画像的行人识别方法、装置、系统以及存储介质对于无法提供待识别行人的行人图像的场景通过生成行人画像来实现对行人的完整视觉描述，并利用神经网络基于生成的行人画像实施行人识别，相对于基于文字描述的行人识别，能够显著提高行人识别的效率和准确度。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。