人体识别方法及装置、计算机可读存储介质及电子设备与流程

文档序号:16210925发布日期:2018-12-08 07:43阅读:167来源:国知局
人体识别方法及装置、计算机可读存储介质及电子设备与流程

本发明涉及计算机技术领域,具体而言,涉及一种人体识别方法、人体识别装置、计算机可读存储介质及电子设备。

背景技术

随着科学技术的迅猛发展,视频监控智能分析技术被广泛应用于各个领域,例如通过视频监控智能分析技术从大量的监控视频中分析车辆的车牌号,分析行人的面部特征、步态等生物特征。

行人重识别(personre-identification,简称reid)是对跨摄像头、跨场景的监控视频中出现的行人进行关联识别的技术,即识别两张人体图像是否为同一个人,或在一个较大图像库中给定一张库外的参考图像,然后依据参考图像在库内寻找一张与参考图像相同身份的其他图像。传统的行人重识别方法大多采用图像处理领域的手工特征进行模型训练,如sift、hog等,并结合经典的机器学习回归模型来进行行人重识别,但是传统的重识别精度较低,错识别误识别的概率较大,另外使用场景单一,无法适应多场景下的重识别任务。

因此本领域亟需寻求一种新的人体识别方法以提高行人重识别的精度。

需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。



技术实现要素:

本发明的目的在于提供一种人体识别方法及装置、计算机可读存储介质、电子设备,进而提高识别精度,降低错识别误识别概率,同时提高在多场景下进行行人重识别的能力。

本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。

根据本发明的第一方面,提供一种人体识别方法,其特征在于,包括:获取行人图像;提取所述行人图像的特征,以获得全局特征图;将所述全局特征图沿预设方向分为多个区域,并对各所述区域进行池化以获得与各所述区域对应的池化区域;将各所述池化区域对应的池化区域特征沿所述预设方向依次连接,以获得所述行人图像对应的行人图像特征。

根据本发明的第二方面,提供一种人体识别装置,其特征在于,包括:第一获取模块,用于获取行人图像;特征提取模块,用于提取所述行人图像的特征,以获得全局特征图;分步池化模块,用于将所述全局特征图沿预设方向分为多个区域,并对各所述区域进行池化以获得与各所述区域对应的池化区域;全连接模块,用于将各所述池化区域对应的池化区域特征沿所述预设方向依次连接,以获得所述行人图像对应的行人图像特征。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:第二获取模块,用于获取包含行人的原始图像;人体检测模块,用于通过对所述原始图像进行人体检测,以获得行人图像框;图像生成模块,用于从所述行人图像框中提取行人对应的区域,以形成所述行人图像。

在本发明的一些实施例中,基于前述方案,本发明的分步池化模块包括:分区单元,用于将所述全局特征图沿纵轴方向平均分块,以形成多个所述区域;池化单元,用于分别对各所述区域进行平均池化,以获得多个所述池化区域。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:所述特征提取模块、所述分步池化模块和所述全连接模块构成行人识别模型。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:池化特征提取模块,用于通过预设大小的卷积核提取各所述池化区域的特征,以获得所述池化区域特征。

在本发明的一些实施例中,所述行人图像包括待检行人图像和目标行人图像,基于前述方案,本发明的装置还包括:相似度计算模块,用于根据所述待检行人图像对应的待检行人图像特征和所述目标行人图像对应的目标行人图像特征,计算所述目标行人图像特征与所述待检行人图像特征的相似度;判断模块,用于根据所述相似度判断所述待检行人图像中的行人是否为所述目标行人图像中的行人。

在本发明的一些实施例中,基于前述方案,本发明的相似度计算模块包括:距离计算单元,用于计算所述目标行人图像特征与所述待检行人图像特征的距离;相似度计算单元,用于根据所述目标行人图像特征与所述待检行人图像特征的距离,确定所述目标行人图像特征与所述待检行人图像特征的相似度。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:排列模块,用于根据所述目标行人图像特征与所述待检行人图像特征的距离的大小,由近到远排列所述待检行人图像。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:第三获取模块,用于获取由图像采集设备采集的包含行人的原始图像;待检行人图像生成模块,用于对所述原始图像进行人体检测并提取人体区域,以获得所述待检行人图像。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:目标行人图像生成模块,用于接收用户选择的人体图像,并将所述人体图像作为所述目标行人图像。

在本发明的一些实施例中,基于前述方案,本发明的装置还包括:第四获取模块,用于获取多个人体标注图像,各所述人体标注图像对应不同场景;模型训练模块,用于将所述人体标注图像输入至所述行人识别模型,以对所述行人识别模型进行训练。

根据本发明的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中所述的人体识别方法。

根据本发明的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的人体识别方法。

根据本示例实施例中的人体识别方法,服务器获取行人图像后,首先对行人图像进行特征提取以获取全局特征图;然后将全局特征图沿预设方向分为多个区域,并对各区域池化形成与各区域对应的池化区域;最后将各池化区域对应的池化区域特征按照预设方向连接,以获得与行人图像对应的行人图像特征。本发明通过将全局特征图分为多个区域以进行分步池化,然后将各池化区域的池化区域特征依次连接获得行人图像对应的特征,提高了行人图像的识别精度,降低了错识别误识别的概率。

本发明应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出可以应用本发明实施例的用于人体识别方法或用于人体识别装置的示例性系统架构的示意图;

图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图;

图3示出本发明一实施例中的人体识别方法流程图;

图4a-4c示出本发明一实施例中的全局特征图沿预设方向分为多个区域的结构示意图;

图5示出本发明一实施例中稠密卷积神经网络中稠密块的结构示意图;

图6示出本发明一实施例中人体识别方法的流程图;

图7示出本发明一实施例中行人重识别的流程图;

图8示出本发明一实施例中人体识别装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。

此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本发明实施例的人体识别方法或人体识别装置的示例性系统架构100的示意图。

如图1所示,系统架构100可以包括终端设备101,网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器103可以是多个服务器组成的服务器集群等。

用户可以使用终端设备101通过网络102与服务器103交互,以接收或发送消息等。终端设备101可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。

服务器103可以是提供各种服务的服务器。例如以对行人图像进行处理为例,用户通过与终端设备101连接的输入设备在终端设备101中选择目标行人图像,并将目标行人图像发送给服务器103,服务器103对该目标行人图像提取特征、分步池化并全连接各池化区域特征,形成目标行人图像特征;同时服务器103通过多个位于不同位置的图像采集设备获取多个包含行人的原始图像,通过对原始图像分别进行人体检测形成行人图像框,并从行人图像框中提取人体部分形成待测行人图像;然后对待测行人图像提取特征、分步池化并全连接形成待测行人图像特征,多个待测行人图像特征及对应的人体部分存储于服务器103中,形成图像库。服务器103获得目标行人图像特征后,通过计算目标行人图像特征与特征库中各待测行人图像特征的距离,以判断二者的相似度,进而根据相似度确定与目标行人图像特征最接近的待测行人图像特征,并将该待测行人图像特征对应的待测行人图像发送到终端设备101以供用户参考。

图2示出了适于用来实现本发明中的实施例的电子设备的计算机系统的结构示意图。

需要说明的是,图2示出的电子设备的计算机系统200仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示,计算机系统200包括中央处理单元(cpu)201,其可以根据存储在只读存储器(rom)202中的程序或者从存储部分208加载到随机访问存储器(ram)203中的程序而执行各种适当的动作和处理。在ram203中,还存储有系统操作所需的各种程序和数据。cpu201、rom202以及ram203通过总线204彼此相连。输入/输出(i/o)接口205也连接至总线204。

以下部件连接至i/o接口205:包括键盘、鼠标等的输入部分206;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分207;包括硬盘等的存储部分208;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至i/o接口205。可拆卸介质211,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器210上,以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地,根据本发明的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分209从网络上被下载和安装,和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(cpu)201执行时,执行本申请的系统中限定的各种功能。

需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。

附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。例如,所述的电子设备可以实现如图3-图6所示的各个步骤。

在本领域的相关技术中,通常采用图像处理领域的手工特征进行模型训练,并结合经典的机器学习回归模型(如线性回归等)来进行行人重识别。随着深度学习方法的逐渐普及,现有的行人重识别方法开始逐渐向深度学习框架进行改进。但是不论是传统方法还是深度学习模型,行人重识别的技术方案大致都是首先输入一张参考人体图像和一张目标人体图像,然后提取两张图像的关键特征判断两张图像是否属于同一个人。

但是相关技术中的行人重识别也存在缺陷,通过上述方法进行重识别,一方面,识别精度较低,错识别误识别的概率较大;另一方面,场景单一,无法适应在多场景下的行人重识别任务。

针对相关技术中存在的问题,在本发明一实施例中,首先提供了一种人体识别方法,以对存在的问题进行优化处理,具体参考图3所示,该人体识别方法适用于前述实施例中的所述电子设备,并至少包括以下步骤,具体为:

步骤s310:获取行人图像;

步骤s320:提取所述行人图像的特征,以获得全局特征图;

步骤s330:将所述全局特征图沿预设方向分为多个区域,并对各所述区域进行池化以获得与各所述区域对应的池化区域;

步骤s340:将各所述池化区域对应的池化区域特征沿所述预设方向依次连接,以获得所述行人图像对应的行人图像特征。

根据本示例实施例中的人体识别方法,服务器103获取行人图像后,对行人图像进行特征提取以获得全局特征图;然后将全局特征图分为多个区域并分步池化,每个区域经池化后形成池化区域;最后将各池化区域对应的池化区域特征依次连接形成行人图像特征。通过对全局特征图分步池化并连接形成行人图像特征能够提高行人重识别的精度,降低错识别误识别的概率。

下面,对本示例实施例中的人体识别方法进行进一步的说明。

在步骤s310中,获取行人图像。

在本示例实施例中,可以获取由图像采集设备采集的包含行人的原始图像;然后对原始图像中的行人进行人体检测,获得包含行人及较少背景的行人图像框;接着从行人图像框中提取行人人体对应的区域,以形成只包含行人的行人图像。在本发明中,获取的原始图像可以包含一个行人,也可以包含多个行人。当获取原始图像后,可以对原始图像中的每个行人进行检测以获取包含行人的人体矩形框,然后对包含行人的人体矩形框中的行人进行人体边缘检测,以获取只包含行人的行人图像,将人体与背景分离。本发明中的图像采集设备可以是摄像机、摄像头、照相机等具有拍照功能的设备。另外,值得注意的是,图像采集设备可以位于不同位置,用于从不同位置、角度采集包含行人的原始图像,以便于从行人各个角度、姿态、步态等进行分析,提高行人的识别精度。

在步骤s320中,提取所述行人图像的特征,以获得一全局特征图。

在本示例实施例中,可以提取行人图像的特征,形成全局特征图。在提取行人图像的特征时,可以分别提取行人头部、上身、下身、脚部的特征,最后将各部分的图像特征连接形成行人图像的特征;也可以沿纵轴方向将人体平均分为多块,分别提取各分块对应的行人人体的特征,最后将各分块对应的图像特征连接形成行人图像的特征;当然还可以采用其它方式提取行人图像的特征,本公开对此不做具体限定。在提取行人图像的特征时,可以采用方向梯度直方图(histogramoforientedgradient,简称hog)、尺度不变特征变换(scale-invariantfeaturetransform,简称sift)等算法,也可以是通过深度学习网络来提取行人图像特征,其中,深度学习网络可以是卷积神经网络(convolutionalneuralnetwork,简称cnn)、循环神经网络(recurrentneuralnetwork,简称rnn)、残差网络(residualnetworks,简称resnet)等网络模型。当采用方向梯度直方图算法提取行人图像的特征时,首先将行人图像进行灰度化、归一化后计算行人图像中每个像素的梯度;然后将行人图像划分成小的细胞单元,并统计每个细胞单元的梯度直方图,最后把这些直方图组合起来就可以构成行人图像的特征描述器。当采用尺度不变特征变换算法提取行人图像的特征时,首先构建尺度空间,检测极值点,获得尺度不变性;然后对特征点进行过滤并进行精确定位;接着为特征点分配方向值,并生成特征描述子;最后对两幅图像的sift特征向量,采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。当采用深度学习网络模型提取行人图像的特征时,将行人图像输入深度学习网络模型,通过多个卷积层、池化层对行人图像进行特征提取以获取多个图像特征,并通过全连接层将多个图像特征连接以获取行人图像的特征。由于深度学习网络相较于传统行人重识别方法识别精度较高,因此本发明采用深度学习网络进行行人重识别。

在本示例实施例中,可以通过一特征提取网络提取行人图像的特征,以获得与行人图像对应的全局特征图。在特征提取网络中可以设置不同大小的卷积核,对行人图像进行多层卷积操作,以形成全局特征图。

在步骤s330中,将所述全局特征图沿预设方向分为多个区域,并对各所述区域进行池化以获得多个池化区域。

在本示例实施例中,获得全局特征图后,可以通过分步池化网络将特征图沿预设方向分为多个区域,该预设方向可以是横轴方向或是纵轴方向,也可以是其它任意设定的方向,图4a-4c示出了将全局特征图沿预设方向分为多个区域的结构示意图,如图4a-4c所示,在分区域时,可以按照人体组成结构划分为多个区域,例如按照人体的头部、上身、下身、脚部进行分块(如图4a所示);可以将全局特征图沿横轴平均分块,形成多个区域(如图4b所示);可以将全局特征图沿纵轴平均分块,形成多个区域(如图4c所示);也可以将全局特征图按照任意比例沿任意方向进行划分。但是考虑到每个行人的身材比例不同,按照人体组成结构分块的效果并不理想,而将全局特征图平均分块,则方便深度学习网络进行处理,并且处理效果很好。由于操作对象是行人人体形成的全局特征图,其特征主要沿纵轴方向分布,因此本发明中沿纵轴方向将全局特征图分为多个区域。

在本示例实施例中,将全局特征图沿预设方向分为多个区域后,通过分步池化网络将各个区域进行池化,以获得多个池化区域。

在步骤s340中,将各所述池化区域对应的池化区域特征沿所述预设方向依次连接,以获得所述行人图像对应的行人图像特征。

在本示例实施方式中,全局特征图被分为多个区域,并且每个区域被池化形成池化区域后,可以通过全连接网络将各个池化区域对应的池化区域特征按照步骤s330中的预设方向(纵轴方向)依次连接,以获得行人图像对应的行人图像特征,该行人图像特征用于对行人身份的预测。

在本示例实施方式中,为了使全连接层输出的行人图像特征更丰富,可以在采用全连接网络将各池化区域对应的池化区域特征级联之前,通过预设大小的卷积核提取各个池化区域的特征,提高池化区域特征的维度,进而提高行人图像特征的维度,即提高了行人图像特征的精度。

本发明的人体识别方法通过对行人图像提取特征后进行分步池化,然后再将各池化区域对应的池化区域特征级联形成行人图像特征。通过本发明的人体识别方法能够将人体分为多个区域,分别提取各区域的特征,从而解决了行人重识别时随着人体姿态的不同变化导致的特征表达区分难度较大的问题,提高了行人重识别的识别准确率。

在本示例实施方式中,该特征提取网络、分步池化网络和全连接网络可以组成行人识别模型。为了提高行人重识别的识别准确率,本发明基于稠密卷积神经网络(densenet201)建立一行人识别模型,并将模型的最后一层全局池化层改为分步池化再级联的形式,以进行行人重识别。图5示出了一种稠密卷积神经网络中稠密块(denseblock)的结构示意图,如图5所示,稠密块500包括5层(x0、x1、x2、x3、x4),其中第一层x0为输入层,每层的输出特征均经过归一化-线性整流-卷积(bn-relu-conv)操作(h1、h2、h3、h4)形成一特征图,每层输出的特征图分别叠加到之后网络层对应的输出特征图中,实现了特征图的跳跃链接和共享。通过复用和共享网络中间层特征权重能够获得更丰富的特征表达,同时对中间层特征的极致利用可达到更好的效果和更少的参数,也就是说,稠密卷积神经网络具有丰富的特征表达、参数少、计算量少等优点。当然,本发明也可以采用其它的深度学习网络框架,本发明对此不做具体限定。

在本示例实施方式中,图6示出了本发明中人体识别方法的流程图,如图6所示,服务器103接收一w×h的原始图像,通过深度学习网络对原始图像进行卷积运算输出一全局特征图;将该全局特征图沿纵轴方向平均切块分为多个区域,并以一列向量f对各个区域进行平均池化,以获得多个池化区域;接着可以通过大小为1×1的卷积核对各个池化区域提取特征,以使图像特征更丰富;最后通过全连接层将各个池化区域对应的池化区域特征级联形成最终的行人图像特征。

在本示例实施方式中,为了使本发明中的深度学习网络模型可以对不同场景都具有良好的图像识别准确率,可以通过将不同场景下的行人进行标注,然后将标注图像作为样本对深度学习网络模型进行训练。在本发明中,标注图像的形成方法具体为:首先通过不同位置的图像采集设备采集多幅包含多个行人的图像形成行人视频序列;然后对对待标注的行人视频序列进行人体检测和人体跟踪,得到同一人体的连续图像序列;接着将多个人体图像序列进行整合存储,并由标注人员逐一对每一个序列进行身份确认,同时在图像序列中挑选行人特征清晰的行人图像进行标注。其中行人特征清晰指无重叠、特征(脸部特征、步态、身形等)清晰的行人图像。通过采用精细地行人图像标注数据训练模型,能够提高模型识别不同场景下的行人的准确率,使得模型具有更好的泛化性。

在本示例实施方式中,为了对行人进行重识别,可以将行人图像分为待检行人图像和目标行人图像,其中待检行人图像可以是由多个行人图像特征组成特征库,不同的行人图像特征对应不同的行人图像。通过将目标行人图像对应的特征与待检行人图像对应的特征进行对比,获取与目标行人图像的特征相似度最高的待检行人图像的特征,则该些待检行人图像中的行人与目标行人图像中的行人很大程度上是同一人。

在本示例实施方式中,待检行人图像可以是由多个设置在不同位置的图像采集设备采集的包含行人的原始图像经过人体检测和人体区域提取所形成的图像;目标行人图像可以是从存储于终端设备101或服务器103的图像库中选取的行人图像,例如用户可以通过与终端设备101连接的硬件设备(如鼠标、触控笔等)从图像库中选择需要检索查询的人体图像作为目标行人图像。

在获得待检行人图像和目标行人图像后,可以采用本发明的人体识别方法分别对待检行人图像和目标行人图像进行处理,以获得待检行人图像特征和目标行人图像特征。为了判断目标行人图像中的行人与待检行人图像中的行人是否为同一人,可以通过计算目标行人图像特征和待检行人图像特征的相似度,并根据相似度判断两幅图像中的行人是否为同一人。若相似度高,则可能为同一人;若相似度低,则不是同一人。

在本示例实施方式中,可以通过计算目标行人图像特征与待检行人图像特征的距离获得相似度,该距离可以是欧式距离或余弦距离,当然也可以是其它距离,距离越小,相似度就越高,两张图像中行人为同一人的概率也就越大;反之亦然。

在本示例实施方式中,在获得目标行人图像特征与多个待检行人图像特征的距离后,可以将该些待检行人图像根据待检行人图像特征和目标行人图像特征的距离由近及远排列,排在最前面的就是相似度最高的待检行人图像,排在最后的就是相似度最低的待检行人图像。为了便于用户观察,可以按照顺序依次将待检行人图像发送至终端设备101进行展示。

作为本发明的另一实施方式,可以将图像采集设备采集的多个包含行人的原始图像按照本发明的人体识别方法进行处理,获得多个行人图像特征,并将行人图像特征与对应的行人图像存储于服务器103中,形成特征库。当用户在终端设备101中选择需要检索查询的目标行人图像后,服务器103将目标行人图像按照本发明的人体识别方法进行处理,获得目标行人图像特征,然后再计算目标行人图像特征与特征库中的每一个行人图像特征的距离,以判断与目标行人图像特征具有高相似度的待检行人图像特征,并将该些待检行人图像特征对应的待检行人图像发送至终端设备101。

以下结合图7对本发明实施例的一个具体应用场景进行详细阐述,在该应用场景中,可以在商场入口处设置图像采集设备,基于该图像采集设备采集到的图像进行行人重识别。图7示出了行人重识别的流程图,如图7所示,在步骤s701中,通过设置在商场入口的图像采集设备采集包含行人的原始图像;在步骤s702中,对获取的原始图像中的行人进行人体检测,获取包含行人人体的一个矩形框,即形成行人图像框;在步骤s703中,对行人图像框中的人体进行检测,获得只包含行人不包含背景的行人图像,然后对行人图像进行处理获得行人图像特征,同时将行人图像特征与对应的行人图像存储于特征库中;在步骤s704中,根据目标行人图像特征在特征库中检索相似度高的待检行人图像特征,并根据相似度高低进行排序;在步骤s705中,按照相似度从高到低的顺序展示检索结果。

值得注意的是,虽然上述应用场景是对商场中的行人进行识别,但是本发明并不局限于该应用场景,本发明的人体识别方法还可以应用于会议、聚会等场景,本发明在此不再赘述。

以下介绍本发明的装置实施例,可以用于执行本发明上述的人体识别方法。对于本发明装置实施例中未披露的细节,请参照本发明上述的人体识别方法的实施例。

图8示出了一种人体识别装置的结构示意图。参照图8所示,人体识别装置800可以包括:第一获取模块801、特征提取模块802、分步池化模块803和全连接模块804。

具体地,第一获取模块801,用于获取行人图像;特征提取模块802,用于提取所述行人图像的特征,以获得全局特征图;分步池化模块803,用于将所述全局特征图沿预设方向分为多个区域,并对各所述区域进行池化以获得与各所述区域对应的池化区域;全连接模块804,用于将各所述池化区域对应的池化区域特征沿所述预设方向依次连接,以获得所述行人图像对应的行人图像特征。

在本示例实施方式中,人体识别装置800还包括第二获取模块805、人体检测模块806和图像生成模块807。

具体地,第二获取模块805,用于获取包含行人的原始图像;人体检测模块806,用于通过对所述原始图像进行人体检测,以获得行人图像框;图像生成模块807,用于从所述行人图像框中提取行人对应的区域,以形成所述行人图像。

进一步的,分步池化模块803包括分区单元8031和池化单元8032。

具体地,分区单元8031,用于将所述全局特征图沿纵轴方向平均分块,以形成多个所述区域;池化单元8032,用于分别对各所述区域进行平均池化,以获得多个所述池化区域。

在本示例实施方式中,人体识别装置800还包括池化特征提取模块808,用于通过预设大小的卷积核提取各所述池化区域的特征,以获得所述池化区域特征。

在本示例实施方式中,所述行人图像包括待检行人图像和目标行人图像,人体识别装置800还包括相似度计算模块809和判断模块810。

具体地,相似度计算模块809,用于根据所述待检行人图像对应的待检行人图像特征和所述目标行人图像对应的目标行人图像特征,计算所述目标行人图像特征与所述待检行人图像特征的相似度;判断模块810,用于根据所述相似度判断所述待检行人图像中的行人是否为所述目标行人图像中的行人。

进一步的,相似度计算模块809包括距离计算单元8091和相似度计算单元8092。

具体地,距离计算单元8091,用于计算所述目标行人图像特征与所述待检行人图像特征的距离;相似度计算单元8092,用于根据所述目标行人图像特征与所述待检行人图像特征的距离,确定所述目标行人图像特征与所述待检行人图像特征的相似度。

在本示例实施方式中,人体识别装置800还包括排列模块811,用于根据所述目标行人图像特征与所述待检行人图像特征的距离的大小,由近到远排列所述待检行人图像。

在本示例实施方式中,人体识别装置800还包括第三获取模块812和待检行人图像生成模块813。

具体地,第三获取模块812,用于获取由图像采集设备采集的包含行人的原始图像;待检行人图像生成模块813,用于对所述原始图像进行人体检测并提取人体区域,以获得所述待检行人图像。

在本示例实施方式中,人体识别装置800还包括目标行人图像生成模块814,用于接收用户选择的人体图像,并将所述人体图像作为所述目标行人图像。

在本示例实施方式中,人体识别装置800还包括第四获取模块815和模型训练模块816。

具体地,第四获取模块815,用于获取多个人体标注图像,各所述人体标注图像对应不同场景;模型训练模块816,用于将所述人体标注图像输入至所述行人识别模型,以对所述行人识别模型进行训练。

由于本发明的示例实施例的人体识别装置的各个功能模块与上述人体识别方法的示例实施例的步骤对应,因此在此不再赘述。

应当注意,尽管在上文详细描述中提及了人体识别装置的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由所附的权利要求指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1