基于属性信息的特征融合方法、装置和存储介质与流程

本发明涉及特征融合技术领域，具体涉及一种基于属性信息的特征融合方法、装置和存储介质。

背景技术：

随着平安城市、智慧社区等各类安防项目的发展，视频监控已广泛分布在社会的各个角落。视频监控时时刻刻都会记录抓拍到视频图像数据，如何从这些视频图像数据中挖掘出有效信息变得尤为重要，得益于深度学习技术的发展，极大推动了视频图像数据进入到实际应用中，如人脸识别、动态布控等。深度学习算法首先通过多层非线性网络结构来提取视频图像特征，然后应用于识别、标注等具体任务。在实际应用中，一般也会使用gpu、加速卡等物理设备加速特征的计算。

深度学习提取的视频图像特征是高维特征，也就是一个高维数值型的向量，如图1所示。提取完特征后，图片之间的相似程度就可以通过计算特征间的相似性来衡量，在人脸检索、标注等场景中，通常将特征相似性符合阈值条件的认为是同一个人。然而，深度学习特征提取模型受摄像头抓拍图片质量的影响(如图片角度、光照、模糊程度等)，可能会使同一个人多张图片的特征相似性低于设置的阈值，而不同人的图片特征相似性高于阈值，因此在路人库标注的实际应用中采用计算特征相似性来衡量两张图片是否为同一个人时，常常会存在一人分多类、多人分一类现象，甚至还会出现不同属性信息(如性别属性，男女混为成一类)的图片归为一类，而且随着摄像头抓拍图片数据量的增加，这些问题会越来越严重。

技术实现要素：

本发明主要解决的技术问题是如何提高特征融合的准确度。

根据第一方面，一种实施例中提供一种基于属性信息的特征融合方法,包括：

获取图片流数据，基于图片流数据，提取每张图片对应的高维特征和属性信息；

将高维特征按照属性信息进行分类，得到多个属性分区，所述属性分区用于存储具有相同属性信息的高维特征；

在每个属性分区中对高维特征进行特征相似性比对，根据比对结果将相似高维特征进行特征融合；

将每个属性分区中融合后的高维特征与预设数据库中相应属性分区的高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合；

对预设数据库中融合后的高维特征进行标定。

进一步地，所述将每个属性分区中融合后的高维特征与预设数据库中相应属性分区的高维特征进行特征相似性比对之前，还包括：

对多个属性分区按照目标属性信息进行合并，得到合并后的属性分区，所述合并后的属性分区用于存储具有相同目标属性信息的高维特征，在合并后的每个属性分区中对高维特征进行特征相似性比对，根据比对结果对每个属性分区中相似高维特征进行特征融合。

进一步地，所述属性信息包括但不限于性别、年龄、图像倾斜角、肤色、发型和带眼镜与否。

进一步地，所述合并后的属性分区用于存储具有相同性别的高维特征。

进一步地，所述在每个属性分区中对高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合包括：

计算高维特征之间的相似度；

将相似度大于等于预设比对阈值的高维特征进行特征融合。

进一步地，所述每个属性分区中的预设比对阈值不相同。

进一步地，通过特征提取器提取每张图片对应的高维特征；通过属性提取器提取每张图片对应的属性信息。

根据第二方面，一种实施例中提供一种基于属性信息的特征融合装置，包括；

获取模块，用于获取图片流数据；

特征提取模块，用于基于图片流数据，提取每张图片对应的高维特征；

属性信息提取模块，用于基于图片流数据，提取每张图片对应的属性信息；

属性分区模块，用于将高维特征按照属性信息进行分类，得到多个属性分区，所述属性分区用于存储具有相同属性信息的高维特征；

属性分区特征融合模块，用于在每个属性分区中对高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合；

数据库特征融合模块，用于将每个属性分区中融合后的高维特征与预设数据库中相应属性分区的高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合；

标定模块，用于对预设数据库中融合后的高维特征进行标定。

根据第三方面，一种实施例中提供一种电子设备，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现上述实施例所述的方法。

根据第四方面，一种实施例中提供一种计算机可读存储介质，包括程序，所述程序能够被处理器执行以实现上述实施例所述的方法。

依据上述实施例的基于属性信息的特征融合方法、装置和存储介质，利用图片的属性信息将对应的高维特征划分到不同属性分区中，在每个属性分区中进行特征相似性比对，减少了特征相似性比对的次数，并且在不同属性分区中独立进行高维特征相似性比对，可设置不同的比对阈值，有效避免了同一比对阈值时产生的一人分多类或多人分一类现象，减少了误分类现象，提升了特征融合的准确度。

附图说明

图1为一种实施例的高维特征示意图；

图2为一种实施例的基于属性信息的特征融合方法流程图；

图3为另一种实施例的基于属性信息的特征融合方法流程图；

图4为一种实施例的特征融合装置的结构示意图；

图5为一种实施例的电子设备的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

本发明实施例中，通过获取图片流数据，并提取图片对应的高维特征和属性信息，依据属性信息将图片的高维特征划分至不同属性分区中，在属性分区中按照不同的比对阈值对高维特征进行特征相似性比对，根据比对结果将相似高维特征划分为一类并进行特征融合，避免了一人多类或多类一人的现象，再将每个属性分区中高维特征与预设数据库中相应属性分区的高维特征进行特征相似性比对，根据比对结果将相似高维特征划分为一类并进行特征融合，这样在每个属性分区下进行特征分类和融合减少了分类次数，避免了误分类现象，提升了特征融合的准确度。

本发明实施例提供的特征融合方法可应用于某一安防区域的路人进行视频监控，在路人监控中，需要提取图片中路人的人体特征来对路人进行分类，每一类表征为同一人，由于人体特征中的人脸特征最具有表征意义，因此本实施例以人脸特征为例进行说明。

请参考图2，图2为一种实施例的基于属性信息的特征融合方法流程图，所述方法包括以下步骤：

s101，获取图片流数据，基于图片流数据，提取每张图片对应的高维特征。

在本实施例中，可以使用已经训练好的人脸特征提取器和属性提取器对图片对应的高维特征和属性信息进行提取。人脸特征提取器可以为经典的卷积神经网络。在一些实施方式中，对于一张图片，先将其输入到训练好的特征提取器中提取出人脸特征，所述的人脸特征为一个高维特征向量，其维数为数百维或上千维。一种实施例中，请参考图3，图片流数据为每隔特定时间监控摄像头连续抓拍的一组图片数据，假设一组图片流数据中图片的数量为k张，且每张图片上均有路人的人脸，则将图片流数据输入至图片服务器中的人脸特征提取器中得到k个高维特征，所述的高维特征为高维特征向量，即k个高维特征向量f1,f2,...,fk。

s102，基于图片流数据，提取每张图片对应的属性信息。如图3所示，将图片流数据输入图片服务器中训练好的属性提取器中得到属性信息p1,p2,...,pk。其中，pi＝{pi1,pi2,...,pin}，n为通过属性提取器得到的属性信息的种类个数。

在本实施例中，每张图片对应的属性信息为图片中路人的人脸所对应的属性信息。仅作为示例，图片中人脸所对应的属性信息可以包括：性别、年龄、图像倾斜角、肤色、发型和带眼镜与否等等，上述属性信息还可以包括其他任何可用于表征人脸的属性信息。图片流数据中每个图片可对应多个属性信息，例如一个图片中的属性信息可以包括女性、青年、图像倾斜角为0-20度，也就是说，该图片对应的高维特征可同时具有女性、青年、图像倾斜角为0-20度三种属性信息。

s103，将高维特征按照属性信息进行分类，得到多个属性分区，属性分区用于存储具有相同属性信息的高维特征。

在本实施例中图片服务器将所提取的高维特征f1,f2,...,fk和属性信息p1,p2,...,pk输入分布式计算框架中，例如spark，对每个属性分区中的特征进行比对和融合。

在本实施例中，以性别、年龄段和图像倾斜角三种属性信息为例，对12张图片所提取出的人脸高维特征f1,f2,...,f12进行特征融合，其中高维特征f1,f2,...,f12所分别具有的属性信息如表1所示。

表1

将上述三种属性信息进一步细分，则本实施例中的性别包含男和女，年龄段包含儿童、青年与中老年，图像倾斜角包含0-20度、20-40度、40-60度。所述的图像倾斜角是指所拍摄图片中人脸图像与预设图像中心线的夹角。

一种实施例中，将上述高维特征f1,f2,...,fk按照属性信息进行如下分类：

(男，青年，0-20)：f2、f4、f8、f11

(男，儿童，0-20)：f1、f9

(女，青年，0-20)：f7、f12

(女，青年，20-40)：f3、f6

(女，中老年，20-40)：f5

(女，中老年，40-60)：f10

本实施例中的属性分区用于存储具有相同属性信息的高维特征，例如f2、f4、f8、f11所表征的人脸特征均为男性，且年龄段为青年，人脸图像的倾斜角为0-20度。因此对于上述分类情况，按照性别属性信息进行分类得到两个属性分区，分别为男性属性分区(f2、f4、f8、f11、f1、f9)和女性属性分区(f7、f12、f3、f6、f5、f10)。按照年龄段属性信息进行分类得到三个属性分区，分别为儿童属性分区(f1、f9)、青年属性分区(f2、f4、f8、f11、f7、f12、f3、f6)和中老年属性分区(f5、f10)。按照图像倾斜角属性信息进行分类得到三个属性分区，分别为0-20度属性分区(f2、f4、f8、f11、f1、f9、f7、f12)、20-40度属性分区(f3、f6、f5)和40-60度属性分区(f10)。因此，在该实施例下可得到8个属性分区。

s104，在每个属性分区中对高维特征进行特征相似性比对，根据比对结果将相似高维特征进行特征融合。

摄像头拍摄图片时由于角度或者拍摄目标运动等问题，常常会出现将一个高维特征和与其具有不同属性信息的高维特征归类为相似特征，若两个高维特征归类为相似特征，则对应的人脸特征属于同一类，即为同一个路人，但是两者属性不同，这时就出现了误分类的问题，或者同一个高维特征与多个具有不同属性信息的高维特征归类为相似特征，此时就出现了一人多类或者多类一人的问题。

本实施例在每个属性分区中进行特征相似性比对，由于每个属性分区中的高维特征均具有同一属性信息，因此在属性分区中进行相似性特征比对时，不会出现上述误分类、一人多类或多类一人的问题。

在一种实施例中，通过计算高维特征之间的相似度来进行特征相似度比对，将相似度大于等于预设比对阈值的高维特征作为一类特征，为了减小特征数量，将归为一类的高维特征进行特征融合，经过融合后得到一个高维特征。本实施例中的相似度计算可以采用余弦距离等方式。

在另一种实施例中，高维特征相似性计算可以采用以下公式：

其中，f1、f2分别表示两个高维特征，|f1|、|f2|分别表示两个高维特征对应的模。由于一般提取的图像高维特征的模为1，所以上述公式可简化为：sim＝f1·f2。假设特征f1由k个特征融合而来，f2有p个特征融合而来，则融合后的特征计算公式为：融合后的特征需要对其进行归一化，即即经过融合后得到一个高维特征。

在本实施例中，分别对8个属性分区中的高维特征进行比对和融合后，高维特征的分类情况如下：

(男，青年，0-20)：(f2、f4、f8)、f11，相似性特征比对次数4x4＝16，融合后的高维特征为fk1、f11。

(男，儿童，0-20)：(f1、f9)，相似性特征比对次数2x2＝4，融合后的高维特征为fk2。

(女，青年，0-20)：(f7、f12)，相似性特征比对次数2x2＝4，融合后的高维特征为fk3。

(女，青年，20-40)：(f3、f6)，相似性特征比对次数2x2＝4，融合后的高维特征为fk4。

(女，中老年，20-40)：f5，相似性特征比对次数1x1＝1，融合后的高维特征为f5。

(女，中老年，40-60)：f10，相似性特征比对次数1x1＝1，融合后的高维特征为f10。

本实施例中，相似性特征比对的总次数为：16+4+4+4+1+1＝30。本实施例中每个属性分区中的预设比对阈值不相同，可根据每个属性分区的情况进行调整。

s105，对多个属性分区按照目标属性信息进行合并，得到合并后的属性分区，合并后的属性分区用于存储具有相同目标属性信息的高维特征，在每个属性分区中对高维特征进行特征相似性比对，根据比对结果对每个属性分区中相似高维特征进行特征融合。

由于图片的属性信息较多，因此属性分区的数量也较多，如果直接按照所有属性分区中的高维特征与预设数据库中的高维特征进行比对，导致数据库中属性分区较复杂。因此本实施例按照属性信息逐个对属性分区进行合并，例如先将具有不同图像的倾斜角属性信息的属性分区进行合并，合并后的情况如下：

(男，青年)：fk1、f11，相似性特征比对次数：2x2＝4，融合后的高维特征为fk1、f11。

(男，儿童)：fk2，相似性特征比对次数：1x1＝1，融合后的高维特征为fk2。

(女，青年)：fk3、fk4，相似性特征比对次数：2x2＝4，融合后的高维特征为fk3、fk4。

(女，中老年)：(f5、f10)，相似性特征比对次数：2x2＝4，融合的高维特征为fk5。

本实施例中相似性特征比对的总次数为：4+1+4+4＝13。合并属性分区后最终融合后得到的高维特征为fk1、fk4、fk6与fk7。

然后再将具有年龄段属性信息的属性分区进行合并，合并后只剩下具有性别属性信息的两个属性分区，如下所示：

男：fk1、(f11、fk2)，相似性特征比对次数：3x3＝9，融合后的高维特征为fk1、fk6。

女：(fk3、fk5)、fk4，相似性特征比对次数：3x3＝9，融合后的高维特征为fk7、fk4。

本实施例中相似特征比对次数：9+9＝18，合并属性分区后最终融合后得到的高维特征为fk1、fk4、fk6与fk7。

需要说明的是，在本实施例中涉及到高维特征相似性特征比对，以及对相似特征进行融合的具体方法已在上述实施例进行了说明，此处不再赘述。

经过步骤s105后，本实施例中的分布式计算框架输出性别属性分区中的高维特征，也就是男性属性分区中的高维特征和女性属性分区中的高维特征。

s106，将每个属性分区中高维特征与预设数据库中相应属性分区的高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合。

本实施例中的预设数据库用于存储所有分类融合后的高维特征，每一类高维特征在该预设数据库中均进行了标注。在步骤s105中对属性分区进行合并后，此时只剩下具有性别属性信息的两个属性分区，而在预设数据库中所存储的高维特征也具有性别属性信息，因此在每种性别属性信息的属性分区下对经过上述融合后得到的高维特征与预设数据库中的高维特征进行相似性比对，同样，若比对结果为同一类则将相似特征进行特征融合，并将融合后得到的高维特征加入预设数据库中，并将每个高维特征的融合次数、最后一次融合的时间加入预设数据库中。

s107，对预设数据库中融合后的高维特征进行标定。在本实施例中，预设数据库中融合后的每个高维特征均表征单独个体，例如每个高维特征代表一个人，因此需要对预设数据库中的每个高维特征标定标签，以方便后期对预设数据库中融合后的高维特征的应用。

本实施例中预设数据库中融合后的高维特征可以用于协助公安机关查找犯罪人员，例如提取犯罪人员照片中相对应的高维特征，将犯罪人员对应的高维特征与预设数据库中的高维特征进行相似性比对，若相似度高，则可以将其列为嫌疑人员进一步人工比对，减少了人工比对的工作量。此外，预设数据库中融合后的高维特征还可以用于统计某一区域的人流量，预设数据库中高维特征在某个时间段的数量可以表征某一区域的人流量。

一种实施例中的预设数据库可以是历史标签档案库，该历史标签档案库中存储有高维特征，每个高维特征均标注有标签(例如人名或者序号)以及每个高维特征的融合次数和最后一次融合时间，如图2所示，分布式框架输出性别属性分区中的高维特征，在与历史再融合模块中与历史标签档案库中存储的高维特征按照不同性别的属性分区进行相似性特征比对，根据比对结果聚类结果输出模块进行分类和特征融合，聚类结果输出模块输出融合后得到的高维特征，并更新档案库中的内存历史数据，所述的内存历史数据包括标签档案库中每个高维特征的融合次数、最后一次融合时间以及每个高维特征的标签。

在本实施例中以12个高维特征为例，总共相似特征比对次数为30+13+18＝61次。若不采用属性分区，则需比对次数：12x12＝144次，大大减少了计算量。并且根据属性信息使用非固定比对阈值，能够有效解决固定阈值产生的一人分多类和误分类问题。此外，保留性别属性分区不合并，有效控制了男女混成一类的现象。

实施例二：

基于上述实施例，本实施例还提供了一种基于属性信息的特征融合装置，请参考图4，图4为一种实施例的特征融合装置的结构示意图，包括：

获取模块201，用于获取图片流数据。在本实施例中，通过设置在监控区域的监控摄像头连续抓拍路人图片，在预设一段时间内抓片的多张图片组成一组图片流数据。

特征提取模块202，用于基于图片流数据，提取每张图片对应的高维特征。在本实施例中，根据所需提取特征来提取每张图片对应的高维特征向量，每张图片对应一个高维特征向量，所述的高维特征即为高维特征向量，其根据特征类型的不同而不同，例如所提取为人脸特征时对应于一个高维特征，所提取为人体特征时对应于一个高维特征。一种实施例中，将图片输入至训练好的特征提取器中提取高维特征。

属性信息提取模块203，用于基于图片流数据，提取每张图片对应的属性信息。本实施例中的图片对应的属性信息是指图片中特征所对应的属性信息，例如对于人体特征和人脸特征，其属性信息包括但不限于性别、年龄、图像倾斜角、肤色、发型和带眼镜与否。一种实施例中，将图片输入至训练好的属性提取器中提取属性信息，属性提取器可以为单个属性提取器，其可以提取出多类属性信息，也可以为多个属性提取器，每个属性提取器提取一类属性信息。

属性分区模块204，用于将高维特征按照属性信息进行分类，得到多个属性分区，属性分区用于存储具有相同属性信息的高维特征。

属性分区特征融合模块205，用于在每个属性分区中对高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合。在每个属性分区中进行相似性比对，减少了比对次数，从而减少了计算量，并且本实施例在每个属性分区中进行特征相似性比对，由于每个属性分区中的高维特征均具有同一属性信息，因此在属性分区中进行相似性特征比对时，不会出现上述误分类、一人多类或多类一人的问题。

数据库特征融合模块206，用于将每个属性分区中高维特征与预设数据库中相应属性分区的高维特征进行特征相似性比对，根据比对结果对相似高维特征进行特征融合。

标定模块207，用于对预设数据库中融合后的高维特征进行标定，以方便后期使用预设数据库中高维特征。

本实施例装置中的各个模块所实现的功能与上述实施例的方法中的步骤相对应，其具体实现和技术效果参见上述实施例方法步骤的描述，此处不再赘述。

请参考图5，本发明的一个实施方式提供了一种电子设备。其中，该电子设备包括存储器301、处理器302、输入/输出接口303。其中，存储器301，用于存储程序。处理器302，用于调用存储器301所存储的程序执行本发明实施例的特征融合方法。其中，处理器302分别与存储器301、输入/输出接口303连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据，包括本发明实施例中涉及的特征融合程序，处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。