图像特征数据管理方法、装置、计算机设备及存储介质与流程

本发明涉及图像数据处理技术，尤其涉及一种图像特征数据管理方法、装置、计算机设备及存储介质。

背景技术：

当前的人工智能识别系统，都是基于人工采集样本数据的方式进行采样，采样的效率低下，而且普遍缺失现场环境下的采样，导致系统提取的目标对象的特征值与现场应用差距较大，识别检测准确率下降，甚至不符合真实的业务现场的场景应用。

人工智能识别系统的样本数据的特征库缺少动态的持续更新策略，以及缺少算法模型结合现场环境的应用，导致无法在现场应用中自我提高的检测识别的准确率。

人工智能识别系统的持续更新策略模型，缺少对基于人体状态变化形成的多角度、多状态人脸特征持续采集的过程，导致检测准确率低、效率低。

技术实现要素：

本发明的目的是提供一种图像特征数据管理方法、装置、计算机设备及存储介质，旨在解决现有人工智能识别系统的检测准确率低的问题。

第一方面，本发明实施例提供了一种图像特征数据管理方法，其包括：

获取视频流，并从所述视频流中获取待检测图片数据；

从所述待检测图片数据中检测出待检测的目标对象，并提取所述目标对象的待检测特征数据；

将所述待检测特征数据与预设的样本特征数据库中的样本特征数据进行对比，得到对应的样本特征数据，并依据所述样本特征数据确定其关联的身份信息，并将该身份信息作为目标对象的身份信息；

根据追踪算法器在视频流中持续对目标对象进行追踪并获取待提取图片数据，所述待提取图片数据包括目标对象的多个角度的图片数据；

对所述待提取图片数据进行检测并提取待更新特征数据，将所述待更新特征数据关联至目标对象的身份信息，并更新到样本特征数据库中。

第二方面，本发明实施例提供了一种图像特征数据管理装置，其包括：

获取单元，用于获取视频流，并从所述视频流中获取待检测图片数据；

提取单元，用于从所述待检测图片数据中检测出待检测的目标对象，并提取所述目标对象的待检测特征数据；

对比单元，用于将所述待检测特征数据与预设的样本特征数据库中的样本特征数据进行对比，得到对应的样本特征数据，并依据所述样本特征数据确定其关联的身份信息，并将该身份信息作为目标对象的身份信息；

追踪单元，用于根据追踪算法器在视频流中持续对目标对象进行追踪并获取待提取图片数据，所述待提取图片数据包括目标对象的多个角度的图片数据；

更新单元，用于对所述待提取图片数据进行检测并提取待更新特征数据，将所述待更新特征数据关联至目标对象的身份信息，并更新到样本特征数据库中。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的图像特征数据管理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的图像特征数据管理方法。

本发明公开了图像特征数据管理方法、装置、计算机设备及存储介质。该方法包括从视频流获取待检测图片数据；然后从待检测图片数据中检测出待检测的目标对象，并提取目标对象的待检测特征数据；然后将待检测特征数据与预设的样本特征数据库中的特征数据进行对比，得到目标对象的身份信息；然后根据追踪算法在视频流中持续对目标对象进行追踪并获取目标对象的待提取图片数据；再对待提取图片数据进行检测并提取待更新特征数据，最后将待更新特征数据关联至目标对象的身份信息，并更新到样本特征数据库中。本发明实施例通过对目标对象的多个角度的特征数据不断的进行更新，使目标对象的各种状态、距离角度的样本特征数据更多样化，提高了识别的准确率。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像特征数据管理方法的流程示意图；

图2为本发明实施例提供的图像特征数据管理方法的子流程示意图；

图3为本发明实施例提供的图像特征数据管理方法的又一子流程示意图；

图4为本发明实施例提供的图像特征数据管理方法的又一子流程示意图；

图5为本发明实施例提供的图像特征数据管理方法的又一子流程示意图；

图6为本发明实施例提供的图像特征数据管理装置的示意性框图；

图7为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的图像特征数据管理方法的流程示意图；

如图1所示，该方法包括步骤s101～s105。

s101、获取视频流，并从所述视频流中获取待检测图片数据。

本实施例中，在识别目标对象的过程中，通过摄像头实时采集所述目标对象的视频流，并从所述视频流中以抽帧的方式获取每一帧图片数据，从而获取所述目标对象的待检测图片数据。

s102、从所述待检测图片数据中检测出待检测的目标对象，并提取所述目标对象的待检测特征数据。

本实施例中，可通过目标检测方法(youonlylookonce，简称yolo)、实例分割算法(mask-rcnn)、训练人脸识别和关键点检测算法(multi-taskconvolutionalneuralnetwork，简称mtcnn)等对所述待检测图片数据进行检测得到所述目标对象，所述目标对象可以是人脸或者物品，本实施例以人脸为目标对象进行说明，通过检测并提取目标对象的待检测特征数据，也就是人脸的特征数据，用于后续进行人脸识别并获取目标对象的身份信息。

s103、将所述待检测特征数据与预设的样本特征数据库中的样本特征数据进行对比，得到对应的样本特征数据，并依据所述样本特征数据确定其关联的身份信息，并将该身份信息作为目标对象的身份信息。

本实施例中，所述样本特征数据库中存储了预存的多个对象的样本特征数据；比如，在社区的vip客户识别应用的人脸识别场景中，需预先采集多个vip客户的图片样本数据，然后对每位vip客户的图片样本数据进行特征提取并得到该vip客户的样本特征数据，最后由多个vip客户的样本特征数据构成样本特征数据库；也可以将所述样本特征数据保存为二进制bin的文件并存储在样本特征数据库中。

将所述待检测特征数据与预设的样本特征数据库中的多个样本特征数据进行对比，得到所述目标对象对应的样本特征数据，并依据所述样本特征数据确定其关联的身份信息，并确认该身份信息为所述目标对象的身份信息。

在一实施例中，如图2所示，所述步骤s103包括：

s201、将所述待检测特征数据与预设的样本特征数据库中的样本特征数据进行对比，得到多个相似度值；

s202、从多个相似度值中选取小于第一预设值的相似度值，将所选取的相似度值对应的样本特征数据库中的特征数据作为样本特征数据，根据所述样本特征数据从预设的身份信息关联表中获取对应的身份信息，并确定该身份信息为所述目标对象的身份信息。

本实施例中，将所述待检测特征数据与所述样本特征数据库中的所有样本特征数据进行对比，得到多个相似度值，选取相似度值小于第一预设值(可根据具体应用场景进行调整)的样本特征数据，判定所述待检测特征数据与选取的样本特征数据为同一对象的特征数据，也就是说，相似度值小于第一预设值的样本特征数据，其在身份信息关联表中关联的身份信息即为所述目标对象的身份信息；所述身份信息关联表为每一样本特征数据与其对应的身份信息构成的关联表。

进一步的，若得到的相似度值中有多个相似度值小于第一预设值，优选相似度值最小的样本特征数据作为与所述待检测特征数据为同一对象的特征数据，因为相似度值越小表示越相似，这样可以最大程度的确保识别的准确率。

在一实施例中，所述步骤s201包括：

将所述待检测特征数据与预设的样本特征数据库中的特征数据通过欧式距离算法或余弦距离算法进行对比，得到所述待检测特征数据与所述样本特征数据库中的每一样本特征数据的相似度值。

本实施例中，提取所述待检测特征数据的特征值和所述样本特征数据库中的样本特征数据的特征值，并计算所述待检测特征数据的特征值与多个所述样本特征数据的特征值之间的向量距离或余弦距离，可得到所述待检测特征数据与多个样本特征数据的多个相似度值。这里对比的算法采用欧式距离算法或余弦距离算法，得到的相似度值越小则说明向量距离或余弦距离越小，表示越相似。

s104、根据追踪算法器在视频流中持续对目标对象进行追踪并获取待提取图片数据，所述待提取图片数据包括目标对象的多个角度的图片数据。

本实施例中，根据追踪算法，可在视频流中对运动状态下的目标对象进行追踪，即通过对所述目标对象的有效算法表达，在图像序列中寻找与目标对象最相似的候选目标位置的过程，所述追踪算法器可选用boosting算法、跟踪算法mil、核相关滤波算法(kernelcorrelationfilter，简称kcf)、单目标长时间跟踪算法(tracking-learning-detection，简称tld)、跟踪算法medianflow、深度学习跟踪算法(genericobjecttrackingusingregressionnetworks，简称goturn)、运动跟踪算法oab、增量视觉跟踪算法(incrementalvisualtracking，简称ivt)、快速压缩跟踪算法(fastcompressivetracking、简称ct)、跟踪算法struck等用于追踪目标的算法器。通过追踪算法器进行追踪并持续获取目标对象的待提取图片数据，所述待提取图片数据包括目标对象的多个角度的图片数据。

在一实施例中，如图3所示，所述步骤s104包括：

s301、初始化追踪算法器并设定相关信息，所述相关信息包括目标对象的名称、姓名、编码；

s302、将所述视频流和所述目标对象对应的特征数据输入至追踪算法器，持续获取追踪算法器运行返回的多个角度的待提取图片数据，所述目标对象对应的特征数据为样本特征数据或者待检测特征数据。

本实施例中，选择上述合适的追踪算法器，比如单目标长时间跟踪算法tld，初始化单目标长时间跟踪算法器并设置追踪算法的相关信息，所述相关信息包括目标对象的名称、姓名、编码或者其他信息，具体的相关信息根据实际应用环境和具体的目标对象进行设置；比如学生入校的识别场所中，其相关信息可包括姓名、班级、学号等信息，或者在停车场对目标车辆进行识别的场景中，其相关信息可包括车牌号和车主等信息。

将所述视频流和所述目标对象对应的特征数据输入至追踪算法器，以所述目标对象对应的特征数据作为追踪基础，在视频流中持续获取目标对象的多个角度的待提取图片数据；所述目标对象对应的特征数据可以是样本特征数据库中已有的样本特征数据或者是对目标对象人脸识别的过程中提取的待检测特征数据，也就是说，追踪的基础可以是预先存储在样本特征数据库中的该目标对象的样本特征数据，也可以是本次识别成功所提取的待检测特征数据，本发明实施例优选采用本次识别成功所提取的待检测特征数据作为追踪基础，由于其是在现场环境下实时提取的，所以可以提高追踪准确率和识别准确率。

在一实施例中，如图4所示，所述步骤s302包括：

s401、确定所述视频流中的目标对象，并通过标识框进行框取；

s402、获取所述标识框内的数据并返回，判断返回的数据是否为空；若是则追踪丢失或结束；若否则依据所述标识框内的区域，获取所述目标对象的待提取图片数据。

本实施例中，通过所述追踪算法器，在所述视频流中对所述目标对象进行追踪并通过标识框进行框取；所述标识框可以是矩形框或者其他形状，通过矩形框对目标对象进行框取标识，也就是对人脸进行框取标识，所述矩形框的长宽可根据目标对象的大小自适应调整。

所述标识框可跟随运动状态下的目标对象进行移动，确保持续对所述目标对象进行追踪，并持续返回标识框内的数据，并对返回的数据进行判断，若返回的数据为空，则判断追踪丢失或结束，若否则依据所述标识框内的区域，获取所述目标对象的待提取图片数据。

在一实施例中，所述步骤s402包括：

持续获取所述目标对象的侧脸、斜脸、低头以及抬头的角度的待提取图片数据，并将所述相关信息添加至所述待提取图片数据，实现所述待提取图片数据与所述目标对象关联。

本实施例中，通常情况下，预设的样本特征数据库中的样本数据特征的角度有限，大多没有提取所述目标对象的侧脸、斜脸、低头、抬头等角度的特征数据，而在人脸识别的过程中，第一时间出现在摄像头镜头内的人脸角度大部分都不是相对的正脸，而是从远到近，部分人脸到整体人脸；若所述目标对象没有多个角度的特征数据，易导致识别准确率相对较低。

所以通过所述追踪算法器，持续获取所述目标对象的侧脸、斜脸、低头、抬头等角度的待提取图片数据；也就是说在识别目标对象的过程中，持续追踪并提取所述目标对象的多个角度的图片数据，并将所述相关信息与提取的图片数据进行关联，使所述提取的图片数据与所述目标对象进行绑定，便于后续为目标对象添加新的样本特征数据。

s105、对所述待提取图片数据进行检测并提取待更新特征数据，将所述待更新特征数据关联至目标对象的身份信息，并更新到样本特征数据库中。

本实施例中，可将所述待提取图片数据输入人脸检测识别算法模型，输出128位或512位的特征数据，然后将特征数据关联至所述目标对象的身份信息，并更新到样本特征数据库中，即可为所述目标对象添加新的样本特征数据，从而使样本特征数据库的样本特征数据不断丰富，满足目标对象的各种状态、距离角度的多样化，从而提高对目标对象的识别准确率。

本实施例基于现场环境下对目标对象识别成功后，持续追踪并提取目标对象的待提取图片数据，所述待提取图片数据为现场图片，对该待提取图片数据进行特征提取并得到待更新特征数据，该所述待更新特征数据更能体现现场环境下的目标对象的特征，也就是说追踪并提取的待更新特征数据更贴近真实检测的目标对象，将追踪并提取的待更新特征数据持续更新至所述样本特征数据库中后，可以有效的提高识别准确率，并且随着样本特征数据库的不断丰富，识别率会更准确，而且也是基于现场环境，符合光照等自然环境状态，样本特征数据库中以现场环境为基础的特征数据的越来越多后，识别准确率还可以持续的提高。

在一实施例中，如图5所示，所述步骤s105包括：

s501、对所述待提取图片数据进行特征提取，输出待更新特征数据；

s502、将所述待更新特征数据与所述目标对象的特征数据集中的特征数据进行相似度对比并得到相似度值，所述目标对象的特征数据集为所述目标对象在样本特征数据库中的样本特征数据的集合；

s503、若所述相似度值为小于或等于第二预设值，则判定所述特征数据集中已存在所述待更新特征数据，并将所述待更新特征数据丢弃；

s504、若所述相似度值大于第二预设值，则将所述待更新特征数据加入所述目标对象的特征数据集，并将所述待更新特征数据与所述目标对象的身份信息建立映射关系。

在所述样本特征数据库中存储有多个目标对象的样本特征数据，针对每一个目标对象，可以同时存储多个样本特征数据，并构成样本特征数据集。

本实施例中，将所述待提取图片数据输入人脸检测识别算法模型，输出128位或512位的特征数据，并作为待更新特征数据；然后提取所述待更新特征数据的特征值和所述样本特征数据集中的特征数据的特征值，并计算所述待更新特征数据的特征值与所述特征数据集中的特征数据的特征值之间的向量距离或余弦距离，可得到所述待更新特征数据与特征数据集中多个样本特征数据的多个相似度值。这里对比的算法可采用欧式距离算法或余弦距离算法，得到的相似度值越小则说明向量距离或余弦距离越小，表示越相似。

将得到的多个相似度值与第二预设值进行对比，若所述相似度值为小于或等于第二预设值，表示所述待更新特征数据与所述特征数据集中已存在的样本数据特征为相似或相同，可将所述待更新特征数据丢弃。

若所述相似度值大于第二预设值，表示所述待更新特征数据与所述特征数据集中已存在的样本数据特征有区别，可将所述待更新特征数据加入所述目标对象的特征数据集，同时触发通知算法加载样本特征数据库引擎，重新加载最新的样本特征数据库，完成所述样本特征数据库的更新；并将所述待更新特征数据与所述目标对象的身份信息建立映射关系，完成身份信息关联表的更新。

进一步的，本实施例提出的所述第一预设值和第二预设值中，所述第一预设值用于所述待检测特征数据与所述样本数据库中已存储的样本特征数据进行对比，所述第二预设值用于所述待更新特征数据与本次识别成功所提取的待检测特征数据(或者是预先存储在样本特征数据库中的该目标对象的样本特征数据)进行对比。

本实施例对所述第一预设值和第二预设值的设定过程中，以第一预设值为0.8举例，所述待检测特征数据与所述样本数据库中已存储的样本特征数据进行对比并得到的多个相似度值中，选取小于0.8的相似度值对应的样本特征数据，即可确认为所述目标对象预存在样本特征数据库的样本特征数据。在所述第二预设值的设定上，基于所述第一预设值的取值，若所述待更新特征数据与本次识别成功所提取的待检测特征数据的相识度小于0.8，则说明待更新特征数据与本次识别成功所提取的待检测特征数据比较相似，可不考虑将待更新特征数据更新至样本特征数据，若所述待更新特征数据与本次识别成功所提取的待检测特征数据的相识度大于0.8，则说明待更新特征数据与本次识别成功所提取的待检测特征数据存在区别，可考虑将待更新特征数据更新至样本特征数据中。故在所述第一预设值和第二预设值的取值上，所述第二预设值需大于或等于所述第一预设值，本实施例优选第二预设值大于所述第一预设值，可以有效的选取出区别与已储存的样本特征数据并更新至样本特征数据中，使得所述样本特征数据库更丰富，从而提高识别准确率。

本发明实施例还提供一种图像特征数据管理装置，该图像特征数据管理装置用于执行前述图像特征数据管理方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的图像特征数据管理装置的示意性框图。

如图6所示，图像特征数据管理装置600，包括：获取单元601、提取单元602、对比单元603、追踪单元604、更新单元605。

获取单元601，用于获取视频流，并从所述视频流中获取待检测图片数据；

提取单元602，用于从所述待检测图片数据中检测出待检测的目标对象，并提取所述目标对象的待检测特征数据；

对比单元603，用于将所述待检测特征数据与预设的样本特征数据库中的样本特征数据进行对比，得到对应的样本特征数据，并依据所述样本特征数据确定其关联的身份信息，并将该身份信息作为目标对象的身份信息；

追踪单元604，用于根据追踪算法器在视频流中持续对目标对象进行追踪并获取待提取图片数据，所述待提取图片数据包括目标对象的多个角度的图片数据；

更新单元605，用于对所述待提取图片数据进行检测并提取待更新特征数据，将所述待更新特征数据关联至目标对象的身份信息，并更新到样本特征数据库中。

该装置通过对目标对象的多个角度的特征数据不断的进行更新，使目标对象的各种状态、距离角度的样本特征数据更多样化，提高了识别的准确率。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

上述图像特征数据管理装置可以实现为计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。

请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。该计算机设备700是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器704。

该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032被执行时，可使得处理器702执行图像特征数据管理方法。

该处理器702用于提供计算和控制能力，支撑整个计算机设备700的运行。

该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行图像特征数据管理方法。

该网络接口705用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器702可以是中央处理单元(centralprocessingunit，cpu)，该处理器702还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的图像特征数据管理方法。

所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-onlymemory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。