图像识别方法、装置、计算机设备及存储介质与流程

文档序号:21781780发布日期:2020-08-07 20:09阅读:91来源:国知局
图像识别方法、装置、计算机设备及存储介质与流程

本发明实施例涉及图像识别领域,尤其是一种图像识别方法、装置、计算机设备及存储介质。



背景技术:

人脸识别,是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫做人像识别或面部识别。

现有技术中,人脸识别技术被广泛应用于视频监控,在视屏监控模式下进行人脸识别时,首先需要对监控范围内的多个人脸图像进行监控拍摄,然后从拍摄的图像中对不同的人脸进行分割,分割得到多个不同的人脸图像,最后对人脸图像进行识别。由于,监控图像中各个人脸图像出现的次序和角度均有所不同,加大了人脸识别的难度,导致监控模式下人脸识别准确性较低的问题。



技术实现要素:

本发明实施例提供一种能够对监控模式下人脸图像进行矫正后提高识别准确率的验证结果的图像识别方法、装置、计算机设备及存储介质。

为解决上述技术问题,本发明创造的实施例采用的一个技术方案是:提供一种图像识别方法,包括:

获取待识别的第一人脸图像,其中,所述第一人脸图像为待补全的图像;

提取所述第一人脸图像中的关键点坐标;

根据所述关键点坐标对所述第一人脸图像进行图像矫正生成第二人脸图像,以补全所述第一人脸图像;

根据所述第二人脸图像进行人脸识别,以获取所述第一人脸图像表征的用户信息。

可选地,所述提取所述第一人脸图像中的关键点坐标包括:

将所述第一人脸图像输入至预设的图像转换模型中,其中,所述图像转换模型为预先训练至收敛状态,提取人脸图像中关键点坐标的神经网络模型;

读取所述图像转换模型输出的所述第一人脸图像的关键点坐标,其中,所述关键点坐标为所述图像转换模型输出的中间数据。

可选地,所述根据所述关键点坐标对所述第一人脸图像进行图像矫正生成第二人脸图像,以补全所述第一人脸图像包括:

根据所述关键点坐标计算所述第一人脸图像的矫正参数;

根据所述矫正参数与预设的仿射变换矩阵,对所述第一人脸图像进行矫正处理生成第二人脸图像,以补全所述第一人脸图像。

可选地,所述根据所述第二人脸图像进行人脸识别,以获取所述第一人脸图像表征的用户信息之前,包括:

获取所述第二人脸图像的图像参数;

将所述图像参数与预设的阈值条件进行比对,以判断所述第二人脸图像是否达标;

当所述第二人脸图像达标时,确认对所述第二人脸图像进行人脸识别。

可选地,所述图像参数包括所述第二人脸图像的置信度,所述阈值条件为预设的置信度阈值,所述将所述图像参数与预设的阈值条件进行比对,以判断所述第二人脸图像是否达标包括:

将所数据第二人脸图像的置信度与所述置信度阈值进行比对;

当所述第二人脸图像的置信度小于所述置信度阈值时,确认所述第二人脸图像达标;否则,则确认所述第二人脸图像不达标。

可选地,所述当所述第二人脸图像达标时,确认对所述第二人脸图像进行人脸识别之后,包括:

根据所述图像参数选择与所述第二人脸图像对应的图像增强策略;

根据所述图像增强策略对所述第二人脸图像进行增强处理,以使所述第二人脸图像中表征人脸图像的像素点的属性得到增强。

可选地,所述根据所述第二人脸图像进行人脸识别,以获取所述第一人脸图像表征的用户信息包括:

将所述第二人脸图像输入至预设的人脸识别模型中,其中,所述人脸识别模型为预先训练至收敛状态,用于对人脸图像进行特征提取的神经网络模型;

读取所述人脸识别模型输出的所述第二人脸图像的特征向量;

以所述特征向量为检索条件在预设的信息数据库中进行检索,其中,所述信息数据库中包括用户信息,所述用户信息设置有索引标签,所述索引标签为用户的证件图像的特征向量;

根据检索结果调用所述第一人脸图像表征的用户信息。

为解决上述技术问题,本发明实施例还提供一种图像识别装置,包括:

获取模块,用于获取待识别的第一人脸图像,其中,所述第一人脸图像为待补全的图像;

提取模块,用于提取所述第一人脸图像中的关键点坐标;

处理模块,用于根据所述关键点坐标对所述第一人脸图像进行图像矫正生成第二人脸图像,以补全所述第一人脸图像;

执行模块,用于根据所述第二人脸图像进行人脸识别,以获取所述第一人脸图像表征的用户信息。

可选地,所述图像识别装置还包括:

第一处理子模块,用于将所述第一人脸图像输入至预设的图像转换模型中,其中,所述图像转换模型为预先训练至收敛状态,提取人脸图像中关键点坐标的神经网络模型;

第一执行子模块,用于读取所述图像转换模型输出的所述第一人脸图像的关键点坐标,其中,所述关键点坐标为所述图像转换模型输出的中间数据。

可选地,所述图像识别装置还包括:

第二处理子模块,用于根据所述关键点坐标计算所述第一人脸图像的矫正参数;

第二执行子模块,用于根据所述矫正参数与预设的仿射变换矩阵,对所述第一人脸图像进行矫正处理生成第二人脸图像,以补全所述第一人脸图像。

可选地,所述图像识别装置还包括:

第一获取子模块,用于获取所述第二人脸图像的图像参数;

第三处理子模块,用于将所述图像参数与预设的阈值条件进行比对,以判断所述第二人脸图像是否达标;

第三执行子模块,用于当所述第二人脸图像达标时,确认对所述第二人脸图像进行人脸识别。

可选地,所述图像参数包括所述第二人脸图像的置信度,所述阈值条件为预设的置信度阈值,所述图像识别装置还包括:

第四处理子模块,用于将所数据第二人脸图像的置信度与所述置信度阈值进行比对;

第四执行子模块,用于当所述第二人脸图像的置信度小于所述置信度阈值时,确认所述第二人脸图像达标;否则,则确认所述第二人脸图像不达标。

可选地,所述图像识别装置还包括:

第五处理子模块,用于根据所述图像参数选择与所述第二人脸图像对应的图像增强策略;

第五执行子模块,用于根据所述图像增强策略对所述第二人脸图像进行增强处理,以使所述第二人脸图像中表征人脸图像的像素点的属性得到增强。

可选地,所述图像识别装置还包括:

第六处理子模块,用于将所述第二人脸图像输入至预设的人脸识别模型中,其中,所述人脸识别模型为预先训练至收敛状态,用于对人脸图像进行特征提取的神经网络模型;

第一读取子模块,用于读取所述人脸识别模型输出的所述第二人脸图像的特征向量;

第一检索子模块,用于以所述特征向量为检索条件在预设的信息数据库中进行检索,其中,所述信息数据库中包括用户信息,所述用户信息设置有索引标签,所述索引标签为用户的证件图像的特征向量;

第六执行子模块,用于根据检索结果调用所述第一人脸图像表征的用户信息。

为解决上述技术问题,本发明实施例还提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述所述图像识别方法的步骤。

为解决上述技术问题,本发明实施例还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述所述图像识别方法的步骤。

本发明实施例的有益效果是:在进行监控人脸识别时,读取需要进行识别的第一人脸图像,提取第一人脸图像的关键点坐标,根据关键点坐标对第一人脸图像进行矫正生成第二人脸图像,矫正后的第二人脸图像中的人脸图像相较于第一人脸图像中的人脸图像更加的完整。因此,采用第二人脸图像进行图像识别时,能够提取到更多的表达人脸特征的图像特征,进而提高了人脸识别时的准确率,使监控环境下识别准确率得到大幅的提升。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例图像识别方法的基本流程示意图;

图2为本发明实施例根据验证信息生成验证字符的流程示意图;

图3为本发明实施例根据语义识别生成验证字符的流程示意图;

图4为本发明实施例根据人脸图像对验证字符进行变形的流程示意图;

图5为本发明实施例通过图像转换生成验证图像的流程示意图;

图6为本发明实施例获取显示区域中验证图像的流程示意图;

图7为本发明实施例判断验证图像与截图画面是否一致的流程示意图;

图8为本发明实施例图像识别装置基本结构示意图;

图9为本发明实施例计算机设备基本结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;pcs(personalcommunicationsservice,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;pda(personaldigitalassistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(globalpositioningsystem,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是pda、mid(mobileinternetdevice,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。

具体请参阅图1,图1为本实施例图像识别方法的基本流程示意图。

如图1所示,一种图像识别方法,包括:

s1100、获取待识别的第一人脸图像,其中,所述第一人脸图像为待补全的图像;

本实施方式中的人脸识别是在监控场景下进行的,因此,进行图像识别的图像也是由监控设备拍摄的监控图像。

监控图像中包括一个或者多个人脸图像,进行图像识别时,通过图像分割将监控图像中各个人脸图像进行分割,同时,将分割出的人脸图像中人脸图像完整的人脸图像直接应用于人脸识别,将分割出的人脸图像中需要补全的图像定义为第一人脸图像。

其中,需要补全是指人脸图像中人体脸部图像出现被遮挡或者脸部倾斜的人脸图像。检测人脸图像是否需要进行补全,能够通过已经训练至收敛状态的神经网络模型进行判断。

s1200、提取所述第一人脸图像中的关键点坐标;

获取第一人脸图像后,对第一人脸图像中的关键点坐标进行提取,提取的方式为通过预设的图像转换模型进行提取。

其中,本实施方式中图像转换模型能够为已经训练至收敛状态的卷积神经网络模型(cnn),但是,不局限于此,图像转换模型还能够是:深度神经网络模型(dnn)、循环神经网络模型(rnn)或者上述三种网络模型的变形模型。

图像转换模型为被训练至收敛状态,用于对人脸图像中的五官的关键点进行提取的神经网络模型。图像转换模型在训练时,采用大量的人脸图像进行人脸图像关键点提取的训练,训练至收敛状态后,能够准确的提取人脸图像的关键点坐标。

本实施方式中,关键点坐标是指人脸图像中表征人体脸部五官所在位置的像素点所在的位置。坐标位置中的坐标原点为第一人脸图像中左下角处第一个像素点所在的位置。但是不局限于此,根据具体应用场景的不同,坐标原点为第一人脸图像中任一一点处的位置坐标。

s1300、根据所述关键点坐标对所述第一人脸图像进行图像矫正生成第二人脸图像,以补全所述第一人脸图像;

根据关键点坐标对第一人脸图像进行图像矫正,图像矫正的最终目的在于补全第一人脸图像中被遮挡的位置,或者由于侧脸导致的部分脸部图像缺失的问题。

在一些实施方式中,采用图像转换模型对第一人脸图像进行图像矫正,图像转换模型通过比对第一人脸图像中的关键点坐标与预设的标准的关键点坐标图之间的偏移量或者转动角度,得到的偏移量δst是在新特征空间下的偏移量,在经过偏移之后应经过一个反变换tt-1还原到原始空间完成第一人脸图像的矫正。

在一些实施方式中,图像转换模型中设置仿射变换层,仿射变换层对第一人脸图像进行一次线性变换并接上一个平移,变换为第二人脸图像,其中,线性变换是指对第一人脸图像进行转动或者弥补缺失。线性变换是指第一人脸图像的图像矩阵与仿射变换矩阵进行相乘。

图像转换模型对第一人脸图像进行矫正处理后得到第二人脸图像,第二人脸图像相比于第一人脸图像脸部图像更加完整。

s1400、根据所述第二人脸图像进行人脸识别,以获取所述第一人脸图像表征的用户信息。

根据第二人脸图像进行人脸识别,进行人脸识别的方式为:将第二人脸图像作为检索条件输入至图像搜索引擎中,图像搜索引擎提取第二人脸图像的特征向量,并根据该特征向量在已经建立的用户信息库中进行检索,检索得到的结果即为第一人脸图像表征的用户信息。其中,用户信息能够是:用户的身份证件信息、用户的各类卡号信息或者用户的刑事犯罪信息。

上述实施方式在进行监控人脸识别时,读取需要进行识别的第一人脸图像,提取第一人脸图像的关键点坐标,根据关键点坐标对第一人脸图像进行矫正生成第二人脸图像,矫正后的第二人脸图像中的人脸图像相较于第一人脸图像中的人脸图像更加的完整。因此,采用第二人脸图像进行图像识别时,能够提取到更多的表达人脸特征的图像特征,进而提高了人脸识别时的准确率,使监控环境下识别准确率得到大幅的提升。

在一些实施方式中,通过图像转换模型对第一人脸图像中的关键点坐标进行提取。请参阅图2,图2为本实施例提取关键点坐标的流程示意图。

如图2所示,图1所示的s1200步骤包括:

s1211、将所述第一人脸图像输入至预设的图像转换模型中,其中,所述图像转换模型为预先训练至收敛状态,提取人脸图像中关键点坐标的神经网络模型;

将第一人脸图像输入至预设的图像转换模型中,图像转换模型能够为已经训练至收敛状态的卷积神经网络模型(cnn),但是,不局限于此,图像转换模型还能够是:深度神经网络模型(dnn)、循环神经网络模型(rnn)或者上述三种网络模型的变形模型。

图像转换模型为被训练至收敛状态,用于对人脸图像中的五官的关键点进行提取的神经网络模型。

图像转换模型的初始神经网络模型在训练时,通过收集大量的人脸图像作为训练样本,通过人工标定的方式对各个训练样本进行标定(标定是指人为标定人脸图像中五官的关键点的坐标)。然后将训练样本输入到初始的神经网络模型中,并获取模型输出的分类结果(分类结果为模型得到的训练样本的关键点的坐标),并通过神经网络模型的损失函数计算该分类结果与标定结果之间的距离(例如:欧氏距离、马氏距离或余弦距离等),将计算结果与设定的距离阈值进行比对,若计算结果小于等于距离阈值(例如,0.01)则通过验证,继续进行下一个训练样本的训练,若计算结果大于距离阈值则通过损失函数计算二者之间的差值,并通过反向传播校正神经网络模型内的权值,使神经网络模型能够提高人脸图像中五官所在位置的像素点的权重,以此,增大模型判断的准确率。通过循环执行上述方案和大量的训练样本训练后,训练得到的神经网络模型对人脸图像的关键点坐标提取的准确率大于一定数值的,例如,98%,则该神经网络模型训练至收敛状态,则该训练至收敛的神经网络即为图像转换模型。

训练至收敛状态的图像转换模型能够准确的提取人脸图像中的关键点坐标。

s1212、读取所述图像转换模型输出的所述第一人脸图像的关键点坐标,其中,所述关键点坐标为所述图像转换模型输出的中间数据。

本实施方式中,图像转换模型输出关键点坐标的位置在卷积通道的最后一个卷积层,即关键点坐标为图像转换模型的中间数据。因此,在将第一人脸图像输入至图像转换模型后,在图像转换模型的最后一个卷积层的输出接口读取第一人脸图像的关键点坐标。

通过神经网络模型能够快速准确的提取第一人脸图像的关键点坐标,提高了图像提取的效率。

在一些实施方式中,图像转换模型除去对第一人脸图像进行关键点提取之外,还需要对第一人脸图像进行校正。请参阅图3,图3为本实施例根据仿射变换矩阵对人脸图像进行变换的流程示意图。

如图3所示,图1所示的s1300步骤包括:

s1311、根据所述关键点坐标计算所述第一人脸图像的矫正参数;

提取得到第一人脸图像的关键点坐标后,根据关键点坐标计算第一人脸图像的矫正参数,其中,矫正参数为:第一人脸图像的关键点坐标相对于标准人脸图像的关键点坐标之间的偏移量。例如,拍摄第一人脸图像时,用于目标人物侧向站立,拍摄得到的人脸图像缺失部分脸部的图像时,由于侧立第一人脸图像中的关键点坐标中,表征两个眼睛的关键点坐标之间的连线的距离就会相应缩短,将该缩短量换算为空间偏移量就能够得到脸部图像在空间上的偏移角度,通过补偿该偏移角度并对补偿后的第一人脸图像进行像素填充后,得到矫正后的人脸图像。

s1312、根据所述矫正参数与预设的仿射变换矩阵,对所述第一人脸图像进行矫正处理生成第二人脸图像,以补全所述第一人脸图像。

图像转换模型中设置仿射变换层,仿射变换层对第一人脸图像进行一次线性变换并接上一个平移,变换为第二人脸图像,其中,线性变换是指对第一人脸图像进行转动或者弥补缺失。线性变换是指第一人脸图像的图像矩阵与仿射变换矩阵进行相乘。

例如:其中,为第二人脸图像的像素矩阵,第一人脸图像的像素矩阵,a为偏移量,为仿射变换矩阵,为平移量。

仿射变换矩阵中具有标准人脸的权值特征与第一人脸图像的矩阵相乘后,能够对第一人脸图像中缺失部分进行补充。

通过图像转换模型实现了第一人脸图像的快速矫正,提高了人脸图像矫正的效率。

在一些实施方式中,第二人脸图像生成后需要对第二人脸图像的参数进行识别,以辨别第二人脸图像是否能够用于人脸识别。请参阅图4,图4为本实施例确认第二人脸图像的图像参数是否达标的流程示意图。

如图4所示,图1所示的s1400步骤之前,包括:

s1321、获取所述第二人脸图像的图像参数;

生成第二人脸图像后获取第二人脸图像的图像参数,其中,图像参数是指(不限于):第二人脸图像中人脸图像的偏转角度、图像清晰度和人脸置信度等属性信息。

其中,偏转角度是指第二人脸图像相对于第一人脸图像的偏转角度;图像清晰度是指第二人脸图像的图像清晰度;人脸置信度为第二人脸图像相对于第一人脸图像的相似度的置信度。

获取的图像参数能够为上述三个参数中的任意一个,也能够是三个参数中多个参数的组合。

s1322、将所述图像参数与预设的阈值条件进行比对,以判断所述第二人脸图像是否达标;

本实施方式中设置阈值条件用于检测第二人脸图像的图像参数是否达标。其中,当图像参数为偏转角度时,阈值条件为角度阈值,若,偏转角度小于等于角度阈值时,第二人脸图像达标;否则,则判定第二人脸图像不达标。当图像参数为图像清晰度,预置条件为清晰度阈值,若图像清晰度大于等于清晰度阈值时,确认第二人脸图像达标;否则,判定第二人脸图像不达标。当图像参数为置信度时,预置条件为置信度阈值,若置信度大于等于置信度阈值时,确认第二人脸图像达标;否则,则确认第二人脸图像不达标。

当获取的图像参数为多个时,根据设定判断次序,依次的对各项图像参数进行对应的比对,当上一个图像参数比对合格后,在对下一个图像参数进行比对,当且仅当所有的图像参数比对完成后,确认第二人脸图像达标;否则,则确认第二人脸图像不达标。

当确认第二人脸图像不达标时,对第二人脸图像进行丢弃,重新获取目标人脸的第一人脸图像。

s1323、当所述第二人脸图像达标时,确认对所述第二人脸图像进行人脸识别。

当第二人脸图像达标时,确认采用第二人脸图像进行人脸识别。

在一些实施方式中,图像参数为第二人脸图像的置信度,通过置信度对第二人脸图像进行达标测试。请参阅图5,图5为本实施例通过置信度对第二人脸图像进行达标检测的流程示意图。

如图5所示,图4所示的s1322步骤包括:

s1331、将所数据第二人脸图像的置信度与所述置信度阈值进行比对;

本实施方式中置信度为衡量第一人脸图像与第二人脸图像之间是否相似的概率值。判断第一人脸图像与第二人脸图像之间是否相似,通过图像比对模型进行判断。例如,图像比对模型判断第一人脸图像与第二人脸图像相同的置信度为0.95,则表示图像比对模型判断第一人脸图像与第二人脸图像相同的概率为95%。

图像比对模型为训练至收敛的用于判断两个图像是否相似的神经网络模型。图像比对模型能够为已经训练至收敛状态的卷积神经网络模型(cnn),但是,不局限于此,图像比对模型还能够是:深度神经网络模型(dnn)、循环神经网络模型(rnn)或者上述三种网络模型的变形模型。图像比对模型在训练时,采用大量的人脸图像进行人脸图像相似性判断的训练,训练至收敛状态后,能够准确的判断不同图像之间是否相似。

s1332、当所述第二人脸图像的置信度小于所述置信度阈值时,确认所述第二人脸图像达标;否则,则确认所述第二人脸图像不达标。

通过比较当第二人脸图像的置信度小于置信度阈值时,确认第二人脸图像达标;否则,则确认第二人脸图像不达标。本实施方式中,置信度阈值设置为0.8,但是置信度阈值的取值不局限于此,根据具体应用场景的不同,置信度阈值的取值能够进行自定义设定。

在一些实施方式中,由于第一人脸图像是从监控视频中截取的某个目标用户的人脸图像,因此,第一人脸图像的图像清晰度或者人脸图像与周围环境影像之间的对比度不突出,导致由第一人脸图像转换生成的第二人脸图像进行图像识别时准确率较低。请参阅图6,图6为本实施例中对第二人脸图像进行图像增强的流程示意图。

如图6所示,图4所示的s1323步骤之后,包括

s1341、根据所述图像参数选择与所述第二人脸图像对应的图像增强策略;

根据图像参数选择与第二人脸图像对应的图像增强策略时,首先获取第二人脸图像的图像参数。其中,当第二人脸图像的图像参数为偏转角度时,偏转角度的符合阈值条件,对第二人脸图像进行同态滤波利用去除乘性噪声(multiplicativenoise),可以同时增加对比度以及标准化亮度,借此达到图像增强的目的;当第二人脸图像的图像参数为图像清晰度时,若图像清晰度不达标,则说明图像像素值过低,应当通过像素填充的方式进行图像处理,像素填充时获取每个像素点与其周围的像素点之间的色差值,然后,选择与相邻像素点之间色差值小于上述色差值的过渡色进行像素填充,以增强第二人脸图像的清晰度;当第二人脸图像的图像参数为置信度时,由于第二人脸图像经由第一人脸图像转换而来,因此,当第二人脸图像不达标时,则证明第二人脸图像中相对于第一人脸图像补全的部分对比度较大,应当通过减小补全部分像素对比度的方式进行图像增强处理。

当第二人脸图像的图像参数为多个时,则根据参数验证时的验证顺序对第二人脸图像依次进行对应的图像增强处理。

s1342、根据所述图像增强策略对所述第二人脸图像进行增强处理,以使所述第二人脸图像中表征人脸图像的像素点的属性得到增强。

由于不同的图像参数对应有不同的图像增强策略,因此,在获取了图像参数后,根据图像参数对应的处理策略对第二人脸图像进行处理,使得第二人脸图像中表征人脸图像的像素点的属性得到增强。

对第二人脸图像进行图像增强处理,使第二人脸图像中用户脸部像素更加的清晰明显,有利于增强后续图像识别的准确率。

在一些实施方式中,生成第二人脸图像或对第二人脸图像进行增强后,继续对第二人脸图像进行识别检索,以得到第一人脸图像表征的用户信息。请参阅图7,图7为本实施例对第二人脸图像进行人脸识别的流程示意图。

如图7所示,图1所示的s1400步骤包括:

s1411、将所述第二人脸图像输入至预设的人脸识别模型中,其中,所述人脸识别模型为预先训练至收敛状态,用于对人脸图像进行特征提取的神经网络模型;

将第二人脸图像输入至人脸识别模型中,其中,人脸识别模型为图像搜索引擎中的核心模块,用于提取输入图像的特征向量的神经网络模型。

本实施方式中人脸识别模型能够为已经训练至收敛状态的卷积神经网络模型(cnn),但是,不局限于此,人脸识别模型还能够是:深度神经网络模型(dnn)、循环神经网络模型(rnn)或者上述三种网络模型的变形模型。

人脸识别模型为被训练至收敛状态,用于对人脸图像进行特征向量提取的神经网络模型。人脸识别模型在训练时,采用大量的人脸图像进行人脸图像特征向量提取的训练,训练至收敛状态后,能够准确的提取人脸图像的特征向量。

s1412、读取所述人脸识别模型输出的所述第二人脸图像的特征向量;

读取人脸识别模型输出的第二人脸图像的特征向量,特征向量的输出位置为:人脸识别模型的最后一个卷积层的输出位置。

s1413、以所述特征向量为检索条件在预设的信息数据库中进行检索,其中,所述信息数据库中包括用户信息,所述用户信息设置有索引标签,所述索引标签为用户的证件图像的特征向量;

以提取得到的特征向量为检索条件在预设的信息数据库中进行检索,其中,信息数据库中存储有用户的身份信息,身份信息中包括各个用户的证件图像的照片或者用户的人脸图像。将用户的身份信息收录在信息数据库中时,需要对用户身份信息做索引标签,以便于对用户身份信息进行快速检索,其中一个索引标签为:用户的证件图像的照片或者用户的人脸图像的特征向量,将用户的证件图像的照片或者用户的人脸图像输入至人脸识别模型或者其他类似的模型中,提取证件图像的照片或者用户的人脸图像的特征向量,作为用户身份信息的一个索引标签。

以第二人脸图像的特征向量为检索条件时,搜索引擎在信息数据库中计算不同索引标签与第二人脸图像的特征向量之间的汉明距离,将汉明距离小于第一阈值的身份信息进行召回,例如,第一阈值为20,则是将与第二人脸图像的特征向量之间的汉明距离小于20的身份信息均进行召回。然后在召回的内容中,计算第二人脸图像的特征向量与召回的身份信息的索引标签的置信度,并将其中置信度最大的一个作为检索结果。

s1414、根据检索结果调用所述第一人脸图像表征的用户信息。

根据检索得到的结果,调用与第二人脸图像的特征向量之间置信度最大的索引标签对应的身份信息,则该身份信息为第一人脸图像表征的用户信息。

通过神经网络模型能够快速的对人脸图像的表征的用户信息进行检索,提高图像识别和图像搜索的效率。

为解决上述技术问题,本发明实施例还提供一种图像识别装置。

具体请参阅图8,图8为本实施例图像识别装置基本结构示意图。

如图8所示,一种图像识别装置,包括:获取模块2100、提取模块2200、处理模块2300和执行模块2400。其中,获取模块2100用于获取待识别的第一人脸图像,其中,第一人脸图像为待补全的图像;提取模块2200用于提取第一人脸图像中的关键点坐标;处理模块2300用于根据关键点坐标对第一人脸图像进行图像矫正生成第二人脸图像,以补全第一人脸图像;执行模块2400用于根据第二人脸图像进行人脸识别,以获取第一人脸图像表征的用户信息。

图像识别装置在进行监控人脸识别时,读取需要进行识别的第一人脸图像,提取第一人脸图像的关键点坐标,根据关键点坐标对第一人脸图像进行矫正生成第二人脸图像,矫正后的第二人脸图像中的人脸图像相较于第一人脸图像中的人脸图像更加的完整。因此,采用第二人脸图像进行图像识别时,能够提取到更多的表达人脸特征的图像特征,进而提高了人脸识别时的准确率,使监控环境下识别准确率得到大幅的提升。

在一些实施方式中,图像识别装置还包括:第一处理子模块和第一执行子模块。其中,第一处理子模块用于将第一人脸图像输入至预设的图像转换模型中,其中,图像转换模型为预先训练至收敛状态,提取人脸图像中关键点坐标的神经网络模型;第一执行子模块用于读取图像转换模型输出的第一人脸图像的关键点坐标,其中,关键点坐标为图像转换模型输出的中间数据。

在一些实施方式中,图像识别装置还包括:第二处理子模块和第二执行子模块。其中,第二处理子模块用于根据关键点坐标计算第一人脸图像的矫正参数;第二执行子模块用于根据矫正参数与预设的仿射变换矩阵,对第一人脸图像进行矫正处理生成第二人脸图像,以补全第一人脸图像。

在一些实施方式中,图像识别装置还包括:第一获取子模块、第三处理子模块和第三执行子模块。其中,第一获取子模块用于获取第二人脸图像的图像参数;第三处理子模块用于将图像参数与预设的阈值条件进行比对,以判断第二人脸图像是否达标;第三执行子模块用于当第二人脸图像达标时,确认对第二人脸图像进行人脸识别。

在一些实施方式中,图像参数包括第二人脸图像的置信度,阈值条件为预设的置信度阈值,图像识别装置还包括:第四处理子模块和第四执行子模块。其中,第四处理子模块用于将所数据第二人脸图像的置信度与置信度阈值进行比对;第四执行子模块用于当第二人脸图像的置信度小于置信度阈值时,确认第二人脸图像达标;否则,则确认第二人脸图像不达标。

在一些实施方式中,图像识别装置还包括:第五处理子模块和第五执行子模块。其中,第五处理子模块用于根据图像参数选择与第二人脸图像对应的图像增强策略;第五执行子模块用于根据图像增强策略对第二人脸图像进行增强处理,以使第二人脸图像中表征人脸图像的像素点的属性得到增强。

在一些实施方式中,图像识别装置还包括:第六处理子模块、第一读取子模块、第一检索子模块和第六执行子模块。其中,第六处理子模块用于将第二人脸图像输入至预设的人脸识别模型中,其中,人脸识别模型为预先训练至收敛状态,用于对人脸图像进行特征提取的神经网络模型;第一读取子模块用于读取人脸识别模型输出的第二人脸图像的特征向量;第一检索子模块用于以特征向量为检索条件在预设的信息数据库中进行检索,其中,信息数据库中包括用户信息,用户信息设置有索引标签,索引标签为用户的证件图像的特征向量;第六执行子模块用于根据检索结果调用第一人脸图像表征的用户信息。

为解决上述技术问题,本发明实施例还提供计算机设备。具体请参阅图9,图9为本实施例计算机设备基本结构框图。

如图9所示,计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种图像识别方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种图像识别方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

本实施方式中处理器用于执行图8中获取模块2100、提取模块2200、处理模块2300和执行模块2400的具体功能,存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有人脸图像关键点检测装置中执行所有子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。

计算机设备在进行监控人脸识别时,读取需要进行识别的第一人脸图像,提取第一人脸图像的关键点坐标,根据关键点坐标对第一人脸图像进行矫正生成第二人脸图像,矫正后的第二人脸图像中的人脸图像相较于第一人脸图像中的人脸图像更加的完整。因此,采用第二人脸图像进行图像识别时,能够提取到更多的表达人脸特征的图像特征,进而提高了人脸识别时的准确率,使监控环境下识别准确率得到大幅的提升。

本发明还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例图像识别方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)等非易失性存储介质,或随机存储记忆体(randomaccessmemory,ram)等。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1