人脸关键点定位方法、装置、存储介质及电子设备与流程

文档序号:17443633发布日期:2019-04-17 05:10阅读:207来源:国知局
人脸关键点定位方法、装置、存储介质及电子设备与流程
本公开涉及图像处理
技术领域
,具体地,涉及一种人脸关键点定位方法、装置、存储介质及电子设备。
背景技术
:在计算机视觉领域里,人脸图像关键点的定位具有十分重要的意义,其核心在于快速、准确地定位出人脸图像中语义性较强的关键点,譬如人脸图像中的眼角、鼻尖和嘴角等。相关技术中,人脸关键点的定位主要通过以下两种方式:第一种方式是利用图像的基本特征,即人脸的纹理特征和各个特征点之间的位置约束结合从而确定关键点的方法,经典的算法有asm(activeshapemodel,主动形状模型)和aam(activeappearancemodels,主动外观模型)算法。第二方式是利用深度学习模型自主学习人脸图像中的关键点。上述两种方式虽然都能够确定人脸关键点的位置,但是却需要通过学习大量的人脸纹理特征和形状特征来确定人脸关键点,前期计算成本较高。技术实现要素:本公开的目的是提供一种人脸关键点定位方法、装置、存储介质及电子设备,以解决现有人脸关键点定位技术计算成本过高的问题。为了实现上述目的,第一方面,本公开提供一种人脸关键点定位方法,所述方法包括:根据预设人脸模板,在人脸图像上预生成初始关键点;针对所述人脸图像上的目标关键点执行以下更新操作:确定包括所述目标关键点的关键点集合,并对所述关键点集合中的所有关键点的坐标进行局部优化;根据所述关键点集合中的所有关键点局部优化前后的坐标,确定用于对所述目标关键点进行全局优化的函数关系式;将所述目标关键点局部优化更新前的坐标代入所述函数关系式,得到所述目标关键点全局优化后的坐标,并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果;其中,所述目标关键点是所述人脸图像上的任一关键点。可选地,所述对所述关键点集合中的所有关键点的坐标进行局部优化包括:针对所述关键点集合中的每一关键点执行以下操作:通过如下公式计算所述关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量:其中,为人脸关键点o在预设邻域ψo内所受的综合作用向量,wp为对所述预设邻域ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值,d(p,o)为所述人脸关键点o到所述其他关键点p的距离,ρp为所述其他关键点p的梯度幅值;根据所述计算的综合作用向量,对所述关键点的坐标进行局部优化。可选地,所述根据所述关键点集合中的所有关键点局部优化前后的坐标,确定用于对所述目标关键点进行全局优化的函数关系式,包括:根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程;通过最小二乘法求解所述全局拓扑约束方程,得到所述函数关系式。可选地,所述方法还包括:在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和小于预设阈值时,停止对所述目标关键点的更新;在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和不小于预设阈值时,再次执行对所述目标关键点的所述更新操作。第二方面,本公开还提供一种人脸关键点装置,所述装置包括:生成模块,用于根据预设人脸模板,在人脸图像上预生成初始关键点;更新模块,用于针对所述人脸图像上的目标关键点执行以下更新操作,其中,所述更新模块包括:局部优化子模块,用于确定包括所述目标关键点的关键点集合,并对所述关键点集合中的所有关键点的坐标进行局部优化;全局优化子模块,用于根据所述关键点集合中的所有关键点局部优化前后的坐标,确定用于对所述目标关键点进行全局优化的函数关系式,并将所述目标关键点局部优化更新前的坐标代入所述函数关系式,得到所述目标关键点全局优化后的坐标,并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果;其中,所述目标关键点是所述人脸图像上的任一关键点。可选地,所述局部优化子模块用于:针对所述关键点集合中的每一关键点执行以下操作:通过如下公式计算所述关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量:其中,为人脸关键点o在预设邻域ψo内所受的综合作用向量,wp为对所述预设邻域ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值,d(p,o)为所述人脸关键点o到所述其他关键点p的距离,ρp为所述其他关键点p的梯度幅值;根据所述计算的综合作用向量,对所述关键点的坐标进行局部优化。可选地,所述全局优化子模块用于:根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程;通过最小二乘法求解所述全局拓扑约束方程,得到所述函数关系式。可选地,所述更新模块还用于:在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和小于预设阈值时,停止对所述目标关键点的更新;在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和不小于预设阈值时,再次执行对所述目标关键点的所述更新操作。第三方面,本公开还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现第一方面里任一项所述方法的步骤。第四方面,本公开还提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面里任一项所述方法的步骤。通过上述技术方案,可以根据预设人脸模板,在人脸图像上预生成初始关键点,不需要标注大量的训练样本,节省了计算成本。并且,上述技术方案可以对人脸图像上的目标关键点进行更新操作,实现对目标关键点的局部优化和全局优化,从而提高人脸关键点定位的准确性。即本公开提供的技术方案在保证了人脸关键点定位的准确性的基础上,节省了计算成本。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:图1是根据本公开示例性实施例示出的人脸关键点定位方法的一流程图;图2是根据本公开示例性实施例示出的预设人脸模型的示意图;图3是根据本公开示例性实施例示出的获取双眼区域和嘴巴区域的宽度、长度和中心点坐标的示意图;图4是根据本公开示例性实施例示出的人脸关键点定位方法的另一流程图;图5是使用本公开示例性实施例示出的人脸关键点定位方法进行迭代更新的过程示意图;图6是根据本公开示例性实施例示出的人脸关键点定位装置的框图;图7是根据本公开示例性实施例示出的电子设备的框图。具体实施方式以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。图1是根据本公开一示例性实施例示出的一种人脸关键点定位方法的流程图,参照图1,该人脸关键点定位方法包括以下步骤:步骤s101,根据预设人脸模板,在人脸图像上预生成初始关键点。在本公开实施例中,预设人脸模板可以是根据平均脸确定的,该预设人脸模板中可以包括58个人脸关键点,也可以包括其他个数的人脸关键点,等等,本公开对此不作限定。进一步地,针对所述人脸图像上的目标关键点执行如下述步骤s1021至步骤s1023所示的更新操作:步骤s1021,确定包括目标关键点的关键点集合,并对所述关键点集合中的所有关键点的坐标进行局部优化。其中,所述目标关键点是人脸图像上的任一关键点,可以是一个,也可以是多个,本公开实施例对此不作限定。步骤s1022,根据关键点集合中的所有关键点局部优化前后的坐标,确定用于对目标关键点进行全局优化的函数关系式。步骤s1023,将目标关键点局部优化更新前的坐标代入该函数关系式,得到目标关键点全局优化后的坐标,并将目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果。通过上述技术方案,可以根据预设人脸模板,在人脸图像上预生成初始关键点,不需要标注大量的训练样本,节省了计算成本。并且,上述技术方案可以对人脸图像上的目标关键点进行更新操作,实现对目标关键点的局部优化和全局优化,从而提高人脸关键点定位的准确性。即本公开提供的技术方案在保证了人脸关键点定位的准确性的基础上,节省了计算成本。为了使本领域技术人员更加理解本公开实施例提供的技术方案,下面对上述步骤进行详细举例说明。首先,在一个示例性实施例中,预设人脸模板可以如图2所示,其中包括具有相应序号的58个人脸关键点,并且图2中的部分人脸关键点的坐标与其序号的对应关系可以参照表1:表1序号坐标序号坐标1(-0.438we,pe+0.625he)35(-0.125wm,pm+hm)2(-0.344we,pe+0.688he)36(-0.125wm,pm+1.25hm)3(-0.250we,pe+0.75he)37(-0.125wm,pe-0.25he)4(-0.156we,pe+0.688he)38(-0.375wm,pm+0.25hm)5(-0.063we,pe+0.5he)39(-0.125wm,pm+0.375hm)11(-0.375we,pe)40(0,pm+0.313hm)12(-0.313we,pe+0.2he)44(0,pm-0.1hm)13(-0.250we,pe+0.25he)45(-0.125wm,pm-0.1hm)14(-0.188we,pe+0.2he)58(-0.438wm,pm+0.3hm)15(-0.125we,pe)57(-0.381wm,pm+0.05hm)16(-0.188we,pe-0.2he)56(-0.325wm,pm-0.17hm)17(-0.250we,pe-0.25he)55(-0.25wm,pm-0.4hm)18(-0.313we,pe-0.2he)54(-0.175wm,pm-0.6hm)32(0,pm+0.625hm)53(-0.1wm,pm-0.769hm)33(-0.125wm,pm+0.75hm)52(0,pm-0.833hm)34(-0.25wm,pm+0.75hm)其中,we、he、pe分别为人脸图像中眼睛区域的宽度、高度和中心点坐标,wm、hm、pm分别为人脸图像中嘴巴区域的宽度、高度和中心点坐标,其中,眼睛区域为包括眼睛的矩形区域,嘴巴区域包括嘴巴的矩形区域。应当理解的是,参照图2,序号为1-5的人脸关键点分别与序号为6-10的人脸关键点对称,根据序号1-5的人脸关键点的坐标可以确定序号为6-10的人脸关键点的坐标,同样的,根据序号11-18的人脸关键点可以确定序号为19-26的人脸关键点的坐标,以此类推。因此,表1中列出的是部分人脸关键点的坐标与其序号的对应关系。根据预设人脸模板,在人脸图像上预生成初始关键点首先需要获取该人脸图像中的人脸区域,并分别提取该人脸区域中的双眼区域和嘴巴区域,并分别确定该双眼区域和嘴巴区域的长度值、宽度值以及中心点坐标,然后可以根据该双眼区域的长度值、宽度值和中心点坐标、该嘴巴区域的长度值、宽度值和中心点坐标,以及预设人脸模板,生成初始关键点。示例地,提取人脸区域中的双眼区域和嘴巴区域可以是通过opencv(opensourcecomputervisionlibrary,开源计算机视觉库)提供的双眼提取器和嘴巴提取器进行提取,那么相应地,确定双眼区域和嘴巴区域的长度值、宽度值可以是确定双眼提取器和嘴巴提取器的长度值、宽度值,而双眼区域和嘴巴区域的中心点坐标可以是根据双眼提取器和嘴巴提取器的中心点以及在人脸区域上建立的预设坐标系确定的。例如,对于一张人脸图像,提取了该人脸图像中的人脸区域,并通过双眼提取器和嘴巴提取器分别提取了该人脸区域中的双眼区域和嘴巴区域,那么,可以将双眼提取器和嘴巴提取器的宽度值、长度值分别确定为双眼区域和嘴巴区域的宽度值、长度值。同时,参照图3,先确定了双眼提取器和嘴巴提取器的中心点,然后以这两个中心点连线的中点为原点建立了预设坐标系,那么可以根据该预设坐标系和双眼提取器和嘴巴提取器的中心点,确定双眼区域和嘴巴区域的中心点坐标,比如,可以将双眼区域的宽度值记为we,双眼区域的长度值记为he,双眼区域的中心点坐标记为pe,嘴巴区域的宽度值记为wm,嘴巴区域的长度值记为hm、嘴巴区域的中心点坐标记为pm。然后,可以参照表1,根据双眼区域和嘴巴区域的宽度、长度和中心点坐标,计算得到人脸图像的初始关键点。通过以上的方式,可以根据预设人脸模板,在人脸图像上预生成初始关键点,不需要标注大量的训练样本,节省了计算成本,能够快速地得到单张人脸图像的初始关键点定位结果。在得到初始关键点后,可以确定需要进行定位更新的目标关键点,例如由用户操作选择需要定位更新的初始关键点,或者,预先设定需要进行定位更新的初始关键点的坐标范围,例如眼部区域的坐标范围,以对眼部区域的初始关键点进行坐标更新。具体地,本公开实施例具体可以根据实际的计算能力和精度需求对关键点集合进行选择。例如,可选地,在具体实施时可以将同一区域的关键点进行有序的编号,例如图2中所示的右眼部区域的所有关键点编号为11、12、13、14、15、16、17、18,这样,在针对目标关键点进行更新时,可以选择相邻编号的多个关键点作为关键点集合。还可以随机选择包括目标关键点的关键点集合。还可以将预设人脸模板上的所有关键点(例如总共的58个关键点)作为关键点集合。进一步,在确定关键点集合后,可以对关键点集合中的所有关键点的坐标进行局部优化。示例地,对关键点集合中的所有关键点的坐标进行局部优化更新可以是根据关键点集合中每一关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量,对所述关键点的坐标进行局部优化。邻域范围可以用于表征关键点迭代更新的速度,邻域范围确定得越小,则关键点迭代更新的速度越快,但是,应当注意的是,小邻域范围容易使关键点定位结果陷入局部最优,从而导致关键点定位的精确度不高,因此,邻域范围也不能设定得过小。在本公开实施例中,邻域范围可以是通过获取关键点的响应图确定的,也可以是根据用户对于关键点定位的精度要求确定的,等等,本公开实施例对于邻域范围的具体数值及确定方式不作限定。综合作用向量用于表征关键点当前所处邻域范围内所有像素点对该关键点位置坐标的影响,也可以说,综合作用向量是该关键点在当前所处邻域范围内的位置偏移量,本公开实施例对于综合作用向量的具体计算方式不作限定,下面对可能的方式进行说明。在本公开实施例中,可以通过如下公式计算关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量:其中,为人脸关键点o在预设邻域ψo内所受的综合作用向量,wp为对所述预设邻域ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值,所述d(p,o)为所述人脸关键点o到所述其他关键点p的距离,ρp为所述其他关键点p的梯度幅值。在上述公式中,其他关键点p的梯度幅值ρp可以是通过以下公式确定的:ρp=cos(θ)[hp,x,hp,y]t(2)其中,[hp,x,hp,y]t为其他关键点p的梯度向量,θ为向量与其他关键点p的梯度向量间的夹角。空间权值wp可以是通过以下公式确定的:其中,z为预设归一系数,xp和yp分别为其他关键点p的横、纵坐标,σw为其他关键点p到人脸关键点o的距离标准差,其具体计算方式与相关技术方式类似,这里不再赘述。通过上述公式计算出综合作用向量后,可以根据计算出的综合作用向量,对所述关键点的坐标进行更新,也就是说,可以在人脸关键点的基础上叠加该综合作用向量对应的坐标,使得该人脸关键点向边缘方向移动。当人脸关键点移动到平直的边缘上时,由于其他关键点p位于边缘上,而梯度向量[hp,x,hp,y]t垂直于边缘,那么向量与梯度向量[hp,x,hp,y]t垂直,cos(θ)将趋近于0,那么人脸关键点由于其他关键点而引发的位移将趋近于0,即,人脸关键点当前所处邻域范围内所有像素点对其的综合作用向量为0,此时人脸特征点的分布将趋于稳定,从而可以实现对于人脸关键点的局部优化过程。在得到关键点集合中每一关键点局部更新后的坐标后,在一种可能的方式中,步骤s1022可以是先根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程,然后通过最小二乘法求解所述全局拓扑约束方程,得到所述函数关系式。示例地,可以先将关键点集合内的所有关键点局部优化更新前的坐标位置的横、纵坐标分别作为向量x和向量y,将关键点集合内的所有关键点局部优化更新后的坐标位置的横、纵坐标分别作为向量x'和向量y',然后,将向量x和向量y作为自变量,将向量x'和向量y'为因变量,建立全局拓扑约束方程,最后通过最小二乘法求解所述全局拓扑约束方程,得到用于表明关键点更新前后的坐标映射关系的函数关系式。其中,最小二乘法是通过最小化误差的平方和寻找数据的最佳函数匹配的一种曲线拟合方法,在本公开实施例中,通过最小二乘法求解得到全局拓扑约束方程能够将人脸关键点的边缘轮廓限定在合理的范围内,从而实现对人脸关键点的全局优化更新,进一步提高人脸关键点定位的准确性。应当理解的是,本公开实施例中,建立的全局拓扑约束方程可以是二元二次多项式,也可以是三元三次多项式,等等,本公开实施例对此不作限定。例如,全局拓扑约束方程为一个二元二次多项式,且该二元二次多项式的待定系数分别为维度为6的向量a和向量b,记作a=[a1,a2,...,a6]t和b=[b1,b2,...,b6]t,同时,确定了一关键点集合,该关键点包括目标关键点邻域范围内的k个关键点。将这k个关键点在局部优化更新前的横、纵坐标分别保存到向量x和向量y中,记作x=[x1,x2,...,xk]t和y=[y1,y2,...,yk]t,并将这k个关键点在局部优化更新后的横、纵坐标分别保存到向量x'和向量y',记作x'=[x1',x2',...,xk']t和y'=[y1',y2',...,yk']t,然后将向量x和所述向量y作为自变量,将所述向量x'和所述向量y'为因变量,可以得到全局拓扑约束方程:x'=a1+a2x+a3y+a4x·y+a5x2+a6y2(4)y'=b1+b2x+b3y+b4x·y+b5x2+b6y2(5)最后,可以通过最小二乘法确定(4)和式(5)中的待定系数向量a=[a1,a2,a3,a4,a5,a6]和向量b=[b1,b2,b3,b4,b5,b6],从而求解得到用于对目标关键点进行全局优化更新的函数关系式。需要说明的是,在建立全局拓扑约束方程时,关键点局部优化后的坐标可以是该关键点进行一次局部优化后的坐标,也可以是该关键点进行多次局部优化后的坐标,本公开实施例对此不作限定。但是,应当理解的是,如果关键局部优化后的坐标是该关键点多次局部优化后的坐标,那么在建立拓扑约束方程时,该关键点局部优化前的坐应当是该关键点第一次局部优化前的坐标。进一步地,在上述全局拓扑约束方程为公式(4)和(5)的例子中,可以在向量a和向量b已知的情况下,将目标关键点的横坐标作为x,纵坐标作为y,代入公式(4)和(5),得到的向量x'和向量y'即为该目标关键点全局优化更新后的坐标位置,以避免人脸关键点局部优化结果不准确,进一步保证人脸关键点定位的准确性。上述更新操作是对目标关键点的一次更新过程进行的说明,在具体实施时,可以在目标关键点局部优化前的坐标与目标关键点全局优化后的坐标的误差平方和不小于预设阈值时,再次执行对目标关键点的更新操作,并在目标关键点局部优化前的坐标与目标关键点全局优化后的坐标的误差平方和小于预设阈值时,停止对目标关键点的更新。其中,目标关键点局部优化前的坐标与全局优化后的坐标的误差平方和可以是将目标关键点局部优化前的坐标与全局优化后的坐标间的差值进行平方计算后求和得到的,具体的计算方式与相关技术中计算误差平方和的方式类似,这里不再赘述。预设阈值可以是根据对于关键点定位结果准确性的要求由用户提前设定的,等等,本公开对此不作限定。比如,可以将预设阈值设定为0.3,那么在更新后的坐标位置的误差平方和小于0.3时,则停止对目标关键点的更新,否则,再次执行对目标关键点的更新操作。此外,再次执行对目标关键点更新操作时,该关键点对应的关键点集合中除目标关键点以外的其他关键点的坐标可以是上一次局部优化后的坐标。但是,应当理解的是,如果在上一次更新过程中,对关键点集合中的其他关键点进行了全局优化更新,那么在对目标关键点进行更新时,关键点集合中的其他关键点的坐标可以是其他关键点上一次全局优化更新后的坐标。下面以一个完整的实施例对本公开的人脸关键点定位方法进行说明。参照图4,该人脸关键点定位方法包括以下步骤:步骤s401,获取人脸图像中的人脸区域。步骤s402,分别提取人脸区域中的双眼区域和嘴巴区域,并分别确定该双眼区域和嘴巴区域的长度值、宽度值以及中心点坐标。步骤s403,根据双眼区域的长度值、宽度值和中心点坐标、嘴巴区域的长度值、宽度值和中心点坐标,以及预设人脸模型,生成初始关键点。步骤s404,确定包括目标关键点的关键点集合,并对该关键点集合中的每一关键点进行局部优化。步骤s405,基于关键点集合中的每一关键点局部更新前后的坐标建立函数关系式,并根据该函数关系式对目标关键点进行全局优化。局部优化更新和全局优化更新的过程具体可参照上述的详细说明,此处不再赘述。步骤s406,将目标关键点全局优化后的坐标作为目标关键点本次坐标更新的结果。步骤s407,确定在目标关键点局部优化前的坐标与目标关键点全局优化后的坐标的误差平方和是否小于预设阈值。其中,如果目标关键点局部优化前的坐标与目标关键点全局优化后的坐标的误差平方和不小于预设阈值,则返回执行步骤s404,否则,进入步骤s408。步骤s408,停止对目标关键点的更新。通过上述方式,先根据预设人脸模板,在人脸图像上预生成初始关键点,不需要标注大量的训练样本,节省了计算成本,并且通过对初始关键点进行坐标更新,保证人脸图像上关键点定位的准确性。请参照图5,图5示出了迭代更新过程中关键点坐标变化的过程,可以清楚地看到人脸图像的右边眉毛附近的关键点定位越来越准确。基于同一发明构思,参照图6,本公开实施例还提供一种人脸关键点定位装置60,包括:生成模块61,用于根据预设人脸模板,在人脸图像上预生成初始关键点;更新模块62,用于针对所述人脸图像上的目标关键点执行以下更新操作,其中,所述更新模块62包括:局部优化子模块621,用于确定包括所述目标关键点的关键点集合,并对所述关键点集合中的所有关键点的坐标进行局部优化;全局优化子模块622,用于根据所述关键点集合中的所有关键点局部优化前后的坐标,确定用于对所述目标关键点进行全局优化的函数关系式,并将所述目标关键点局部优化更新前的坐标代入所述函数关系式,得到所述目标关键点全局优化后的坐标,并将所述目标关键点全局优化后的坐标作为所述目标关键点本次坐标更新的结果;其中,所述目标关键点是所述人脸图像上的任一关键点。可选地,所述局部优化子模块621用于:针对所述关键点集合中的每一关键点执行以下操作:通过如下公式计算所述关键点当前所处邻域范围内所有像素点对所述关键点的综合作用向量:其中,为人脸关键点o在预设邻域ψo内所受的综合作用向量,wp为对所述预设邻域ψo内除所述人脸关键点o以外的其他关键点p到所述人脸关键点o的距离进行归一化计算得到的空间权值,d(p,o)为所述人脸关键点o到所述其他关键点p的距离,ρp为所述其他关键点p的梯度幅值;根据所述计算的综合作用向量,对所述关键点的坐标进行局部优化。可选地,所述全局优化子模块622用于:根据所述关键点集合中所有关键点局部优化前的坐标以及局部优化后的坐标建立全局拓扑约束方程;通过最小二乘法求解所述全局拓扑约束方程,得到所述函数关系式。可选地,更新模块62用于,在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和小于预设阈值时,停止对所述目标关键点的更新,并在所述目标关键点局部优化前的坐标与所述目标关键点全局优化后的坐标的误差平方和不小于预设阈值时,再次执行对所述目标关键点的所述更新操作。上述装置可以根据预设人脸模板,在人脸图像上预生成初始关键点,不需要标注大量的训练样本,节省了计算成本。并且可以对人脸图像上的目标关键点进行更新操作,实现对目标关键点的局部优化和全局优化,从而提高人脸关键点定位的准确性。即在保证了人脸关键点定位的准确性的基础上,节省了计算成本。关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。基于同一发明构思,本公开还提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现上述任一人脸关键点定位方法的步骤。在一示例性实施例中,该电子设备的框图可以如图7所示。参照图7,该电子设备700可以包括:处理器701,存储器702。该电子设备700还可以包括多媒体组件703,输入/输出(i/o)接口704,以及通信组件705中的一者或多者。其中,处理器701用于控制该电子设备700的整体操作,以完成上述的人脸关键点定位方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如局部优化更新后的关键点的坐标、全局优化更新后的关键点的坐标,等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(staticrandomaccessmemory,简称sram),电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,简称eeprom),可擦除可编程只读存储器(erasableprogrammableread-onlymemory,简称eprom),可编程只读存储器(programmableread-onlymemory,简称prom),只读存储器(read-onlymemory,简称rom),磁存储器,快闪存储器,磁盘或光盘。i/o接口704为处理器701和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信,例如wi-fi,蓝牙,近场通信(nearfieldcommunication,简称nfc),2g、3g、4g或5g,或它们中的一种或几种的组合,因此相应的该通信组件705可以包括:wi-fi模块,蓝牙模块,nfc模块。在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(applicationspecificintegratedcircuit,简称asic)、数字信号处理器(digitalsignalprocessor,简称dsp)、数字信号处理设备(digitalsignalprocessingdevice,简称dspd)、可编程逻辑器件(programmablelogicdevice,简称pld)、现场可编程门阵列(fieldprogrammablegatearray,简称fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述人脸关键点定位方法。在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的人脸关键点定位方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指令可由电子设备700的处理器701执行以完成上述的人脸关键点定位方法。以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1