人脸图像处理方法及装置的制造方法_2

文档序号:9708749阅读:来源:国知局
指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0061 ]应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0062]如图1所示,图1是本公开根据一示例性实施例示出的一种人脸图像处理方法的流程图,可应用在终端中,包括以下步骤101-104:
[0063]在步骤101中,获取预设帧图像的人脸关键点位置。所述预设帧图像在当前帧图像之前,与所述当前帧图像间隔预设帧数。
[0064]本公开实施例中涉及的终端可以是智能终端,例如计算机、智能电视、智能手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)等。
[0065]本公开实施例提供的方法,可应用于视频图像中的人脸关键点位置检测;视频图像由一帧帧连续的图像构成,对当前帧图像进行人脸关键点位置定位时,可采用本公开实施例提供的处理方法进行定位。
[0066]其中,人脸关键点即脸部关键特征点,可以包括眉毛、眼睛、鼻子、嘴巴或脸部轮廓等。在实际应用中,可以根据需要预先设定需定位的人脸关键点,例如设定鼻子或嘴巴等。各人脸关键点在图像中的具体位置,即表示图像中哪些像素点为上述的脸部关键特征点。
[0067]预设帧图像是指在当前帧图像之前,与所述当前帧图像间隔预设帧数。当前帧图像是指当前需进行人脸关键点定位的图像,预设帧图像可以是已完成人脸关键点定位的图像,因此对于预设帧图像,可以获取得到其预先处理好的定位结果,也即是上述的预设帧图像的人脸关键点位置。在本公开提供的实施例,预设帧图像与当前帧图像的间隔帧数可选取较小的数值,预设帧图像与当前帧图像间隔越小,两帧图像之间的差异越小;在实际应用中,该间隔帧数可以是一帧、两帧等多种选择,为了减少计算量及获得较优的定位结果,预设帧图像可以是当前帧图像的上一帧图像。
[0068]在步骤102中,在当前帧图像中对预设帧图像的人脸关键点位置进行跟踪。
[0069]由于预设帧图像已获得人脸关键点位置,而预设帧图像与当前帧图像的差别较小,因此可对预设帧图像的人脸关键点位置进行跟踪。
[0070]在一个可选的实现方式中,可以是在当前帧图像中利用预设的特征点跟踪算法对预设帧图像的人脸关键点位置进行跟踪,所述特征点跟踪算法包括基于光流的特征点跟踪算法。
[0071]当物体在运动时,它在图像上对应点的亮度模式也在运动。这种图像亮度模式的表观运动(apparent mot1n)就是光流。光流表达了图像的变化,由于它包含了目标运动的信息,因此可用来确定目标的运动情况。利用运动图像序列中的灰度图像数据的时域变化和相关性,可以确定图像像素的运动情况。在对预设帧图像的人脸关键点位置进行跟踪时,在连续的帧图像中,人脸即可看做是一运动目标,因此可以采用相关技术中的光流公式,基于预设帧图像中的人脸关键点位置,在当前帧图像中对该人脸关键点进行跟踪,计算得到当前帧中人脸关键点的位置。
[0072]由上述实施例可见,采用基于光流的特征点跟踪算法可快速对预设帧图像的人脸关键点位置进行跟踪,该方式易于实现,且准确率高。
[0073]在步骤103中,当对预设帧图像的人脸关键点位置跟踪成功,获得人脸关键点在当前帧图像的跟踪位置,将所述跟踪位置作为当前帧图像的人脸关键点的初始化位置。
[0074]若预设帧图像和当前帧图像之间的差异不大,则预设帧图像的人脸关键点位置通常可以跟踪成功,从而获得在当前帧图像中定位出人脸关键点的跟踪位置。由于预设帧图像已对人脸关键点进行准确定位,可知该跟踪位置与最终位置非常接近,可以将跟踪位置作为当前帧图像的人脸关键点的初始化位置。
[0075]在步骤104中,对当前帧图像的人脸关键点的初始化位置进行迭代求解,获得当前帧图像的人脸关键点位置。
[0076]在进行迭代求解时,以步骤103中的跟踪位置为初始化位置进行迭代求解时,则迭代求解的次数可显著减少。
[0077]在一个可选的实现方式中,可利用预设的监督的梯度下降(SDM,SupervisedDescent Method)算法对所述初始化位置进行迭代求解。
[0078]SDM算法能实现快速的人脸对齐,该方法基于机器学习来解决复杂最小二乘问题(least squares problem)的方法。该方法的思路是从训练数据中学习梯度下降的方向并建立相应的回归模型,然后利用得到的模型来进行梯度方向估计。在本公开提供的实施例中,将跟踪位置作为当前帧图像的人脸关键点的初始化位置,利用SDM算法对初始化位置的人脸特征点进行迭代求解,最终获得最优解的人脸关键点位置。
[0079]由上述实施例可见,该监督的梯度下降算法的迭代求解速度快,且可以求解出精确的人脸关键点位置。
[0080]至此,本公开实施例提供的人脸图像处理方法,以在当前帧图像之前的预设帧图像的人脸关键点位置为基础,在当前帧图像中对该位置进行跟踪获得跟踪位置,由于预设帧图像已对人脸关键点进行准确定位,则当前帧图像中跟踪位置与最终位置非常接近,当以跟踪位置为初始化位置进行迭代求解时,迭代求解的次数可显著减少,可加快迭代求解的速度,提尚人脸关键点定位的效率。
[0081]如图2所示,是根据一示例性实施例示出的另一种人脸图像处理方法的流程图,包括如下步骤:
[0082]在步骤201中,当所述预设帧图像为人脸初始帧图像时,利用平均位置求解法求解所述预设帧图像的人脸关键点位置。
[0083]在步骤202中,在当前帧图像中对预设帧图像的人脸关键点位置进行跟踪。
[0084]在步骤203中,当对预设帧图像的人脸关键点位置跟踪成功时,获得人脸关键点在当前帧图像的跟踪位置,将所述跟踪位置作为当前帧图像的人脸关键点的初始化位置。
[0085]在步骤204中,当对预设帧图像的人脸关键点位置跟踪失败时,利用所述平均位置求解法求解所述当前帧图像的人脸关键点的初始化位置。
[0086]在步骤205中,对当前帧图像的人脸关键点的初始化位置进行迭代求解,获得当前帧图像的人脸关键点位置。
[0087]其中,平均位置求解法包括如下步骤:
[0088]对图像进行人脸检测,获得图像中的人脸区域。
[0089]获取预设训练集中的人脸关键点平均位置。
[0090]以所述人脸关键点平均位置为所述人脸区域的人脸关键点的初始化位置进行迭代求解,得到所述图像的人脸关键点位置。
[0091]本公开提供的实施例,人脸初始帧图像,是指在视频图像中某一张待识别的人脸的第一帧图像。视频图像是由连续的视频帧序列构成,对视频图像进行人脸识别,若某一张待识别的人脸图像第一次在视频帧序列中出现,则无法获得可作为参考的前一帧图像,此时可利用平均位置求解法对人脸初始帧图像求解人脸关键点位置。
[0092]平均位置求解法中,首先对图像进行人脸检测,获得人脸区域,以用于后续进行人脸关键点定位时,在已框定的人脸区域中进行计算,可减少迭代求解的范围。而人脸关键点初始化位置则采用训练集中预先标定的人脸关键点平均位置进行迭代求解,最后获得图像的人脸关键点位置。
[0093]当初始帧图像定位出人脸关键点位置后,则可作为后续其他帧图像的参考,供其他帧图像进行跟踪。
[0094]其中,若当前帧图像和预设帧图像的区别较大,则有可能造成跟踪失败的情况,当对预设帧图像的人脸关键点位置跟踪失败时,可利用上述的平均位置求解法求解所述当前帧图像的人脸关键点的初始化位置。
[0095]由上述实施例可见,若预设帧图像为视频图像中的第一帧图像,则无法以前一帧图像为参考,可利用平均位置求解法进行求解,获得预设帧图像的人脸关键点位置,实现为后续其他图像的人脸关键点定位提供参考。考虑到当预设帧图像与当前帧图像的差别较大,则有可能出现对预设帧图像的人脸关键点位置跟踪失败的情况,可利用平均位置求解法求解当前帧图像的人脸关键点的初始化位置,提高本公开的适用性。
[0096]与前述方法的实施例相对应,本公开还提供了人脸图像处理装置及其所应用的终端的实施例。
[0097]如图3所示,图3是本公开根据一示例性
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1