一种面部特征点的定位方法、装置和计算机设备与流程

1.本技术涉及计算机技术领域，具体涉及一种面部特征点的定位方法、装置和计算机设备。


背景技术：

2.对面部特征点进行定位是很多图像处理技术的核心。例如，美颜美妆类的应用程序若要正确地给面部图像进行美颜，前提是应用程序可以精确地对面部特征点的进行定位。又例如，当利用应用程序对人脸正确地识别以及认证时，也需要应用程序可以精确地对面部特征点的进行定位。在对现有技术的研究和实践过程中，本发明的发明人发现，现有的对面部特征点进行定位的方法存在定位不精确的问题。


技术实现要素：

3.本技术实施例提出了一种面部特征点的定位方法、装置和计算机设备，提高了对面部特征点进行定位的精确率。
4.本技术实施例提供了一种面部特征点的定位方法，包括：
5.获取面部图像；
6.对所述面部图像进行校正处理，得到校正后面部图像；
7.对所述校正后面部图像进行点位生成处理，得到所述校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；
8.根据所述面部部位特征点的初始位置信息，对所述校正后面部图像进行拆解处理，得到所述校正后面部图像的至少一个面部部位图像；
9.对所述至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；
10.将所述轮廓特征点的位置信息和所述面部部位特征点的位置信息进行信息融合处理，得到所述校正后面部图像的全局特征点的位置信息。
11.相应的，本技术实施例还提供了一种面部特征点的定位装置，包括：
12.获取单元，用于获取面部图像；
13.校正单元，用于对所述面部图像进行校正处理，得到校正后面部图像；
14.点位生成单元，用于对所述校正后面部图像进行点位生成处理，得到所述校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；
15.拆解单元，用于根据所述面部部位特征点的初始位置信息，对所述校正后面部图像进行拆解处理，得到所述校正后面部图像的至少一个面部部位图像；
16.点位精调单元，用于对所述至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；
17.信息融合单元，用于将所述轮廓特征点的位置信息和所述面部部位特征点的位置信息进行信息融合处理，得到所述校正后面部图像的全局特征点的位置信息。
18.在一实施例中，所述校正单元，可以包括：
19.特征检测子单元，用于对所述面部图像进行特征检测处理，得到所述面部图像的特征图像；
20.点位估计子单元，用于对所述特征图像进行点位估计处理，得到所述特征图像的校正特征点的位置信息；
21.校正子单元，用于利用所述校正特征点的位置信息，对所述面部图像进行校正处理，得到校正后面部图像。
22.在一实施例中，所述特征检测子单元，可以包括：
23.特征检测模块，用于对所述面部图像进行特征检测，得到所述面部图像的特征检测信息；
24.特征增强模块，用于对所述特征检测信息进行特征增强处理，得到特征增强信息；
25.生成模块，用于根据所述特征增强信息，在所述面部图像中生成目标检测区域；
26.裁剪模块，用于根据所述目标检测区域，对所述面部图像进行裁剪，得到所述面部图像的特征图像。
27.在一实施例中，所述点位估计子单元，可以包括：
28.点位估计模块，用于对所述特征图像进行点位估计处理，得到所述特征图像的初始特征点的位置信息；
29.信息识别模块，用于对所述初始特征点进行信息识别，得到所述初始特征点的语义信息；
30.筛选模块，用于根据所述初始特征点的语义信息，从所述初始特征点中筛选出所述语义信息符合预设语义条件的校正特征点；
31.确定模块，用于根据所述校正特征点，从所述初始特征点的位置信息中确定所述校正特征点的位置信息。
32.在一实施例中，所述点位生成单元，可以包括：
33.高维特征提取子单元，用于对所述校正后面部图像进行高维特征提取处理，得到所述校正后面部图像的特征信息；
34.特征降维子单元，用于对所述校正后面部图像的特征信息进行特征降维处理，得到降维后特征信息；
35.池化子单元，用于对所述降维后特征信息进行池化处理，得到池化后特征信息；
36.低维特征提取子单元，用于对所述池化后特征信息进行低维特征提取处理，得到所述轮廓点的位置信息和所述面部部位特征点的初始位置信息。
37.在一实施例中，所述高维特征提取子单元，可以包括：
38.信息识别模块，用于对所述校正后面部图像进行信息识别处理，得到所述校正后面部图像的图像信息；
39.卷积特征提取模块，用于利用多个预设卷积核对所述校正后面部图像的图像信息进行卷积特征提取，得到所述图像信息的多个卷积特征信息；
40.信息融合模块，用于将所述多个卷积特征信息进行信息融合，得到所述面部图像的特征信息。
41.在一实施例中，所述点位精调单元，可以包括：
42.信息识别子单元，用于对每个面部部位图像的颜色通道进行信息识别处理，得到每个面部部位图像的颜色通道信息；
43.信息重组子单元，用于将每个面部部位图像的颜色通道信息进行信息重组，得到包括每个面部部位图像的颜色通道信息的目标部位图像；
44.点位生成子单元，用于对所述目标部位图像进行点位生成处理，得到每个面部部位图像中面部部位特征点的位置信息。
45.在一实施例中，所述点位生成子单元，可以包括：
46.高维特征提取模块，用于对所述目标部位图像进行高维特征提取处理，得到所述目标部位图像的面部部位特征信息；
47.特征降维模块，用于对所述面部部位特征信息进行特征降维处理，得到降维后的面部部位特征信息；
48.池化模块，用于对所述降维后的面部部位特征信息进行池化处理，得到池化后的面部部位特征信息；
49.低维特征提取模块，用于对所述池化后的面部部位特征信息进行低维特征提取处理，得到所述每个面部部位图像中面部部位特征点的位置信息。
50.本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。
51.相应的，本技术实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本技术实施例任一提供的面部特征点的定位方法。
52.本技术实施例可以获取面部图像；对面部图像进行校正处理，得到校正后面部图像；对校正后面部图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；根据面部部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个面部部位图像；对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，得到校正后面部图像的全局特征点的位置信息，从而提高了对面部特征点进行定位的精确率。
附图说明
53.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1是本技术实施例提供的面部特征点的定位方法的场景示意图；
55.图2是本技术实施例提供的面部特征点的定位方法的流程示意图；
56.图3是本技术实施例提供的面部图像的场景示意图；
57.图4是本技术实施例提供的面部特征点的定位方法的又一场景示意图；
58.图5是本技术实施例提供的面部图像的又一场景示意图；
59.图6是本技术实施例提供的特征图像的场景示意图；
60.图7是本技术实施例提供的特征图像的又一场景示意图；
61.图8是本技术实施例提供的特征点的场景示意图；
62.图9是本技术实施例提供的卷积核的场景示意图；
63.图10是本技术实施例提供的高维特征提取的场景示意图；
64.图11是本技术实施例提供的轮廓特征点的场景示意图；
65.图12是本技术实施例提供的面部部位特征点的场景示意图；
66.图13是本技术实施例提供的对校正后面部图像进行拆解处理的场景示意图；
67.图14是本技术实施例提供的目标部位特征点的场景示意图；
68.图15是本技术实施例提供的信息融合的场景示意图；
69.图16是本技术实施例提供的面部特征点的定位方法的又一流程示意图；
70.图17是本技术实施例提供的面部特征点的定位装置的结构示意图；
71.图18是本技术实施例提供的终端的结构示意图。
具体实施方式
72.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
73.本技术实施例提出了一种面部特征点的定位方法，该面部特征点的定位方法可以由面部特征点的定位装置执行，该面部特征点的定位装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器等中的至少一个。即，本技术实施例提出的面部特征点的定位方法即可以由终端执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。
74.其中，终端可以为智能手机、平板电脑、笔记本电脑、个人电脑(personal computer，pc)、智能家居、可穿戴电子设备、vr/ar设备、车载计算机等等。服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
75.在一实施例中，如图1所述，面部特征点的定位装置可以集成在终端或服务器等计算机设备上，以实施本技术实施例提出的面部特征点的定位方法。具体地，计算机设备可以获取面部图像01；对面部图像01进行校正处理，得到校正后面部图像02；对校正后面部图像02进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；根据面部部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个面部部位图像03；对至少一个面部部位图像03进行点位精调处理，得到每个面部部位图像03中面部部位特征点的位置信息；将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，得到面部图像的全局特征点的位置信息。
76.以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
77.本技术实施例将从面部特征点的定位装置的角度进行描述，该面部特征点的定位装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
78.如图2所述，提供了一种面部特征点的定位方法，具体流程包括：
79.101、获取面部图像。
80.其中，面部图像包括各种各样的具有生物面部结构的图像。例如，面部图像可以包括自拍照、多人合照，等等。例如，如图3所示，图像001、图像002和图像003都可以是面部图像，因为上述图像都具有生物的面部结构。
81.在一实施例中，面部图像还可以包括面部具有遮挡物的图像。例如，戴着口罩或眼罩等等的人脸图像，等等。
82.在一实施例中，本技术实施例提出的面部特征点的定位方法(也可以称为人脸配准技术)可以是各种具有美颜美妆以及动效贴纸等基础平面特征的应用程序的核心技术，还可以是各种具有三维(3dimensions，3d)挂件、3d表情包(3d animoji)等3d重建技术的核心支持，也是人面核身/识别不可忽缺的底层支持技术。例如，如图4所示，图4(a)中的04可以是面部特征点的示意图。只有当面部特征点的定位准确时，才可以使得其他技术可以准确地实现。例如，如图4(b)中的05可以基于人脸配准技术实现的美颜美妆类应用程序的产品示意图。又例如，如图4(c)中的06可以是基于人脸配准技术实现的3d挂件类应用程序的产品示意图。又例如，如图4(d)中的07可以是基于人脸配准技术实现的人脸核身类应用程序的产品示意图。所以，本技术实施例提出的面部特征点的定位方法可以应用于跟面部应用相关的应用程序中。例如，本技术实施例提出的面部特征点的定位方法可以应用于各种具有美颜美妆以及动效贴纸功能的应用程序中，还可以应用于各种具有人面检测或人面配准的应用程序中。
83.其中，应用程序包括完成某项或多项特定功能的计算机程序，它运行在交互模式，可以和应用程序的使用对象进行交互，具有可视的显示界面。
84.例如，应用程序可以包括各种终端上的应用软件。例如，应用程序可以包括各种手机软件(application，app)、平板电脑应用软件、笔记本电脑上的应用软件、个人计算机(pc，personal computer)上的应用软件，等等。
85.例如，应用程序可以包括浏览器、视频播放软件、游戏软件等等。
86.又例如，应用程序还可以包括小程序。其中，小程序(mini program)是一种不需要下载安装即可使用的应用程序。为了向用户提供更多样化的业务服务，开发者可为终端的应用(例如即时通信应用、购物应用、邮件应用等)开发相应的小程序，该小程序可作为子应用被嵌入至终端的应用中，通过运行应用内的子应用(即对应的小程序)能够为用户提供相应的业务服务。
87.在一实施例中，针对不同类型的应用程序，可以通过不同的方式获取应用程序中的面部图像。
88.例如，对于具有美颜美妆以及动效贴纸功能的应用程序，可以在用户上传面部图像到应用程序后，获取面部图像。例如，还可以接收用户的图像采集触发指令，根据图像采集触发指令开启图像采集装置(例如，相机、摄像机等等)采集用户的面部图像，从而获取到
用户的面部图像。
89.又例如，对于具有人面检测的应用程序中，可以接收用户的图像采集触发指令，根据图像采集触发指令开启图像采集装置(例如，相机、摄像机等等)采集用户的面部图像，从而获取到用户的面部图像，等等。
90.102、对面部图像进行校正处理，得到校正后面部图像。
91.在一实施例中，在获取到面部图像后，由于拍照姿势和动作等原因，会导致面部图像中的面部结构可能存在姿态角(也称为欧拉角)过大的问题。因此，在得到面部图像后，可以对面部图像进行校正处理，以提高对面部图像的特征点进行定位的准确率和效率。
92.例如，如图5所示，图像004是存在姿态角过大的问题的图像，图像005是图像004经过校正处理后的图像。
93.在一实施例中，在对面部图像进行校正处理时，由于面部图像中往往会包括不重要信息。譬如，面部图像中会包括除了生物的面部结构以外的不重要信息。例如，面部图像中的背景、生物的身体结构等都属于不重要信息。因此，在对面部图像进行校正处理时，可以首先对面部图像进行特征检测处理，得到面部图像的特征图像。然后，对特征图像进行校正处理，得到校正后面部图像。
94.具体的，步骤“对面部图像进行校正处理，得到校正后面部图像”，可以包括：
95.对面部图像进行特征检测处理，得到面部图像的特征图像；
96.对特征图像进行点位估计处理，得到特征图像的校正特征点的位置信息；
97.利用校正特征点的位置信息，对面部图像进行校正处理，得到校正后面部图像。
98.其中，特征图像包括生物的面部结构占了大部分面积的图像。例如，人脸图像，等等。例如，如图6所示，图像006可以是面部图像002的特征图像。又例如，如图7所示，图像007、图像008、图像009、图像010和图像011可以是面部图像003的特征图像。
99.其中，特征点包括可以描述面部结构特征的点。例如，特征点可以是描述面部的轮廓以及五官之间的差异的点。例如，如图8所示，图像中的点012便为特征点。
100.其中，校正特征点包括可以作为特征图像的校正依据的特征点。例如，在特征图像中，当人的头是歪着导致面部也是歪着的情况下，得到的校正特征点也是会出现歪斜的情况，而不会在中立位。此时，便可以根据校正特征点对人的头进行校正处理，从而使得人的头重回中立状态。
101.其中，校正特征点的位置信息可以包括特征点在面部结构中位置的信息。例如，当在特征图像的中心位置建立一个二维坐标系时，校正特征点的位置信息可以是校正特征点在该二维坐标系上的信息。又例如，当在特征图像的中心位置建立一个三维坐标系时，校正特征点的位置信息可以是特征点在该三维坐标系上的信息。
102.在一实施例中，为了得到准确的特征图像，在对面部图像进行特征检测处理，可以对面部图像进行特征检测，得到面部图像的特征检测信息。然后，对特征检测信息进行特征增强，得到特征增强后信息。通过利用特征增强后信息得到面部图像的特征图像，从而特征图像的精确度。具体的，步骤“对面部图像进行特征检测处理，得到面部图像的特征图像”，可以包括：
103.对面部图像进行特征检测，得到面部图像的特征检测信息；
104.对特征检测信息进行特征增强处理，得到特征增强信息；
105.根据特征增强信息，在面部图像中生成目标检测区域；
106.根据目标检测区域，对面部图像进行裁剪，得到面部图像的特征图像。
107.其中，特征检测信息包括可以表示面部图像基本的、必不可少的信息。
108.其中，目标检测区域包括面部图像中具有目标检测对象的区域。例如，当该目标检测对象为人脸时，该目标检测区域便为面部图像中人脸所在的区域。其中，该目标检测区域可以是矩形，且该矩形可以恰好和人脸拟合，即，该目标检测区域不会过大也不会过小，可以恰好覆盖人脸所在的区域。
109.其中，在对面部图像进行特征检测时，可以采用多个特征检测网络对面部图像进行检测，其中，每个特征检测网络对面部图像检测完后都会得到相应的特征检测信息。例如，可以采用conv3_3，conv4_3，conv5_3，conv_fc7，conv6_2和conv7_2对面部图像进行检测，然后得到6个特征检测信息of1，of2，of3，of4，of5，of5。
110.在一实施例中，为了提高得到的特征图像的精确度，可以对特征检测信息进行特征增强处理，从而得到特征增强信息。
111.其中，在对特征检测信息进行特征增强时，可以利用卷积核对特征检测信息进行标准化处理。接下来，利用下采样信息和特征检测信息进行增强，从而实现对特征检测信息的一次特征增强，得到特征检测信息的第一特征增强信息。然后，可以将第一特征增强信息输入到多个卷积网络中，利用多个卷积网络分别对第一特征增强信息进行卷积运算，从而实现对特征检测信息的二次特征增强，并得到每个卷积网络输出的卷积信息。然后，将每个卷积网络输出的卷积信息进行拼接，从而得到特征增强信息。
112.例如，若得到6个特征检测信息of1，of2，of3，of4，of5，of5，可以对每个特征检测信息都按照上述方式进行特征增强处理，得到6个特征增强后信息ef1，ef2，ef3，ef4，ef5，ef6。
113.在一实施例中，在得到特征增强信息之后，便可以根据特征增强信息，在面部图像中生成目标检测区域。例如，可以将特征增强信息和预设锚框(anchor)进行匹配，并根据匹配结果生成目标检测区域。在得到目标检测区域之后，便可以根据目标检测区域，对面部图像进行裁剪，得到面部图像的特征图像。
114.例如，可以利用预设锚框和ef1，ef2，ef3，ef4，ef5，ef6进行匹配，并根据匹配结果生成目标检测区域。
115.在一实施例中，还可以利用特征检测网络对面部图像进行特征检测处理，得到面部图像的特征图像。其中，特征检测网络可以是对偶人脸特征检测网络(dual shot face detector，dsfd)。
116.其中，dsfd是一个人脸检测网络，该人脸检测网络可以准确地检检测出人脸在图像当中的位置，并为图像中的人脸生成准确的检测框。dsfd网络可以包括特征提取层、特征增强层和预测层。其中，特征提取层中包括多个卷积子网络，每个卷积子网络都可以实现对图像的特征提取，得到图像的特征信息。其中，特征增强层可以对图像的特征信息进行特征增强，从而增强特征信息的鲁棒性。其中，预测层中采用了渐进性anchor损失和改进的anchor匹配。其中，渐进性anchor损失中采用了基于anchor中的多任务损失函数，可以降低对提取层和特征增强层的训练任务。而改进的anchor中是在特征增强阶段中，将改进的anchor和特征信息进行匹配，从而实现更好地回归。
117.在一实施例中，在得到面部图像的特征图像之后，可以对特征图像进行点位估计处理。通过点位估计处理，可以生成特征图像中面部结构的校正特征点，从而根据校正特征点对面部图像进行校正。其中，由于此时生成的校正特征点只有用于对面部图像的校正，因此在对特征图像进行点位估计时，不需要很高的精确度，即使有一点误差也不会影响后续的步骤，并且可以提高对面部特征点进行定位的效率。
118.其中，对特征图像进行点位估计处理，得到特征图像的校正特征点的位置信息时，可以对特征图像进行特征提取，得到特征图像的特征信息。然后，根据特征图像的特征信息得到特征图像的特征点的位置信息。具体地，步骤“对特征图像进行点位估计处理，得到特征图像的校正特征点的位置信息”，可以包括：
119.对特征图像进行点位估计处理，得到特征图像的初始特征点的位置信息；
120.对初始特征点进行信息识别，得到初始特征点的语义信息；
121.根据初始特征点的语义信息，从初始特征点中筛选出语义信息符合预设语义条件的校正特征点；
122.根据校正特征点，从初始特征点的位置信息中确定特征点的位置信息。
123.其中，特征图像的初始特征点包括对特征图像进行点位生成处理时，初始获得的特征点。例如，在对特征图像进行点位生成处理时，得到50个特征点，则该50个特征点可以为特征图像的初始特征点。其中，当特征图像是面部结构的图像时，该初始特征点可以是体现出面部结构的轮廓和五官位置的特征点。
124.其中，语义信息包括能够表示出特征点的意义的信息。例如，生成的特征点是面部轮廓的特征点，则该特征点的语义信息可以表示该特征点是面部轮廓的特征点。又例如，生成的特征点是鼻子的特征点，则该特征点的语义信息可以表示该特征点是鼻子的特征点。
125.在一实施例中，在对特征图像进行点位估计处理时，可以对特征图像进行高维特征特征提取，得到特征图像的特征信息。然后，根据特征图像的特征信息，生成特征图像的初始特征点。具体地，步骤“对特征图像进行点位估计处理，得到特征图像的初始特征点的位置信息”，可以包括：
126.对特征图像进行高维特征提取处理，得到特征图像的特征信息；
127.对特征图像的特征信息进行特征降维处理，得到特征图像的降维后特征信息；
128.对特征图像的降维后特征信息进行池化处理，得到特征图像的池化后特征信息；
129.对特征图像的池化后特征信息进行低维特征提取处理，得到特征图像的初始特征点的位置信息。
130.其中，图像的特征信息包括能反映图像特征的必不可少的、基本的信息。例如，特征图像的特征信息包括可以反映特征图像的必不可少的、基本的信息。
131.在一实施例中，对特征图像进行高维特征提取可以包括利用多个卷积核对特征图像进行卷积特征提取。
132.其中，卷积核可以是在对图像进行处理时，给定输入图像，输入图像中一个小区域中像素加权平均后称为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。例如，如图9所示，图中的013可以是一个卷积核。
133.其中，在利用多个卷积核对特征图像进行高维特征提取时，可以对特征图像进行信息识别处理，得到特征图像的图像信息。然后利用多个卷积核对特征图像的图像信息进
行卷积特征提取，得到特征图像的多个卷积特征信息。接下来，可以对特征图像的多个卷积特征信息进行信息融合，从而得到特征图像的特征信息。
134.其中，特征图像的图像信息可以包括构成特征图像的最小单位。例如，特征图像的图像信息可以包括图像的像素信息、分辨率等等。
135.譬如，当特征图像的图像信息是图像的像素信息时，利用卷积核对特征图像进行高维特征提取的流程可以如图10所示。
136.其中，特征图像一般都具有特定的颜色模式，其中，每种颜色模式中的颜色通道都存储着图像的像素信息。其中，颜色模式可以是将某种颜色表现为数字形式的模型，或者说是一种记录图像颜色的方式。其中，常见的颜色空间模式有三原色光(red green and blue，rgb)颜色模式、红绿蓝透明(red green blue and alpha，rgba)颜色模式等等。
137.譬如，当特征图像的颜色模式是rgb颜色模式时，图10中的蓝色分量可以指特征图像的蓝色通道上的像素信息，图中的红色分量可以指特征图像的红色通道上的像素信息，图10中的绿色分量可以指特征图像的绿色通道上的像素信息。其中，蓝色分量卷积核可以是和蓝色通道上的像素信息进行卷积运算的卷积核。红色分量卷积核可以是和红色通道上的像素信息进行卷积运算的卷积核。绿色分量卷积核可以是和绿色通道上的像素信息进行卷积运算的卷积核。
138.因此，可以将特征图像每个颜色通道的像素信息和相应的卷积核进行加权求和，从而得到特征图像的多个卷积特征信息。
139.在得到特征图像的多个卷积特征信息之后，可以对特征图像的多个卷积特征信息进行信息融合，从而得到特征图像的特征信息。譬如，可以将特征图像的多个卷积核的特征信息进行相加，从而得到特征图像的特征信息。
140.在一实施例中，由于特征图像的图像信息的信息含量一般十分巨大，即使经过特征提取后，特征图像的特征信息的信息含量也是很巨大。例如，特征图像的像素信息的信息含量往往上百万，得到的特性信息也是上百万量级。此外，特征信息过多有可能包括大量的冗余信息，最终影响了后续处理的问题。
141.因此，可以从众多的特征信息中筛选出最佳的特征信息，而特征降维便是其中一种方式。特征降维可以指用更少维度的特征信息去替代更高维度的特征信息，这样可以在保留有用信息的同时，避免信息冗余的问题。
142.因此，在得到特征图像的特征信息之后，可以对特征信息进行特征降维处理，从而降低计算量，提高点位生成的效率。其中，在对特征图像的特征信息进行降维处理时，可以识别特征图像在各个维度上的特征信息处理，得到特征信息在各个维度上的信息含量。然后，对各个维度上的信息含量进行筛选过滤处理，从而得到降维后特征信息。
143.例如，特征信息的包括三个维度的信息，每个维度的信息含量为512
×
512，只有中心的100
×
100区域有非零值。此时，可以将特征信息的信息维度512
×
512
×
3降维为100
×
100
×
3，从而降低了特征信息的信息含量。
144.在一实施例中，得到特征图像的降维后特征信息之后，可以对降维后特征信息进行池化处理，得到池化后特征信息。其中，池化处理的方式可以包括平均池化处理方式、最大化池化处理方式，等等。
145.例如，当利用平均池化处理方式对降维后特征信息进行池化处理时，可以利用滑
动窗口的方式对信息进行覆盖，并计算覆盖到的信息的平均值。通过对滑动窗口进行移动，从而对所有信息都进行覆盖，并计算得到信息的全局平均值，该全局平均值便是池化后特征信息。
146.在一实施例中，在得到池化后特征信息之后，还可以对池化后特征信息进行低维特征提取处理，从而得到初始特征点的位置信息。
147.其中，对信息进行低维特征提取处理可以包括利用单个卷积核对信息进行卷积特征提取。例如，直接利用卷积核和池化后特征信息进行加权求和，从而得到一个三维矩阵，该三维矩阵中的矩阵值便是初始特征点的位置信息。
148.在一实施例中，还可以利用点位估计网络对特征图像进行点位估计处理，从而得到特征图像的校正特征点的位置信息。
149.其中，点位估计网络可以是一个训练好的，可以生成图像的校正特征点的位置信息的机器学习网络。
150.其中，机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
151.例如，该点位估计网络可以是卷积神经网络(convolutional neural networks,cnn)、反卷积神经网络(de-convolutional networks,dn)、深度神经网络(deep neural networks,dnn)、深度卷积逆向图网络(deep convolutional inverse graphics networks,dcign)、基于区域的卷积网络(region-based convolutional networks，rcnn)、基于区域的快速卷积网络(faster region-based convolutional networks，faster rcnn)和双向编解码(bidirectional encoder representations from transformers，bert)模型等等中的任意一种。
152.在一实施例中，当点位估计网络是cnn网络时，其网络结构可以如表1所示。
153.操作层sntconv2d21 bottleneck211bottleneck124bottleneck266bottleneck226conv2d 1
×
111 avgpool 1 conv2d 1
×1ꢀꢀꢀ
154.表1
155.如表1所示，点位估计网络可以由8个操作层组成。其中，第一个操作层可以由conv2d组成，第二至五个操作层可以由bottleneck组成，第6和第8个操作层可以由conv2d 1
×
1组成，第7个操作层可以由avgpool组成。
156.其中，conv2d、bottleneck、avgpool和conv2d 1
×
1可以是操作层中的操作器。
157.其中，conv2d可以是点位估计网络中的卷积层，其作用可以为特征提取，例如高维特征提取。例如，可以利用conv2d对特征图像进行高维特征提取，从而得到特征图像的特征信息。其中，conv2d中可以包括多个卷积核，因此，在利用conv2d对特征图像进行高维特征提取时，可以利用conv2d中的多个卷积核对特征图像进行特征提取，从而得到卷积特征信息。此外，conv2d中还可以包括信息融合函数，该信息融合函数可以将多个卷积特征信息进行信息融合，从而得到特征图像的特征信息。例如，该信息融合函数可以是加权求和函数或者各种激励函数，等等。
158.其中，bottleneck可以是点位估计网络中的瓶颈层，其作用可以是进行信息的特征维度进行改变。例如，bottleneck可以对信息进行特征降维，从而减少计算量，更加有效、直观地对信息进行训练和特征提取。在一实施例中，在对特征图像的特征信息进行特征降维处理时，可以利用bottleneck对特征图像的特征信息进行特征降维处理，从而得到特征图像的降维后特征信息。其中，bottleneck可以包括卷积核和激励函数。因此，在利用bottleneck对特征图像的特征信息进行特征降维处理时，可以利用bottleneck中的卷积核和激励函数对特征图像的特征信息进行特征降维处理。
159.其中，avgpool可以是点位估计网络中的平均池化层。avgpool可以利用滑动窗口的方式对信息进行覆盖，并计算覆盖到的信息的平均值。通过对滑动窗口进行移动，从而对所有信息都进行覆盖，并计算得到信息的全局平均值。在一实施例中，可以利用avgpool对特征图像的降维后特征图像进行池化处理，从而得到特征图像的池化后特征信息。
160.其中，conv2d 1
×
1可以是点位估计网络中的卷积层，其作用可以为特征提取，例如低维特征提取。conv2d 1
×
1和conv2d相似，都包括卷积核。但是，conv2d 1
×
1中只包括一个卷积核，所以只能对信息进行低维特征提取，不能在多个不同维度上对信息进行特征提取。在一实施例中，可以利用conv2d 1
×
1对池化后特征信息进行低维特征提取处理，从而得到特征图像的初始特征点。
161.其中，s可以指操作器中的卷积核在对信息进行卷积特征提取时的移动步长。例如，当conv2d的s为2时，可以指conv2d的卷积核在对信息进行卷积特征提取时的移动步长为2。又例如，当bottleneck中的s为1时，可以指bottleneck的卷积核在对信息进行卷积特征提取时的移动步长为1。
162.其中，n可以指每个操作层中操作器的数量。例如，在第二操作层中，n为1，说明该操作层中只有一个bottleneck。又例如，在第三个操作层中，n为2，说明该操作层中由2个bottleneck构成。
163.其中，t可以指bottleneck的膨胀系数。
164.在一实施例中，在得到机器学习网络的网络架构时，传统方法一般是采用启发式手工设计网络结构，但是利用传统方法得到的机器学习网络一般都不能完美和应用场景贴合，所以传统方法得到的机器学习网络通常不是最佳的选择。因此，后来发展出了网络结构搜索技术(neural architecture search，nas)。
165.nas是一种基于人工智能技术对网络结构进行搜索的技术。在过去的时间，人工智能技术在图像、语音等方面都取得了巨大的成功，其中一个很大的原因是出现了很多新颖的网络结构。但是，随着网络结构越来越复杂，人工设计网络的试错成本和时间成本都会变
得难以承受，因此nas便随之诞生。
166.nas技术包括三个核心点，分别是搜索空间、搜索策略和性能评估策略。
167.其中，搜索空间从原则上定义了可能出现的体系结构，再结合适合这个任务的相关属性，可以进一步减小搜索空间，简化搜索。此外，搜索空间还引入了人工偏见，这使得模型可能学不到超出人类目前认知的新颖结构。
168.其中，搜索策略从细节上展现了如何探索搜索空间。一方面它要根据所学到的知识来快速发现表现好的结构，另一方面又要避免由于快速收敛而得到一个次优结构。
169.其中，搜索策略可以包括基于强化学习的搜索策略、基于进化算法的搜索策略、基于贝叶斯优化算法的搜索策略和基于梯度的搜索策略。
170.其中，基于强化学习的搜索策略可以指将nas建模成强化学习问题，将网络结构的产生看作一个智能体的动作，动作空间与状态空间等价，智能体的奖励是基于采样得到的训练结构在数据上的表现，不同的强化学习方法区别仅仅在于怎样表征智能体的策略并优化它。
171.nas的典型目标是在一个看不到的数据集上发现一个好的网络结构。性能评估的最简单的策略就是在一个标准数据集上训练然后在数据上验证网络，但是这种方法通常是计算昂贵型的，也会限制可以探索的网络结构的数量。
172.但是，直接使用nas会耗时且不可控，因此本技术实施例在设计机器学习网络时，将经验方法和nas技术进行结合，并将结合得到的方法称之为专家辅助式网络结构搜索，从而使得设计得到的机器学习网络不仅可以兼顾搜索效率，还有较好的模型效果。
173.首先，可以通过预设策略裁剪现有机器学习网络结构，得到第一机器学习网络结构，同时尝试尽可能保持较好的模型效果。然后，在搜索空间中进行nas，从而得到第二机器学习网络结构。然后，将第一机器学习网络结构和第二机器学习网络结构进行结合，从而得到目标机器学习网络结构。其中，在搜索空间中进行nas时，该网络空间中可以由专家不确定的超参数组成，从而使得在搜索空间中进行nas时，并不是盲目地nas，而是基于经验有目的地nas。通过这种相结合的方法，一方面，有助于设计一种接近最佳的网络体系结构，而无需花太多时间考虑超参数选择；另一方面，它使得在网络结构搜索变得高效且可控。
174.因此，可以采用专家辅助式网络结构搜索得到点位估计网络的网络结构，从而得到初始生成网络。其中，初始生成网络因为没有经过训练，所以不能直接拿来对特征图像进行点位估计。所以，还得对初始点位估计网络进行训练，从而得到训练后点位估计网络。
175.在一实施例中，由于本技术实施例提出的面部特征点的定位方法可以在应用程序中使用，但训练后点位估计网络往往占用内存较大。由于应用程序往往是下载在计算机设备中使用，而计算机设备的内存有限，训练后点位估计网络所需的内存容量会导致计算机设备出现内存不足和卡顿的问题。所以，还需要对训练后点位估计网络进行量化处理，得到点位估计网络。量化处理后的点位估计网络和训练后点位估计网络相比，占用内存会少很多，所以不会给计算机设备造成内存负担，从而使得本技术实施例提出的面部特征点的定位方法可以在各种计算机设备中使用。
176.具体的，生成点位估计网络的步骤可以包括：
177.获取点位估计网络的搜索策略；
178.根据点位估计网络的搜索策略，进行网络结构搜索处理，得到初始点位估计网络；
179.对初始点位估计网络进行训练，得到点位估计网络。
180.其中，点位估计网络的搜索策略可以是基于强化学习的搜索策略、基于进化算法的搜索策略、基于贝叶斯优化算法的搜索策略和基于梯度的搜索策略中的其中一种。
181.其中，对初始点位估计网络进行训练包括将预设训练集输入到初始点位网络，并令初始点位估计网络学习如何生成预设训练集中面部图像的初始特征点的过程。其中，为了优化训练的效果，可以对预设训练集中的面部图像进行数据增强处理。例如，可以将预设训练集中的面部图像进行旋转，从而得到更多的面部图像，从而使得初始点位估计网络从更多的面部图像中学习到如何生成初始特征点，优化了训练的效果。
182.其中，在对训练后点位估计网络进行量化处理时，可以对训练后点位估计网络的网络权重和激活信号都进行量化。
183.在一实施例中，训练后点位估计网络的网络权重和激活信号往往都是浮点值，会占用大量的内存。因此，可以将训练后点位估计网络的网络权重和激活信号进行数据格式转换处理，从而降低点位估计网络的占用内存。例如，在将训练后点位估计网络的网络权重和激活信号进行数据格式转换处理时，可以将是浮点值的网络权重和激活信号转换成定点值。
184.在一实施例中，由于量化有可能会对点位估计网络的模型效果造成影响，为了降低对模型效果的影响，在对点位估计网络进行量化时，可以进行伪量化。伪量化可以指在将点位估计网络中浮点值转换成定点值之后，再重建到浮点值。其中，重建得到的浮点值由于量化操作，已经丢失了一部分的信息，但是并不会对点位估计网络的模型效果造成很大影响。
185.在一实例中，还可以在对初始点位估计网络进行训练的同时，对初始点位估计网络进行量化。具体的，步骤“对初始点位估计网络进行训练，得到点位估计网络”，可以包括：
186.获取初始点位估计网络的网络参数；
187.对初始点位估计网络的网络参数进行量化处理，得到初始点位估计网络的量化后网络参数；
188.对初始点位估计网络的量化后网络参数进行更新处理，得到点位估计网络。
189.其中，网络参数可以包括初始点位估计网络中的网络权重、激励函数中的参数，等等。
190.例如，可以在对初始点位估计网络中的网络权重进行更新时，对网络权重进行量化。例如，可以按照下式对网络权重进行量化，然后对量化后网络权重进行更新：
[0191][0192]
ωo＝simquant(ωf)
[0193]
其中，ωf和ωo分别表示初始点位估计网络中的浮动权重和量化权重。和simquant分别表示截断函数和伪量化操作。η表示更新过程中的学习率。表示点位估计网络中的损失函数。
[0194]
在一实施例中，由于本阶段的专注于校正任务，所以并不需要所有的初始特征点。因此在得到特征图像的初始特征点之后，可以对初始特征点进行信息识别，得到初始特征
点的语义信息。然后，根据初始特征点的语义信息，从初始特征点中筛选出语义信息符合预设语义条件的校正特征点。
[0195]
其中，从初始特征点中筛选出校正特征点时，可以将语义信息较强的初始特征点选择为校正特征点。例如，面部结构中的脸型轮廓、鼻尖和眼角由于在面部中形成的凹凸感较强，所以脸型轮廓点、鼻尖点和眼角点的语义信息都会比较强，因此可以选择脸型轮廓点、鼻尖点和眼角点作为校正特征点。
[0196]
在一实施例中，在筛选出校正特征点之后，可以对校正特征点进行信息识别，从而得到特征点的位置信息。其中，由于在对特征图像进行点位估计时，以及得到初始特征点的位置信息。因此，在得到特征点的位置信息时，可以根据初始特征点的位置信息，得到特征点的位置信息。
[0197]
在一实施例中，在得到校正特征点的位置信息之后，可以利用校正特征点的位置信息，对特征图像进行校正处理，得到校正后面部图像。
[0198]
其中，姿态角偏大的面部图像，得到的校正特征点的位置信息会偏离标准位置信息。因此，可以基于校正特征点的位置信息，对特征图像中的图像信息进行修正，从而得到校正后面部图像。例如，可以对特征图像中的像素值进行修正，从而得到校正后面部图像。
[0199]
在一实施例中，在对面部图像进行校正处理时，还可以利用校正网络对面部图像进行校正处理，从而得到校正后面部图像。
[0200]
其中，校正网络可以包括dsfd网络和点位估计网络。
[0201]
其中，也可以利用nas技术生成校正网络。具体的，生成校正网络的步骤可以包括：
[0202]
获取校正网络的搜索策略；
[0203]
根据校正网络的搜索策略，进行网络结构搜索处理，得到初始校正网络；
[0204]
对初始校正网络进行训练，得到校正网络。
[0205]
其中，步骤对初始校正网络进行训练，得到校正网络，可以包括：
[0206]
获取初始校正网络的网络参数；
[0207]
对初始校正网络的网络参数进行量化处理，得到初始校正网络的量化后网络参数；
[0208]
对初始校正网络的量化后网络参数进行更新处理，得到校正网络。
[0209]
103、对所述校正后面部图像进行点位生成处理，得到所述校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息。
[0210]
在一实施例中，对面部图像进行校正后，可以对校正后图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息。
[0211]
其中，轮廓特征点可以包括表示校正后面部图像中脸型轮廓的特征点。例如，如图11所示，图11中的特征点便为轮廓特征点。
[0212]
其中，面部部位特征点可以包括表示校正后面部图像中五官的特征点。例如，如图12所示，图12中的特征点便为面部部位特征点。
[0213]
在一实施例中，在对校正后面部图像进行点位生成处理时，可以和对特征图像进行点位估计处理类似。例如，可以对校正后面部图像进行高维特征提取处理，得到校正后面部图像的特征信息。然后，对校正后面部图像的特征信息进行特征降维处理，得到降维后特征信息。然后利用降维后特征信息生成校正后面部图像的轮廓点的位置信息和面部部位特
征点的初始位置信息。具体的，步骤“对校正后面部图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息”，可以包括：
[0214]
对校正后面部图像进行高维特征提取处理，得到校正后面部图像的特征信息；
[0215]
对校正后面部图像的特征信息进行特征降维处理，得到降维后特征信息；
[0216]
对降维后特征信息进行池化处理，得到池化后特征信息；
[0217]
对池化后特征信息进行低维特征提取处理，得到轮廓点的位置信息和面部部位特征点的初始位置信息。
[0218]
在一实施例中，在对校正后面部图像进行高维特征提取时，可以利用过多个卷积核对特征图像进行卷积特征提取。
[0219]
其中，在利用多个卷积核对校正后面部图像进行高维特征提取时，可以对校正后面部图像进行信息识别处理，得到校正后面部图像的图像信息。然后利用多个卷积核对校正后面部图像的图像信息进行卷积特征提取，得到校正后面部图像的多个卷积特征信息。接下来，可以对校正后面部图像的多个卷积特征信息进行信息融合，从而得到校正后面部图像的特征信息。具体地，步骤“对校正后面部图像进行高维特征提取处理，得到校正后面部图像的特征信息”，可以包括：
[0220]
对校正后面部图像进行信息识别处理，得到校正后面部图像的图像信息；
[0221]
利用多个预设卷积核对校正后面部图像的图像信息进行卷积特征提取，得到图像信息的多个卷积特征信息；
[0222]
将多个卷积特征信息进行信息融合，得到面部图像的特征信息。
[0223]
其中，校正后面部图像的图像信息可以包括构成校正后面部图像的最小单位。例如，校正后面部图像的图像信息可以包括图像的像素信息、分辨率等等。
[0224]
其中，在利用多个预设卷积核对校正后面部图像的图像信息进行卷积特征提取时，可以将校正后面部图像每个颜色通道的像素信息和相应的卷积核进行加权求和，从而得到校正后面部图像的多个卷积特征信息。
[0225]
在得到校正后面部图像的多个卷积特征信息之后，可以对校正后面部图像的多个卷积特征信息进行信息融合，从而得到校正后面部图像的特征信息。譬如，可以将校正后面部图像的多个卷积核的特征信息进行相加，从而得到校正后面部图像的特征信息。
[0226]
在一实施例中，由于校正后面部图像的图像信息的信息含量一般十分巨大，即使经过特征提取后，校正后面部图像的特征信息的信息含量也是很巨大。例如，校正后面部图像的像素信息的信息含量往往上百万，得到的特性信息也是上百万量级。此外，特征信息过多有可能包括大量的冗余信息，最终影响了后续处理的问题。
[0227]
因此，可以从众多的特征信息中筛选出最佳的特征信息，而特征降维便是其中一种方式。特征降维可以指用更少维度的特征信息去替代更高维度的特征信息，这样可以在保留有用信息的同时，避免信息冗余的问题。
[0228]
在一实施例中，得到校正后面部图像的降维后特征信息之后，可以对降维后特征信息进行池化处理，得到池化后特征信息。其中，池化处理的方式可以包括平均池化处理方式、最大化池化处理方式，等等。
[0229]
例如，当利用平均池化处理方式对降维后特征信息进行池化处理时，可以利用滑动窗口的方式对信息进行覆盖，并计算覆盖到的信息的平均值。通过对滑动窗口进行移动，
从而对所有信息都进行覆盖，并计算得到信息的全局平均值，该全局平均值便是池化后特征信息。
[0230]
在一实施例中，在得到校正后面部图像的池化后特征信息之后，还可以对池化后特征信息进行低维特征提取处理，从而得到初始特征点的位置信息。
[0231]
其中，对信息进行低维特征提取处理可以包括利用单个卷积核对信息进行卷积特征提取。例如，直接利用卷积核和校正后面部图像的池化后特征信息进行加权求和，从而得到一个三维矩阵，该三维矩阵中的矩阵值便是轮廓点的位置信息和所述面部部位特征点的初始位置信息。
[0232]
在一实施例中，还可以利用点位生成网络对校正后面部图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息。
[0233]
其中，点位生成网络可以是一个训练好的机器学习网络，该机器学习网络可以生成校正后面部图像的轮廓特征点的位置信息和面部部位特征点的初始位置信息。
[0234]
在一实施例中，当点位生成网络是cnn网络时，其网络结构可以如表2所示。
[0235][0236][0237]
表2
[0238]
如表2所示，点位生成网络可以由8个操作层组成。其中，第一个操作层可以由conv2d组成，第二至五个操作层可以由bottleneck组成，第6和第8个操作层可以由conv2d 1
×
1组成，第7个操作层可以由avgpool组成。
[0239]
其中，conv2d、bottleneck、avgpool和conv2d 1
×
1可以是操作层中的操作器。
[0240]
其中，conv2d可以对校正后面部图像进行高维特征提取处理，得到校正后面部图像的特征信息。其中，bottleneck可以对校正后面部图像的特征信息进行特征降维处理，得到降维后特征信息。其中，avgpool可以对降维后特征信息进行池化处理，得到池化后特征信息。其中，conv2d 1
×
1可以对池化后特征信息进行低维特征提取处理，得到轮廓点的位置信息和面部部位特征点的初始位置信息。
[0241]
在一实施例中，在生成点位生成网络时，可以利用nas的方法对点位生成网络的网络结构进行搜索，得到初始点位生成网络。然后，对初始点位生成网络进行训练，得到训练后点位生成网络。最后，对训练后点位生成网络进行量化处理，得到点位生成网络。具体的，
生成点位生成网络的步骤可以包括：
[0242]
获取点位生成网络的搜索策略；
[0243]
根据点位生成网络的搜索策略，进行网络结构搜索处理，得到初始点位生成网络；
[0244]
对初始点位生成网络进行训练，得到点位生成网络。
[0245]
其中，点位生成网络的搜索策略可以是基于强化学习的搜索策略、基于进化算法的搜索策略、基于贝叶斯优化算法的搜索策略和基于梯度的搜索策略中的其中一种。
[0246]
其中，对初始点位生成网络进行训练包括将预设训练集输入到初始点位生成网络，并令初始点位生成网络学习如何生成预训练集中校正后面部图像的轮廓特征点的位置信息和面部部位特征点的初始位置信息。
[0247]
其中，为了优化训练的效果，可以对预设训练集中的校正后面部图像进行数据增强处理。例如，可以将预设训练集中的校正后面部图像进行旋转，从而得到更多的校正后面部图像，从而使得初始点位生成网络从更多的校正后面部图像中学习到如何生成轮廓特征点的位置信息和面部部位特征点的初始位置信息，优化了训练的效果。
[0248]
其中，在对训练后点位生成网络进行量化处理时，可以利用伪量化的方式对训练后点位生成网络进行量化处理。例如，可以将点位生成网络中浮点值转换成定点值之后，再重建到浮点值。其中，重建得到的浮点值由于量化操作，已经丢失了一部分的信息，但是并不会对点位生成网络的模型效果造成很大影响。
[0249]
在一实施例中，还可以在对初始点位生成网络进行训练的同时，对初始点位生成网络进行量化。例如，可以在对初始点位生成网络中的网络权重进行更新时，对网络权重进行量化。具体的，步骤“对初始点位生成网络进行训练，得到点位生成网络”，可以包括：
[0250]
获取初始点位生成网络的网络参数；
[0251]
对初始点位生成网络的网络参数进行量化处理，得到初始点位生成网络的量化后网络参数；
[0252]
对初始点位生成网络的量化后网络参数进行更新处理，得到点位生成网络。
[0253]
104、根据面部部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个面部部位图像。
[0254]
在一实施例中，在对校正后面部图像进行点位生成处理时，由于校正后面部图像的信息含量较多，所以得到的面部特征点的位置信息可能会存在精确度较差的情况。因此，可以根据部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个部位图像。
[0255]
例如，可以根据面部部位特征点的初始位置信息，在校正后面部图像中生成覆盖面部部位的拆解区域。然后，可以根据拆解区域对校正后面部图像进行拆解，得到校正后面部图像的至少一面部个部位图像。
[0256]
譬如，如图13所示，根据眼睛特征点的初始位置信息和眉毛特征点的初始位置关系，可以生成拆解区域014和015。然后，可以根据拆解区域014和015，对校正后面部图像进行拆解处理，从而得到包括对象的左眼和左眉毛的一个面部部位图像和包括对象的右眼和右眉毛的第二个面部部位图像。
[0257]
105、对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0258]
在一实施例中，在得到面部部位图像之后，可以对至少一个面部部位图像进行点位精调处理，从而得到每个面部部位图像中面部部位特征点的位置信息。其中，为了提高点位精调处理的效率，在对至少一个面部部位图像进行点位精调处理时，可以将多个面部部位图像进行通道重组，得到目标部位图像。然后，对目标部位图像进行点位精调处理，从而得到面部特征点的位置信息。例如，如图14所示，可以将面部部位图像016、面部部位图像017、面部部位图像018进行通道重组，从而得到目标部位图像019。
[0259]
具体的，步骤“对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息”，可以包括：
[0260]
对每个面部部位图像的颜色通道进行信息识别处理，得到每个面部部位图像的颜色通道信息；
[0261]
将每个面部部位图像的颜色通道信息进行信息重组，得到包括每个面部部位图像的颜色通道信息的目标部位图像；
[0262]
对目标部位图像进行点位生成处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0263]
其中，颜色通道可以是存储着物理材质图像的颜色成分的存储空间。例如，红色(red，r)颜色通道可以是存储着红色颜色信息的通道；绿色(green,g)颜色通道可以是存储着绿色颜色信息的通道；蓝色(blue，b)颜色通道可以是存储着蓝色颜色信息的通道。
[0264]
在一实施例中，图像的颜色通道由其颜色模式决定。例如，当图像是rgb颜色模式时，其颜色通道可以包括3个，分别是r颜色通道、g颜色通道和b颜色通道。又例如，当图像是rgba颜色模式时，其颜色通道可以包括4个，分别是r颜色通道、g颜色通道、b颜色通道和透明(alpha，a)颜色通道。
[0265]
其中，颜色通道信息可以包括颜色通道中存储的图像信息。例如，颜色通道信息可以包括在该通道中的像素信息。
[0266]
在一实施例中，在对每个面部部位图像的颜色通道进行信息识别处理时，可以对每个面部部位图像的每个颜色通道进行信息识别处理。例如，当面部部位图像是rgb颜色模式时，在对面部部位图像的颜色通道进行信息识别处理时，可以分别对面部部位图像的r颜色通道、g颜色通道和b颜色通道进行识别，从而得到面部部位图像的每个颜色通道的颜色通道信息。
[0267]
在一实施例中，在得到每个面部部位图像的颜色通道信息之后，可以将每个面部部位图像的颜色通道信息进行信息重组，得到包括每个面部部位图像的颜色通道信息的目标部位图像。
[0268]
其中，对每个面部部位图像的颜色通道信息进行信息重组的方式可以由多种。例如，可以将每个面部部位图像的颜色通道信息进行拼接、相加等等。
[0269]
例如，有两个面部部位图像a和b。其中，面部部位图像a和b都是rgb颜色模式。其中，面部部位图像a的r颜色通道中的颜色通道信息为a1，g颜色通道中的颜色通道信息为a2，b颜色通道中的颜色通道信息为a3。而面部部位图像b的r颜色通道中的颜色通道信息为b1，g颜色通道中的颜色通道信息为b2，b颜色通道中的颜色通道信息为b3。
[0270]
在将面部部位图像a和b进行信息重组时，可以将颜色通道信息以拼接的方式进行重组，从而得到目标部位图像。其中，在将颜色通道信息进行拼接时，得相同颜色通道的颜
色通道信息拼接在一起。例如，可以将a1和b1进行拼接，将a2和b2进行拼接，将a3和b3进行拼接，从而得到目标部位图像。
[0271]
在一实施例中，在得到目标部位图像之后，可以对目标部位图像进行点位生成处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0272]
其中，在对目标部位图像进行点位生成处理时，可以采用对校正后面部图像进行点位生成相同的方式。具体的，步骤“对目标部位图像进行点位生成处理，得到每个面部部位图像中面部部位特征点的位置信息”，可以包括：
[0273]
对目标部位图像进行高维特征提取处理，得到目标部位图像的面部部位特征信息；
[0274]
对面部部位特征信息进行特征降维处理，得到降维后的面部部位特征信息；
[0275]
对降维后的面部部位特征信息进行池化处理，得到池化后的面部部位特征信息；
[0276]
对池化后的面部部位特征信息进行低维特征提取处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0277]
在一实施例中，也可以采用点位生成网络对目标部位图像进行点位生成处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0278]
在一实施例中，也可以采用点位精调对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息。其中，点位精调网络也可以是机器学习网络。
[0279]
其中，在生成点位精调网络时，也可以采用nas方式生成点位精调网络。
[0280]
具体的，生成点位精调网络的步骤可以包括：
[0281]
获取点位精调网络的搜索策略；
[0282]
根据点位精调网络的搜索策略，进行网络结构搜索处理，得到初始点位精调网络；
[0283]
对初始点位精调网络进行训练，得到点位精调网络。
[0284]
其中，步骤“对初始点位精调网络进行训练，得到点位精调网络”，可以包括：
[0285]
获取初始点位精调网络的网络参数；
[0286]
对初始点位精调网络的网络参数进行量化处理，得到初始点位精调网络的量化后网络参数；
[0287]
对初始点位精调网络的量化后网络参数进行更新处理，得到点位精调网络。
[0288]
在本技术实施例中，通过将每个面部部位图像的颜色通道信息进行信息重组，得到目标部位图像，并对目标部位图像进行点位生成处理，从而得到面部部位特征点的位置信息。这样可以在保证精度高的情况下，巧妙地节省计算量，提高了本技术实施例提出的面部特征点的定位方法的效率。并且，通过这种方式，还可以充分利用像素信息，实现特征点的位置信息和图像中的面部部位的极致贴合，提高了本技术实施例提出的面部特征点的定位方法的精确率。
[0289]
106、将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，得到校正后面部图像的全局特征点的位置信息。
[0290]
在一实施例中，在得到面部部位特征点精确的位置信息之后，可以将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，从而得到面部图像的全局特征点的位置信息，例如，如图15所示。
[0291]
其中，在将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理时，可以将轮廓特征点的位置信息和面部部位特征点的位置信息在校正后面部图像中重建，从而得到面部部位特征点的位置信息。
[0292]
在一实施例中，本技术还可以对面部具有遮挡物的图像进行定位。其中，为了提高对面部具有遮挡物的图像的面部特征点进行定位的精确性，本技术实施例可以采用预设面部遮挡数据集对初始校正网络、初始点位生成网络和初始点位精调网络进行训练，从而得到对遮挡物的图像具有针对性的校正网络、点位生成网络和点位精调网络。
[0293]
例如，当面部具有遮挡物的图像为人戴着口罩的图像时，在制作口罩数据集时，可以对口罩位置、口罩大小、口罩材质等等都做了较大的数据增强。然后，可以利用口罩数据集对校正网络、点位生成网络和点位精调网络进行训练，以提高校正网络、点位生成网络和点位精调网络的鲁棒性。
[0294]
其中，当面部图像为面部具有遮挡物的图像时，本技术实施例提出的面部特征点的定位方法的步骤都可以和面部具有遮挡物的图像进行贴合。
[0295]
例如，当面部图像为面部具有遮挡物的图像时，步骤“对面部图像进行校正处理，得到校正后面部图像”，可以包括：
[0296]
对所述面部具有遮挡物的图像进行特征检测处理，得到所述面部具有遮挡物的图像的特征图像；
[0297]
对所述特征图像进行点位估计处理，得到所述特征图像的校正特征点的位置信息；
[0298]
利用所述校正特征点的位置信息，对所述面部具有遮挡物的图像进行校正处理，得到校正后面部具有遮挡物的图像。
[0299]
本技术实施例提出了一种面部特征点的定位方法，该面部特征点的定位方法包括：获取面部图像；对面部图像进行校正处理，得到校正后面部图像；对校正后面部图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；根据面部部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个面部部位图像；对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，得到校正后面部图像的全局特征点的位置信息。
[0300]
本技术实施例通过对面部图像进行校正处理，使得后续对校正后面部图像进行点位生成处理时，不会因为面部图像的姿势角过大的问题导致生成的特征点的位置信息不准确，提高了对面部特征点进行定位的精确率。
[0301]
本技术实施例在得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息之后，还会对面部部位特征点的初始位置信息进行点位精调处理。通过对面部部位特征点的初始位置信息进行点位精调处理，可以有效地提高面部部位由于语义信息不强而导致特征点的初始位置信息精确率不高的问题，可以进一步地提高了对面部特征点进行定位的精确率。
[0302]
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
[0303]
本技术实施例将以面部特征点的定位方法集成在计算机设备上为例来介绍本技术实施例方法。
[0304]
为了将本技术实施例提出的面部特征点的定位方法更好地面向移动端应用需求，本技术实施例采用三阶段级联回归方法，由粗到精地解决面部特征点的定位问题。其中，该三阶段级联回归分别为校正阶段、点位生成阶段和点位精调阶段。其中，在点位校正阶段，计算机设备可以对面部图像进行点位生成处理，得到校正后面部图像。其中，在点位生成阶段，计算机设备可以对校正后面部图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息。其中，在点位精调阶段，计算机设备可以对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0305]
在一实施例中，如图16所示，一种面部特征点的定位方法，具体流程如下：
[0306]
201、计算机设备获取面部图像。
[0307]
其中，面部图像可以是包括人脸的图像。
[0308]
202、计算机设备对面部图像进行校正处理，得到校正后面部图像。
[0309]
在校正阶段，输入可以是具有人脸的面部图像，根据dsfd人脸检测算法,得到人脸检测框。然后将人脸检测框放缩到64
×
64
×
3的大小，送给校正阶段的点位估计网络，得到用来校正的校正特征点。
[0310]
其中，利用校正特征点，可以将姿态角过大的面部图像旋转校正，并抠出合适大小的人脸，从而减弱或者消除人脸旋转角度过大和面部特征点进行定位时带来的负面影响。
[0311]
此外，为了使得本阶段专注于校正的任务，在本阶段中只需要选取语义信息特别强的初始特征点作为校正特征点。例如，可以选取眼角点、鼻尖点、轮廓点、眉毛上边沿点等作为校正特征点。然后，利用校正特征点对面部图像进行校正处理，得到校正后面部图像。
[0312]
其中，校正特征点和初始特征点都不作为最终点位输出，所以即使定位不太准确，也不会影响对面部特征点进行定位的最终效果。
[0313]
同时为了提高对大姿态角的鲁棒性，在校正阶段时，对点位估计网络的网络训练可以设置更大的数据增强。例如，可与将面部图像旋转角度选取+-45度，从而得到更加丰富的训练集。
[0314]
在一实施例中，当人脸检测框的分辨率为64
×
64
×
3时，点位估计网络的网络结构以及图像数据的变化情况如表3所示：
[0315]
操作器输入snt输出conv2d64
×
64
×
321 32
×
32
×
16bottleneck32
×
32
×
1621116
×
16
×
16bottleneck16
×
16
×
1612416
×
16
×
24bottleneck16
×
16
×
242668
×8×
32bottleneck8
×8×
322264
×4×
64conv2d 1
×
14
×4×
6411 4
×4×
96avgpool4
×4×
96 1 1
×1×
96conv2d 1
×
11
×1×
96
ꢀꢀꢀ1×1×
106
[0316]
表3
[0317]
203、计算机设备对校正后面部图像进行点位生成处理，得到校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息。
[0318]
在点位生成阶段，输入的是校正后面部图像，得益于校正阶段的人脸校正作用，可以使得点位生成阶段处理的人脸数据相对简单，从而可以得到更好的回归效果，并且提高了点位生成的效率。
[0319]
此外，人脸占据了校正后面部图像的大部分内容，而其他无关内容，所以本阶段负责轮廓、鼻子等相对容易从校正后面部图像中提炼特征点的点位信息。同时，对于眼睛、眉毛等特征点的位置信息，本阶段只需要粗略的点位生成处理，足够下个阶段抠取面部部位图像即可。
[0320]
在该阶段，为了提高点位生成的精确度，可与将校正后面部图像的分辨率增强，例如，将校正后面部图像的分辨率增强设置为96
×
96
×
3。其中，当校正后面部图像的分辨率为96
×
96
×
3时，点位生成网络的网络结构以及图像数据的变化情况如表4所示，最终得到79个点位：
[0321]
操作器输入snt输出conv2d96
×
96
×
321 48
×
48
×
16bottleneck48
×
48
×
1621124
×
24
×
16bottleneck24
×
24
×
1614624
×
24
×
24bottleneck24
×
24
×
2424412
×
12
×
32bottleneck12
×
12
×
322446
×6×
64conv2d 1
×
16
×6×
6411 6
×6×
96avgpool6
×6×
96 1 1
×1×
96conv2d 1
×
11
×1×
9611 1
×1×
79
[0322]
表4
[0323]
204、计算机设备根据面部部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个面部部位图像。
[0324]
205、计算机设备对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0325]
在点位精调阶段，根据估计阶段中眼睛、眉毛等特征点的位置信息，从校正后面部图像中扣取出分辨率更高的面部部位图像。然后，可与将面部部位图像输入点位生成网络，得到更精确的面部部位特征点的位置信息。因为面部部位图像分辨率更高，所以得到的面部部位特征点的位置信息会更好。
[0326]
同时，本技术实施例创造性地提出将面部部位图像进行通道重组的方式，这样可与在保证精度高的情况下，巧妙地节省计算量。例如，可以将至少一个面部部位图像合并成目标部位图像，然后利用点位生成网络生成目标部位图像中面部部位特征点的位置信息。因此，只需要一个点位生成网络，便可以生成多个面部部位图像中面部部位特征点的位置信息，可以扩大网络规模，提升网络拟合能力，同时也可以扩大子图分辨率，充分利用像素信息，实现特征点位信息的极致贴合。
[0327]
206、计算机设备将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，得到所述校正后面部图像的全局特征点的位置信息。
[0328]
本技术实施例中，计算机设备可以获取面部图像；计算机设备对面部图像进行校正处理，得到校正后面部图像；计算机设备对校正后面部图像进行点位生成处理，得到校正
后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；计算机设备根据面部部位特征点的初始位置信息，对校正后面部图像进行拆解处理，得到校正后面部图像的至少一个面部部位图像；计算机设备对至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；计算机设备将轮廓特征点的位置信息和面部部位特征点的位置信息进行信息融合处理，得到校正后面部图像的全局特征点的位置信息，从而提高了对面部特征点进行定位的精确率。
[0329]
为了更好地实施本技术实施例提供的面部特征点的定位方法，在一实施例中还提供了一种面部特征点的定位装置，该面部特征点的定位装置可以集成于计算机设备中。其中名词的含义与上述面部特征点的定位方法中相同，具体实现细节可以参考方法实施例中的说明。
[0330]
在一实施例中，提供了一种面部特征点的定位装置，该面部特征点的定位装置具体可以集成在计算机设备中，如图17所示，该面部特征点的定位装置包括：获取单元301、校正单元302、点位生成单元303、拆解单元304、点位精调单元305和信息融合单元306，具体如下：
[0331]
获取单元301，用于获取面部图像；
[0332]
校正单元302，用于对所述面部图像进行校正处理，得到校正后面部图像；
[0333]
点位生成单元303，用于对所述校正后面部图像进行点位生成处理，得到所述校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；
[0334]
拆解单元304，用于根据所述面部部位特征点的初始位置信息，对所述校正后面部图像进行拆解处理，得到所述校正后面部图像的至少一个面部部位图像；
[0335]
点位精调单元305，用于对所述至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；
[0336]
信息融合单元306，用于将所述轮廓特征点的位置信息和所述面部部位特征点的位置信息进行信息融合处理，得到所述校正后面部图像的全局特征点的位置信息。
[0337]
在一实施例中，所述校正单元，可以包括：
[0338]
特征检测子单元，用于对所述面部图像进行特征检测处理，得到所述面部图像的特征图像；
[0339]
点位估计子单元，用于对所述特征图像进行点位估计处理，得到所述特征图像的校正特征点的位置信息；
[0340]
校正子单元，用于利用所述校正特征点的位置信息，对所述面部图像进行校正处理，得到校正后面部图像。
[0341]
在一实施例中，所述特征检测子单元，可以包括：
[0342]
特征检测模块，用于对所述面部图像进行特征检测，得到所述面部图像的特征检测信息；
[0343]
特征增强模块，用于对所述特征检测信息进行特征增强处理，得到特征增强信息；
[0344]
生成模块，用于根据所述特征增强信息，在所述面部图像中生成目标检测区域；
[0345]
裁剪模块，用于根据所述目标检测区域，对所述面部图像进行裁剪，得到所述面部图像的特征图像。
[0346]
在一实施例中，所述点位估计子单元，可以包括：
[0347]
点位估计模块，用于对所述特征图像进行点位估计处理，得到所述特征图像的初始特征点的位置信息；
[0348]
信息识别模块，用于对所述初始特征点进行信息识别，得到所述初始特征点的语义信息；
[0349]
筛选模块，用于根据所述初始特征点的语义信息，从所述初始特征点中筛选出所述语义信息符合预设语义条件的校正特征点；
[0350]
确定模块，用于根据所述校正特征点，从所述初始特征点的位置信息中确定所述校正特征点的位置信息。
[0351]
在一实施例中，所述点位生成单元，可以包括：
[0352]
高维特征提取子单元，用于对所述校正后面部图像进行高维特征提取处理，得到所述校正后面部图像的特征信息；
[0353]
特征降维子单元，用于对所述校正后面部图像的特征信息进行特征降维处理，得到降维后特征信息；
[0354]
池化子单元，用于对所述降维后特征信息进行池化处理，得到池化后特征信息；
[0355]
低维特征提取子单元，用于对所述池化后特征信息进行低维特征提取处理，得到所述轮廓点的位置信息和所述面部部位特征点的初始位置信息。
[0356]
在一实施例中，所述高维特征提取子单元，可以包括：
[0357]
信息识别模块，用于对所述校正后面部图像进行信息识别处理，得到所述校正后面部图像的图像信息；
[0358]
卷积特征提取模块，用于利用多个预设卷积核对所述校正后面部图像的图像信息进行卷积特征提取，得到所述图像信息的多个卷积特征信息；
[0359]
信息融合模块，用于将所述多个卷积特征信息进行信息融合，得到所述面部图像的特征信息。
[0360]
在一实施例中，所述点位精调单元，可以包括：
[0361]
信息识别子单元，用于对每个面部部位图像的颜色通道进行信息识别处理，得到每个面部部位图像的颜色通道信息；
[0362]
信息重组子单元，用于将每个面部部位图像的颜色通道信息进行信息重组，得到包括每个面部部位图像的颜色通道信息的目标部位图像；
[0363]
点位生成子单元，用于对所述目标部位图像进行点位生成处理，得到每个面部部位图像中面部部位特征点的位置信息。
[0364]
在一实施例中，所述点位生成子单元，可以包括：
[0365]
高维特征提取模块，用于对所述目标部位图像进行高维特征提取处理，得到所述目标部位图像的面部部位特征信息；
[0366]
特征降维模块，用于对所述面部部位特征信息进行特征降维处理，得到降维后的面部部位特征信息；
[0367]
池化模块，用于对所述降维后的面部部位特征信息进行池化处理，得到池化后的面部部位特征信息；
[0368]
低维特征提取模块，用于对所述池化后的面部部位特征信息进行低维特征提取处理，得到所述每个面部部位图像中面部部位特征点的位置信息。
[0369]
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0370]
通过上述的面部特征点的定位装置可以提高对面部特征点进行定位的精确率。
[0371]
本技术实施例还提供一种计算机设备，该计算机设备可以包括终端或服务器，比如，计算机设备可以作为面部特征点的定位终端，该终端可以为手机、平板电脑等等；又比如计算机设备可以为服务器，如面部特征点的定位服务器等。如图18所示，其示出了本技术实施例所涉及的终端的结构示意图，具体来讲：
[0372]
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图18中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
[0373]
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
[0374]
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
[0375]
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0376]
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0377]
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
[0378]
获取面部图像；
[0379]
对所述面部图像进行校正处理，得到校正后面部图像；
[0380]
对所述校正后面部图像进行点位生成处理，得到所述校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；
[0381]
根据所述面部部位特征点的初始位置信息，对所述校正后面部图像进行拆解处理，得到所述校正后面部图像的至少一个面部部位图像；
[0382]
对所述至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；
[0383]
将所述轮廓特征点的位置信息和所述面部部位特征点的位置信息进行信息融合处理，得到所述校正后面部图像的全局特征点的位置信息。
[0384]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0385]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
[0386]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0387]
为此，本技术实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本技术实施例所提供的任一种面部特征点的定位方法中的步骤。例如，该计算机程序可以执行如下步骤：
[0388]
获取面部图像；
[0389]
对所述面部图像进行校正处理，得到校正后面部图像；
[0390]
对所述校正后面部图像进行点位生成处理，得到所述校正后面部图像中轮廓特征点的位置信息和面部部位特征点的初始位置信息；
[0391]
根据所述面部部位特征点的初始位置信息，对所述校正后面部图像进行拆解处理，得到所述校正后面部图像的至少一个面部部位图像；
[0392]
对所述至少一个面部部位图像进行点位精调处理，得到每个面部部位图像中面部部位特征点的位置信息；
[0393]
将所述轮廓特征点的位置信息和所述面部部位特征点的位置信息进行信息融合处理，得到所述校正后面部图像的全局特征点的位置信息。
[0394]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0395]
由于该存储介质中所存储的计算机程序，可以执行本技术实施例所提供的任一种面部特征点的定位方法中的步骤，因此，可以实现本技术实施例所提供的任一种面部特征点的定位方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0396]
以上对本技术实施例所提供的一种面部特征点的定位方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。