一种人脸分割方法、电子设备及计算机可读存储介质与流程

[0001]
本公开实施例涉及图像处理领域，具体涉及一种人脸分割方法、电子设备及计算机可读存储介质。


背景技术：

[0002]
随着现代社会的高速发展，以指纹识别、虹膜识别、人脸识别等为代表的生物特征认证技术作为安全认证的重要方向，受到了越来越多的关注。其中，人脸分割作为人脸识别的基础，广泛的应用在人脸识别领域。
[0003]
由于三维人脸包含了许多二维人脸所没有的信息，可有效解决二维人脸识别存在的容易受到姿态、表情、光照的变化以及自身遮挡的问题，因此，为了将面部从图像中分割出来，通常采用的是三维人脸分割。然而，现有的三维人脸分割需要计算图像中所有像素点信息，存在人脸分割速度慢，进而导致人脸识别效率低的问题。


技术实现要素：

[0004]
本公开实施例期望提供一种人脸分割方法、电子设备及计算机可读存储介质，能够提高三维人脸分割的速度，进而提升三维人脸识别效率。
[0005]
本公开实施例的技术方案是这样实现的：
[0006]
第一方面，本公开实施例提供一种人脸分割的方法，应用于电子设备中，所述电子设备设置有摄像头，所述方法包括：
[0007]
通过所述摄像头获取深度图像的像素点信息，所述深度图像的像素点信息用于表征所述深度图像的像素点深度信息和所述像素点对应的平面坐标信息；
[0008]
根据所述深度图像的像素点信息，获取所述深度图像中的前景图像，所述前景图像用于表征拍摄对象所在的图像；
[0009]
通过人脸检测算法获取所述拍摄对象的人脸高度；
[0010]
根据预设叠加深度模型、所述前景图像的像素点信息和所述人脸高度，得到所述前景图像中的人脸图像，所述预设叠加深度模型用于将所述前景图像转化为前景直方图；
[0011]
对所述人脸图像进行三维处理，得到所述拍摄对象的三维人脸图像，并显示所述三维人脸图像。
[0012]
第二方面，本公开实施例提供一种电子设备，所述电子设备设置有摄像头，所述电子设备包括采集单元、获取单元、分割单元、三维处理单元和显示单元，其中，
[0013]
所述采集单元，用于通过所述摄像头获取深度图像的像素点信息，所述深度图像的像素点信息用于表征所述深度图像的像素点深度信息和所述像素点对应的平面坐标信息；
[0014]
所述获取单元，用于通过人脸检测算法获取拍摄对象的人脸高度；
[0015]
所述分割单元，用于根据所述深度图像的像素点信息，获取所述深度图像中的前景图像，所述前景图像用于表征所述拍摄对象所在的图像；
[0016]
所述分割单元，还用于根据预设叠加深度模型、所述前景图像的像素点信息和所述人脸高度，得到所述前景图像中的人脸图像，所述预设叠加深度模型用于将所述前景图像转化为前景直方图；
[0017]
所述三维处理单元，用于对所述人脸图像进行三维处理，得到所述拍摄对象的三维人脸图像；
[0018]
所述显示单元，用于显示所述三维人脸图像。
[0019]
第三方面，本公开实施例提供一种电子设备，所述电子设备设置有摄像头，所述电子设备至少包括处理器、存储有所述处理器可执行指令的存储器，和用于连接所述处理器、所述存储器和所述摄像头的总线，当所述可执行指令被执行时，所述处理器执行时实现上述人脸分割方法中的步骤。
[0020]
第四方面，本公开实施例提供一种计算机可读存储介质，其上存储可执行指令，所述可执行指令被处理器执行时实现上述人脸分割方法中的步骤。
[0021]
本公开实施例提供了一种人脸分割的方法、电子设备及计算机可读存储介质，该人脸分割方法应用于电子设备中，电子设备设置有摄像头，包括：通过摄像头获取深度图像的像素点信息，深度图像的像素点信息用于表征深度图像的像素点深度信息和像素点对应的平面坐标信息；根据深度图像的像素点信息，获取深度图像中的前景图像，前景图像用于表征拍摄对象所在的图像；通过人脸检测算法获取拍摄对象的人脸高度；根据预设叠加深度模型、前景图像的像素点信息和人脸高度，得到前景图像中的人脸图像，预设叠加深度模型用于将前景图像转化为前景直方图；对人脸图像进行三维处理，得到拍摄对象的三维人脸图像，并显示三维人脸图像，也就是说，一方面，本公开实施例先将深度图像分割得到前景图像；再将前景图像分割得到人脸图像，如此，只需要计算前景图像的像素点信息便可以实现人脸分割，提高了三维人脸分割速度；另一方面，本公开实施例通过预设叠加深度模型将前景图像转化为前景直方图，并通过人脸高度对转化后前景直方图进行分割，能够进一步提高人脸分割的速度，进而提升了三维人脸识别的效率。
附图说明
[0022]
图1为本公开实施例提供一种人脸分割方法的结构框图；
[0023]
图2为本公开实施例提供的一种人脸分割的实现流程示意图；
[0024]
图3为本公开实施例提供的深度图像分割示意图；
[0025]
图4为本公开实施例提供的前景图像分割示意图；
[0026]
图5为本公开实施例提供的一种电子设备的组成结构示意图一；
[0027]
图6为本公开实施例提供的一种电子设备的组成结构示意图二。
具体实施方式
[0028]
为了使本公开实施例的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施例作进一步地详细描述，所描述的实施例不应视为对本公开实施例的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开实施例保护的范围。
[0029]
在人脸识别过程中，通常是采用三维人脸分割方法从一张完整的图像中将人脸图
像分割出来。目前主要的三维人脸分割方法可以分为两种，一种是基于集合信息的分割算法，其分割过程是先根据图像中涉及的每个顶点，计算其相关的几何信息，如曲率、法向、拟合面等，再根据该相关的几何信息对图像分割出大致的人脸区域，再根据计算得到的几何信息中的曲率对图像进行修整，完成分割；另一种是基于人脸生理特征的分割算法，其分割过程是先预先构建一个人脸模型，再根据检测图像得到的关键点信息对该人脸模型进行调整，完成分割。
[0030]
然而，对于真实的三维人脸模型来说，图像中的三维像素点和三维像素点构成的面数量大，计算所有的三维像素点的几何信息，其计算量巨大，存在人脸分割时间长效率低的问题。另外，目前通常是采用激光等设备扫描图像以采集深度图像，也存在成本高的问题。
[0031]
因此，考虑到三维人脸分割中从一整张深度图像中分割得到人脸图像只是得到三维人脸图像的一个中间步骤，后续还需要对人脸图像进行滤波、反投影、配准和显示等处理，本公开实施例提出了一种人脸分割方法。图1为本公开实施例提供一种人脸分割方法的结构框图，如图1所示，该人脸分割方法的结构框图包括：采集单元、分割单元、三维处理单元和显示单元，其中，
[0032]
采集单元，用于采集深度图像；分割单元，用于分割深度图像中的前景图像和后景图像，和分割前景图像中的人脸图像和躯干图像；三维处理单元，用于对人脸图像进行滤波、反投影、配准等三维处理得到三维人脸图像；显示单元，用于显示该三维人脸图像。
[0033]
通过本公开实施例提供的人脸分割方法的结构框图，可以得出本公开实施例不再计算深度图像中所有像素点信息，只需要计算前景图像中的像素点信息，提高了人脸分割的速度，进而提升了人脸识别的效率。
[0034]
图2为本公开实施例提供的一种人脸分割的实现流程示意图，如图2所示，该人脸分割方法应用于电子设备，该电子设备设置有摄像头，电子设备实现人脸分割方法可以包括以下步骤：
[0035]
s101、通过摄像头获取深度图像的像素点信息。
[0036]
本公开实施例中，电子设备设置有摄像头，电子设备通过该摄像头可以获取深度图像的像素点信息，该深度图像的像素点信息用于表征深度图像的像素点深度信息和像素点对应的平面坐标信息。
[0037]
需要说明的是，上述深度图像由至少一个像素点组成的，每一个像素点都对应者该像素点深度信息以及该像素点对应的平面坐标信息，该像素点深度信息用于表征该像素点对应的平面坐标与摄像头的距离。
[0038]
示例性地，为了降低采集深度图像的成本，电子设备可以为kinect设备，通过kinect设备上的摄像头以视频的速率抓拍想要进行三维显示的拍摄对象，以获取深度图像，需要说明的是，该深度图像为kinect设备采集的视频图像中的序列深度图像。
[0039]
本公开实施例中，电子设备上设置有摄像头，该摄像头的个数可以为至少一个，当电子设备的摄像头的个数为一个，且该摄像头为单目摄像头时，电子设备通过该摄像头获取深度图像的像素点信息中的像素点深度信息的过程为：通过单目摄像头采集拍摄对象的视频图像；提取该视频图像中的深度图像帧；对该视频图像中不同深度图像帧之间的关系进行立体匹配，获取该深度图像的像素点信息中的像素点深度信息。
[0040]
当电子设备设置摄像头的个数为两个时，电子设备通过该两个摄像头获取深度图像的像素点信息中的像素点深度信息的过程为：获取该两个摄像头分别到该深度图像中该像素点的第一距离和第二距离；根据第一距离、第二距离和预设两个摄像头之间的距离，确定深度图像的像素点信息中的像素点深度信息。
[0041]
示例性地，当电子设备为kinect设备时，该kinect设备上设置有两个红外摄像头，kinect设备可以通过两个红外摄像头获取深度图像的像素点信息中的像素点深度信息，本公开实施例这里不做限制。
[0042]
s102、根据深度图像的像素点信息，获取深度图像中的前景图像。
[0043]
本公开实施例中，电子设备在获取深度图像之后，电子设备需要根据深度图像的像素点信息，获取深度图像中的前景图像。
[0044]
需要说明的是，前景图像用于表征深度图像中该拍摄对象所在的图像，而在深度图像中除了前景图像以外的其他图像可以为后景图像，该后景图像用于表征深度图像中的环境图像，因此，电子设备为了获取拍摄对象的人脸图像，电子设备需要先分割深度图像中的前景图像和后景图像以获取前景图像。
[0045]
本公开实施例中，前景图像中的拍摄对象相对于环境来说，拍摄对象所对应的像素点与摄像头之间的距离是最短的，又像素点深度信息对应深度值用于表征像素点拍摄对象与摄像头之间的距离，因此，可以通过连通分量分析方法即两个相邻像素点的深度信息对应的深度值，来获取深度图像中的前景图像。
[0046]
具体地，电子设备在根据深度图像的像素点信息，获取深度图像中的前景图像的过程为：从深度图像的像素点深度信息中，获取两个相邻像素点深度信息；根据两个相邻像素点深度信息，获取两个相邻像素点的深度差值；当深度差值小于预设差值阈值时，将两个相邻像素点所在的图像作为深度图像中的前景图像。
[0047]
需要说明的是，当深度差值小于预设差值阈值时，则该两个相邻的像素点所在的图像为前景图像，当深度差值大于或者等于预设差值阈值时，则说明该两个相邻的像素点所在的图像为后景图像，需要去除该图像。如此，便可以将深度图像中的前景图像和后景图像进行分离，得到需要的前景图像。
[0048]
示例性地，如图3所示，图3为本公开实施例提供的深度图像分割示意图，其中，标号30对应的图像为深度图像，编号31对应的图像为深度图像中的后景图像，该后景图像为需要去除的图像；标号32对应的图像为深度图像中的前景图像，其是深度图像中除后景图像以外的图像，如此，本公开实施例通过将深度图像中的前景图像和后景图像进行分割，去除后景图像，能够方便后续直接从前景图像中分割出人脸图像，而不需要还计算后景图像中的像素点信息，进而提高了人脸分割的速度。
[0049]
s103、通过人脸检测算法获取拍摄对象的人脸高度。
[0050]
本公开实施例中，在人脸分割的过程中，电子设备可以通过人脸检测算法获取需要进行人脸分割的拍摄对象的人脸高度，以便于电子设备可以通过该人脸高度进行人脸分割。
[0051]
需要说明的是，电子设备获取的拍摄对象的人脸高度为拍摄对象的真实人脸高度，其为拍摄对象的额头到下巴之间的距离。
[0052]
示例性地，上述人脸检测算法可以为可变型组件dpm(deformable part model)算
法、归一化的像素差异特征(normalized pixel difference，npd)算法和viola-jones人脸检测算法，本公开实施例这里不作限制。需要说明的是，通过viola-jones人脸检测算法检测人脸高度的过程可以为：检测拍摄对象，通过调整矩形框使其包括拍摄对象的人脸，以标记处人脸的高度。
[0053]
s104、根据预设叠加深度模型、前景图像的像素点信息和人脸高度，得到前景图像中的人脸图像。
[0054]
本公开实施例中，电子设备在获取前景图像和获取人脸高度之后，电子设备需要根据预设叠加深度模型、前景图像的像素点信息和人脸高度，得到前景图像中的人脸图像。
[0055]
需要说明的是，s103可以是在s104之前任意一个步骤执行，s103的撰写顺序并不意味着严格的执行顺序，而对本公开实施例的实施过程构成任何限定，该步骤的具体执行顺序应该以其功能和可能的内在逻辑确定。
[0056]
本公开实施例中，人脸图像用于表征前景图像中该拍摄对象的人脸所在的图像，而在前景图像中除了人脸图像以外的其他图像可以为躯干图像，因此，为了获取拍摄对象的人脸图像，电子设备需要分割前景图像中的人脸图像和躯干图像以获取人脸图像。
[0057]
示例性地，如图4所示，图4为本公开实施例提供的前景图像分割示意图，其中，标号40对应的图像为前景图像，编号41对应的图像为前景图像中的躯干图像，该躯干图像为需要去除的图像，标号42对应的图像为前景图像中的人脸图像，如此，本公开实施例只需要计算前景图像中的像素点信息，便可以分割出人脸图像，不再需要计算深度图像中所有的像素点信息，进而提高了人脸分割的速度。
[0058]
需要说明的是，本公开实施例中预设叠加深度模型用于表征将前景图像转化为前景直方图。
[0059]
示例性地，预设叠加深度模型可以为公式(1)：
[0060][0061]
其中，h(v)为前景图像的像素点纵坐标v对应的叠加深度特征值，m
τ
(u,v)为前景图像的像素点平面坐标(u,v)对应的深度特征值。为了获取前景图像中的人脸图像，电子设备可以先通过预设叠加深度模型将前景图像转化为前景直方图，再根据拍摄对象的人脸高度和该前景直方图，获取人脸图像。
[0062]
具体地，电子设备根据预设叠加深度模型、前景图像的像素点信息和人脸高度，得到前景图像中的人脸图像的过程为：根据预设叠加深度模型和前景图像的像素点信息，获取前景图像对应的前景直方图；通过人脸高度对前景直方图进行分割，得到前景图像中的人脸图像。
[0063]
可以理解的是，电子设备通过预设叠加深度模型和前景图像的像素点信息，获取前景图像对应的前景直方图，能够将前景图像转化为前景直方图的呈现形式，以便于能够通过拍摄对象的人脸高度所对应的水平线对前景直方图进行分割，如此，直接通过人脸高度对应的水平线分割前景图像，提高了人脸分割的速度和准确性。
[0064]
本公开实施例中，电子设备根据预设叠加深度模型和前景图像的像素点信息，获取前景图像对应的前景直方图的过程为：通过前景图像中各前景像素点深度信息对应的深度值，获取各前景像素点对应的各前景深度特征值；根据各前景深度特征值和预设叠加深
度模型，获取至少一个前景像素点纵坐标对应的叠加深度特征值；由每一个前景像素点纵坐标和每一个前景像素点纵坐标对应的叠加深度特征值，构成前景图像对应的前景直方图。
[0065]
需要说明的是，本公开实施例中，将前景图像转化为前景直方图用于后续电子设备直接通过人脸高度对前景直方图进行分割得到人脸图像，其是提高分割速度的重要过程。
[0066]
示例性地，电子设备通过前景图像中各前景像素点深度信息对应的深度值，获取各前景像素点对应的各前景深度特征值，可以为当前景像素点深度信息对应有深度值时，则该前景像素点对应的前景深度特征值为1；当前景像素点深度信息对应没有深度值时，则该前景像素点对应的前景深度特征值为0，这时，该前景深度特征值不参与计算。
[0067]
另外，电子设备根据各前景深度特征值和预设叠加深度模型，获取至少一个前景像素点纵坐标对应的叠加深度特征值的过程可以为：当预设叠加深度模型为时，通过对各前景像素点对应的各前景深度特征值进行叠加，便可以获取至少一个前景像素点纵坐标中前景像素点纵坐标v对应的叠加深度特征值。
[0068]
可以理解的是，本公开实施例中前景像素点纵坐标v对应的叠加深度特征值需要先遍历同一前景像素点纵坐标v对应的所有前景像素点横坐标，以得到前景像素点纵坐标v对应的所有前景像素点，再对得到的前景像素点纵坐标v对应的所有前景像素点对应的深度特征值进行叠加，以得到该前景像素点纵坐标v对应的叠加深度特征值。
[0069]
示例性地，如果前景像素点坐标分别为(1，1)、(1，2)、(2，1)、(2，2)，且该所有前景像素点对应的深度特征值均为1，则前景像素点纵坐标2对应的所有前景像素点为(1，2)和(2，2)，通过对像素点(1，2)对应的深度特征值1和像素点(2，2)对应的深度特征值1进行叠加，便可以得到该前景像素点纵坐标2对应的叠加深度特征值为2。
[0070]
本公开实施例中，电子设备通过人脸高度对前景直方图进行分割，得到前景图像中的人脸图像的过程为：当前景直方图中前景像素点纵坐标小于等于拍摄对象的人脸高度，且前景像素点纵坐标对应的叠加深度特征值不等于预设叠加深度特征值时，将前景像素点纵坐标对应的各前景像素点所在的图像作为前景图像中的人脸图像，如此，本公开实施例通过前景直方图中前景像素点信息对应的纵坐标与和人脸高度进行比较，便可以直接的获取人脸图像，提高了人脸图像的分割速度和准确度。
[0071]
示例性地，预设叠加深度特征值可以根据用户实际需求进行设置，如可以设置叠加深度特征值为0，本公开实施例这里不作限制。当电子设备叠加深度特征值为0时，通过人脸高度对前景直方图进行分割，得到前景图像中的人脸图像的过程可以对应公式(2)，其中，v为前景像素点纵坐标，y为人脸高度，h(v)为该前景像素点纵坐标v对应的叠加深度特征值，h为人脸图像所在的区域。
[0072]
h＝{v丨v≤y and h(v)≠0}
ꢀꢀꢀ
(2)
[0073]
本公开实施例中，电子设备通过人脸高度对前景直方图进行分割，同时也可以得到前景图像中的躯干图像，其得到前景图像中的躯干图像的过程为：当前景直方图中前景像素点纵坐标大于拍摄对象的人脸高度，且前景像素点纵坐标对应的叠加深度特征值不等于预设叠加深度特征值时，将前景像素点纵坐标对应的各前景像素点所在的图像作为前景
图像中的躯干图像。
[0074]
示例性地，当电子设备叠加深度特征值为0时，电子设备通过人脸高度对前景直方图进行分割，得到前景图像中的躯干图像的过程可以对应公式(3)，其中，v为前景像素点纵坐标，y为人脸高度，h(v)为该前景像素点纵坐标v对应的叠加深度特征值，j为躯干图像所在的区域。
[0075]
j＝{v丨v>y and h(v)≠0}
ꢀꢀꢀ
(3)
[0076]
在其他实施例中，电子设备在通过前景图像中各前景像素点深度信息对应的深度值，获取各前景像素点对应的各前景深度特征值之后，且在对人脸图像进行三维处理，得到拍摄对象的三维人脸图像之前，还可以根据前景像素点对应的前景深度特征值和拍摄对象的人脸高度，获取拍摄对象的人脸图像，具体为：当前景像素点对应的前景深度特征值为预设深度特征值，且前景像素点纵坐标小于等于拍摄对象的人脸高度时，将前景像素点所在的图像作为前景图像中的人脸图像，如此，本公开实施例还基于前景像素点信息对应的纵坐标与人脸高度，以另一种形式来直接的获取人脸图像，提高了人脸图像的分割速度和准确度，同时能够灵活的获取人脸图像。
[0077]
需要说明的是，电子设备将前景像素点纵坐标与人脸高度进行比较以及确定前景像素点是否有前景像素点深度信息对应的深度特征值，也可以确定拍摄对象的人脸图像。
[0078]
示例性地，预设深度特征值可以根据用户实际需求进行设置，如可以设置预设深度特征值为1，本公开实施例这里不作限制。
[0079]
当预设深度特征值为1，电子设备根据前景像素点对应的前景深度特征值和拍摄对象的人脸高度，获取拍摄对象的人脸图像的过程可以对应公式(4)，其中，d
τ
(u，v)为前景图像的像素点深度信息对应的深度值，d'
τ
(u,v)为前景图像中人脸图像的像素点深度信息对应的深度值，m
τ
(u，v)为前景像素点平面坐标(u,v)对应的深度特征值，v为前景像素点的纵坐标，y为拍摄对象的人脸高度。
[0080][0081]
s105、对人脸图像进行三维处理，得到拍摄对象的三维人脸图像，并显示三维人脸图像。
[0082]
本公开实施例中，电子设备在获取人脸图像之后，可以对人脸图像进行三维处理，得到拍摄对象的三维人脸图像。
[0083]
需要说明的，对人脸图像进行的三维处理可以是对人脸图像进行滤波、反投影、配准等三维处理，具体地，电子设备对人脸图像进行三维处理，得到拍摄对象的三维人脸图像的过程为：对人脸图像进行滤波，获取滤波人脸图像；对滤波人脸图像进行反投影，获取滤波人脸图像的三维点云和三维点云的法向量；对滤波人脸图像对应的三维点云进行配准，获取配准人脸图像的三维点云；根据配准人脸图像的三维点云和三维点云对应的法向量，获取拍摄对象的三维人脸图像。
[0084]
本公开实施例中，电子设备通过深度图像的像素点信息获取的人脸图像可能存在锯齿，为了得到精确地三维人脸图像，需要对人脸图像进行滤波处理，示例性地，电子设备可以通过双边滤波器对人脸图像进行滤波处理，以在去除噪声的同时保存人脸图像中的像素点深度信息对应的不连续深度值。
[0085]
其中，上述对人脸图像进行滤波处理，获取滤波人脸图像的具体过程为：从人脸图像的人脸像素点深度信息中，获取人脸像素点深度信息对应的深度方差值；当深度方差值小于预设深度方差阈值时，将人脸像素点所在的图像作为滤波人脸图像。
[0086]
示例性地，对人脸图像进行滤波处理，获取滤波人脸图像的具体过程可以对应公式(5)，其中，d”τ
(u,v)为滤波人脸图像的像素点信息对应的深度值，d'
τ
(u，v)为前景图像中人脸图像的像素点深度信息对应的深度值，δ(u，v)2为人脸像素点深度信息对应的深度方差值，δ
2max
为预设深度方差阈值。
[0087][0088]
本公开实施例中，在获取滤波人脸图像之后，电子设备还需要对滤波人脸图像进行反投影，以便于获取人脸图像的三维点云。电子设备对滤波人脸图像进行反投影，获取滤波人脸图像的三维点云和该三维点云对应的法向量的过程为：获取三维坐标模型和法向量模型；根据滤波人脸图像的像素点深度信息、滤波人脸图像的像素点平面坐标信息和三维计算模型，获取滤波人脸图像的三维点云；根据滤波人脸图像的三维点云和法向量模型，获取三维点云对应的法向量。
[0089]
需要说明的是，三维坐标模型用于表征滤波人脸图像的像素点对应的三维信息，通过将滤波人脸图像的像素点深度信息和滤波人脸图像的像素点平面坐标信息输入至三维计算模型，可以得到滤波人脸图像的三维点云。
[0090]
示例性地，滤波人脸图像中的一个三维像素点坐标[x，y，z]
t
映射到滤波人脸图像的像素点平面坐标[u，v]
t
中的公式为(6)，其中，d”τ
(u,v)为滤波人脸图像的像素点信息对应的深度值，f
x
和f
y
为相机的焦距，c
x
和c
y
为相机的投影中心，该投影中心为三维点到二维像素点的平面坐标的投影映射。
[0091][0092]
其中，k为相机的固有矩阵，k可以为表达式(7)。
[0093][0094]
通过对公式(6)左边等式进行计算，可得像素点平面坐标u的表达式(8)。
[0095]
u＝x*f
x
/d”τ
(u,v)+c
x
ꢀꢀꢀ
(8)
[0096]
通过对公式(6)左边等式进行计算，可得像素点平面坐标v的表达式(9)。
[0097]
v＝y*f
y
/d”τ
(u,v)+c
y
ꢀꢀꢀ
(9)
[0098]
根据公式(6)、公式(8)和公式(9)，可得三维像素点坐标[x，y，z]
t
的公式为(10)。
[0099][0100]
通过对公式(10)进行转化，可得到滤波人脸图像的像素点平面坐标(u,v)对应的三维点云v
τ
(u,v)的公式为(11)。
[0101]
v
τ
(u,v)＝d”τ
(u,v)*k-1
*[u,v,1]
t
ꢀꢀꢀ
(11)
[0102]
本公开实施例中，法向量模型用于表征三维人脸图像的曲面信息，通过将人脸图像中的相邻的三维点云输入到法向量模型，可以得到该相邻三维点云所形成平面的法向量，即三维点云对应的法向量，法向量为以相邻三维点云为顶点所形成的平面的法向量。
[0103]
示例性地，该法向量模型可以为公式(12)，其中，n
τ
(u,v)为三维点云对应的法向量，v
τ
(u+1,v)和v
τ
(u,v+1)分别为滤波人脸图像平面像素点(u,v)对应的相邻坐标的三维点云。
[0104]
n
τ
(u,v)＝[v
τ
(u+1,v)-v
τ
(u,v)]
×
[v
τ
(u,v+1)-v
τ
(u,v)]
ꢀꢀꢀ
(12)
[0105]
本公开实施例中，电子设备获取的深度图像为至少一幅深度图像，通过先分割得到前景图像、再分割得到人脸图像，以及滤波和反投影的三维处理，可以得到至少一幅滤波人脸图像的三维点云，为了得到精确度和清晰度高的三维人脸图像，可以对多幅滤波人脸图像对应的三维点云进行配准，获取配准人脸图像的三维点云。
[0106]
示例性地，对多幅滤波人脸图像对应的三维点云进行配准可以采用稀疏迭代最近点算法进行配准，本公开实施例这里不做限制。
[0107]
在获取配准人脸图像的三维点云之后，电子设备根据配准人脸图像的三维点云和三维点云对应的法向量，获取拍摄对象的三维人脸图像。对于多幅配准人脸图像的三维点云，可以先对多幅配准人脸图像的三维点云进行融合，再根据融合后的三维点云以及该三维点云对应的法向量，获取拍摄对象的三维人脸图像。
[0108]
示例性地，对多幅配准人脸图像的三维点云进行融合可以采用立体集成技术进行融合，本公开实施例这里不做限制。
[0109]
本公开实施例中，在获取拍摄对象的三维人脸图像之后，电子设备绘制三维人脸图像，并进行显示该人脸图像。
[0110]
需要说明的是，绘制的三维人脸图像是拍摄对象的当前状态，可以通过实时采集深度图像来更新该三维人脸图像，同时，还可以通过拍摄对象的当前状态重新定义人脸图像所对应的三维点云和对应的法向量，以更新获取的三维人脸图像，进一步提高鲁棒性。
[0111]
示例性地，绘制三维人脸图像可以选用开放图形库(open graphics library，opengl)，该opengl用于渲染三维矢量图像的跨语言、跨平台的专业图形程序接口，可以通过调用底层图形数据库中的图像来绘制三维人脸图像，本公开实施例这里不作限制。
[0112]
通过本公开实施例，电子设备先将深度图像分割得到前景图像；再将前景图像分割得到人脸图像，如此，一方面，只需要计算前景图像的像素点信息便可以实现人脸分割，提高了三维人脸分割速度效率；另一方面，本公开实施例通过预设叠加深度模型将前景图
像转化为前景直方图，并通过人脸高度对转化后前景直方图进行分割，能够进一步提高人脸分割的速度，进而提升了三维人脸识别的效率，同时本公开实施例对人脸图像进行滤波、反投影和配准等三维处理，能够去除噪声，提高了三维人脸图像的精确度。
[0113]
此外，本公开实施例提供的人脸分割方法可以应用在三维人脸识别系统和三维人脸匹配系统中，通过采用统一计算设备架构(compute unified device architecture，cuda)，能够提高人脸分割方法的运行速度，使得分割效率更高。
[0114]
基于上述实施例的同一发明构思，图5为本公开实施例提供的一种电子设备的组成结构示意图一，如图5所示，电子设备1000设置有摄像头，电子设备包括采集单元1001、获取单元1002、分割单元1003、三维处理单元1004和显示单元1005，其中，
[0115]
采集单元1001，用于通过摄像头获取深度图像的像素点信息，深度图像的像素点信息用于表征深度图像的像素点深度信息和像素点对应的平面坐标信息；
[0116]
获取单元1002，用于通过人脸检测算法拍摄对象的人脸高度；
[0117]
分割单元1003，用于根据深度图像的像素点信息，获取深度图像中的前景图像，前景图像用于表征拍摄对象所在的图像；
[0118]
分割单元1003，还用于根据预设叠加深度模型、前景图像的像素点信息和人脸高度，得到前景图像中的人脸图像，预设叠加深度模型用于将前景图像转化为前景直方图；
[0119]
三维处理单元1004，用于对人脸图像进行三维处理，得到拍摄对象的三维人脸图像；
[0120]
显示单元1005，用于显示三维人脸图像。
[0121]
在其他实施例中，分割单元1003还包括：
[0122]
第一分割单元1006，用于根据预设叠加深度模型和前景图像的像素点信息，获取前景图像对应的前景直方图；
[0123]
第二分割单元1007，用于通过人脸高度对前景直方图进行分割，得到前景图像中的人脸图像。
[0124]
在其他实施例中，第一分割单元1006具体用于：通过前景图像中各前景像素点深度信息对应的深度值，获取各前景像素点对应的各前景深度特征值；根据各前景深度特征值和预设叠加深度模型，获取至少一个前景像素点纵坐标对应的叠加深度特征值；由每一个前景像素点纵坐标和每一个前景像素点纵坐标对应的叠加深度特征值，构成前景图像对应的前景直方图。
[0125]
在其他实施例中，第二分割单元1007具体用于：当前景直方图中前景像素点纵坐标小于等于拍摄对象的人脸高度，且前景像素点纵坐标对应的叠加深度特征值不等于预设叠加深度特征值时，将前景像素点纵坐标对应的各前景像素点所在的图像作为前景图像中的人脸图像。
[0126]
在其他实施例中，电子设备1000还包括：
[0127]
第三分割单元1008，用于在通过前景图像中各前景像素点深度信息对应的深度值，获取各前景像素点对应的各前景深度特征值之后，且在对人脸图像进行三维处理，得到拍摄对象的三维人脸图像之前，当前景像素点对应的前景深度特征值为预设深度特征值，且前景像素点纵坐标小于等于拍摄对象的人脸高度时，将前景像素点所在的图像作为前景图像中的人脸图像。
[0128]
在其他实施例中，三维处理单元1004包括：
[0129]
滤波单元1009，用于对人脸图像进行滤波，获取滤波人脸图像；
[0130]
反投影单元1010，用于对滤波人脸图像进行反投影，获取滤波人脸图像的三维点云和三维点云的法向量；
[0131]
配准单元1011，用于对滤波人脸图像对应的三维点云进行配准，获取配准人脸图像的三维点云；
[0132]
第一获取单元1012，用于根据配准人脸图像的三维点云和三维点云对应的法向量，获取拍摄对象的三维人脸图像。
[0133]
在其他实施例中，滤波单元1009具体用于：从人脸图像的人脸像素点深度信息中，获取人脸像素点深度信息对应的深度方差值；当深度方差值小于预设深度方差阈值时，将人脸像素点所在的图像作为滤波人脸图像。
[0134]
在其他实施例中，反投影单元1010具体用于：获取三维坐标模型和法向量模型，三维坐标模型用于表征滤波人脸图像的像素点对应的三维信息，法向量模型用于表征三维人脸图像的曲面信息；根据滤波人脸图像的像素点深度信息、滤波人脸图像的像素点平面坐标信息和三维计算模型，获取滤波人脸图像的三维点云；根据滤波人脸图像的三维点云和法向量模型，获取三维点云对应的法向量。
[0135]
在其他实施例中，分割单元1003具体用于：从深度图像的像素点深度信息中，获取两个相邻像素点深度信息；根据两个相邻像素点深度信息，获取两个相邻像素点的深度差值；当深度差值小于预设差值阈值时，将两个相邻像素点所在的图像作为深度图像中的前景图像。
[0136]
通过本公开实施例，一方面，本公开实施例先将深度图像分割得到前景图像；再将前景图像分割得到人脸图像，如此，只需要计算前景图像的像素点信息便可以实现人脸分割，提高了三维人脸分割速度；另一方面，本公开实施例通过预设叠加深度模型将前景图像转化为前景直方图，并通过人脸高度对转化后前景直方图进行分割，能够进一步提高人脸分割的速度，进而提升了三维人脸识别的效率，同时本公开实施例对人脸图像进行滤波、反投影和配准等三维处理，能够去除噪声，提高了三维人脸图像的精确度。
[0137]
基于前述实施例的同一发明构思，本公开实施例提供一种电子设备，图6为本公开实施例提供的一种电子设备的组成结构示意图二，如图6所示，电子设备设置有摄像头05，电子设备还至少包括处理器01、存储器02、通信接口03和通信总线04，其中，通信总线04用于实现处理器01、存储器02、通信接口03和摄像头05的连接通信；通信接口03用于通过摄像头获取深度图像的像素点信息；处理器01用于执行存储器02中存储的可执行指令，以实现上述实施例提供的人脸分割方法中的步骤。
[0138]
通过本公开实施例，一方面，本公开实施例先将深度图像分割得到前景图像；再将前景图像分割得到人脸图像，如此，只需要计算前景图像的像素点信息便可以实现人脸分割，提高了三维人脸分割速度；另一方面，本公开实施例通过预设叠加深度模型将前景图像转化为前景直方图，并通过人脸高度对转化后前景直方图进行分割，能够进一步提高人脸分割的速度，进而提升了三维人脸识别的效率，同时本公开实施例对人脸图像进行滤波、反投影和配准等三维处理，能够去除噪声，提高了三维人脸图像的精确度。
[0139]
另外，在本实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单
元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
[0140]
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：磁性随机存取存储器(fram，ferromagnetic random access memory)、只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)等各种可以存储程序代码的介质，本公开实施例不作限制。
[0141]
基于前述实施例，本公开实施例提供了一种计算机可读存储介质，其上存储有可执行指令，该可执行指令被上述处理器执行时实现上述实施例中的人脸分割方法中步骤。
[0142]
本领域内的技术人员应明白，本公开实施例可提供为方法、系统、或计算机程序产品。因此，本公开实施例可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0143]
本公开实施例是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0144]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0145]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0146]
以上所述，仅为本公开实施例中的较佳实施例而已，并非用于限定本公开实施例的保护范围。