基于深度的人脸朝向检测方法、检测装置和电子装置与流程

本发明涉及图像处理技术，特别涉及一种基于深度的人脸朝向检测方法、检测装置和电子装置。

背景技术：

在许多实际应用中(例如美颜处理)，需要识别人脸朝向以针对不同朝向的人脸做不同的处理，然而人脸朝向检测方法结果往往不够理想，例如人脸朝向检测不够准确。

技术实现要素：

本发明的实施方式提供一种结合深度信息的人脸朝向检测方法、检测装置和电子装置。

本发明实施方式的基于深度的人脸朝向检测方法，用于

处理成像装置采集的场景数据，所述场景数据包括当前帧场景主图像，所述人脸朝向检测方法包括以下步骤：

处理所述当前帧场景主图像以判断是否存在人脸区域；

在存在所述人脸区域时识别所述人脸区域，所述人脸区域包括第一人脸区域和第二人脸区域；

处理所述场景数据以分别获取所述第一人脸区域和所述第二人脸区域的深度信息；和

根据所述第一人脸区域的深度信息和所述第二人脸区域的深度信息计算所述人脸朝向的角度。

本发明实施方式的基于深度的人脸朝向检测装置，用于处理成像装置采集的场景数据，所述场景数据包括当前帧场景主图像，所述人脸朝向检测装置包括：

第一处理模块，用于处理所述当前帧场景主图像以判断是否存在人脸区域；

识别模块，用于在存在所述人脸区域时识别所述人脸区域，所述人脸区域包括第一人脸区域和第二人脸区域；

第二处理模块，用于处理所述场景数据以分别获取所述第一人脸区域和所述第二人脸区域的深度信息；和

计算模块，用于根据所述第一人脸区域的深度信息和所述第二人脸区域的深度信息计算所述人脸朝向的角度。

本发明实施方式的电子装置包括成像装置和所述的人脸朝向检测装置。

本发明实施方式的基于深度的人脸朝向检测方法、人脸朝向检测装置和电子装置根据人脸不同区域的深度信息，在人脸偏转时可以较为准确计算得到人脸朝向的角度，从而方便利用该角度进行图像的进一步处理，改善用户体验。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施方式的人脸朝向检测方法的流程示意图。

图2是本发明实施方式的人脸朝向检测装置的功能模块示意图。

图3是本发明实施方式的人脸朝向检测检测方法的状态示意图。

图4是本发明实施方式的人脸朝向检测检测方法的状态示意图。

图5是本发明某些实施方式的人脸朝向检测方法的流程示意图。

图6是本发明某些实施方式的人脸朝向检测装置的功能模块示意图。

图7是本发明某些实施方式的人脸朝向检测方法的流程示意图。

图8是本发明某些实施方式的人脸朝向检测装置的功能模块示意图。

图9是本发明某些实施方式的人脸朝向检测方法的流程示意图。

图10是本发明某些实施方式的人脸朝向检测装置的功能模块示意图。

图11是本发明某些实施方式的人脸朝向检测方法的流程示意图。

图12是本发明某些实施方式的人脸朝向检测方法的状态示意图。

图13是本发明某些实施方式的人脸朝向检测检测方法的流程示意图。

图14是本发明某些实施方式的人脸朝向检测检测装置的功能模块示意图。

图15是本发明某些实施方式的电子装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至4，本发明实施方式的基于深度信息的人脸朝向检测方法，用于处理成像装置采集的场景数据，场景数据包括当前帧场景主图像，人脸朝向检测方法包括以下步骤：

s10：处理当前帧场景主图像以判断是否存在人脸区域；

s20：在存在人脸区域时识别人脸区域，人脸区域包括第一人脸区域和第二人脸区域；

s30：处理场景数据以分别获取第一人脸区域和第二人脸区域的深度信息；和

s40：根据第一人脸区域的深度信息和第二人脸区域的深度信息计算人脸朝向的角度。

本发明实施方式的人脸朝向检测装置100包括第一处理模块10、识别模块20、第二处理模块30和计算模块40。作为例子，本发明实施方式的人脸朝向检测方法可以由本发明实施方式的人脸朝向检测装置100实现。

其中，本发明实施方式的控制方法的步骤s10可以由第一处理模块10实现，步骤s20可以由识别模块20实现，步骤s30可以由第二处理模块30实现，步骤s40可以由计算模块40实现。

也即是说，第一处理模块10用于处理当前帧场景主图像以判断是否存在人脸区域。识别模块20用于在存在人脸区域时识别人脸区域，人脸区域包括第一人脸区域和第二人脸区域。第二处理模块30用于用于处理场景数据以分别获取第一人脸区域和第二人脸区域的深度信息。计算模块40用于根据第一人脸区域的深度信息和第二人脸区域的深度信息计算人脸朝向的角度。

本发明实施方式人脸朝向检测装置100可应用于本发明实施方式的电子装置1000，也即是说，本发明实施方式的电子装置1000包括本发明实施方式的人脸朝向检测装置100。当然，本发明实施方式的电子装置1000还包括成像装置200。其中，人脸朝向检测装置100和成像装置200电连接。成像装置200可以是电子装置1000的前置或后置摄像头。

在某些实施方式中，本发明实施方式的电子装置1000包括手机、平板电脑、智能手环、智能头盔、智能眼镜等，在此不作限制。在本发明的具体实施例中，电子装置1000为手机。

在日常摄影过程中，特别是对于人像进行拍摄时，人脸往往是图像中用户感兴趣的区域，因此需要检测出来加以应用，例如对人脸进行美颜设置，或对人脸进行趣味性的处理，例如添加趣味眉毛等，而通常这种处理仅针对正向人脸，若人脸偏转，仍采用相同的处理，则会导致图像内容比例失当，图像效果不佳。

本发明实施方式中，通过人脸检测算法，判断当前场景图像中是否存在人脸区域，并识别该人脸区域，人脸区域包括第一人脸区域和第二人脸区域，或者说，人脸区域包括左脸区域和右脸区域。在一些示例中，区分第一人脸区域和第二人脸区域，可通过识别人脸特征，例如识别五官，如鼻子等确定人脸区域的对称轴。在另一些示例中，还可以对所识别出的人脸区域的矩形框按照对称轴分为左脸区域和右脸区域，在此不做限制。

在被摄人脸正对成像装置200时，左脸区域和右脸区域的深度信息基本相同，而当被摄人脸转动时，两人脸区域距离成像装置200的距离发生变化，转向一侧的人脸区域将远离成像装饰200，也即是说，左脸区域与右脸区域处于不同的深度平面，其深度信息也将不再相同，根据左脸区域、右脸区域的深度信息的三角关系，可计算得到较为准确的人脸朝向角度。如图4所示，转向的角度α＝arctan((l2-l1)/w1)，其中，l2和l1分别为第一人脸区域和第二人脸区域的深度信息，w1为获取深度信息的特征点之间的距离，例如，瞳距、人脸的宽度等，在此不做限制。进一步地，根据人脸朝向角度，可对图像进行相关处理，并使得处理内容与朝向角度相符，视觉效果更佳。例如，可以根据偏转的角度对希望添加或处理的内容也做相应的偏转处理，从而使得最终的成片效果较佳。

综上所述，本发明实施方式的人脸朝向检测方法、人脸朝向检测装置100和电子装置1000根据人脸不同区域的深度信息，在人脸偏转时可以较为准确计算得到人脸朝向的角度，从而方便利用该角度进行图像的进一步处理，改善用户体验。

较佳地，对于人脸区域识别过程，可以采用已训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时，训练集中的数据包括正向人脸的彩色信息和深度信息。因此，训练过后的深度学习训练模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸区域。由于人脸区域的深度信息的获取不易受光照等环境因素的影响，可以提升人脸检测准确性。

请参阅图5，在某些实施方式中，场景数据包括当前帧场景主图像和与当前帧场景主图像对应的深度图像，步骤s30包括以下步骤：

s32：处理深度图像以获取对应第一人脸区域和第二人脸区域的深度数据；和

s34：处理第一人脸区域和第二人脸区域的深度数据以得到第一人脸区域和第二人脸区域的深度信息。

请参阅图6，在某些实施方式中，第二处理模块30包括第一处理单元32和第二处理单元34。步骤s32可以由第一处理单元32实现，步骤s34可以由第二处理单元34实现。或者说，第一处理单元32用于处理深度图像以获取对应第一人脸区域和第二人脸区域的深度数据，第二处理单元34用于处理第一人脸区域和第二人脸区域的深度数据以得到第一人脸区域和第二人脸区域的深度信息。

场景内各个人、物相对于成像装置200的距离可以用深度图像来表征，深度图像中的每个像素值也即是深度数据表示场景中某一点与成像装置的200的距离，根据组成场景中的人或物的点的深度数据即可获知相应的人或物的深度信息。深度信息通常可以反映场景内的人或物的空间位置信息。

可以理解，场景数据包括当前帧场景主图像和与当前帧场景主图像对应的深度图像。其中，场景主图像为rgb彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，检测到人脸区域，即可在对应的深度图像中获取到人脸区域的深度信息。进一步地，将人脸区域划分为第一人脸区域和第二人脸区域，在对应的深度图像中可获取到第一人脸区域和第二人脸区域的深度信息。

需要说明的是，在当前帧场景主图像中，人脸区域表现为二维图像，但由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、眼睛、耳朵等特征在深度图像中所对应的深度数据是不同的，例如对于人脸正对成像装置200的情况下所拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在某些示例中，处理正向人脸区域的深度数据得到的人脸区域深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到，或通过对人脸区域的深度数据取中值得到。对于第一人脸区域和第二人脸区域，可选取对称的特征点，例如左眼和右眼、左耳和右耳作为特征点分别以分别获取第一人脸区域和第二人脸区域的深度信息。

在某些实施方式中，成像装置200包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于tof测距的深度摄像头。

具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器宇摄像头之间的相对位置以及当前待拍摄的场景中各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二位光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。

基于tof(timeofflight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于tof深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。

请参阅图7，在某些实施方式中，场景数据包括当前帧场景主图像和与当前帧场景主图像对应的当前帧场景副图像，步骤s30包括以下步骤:

s36：处理当前帧场景主图像和当前帧场景副图像以得到第一人脸区域和第二人脸区域的深度数据；和

s38：处理第一人脸区域和第二人脸区域的深度数据以得到第一人脸区域和第二人脸区域的深度信息。

请参阅图8，在某些实施方式中，第二处理模块30包括第三处理单元36和第四处理单元38。步骤s36可以由第三处理单元36实现。步骤s38可以由第四处理单元38实现。或者说，第三处理单元36用于处理当前帧场景主图像和当前帧场景副图像以得到第一人脸区域和第二人脸区域的深度数据；第四处理单元38用于处理第一人脸区域和第二人脸区域的深度数据以得到第一人脸区域和第二人脸区域的深度信息。

在某些实施方式中，成像装置200包括主摄像头和副摄像头。

可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括当前帧场景主图像和当前帧场景副图像。其中，当前帧场景主图像由主摄像头拍摄得到，当前帧场景副图像由副摄像头拍摄得到，且当前帧场景主图像与当前帧场景副图像均为rgb彩色图像。在一些示例中，主摄像头和副摄像头可以是相同规格的两个摄像头，双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。在另一些示例中，主摄像头与副摄像头可以是不同规格的摄像头，主摄像头用于获取当前场景彩色信息，副摄像头则用于记录场景的深度数据。如此，通过对当前帧场景主图像和当前帧场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。对于第一人脸区域和第二人脸区域，可选取对称的特征点，例如左眼和右眼、左耳和右耳作为特征点分别以分别获取第一人脸区域和第二人脸区域的深度信息。

请参阅图9，在某些实施方式中，场景数据包括下一帧场景主图像，人脸朝向检测方法还包括步骤：

s50：处理当前帧场景主图像以分别获取第一人脸区域和第二人脸区域的面积信息；

s60：处理下一帧场景主图像以判断是否存在人脸区域；和

s70：在不存人脸区域时，根据第一人脸区域和第二人脸区域的面积信息和第一人脸区域和第二人脸区域的深度信息确定人脸区域。

请参阅图10，在某些实施方式中，人脸朝向检测装置100还包括第三处理模块50和第四处理模块60。步骤s50可以由第三处理模块50实现，步骤s60可以由第一处理模块10实现，步骤s70可以由第四处理模块60实现。或者说，第三处理模块50用于处理当前帧场景主图像以分别获取第一人脸区域和第二人脸区域的面积信息。第一处理模块10用于处理下一帧场景主图像以判断是否存在人脸区域。第四处理模块60在不存人脸区域时根据第一人脸区域和第二人脸区域的面积信息和第一人脸区域和所述第二人脸区域的深度信息确定人脸区域。

一般地，人脸区域正对成像装置200，人脸识别基于人脸特征进行检测，例如通过特征点及彩色信息等人脸特征进行检测，而当人脸发生偏转时，人脸不再正对成像装置200，可用于检测人脸区域的特征信息丢失，将无法检测出人脸区域。

可以理解，随着人脸偏转，一侧人脸区域的面积将增大，而另一侧人脸区域面积将减小。而增大一侧的人脸区域的面积变化并没有发生突变，认可认为持续识别到的区域认为人脸区域。如此，当无法通过识别人脸区域的特征点来识别人脸区域时，可根据人脸区域的面积信息和深度信息确定人脸区域，从而改啥用户体验。

请参阅图11，具体地，在本实施方式中，步骤s70包括步骤：

s72：在第一人脸区域或第二人脸区域的面积变化小于预定阈值且第一人脸区域或第二人脸区域的深度变化小于预定阈值时确定人脸区域。

在某些实施方式中，步骤s72可以由第四处理模块60实现，或者说，第四处理模块60用于在第一人脸区域或第二人脸区域的面积变化小于预定阈值且第一人脸区域或第二人脸区域的深度变化小于预定阈值时确定人脸区域。

请参与图12，可以理解，人脸在偏转过程中，整个人脸区域基本处于同一深度范围内，也即是说，所用于获取深度信息的特征点，例如耳朵等，在偏转过程中，深度信息虽然会发生变化，但其变化通常在一定范围内。相类似地，某一侧的人脸区域的面积也将在预定范围内进行变化。当检测到深度信息和某一侧的人脸面积信息的变化在预定范围内时，可确定该区域为人脸区域。

例如，当人脸偏转90度时，此时图像中仅存在半张人脸，也即是说仅存在左侧人脸区域或右脸人脸区域，此时，仅存的一侧人脸的深度信息和面积信息变化在预定范围内，可确定该区域为人脸区域，从而在无法利用特征点进行人脸识别时实现对人脸区域的跟踪识别。

请参阅图13，在某些实施方式中，步骤s20包括步骤：

s22：根据人脸区域的特征点确定第一人脸区域和第二人脸区域。

请参阅图14，在某些实施方式中，识别模块20包括确定单元22。步骤s22可以由确定单元22实现，或者说，确定单元22用于根据人脸区域的特征点确定第一人脸区域和第二人脸区域。

一般地，人脸为轴对称图形，通常可以鼻子的延长线为对称轴将人脸区域分为左脸区域和右脸区域也即是第一人脸区域和第二人脸区域，此外，还可以双眼的中点、两侧颧骨的中点等特征位置来对第一人脸区域和第二人脸区域进行划分。

请参阅图15，本发明实施方式的电子装置1000包括壳体300、处理器400、存储器500、电路板600和电源电路700。其中，电路板600安置在壳体300围成的空间内部，处理器400和存储器500设置在电路板上；电源电路700用于为电子装置1000的各个电路或器件供电；存储器500用于存储可执行程序代码；处理器400通过读取存储器500中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人脸检测方法。在对当前帧场景主图像和下一帧场景主图像进行处理的过程中，处理器400用于执行以下步骤：

处理当前帧场景主图像以判断是否存在人脸区域；

在存在人脸区域时识别人脸区域，人脸区域包括第一人脸区域和第二人脸区域；

处理场景数据以分别获取第一人脸区域和所述第二人脸区域的深度信息；和

根据第一人脸区域的深度信息和第二人脸区域的深度信息计算人脸朝向的角度。

需要说明的是，前述对人脸朝向检测方法和人脸朝向检测装置100的解释说明也适用于本发明实施方式的电子装置1000，此处不再赘述。

本发明实施方式的计算机可读存储介质，具有存储于其中的指令，当电子装置1000的处理器400执行指令时，电子装置1000执行本发明实施方式的人脸检测方法，前述对人脸朝向检测方法和人脸朝向检测装置100的解释说明也适用于本发明实施方式的计算机可读存储介质，此处不再赘述。

综上所述，本发明实施方式的电子装置1000和计算机可读存储介质，根据人脸不同区域的深度信息，在人脸偏转时可以较为准确计算得到人脸朝向的角度，从而方便利用该角度进行图像的进一步处理，改善用户体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。